новости

ТенсентПисатель-технолог Хао Боян

Редактор Чжэн Кэджун

2024,ИИ Самая горячая тема в этой области, несомненно, — «Агент».

“большая модельКруто, но что с этим делать? «Это ежегодный вопрос о применении ИИ в 2023 году. К 2024 году агенты станут наиболее многообещающим противоядием от этой проблемы.

Интеллектуальные агенты могут использоваться посредством сложных процессов и инструментов, позволяя крупным моделям решать более сложные и индивидуальные задачи, в конечном итоге создавая программные объекты или физические объекты с автономией, восприятием, способностью принимать решения и действовать. Нг Энда, Джим Фан и другие известные личности в отрасли присоединились, чтобы доказать эффективность интеллектуального агента.

В марте этого года профессор Нг Энда предложил в своем блоге использовать его в наборе данных HumanEval. ГПТ-3.5Точность теста (нулевой выстрел) составляет 48,1%. ГПТ-4(Нулевой выстрел) составляет 67,0%. Сотрудничая с рабочим процессом агента, GPT-3.5 достиг точности 95,1%.

(Примечание к фото: эксперименты Нг Энды в рамках технологии интеллектуальных агентов.ГПТ 3.5 производительность намного превосходит исходную GPT4)

Поэтому за последний год все – от крупных компаний до частных специалистов – занимались строительством умных тел. достаточно большойМайкрософтCopilit, бессмысленное гадание на основе искусственного интеллекта, инструменты для создания инфраструктур интеллектуальных агентов, такие как Langchain, Coze и Dify, также выросли, как грибы после дождя, и их популярность продолжает расти.

(Примечание к изображению: компании, связанные с агентами и процессами автоматизации искусственного интеллекта, собранные INSIGHT)

Эндрю Карпати, бывший учёный из OpenAI, однажды сказал, что обычные люди, предприниматели и гики с меньшей вероятностью будут создавать агентов ИИ, чемOpenAIУ таких компаний даже есть преимущество.

Наступит ли новая эра менеджеров по продуктам, основанная на рабочем процессе агентов ИИ? Не обязательно, потому что ИИ может лучше создавать интеллектуальных агентов, чем люди.

Логика автоматического цикла

19 августа трое исследователей из Университета Британской Колумбии опубликовали статью под названием «Автоматизированное проектирование агентных систем». В этой статье он разработал систему, которая позволяет ИИ самостоятельно обнаруживать и создавать агентов, а также выполнять итерации самостоятельно.

Вспомним классическое определение агента, данное OpenAI. Агент — это продукт, который может хранить знания, планировать и применять инструменты.

Когда мы используем рабочий процесс для создания агентов, мы также используем существующие знания (знания о форме агентов) для самостоятельного планирования (процессы построения) и используем инструменты (API-интерфейсы доступа) для окончательного выполнения результатов. Нет ничего, кроме возможностей. сам агент.

Так почему бы не создать агент, который сможет автоматически обнаруживать и проектировать агентов?

Автор статьи следует этой идее и называет дизайнера метаагентом, которому он поручает проектировать новых агентов. Добавьте разработанный агент в базу данных в качестве данных и постоянно разрабатывайте новые, более сильные версии агента.

Весь этот набор методов они называют ADAS (автоматизированное проектирование интеллектуальных систем).

Итак, как именно эта система вступает в силу?

Пусть цепь повернется

Процесс создания новых агентов в системах ADAS можно разделить на три части:

Первая часть определяет пространство поиска, которое можно понимать как использование некоторых основных инструментов и правил для разработки потенциальных новых агентов.

Вторая часть — запустить поискалгоритм, который определяет, как метаагент использует пространство поиска и использует его элементы для создания новых агентов.

Последняя часть — запустить функцию оценки, которая будет оценивать созданный агент на основе производительности и других целей.

В статье исследователи шаг за шагом объясняют, как построить три вышеупомянутые основные части.

Во-первых, необходимо определить основные элементы построения пространства поиска. Исследователи считают, что лучший метод — это код.

Это связано с тем, что код является полным по Тьюрингу и может выражать все возможности. Таким образом, теоретически метаагенты могут обнаруживать любые возможные строительные блоки (например, подсказки, использование инструментов, потоки управления) и системы агентов, которые каким-либо образом объединяют эти строительные блоки.

Что еще более важно, были систематизированы различные рабочие процессы, которые уже существуют на таких веб-сайтах, как Langchain, для создания агентов. Таким образом, соответствующие данные будут у вас под рукой, и нет необходимости конвертировать их снова. Вызовы инструментов, такие как RAG (генерация с расширенным поиском) и другие компоненты возможностей, уже имеют весьма достаточную кодовую базу.

Использование кода для построения пространства поиска также означает, что агенты, созданные ADAS, можно запускать напрямую для исправления ошибок и оценки без ручного вмешательства.

После определения пространства поиска исследователи приступают к разработке алгоритмов поиска, которые позволяют метаагенту исследовать возможные способы выполнения задачи. Этот процесс в основном завершается использованием подсказки Word Project.

Первый — дать ему ряд слов системной подсказки.

Затем поместите основноеБыстрыйУказанная информация передается метаагенту, в том числе

1. Базовое описание задачи.

2. Самый простой код платформы, такой как подсказки форматирования, инкапсуляция и другие имена операций, а также возможность вызова других базовых моделей (FM) и API.

(Примечание к изображению: часть кода платформы)

3. Формат и примеры ввода и вывода задач.

4. Библиотека образцов, сформированная некоторыми агентами, созданными в исходной итерации, включая результаты их базовых испытаний.

(Примечание к изображению: пример в библиотеке интеллектуальных агентов)

Основываясь на этих базовых подсказках, ADAS может начать работу и создать интеллектуального агента для решения конкретной проблемы.

В этом процессе метаагент проведет два раунда анализа, чтобы убедиться, что сгенерированный агент является новым и правильным. Он проверяет, содержит ли вновь созданная структура кода ошибки и является ли она достаточно инновационной по сравнению с предыдущими результатами в библиотеке примеров агента.

Метаагенту также необходимо провести предварительную оценку созданного агента на основе его «понимания» практических возможностей производительности, чтобы определить, работает ли он лучше, чем предыдущий агент.

Когда некоторые из этих условий не выполняются, метаагент должен либо изменить сгенерированный агент, либо просто создать его заново.

(Подсказка для первого раунда размышлений)

После двух раундов анализа и модификации метаагент отправит вновь созданный агент, который, по его мнению, является новым и хорошим, в систему оценки на третьем этапе.

Система оценки выдаст объективную оценку способностям агента на основе базового теста, а затем вернет ее в библиотеку примеров агента.

Метаагент продолжит оптимизировать следующую итерацию на основе предыдущих результатов оценки и прошлых примеров в библиотеке примеров, чтобы достичь более высокой оценки производительности задачи.

В этом процессе родилась целая полностью автоматизированная цепочка. Для создания высокоэффективного агента может потребоваться более чем двузначное количество итераций.

За пределами интеллекта, потирающего руки

Насколько сложными могут быть интеллектуальные агенты, полученные путем автоматизации процессов с помощью методов ADAS? На рисунке ниже показана структура агента, созданная после 14 итераций.

В структуре этого агента есть пять мыслительных цепочек, дающих предварительные ответы. После получения отзывов от трех экспертных моделей и модели, имитирующей человеческую оценку, ответы трижды изменяются и улучшаются на этапе процесса оптимизации. Наконец, после оценки были отсеяны три результата и объединены для получения окончательного ответа.

Если бы человеку пришлось управлять таким уровнем сложности, это, вероятно, заняло бы неделю. Сейчас как раз время писать подсказки и проектировать архитектуру, не говоря уже о тестировании и горизонтальном сравнении.

Конечно, это также результат постоянных итераций в разработке метаагента.

В ходе итеративного процесса его способность генерировать интеллектуальных агентов также быстро увеличивается с увеличением количества итераций. В третьей итерации метаагент самостоятельно изучил стратегию цепочки мультимышления, а в четвертой итерации он научился использовать динамическую память для оптимизации ответов. К 14-му разу сгенерированный им агент достиг сложности, упомянутой выше.

В конце концов, возможности оптимального решения были улучшены более чем на 250 % по сравнению с исходной простой моделью на большом языке и на 75 % по сравнению с наиболее эффективным ручным агентом COT-SC (многомысленный цепной ответ). метод.

Не только ARC, агенты, созданные в режиме ADAS, значительно более мощны во всех аспектах, чем все нынешние самые сильные базовые агенты, созданные вручную, такие как COT, LLM Debate и Self-Refine. И чем более сложные задачи и междоменные приложения обрабатываются, тем сильнее интеллектуальные агенты, создаваемые ADAS.

Более того, эти сгенерированные агенты сами по себе обладают определенными возможностями миграции. Например, агенты, способные решать научные задачи, также могут достигать хороших результатов в математике. Таким образом, оптимальная структура, вероятно, сможет решить связанные проблемы во многих областях.

Хотя эра агентов для потирания рук подходит к концу, эра открытия агентных парадигм может продолжиться. В ходе общего теста ADAS не обнаружил новых методов построения за пределами текущей парадигмы создания интеллектуальных агентов, а скорее реорганизовал и использовал эти методы.

Однако для среднестатистического разработчика AI-агента этого достаточно, чтобы заменить свою работу.

Однако популярность ADAS, возможно, все еще нуждается в преодолении препятствия, и это вопрос стоимости.

По словам исследователей, API OpenAI стоит около 500 долларов за поиск и оценку ARC и около 300 долларов за один прогон в области рассуждений и решения проблем. Это около 20 долларов за итерацию. По сравнению с такими высокими затратами, рабочая сила все еще имеет определенные преимущества на этом этапе.

Но исследователи также заявили, что, поскольку они изучили это раньше, они использовали модель «gpt-3.5-turbo-0125». Последняя модель GPT-4 «gpt-4o-mini» стоит менее трети цены «gpt-3.5-turbo-0125» и имеет лучшие характеристики. Более того, эксперименты показывают, что агент, итерированный с возможностями GPT 3.5, столкнется с узким местом в производительности после определенного количества итераций, а все итерации после четырнадцати раз являются пустой тратой. Таким образом, проекты с более качественной оценкой и управлением ресурсами также могут значительно снизить затраты.

Очевидно, что ценовое преимущество рабочей силы не может сохраняться долго.

Действительно ли начался взрыв интеллекта?

Почему эта автоматизированная технология так важна?

В эпоху мобильного Интернета расцветают различные приложения для различных треков, которые в совокупности создают эпоху технологического процветания. Однако, поскольку новые инструменты того времени требовали изучения, разработка мобильных приложений также прошла долгий этап внедрения, прежде чем наконец было принято достаточное количество разработчиков.

В более ранние эпохи это было медленнее. Согласно теории «преодоления пропасти», предложенной Джеффри Муром на основе опыта работы с персональными компьютерами в 1990-х годах, в первые годы появления технологии только около 13,5% ранних последователей использовали бы эту технологию. Это не разработка, а использование. .

Таким образом, нехватка разработчиков может стать важным препятствием для продвижения технологий.

Конечно, скорость разработки и проникновения создания интеллектуальных агентов может быть намного быстрее. Потому что это намного проще, чем предыдущая разработка программного обеспечения. Например, ставшая популярной некоторое время назад программа Wordware позволяет обычным пользователям создавать интеллектуальных агентов на естественном языке, что снижает порог.

Однако такие конструкции, как цепочки мышления и многоэтапные циклы, по-прежнему очень сложны, и для этого процесса требуется все больше и больше инструментов. Поэтому не так много людей, которые действительно могут посвятить себя разработке интеллектуальных агентов и эффективно использовать этот инструмент.

Цукерберг однажды сказал в разговоре с Хуан Жэньсюнем, что даже если технология крупномасштабных моделей больше не будет развиваться, потребуется пять лет, чтобы полностью понять потенциал интеллектуальных агентов.

Таким образом, по сравнению с технологиями, разработчики могут быть основным узким местом для интеллектуальных агентов, которые еще не получили широкого распространения. Людей, способных это сделать, пока еще слишком мало.

Однако агентов много.

Если эта технология автоматического создания агентов настройки будет принята и оптимизирована большим количеством коммерческих компаний, естественно, узких мест в раннем техническом персонале больше не будет. Скорость, с которой агенты смогут исследовать охват и глубину своих возможностей в различных областях, будет значительно увеличена.

Возможно, в следующем году будет запущено первое в истории человечества приложение Killer AI, автором которого станет ИИ.