Новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Отчет о сердце машины

Редакция «Машинное сердце»

arXiv не является рецензируемым журналом, поэтому статьи, размещенные на arXiv, не цитируются. Разумно ли это?

Если вас интересуют агенты искусственного интеллекта, вы должны знать Microsoft AutoGen. Это среда программирования с открытым исходным кодом для создания агентов искусственного интеллекта, которая позволяет нескольким агентам решать задачи через чат. В то же время агент LLM может играть несколько ролей, например программиста, дизайнера или комбинацию различных ролей.

На GitHub этот проект получил 28 тысяч звезд, а также статья получила награду за лучшую статью на семинаре ICLR 2024 LLM Agent Workshop.

Однако на самом деле за этой статьей стоят разногласия.

В ноябре 2023 года исследователь искусственного интеллекта (доктор философии Университета науки и технологий короля Абдаллы Ли Гохао, инициатор проектов с открытым исходным кодом Camel-AI.org и DeepGCNs.org) сообщил, что AutoGen очень похож на их бумага CAMEL, они Каждый раз, когда я посещаю мероприятие, меня спрашивают, в чем разница между ними?

В связи с этим Ли Гохао выразил разочарование, поскольку их статья была опубликована на arXiv значительно раньше, чем AutoGen, но теперь рассматривается как имитатор AutoGen (CAMEL был выпущен в марте 2023 года; AutoGen был выпущен в августе 2023 года).

Ссылка на статью: https://arxiv.org/abs/2303.17760.

Ссылка на документ: https://arxiv.org/pdf/2308.08155.

По словам Ли Гохао, эти два метода имеют следующие сходства:

Даже использованные примеры чем-то похожи:

Будучи опоздавшим, AutoGen упомянул CAMEL в статье и указал на некоторые различия между CAMEL и AutoGen. Но где они появляются, остается загадкой — они появляются в приложении. Это также может быть основной причиной того, что другие исследователи знают только AutoGen, но не CAMEL. В конце концов, сколько людей будут внимательно читать приложение?

Параграфы, в которых упоминается CAMEL в документе AutoGen: «CAMEL (Li et al., 2023b) — это структура коммуникационного агента, которая показывает, как использовать ролевую игру, чтобы позволить агентам в чате общаться друг с другом для выполнения задач. CAMEL также может записывать диалоги агентов для анализ поведения и понимание возможностей CAMEL использует технологию «подсказки к началу» для достижения автономного сотрудничества между агентами. В отличие от AutoGen, CAMEL не поддерживает использование инструментов (например, выполнение кода). Хотя CAMEL предлагается в качестве инфраструктуры для многоагентного диалога, он поддерживает только режимы статического диалога, тогда как AutoGen также поддерживает режимы динамического диалога. "

В таблице 1 суммированы различия между AutoGen и другими родственными мультиагентами. О нем судят по четырем показателям: один — это инфраструктура, то есть спроектирована ли система как общая инфраструктура для создания приложений LLM, другой — диалоговый режим; , то есть система поддерживает тип режима. В «статическом» режиме топология агента остается неизменной независимо от ввода. AutoGen обеспечивает гибкие диалоговые режимы, включая статические и динамические режимы, которые можно настроить для различных потребностей приложений. Третий — исполняемость, то есть может ли система выполнить код, сгенерированный LLM; четвертый — ручное участие, допускает ли (и каким образом) система участие человека в процессе выполнения. AutoGen позволяет людям гибко участвовать в межагентных диалогах и позволяет людям пропустить ввод данных.

Параграфы из документа AutoGen, в которых упоминается CAMEL: «AutoGen может помочь в разработке высококвалифицированных агентов, которые в полной мере используют преимущества LLM, инструментов и людей. Создание таких агентов имеет важное значение для обеспечения того, чтобы многоагентные рабочие процессы могли эффективно устранять неполадки и решать проблемы. Это крайне важно. Например, мы заметили, что другая многоагентная система LLM, CAMEL, в большинстве случаев не смогла эффективно решить проблему, главным образом потому, что у нее не было возможности выполнять инструменты или код. Эта ошибка показала, что только она. недостаточно иметь простые ролевые LLM и многоагентные диалоги. Должны также быть продвинутые агенты с различными навыками. Мы считаем, что необходимо проводить более систематическую работу по разработке руководств для агентов для конкретных приложений и созданию крупномасштабных OSS. необходимы библиотеки и создание агентов, которые смогут открывать и совершенствовать свои собственные навыки.

Во время обзора AutoGen, представленного на основное собрание ICLR, автор CAMEL Ли Гохао указал на эту проблему в зоне общественного обсуждения и подчеркнул, что это «заслуживающее внимания упущение».

В комментариях к обзору для AutoGen рецензенты ICLR и руководители зон также указали на неуместность такого подхода.

В нем председатель направления пишет: «Авторы обсуждают эту работу в приложении, но такая практика нежелательна, поскольку дополнительный материал не рецензируется на том же уровне, что и статья. Короче говоря, это, по-видимому, позволяет авторам сказать они цитировали и обсуждали статью, но на самом деле не цитировали и не обсуждали ее в тех частях статьи, которые, скорее всего, прочитают 99% людей, что вызывает тревогу».

Так почему же автор AutoGen сделал это? Они ответили, что, когда они представили свою статью на ICLR 2024, CAMEL и другие статьи еще не были опубликованы на рецензируемых конференциях/журналах. Согласно Руководству рецензента ICLR 2024, они не обязаны цитировать или сравнивать эту статью (CAMEL была принята NeurIPS 2023 в сентябре 2023 г.; Руководство рецензента ICLR 2024 предусматривает, что статьи, опубликованные после 28 мая 2023 г., цитирование не требуется).

В то же время они перечислили части статьи, в которых участвует CAMEL:

Поскольку правила ICLR стоят на первом месте, местный председатель не может многого сказать. Он написал: «Хотя я понимаю обоснование этой политики, в нынешнем издательском климате это может привести к странным результатам. Я не буду учитывать это в своем решении из-за политики ICLR, но это снизит мою уверенность».

По поводу сходства, упомянутого Ли Гохао, автор AutoGen также привел контраргумент:

На вопросы, заданные рецензентами, их ответы следующие:

В конечном счете, сходство с CAMEL и проблемы с цитированием не рассматривались руководителем как основные проблемы для статьи. Однако статья AutoGen в конечном итоге была отклонена по другим причинам (поэтому автор позже перешел на ICLR 2024 LLM Agent Workshop).

По словам Ли Гохао, авторы двух статей действительно встретились оффлайн, но произошли некоторые неприятные вещи:

Ли Гохао надеется привлечь внимание академического сообщества посредством публикаций.

Что Вы думаете об этом?