noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Informe del corazón de la máquina

Departamento editorial de Machine Heart

arXiv no es una revista revisada por pares, por lo que los artículos publicados en arXiv no necesitan ser citados. ¿Es esto razonable?

Si está interesado en los agentes de IA, debe conocer AutoGen de Microsoft. Es un marco de programación de código abierto para crear agentes de IA que permite que múltiples agentes resuelvan tareas a través del chat. Mientras tanto, el agente de LLM puede desempeñar múltiples roles, como programador, diseñador o una combinación de varios roles.

En GitHub, este proyecto recibió 28.000 estrellas y el artículo también ganó el premio al mejor artículo en el ICLR 2024 LLM Agent Workshop.

Sin embargo, en realidad hay controversia detrás de este artículo.

En noviembre de 2023, un investigador de IA (Ph.D. de la Universidad de Ciencia y Tecnología Rey Abdullah, Li Guohao, iniciador de los proyectos de código abierto Camel-AI.org y DeepGCNs.org) publicó que debido a que AutoGen es muy similar a su paper CAMEL, ellos Cada vez que asisto a un evento me preguntan, ¿cuál es la diferencia entre los dos?

En este sentido, Li Guohao expresó su frustración porque su artículo se publicó en arXiv mucho antes que AutoGen, pero ahora se lo considera un imitador de AutoGen (CAMEL se lanzó en marzo de 2023; AutoGen se lanzó en agosto de 2023).

Enlace del artículo: https://arxiv.org/abs/2303.17760

Enlace del artículo: https://arxiv.org/pdf/2308.08155

Según Li Guohao, los dos métodos tienen las siguientes similitudes:

Incluso los ejemplos utilizados son algo similares:

Como recién llegado, AutoGen mencionó a CAMEL en el artículo y señaló algunas diferencias entre CAMEL y AutoGen. Pero resulta desconcertante dónde aparecen: aparecen en el apéndice. Esta también puede ser una de las principales razones por las que otros investigadores sólo conocen AutoGen pero no CAMEL. Después de todo, ¿cuántas personas leerán atentamente el apéndice?

Párrafos que mencionan a CAMEL en el artículo de AutoGen: "CAMEL (Li et al., 2023b) es un marco de agente de comunicación que muestra cómo utilizar juegos de roles para permitir que los agentes de chat se comuniquen entre sí para completar tareas. CAMEL también puede grabar el diálogo de los agentes para Análisis de comportamiento y comprensión de capacidades. CAMEL utiliza una tecnología de "impulsión inicial" para lograr la cooperación autónoma entre agentes. A diferencia de AutoGen, CAMEL no admite de forma nativa el uso de herramientas (como la ejecución de código). Aunque CAMEL se propone como una infraestructura para el diálogo entre múltiples agentes, solo admite modos de diálogo estáticos, mientras que AutoGen también admite modos de diálogo dinámico. "

La Tabla 1 resume las diferencias entre AutoGen y otros multiagentes relacionados. Se juzga a partir de cuatro indicadores: uno es la infraestructura, es decir, si el sistema está diseñado para ser una infraestructura común para crear aplicaciones LLM. , es decir, el sistema admite el tipo de modo. En modo "estático", la topología del agente permanece sin cambios independientemente de la entrada. AutoGen permite modos conversacionales flexibles, incluidos modos estáticos y dinámicos que se pueden personalizar para diferentes necesidades de la aplicación. El tercero es la ejecutabilidad, es decir, si el sistema puede ejecutar el código generado por LLM; el cuarto es la participación manual, si (y cómo) el sistema permite la participación humana en el proceso de ejecución. AutoGen permite a los humanos participar de manera flexible en conversaciones entre múltiples agentes y les permite optar por no proporcionar información.

Párrafos del artículo de AutoGen que mencionan a CAMEL: "AutoGen puede ayudar a desarrollar agentes altamente capaces que aprovechen al máximo el LLM, las herramientas y los humanos. La creación de dichos agentes es fundamental para garantizar que los flujos de trabajo de múltiples agentes puedan solucionar problemas e implementarlos de manera efectiva. Es crucial hacer Por ejemplo, observamos que otro sistema LLM multiagente, CAMEL, no logró resolver el problema de manera efectiva en la mayoría de los casos, principalmente porque carecía de la capacidad de ejecutar herramientas o código. basta con tener un LLM de juego de roles simple y un diálogo entre múltiples agentes. También debe haber agentes capacitados de alto nivel con diversas habilidades. Creemos que se debe llevar a cabo un trabajo más sistemático para desarrollar pautas de agentes específicas para aplicaciones y crear OSS a gran escala. bibliotecas y crear agentes que puedan descubrir y mejorar sus propias habilidades.

Durante la revisión de AutoGen presentada en la reunión principal de ICLR, Li Guohao, el primer autor de CAMEL, señaló este problema en el área de comentarios públicos y enfatizó que se trataba de una "omisión notable".

En los comentarios de revisión de AutoGen, los revisores de ICLR y los jefes de área también señalaron lo inapropiado de este enfoque.

En él, el presidente del área escribe: "Los autores analizan este trabajo en un apéndice, pero esta práctica no es aconsejable porque el material complementario no se revisa al mismo nivel que el artículo. En resumen, esto parece permitir a los autores decir citaron y discutieron el artículo, pero no citarlo ni discutirlo en las partes del artículo que el 99% de las personas probablemente leerán es alarmante".

Entonces, ¿por qué hizo esto el autor de AutoGen? Respondieron que cuando enviaron su artículo a ICLR 2024, CAMEL y otros artículos aún no se habían publicado en conferencias/revistas revisadas por pares. De acuerdo con las Directrices para revisores de ICLR 2024, no tienen la obligación de citar o comparar con este artículo (CAMEL fue aceptado por NeurIPS 2023 en septiembre de 2023; las Directrices para revisores de ICLR 2024 estipulan que los artículos publicados después del 28 de mayo de 2023 no requieren citación).

Al mismo tiempo, enumeraron las partes del documento que involucran a CAMEL:

Dado que las regulaciones de ICLR son lo primero, el presidente del área no puede decir mucho. Escribió: "Si bien entiendo el fundamento de esta política, en el clima editorial actual puede conducir a resultados extraños. No incluiré esto en mi decisión debido a la política de ICLR, pero esto reducirá mi confianza".

Con respecto a las similitudes mencionadas por Li Guohao, el autor de AutoGen también dio un contraargumento:

En respuesta a las preguntas planteadas por los revisores, sus respuestas son las siguientes:

En última instancia, el presidente de campo no consideró la similitud con CAMEL y los problemas de citas como problemas importantes para el artículo. Sin embargo, el artículo de AutoGen finalmente fue rechazado por otras razones (por lo que el autor luego cambió a ICLR 2024 LLM Agent Workshop).

Según Li Guohao, los autores de los dos artículos en realidad se conocieron fuera de línea, pero sucedieron algunas cosas desagradables:

Li Guohao espera atraer la atención de la comunidad académica mediante publicaciones.

¿Qué piensas sobre esto?