nouvelles

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapport sur le cœur de la machine

Département éditorial de Machine Heart

arXiv n'est pas une revue à comité de lecture, il n'est donc pas nécessaire de citer les articles publiés sur arXiv. Est-ce raisonnable ?

Si vous êtes intéressé par les agents IA, vous devez connaître AutoGen de Microsoft. Il s'agit d'un cadre de programmation open source pour la création d'agents IA qui permet à plusieurs agents de résoudre des tâches via le chat. Parallèlement, l'agent LLM peut jouer plusieurs rôles, tels que programmeur, concepteur ou une combinaison de plusieurs rôles.

Sur GitHub, ce projet a reçu 28 000 étoiles et l'article a également remporté le prix du meilleur article lors de l'atelier ICLR 2024 LLM Agent.

Cependant, il existe en réalité une controverse derrière cet article.

En novembre 2023, un chercheur en IA (docteur de l'Université des sciences et technologies du roi Abdallah, Li Guohao, initiateur des projets open source Camel-AI.org et DeepGCNs.org) a publié cela parce qu'AutoGen est très similaire à leur paper CAMEL, ils Chaque fois que je participe à un événement, on me demande quelle est la différence entre les deux ?

À cet égard, Li Guohao a exprimé sa frustration car leur article a été publié sur arXiv bien avant AutoGen, mais il est désormais considéré comme un imitateur d'AutoGen (CAMEL a été publié en mars 2023 ; AutoGen a été publié en août 2023).

Lien papier : https://arxiv.org/abs/2303.17760

Lien papier : https://arxiv.org/pdf/2308.08155

Selon Li Guohao, les deux méthodes présentent les similitudes suivantes :

Même les exemples utilisés sont quelque peu similaires :

En tant que retardataire, AutoGen a mentionné CAMEL dans le document et a souligné certaines différences entre CAMEL et AutoGen. Mais l’endroit où ils apparaissent est déroutant : ils apparaissent dans l’annexe. Cela peut également être une raison majeure pour laquelle d'autres chercheurs ne connaissent qu'AutoGen mais pas CAMEL. Après tout, combien de personnes liront attentivement l’annexe ?

Paragraphe de l'article AutoGen mentionnant CAMEL : « CAMEL (Li et al., 2023b) est un cadre d'agent de communication qui montre comment utiliser le jeu de rôle pour permettre aux agents de chat de communiquer entre eux pour accomplir des tâches. CAMEL peut également enregistrer le dialogue des agents pour L’analyse du comportement et la compréhension des capacités utilisent une technologie « d’incitation au démarrage » pour parvenir à une coopération autonome entre les agents. Contrairement à AutoGen, CAMEL ne prend pas en charge nativement l'utilisation d'outils (tels que l'exécution de code). Bien que CAMEL soit proposé comme infrastructure de dialogue multi-agents, il ne prend en charge que les modes de dialogue statiques, tandis qu'AutoGen prend également en charge les modes de dialogue dynamiques. "

Le tableau 1 résume les différences entre AutoGen et d'autres multi-agents associés. Il est jugé à partir de quatre indicateurs : l'un est l'infrastructure, c'est-à-dire si le système est conçu pour être une infrastructure commune pour la création d'applications LLM ; , c'est-à-dire que le système prend en charge le type de mode. En mode « statique », la topologie de l'agent reste inchangée quelle que soit l'entrée. AutoGen permet des modes conversationnels flexibles, notamment des modes statiques et dynamiques qui peuvent être personnalisés pour différents besoins d'application. Le troisième est l'exécutabilité, c'est-à-dire si le système peut exécuter le code généré par LLM ; le quatrième est la participation manuelle, si (et comment) le système permet la participation humaine au processus d'exécution. AutoGen permet aux humains de participer de manière flexible à des conversations multi-agents et leur permet de choisir de ne pas fournir de contribution.

Paragraphes du document AutoGen mentionnant CAMEL : « AutoGen peut aider à développer des agents hautement performants qui tirent pleinement parti du LLM, des outils et des humains. La création de tels agents est essentielle pour garantir que les flux de travail multi-agents peuvent efficacement dépanner et mettre en œuvre. Il est crucial de faire Par exemple, nous avons observé qu'un autre système LLM multi-agents, CAMEL, n'a pas réussi à résoudre le problème de manière efficace dans la plupart des cas, principalement parce qu'il n'avait pas la capacité d'exécuter des outils ou du code. Il suffit d'avoir un LLM de jeu de rôle simple et un dialogue multi-agents. Il doit également y avoir des agents compétents de haut niveau dotés de diverses compétences. Nous pensons qu'un travail plus systématique devrait être effectué pour développer des directives d'agent spécifiques à l'application et créer des logiciels libres à grande échelle. Il est nécessaire de créer des bibliothèques de connaissances et de créer des agents capables de découvrir et d’améliorer leurs propres compétences.

Lors de l'examen de la soumission d'AutoGen à la réunion principale de l'ICLR, l'auteur de CAMEL, Li Guohao, a souligné ce problème dans la zone de commentaires publics et a souligné qu'il s'agissait d'une « omission remarquable ».

Dans les commentaires d’évaluation d’AutoGen, les évaluateurs de l’ICLR et les présidents de secteur ont également souligné le caractère inapproprié de cette approche.

Dans ce document, le président du secteur écrit : « Les auteurs discutent de ce travail dans l'annexe, mais cette pratique n'est pas recommandée car le matériel supplémentaire n'est pas examiné au même niveau que l'article. En bref, cela semble permettre aux auteurs de dire ils ont cité et discuté du document, mais ne pas le citer ni en discuter dans les parties du document que 99 % des gens sont susceptibles de lire est alarmant. »

Alors pourquoi l’auteur d’AutoGen a-t-il fait cela ? Ils ont répondu : Lorsqu'ils ont soumis leur article à l'ICLR 2024, des articles tels que CAMEL n'avaient pas encore été publiés dans des conférences/revues à comité de lecture. Selon les lignes directrices des réviseurs de l'ICLR 2024, ils ne sont pas tenus de citer ou de comparer avec cet article (CAMEL a été accepté par NeurIPS 2023 en septembre 2023 ; les lignes directrices des réviseurs de l'ICLR 2024 stipulent que les articles publiés après le 28 mai 2023 ne nécessitent aucune citation).

En même temps, ils ont énuméré les parties du document qui impliquent CAMEL :

Puisque les règlements de l'ICLR passent en premier, le président régional ne peut pas dire grand-chose. Il a écrit : « Bien que je comprenne la justification de cette politique, dans le climat actuel de publication, cela peut conduire à des résultats étranges. Je n'en tiendrai pas compte dans ma décision en raison de la politique de l'ICLR, mais cela diminuera ma confiance.

Concernant les similitudes mentionnées par Li Guohao, l'auteur d'AutoGen a également donné un contre-argument :

En réponse aux questions soulevées par les évaluateurs, leurs réponses sont les suivantes :

En fin de compte, la similitude avec CAMEL et les problèmes de citation n'ont pas été considérés par le responsable de terrain comme des problèmes majeurs pour l'article. Cependant, l'article AutoGen a finalement été rejeté pour d'autres raisons (l'auteur est donc ensuite passé à l'ICLR 2024 LLM Agent Workshop).

Selon Li Guohao, les auteurs des deux articles se sont rencontrés hors ligne, mais des choses désagréables se sont produites :

Li Guohao espère attirer l'attention de la communauté universitaire grâce à ses publications.

Que penses-tu de cela?