Nachricht

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Maschinenherzbericht

Redaktion von Machine Heart

arXiv ist keine peer-reviewte Zeitschrift, daher müssen auf arXiv veröffentlichte Artikel nicht zitiert werden. Ist das sinnvoll?

Wenn Sie sich für KI-Agenten interessieren, müssen Sie Microsofts AutoGen kennen. Dabei handelt es sich um ein Open-Source-Programmierframework zum Aufbau von KI-Agenten, das es mehreren Agenten ermöglicht, Aufgaben per Chat zu lösen. Mittlerweile kann der LLM-Agent mehrere Rollen übernehmen, beispielsweise die Rolle eines Programmierers, Designers oder eine Kombination verschiedener Rollen.

Auf GitHub hat dieses Projekt 28.000 Sterne erhalten und der Artikel gewann außerdem den Best Paper Award beim ICLR 2024 LLM Agent Workshop.

Allerdings gibt es tatsächlich Kontroversen hinter diesem Papier.

Im November 2023 veröffentlichte ein KI-Forscher (Ph.D. von der King Abdullah University of Science and Technology, Li Guohao, der Initiator der Open-Source-Projekte Camel-AI.org und DeepGCNs.org) dies, weil AutoGen ihnen sehr ähnlich ist Papier CAMEL, sie Jedes Mal, wenn ich an einer Veranstaltung teilnehme, werde ich gefragt, was der Unterschied zwischen den beiden ist.

In diesem Zusammenhang äußerte Li Guohao seine Frustration darüber, dass ihr Artikel deutlich früher als AutoGen auf arXiv veröffentlicht wurde, nun aber als Nachahmer von AutoGen gilt (CAMEL wurde im März 2023 veröffentlicht; AutoGen wurde im August 2023 veröffentlicht).

Link zum Papier: https://arxiv.org/abs/2303.17760

Link zum Papier: https://arxiv.org/pdf/2308.08155

Laut Li Guohao weisen die beiden Methoden folgende Ähnlichkeiten auf:

Sogar die verwendeten Beispiele sind einigermaßen ähnlich:

Als Nachzügler erwähnte AutoGen CAMEL in dem Artikel und wies auf einige Unterschiede zwischen CAMEL und AutoGen hin. Aber wo diese erscheinen, ist rätselhaft – sie erscheinen im Anhang. Dies könnte auch ein wesentlicher Grund dafür sein, dass andere Forscher nur AutoGen kennen, CAMEL jedoch nicht. Denn wie viele Menschen werden den Anhang sorgfältig lesen?

Absätze, in denen CAMEL im AutoGen-Papier erwähnt wird: „CAMEL (Li et al., 2023b) ist ein Kommunikationsagenten-Framework, das zeigt, wie man Rollenspiele nutzt, um chattende Agenten miteinander kommunizieren zu lassen, um Aufgaben zu erledigen. CAMEL kann auch Dialoge von Agenten aufzeichnen.“ CAMEL nutzt eine „Inception-Prompting“-Technologie, um eine autonome Zusammenarbeit zwischen Agenten zu erreichen. Im Gegensatz zu AutoGen unterstützt CAMEL die Verwendung von Tools (z. B. Codeausführung) nicht nativ. Obwohl CAMEL als Infrastruktur für den Dialog mit mehreren Agenten vorgeschlagen wird, unterstützt es nur statische Dialogmodi, während AutoGen auch dynamische Dialogmodi unterstützt. "

Tabelle 1 fasst die Unterschiede zwischen AutoGen und anderen verwandten Multi-Agenten zusammen. Sie werden anhand von vier Indikatoren beurteilt: Einer ist die Infrastruktur, das heißt, ob das System als gemeinsame Infrastruktur für die Erstellung von LLM-Anwendungen konzipiert ist Das heißt, das System unterstützt den Modustyp. Im „statischen“ Modus bleibt die Agententopologie unabhängig von der Eingabe unverändert. AutoGen ermöglicht flexible Konversationsmodi, einschließlich statischer und dynamischer Modi, die an unterschiedliche Anwendungsanforderungen angepasst werden können. Das dritte ist die Ausführbarkeit, das heißt, ob das System den von LLM generierten Code ausführen kann; das vierte ist die manuelle Beteiligung, ob (und wie) das System eine menschliche Beteiligung am Ausführungsprozess zulässt. AutoGen ermöglicht es Menschen, flexibel an Gesprächen mit mehreren Agenten teilzunehmen, und ermöglicht es Menschen, auf die Eingabe von Eingaben zu verzichten.

Absätze aus dem AutoGen-Papier, in denen CAMEL erwähnt wird: „AutoGen kann dabei helfen, hochleistungsfähige Agenten zu entwickeln, die LLM, Tools und Menschen voll ausnutzen. Die Erstellung solcher Agenten ist entscheidend, um sicherzustellen, dass Multi-Agent-Workflows effektiv Fehler beheben und implementieren können. Es ist von entscheidender Bedeutung, sie zu erstellen.“ Fortschritte bei der Aufgabe haben wir beispielsweise festgestellt, dass ein anderes Multi-Agent-LLM-System, CAMEL, das Problem in den meisten Fällen nicht effektiv lösen konnte, hauptsächlich weil es nicht in der Lage war, Tools oder Code auszuführen Es reicht aus, ein einfaches Rollenspiel-LLM und einen Multi-Agenten-Dialog zu haben. Es müssen auch hochqualifizierte Agenten mit unterschiedlichen Fähigkeiten vorhanden sein. Wir glauben, dass systematischere Arbeiten durchgeführt werden sollten, um anwendungsspezifische Agentenrichtlinien zu entwickeln und umfassende OSS zu erstellen Wissensbibliotheken und die Schaffung von Agenten, die ihre eigenen Fähigkeiten entdecken und verbessern können, sind erforderlich.

Während der Überprüfung von AutoGen, die der ICLR-Hauptsitzung vorgelegt wurde, wies Li Guohao, der Erstautor von CAMEL, im öffentlichen Kommentarbereich auf dieses Problem hin und betonte, dass es sich hierbei um eine „bemerkenswerte Unterlassung“ handele.

In den Überprüfungskommentaren für AutoGen wiesen ICLR-Gutachter und Gebietsleiter auch auf die Unangemessenheit dieses Ansatzes hin.

Darin schreibt der Bereichsleiter: „Die Autoren diskutieren diese Arbeit zwar in einem Anhang, aber diese Praxis ist nicht ratsam, da das ergänzende Material nicht auf dem gleichen Niveau wie das Papier begutachtet wird. Kurz gesagt, dies scheint es den Autoren zu ermöglichen, etwas zu sagen.“ Sie haben das Papier zitiert und diskutiert, aber es ist alarmierend, es nicht in den Teilen des Papiers zu zitieren und zu diskutieren, die 99 % der Menschen wahrscheinlich lesen werden.

Warum hat der Autor von AutoGen das getan? Sie antworteten, dass CAMEL und andere Beiträge zum Zeitpunkt der Einreichung ihres Beitrags bei ICLR 2024 noch nicht in von Experten begutachteten Konferenzen/Zeitschriften veröffentlicht worden seien. Gemäß den Gutachterrichtlinien des ICLR 2024 sind sie nicht verpflichtet, dieses Papier zu zitieren oder mit ihm zu vergleichen (CAMEL wurde im September 2023 von NeurIPS 2023 angenommen; die Gutachterrichtlinien des ICLR 2024 sehen vor, dass nach dem 28. Mai 2023 veröffentlichte Arbeiten kein Zitieren erforderlich sind).

Gleichzeitig listeten sie die Teile des Papiers auf, die CAMEL betreffen:

Da die ICLR-Vorschriften an erster Stelle stehen, kann der Gebietsvorsitzende nicht viel sagen. Er schrieb: „Obwohl ich die Beweggründe hinter dieser Politik verstehe, könnte sie im aktuellen Veröffentlichungsklima zu seltsamen Ergebnissen führen. Ich werde dies aufgrund der ICLR-Politik nicht in meine Entscheidung einbeziehen, aber das wird mein Selbstvertrauen schwächen.“

Zu den von Li Guohao erwähnten Ähnlichkeiten brachte der AutoGen-Autor auch ein Gegenargument vor:

Auf die von den Gutachtern gestellten Fragen antworten sie wie folgt:

Letztendlich wurden die Ähnlichkeit mit CAMEL und die Zitierprobleme vom Fachreferenten nicht als Hauptprobleme für das Papier angesehen. Allerdings wurde das AutoGen-Papier schließlich aus anderen Gründen abgelehnt (so dass der Autor später zum ICLR 2024 LLM Agent Workshop wechselte).

Laut Li Guohao trafen sich die Autoren der beiden Artikel tatsächlich offline, doch es passierten einige unangenehme Dinge:

Li Guohao hofft, durch Beiträge die Aufmerksamkeit der akademischen Gemeinschaft zu erregen.

Was denkst du darüber?