notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Rapporto sul cuore della macchina

Dipartimento editoriale di Machine Heart

arXiv non è una rivista sottoposta a revisione paritaria, quindi gli articoli pubblicati su arXiv non devono essere citati. È ragionevole?

Se sei interessato agli agenti AI, devi conoscere AutoGen di Microsoft. Si tratta di un framework di programmazione open source per la creazione di agenti AI che consente a più agenti di risolvere attività tramite chat. Nel frattempo, l'agente LLM può svolgere più ruoli, ad esempio programmatore, progettista o una combinazione di vari ruoli.

Su GitHub, questo progetto ha ricevuto 28.000 stelle e il documento ha anche vinto il Best Paper Award all'ICLR 2024 LLM Agent Workshop.

Dietro questo articolo, però, in realtà c’è una controversia.

Nel novembre 2023, un ricercatore di intelligenza artificiale (Ph.D. della King Abdullah University of Science and Technology, Li Guohao, il promotore dei progetti open source Camel-AI.org e DeepGCNs.org) ha pubblicato che, poiché AutoGen è molto simile al loro carta CAMEL, loro Ogni volta che partecipo ad un evento mi viene chiesto, qual è la differenza tra i due?

A questo proposito, Li Guohao ha espresso la sua frustrazione perché il loro articolo è stato pubblicato su arXiv molto prima di AutoGen, ma ora è considerato un imitatore di AutoGen (CAMEL è stato rilasciato nel marzo 2023; AutoGen è stato rilasciato nell'agosto 2023).

Link al documento: https://arxiv.org/abs/2303.17760

Link al documento: https://arxiv.org/pdf/2308.08155

Secondo Li Guohao, i due metodi hanno le seguenti somiglianze:

Anche gli esempi utilizzati sono in qualche modo simili:

Come ritardatario, AutoGen ha menzionato CAMEL nel documento e ha sottolineato alcune differenze tra CAMEL e AutoGen. Ma dove appaiono è sconcertante: appaiono nell'appendice. Questo potrebbe anche essere uno dei motivi principali per cui altri ricercatori conoscono solo AutoGen ma non CAMEL. Dopotutto, quante persone leggeranno attentamente l'appendice?

Paragrafo del documento AutoGen che menziona CAMEL: "CAMEL (Li et al., 2023b) è un framework per agenti di comunicazione che mostra come utilizzare il gioco di ruolo per consentire agli agenti in chat di comunicare tra loro per completare le attività. CAMEL può anche registrare i dialoghi degli agenti per analisi del comportamento e comprensione delle capacità CAMEL utilizza una tecnologia di “inception-prompting” per ottenere una cooperazione autonoma tra agenti. A differenza di AutoGen, CAMEL non supporta nativamente l'utilizzo degli strumenti (come l'esecuzione del codice). Sebbene CAMEL si proponga come infrastruttura per il dialogo multi-agente, supporta solo modalità di dialogo statico, mentre AutoGen supporta anche modalità di dialogo dinamico. "

La tabella 1 riassume le differenze tra AutoGen e altri multi-agenti correlati. Viene giudicata in base a quattro indicatori: uno è l'infrastruttura, ovvero se il sistema è progettato per essere un'infrastruttura comune per la creazione di applicazioni LLM , ovvero il sistema supporta il tipo di modalità. Nella modalità "statica", la topologia dell'agente rimane invariata indipendentemente dall'input. AutoGen consente modalità di conversazione flessibili, comprese modalità statiche e dinamiche che possono essere personalizzate per le diverse esigenze applicative. Il terzo è l'eseguibilità, cioè se il sistema può eseguire il codice generato da LLM, il quarto è la partecipazione manuale, se (e come) il sistema consente la partecipazione umana al processo di esecuzione; AutoGen consente agli esseri umani di partecipare in modo flessibile a conversazioni con più agenti e di scegliere di evitare di fornire input.

Paragrafi del documento AutoGen che menzionano CAMEL: "AutoGen può aiutare a sviluppare agenti altamente capaci che sfruttano appieno LLM, strumenti e esseri umani. La creazione di tali agenti è fondamentale per garantire che i flussi di lavoro multi-agente possano risolvere e implementare efficacemente i problemi. È fondamentale rendere progressi nell'attività. Ad esempio, abbiamo osservato che un altro sistema LLM multi-agente, CAMEL, non è riuscito a risolvere il problema in modo efficace nella maggior parte dei casi, principalmente perché non aveva la capacità di eseguire strumenti o codice abbastanza per avere un semplice LLM basato sul gioco di ruolo e un dialogo multi-agente. Ci devono essere anche agenti capaci di alto livello con varie competenze. Riteniamo che dovrebbe essere svolto un lavoro più sistematico per sviluppare linee guida per agenti specifiche per l'applicazione e creare OSS su larga scala è necessaria la conoscenza delle biblioteche e la creazione di agenti in grado di scoprire e migliorare le proprie competenze.

Durante la revisione della presentazione di AutoGen all'incontro principale dell'ICLR, l'autore del CAMEL Li Guohao ha sottolineato questo problema nell'area dei commenti pubblici e ha sottolineato che si trattava di una "omissione degna di nota".

Nei commenti di revisione per AutoGen, anche i revisori dell'ICLR e i presidenti di area hanno sottolineato l'inappropriatezza di questo approccio.

In esso, l'Area Chair scrive: "Gli autori discutono questo lavoro in appendice, ma questa pratica non è consigliabile perché il materiale supplementare non è rivisto allo stesso livello dell'articolo. In breve, questo sembra consentire agli autori di dire hanno citato e discusso il documento ma non citarlo e discuterlo effettivamente nelle parti del documento che il 99% delle persone probabilmente leggerà è allarmante."

Allora perché l'autore di AutoGen ha fatto questo? Hanno risposto: Quando hanno presentato il loro articolo all’ICLR 2024, articoli come CAMEL non erano ancora stati pubblicati in conferenze/riviste peer-reviewed. Secondo le Linee guida per i revisori dell'ICLR 2024, non hanno alcun obbligo di citare o confrontare con questo articolo (CAMEL è stato accettato da NeurIPS 2023 nel settembre 2023; le Linee guida per i revisori dell'ICLR 2024 stabiliscono che gli articoli pubblicati dopo il 28 maggio 2023 non richiedono alcuna citazione).

Allo stesso tempo, hanno elencato le parti del documento che coinvolgono CAMEL:

Dato che i regolamenti dell'ICLR vengono prima, il presidente dell'area non può dire molto. Ha scritto: "Anche se capisco la logica alla base di questa politica, nell'attuale clima editoriale potrebbe portare a strani risultati. Non lo terrò in considerazione nella mia decisione a causa della politica dell'ICLR, ma questo abbasserà la mia fiducia".

Per quanto riguarda le somiglianze menzionate da Li Guohao, l'autore di AutoGen ha anche fornito una controargomentazione:

In risposta alle domande poste dai revisori, le loro risposte sono le seguenti:

In definitiva, la somiglianza con CAMEL e le questioni relative alle citazioni non sono state considerate dal presidente sul campo come questioni importanti per il documento. Tuttavia, il documento AutoGen è stato infine rifiutato per altri motivi (quindi l'autore è successivamente passato all'ICLR 2024 LLM Agent Workshop).

Secondo Li Guohao, gli autori dei due articoli si sono effettivamente incontrati offline, ma sono accadute alcune cose spiacevoli:

Li Guohao spera di attirare l'attenzione della comunità accademica attraverso i post.

Cosa ne pensi di questo?