notícias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Relatório do coração da máquina

Departamento Editorial de Coração de Máquina

O arXiv não é um periódico revisado por pares, portanto, os artigos publicados no arXiv não precisam ser citados.

Se você está interessado em agentes de IA, deve conhecer o AutoGen da Microsoft. É uma estrutura de programação de código aberto para a construção de agentes de IA que permite que vários agentes resolvam tarefas por meio de chat. Enquanto isso, o agente LLM pode desempenhar diversas funções, como programador, designer ou uma combinação de diversas funções.

No GitHub, este projeto recebeu 28 mil estrelas, e o artigo também ganhou o prêmio de melhor artigo no ICLR 2024 LLM Agent Workshop.

No entanto, há realmente controvérsia por trás deste artigo.

Em novembro de 2023, um pesquisador de IA (Ph.D. pela Universidade de Ciência e Tecnologia King Abdullah, Li Guohao, o iniciador dos projetos de código aberto Camel-AI.org e DeepGCNs.org) postou que, como o AutoGen é altamente semelhante ao seu papel CAMEL, eles Toda vez que participo de um evento me perguntam qual a diferença entre os dois?

A esse respeito, Li Guohao expressou sua frustração porque seu artigo foi publicado no arXiv significativamente antes do AutoGen, mas agora é considerado um imitador do AutoGen (CAMEL foi lançado em março de 2023; AutoGen foi lançado em agosto de 2023).

Link do artigo: https://arxiv.org/abs/2303.17760

Link do artigo: https://arxiv.org/pdf/2308.08155

Segundo Li Guohao, os dois métodos têm as seguintes semelhanças:

Até os exemplos usados ​​são um tanto semelhantes:

Como retardatário, o AutoGen mencionou o CAMEL no artigo e apontou algumas diferenças entre o CAMEL e o AutoGen. Mas onde eles aparecem é intrigante – eles aparecem no apêndice. Esta também pode ser a principal razão pela qual outros pesquisadores conhecem apenas o AutoGen, mas não o CAMEL. Afinal, quantas pessoas lerão o apêndice com atenção?

Parágrafo do artigo AutoGen mencionando CAMEL: "CAMEL (Li et al., 2023b) é uma estrutura de agente de comunicação que mostra como usar role-playing para permitir que agentes de bate-papo se comuniquem entre si para concluir tarefas. CAMEL também pode registrar o diálogo dos agentes para análise de comportamento e compreensão de capacidade CAMEL usa uma tecnologia de “aviso inicial” para alcançar cooperação autônoma entre agentes. Ao contrário do AutoGen, o CAMEL não oferece suporte nativo ao uso de ferramentas (como execução de código). Embora CAMEL seja proposto como uma infraestrutura para diálogo multiagente, ele suporta apenas modos de diálogo estático, enquanto o AutoGen também suporta modos de diálogo dinâmico. "

A Tabela 1 resume as diferenças entre o AutoGen e outros multiagentes relacionados. É avaliada a partir de quatro indicadores: um é a infraestrutura, ou seja, se o sistema foi projetado para ser uma infraestrutura comum para a construção de aplicações LLM, o outro é o modo de diálogo; , ou seja, o sistema suporta o tipo de modo. No modo “estático”, a topologia do agente permanece inalterada independentemente da entrada. O AutoGen permite modos de conversação flexíveis, incluindo modos estáticos e dinâmicos que podem ser personalizados para diferentes necessidades de aplicação. A terceira é a executabilidade, ou seja, se o sistema pode executar o código gerado pelo LLM; a quarta é a participação manual, se (e como) o sistema permite a participação humana no processo de execução; O AutoGen permite que os humanos participem de maneira flexível em conversas entre vários agentes e permite que os humanos optem por ignorar o fornecimento de informações.

Parágrafos do artigo da AutoGen mencionando CAMEL: "O AutoGen pode ajudar a desenvolver agentes altamente capazes que aproveitam ao máximo o LLM, as ferramentas e os humanos. A criação de tais agentes é fundamental para garantir que os fluxos de trabalho multiagentes possam solucionar problemas e implementar com eficácia. É crucial fazer progresso na tarefa, por exemplo, observamos que outro sistema LLM multiagente, CAMEL, não conseguiu resolver o problema de forma eficaz na maioria dos casos, principalmente porque não tinha capacidade de executar ferramentas ou código. basta ter LLM simples e diálogo multiagente. Também deve haver agentes capazes de alto nível com várias habilidades. Acreditamos que um trabalho mais sistemático deve ser realizado para desenvolver diretrizes de agentes específicos para aplicações e criar OSS em larga escala. é necessário criar bibliotecas de conhecimento e criar agentes que possam descobrir e melhorar as suas próprias competências.

Durante a revisão da submissão da AutoGen à reunião principal do ICLR, o autor do CAMEL, Li Guohao, apontou este problema na área de comentários públicos e enfatizou que esta era uma “omissão notável”.

Nos comentários de revisão do AutoGen, os revisores e presidentes de área do ICLR também apontaram a inadequação desta abordagem.

Nele, o Presidente da Área escreve: “Os autores discutem este trabalho no apêndice, mas esta prática não é aconselhável porque o material suplementar não é revisado no mesmo nível do artigo. eles citaram e discutiram o artigo, mas não citá-lo e discuti-lo nas partes do artigo que 99% das pessoas provavelmente lerão é alarmante."

Então, por que o autor do AutoGen fez isso? Eles responderam: Quando submeteram o seu artigo ao ICLR 2024, artigos como o CAMEL ainda não tinham sido publicados em conferências/jornais revisados ​​por pares. De acordo com as Diretrizes para Avaliadores do ICLR 2024, eles não têm obrigação de citar ou comparar com este artigo (CAMEL foi aceito pelo NeurIPS 2023 em setembro de 2023; as Diretrizes para Avaliadores do ICLR 2024 estipulam que artigos publicados após 28 de maio de 2023 Não são necessárias citações).

Ao mesmo tempo, listaram as partes do artigo que envolvem CAMEL:

Como os regulamentos do ICLR vêm em primeiro lugar, o presidente da área não pode dizer muito. Ele escreveu: "Embora eu entenda a lógica por trás desta política, no atual clima editorial ela pode levar a resultados estranhos. Não levarei isso em consideração em minha decisão devido à política do ICLR, mas isso diminuirá minha confiança."

Em relação às semelhanças mencionadas por Li Guohao, o autor do AutoGen também apresentou um contra-argumento:

Em resposta às questões levantadas pelos revisores, suas respostas são as seguintes:

Em última análise, a semelhança com CAMEL e as questões de citação não foram consideradas pelo coordenador de campo como questões importantes para o artigo. No entanto, o artigo da AutoGen foi finalmente rejeitado por outros motivos (então o autor posteriormente mudou para o ICLR 2024 LLM Agent Workshop).

De acordo com Li Guohao, os autores dos dois artigos se conheceram offline, mas aconteceram algumas coisas desagradáveis:

Li Guohao espera atrair a atenção da comunidade acadêmica por meio de postagens.

O que você pensa sobre isso?