소식

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기계 심장 보고서

머신하트 편집부

arXiv는 동료 검토 저널이 아니므로 arXiv에 게시된 논문을 인용할 필요가 없습니다. 이것이 타당한가요?

AI 에이전트에 관심이 있다면 마이크로소프트의 AutoGen을 알아야 한다. 여러 에이전트가 채팅을 통해 작업을 해결할 수 있도록 하는 AI 에이전트 구축을 위한 오픈 소스 프로그래밍 프레임워크입니다. 그 동안 LLM 에이전트는 프로그래머, 디자이너 또는 다양한 역할의 조합과 같은 다양한 역할을 수행할 수 있습니다.

GitHub에서 이 프로젝트는 별 28,000개를 받았으며, 논문은 ICLR 2024 LLM Agent Workshop에서 최우수 논문상도 수상했습니다.

그러나 실제로 이 논문에는 논란이 있다.

2023년 11월, AI 연구원(King Abdullah University of Science and Technology 박사, Li Guohao, 오픈 소스 프로젝트 Camel-AI.org 및 DeepGCNs.org의 창시자)은 AutoGen이 그들의 AI와 매우 유사하기 때문에 다음과 같이 게시했습니다. paper CAMEL, 그들은 행사에 참석할 때마다 둘의 차이점이 무엇인지 묻는 질문을 받습니다.

이에 대해 Li Guohao는 자신들의 논문이 AutoGen보다 훨씬 일찍 arXiv에 게재되었으나 지금은 AutoGen을 모방한 것으로 평가받고 있다는 점에 불만을 표시했습니다(CAMEL은 2023년 3월에 발표되었고 AutoGen은 2023년 8월에 발표되었습니다).

논문 링크: https://arxiv.org/abs/2303.17760

논문 링크: https://arxiv.org/pdf/2308.08155

Li Guohao에 따르면 두 가지 방법에는 다음과 같은 유사점이 있습니다.

사용된 예제도 다소 유사합니다.

후발주자로서 AutoGen은 논문에서 CAMEL을 언급했으며 CAMEL과 AutoGen의 몇 가지 차이점을 지적했습니다. 그러나 이것이 나타나는 곳은 수수께끼입니다. 부록에 나타납니다. 이는 다른 연구자들이 AutoGen만 알고 CAMEL은 모르는 주요 이유일 수도 있습니다. 결국, 부록을 꼼꼼히 읽어볼 사람이 몇이나 될까요?

CAMEL을 언급한 AutoGen 논문의 단락: "CAMEL(Li et al., 2023b)은 역할극을 사용하여 채팅 에이전트가 작업을 완료하기 위해 서로 통신할 수 있도록 하는 방법을 보여주는 통신 에이전트 프레임워크입니다. CAMEL은 또한 에이전트 대화를 녹음할 수 있습니다. 행동 분석 및 기능 이해 CAMEL은 에이전트 간의 자율적 협력을 달성하기 위해 "인셉션 프롬프트" 기술을 사용합니다. AutoGen과 달리 CAMEL은 기본적으로 도구 사용(예: 코드 실행)을 지원하지 않습니다. CAMEL은 다중 에이전트 대화를 위한 인프라로 제안되었지만 정적 대화 모드만 지원하는 반면 AutoGen은 동적 대화 모드도 지원합니다. "

표 1에는 AutoGen과 기타 관련 다중 에이전트 간의 차이점이 요약되어 있습니다. 하나는 인프라, 즉 시스템이 LLM 애플리케이션 구축을 위한 공통 인프라로 설계되었는지 여부이고, 다른 하나는 대화 모드입니다. 즉, 시스템이 모드 유형을 지원합니다. "정적" 모드에서는 에이전트 토폴로지가 입력에 관계없이 변경되지 않은 상태로 유지됩니다. AutoGen은 다양한 애플리케이션 요구 사항에 맞게 사용자 정의할 수 있는 정적 및 동적 모드를 포함하여 유연한 대화 모드를 허용합니다. 세 번째는 실행 가능성, 즉 시스템이 LLM에서 생성된 코드를 실행할 수 있는지 여부입니다. 네 번째는 시스템이 실행 프로세스에 사람의 참여를 허용하는지 여부(및 방법)입니다. AutoGen을 사용하면 인간은 다중 에이전트 대화에 유연하게 참여할 수 있으며 입력 제공을 건너뛰도록 선택할 수 있습니다.

CAMEL을 언급하는 AutoGen 논문의 단락: "AutoGen은 LLM, 도구 및 인간을 최대한 활용하는 고성능 에이전트를 개발하는 데 도움이 될 수 있습니다. 이러한 에이전트를 생성하는 것은 다중 에이전트 워크플로가 효과적으로 문제를 해결하고 구현할 수 있도록 하는 데 중요합니다. 예를 들어, 우리는 또 다른 다중 에이전트 LLM 시스템인 CAMEL이 대부분의 경우 도구나 코드를 실행하는 능력이 부족하여 문제를 효과적으로 해결하지 못하는 것을 확인했습니다. 간단한 롤플레잉 LLM과 멀티 에이전트 대화가 가능할 만큼 다양한 스킬을 갖춘 높은 수준의 에이전트가 있어야 하며, 애플리케이션별 에이전트 지침을 개발하고 대규모 OSS를 만들기 위해서는 보다 체계적인 작업이 수행되어야 한다고 생각합니다. 지식 라이브러리, 자신의 기술을 발견하고 향상시킬 수 있는 에이전트를 만드는 것이 필요합니다.

AutoGen이 ICLR 본회의에 제출한 내용을 검토하는 동안 CAMEL 작성자 Li Guohao는 공개 논평 영역에서 이 문제를 지적하고 이것이 "주목할 만한 누락"임을 강조했습니다.

AutoGen에 대한 검토 의견에서 ICLR 검토자와 지역 의장도 이 접근 방식의 부적절함을 지적했습니다.

여기에서 지역 의장은 다음과 같이 썼습니다. "저자는 부록에서 이 작업에 대해 논의하지만 보충 자료는 논문과 동일한 수준에서 검토되지 않기 때문에 이러한 관행은 권장되지 않습니다. 간단히 말해서, 이는 저자가 다음과 같이 말할 수 있는 것으로 보입니다. 그들은 논문을 인용하고 토론했지만 99%의 사람들이 읽을 가능성이 있는 논문 부분에서 실제로 인용하고 토론하지 않는 것은 놀라운 일입니다."

그렇다면 AutoGen의 저자는 왜 이런 일을 했을까요? 그들은 다음과 같이 대답했습니다. ICLR 2024에 논문을 제출했을 때 CAMEL과 같은 논문은 아직 동료 검토 컨퍼런스/저널에 출판되지 않았습니다. ICLR 2024 검토자 지침에 따르면, 그들은 이 논문을 인용하거나 비교할 의무가 없습니다(CAMEL은 2023년 9월 NeurIPS 2023에서 승인되었습니다. ICLR 2024 검토자 지침은 2023년 5월 28일 이후에 출판된 논문에 인용이 필요하지 않다고 규정하고 있습니다).

동시에 그들은 CAMEL과 관련된 논문 부분을 나열했습니다.

ICLR 규정이 우선이기 때문에 지역 의장은 많은 말을 할 수 없습니다. 그는 "이 정책의 근거를 이해하지만 현재 출판 환경에서는 이상한 결과가 발생할 수 있습니다. ICLR의 정책으로 인해 이를 결정에 고려하지는 않겠지만 이로 인해 자신감이 낮아질 것입니다."라고 썼습니다.

Li Guohao가 언급한 유사점에 대해 AutoGen 저자도 반론을 제시했습니다.

심사위원들이 제기한 질문에 대한 답변은 다음과 같습니다.

결국 현장 의장은 CAMEL과의 유사성 및 인용 문제를 논문의 주요 문제로 간주하지 않았습니다. 그러나 AutoGen 논문은 다른 이유로 결국 거부되었습니다(따라서 저자는 나중에 ICLR 2024 LLM Agent Workshop으로 전환했습니다).

Li Guohao에 따르면 두 논문의 저자는 실제로 오프라인에서 만났지만 몇 가지 불쾌한 일이 일어났습니다.

Li Guohao는 게시물을 통해 학계의 관심을 끌기를 희망합니다.

이것에 대해 어떻게 생각하세요?