ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

マシーンハート編集部

arXiv は査読ジャーナルではないため、arXiv に投稿された論文は引用される必要はありません。これは合理的ですか?

AI エージェントに興味がある場合は、Microsoft の AutoGen を知っておく必要があります。これは、複数のエージェントがチャットを通じてタスクを解決できる AI エージェントを構築するためのオープンソース プログラミング フレームワークです。それまでの間、LLM エージェントは、プログラマー、デザイナー、またはさまざまな役割の組み合わせなど、複数の役割を果たすことができます。

GitHub では、このプロジェクトは 28,000 個のスターを獲得し、この論文は ICLR 2024 LLM エージェント ワークショップで最優秀論文賞も受賞しました。

しかし、実はこの論文の裏には論争がある。

2023 年 11 月、AI 研究者 (オープンソース プロジェクト Camel-AI.org および DeepGCNs.org の創始者である、キング アブドラ科学技術大学の博士号、Li Guohao) は、AutoGen が彼らのプロジェクトと非常によく似ているため、次のように投稿しました。 Paper CAMEL、彼ら イベントに参加するたびに、この2つの違いは何ですか?と聞かれます。

この点に関して、Li Guohao 氏は、彼らの論文が AutoGen よりもかなり早く arXiv に公開されたにもかかわらず、現在では AutoGen の模倣者とみなされているため、不満を表明しました (CAMEL は 2023 年 3 月にリリースされ、AutoGen は 2023 年 8 月にリリースされました)。

論文リンク: https://arxiv.org/abs/2303.17760

論文リンク: https://arxiv.org/pdf/2308.08155

Li Guohao 氏によると、2 つの方法には次のような類似点があります。

使用されている例も多少似ています。

AutoGen は後発であり、論文の中で CAMEL について言及し、CAMEL と AutoGen のいくつかの違いを指摘しました。しかし、これらがどこに表示されるかは不可解です。付録に表示されます。これは、他の研究者が AutoGen だけを知っていて CAMEL を知らない主な理由でもあるかもしれません。結局、付録をじっくり読む人がどれだけいるでしょうか？

AutoGen 論文の CAMEL について言及した段落: 「CAMEL (Li et al., 2023b) は、ロールプレイングを使用してチャット エージェントが相互に通信してタスクを完了する方法を示すコミュニケーション エージェント フレームワークです。CAMEL はエージェントの対話を記録することもできます。 CAMEL は、「開始プロンプト」テクノロジーを使用して、エージェント間の自律的な協力を実現します。 AutoGen とは異なり、CAMEL はツールの使用 (コード実行など) をネイティブにサポートしません。 CAMEL はマルチエージェント対話のインフラストラクチャとして提案されていますが、静的対話モードのみをサポートしているのに対し、AutoGen は動的対話モードもサポートしています。 」

表 1 は、AutoGen と他の関連マルチエージェントの違いを 4 つの指標から判断します。1 つはインフラストラクチャ、つまりシステムが LLM アプリケーションを構築するための共通インフラストラクチャとして設計されているかどうかです。つまり、システムはモード タイプをサポートします。 「静的」モードでは、入力に関係なくエージェント トポロジは変更されません。 AutoGen を使用すると、アプリケーションのさまざまなニーズに合わせてカスタマイズできる静的モードや動的モードなど、柔軟な会話モードが可能になります。 3 番目は実行可能性、つまり LLM によって生成されたコードをシステムが実行できるかどうか、4 番目は手動参加、システムが実行プロセスへの人間の参加を許可するかどうか (およびその方法) です。 AutoGen を使用すると、人間はマルチエージェントの会話に柔軟に参加でき、人間は入力の提供をスキップすることを選択できます。

AutoGen の論文の CAMEL に言及した段落: 「AutoGen は、LLM、ツール、人間を最大限に活用する高機能エージェントの開発に役立ちます。そのようなエージェントの作成は、マルチエージェント ワークフローで効果的にトラブルシューティングを行い、問題を解決できるようにするために不可欠です。これは非常に重要です」たとえば、別のマルチエージェント LLM システムである CAMEL では、ツールやコードを実行する能力が欠如していることが主な原因で、ほとんどの場合、問題を効果的に解決できないことがわかりました。単純なロールプレイング LLM やマルチエージェント対話だけでは十分ではなく、さまざまなスキルを備えた高度な有能なエージェントも必要です。アプリケーション固有のエージェント ガイドラインを開発し、大規模な OSS を作成するために、より体系的な作業を実行する必要があると考えています。知識ライブラリを構築し、自分自身のスキルを発見して向上させることができるエージェントを作成することが必要です。

ICLR本会議に提出されたAutoGenのレビュー中、CAMEL著者のLi Guohao氏はパブリックコメントエリアでこの問題を指摘し、これは「注目に値する欠落」であると強調した。

AutoGen の審査コメントでは、ICLR 審査員とエリアチェアーもこのアプローチの不適切性を指摘しました。

その中で、領域委員長は次のように書いている、「著者らは付録でこの研究について議論しているが、補足資料は論文と同じレベルでレビューされていないため、このやり方はお勧めできません。要するに、これにより著者らは次のように言うことができるようです」彼らはその論文を引用して議論しましたが、論文の99%の人が読むであろう部分で実際に引用したり議論しなかったことは憂慮すべきことです。」

では、AutoGen の作成者はなぜこれを行ったのでしょうか?彼らは、論文を ICLR 2024 に提出した時点では、CAMEL およびその他の論文は査読済みの会議/雑誌にまだ掲載されていなかったと回答しました。 ICLR 2024 査読者ガイドラインによれば、この論文を引用したり比較したりする義務はありません（CAMEL は 2023 年 9 月に NeurIPS 2023 に受理されました。ICLR 2024 査読者ガイドラインでは、2023 年 5 月 28 日以降に出版された論文については引用の必要はないと規定されています）。

同時に、彼らは論文の中でCAMELに関係する部分をリストアップしました。

ICLRの規定が先なのでエリアチェアはあまり言えません。同氏は、「この方針の背後にある理論的根拠は理解しているが、現在の出版環境では奇妙な結果につながる可能性がある。ICLRの方針のため、これを私の決定に考慮するつもりはないが、これは私の自信を低下させるだろう」と書いた。

Li Guohao 氏が言及した類似点に関して、AutoGen の著者も次のような反論を行っています。

査読者からの質問に対する回答は次のとおりです。

最終的に、CAMEL との類似性と引用の問題は、フィールドチェアによってこの論文の主要な問題として考慮されませんでした。ただし、AutoGen 論文は最終的に他の理由で拒否されました (そのため、著者は後に ICLR 2024 LLM エージェント ワークショップに切り替えました)。

Li Guohao氏によると、2つの論文の著者は実際にはオフラインで会ったが、いくつかの不愉快なことが起こったという。

李国豪氏は投稿を通じて学術界の注目を集めたいと考えている。

あなたはこのことについてどう思いますか？