berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Jantung Mesin

Departemen Editorial Jantung Mesin

arXiv bukan jurnal peer-review, jadi makalah yang diposting di arXiv tidak perlu dikutip.

Jika Anda tertarik dengan agen AI, Anda harus mengetahui AutoGen dari Microsoft. Ini adalah kerangka pemrograman sumber terbuka untuk membangun agen AI yang memungkinkan banyak agen menyelesaikan tugas melalui obrolan. Sementara itu, agen LLM dapat memainkan peran ganda, seperti programmer, desainer, atau kombinasi dari berbagai peran.

Di GitHub, proyek ini telah menerima 28 ribu bintang, dan makalah ini juga memenangkan Penghargaan Makalah Terbaik di Lokakarya Agen LLM ICLR 2024.

Namun, sebenarnya ada kontroversi di balik tulisan ini.

Pada bulan November 2023, seorang peneliti AI (Ph.D. dari Universitas Sains dan Teknologi King Abdullah, Li Guohao, penggagas proyek sumber terbuka Camel-AI.org dan DeepGCNs.org) memposting bahwa karena AutoGen sangat mirip dengan mereka kertas CAMEL, mereka Setiap kali saya menghadiri suatu acara saya selalu ditanya, apa perbedaan keduanya?

Dalam hal ini, Li Guohao mengungkapkan rasa frustrasinya karena makalah mereka diterbitkan di arXiv jauh lebih awal daripada AutoGen, tetapi sekarang dianggap sebagai peniru AutoGen (CAMEL dirilis pada Maret 2023; AutoGen dirilis pada Agustus 2023).

Tautan makalah: https://arxiv.org/abs/2303.17760

Tautan makalah: https://arxiv.org/pdf/2308.08155

Menurut Li Guohao, kedua metode tersebut memiliki kesamaan sebagai berikut:

Bahkan contoh yang digunakan pun agak mirip:

Sebagai pendatang baru, AutoGen menyebutkan CAMEL di koran dan menunjukkan beberapa perbedaan antara CAMEL dan AutoGen. Namun di mana kemunculannya masih membingungkan—muncul di lampiran. Ini mungkin juga menjadi alasan utama mengapa peneliti lain hanya mengetahui AutoGen tetapi tidak mengetahui CAMEL. Lagi pula, berapa banyak orang yang akan membaca lampiran ini dengan cermat?

Paragraf dari makalah AutoGen yang menyebutkan CAMEL: "CAMEL (Li et al., 2023b) adalah kerangka kerja agen komunikasi yang menunjukkan cara menggunakan permainan peran agar agen obrolan berkomunikasi satu sama lain untuk menyelesaikan tugas. CAMEL juga dapat merekam dialog agen untuk analisis perilaku dan pemahaman kemampuan. CAMEL menggunakan teknologi “inception-prompting” untuk mencapai kerja sama otonom antar agen. Tidak seperti AutoGen, CAMEL tidak mendukung penggunaan alat (seperti eksekusi kode). Meskipun CAMEL diusulkan sebagai infrastruktur untuk dialog multi-agen, CAMEL hanya mendukung mode dialog statis, sedangkan AutoGen juga mendukung mode dialog dinamis. "

Tabel 1 merangkum perbedaan antara AutoGen dan multi-agen terkait lainnya. Hal ini dinilai dari empat indikator: satu adalah infrastruktur, yaitu apakah sistem dirancang untuk menjadi infrastruktur umum untuk membangun aplikasi LLM; , yaitu, sistem mendukung tipe mode. Dalam mode "statis", topologi agen tetap tidak berubah apa pun masukannya. AutoGen memungkinkan mode percakapan yang fleksibel, termasuk mode statis dan dinamis yang dapat disesuaikan untuk kebutuhan aplikasi yang berbeda. Yang ketiga adalah executability, yaitu apakah sistem dapat mengeksekusi kode yang dihasilkan oleh LLM; yang keempat adalah partisipasi manual, apakah (dan bagaimana) sistem mengizinkan partisipasi manusia dalam proses eksekusi. AutoGen memungkinkan manusia untuk berpartisipasi secara fleksibel dalam percakapan multi-agen dan memungkinkan manusia memilih untuk tidak memberikan masukan.

Paragraf dari makalah AutoGen yang menyebutkan CAMEL: "AutoGen dapat membantu mengembangkan agen berkemampuan tinggi yang memanfaatkan sepenuhnya LLM, alat, dan manusia. Menciptakan agen seperti itu sangat penting untuk memastikan bahwa alur kerja multi-agen dapat memecahkan masalah dan menerapkan secara efektif. Sangat penting untuk membuat Misalnya, kami mengamati bahwa sistem LLM multi-agen lainnya, CAMEL, gagal menyelesaikan masalah secara efektif dalam banyak kasus, terutama karena tidak memiliki kemampuan untuk mengeksekusi alat atau kode cukup untuk melakukan permainan peran sederhana dan dialog multi-agen. Juga harus ada agen berkemampuan tingkat tinggi dengan berbagai keterampilan. Kami percaya bahwa pekerjaan yang lebih sistematis harus dilakukan untuk mengembangkan pedoman agen khusus aplikasi dan membuat OSS skala besar pengetahuan, perpustakaan, dan menciptakan agen yang dapat menemukan dan meningkatkan keterampilan mereka sendiri diperlukan.

Selama peninjauan pengajuan AutoGen pada pertemuan utama ICLR, penulis CAMEL Li Guohao menunjukkan masalah ini di area komentar publik dan menekankan bahwa ini adalah "kelalaian yang patut diperhatikan."

Dalam komentar tinjauan untuk AutoGen, pengulas ICLR dan ketua wilayah juga menunjukkan ketidaksesuaian pendekatan ini.

Di dalamnya, Ketua Area menulis, "Para penulis memang membahas pekerjaan ini di lampiran, namun praktik ini tidak disarankan karena materi tambahan tidak ditinjau pada tingkat yang sama dengan makalah. Singkatnya, hal ini tampaknya memungkinkan penulis Mengatakan mereka mengutip dan mendiskusikan makalah tersebut tetapi tidak benar-benar mengutip dan mendiskusikannya di bagian makalah yang kemungkinan besar dibaca oleh 99% orang adalah hal yang mengkhawatirkan."

Jadi mengapa penulis AutoGen melakukan ini? Mereka menjawab: Ketika mereka menyerahkan makalah mereka ke ICLR 2024, makalah seperti CAMEL belum diterbitkan dalam konferensi/jurnal yang ditinjau oleh rekan sejawat. Menurut Pedoman Peninjau ICLR 2024, mereka tidak berkewajiban untuk mengutip atau membandingkan dengan makalah ini (CAMEL diterima oleh NeurIPS 2023 pada bulan September 2023; Pedoman Peninjau ICLR 2024 menetapkan bahwa makalah yang diterbitkan setelah 28 Mei 2023 Tidak diperlukan kutipan).

Pada saat yang sama, mereka membuat daftar bagian-bagian makalah yang melibatkan CAMEL:

Karena peraturan ICLR didahulukan, ketua kawasan tidak bisa berkata banyak. Ia menulis, "Meskipun saya memahami alasan di balik kebijakan ini, dalam iklim penerbitan saat ini, hal ini mungkin akan menimbulkan hasil yang aneh. Saya tidak akan memasukkan hal ini ke dalam keputusan saya karena kebijakan ICLR, namun hal ini akan menurunkan kepercayaan diri saya."

Mengenai kesamaan yang disebutkan oleh Li Guohao, penulis AutoGen juga memberikan argumen tandingan:

Menanggapi pertanyaan yang diajukan oleh reviewer, tanggapan mereka adalah sebagai berikut:

Pada akhirnya, kesamaan dengan CAMEL dan masalah kutipan tidak dianggap oleh ketua lapangan sebagai masalah utama makalah ini. Namun makalah AutoGen akhirnya ditolak karena alasan lain (sehingga penulis kemudian beralih ke Lokakarya Agen LLM ICLR 2024).

Menurut Li Guohao, penulis kedua makalah tersebut sebenarnya bertemu secara offline, namun beberapa hal tidak menyenangkan terjadi:

Li Guohao berharap dapat menarik perhatian civitas akademika melalui postingannya.

Apa pendapat Anda tentang ini?