uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Koneen sydänraportti

Machine Heart -toimitusosasto

arXiv ei ole vertaisarvioitu päiväkirja, joten arXiviin lähetettyihin kirjoihin ei tarvitse viitata. Onko tämä järkevää?

Jos olet kiinnostunut tekoälyagenteista, sinun on tunnettava Microsoftin AutoGen. Se on avoimen lähdekoodin ohjelmointikehys tekoälyagenttien rakentamiseen, jonka avulla useat agentit voivat ratkaista tehtäviä chatin kautta. Tällä välin LLM-agentilla voi olla useita rooleja, kuten ohjelmoija, suunnittelija tai useiden eri roolejen yhdistelmä.

GitHubissa tämä projekti on saanut 28 000 tähteä, ja lehti voitti myös parhaan paperin palkinnon ICLR 2024 LLM Agent Workshopissa.

Tämän paperin takana on kuitenkin itse asiassa kiistaa.

Marraskuussa 2023 tekoälytutkija (tohtori King Abdullahin tiede- ja teknologiayliopistosta, Li Guohao, avoimen lähdekoodin projektien Camel-AI.org ja DeepGCNs.org aloitteentekijä) julkaisi tämän, koska AutoGen on hyvin samankaltainen heidän kanssaan. paper CAMEL, he Joka kerta kun osallistun tapahtumaan, minulta kysytään, mitä eroa näillä kahdella on?

Tässä suhteessa Li Guohao ilmaisi turhautumisensa, koska heidän artikkelinsa julkaistiin arXivissa huomattavasti aikaisemmin kuin AutoGen, mutta nyt sitä pidetään AutoGenin jäljittelijänä (CAMEL julkaistiin maaliskuussa 2023; AutoGen julkaistiin elokuussa 2023).

Paperilinkki: https://arxiv.org/abs/2303.17760

Paperilinkki: https://arxiv.org/pdf/2308.08155

Li Guohaon mukaan näillä kahdella menetelmällä on seuraavat yhtäläisyydet:

Jopa käytetyt esimerkit ovat jokseenkin samanlaisia:

Myöhäisenä tulokkaana AutoGen mainitsi CAMELin lehdessä ja huomautti joitain eroja CAMELin ja AutoGenin välillä. Mutta missä nämä esiintyvät, on hämmentävää – ne näkyvät liitteessä. Tämä voi myös olla suuri syy siihen, miksi muut tutkijat tuntevat vain AutoGenin mutta eivät CAMELiä. Kuinka moni sitten lukee liitteen huolellisesti?

Kappale AutoGen-paperista, jossa mainitaan CAMEL: "CAMEL (Li et al., 2023b) on viestintäagenttikehys, joka näyttää, kuinka roolipelien avulla chattailijat voivat kommunikoida keskenään tehtävien suorittamiseksi. CAMEL voi myös tallentaa agentteja Dialogue for käyttäytymisanalyysi ja valmiuksien ymmärtäminen CAMEL käyttää "aloituskehottavaa" teknologiaa saavuttaakseen itsenäisen yhteistyön agenttien välillä. Toisin kuin AutoGen, CAMEL ei tue natiivisti työkalujen käyttöä (kuten koodin suorittamista). Vaikka CAMELiä ehdotetaan infrastruktuuriksi monen toimijan dialogille, se tukee vain staattisia dialogitiloja, kun taas AutoGen tukee myös dynaamisia dialogitiloja. "

Taulukossa 1 on yhteenveto AutoGenin ja muiden siihen liittyvien moniagenttien välisistä eroista. Yksi on infrastruktuuri, eli onko järjestelmä suunniteltu yhteiseksi infrastruktuuriksi LLM-sovellusten rakentamiseen , eli järjestelmä tukee tilatyyppiä. "Staattisessa" tilassa agenttitopologia pysyy muuttumattomana syötteestä riippumatta. AutoGen mahdollistaa joustavat keskustelutilat, mukaan lukien staattiset ja dynaamiset tilat, jotka voidaan mukauttaa erilaisiin sovellustarpeisiin. Kolmas on suoritettavuus, eli voiko järjestelmä suorittaa LLM:n luoman koodin, neljäs on manuaalinen osallistuminen, salliiko (ja miten) järjestelmä ihmisen osallistumisen suoritusprosessiin. AutoGen antaa ihmisille mahdollisuuden osallistua joustavasti usean edustajan keskusteluihin ja antaa ihmisten valita syöttämisen väliin.

Kappaleet AutoGen-paperista, joissa mainitaan CAMEL: "AutoGen voi auttaa kehittämään erittäin päteviä agentteja, jotka hyödyntävät täysimääräisesti LLM:tä, työkaluja ja ihmisiä. Tällaisten agenttien luominen on ratkaisevan tärkeää, jotta voidaan varmistaa, että usean agentin työnkulku voi tehdä vianmäärityksen ja toteuttaa tehokkaasti On erittäin tärkeää tehdä Tehtävän edistyminen Havaitsimme esimerkiksi, että toinen monen agentin LLM-järjestelmä, CAMEL, ei onnistunut ratkaisemaan ongelmaa tehokkaasti, pääasiassa siksi, että sillä ei ollut kykyä suorittaa työkaluja tai koodia riittää yksinkertaiseen roolipeliin ja monen agentin dialogiin. Lisäksi pitää olla korkean tason osaavia agentteja, joilla on erilaisia ​​taitoja. Uskomme, että sovelluskohtaisten agenttiohjeiden kehittämiseksi ja laajamittaisten OSS:ien luomiseksi tulisi tehdä systemaattisempaa työtä kirjastojen luominen ja sellaisten agenttien luominen, jotka voivat löytää ja parantaa omia taitojaan.

Tarkastellessaan AutoGenin ICLR:n pääkokoukselle esittämää lausuntoa, CAMEL-kirjailija Li Guohao huomautti tämän ongelman julkisessa kommenttialueella ja korosti, että tämä oli "huomautettava puute".

AutoGenin arvostelukommenteissa ICLR:n arvioijat ja alueen puheenjohtajat huomauttivat myös tämän lähestymistavan sopimattomuudesta.

Siinä Area Chair kirjoittaa: "Kirjoittajat keskustelevat tästä työstä liitteessä, mutta tämä käytäntö ei ole suositeltavaa, koska lisämateriaalia ei ole tarkistettu samalla tasolla kuin paperia. Lyhyesti sanottuna tämä näyttää antavan kirjoittajille mahdollisuuden sanoa he lainasivat ja keskustelivat lehdestä, mutta eivät varsinaisesti lainata ja keskustella siitä lehden osissa, joita 99 % ihmisistä todennäköisesti lukee, on hälyttävää."

Joten miksi AutoGenin kirjoittaja teki tämän? He vastasivat: Kun he toimittivat paperinsa ICLR 2024 -tapahtumaan, CAMELin kaltaisia ​​artikkeleita ei ollut vielä julkaistu vertaisarvioiduissa konferensseissa/lehdissä. ICLR 2024 Reviewer Guidelines -ohjeiden mukaan heillä ei ole velvollisuutta lainata tai vertailla tähän julkaisuun (CAMEL hyväksyttiin NeurIPS 2023:ssa syyskuussa 2023; ICLR 2024 Reviewer Guidelinesissa määrätään, että 28.5.2023 jälkeen julkaistut artikkelit eivät vaadi lainausta).

Samaan aikaan he listasivat paperin osat, jotka liittyvät CAMELiin:

Koska ICLR:n määräykset ovat ensin, alueen puheenjohtaja ei voi sanoa paljon. Hän kirjoitti: "Vaikka ymmärrän tämän politiikan taustan, se voi nykyisessä julkaisuilmapiirissä johtaa outoihin tuloksiin. En ota tätä huomioon päätöksessäni ICLR:n politiikan vuoksi, mutta tämä se alentaa luottamustani."

Li Guohaon mainitsemiin yhtäläisyyksiin liittyen AutoGenin kirjoittaja esitti myös vasta-argumentin:

Vastauksena arvioijien esittämiin kysymyksiin, heidän vastauksensa ovat seuraavat:

Loppujen lopuksi samankaltaisuus CAMELin kanssa ja viittauskysymykset eivät olleet kentän puheenjohtajan mielestä merkittäviä kysymyksiä paperille. AutoGen-paperi kuitenkin lopulta hylättiin muista syistä (joten kirjoittaja siirtyi myöhemmin ICLR 2024 LLM Agent Workshopiin).

Li Guohaon mukaan kahden paperin kirjoittajat tapasivat itse asiassa offline-tilassa, mutta joitain epämiellyttäviä asioita tapahtui:

Li Guohao toivoo saavansa akateemisen yhteisön huomion julkaisemalla.

Mitä ajattelet tästä?