uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Uusi viisausraportti

Toimittaja: Toimitusosasto

[Johdatus uuteen viisauteen]ACL, vuotuinen NLP-konferenssi, julkisti lopullisen voittajan. Tänä vuonna parhaan paperin voitti yhteensä 7 artikkelia, ja aikatestin palkinnot myönnettiin Stanford GloVelle ja Cornell University Samankaltaisuus Measurelle. Lisäksi on paras aihe -palkinto, paras sosiaalinen vaikutus -palkinto, paras resurssipalkinto, aluetuolipalkinto ja erinomainen paperipalkinto.

ACL 2024 -palkinnot ovat vihdoin jaettu!

Yhteensä 7 parasta paperia, 35 erinomaista paperia sekä Time Test Award, SAC Award, Best Theme Paper, Best Resource Paper Award jne. julkistettiin.

On syytä mainita, että seitsemän parhaan paperin joukossa Deciphering Oracle Bone Language diffuusiomalleilla valmistui koko kiinalainen tiimi.

Tänä vuonna on 26. vuotuinen kansainvälisen laskennallisen lingvistiikkakonferenssin (ACL) konferenssi, joka avattiin Bangkokissa, Thaimaassa 11.-16. elokuuta.

ACL 2024:lle jätettyjen papereiden kokonaismäärä on lähes sama kuin vuonna 2023, noin 5 000 paperia, joista 940 paperia hyväksyttiin.

Tämä ACL on historian suurin, ja siinä on yhteensä 72 SAC:ta, 716 AC:ta ja 4 208 arvioijaa.

975 etsintäpaperia, 6 JCL, 31 TACL, 3 pääpuhetta ja 1 paneeli.

Koko konferenssi sisälsi myös 18 työpajaa, 6 opetusohjelmaa, 38 demoa ja 60 SRW-paperia.

Paperin tekijöiden lähetystiedot ovat seuraavat:

Eniten lähetetty 1/2 artikkelia: 10 333 tutkijaa toimitti 1 ja 2 130 lähetti 2

Pieni määrä ihmisiä toimitti useita papereita: 3 kirjoittajaa lähetti 18 paperia, 6 henkilöä 19 ja 18 henkilöä yli 20 paperia.

Katsotaanpa, mitkä joukkueet voittivat palkinnot tänä vuonna?

7 parasta paperia

Paperi 1: Oracle Bone Language -kielen purkaminen diffuusiomalleilla

Näyttelijät: Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han, Yongge Liu, Lianwen Jin, Xiang Bai, Yuliang Liu

Oppilaitokset: Huazhongin tiede- ja teknologiayliopisto, Adelaiden yliopisto, Anyang Normal University, Etelä-Kiinan teknillinen yliopisto

Paperiosoite: https://arxiv.org/pdf/2406.00684

Kuten otsikko osoittaa, Kiinan tiimi käytti tekoälyä tehdäkseen erittäin mielenkiintoisen ja arvokkaan asian - purkaa Oraclen (OBS) diffuusiomallin avulla.

Oraakkeliluukirjoitukset syntyivät Kiinan Shang-dynastian ajalta noin 3000 vuotta sitten ja ovat kulmakivi kielen historiassa.

Vaikka tuhansia kirjoituksia on löydetty, suuri osa oraakkeliluukirjoituksista on jäänyt salaamatta, mikä luo mysteerin verhon tämän muinaisen kielen ylle.

Kirjoittaja esittelee artikkelissa uuden menetelmän tekoälyn luomiseksi kuvien avulla, erityisesti "Oracle Bone Script Decipher" (OBSD) -kehityksen.

Ehdolliseen diffuusioon perustuvan strategian avulla OBSD loi tärkeitä johtolankoja ja avasi uuden polun muinaisten kielten tekoälyavusteiselle analyysille.

Sen tehokkuuden varmistamiseksi tutkijat suorittivat suuren määrän kokeita Oraclen tietojoukolla, ja kvantitatiiviset tulokset osoittivat OBSD:n tehokkuuden.

论文2: Luonnollisen kielen tyydyttävyys: Ongelman jakautumisen tutkiminen ja muuntajapohjaisten kielimallien arviointi

(Esipainosta ei ole vielä lähetetty)

Paperi 3: Ulkoamisprofiilien syy-arvio

Pääosissa: Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel

Laitos: Cambridgen yliopisto, ETH Zurich

Paperiosoite: https://arxiv.org/pdf/2406.04327

LLM:n muistin ymmärtämisellä on tärkeitä seurauksia käytäntöön ja yhteiskuntaan, kuten mallikoulutuksen dynamiikan tutkiminen tai tekijänoikeusrikkomusten ehkäisy.

Aiemmat tutkimukset määrittelevät muistin kausaalisena vastauksena mallin kykyyn ennustaa kyseinen ilmentymä harjoittelemalla sitä.

Tämä määritelmä perustuu kontrafaktuaaliin: kykyyn tarkkailla, mitä olisi tapahtunut, jos malli ei olisi nähnyt tapausta.

Nykyiset menetelmät kuitenkin yleensä kohdistuvat malliarkkitehtuuriin sen sijaan, että estimoivat muistia tietyille mallitapauksille, mikä tekee laskennallisesti tehokkaiden ja tarkkojen kontrafaktuaalisten arvioiden antamisesta vaikeaa.

Tämä tutkimus täyttää tärkeän aukon, sillä kirjoittajat ehdottavat uutta periaatteellista ja tehokasta menetelmää memoisoinnin estimoimiseksi ekonometristen ero-in-erojen suunnitelmien perusteella.

Tällä menetelmällä vain tarkkailemalla pienen määrän esiintymiä koko harjoitusprosessin aikana voidaan kuvata mallin muistiprofiilia, eli mallin muistitrendiä koko harjoitusprosessin ajan.

Kokeissa Pythia-mallisarjalla tutkijat havaitsivat:

(1) Suurilla malleilla on vahvempi ja kestävämpi muisti;

(2) Määräytyy datajärjestyksen ja oppimisnopeuden mukaan;

(3) Erikokoisissa malleissa on vakaat trendit, joten suurten mallien muisti on yhtä ennustettavissa kuin pienten mallien muisti.

Paperi 4: Aya-malli: Ohjeen hienosäätöinen avoimen monikielisen kielimalli

Näyttelijät: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shay Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker

Oppilaitokset: Cohere for AI, Brown University, Cohere, Cohere for AI Community, Carnegie Mellon University, MIT

Paperiosoite: https://arxiv.org/pdf/2402.07827

Tämän vuoden helmikuussa startup Cohere julkaisi uuden avoimen lähdekoodin laajamittaisen kielten sukupolvimallin nimeltä Aya, joka kattaa yli 101 kieltä.

On syytä mainita, että Aya-mallin kielimallin kattavuus on yli kaksinkertainen olemassa oleviin avoimen lähdekoodin malleihin verrattuna, ohittaen mT0:n ja BLOOMZ:n.

Ihmisen arviointipisteet saavuttavat 75 % ja eri simuloitujen voittoprosenttitestien pisteet ovat 80-90 %.

Hanke käynnistettiin, ja se kokosi yhteen yli 3 000 riippumatonta tutkijaa 119 maasta.

Lisäksi tutkijat paljastivat myös tähän mennessä suurimman monikielisen ohjauksen hienosäätötietojoukon, joka sisältää 513 miljoonaa dataa ja kattaa 114 kieltä.

Paperi 5: Mission: Impossible Language Models

Pääosissa: Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts

Laitos: Stanford University, University of California, Irvine, University of Texas at Austin

Paperiosoite: https://arxiv.org/pdf/2401.06416

Chomsky ja muut ovat suoraan sanoneet, että LLM:llä on sama kyky oppia kieliä, jotka ovat mahdollisia ja mahdottomia ihmisille.

Tämän väitteen tueksi on kuitenkin vain vähän julkaistuja kokeellisia todisteita.

Tätä varten tutkijat kehittivät joukon synteettisiä "mahdottomia kieliä", joiden monimutkaisuus oli vaihtelevaa. Kukin niistä on suunniteltu muuttamalla järjestelmällisesti englanninkielistä tietoa ja käyttämällä luonnotonta sanajärjestystä ja kielioppisääntöjä.

Nämä kielet sijaitsevat mahdottomien kielten jatkumossa: toisessa päässä ovat täysin mahdottomia kieliä, kuten satunnaisesti uudelleen järjestetty englanti, ja toisessa päässä ovat kielet, joita pidetään kielellisesti mahdottomana, kuten ne, jotka perustuvat sanan sijainnin laskentasääntöihin. .

Arviointisarjan jälkeen GPT-2:lla on erittäin vaikea oppia mahdottomia kieliä, mikä haastaa ydinajatuksen.

Vielä tärkeämpää on, että tutkijat toivovat tämän lähestymistavan lisäävän tutkimusta LLM:n kyvystä oppia erilaisia ​​kieliä, jotta voidaan paremmin ymmärtää LLM:n mahdollisia sovelluksia kognitiivisen ja lingvistisen typologian tutkimuksessa.

Paperi 6: Puolivalvottu hermoston protokielen rekonstruktio

Kirjoittaja: Liang Lu, Peirong Xie, David R. Mortensen

Laitos: Carnegie Mellon University, University of Southern California

Paperiosoite: https://arxiv.org/pdf/2406.05930

Nykyiset äidinkielen vertailu- ja rekonstruktiotyöt vaativat yleensä täyden valvonnan.

Historiallisilla rekonstruktiomalleilla on kuitenkin käytännön arvoa vain, kun niitä koulutetaan rajoitetulla annotoidulla tiedolla.

Vastauksena tutkijat ehdottivat puoliksi valvottua historian jälleenrakennustehtävää.

Tässä tehtävässä mallia tarvitsee vain kouluttaa pienelle määrälle merkittyä dataa (homologinen joukko prototyyppeineen) ja suurelle määrälle leimaamatonta dataa (homologinen joukko ilman prototyyppejä).

Kirjoittaja kehitti vertailevaa rekonstruktiota varten hermoarkkitehtuurin - DPD-BiReconstructorin, joka sisältää tärkeän kohdan kielitieteilijöiden vertailevissa menetelmissä: rekonstruoituja sanoja ei voida ainoastaan ​​rekonstruoida niiden osasanoista, vaan ne voidaan myös muuttaa deterministisesti Takaisin osasanoihinsa. .

Osoitamme, että tämä arkkitehtuuri pystyy hyödyntämään nimeämättömiä sukulaissanojen joukkoja ja päihittämään olemassa olevat puolivalvotut oppimisen perusviivat tässä uudessa tehtävässä.

Paperi 7: Miksi herkät toiminnot ovat vaikeita muuntajille?

Kirjailija: Michael Hahn, Mark Rofin

Laitos: Saarland University

Paperiosoite: https://arxiv.org/pdf/2402.09963

Empiirinen tutkimus on havainnut joukon Transformer-mallin oppimisen vääristymiä ja rajoituksia, kuten vaikeudet oppia laskemaan yksinkertaisia ​​muodollisia kieliä (kuten PARITY) ja sen taipumus työskennellä matalan kertaluokan funktioiden kanssa.

Teoreettinen ymmärrys on kuitenkin edelleen rajallista, ja olemassa olevat teoriat ilmaisukyvystä joko yli- tai aliarvioivat todellisen oppimiskyvyn.

Tutkijat osoittivat, että Transformer-arkkitehtuurissa häviömaisemaa rajoittaa syöttötilan herkkyys:

Muuntajamallit, joiden lähdöt ovat herkkiä tulomerkkijonon useille osille, vievät eristettyjä pisteitä parametriavaruudessa, mikä johtaa alhaiseen herkkyyspoikkeamiseen yleistyksessä.

Tutkimus osoittaa sekä teoreettisesti että empiirisesti, että uusin teoria yhdistää empiiriset havainnot muuntajien oppimiskyvyistä ja harhoista, kuten niiden mieltymys maaherkkyydestä ja matalan kertaluokan funktioista sekä vaikeudesta pariteetti- ja pituusongelmien kanssa.

Tämä viittaa siihen, että muuntajan induktiivisen biasin ymmärtäminen vaatii paitsi sen periaatteellisen ilmeisyyden myös sen häviömaiseman tutkimista.

2 aikatestin palkintoa

Paperi 1: Glove: Global Vectors for Word Representation (2014)

Kirjailija: Jeffrey Pennington, Richard Socher, Christopher Manning

Laitos: Stanfordin yliopisto

Paperin osoite: https://nlp.stanford.edu/pubs/glove.pdf

Sanojen upottaminen oli NLP:n syväoppimismenetelmien kulmakivi vuosina 2013–2018, ja sillä on edelleen suuri vaikutus. Ne eivät ainoastaan ​​paranna NLP-tehtävien suorituskykyä, vaan niillä on myös merkittävä vaikutus laskennalliseen semantiikkaan, kuten sanojen samankaltaisuuteen ja analogiaan.

Todennäköisesti kaksi vaikutusvaltaisinta sanan upotusmenetelmää ovat skip-gram/CBOW ja GloVe. Verrattuna skip-grammiin, sen suhteellinen etu on sen käsitteellinen yksinkertaisuus - niiden samankaltaisuuden optimointi vektoriavaruudessa suoraan sanojen jakautumisominaisuuksien perusteella, eikä yksinkertaistetun kielen mallinnuksen näkökulmasta joukko parametreja epäsuoraa optimointia varten.

Paperi 2: Distibutional samankaltaisuuden mittarit (1999)

Kirjailija: Lillian Lee

Laitos: Cornell University

Paperin osoite: https://aclanthology.org/P99-1004.pdf

Jakauman samankaltaisuusmittausten tutkimisen tavoitteena on parantaa näkymättömien samanaikaisten tapahtumien todennäköisyysarviointia, mikä vastaa toista tapaa luonnehtia sanojen välistä samankaltaisuutta.

Työn panos on kolmiosainen: erilaisten mittareiden laaja empiirinen vertailu samankaltaisuusfunktion sisältämiin tietoihin ja uuden funktion käyttöönotto, joka toimii hyvin potentiaalisten agenttijakaumien arvioinnissa;

1 paras aihepaperi

Opinnäytetyö: OLMo: Kielimallien tieteen nopeuttaminen

Näyttelijät: Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Chanduathi Raferman, Khyathi Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi

Laitokset: Allen Institute for Artificial Intelligence, Washingtonin yliopisto, Yalen yliopisto, New Yorkin yliopisto, Carnegie Mellon University

Paperiosoite: https://arxiv.org/abs/2402.00838

Tämä työ on merkittävä edistysaskel suuren kielimallikoulutuksen läpinäkyvyyden ja toistettavuuden parantamisessa, jota yhteisö haluaa innokkaasti edistyä (tai ainakin sallia muiden tekijöiden kuin alan jättiläisten osallistua edistymiseen).

3 parhaan sosiaalisen vaikutuksen palkintoa

论文1: Kuinka Johnny voi saada LLM-yritykset vankilaan: Taivuttelun uudelleenarviointi tekoälyn turvallisuuden haastamiseksi humanisoimalla LLM:itä

Näyttelijät: Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, Ruoxi Jia, Weiyan Shi

Laitokset: Virginia Tech, Renmin University of China, University of California, Davis, Stanford University

Paperiosoite: https://arxiv.org/abs/2401.06373

Tässä artikkelissa tarkastellaan tekoälyn turvallisuutta koskevaa aihetta rajoitusten ohittamisesta. Siinä tarkastellaan yhteiskuntatieteellisen tutkimuksen alalla kehitettyä menetelmää. Tutkimus on kiehtovaa ja sillä voi olla merkittävä vaikutus yhteisöön.

论文2: DIALECTPENCH: NLP-vertailu murteille, lajikkeille ja läheisesti liittyville kielille

Pääosissa: Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja, David Chiang, Yulia Tsvetkov, Antonios Anastasopoulos

Laitokset: George Mason University, Washingtonin yliopisto, Notre Damen yliopisto, RC Athena

Paperiosoite: https://arxiv.org/abs/2403.11009

Murteiden vaihtelu on alitutkittu ilmiö luonnollisen kielen käsittelyssä ja tekoälyssä. Sen tutkimuksella on kuitenkin suuri arvo, ei vain kielellisestä ja sosiaalisesta näkökulmasta, vaan sillä on myös merkittäviä vaikutuksia sovelluksiin. Tässä artikkelissa ehdotetaan innovatiivista vertailukohtaa tämän ongelman tutkimiseen suurten kielimallien aikakaudella.

Paperi 3: oluen nauttiminen rukouksen jälkeen?

Kirjoittaja: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu

Laitos: Georgia Institute of Technology

Paperiosoite: https://arxiv.org/abs/2305.14456

Tämä artikkeli paljastaa tärkeän ongelman suurten kielimallien aikakaudella: kulttuurisen ennakkoluulon. Vaikka tutkimuksen konteksti on arabian kulttuuri ja kieli, tulokset osoittavat, että suuria kielimalleja suunniteltaessa on otettava huomioon kulttuuriset vivahteet. Siksi samankaltaisia ​​tutkimuksia voitaisiin tehdä muille kulttuureille yleistämään ja arvioimaan, vaikuttaako tämä ongelma myös muihin kulttuureihin.

3 parasta lähdepaperia

Paperi 1: Latxa: Open Language Model and Evaluation Suite for Basque

Pääosissa: Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa

Laitos: Baskimaan yliopisto

Paperiosoite: https://arxiv.org/abs/2403.20266

Tässä artikkelissa kuvataan yksityiskohtaisesti kaikki korpusten keräämisen ja arvioinnin tietojoukot. Vaikka he opiskelevat baskin kieltä, tätä lähestymistapaa voidaan laajentaa rakentamaan suuria kielimalleja vähän resursseja vaativille kielille.

论文2: Dolma: Kolmen biljoonan tokenin avoin korpus kielimallien esikoulutuksen tutkimukseen

Pääosissa: Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar, Valentin Hofmann, Ananya Harsh Jha, Sachin Kumar, Li Lucy, Na Xinxi Layu , Ian Magnusson, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Abhilasha Ravichander, Kyle Richardson, Zejiang Shen, Emma Strubell, Nishant Subramani, Oyvind Tafjord, Pete Walsh, Luke A. Zettlemoyer, Noah Hannaneh Hajishirzi, Iz Beltagy, Dirk Groeneveld, Jesse Dodge, Kyle Lo

Laitokset: Allen Institute for Artificial Intelligence, UC Berkeley, Carnegie Mellon University, Spiffy AI, MIT, University of Washington

Paperiosoite: https://arxiv.org/abs/2402.00159

Tämä artikkeli havainnollistaa tietojen kuroinnin tärkeyttä valmisteltaessa tietojoukkoja suuria kielimalleja varten. Se tarjoaa arvokkaita oivalluksia, joista voi olla hyötyä laajalle yleisölle yhteisössä.

论文3: AppWorld: Hallittava sovellusten ja ihmisten maailma interaktiivisten koodausagenttien vertailuun

Näyttelijät: Harsh Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, Niranjan Balasubramanian

Laitos: New Yorkin osavaltion yliopisto Stony Brookissa, Allen Institute for Artificial Intelligence, Saarland University

Paperiosoite: https://arxiv.org/abs/2407.18901

Tämä on erittäin vaikuttava ja tärkeä yritys rakentaa simulaattori ja arviointiympäristö ihmisen ja tietokoneen välistä vuorovaikutusta varten. Tämä rohkaisee haastavien dynaamisten vertailuarvojen tuottamista yhteisölle.

21 artikkelikentän puheenjohtajan palkinto

35 erinomaista paperia

(Tämä kuva on epätäydellinen)

Viitteet:

https://x.com/aclmeeting/status/1823664612677705762