uutiset

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Koneen sydänraportti

Machine Heart -toimitusosasto

Osallistujat saivat paljon tästä ACL-konferenssista.

Kuusipäiväinen ACL 2024 järjestetään Bangkokissa, Thaimaassa.

ACL on laskennallisen lingvistiikan ja luonnollisen kielen prosessoinnin alan huippukonferenssi. Sen järjestää International Association for Computational Linguistics ja se järjestetään vuosittain. ACL on aina ollut ensimmäisellä sijalla akateemisessa vaikuttamisessa NLP:n alalla, ja se on myös CCF-A:n suosittelema konferenssi.

Tämän vuoden ACL-konferenssi on 62. ja se on vastaanottanut yli 400 huipputyötä NLP:n alalla. Konferenssi julkisti eilen iltapäivällä parhaan paperin ja muut palkinnot. Tällä kertaa jaettiin 7 Best Paper Awards -palkintoa (kaksi julkaisematonta), 1 Best Theme Paper Award -palkinto ja 35 Outstanding Paper Awards -palkintoa.

Konferenssissa myönnettiin myös 3 Resource Awards -palkintoa, 3 Social Impact Awards -palkintoa ja 2 Time Test Awards -palkintoa.

Lisäksi tämän konferenssin Lifetime Achievement Award -palkinto myönnettiin Ralph Grishmanille, New Yorkin yliopiston tietojenkäsittelytieteen laitoksen professorille.

Seuraavassa on erityisiä palkintotietoja.

paras paperi

Paperi 1: Mission: Impossible Language Models

• Pääosissa: Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts
• Laitos: Stanford University, University of California, Irvine, University of Texas at Austin
• Paperilinkki: https://arxiv.org/abs/2401.06416

Johdatus artikkeliin: Chomsky ja muut uskovat, että suurten kielimallien (LLM) oppimiskyky on sama kielillä, joita ihmiset voivat oppia tai eivät. Tämän väitteen tueksi on kuitenkin vain vähän julkaistuja kokeellisia todisteita.

Tutkimuksessa kehitettiin joukko vaihtelevan monimutkaisia ​​synteettisiä kieliä, joista jokainen on suunniteltu muuttamalla systemaattisesti englanninkielistä dataa käyttämällä luonnotonta sanajärjestystä ja kielioppisääntöjä tavoitteenaan syntetisoida kieliä, joita ihmisten olisi mahdotonta oppia.

Tutkimuksessa suoritettiin laajoja arviointikokeita, joilla arvioitiin GPT-2-pienen mallin kykyä oppia näitä "mahdottomia kieliä", ja suoritettiin nämä arvioinnit eri vaiheissa koko koulutuksen ajan vertaillakseen kunkin kielen oppimisprosessia. Tutkimuksen ydinhavainto on, että GPT-2:lla on vaikea oppia "mahdottomia kieliä" englanniin verrattuna, mikä haastaa Chomskyn ja muiden väitteet.

Vielä tärkeämpää on, että tutkimus toivoo, että sen lähestymistapa avaa hedelmällisen tutkimuslinjan, joka mahdollistaa erilaisten LLM-arkkitehtuurien testaamisen useilla "mahdottomilla kielillä" ymmärtääkseen, kuinka LLM:tä voidaan käyttää kognitiivisena ja typologisena tutkimustyökaluna.

Paperi 2: Miksi herkät toiminnot ovat vaikeita muuntajille?

• Kirjailija: Michael Hahn, Mark Rofin
• Laitos: Saarland University
• Paperilinkki: https://arxiv.org/abs/2402.09963

Tiivistelmä: Kokeellisissa tutkimuksissa on tunnistettu lukuisia muuntajien oppimisen vääristymiä ja rajoituksia, kuten jatkuvat vaikeudet oppia laskemaan yksinkertaisia ​​muodollisia kieliä, kuten PARITY, ja harha matalan asteen funktioita kohtaan. Teoreettinen ymmärrys on kuitenkin edelleen rajallista, ja nykyiset esitysteoriat joko yli- tai aliarvioivat realistisia oppimiskykyjä.

Tämä tutkimus osoittaa, että muuntajaarkkitehtuurissa häviömaisemaa rajoittaa tulotilan herkkyys: muuntajat, joiden lähdöt ovat herkkiä monille tulojonon osille, sijaitsevat eristetyissä pisteissä parametriavaruudessa, mikä johtaa alhaiseen herkkyyspoikkeamiseen. yleistäminen.

Tämä tutkimus osoittaa teoreettisesti ja kokeellisesti, että teoria yhdistää laajat kokeelliset havainnot muuntajien oppimiskyvyistä ja harhoista, kuten niiden yleistysharhasta matalaan herkkyyteen ja asteeseen sekä pariteettipituuden yleistyksen vaikeudesta. Tämä viittaa siihen, että muuntajan induktiivisten harhojen ymmärtäminen vaatii paitsi sen periaatteellisen ilmeisyyden myös sen häviöfunktiomaiseman tutkimista.

Paperi 3: Oracle Bone Language -kielen purkaminen diffuusiomalleilla

• Tekijät: Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han jne.
• Oppilaitokset: Huazhongin tiede- ja teknologiayliopisto, Adelaiden yliopisto, Anyang Normal University, Etelä-Kiinan teknillinen yliopisto
• Paperilinkki: https://arxiv.org/pdf/2406.00684

Johdatus paperiin: Oracle Bone Script (OBS) syntyi Kiinan Shang-dynastian aikana noin 3000 vuotta sitten. Se on kielihistorian kulmakivi ja edeltää monia vakiintuneita kirjoitusjärjestelmiä. Vaikka tuhansia kirjoituksia on löydetty, suuri määrä oraakkeliluita on jäänyt salaamatta, mikä peittää tämän muinaisen kielen mysteerin verholla. Nykyaikaisen tekoälytekniikan ilmaantuminen on avannut uusia kenttiä Oracle-salauksen tulkinnalle, mikä on asettanut haasteita perinteisille NLP-menetelmille, jotka ovat vahvasti riippuvaisia ​​suurista tekstikappaleista.

Tässä artikkelissa esitellään uusi menetelmä, jossa käytetään kuvan generointiteknologiaa Oraclen tulkintaan optimoidun diffuusiomallin, Oracle Bone Script Decipher (OBSD) kehittämiseksi. Ehdollista diffuusiostrategiaa hyödyntäen OBSD loi tärkeitä vihjeitä Oracle-selvitykseen ja avasi uuden suunnan muinaisten kielten tekoälyavusteiselle analyysille. Tehokkuuden todentamiseksi tutkijat suorittivat laajoja kokeita Oraclen tietojoukolla, ja kvantitatiiviset tulokset osoittivat OBSD:n tehokkuuden.

Paperi 4: Ulkoamisprofiilien syy-arvio

• Pääosissa: Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel
• Laitos: Cambridgen yliopisto, ETH Zurich
• Paperilinkki: https://arxiv.org/pdf/2406.04327

Johdatus artikkeliin: Muistin ymmärtämisellä kielimalleissa on käytännön ja sosiaalisia vaikutuksia, kuten mallien koulutusdynamiikan tutkiminen tai tekijänoikeusloukkausten ehkäisy. Aiemmat tutkimukset määrittelevät muistin syy-suhteeksi "instanssia käyttävän koulutuksen" ja "mallin kyvyn ennustaa tuo ilmentymä" välillä. Tämä määritelmä perustuu kontrafaktuaaliin: kykyyn tarkkailla, mitä olisi tapahtunut, jos malli ei olisi nähnyt tapausta. Nykyisillä menetelmillä on vaikeuksia tarjota laskennallisesti tehokkaita ja tarkkoja arvioita tällaisista kontrafaktuaaleista. Lisäksi nämä menetelmät tyypillisesti arvioivat malliarkkitehtuurin muistia tiettyjen malliinstanssien muistin sijaan.

Tämä artikkeli täyttää tärkeän aukon ehdottamalla uutta, periaatteellista ja tehokasta muistin estimointitapaa, joka perustuu ekonometriseen ero-eron-malliin. Tällä menetelmällä tutkijat tarkkailevat mallin käyttäytymistä vain harvoissa tapauksissa koko harjoitusprosessin aikana kuvaamaan mallin muistiprofiilia, eli sen muistitrendiä harjoitusprosessin aikana. Kokeissa, joissa käytettiin Pythia-mallisarjaa, he havaitsivat, että muisti (i) on vahvempi ja kestävämpi suuremmissa malleissa, (ii) määräytyy datajärjestyksen ja oppimisnopeuden mukaan ja (iii) on vakaa eri mallien kokojen välillä Suuremman mallin muistot voidaan ennustaa pienemmästä mallista.

Paperi 5: Aya-malli: Ohjeen hienosäätöinen avoimen monikielisen kielimalli

• Kirjoittaja: Ahmet Üstün, Viraat Aryabumi, Zheng Xin Yong, Wei-Yin Ko jne.
• Oppilaitokset: Cohere, Brown University jne.
• Paperilinkki: https://arxiv.org/pdf/2402.07827

Johdatus paperiin: Viimeaikaiset läpimurrot suurissa kielimalleissa (LLM) ovat keskittyneet pieneen määrään runsaasti dataa sisältäviä kieliä. Miten läpimurtojen mahdollisuuksia voidaan laajentaa muiden kielten ulkopuolelle? Tutkimus esittelee Ayan, laajan monikielisen generatiivisen kielimallin, joka noudattaa ohjeita 101 kielelle, joista yli 50 % katsotaan vähäresurssiksi. Aya toimii paremmin kuin mT0 ja BLOOMZ useimmissa tehtävissä ja kattaa kaksi kertaa niin monta kieltä.

Lisäksi tutkimuksessa esitellään laaja valikoima uusia arviointeja, jotka laajentavat monikielisen arvioinnin huipputason 99 kielelle. Lopuksi tutkimus tarjoaa yksityiskohtaisen tutkimuksen optimaalisesta hienosäädetystä seoksen koostumuksesta, tietojen karsimisesta ja mallin toksisuudesta, harhasta ja turvallisuudesta.

Paperi 6: Puolivalvottu hermoston protokielen rekonstruktio

• Kirjoittaja: Liang Lu, Peirong Xie, David R. Mortensen
• Laitos: CMU, Etelä-Kalifornian yliopisto
• Paperilinkki: https://arxiv.org/pdf/2406.05930

Syy palkinnolle: Tämän uraauurtavan tutkimuksen tavoitteena on puoliautomaattinen prototyyppikielen rekonstruktiotehtävä historiallisessa kielitieteessä ja ehdottaa uutta puolivalvottua arkkitehtuuria. Tämä menetelmä ylittää aiemmat valvotut menetelmät ottamalla käyttöön "prototyyppi-natiivikieli" -heijastusprosessin "äidinkieli-prototyyppi" -rekonstruktioon. Tämä artikkeli on hyvä esimerkki siitä, kuinka nykyaikaiset laskennalliset mallit, kuten neurokooderit ja dekooderit, voivat edistää kielitiedettä.

Paperi 7: Luonnollisen kielen tyytyväisyys: Ongelman jakautumisen tutkiminen ja muuntajapohjaisten kielimallien arviointi (julkaisematon)

• Näyttelijät: Tharindu Madusanka, Ian Pratt-Hartmann, Riza Batista-Navarro

Syy palkinnolle: Tässä artikkelissa kuvataan selkeästi synteettinen arviointitietosarja loogista päättelyä varten. Tämä on hyvä täydennys suurille päätelmätietosarjoille, joissa ei ole selvää, mitä kykyjä mitataan. Teoreettisesti on todellakin syytä odottaa joidenkin osajoukkojen olevan kovempia kuin toiset, ja nämä odotukset vahvistetaan asiakirjassa. Jokaisessa kategoriassa kirjoittajat kiinnittävät erityistä huomiota todella haastaviin tapauksiin.

Aika testattu palkinto

ACL Time Test Award palkitsee kunniapaperit, jotka ovat vaikuttaneet pitkään luonnollisen kielen käsittelyn ja laskennallisen lingvistiikan aloilla vuosittain myönnetään kaksi paperia.

Paperi 1: Glove: Global Vectors for Word Representation

• Pääosissa: Jeffrey Pennington, Richard Socher, Christopher D. Manning
• Laitos: Stanfordin yliopisto
• Paperilinkki: https://aclanthology.org/D14-1162.pdf

Johdanto: Sanojen vektoriavaruusesitysten oppimismenetelmät ovat onnistuneet sieppaamaan hienojakoisia semanttisia ja syntaktisia sääntöjä vektoriaritmetiikkaa käyttäen, mutta syntaktiset säännöt ovat edelleen läpinäkymättömiä. Tässä tutkimuksessa analysoidaan ja selvennetään, mitä ominaisuuksia mallilla pitää olla, jotta syntaktiset säännöt esiintyisivät sanavektoreissa.

Tämä tutkimus ehdottaa uutta globaalia logaritmista lineaarista regressiomallia - GloVe, joka on suunniteltu oppimaan sanojen vektoriesitystä. Tämä malli yhdistää globaalin matriisifaktoroinnin ja paikallisen kontekstiikkunamenetelmien edut.

GloVe saavutti parhaan suorituskyvyn, 75 %, sanaanalogiatehtävässä ja ylitti siihen liittyvät mallit sanan samankaltaisuustehtävässä ja nimettyjen entiteettien tunnistuksessa.

Syy palkinnolle: Sanojen upotukset olivat luonnollisen kielen käsittelyn (NLP) syväoppimismenetelmien kulmakivi vuosina 2013–2018, ja niillä on edelleen merkittävä vaikutus. Ne eivät ainoastaan ​​paranna NLP-tehtävien suorituskykyä, vaan niillä on myös merkittävä vaikutus laskennalliseen semantiikkaan, kuten sanojen samankaltaisuuteen ja analogiaan. Kaksi vaikutusvaltaisinta sanan upotusmenetelmää ovat luultavasti skip-gram/CBOW ja GloVe. Verrattuna skip-grammiin GloVe ehdotettiin myöhemmin. Sen suhteellinen etu on sen käsitteellinen yksinkertaisuus, sillä se optimoi vektoriavaruuden samankaltaisuuden suoraan sanojen välisten jakautumisominaisuuksien perusteella, eikä epäsuorasti parametrien joukkona yksinkertaistetun kielen mallinnuksen näkökulmasta.

Paperi 2: Jakauman samankaltaisuuden mittarit

• Kirjailija: Lillian Lee
• Laitos: Cornell University
• Paperilinkki: https://aclanthology.org/P99-1004.pdf

Paperin esittely: Kirjoittaja tutkii jakauman samankaltaisuusmittauksia tavoitteenaan parantaa todennäköisyysestimaattia näkymättömille tapahtumille. Niiden panos on kolmiosainen: useiden mittareiden empiirinen vertailu niiden sisältämien tietojen perusteella ja uuden funktion käyttöönotto, joka on parempi taustalla olevien agenttijakaumien arvioinnissa;

Elämäntyöpalkinto

ACL:n Lifetime Achievement Award -palkinto myönnettiin Ralph Grishmanille. Ralph Grishman on New Yorkin yliopiston tietojenkäsittelytieteen laitoksen professori, joka keskittyy luonnollisen kielen käsittelyn (NLP) tutkimukseen. Hän on perustanut Proteus-projektin, joka on edistänyt merkittävästi tiedonhankintaa (IE) ja edistänyt alan kehitystä.

Hän kehitti myös Java Extraction Toolkitin (JET), laajasti käytetyn tiedonpoimintatyökalun, joka tarjoaa useita kielianalyysikomponentteja, kuten lauseen segmentoinnin, nimettyjen entiteettien merkinnän, ajallisen ilmaisun merkinnän ja normalisoinnin, puheen osan taggauksen, osan jäsentämisen ja yhteiskäytön. analyysi. Nämä komponentit voidaan yhdistää eri sovellusten mukaan putkiksi, joita voidaan käyttää yksittäisten lauseiden interaktiiviseen analysointiin tai kokonaisten asiakirjojen eräanalyyseihin. Lisäksi JET tarjoaa yksinkertaisia ​​työkaluja asiakirjojen huomautuksiin ja näyttämiseen, ja se sisältää täydellisen prosessin kokonaisuuksien, suhteiden ja tapahtumien poimimiseksi ACE (Automatic Content Extraction) -määrityksen mukaisesti.

Professori Grishmanin työ kattaa useita NLP:n ydinkysymyksiä ja sillä on ollut syvällinen vaikutus nykyaikaiseen kielenkäsittelytekniikkaan.

35 erinomaista paperia

• Paperi 1: Kvantisoidun sivun viritys: Kvantisoitujen suurten kielimallien nopea ja muistitehokas viritys
• Näyttelijät: Zhengxin Zhang, Dan Zhao, Xupeng Miao, Gabriele Oliaro, Zhihao Zhang, Qing Li, Yong Jiang, Zhihao Jia
• Instituutiot: CMU, Tsinghuan yliopisto, Pengcheng Laboratory jne.
• Paperilinkki: https://arxiv.org/pdf/2401.07159
• Paperi 2: L-Eval: Standardisoidun arvioinnin käyttöönotto pitkien kontekstien kielimalleille
• Esittäjä: Chenxin An, Shansan Gong, Ming Zhong, Xingjian Zhao, Mukai Li, Jun Zhang, Lingpeng Kong, Xipeng Qiu
• Laitos: Fudanin yliopisto, Hongkongin yliopisto, Illinoisin yliopisto Urbana-Champaignissa, Shanghai AI Lab
• Paperilinkki: https://arxiv.org/abs/2307.11088
• Paperi 3: Syy-ohjattu aktiivinen oppiminen suurten kielimallien vääristämiseksi
• Paperilinkki: https://openreview.net/forum?id=idp_1Q6F-lC
• Paperi 4: CausalGym: Kausaalisen tulkinnan menetelmien benchmarking kielitehtävissä
• Kirjailija: Aryaman Arora, Dan Jurafsky, Christopher Potts
• Laitos: Stanfordin yliopisto
• Paperilinkki: https://arxiv.org/abs/2402.12560
• Paperi 5: Älä hallusinoi, pidä äänestämättä: LLM-tietopuutteiden tunnistaminen moni-LLM-yhteistyön avulla
• Näyttelijät: Shangbin Feng, Weijia Shi, Yike Wang, Wenxuan Ding, Vidhisha Balachandran, Yulia Tsvetkov
• Laitokset: Washingtonin yliopisto, Kalifornian yliopisto, Berkeley, Hongkongin tiede- ja teknologiayliopisto, CMU
• Paperilinkki: https://arxiv.org/abs/2402.00367
• 论文 6: Puheen kääntäminen Speech Foundation -malleilla ja suurilla kielimalleilla: Mitä on ja mitä puuttuu?
• Kirjailija: Marco Gaido, Sara Papi, Matteo Negri, Luisa Bentivogli
• Laitos: Bruno Kessler Foundation, Italia
• Paperilinkki: https://arxiv.org/abs/2402.12025
• Paperi 7: Onko NLP:n oltava uuttavaa?
• Kirjailija: Steven Bird
• Laitos: Charles Darwin University
• Paperilinkki: https://drive.google.com/file/d/1hvF7_WQrou6CWZydhymYFTYHnd3ZIljV/view
• Paperi 8: IRCoder: Keskitason esitykset tekevät kielimalleista vahvoja monikielisiä koodigeneraattoreita
• Tekijät: Indraneil Paul, Goran Glavaš, Iryna Gurevych
• Laitos: Darmstadtin teknillinen yliopisto jne.
• Paperilinkki: https://arxiv.org/abs/2403.03894
• Paperi 9: MultiLegalPile: 689 Gt:n monikielinen lakikokoelma
• Kirjoittaja: Matthias Stürmer, Veton Matoshi jne.
• Laitos: Bernin yliopisto, Stanfordin yliopisto jne.
• Paperilinkki: https://arxiv.org/pdf/2306.02069
• 论文 10: PsySafe: Kattava kehys psykologiseen hyökkäykseen, puolustukseen ja usean toimijan järjestelmän turvallisuuden arviointiin
• Pääosissa: Zaibin Zhang, Yongting Zhang, Lijun Li, Hongzhi Gao, Lijun Wang, Huchuan Lu, Feng Zhao, Yu Qiao, Jing Shao
• Laitokset: Shanghain tekoälylaboratorio, Dalianin teknillinen yliopisto, Kiinan tiede- ja teknologiayliopisto
• Paperilinkki: https://arxiv.org/pdf/2401.11880
• 论文 11: Voivatko suuret kielimallit olla hyviä tunteita tukevia? Emotionaalisen tuen keskustelun mieltymysten vähentäminen
• Kirjoittaja: Dongjin Kang, Sunghwan Kim jne.
• Laitos: Yonsei University jne.
• Paperilinkki: https://arxiv.org/pdf/2402.13211
• 论文 12: Poliittinen kompassi vai pyörivä nuoli? Kohti merkityksellisempää arvojen ja mielipiteiden arviointia suurissa kielimalleissa
• Kirjoittaja: Paul Röttger, Valentin Hofmann jne.
• Laitos: Bocconi University, Allen Institute for Artificial Intelligence jne.
• Paperilinkki: https://arxiv.org/pdf/2402.16786
• Paperi 13: Sama tehtävä, enemmän tunnuksia: syötteen pituuden vaikutus suurten kielimallien päättelykykyyn
• Kirjailija: Mosh Levy, Alon Jacoby, Yoav Goldberg
• Laitos: Bar-Ilan University, Allen Institute for Artificial Intelligence
• Paperilinkki: https://arxiv.org/pdf/2402.14848
• Paperi 14: Toimivatko laamat englanniksi monikielisten muuntajien piilevää kieltä?
• Kirjoittaja: Chris Wendler, Veniamin Veselovsky jne.
• Laitos: Ecole Polytechnique Fédérale de Lausanne
• Paperilinkki: https://arxiv.org/pdf/2402.10588
• Paperi 15: Huumorin ottaminen vakavasti: Huumoritietoaineistojen luominen hauskoilla suurilla kielimalleilla
• Kirjoittaja: Zachary Horvitz, Jingru Chen jne.
• Laitos: Columbia University, Ecole Polytechnique Fédérale de Lausanne
• Paperilinkki: https://arxiv.org/pdf/2403.00794
• Paperi 16: Murretason arvioiminen ennustaa annotaattorien välistä sopimusta monimurteisissa arabiankielisissä tietojoukoissa
• Kirjailija: Amr Keleg, Walid Magdy, Sharon Goldwater
• Laitos: Edinburghin yliopisto
• Paperilinkki: https://arxiv.org/pdf/2405.11282
• Paperi 17: G-DlG: Kohti gradienttipohjaista Dlverse- ja korkealaatuista ohjedatan valintaa konekääntämiseen
• Näyttelijät: Xingyuan Pan, Luyang Huang, Liyan Kang, Zhicheng Liu, Yu Lu, Shanbo Cheng
• Organisaatio: ByteDance Research
• Paperilinkki: https://arxiv.org/pdf/2405.12915
• Paperi 18: Median kehystys: Typologia ja tutkimus laskennallisista lähestymistavoista eri tieteenaloilla
• Kirjoittaja: Yulia Otmakhova, Shima Khanehzar, Lea Frermann
• Paperilinkki: https://openreview.net/pdf?id=9AV_zM56pwj
• Paperi 19: SPZ: semanttisiin häiriöihin perustuva tiedon lisäämismenetelmä vyöhykesekoituksella Alzheimerin taudin havaitsemiseen
• Kirjoittaja: FangFang Li, Cheng Huang, PuZhen Su, Jie Yin
• Paperi 20: Ahneus on kaikki mitä tarvitset: Tokenizer-johtopäätösmenetelmien arviointi
• Laitos: Ben-Gurion University of the Negev, MIT
• Kirjoittaja: Omri Uzan, Craig W.Schmidt, Chris Tanner, Yuval Pinter
• Paperilinkki: https://arxiv.org/abs/2403.01289
• 论文 21: Kielen monimutkaisuus ja puheentunnistuksen tarkkuus: Ortografinen monimutkaisuus sattuu, fonologinen monimutkaisuus ei
• Laitos: Notre Damen yliopisto (USA)
• Kirjailija: Chihiro Taquchi, David Chiang
• Paperilinkki: https://arxiv.org/abs/2406.09202
• Paperi 22: Ohjaa Llama 2:ta kontrastiaktivointilisäyksen kautta
• Laitokset: Anthropic, Harvard University, University of Göttingen (Saksa), Center for Human-Compatible AI
• Pääosissa: Nina Rimsky, Nick Gabrieli, Julian Schulz, Meg Tong, Evan J Hubinger, Alexander Matt Turner
• Paperilinkki: https://arxiv.org/abs/2312.06681
• Paperi 23: EconAgent: Laajokieliset mallivaltuutetut agentit makrotaloudellisten toimintojen simulointiin
• Laitos: Tsinghuan yliopisto-Shenzhen International Graduate School, Tsinghuan yliopisto
• Kirjoittaja: Nian Li, Chen Gao, Mingyu Li, Yong Li, Qingmin Liao
• Paperilinkki: https://arxiv.org/abs/2310.10436
• 论文 24：M4LE: Monikäyttöinen monialueinen monitehtävä monitoimialue pitkän kontekstin arvioinnin vertailuarvo suurille kielimalleille
• Oppilaitokset: Hongkongin kiinalainen yliopisto, Huawei Noah's Ark Laboratory, Hongkongin tiede- ja teknologiayliopisto
• Näyttelijät: Wai-Chung Kwan, Xingshan Zeng, Yufei Wang, Yusen Sun, Liangyou Li, Lifeng Shang, Qun Liu, Kam-Fai Wong
• Paperilinkki: https://arxiv.org/abs/2310.19240
• Paperi 25: TARKISTA MIKSI: Syy-faktien todentaminen argumenttirakenteen avulla
• Näyttelijät: Jiasheng Si, Yibo Zhao, Yingjie Zhu, Haiyang Zhu, Wenpeng Lu, Deyu Zhou
• Paperi 26: Tehokas ja tilastollinen laatuarviointi tietojen merkinnöissä
• Näyttelijät: Jan-Christoph Klie, Juan Haladjian, Marc Kirchner, Rahul Nair
• Laitokset: UKP Lab, TU Darmstadt, Apple
• Paperilinkki: https://arxiv.org/pdf/2405.11919
• Paperi 27: Emuloitu poikkeama: Turvallinen kohdistus suurille kielimalleille voi kostautua!
• Näyttelijät: Zhanhui Zhou, Jie Liu, Zhichen Dong, Jiaheng Liu, Chao Yang, Wanli Ouyang, Yu Qiao
• Organisaatio: Shanghai Artificial Intelligence Laboratory
• Paperilinkki: https://arxiv.org/pdf/2402.12343
• Paperi 28: IndicLLMSuite: Suunnitelma esikoulutusta ja hienosäätöä koskevien tietojoukkojen luomiseen intialaisia ​​kieliä varten
• Kirjoittaja: Mohammed Safi Ur Rahman Khan, Priyam Mehta, Ananth Sankar jne.
• Instituutiot: Nilekani Center at AI4Bharat, Indian Institute of Technology (Madras), Microsoft jne.
• Paperilinkki: https://arxiv.org/pdf/2403.06350
• Paperi 29: MultiPICo: Multilingual Perspectivist lrony Corpus
• Kirjoittaja: Silvia Casola, Simona Frenda, Soda Marem Lo, Erhan Sezerer jne.
• Instituutiot: Torinon yliopisto, aequa-tech, Amazon Development Center (Italia) jne.
• 论文链接:https://assets.amazon.science/08/83/9b686f424c89b08e8fa0a6e1d020/multipico-multilingual-perspectivist-irony-corpus.pdf
• Paperi 30: MMToM-QA: Multimodaalinen mielen kysymysvastaamisen teoria
• Kirjoittaja: Chuanyang Jin, Yutong Wu, Jing Cao, Jinnan Xiang jne.
• Laitokset: New Yorkin yliopisto, Harvardin yliopisto, MIT, Kalifornian yliopisto, San Diego, Virginian yliopisto, Johns Hopkins University
• Paperilinkki: https://arxiv.org/pdf/2401.08743
• Paperi 31: MAP ei ole vielä kuollut: Aidon kielimallin moodien paljastaminen ehdollistamalla rappeutumista
• Kirjailija: Davis Yoshida, Kartik Goyal, Kevin Gimpel
• Laitos: Toyota Institute of Technology Chicago, Georgia Institute of Technology
• Paperilinkki: https://arxiv.org/pdf/2311.08817
• Paperi 32: NounAtlas: Nimellisen semanttisen roolin merkitsemisen aukon täyttäminen
• Kirjailija: Roberto Navigli, Marco Lo Pinto, Pasquale Silvestri jne.
• Paperi 33: Maa on litteä, koska.. tutkitaan LLM:ien uskoa väärään informaatioon vakuuttavan keskustelun avulla
• Kirjoittaja: Rongwu Xu, Brian S. Lin, Shujian Yang, Tiangi Zhang jne.
• Oppilaitokset: Tsinghuan yliopisto, Shanghai Jiao Tong -yliopisto, Stanfordin yliopisto, Nanyangin tekninen yliopisto
• Paperilinkki: https://arxiv.org/pdf/2312.09085
• Paperi 34: Let's Go Real Talk: Puhutun vuoropuhelun malli kasvokkaiseen keskusteluun
• Kirjoittaja: Se Jin Park, Chae Won Kim, Hyeongseop Rha, Minsu Kim jne.
• Laitos: Korea Advanced Institute of Science and Technology (KAIST)
• Paperilinkki: https://arxiv.org/pdf/2406.07867
• Paperi 35: Wordin upotukset ohjaavat kielimalleja
• Näyttelijät: Chi Han, Jialiang Xu, Manling Li, Yi Fung, Chenkai Sun, Nan Jiang, Tarek F. Abdelzaher, Heng Ji
• Laitos: Illinoisin yliopisto Urbana-Champaignissa
• Paperilinkki: https://arxiv.org/pdf/2305.12798

Parhaan teemapaperin palkinto

Opinnäytetyö: OLMo: Kielimallien tieteen nopeuttaminen

• Kirjoittaja: Dirk Groeneveld, Iz Beltagy jne.
• Instituutiot: Allen Institute for Artificial Intelligence, Washingtonin yliopisto jne.
• Paperilinkki: https://arxiv.org/pdf/2402.00838

Lainaus: Tämä työ on tärkeä askel kohti läpinäkyvyyttä ja toistettavuutta suurten kielimallien koulutuksessa, askel eteenpäin yhteisön pyrkimyksissä edistyä (tai ainakin antaa muille tutkijoille, jotka eivät ole alan jättiläisiä) osallistua.

Resurssipaperipalkinto

3 paperia voitti Resource Paper Award -palkinnon.

Paperi 1: Latxa: Open Language Model and Evaluation Suite for Basque

Laitos: Baskimaan yliopisto, Espanja

• Pääosissa: Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa
• Linkki: https://arxiv.org/pdf/2403.20266

Palkinnon perusteet: Tässä artikkelissa kuvataan yksityiskohtaisesti korpuskeräyksen ja aineiston arvioinnin yksityiskohdat. Vaikka tämä menetelmä on olennainen baskikielen tutkimuksen kannalta, sitä voidaan laajentaa laajojen mallien rakentamiseen muille vähän resursseja käyttäville kielille.

Paperi 2: Dolma: Kolmen biljoonan tokenin avoin korpus kielimallien esikoulutustutkimukseen

• Laitokset: Allen Institute for Artificial Intelligence, University of California, Berkeley, jne.
• Kirjailija: Luca Soldaini, Rodney Kinney jne.
• Linkki: https://arxiv.org/abs/2402.00159

Palkinnon syy: Tämä artikkeli osoittaa tiedonhallinnan tärkeyden valmisteltaessa tietojoukkoja suurten kielimallien koulutukseen. Tämä tarjoaa erittäin arvokkaita oivalluksia laajalle joukolle ihmisiä yhteisön sisällä.

Paperi 3: AppWorld: Sovellusten ja ihmisten hallittava maailma interaktiivisten koodausagenttien vertailuun

• Laitos: New Yorkin osavaltion yliopisto Stony Brookissa, Allen Institute for Artificial Intelligence jne.
• Kirjoittaja: Harsh Trivedi, Tushar Khot jne.
• Linkki: https://arxiv.org/abs/2407.18901

Syyt palkinnolle: Tämä tutkimus on erittäin tärkeä ja hämmästyttävä työ interaktiivisen ympäristön simulaation ja arvioinnin rakentamisessa. Se rohkaisee kaikkia tuottamaan enemmän jyrkkiä dynaamisia vertailuarvoja yhteisölle.

Sosiaalisen vaikutuksen palkinto

3 paperia voitti sosiaalisen vaikutuksen palkinnon.

论文 1: Kuinka Johnny voi saada LLM:t vankilaan: Taivuttelun uudelleenarviointi tekoälyn turvallisuuden haastamiseksi humanisoimalla LLM:itä

• Tekijät: Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang jne.
• Laitokset: Virginia Tech, Renmin University of China, University of California, Davis, Stanford University
• Paperilinkki: https://arxiv.org/pdf/2401.06373

Palkinnon syy: Tämä artikkeli käsittelee tekoälyn turvallisuutta - jailbreaking -aihetta, tutkien yhteiskuntatieteellisen tutkimuksen alalla kehitettyä menetelmää. Tutkimus on erittäin mielenkiintoinen ja sillä voi olla merkittävä vaikutus yhteisöön.

Paperi 2: DIALECTPENCH: NLP-vertailu murteille, lajikkeille ja läheisesti liittyville kielille

• Kirjoittaja: Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja jne.
• Laitokset: George Mason University, Washingtonin yliopisto, Notre Damen yliopisto, RC Athena
• Paperilinkki: https://arxiv.org/pdf/2403.11009

Syy palkinnolle: Murrevaihtelu on alitutkittu ilmiö NLP:n ja tekoälyn aloilla. Kielen ja yhteiskunnan näkökulmasta sen tutkimus on kuitenkin erittäin arvokasta ja sillä on merkittäviä vaikutuksia sovelluksiin. Tämä artikkeli ehdottaa hyvin uutta vertailukohtaa tämän ongelman tutkimiseksi LLM-aikakaudella.

Paperi 3: oluen nauttiminen rukouksen jälkeen?

• Kirjoittaja: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu
• Laitos: Georgia Institute of Technology
• Paperilinkki: https://arxiv.org/pdf/2305.14456

Syyt palkinnolle: Tämä artikkeli osoittaa LLM-aikakauden tärkeän asian: kulttuurisen ennakkoluulon. Tämä artikkeli tutkii arabialaista kulttuuria ja kieliympäristöä, ja tulokset osoittavat, että meidän on otettava huomioon kulttuurierot LLM:itä suunniteltaessa. Siksi sama tutkimus voidaan toistaa muissa kulttuureissa yleistämiseksi ja arvioimiseksi, vaikuttaako tämä ongelma myös muihin kulttuureihin.