nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Nova Sapientia Report

Editor: Editorial Department

[Introductio ad Novam Sapientiam].ACL, annuo colloquio summo NLP, charta finali concilianda nuntiavit. Hoc anno, summa 7 tabularum optimam chartam vicit, et tempus probationis praemiorum Stanford GloVe et Universitatis Cornell Similitudo mensurae considerata est. Praeter, sunt optimus Topic lacus, Award optimus Social Impact, lacus optimus Resource, Area Cathedra lacus, ac Praestantis Paper lacus.

ACL 2024 Praemia denique sunt!

A summa 7 optimarum chartarum, 35 chartarum praestantium, necnon Time Test lacus, SAC lacus, Theme Paper Best, Resource Paper Award, etc. nuntiata sunt.

Dignum est memorare inter 7 optimas tabulas, Oraculum Bone Lingua comprehendens, cum exemplaribus diffusionis ab omni-Chinese manipulo confectum esse.

Annus hic est 26th annuus collatio Conferentiae Internationalis de Computationalibus linguisticis (ACL), quae in Bangkok, Thailandia, ab XI Augusti usque ad XVI, aperitur.

Numerus chartarum ACL 2024 propositarum idem fere est ac 2023, fere 5,000 chartarum, quarum 940 chartae acceptae sunt.

Haec ACL maxima est in historia, cum summa 72 SACs, 716 ACs, et 4208 Recognitorum.

975 chartas inveniendi, 6 JCL, 31 TACL, 3 orationes notabiles, et 1 tabula.

Tota collatio etiam 18 officinae, 6 tutoriales, 38 demos, et 60 SRW tabulas comprehendit.

Praecipua submissionis auctorum chartarum haec sunt:

Maxime subiecerunt 1/2 papers: 10,333 scholares subiecerunt 1 et 2,130 subiecerunt 2 papers

Parvus numerus hominum plures chartas submisit: 3 auctores duodeviginti tabulas submiserunt, 6 homines duodeviginti tabulas submiserunt, et duodeviginti homines plus quam viginti tabulas submiserunt.

Videamus, quae iunctiones praemiorum hoc anno vicerunt?

VII optimum papers

Paper 1: Bone Lingua deciphering cum Diffusioni Exemplar

作者： Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han, Yongge Liu, Lianwen Jin, Xiang Bai, Yuliang Liu

Institutiones: Universitas Scientiae et Technologiae Huazhong, Universitas Adelaidis, Universitas Normalis Anyang, Universitas Technologiae Sinarum Australis

Charta inscriptio: https://arxiv.org/pdf/2406.00684

Ut titulus indicat, turma Sinensium AI usus est rem valde interesting et pretiosam - Oraculum (OBS) explicans ope diffusionis exemplaris.

Inscriptiones ossis oraculi in Shang Dynastia Sinarum circiter 3,000 abhinc annos natae sunt et lapis angularis in historia linguae.

Etsi mille inscriptionum detectae sunt, multae ossis oraculi inscriptionum indeterminatae manent, velum mysterii super hanc linguam antiquam mittentes.

In charta, auctor novam methodum generandi AI utens imagines inducit, praesertim progressus "Oraculi Bone Script Decipher" (OBSD).

Usus militarium secundum diffusionem conditionalem, OBSD extricandi magni ponderis generavit et novam viam aperuit ad analysin antiquarum linguarum AI adiuvandam.

Ad eius efficaciam comprobandam, investigatores magnum numerum experimentorum in data oraculo statuto deduxerunt, et effectus quantitatis efficaciam OBSD probaverunt.

论文2：Natural Language Satisfiability: Problema explorans Distributio et Aestimans Transformer-fundatur Language exemplum

(Preprint non sunt adhuc)

Charta III: Memoriae causalis aestimatione profiles

Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel .

Institution: University of Cambridge, ETH Zurich

Charta inscriptio: https://arxiv.org/pdf/2406.04327

LLM memoria comprehendi momenti habet implicationes ad praxim et societatem, sicut perscrutatio exemplar dynamicorum disciplinarum vel praeiudicio librariorum praeveniens.

Prior investigatio memoriam definit tamquam responsionem causalem ad exemplar facultatis praedicendi exempli per exercitationem illius exempli.

Haec definitio counterfactuali innititur: animadvertere posse quid futurum esset si exemplum instantiam non vidisset.

Attamen methodi exsistentes plerumque exemplar architecturae oppugnant potius quam memoriam pro certis instantiis aestimandis, difficilem computatione efficientem et accurate counterfactuales aestimationes praebere.

Hoc studium magnum intervallum implet, ut auctores novam methodum principiatum et efficacem proponunt ad aestimationem memoizationis secundum differentiam-in-differentias consiliorum in oeconomicis.

Hac methodo adhibita, solum ad mores pauciorum exemplorum in tota institutione processu observando, figura memoriae exemplaris describi potest, id est, memoria inclinatio exemplaris in processu disciplinae.

In experimentis cum Pythia exemplar suite, investigatores invenerunt;

(1) Magna exempla firmiora et firmiora habent memorias;

(II) Determinata per ordinem et ordinem notitia rate;

(3) Sunt stabiles inclinationes in exemplaribus magnitudinum diversarum, memoria exemplorum magnarum tam praevidenda quam memoria exemplorum minorum.

Paper 4: Aya Model: Instructio Finetuned Open-Access Multilingual Language Model

作者：Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Iulia Kreutzer, Sara Hooker

Institutiones: Cohere For AI, Brown University, Cohere, Cohere For AI Community, Carnegie Mellon University, MIT

Charta inscriptio: https://arxiv.org/pdf/2402.07827

Mense Februario hoc anno, initium Cohere dimisit novum fontem apertum magnum-scalarum linguae generationis exemplar, quod Aya vocatur, plusquam 101 linguas obtegens.

Dignum est memorare exemplar linguae Aya coverage plus quam bis esse exemplum fontis aperti, superantes mT0 et BLOOMZ.

Humana aestimatio sexaginta attingit 75%, et score in variis simulatis effectibus 80-90% probat.

Projectum est, plus quam 3,000 independens investigatores ex 119 regionibus congregans.

Praeterea investigatores etiam maximae multilingualis directionis notitias subtiliter-tunas aspiciebant, quibus 513 decies centena millia peciarum notitiarum, quibus 114 linguas tegebat.

Paper 5: Mission: Impossibile Language exemplum

作者： Julie Kallini, Isabella Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts

Institution: Stanford University, California, Irvine, University of Texas at Austin

Charta inscriptio: https://arxiv.org/pdf/2401.06416

Chomsky et alii obtuse affirmaverunt LLM aeque capacem esse ad linguas discendas, quae hominibus ad discendum possibilia et impossibilia sunt.

Attamen documenta experimenta parum evulgata sunt ad hoc confirmandum.

Ad hoc faciendum, investigatores elaboraverunt syntheticam "linguarum impossibilium" variae complexionis, quae singulae ordinaverunt datas Anglicas systematice mutando et verbo naturali ordine ac regulis grammaticalibus utentes.

Linguae hae in continuo impossibilibus linguis iacent: in uno fine sunt omnino impossibilis linguae, sicut passim Anglicanae ordinantur, et in altero fine linguae sunt quae linguistice impossibilia considerantur, sicut eae quae fundantur in verbo positionis regulas numerantes. .

Post seriem aestimationerum, GPT-2 difficillimum est linguas discere impossibilis, quae nucleum ideam provocat.

Potius sperant investigatores hunc accessum plus investigationis ducet de facultate LLM varias linguarum genera discendi, ut melius intelligant applicationes potentiales LLM in investigationibus cognitivis et linguisticae typologiae.

Paper 6: Semisupervised Neural Proto-Language Reconstruction

Author: Liang Lu, Peirong Xie, David R. Mortensen

Institution: Universitas Carnegie Mellon, University of Southern California

Charta inscriptio: https://arxiv.org/pdf/2406.05930

Existens linguae vernaculae comparatio et opus instauratio plenam vigilantiam requirit plerumque.

Attamen exempla historica refectionis solum practici valoris sunt, cum notitiae notatae limitatae instructae.

Qua de re inquisitores proposuerunt opus restitutionis historiae semi-praepositi.

In hoc negotio exemplar tantum exercendum est in parva notitia intitulata (prototypa homologa cum prototypis) et magna copia notitiarum distentarum (sine prototypo homologum positum).

Auctor architecturae neurale ad refectionem comparativam - DPD-BiReconstructor evolvit, quae momentum habet in methodis comparatoriis linguistis: verba restitui non solum a verbis subiunctis restitui possunt, sed etiam determinate mutari possunt. .

Demonstramus hanc architecturam distentas verborum cognatorum notas posse leves facere et semicirculitas litterarum basium in hoc novo munere exsistere.

Paper 7: Cur functiones sensitivas difficiles pro Transformers?

Author: Michael Hahn, Mark Rofin

Institution: Saarland University

Charta inscriptio: https://arxiv.org/pdf/2402.09963

Investigatio empirica detexit seriem discendi bivium ac limitationes Transformatoris exemplar, sicut difficultas discendi ratiocinandi simplices linguas formales (ut PARITY) et inclinatio ad operandum munerum ordinis humilium.

Sed intellectus theoricae limitatus manet, et exsistentes theoriae facultatis expressivae vel praenuntiant vel subaestimant ipsam facultatem discendi.

Investigatores demonstraverunt sub Architectura Transformer, landscape detrimentum teneri sensitivum spatii initus:

Specimina Transformatoris quorum outputationes ad plures partes input chordae sensitivas habent puncta solitaria in spatio parametri, unde sequitur sensus gravis sensibilitatis in generali.

Investigatio demonstrat tam theoretice quam empirice quod novissima theoria uniat observationes empiricas de Transformer discendi facultates ac bias, ut earum praeponendi sensus et humilium ordinis functiones ac difficultatem cum pari et longitudine problematum generaliter.

Hoc insinuat quod studium inductivum transformantis intelligendi requirit studium non solum in principio expressionis, sed etiam detrimentum landscape.

II Tempus Test Awards

Paper 1: GloVe: Global Vectors for Word Representation (2014)

Author: Jeffrey Pennington, Richard Socher, Christopher Manning

Institution: Stanford University

Charta inscriptio: https://nlp.stanford.edu/pubs/glove.pdf

Verbum inclusum fuit lapis angularis methodi discendi pro NLP inter 2013 et 2018, et pergit maiorem habere ictum. Non solum operae NLP operae praestant, sed etiam significantem ictum in semanticis computationalibus, ut verbi similitudinem et analogiam.

Probabiliter duae methodi gravissimi verbi inclusae sunt skip-gram/CBOW et GloVe. Comparatus cum skip-gram, GloVe postea propositum est. Eius relativum commodum in simplicitate rationis consistit - optimizing similitudinem in spatio vectoris directe innititur in distributione notarum verborum, potius quam ex prospectu simpliciorem linguae exemplaris a paro of parametri for indirect optimization.

Paper 2: Mensurae Distibutional Similitudo (1999)

Author: Lillian Lee

Institution: Cornelii Universitatis

Charta inscriptio: https://aclanthology.org/P99-1004.pdf

Distributio similitudinis studens intendit ad emendare probabilitatem aestimationem rerum inconspicuorum eventuum co- ventuum, qui aequivalet alteri modo ad similitudinem verborum notandam.

Collatio chartae triplex est: comparatio ampla empirica varia mensurarum;

I optimus topic chartam

Thesis: OLMo: Accedens Scientia Exemplar Linguae

作者： Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Lucas Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi.

Institutiones: Allen Institute for Intelligence Artificial, University of Washington, University Yale, New York University, Carnegie Mellon University

Charta inscriptio: https://arxiv.org/abs/2402.00838

Hic labor insignis est progressus ad augendam perspicuitatem et reproducibilitatem magnae linguae exemplar disciplinae, quod communitas proficere studet (vel saltem ut alios contributores praeter industriam gigantum ad profectum conferendi permittat) requiritur.

III optimus Social Impact Awards

1： Quomodo Johnny persuadere potest LLMs ad Jailbreak illis: recogitans Suada provocare AI Safety ab humanioribus LLMs

Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, Ruoxi Jia, Weiyan Shi

Institutiones: Virginia Tech, Renmin University of China, University of California, Davis, Stanford University

Charta inscriptio: https://arxiv.org/abs/2401.06373

Haec charta explorat securitatis intelligentiae artificialis thema circumscriptionis transgrediendi. Methodum perscrutatur quae in campo scientiae socialis investigationis explicata est. Investigatio est attrahenti et potentiam habet notabilem ictum in communitate habere.

论文2：DIALECTBENCH: An NLP Probatio Dialectis, Varietates, et Linguae propinquae

Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja, David Chiang, Yulia Tsvetkov, Antonios Anastasopoulos

Institutiones: Universitas George Mason, University of Washington, University of Notre Dame, RC Athena

Charta inscriptio: https://arxiv.org/abs/2403.11009

Variatio dialecti est sub-investigatum phaenomenon in lingua naturali processui et intelligentiae artificialis. Eius tamen investigatio plurimum valet, non solum ex prospectu linguistico et sociali, sed etiam implicationes ad applicationes magni ponderis. Haec charta porttitor accumsan signum proponit ut problema hoc in aetate magnarum linguarum exemplorum discat.

Paper 3: Habens Beer post Orationem?

Author: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu

Institution: Georgia Institutum Technologiae

Charta inscriptio: https://arxiv.org/abs/2305.14456

Haec charta quaestionem magni momenti in aetate exemplorum linguarum magnarum ostendit: Praeiudicia culturalis. Etsi studiorum contextus sit cultura et lingua Arabica, eventus ostendunt nos necesse esse culturae nuances considerare cum magna exempla linguae designantes. Ideo studia similia in aliis culturae culturae deduci possunt ad generalia et perpendenda num aliae culturae hac problemate afficiantur.

3 Best Resource Papers

Paper 1: Latxa: An Open Language Model and Aestimatio Suite pro Vasconia

作者：Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa

Institution: University of the Vasque Country

Charta inscriptio: https://arxiv.org/abs/2403.20266

Haec charta singillatim describit omnes corporis collectiones et aestimationes notitias. Etsi linguam Vasconicam studuerunt, aditus extendi potest ad magna exempla linguae Latinae aedificandi ad linguas low-resources.

2：Dolma: an Open Corpus trium Trillion signa in Language Model Praetraining Research

Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar, Valentin Hofmann, Ananya Harsh Jha, Sachin Kumar, Li Lucy, Xinxi Lyu, Nathan Lambert , Ian Magnusson, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Abhilasha Ravichander, Kyle Richardson, Zejiang Shen, Emma Strubell, Nishant Subramani, Oyvind Tafjord, Pete Walsh, Lucas Zettlemoyer, Noah A. Smith, Hannaneh Hajishirzi, Iz Beltagy, Theodericus Groeneveld, Jesse Dodge, Kyle Lo

Institutiones: Allen Institutum pro Intelligentia Artificiali, UC Berkeley, Universitas Carnegie Mellon, Spiffy AI, MIT, University of Washington

Charta inscriptio: https://arxiv.org/abs/2402.00159

Haec charta momentum curationis datae illustrat cum datasets ad magna exempla linguae parat. Magnam praebet perceptiones quae in communitatis auditorio magno usui esse possunt.

3：AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agentia

作者： Duri Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, Niranjan Balasubramanian

Institutiones: University of New York Stony Brook, Allen Institute for Intelligence Artificialis, Universitatis Saarland.

Charta inscriptio: https://arxiv.org/abs/2407.18901

Hic est conatus valde gravis et maximus aedificandi simulator et aestimatio environment pro commercio humano computatorii. Hoc hortetur productionem provocandi dynamica signa ad communitatem.

21 Articuli Field Praesidis Award

35 papers excellentes

(Hoc picture est incompleta)

Notae:

https://x.com/aclmeeting/status/1823664612677705762