berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Kebijaksanaan Baru

Editor: Departemen Editorial

[Pengantar Kebijaksanaan Baru]ACL, konferensi NLP tahunan terkemuka, mengumumkan makalah pemenang terakhir. Tahun ini, total 7 makalah memenangkan makalah terbaik, dan penghargaan tes waktu diberikan kepada Stanford GloVe dan Cornell University Kemiripan Ukur. Selain itu, ada Best Topic Award, Best Social Impact Award, Best Resource Award, Area Chair Award, dan Outstanding Paper Award.

Penghargaan ACL 2024 akhirnya keluar!

Sebanyak 7 makalah terbaik, 35 makalah berprestasi, serta Time Test Award, SAC Award, Best Theme Paper, Best Resource Paper Award, dll diumumkan.

Perlu disebutkan bahwa di antara 7 makalah terbaik, Menguraikan Bahasa Oracle Bone dengan Model Difusi diselesaikan oleh tim yang seluruhnya berasal dari Tiongkok.

Tahun ini merupakan konferensi tahunan ke-26 dari International Conference on Computational Linguistics (ACL), yang dibuka di Bangkok, Thailand, pada tanggal 11 hingga 16 Agustus.

Jumlah makalah yang masuk pada ACL 2024 hampir sama dengan tahun 2023, yaitu sekitar 5.000 makalah, dimana 940 makalah diantaranya diterima.

ACL ini merupakan yang terbesar sepanjang sejarah, dengan total 72 SAC, 716 AC, dan 4208 reviewer.

975 Finding Papers, 6 JCL, 31 TACL, 3 Keynote Speech, dan 1 Panel.

Keseluruhan konferensi juga mencakup 18 lokakarya, 6 tutorial, 38 demo, dan 60 makalah SRW.

Rincian penyerahan spesifik penulis makalah adalah sebagai berikut:

Paling banyak menyerahkan 1/2 makalah: 10,333 sarjana menyerahkan 1 dan 2,130 menyerahkan 2 makalah

Sejumlah kecil orang mengirimkan beberapa makalah: 3 penulis mengirimkan 18 makalah, 6 orang mengirimkan 19 makalah, dan 18 orang mengirimkan lebih dari 20 makalah.

Mari kita lihat, tim mana yang memenangkan penghargaan tahun ini?

7 makalah terbaik

Makalah 1: Menguraikan Bahasa Oracle Bone dengan Model Difusi

Pemain: Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han, Yongge Liu, Lianwen Jin, Xiang Bai, Yuliang Liu

Institusi: Universitas Sains dan Teknologi Huazhong, Universitas Adelaide, Universitas Normal Anyang, Universitas Teknologi Cina Selatan

Alamat makalah: https://arxiv.org/pdf/2406.00684

Sesuai dengan judulnya, tim Tiongkok menggunakan AI untuk melakukan hal yang sangat menarik dan berharga - menguraikan Oracle (OBS) dengan bantuan model difusi.

Prasasti tulang Oracle berasal dari Dinasti Shang Tiongkok sekitar 3.000 tahun yang lalu dan merupakan landasan dalam sejarah bahasa.

Meskipun ribuan prasasti telah ditemukan, sebagian besar prasasti tulang ramalan masih belum terpecahkan, sehingga menimbulkan tabir misteri atas bahasa kuno ini.

Dalam makalah tersebut, penulis memperkenalkan metode baru untuk menghasilkan AI menggunakan gambar, khususnya pengembangan "Oracle Bone Script Decipher" (OBDS).

Dengan menggunakan strategi berdasarkan difusi bersyarat, Obsd menghasilkan petunjuk penguraian penting dan membuka jalur baru untuk analisis bahasa kuno yang dibantu AI.

Untuk memverifikasi keefektifannya, para peneliti melakukan sejumlah besar eksperimen pada kumpulan data Oracle, dan hasil kuantitatif membuktikan keefektifan ABSD.

Bab 2: Kepuasan Bahasa Alami: Menjelajahi Distribusi Masalah dan Mengevaluasi Model Bahasa Berbasis Transformator

(Pracetak belum dikirimkan)

Makalah 3: Estimasi Kausal dari Profil Memori

Pemain: Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel

Institusi: Universitas Cambridge, ETH Zurich

Alamat makalah: https://arxiv.org/pdf/2406.04327

Memahami memori LLM memiliki implikasi penting bagi praktik dan masyarakat, seperti mempelajari dinamika pelatihan model atau mencegah pelanggaran hak cipta.

Penelitian sebelumnya mendefinisikan memori sebagai respons kausal terhadap kemampuan model untuk memprediksi kejadian tersebut melalui pelatihan pada kejadian tersebut.

Definisi ini bergantung pada kontrafaktual: kemampuan untuk mengamati apa yang akan terjadi jika model tidak melihat kejadiannya.

Namun, metode yang ada biasanya menargetkan arsitektur model daripada memperkirakan memori untuk contoh model tertentu, sehingga sulit untuk memberikan perkiraan kontrafaktual yang efisien dan akurat secara komputasi.

Studi ini mengisi kesenjangan penting karena penulis mengusulkan metode baru yang berprinsip dan efisien untuk memperkirakan memoisasi berdasarkan desain perbedaan dalam ekonometrik.

Dengan menggunakan metode ini, hanya dengan mengamati perilaku sejumlah kecil instance selama keseluruhan proses pelatihan, profil memori model dapat digambarkan, yaitu tren memori model selama proses pelatihan.

Dalam percobaan dengan rangkaian model Pythia, para peneliti menemukan:

(1) Model besar memiliki memori yang lebih kuat dan tahan lama;

(2) Ditentukan oleh urutan data dan kecepatan pembelajaran;

(3) Terdapat tren yang stabil pada model dengan ukuran berbeda, sehingga memori model besar dapat diprediksi seperti memori model kecil.

Makalah 4: Model Aya: Model Bahasa Multibahasa Akses Terbuka yang Diselaraskan dengan Instruksi

Pemain: Ahmet Üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker

Institusi: Cohere For AI, Brown University, Cohere, Cohere For AI Community, Carnegie Mellon University, MIT

Alamat makalah: https://arxiv.org/pdf/2402.07827

Pada bulan Februari tahun ini, startup Cohere merilis model pembuatan bahasa open source berskala besar baru yang disebut Aya, yang mencakup lebih dari 101 bahasa.

Perlu disebutkan bahwa cakupan model bahasa model Aya lebih dari dua kali lipat dari model sumber terbuka yang ada, melampaui mT0 dan BLOOMZ.

Skor evaluasi manusia mencapai 75%, dan skor dalam berbagai simulasi tes tingkat kemenangan adalah 80-90%.

Proyek ini diluncurkan, mempertemukan lebih dari 3.000 peneliti independen dari 119 negara.

Selain itu, para peneliti juga mengungkapkan kumpulan data penyempurnaan panduan multibahasa terbesar hingga saat ini, yang berisi 513 juta keping data, mencakup 114 bahasa.

Makalah 5: Misi: Model Bahasa yang Mustahil

Dibintangi oleh: Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts

Institusi: Universitas Stanford, Universitas California, Irvine, Universitas Texas di Austin

Alamat makalah: https://arxiv.org/pdf/2401.06416

Chomsky dan yang lainnya secara blak-blakan menyatakan bahwa LLM sama-sama mampu mempelajari bahasa yang mungkin dan tidak mungkin dipelajari manusia.

Namun, hanya ada sedikit bukti eksperimental yang dipublikasikan untuk mendukung klaim ini.

Untuk melakukan hal ini, para peneliti mengembangkan serangkaian "bahasa mustahil" sintetik dengan kompleksitas yang berbeda-beda, masing-masing dirancang dengan mengubah data bahasa Inggris secara sistematis dan menggunakan urutan kata serta aturan tata bahasa yang tidak wajar.

Bahasa-bahasa ini terletak pada rangkaian bahasa-bahasa yang mustahil: di satu ujung terdapat bahasa-bahasa yang sama sekali mustahil, seperti bahasa Inggris yang disusun ulang secara acak, dan di ujung lainnya adalah bahasa-bahasa yang dianggap mustahil secara linguistik, seperti bahasa-bahasa yang didasarkan pada aturan penghitungan posisi kata. .

Setelah serangkaian evaluasi, GPT-2 sangat sulit untuk mempelajari bahasa yang mustahil, yang menantang gagasan inti.

Lebih penting lagi, para peneliti berharap bahwa pendekatan ini akan mengarah pada penelitian lebih lanjut tentang kemampuan LLM dalam mempelajari berbagai jenis bahasa, sehingga dapat lebih memahami potensi penerapan LLM dalam penelitian tipologi kognitif dan linguistik.

Makalah 6: Rekonstruksi Bahasa Proto Saraf Semisupervisi

Penulis: Liang Lu, Peirong Xie, David R. Mortensen

Institusi: Universitas Carnegie Mellon, Universitas California Selatan

Alamat makalah: https://arxiv.org/pdf/2406.05930

Pekerjaan perbandingan dan rekonstruksi bahasa asli yang ada biasanya memerlukan pengawasan penuh.

Namun, model rekonstruksi sejarah hanya mempunyai nilai praktis jika dilatih dengan data beranotasi yang terbatas.

Dalam hal ini, para peneliti mengusulkan tugas rekonstruksi sejarah semi-supervisi.

Dalam tugas ini, model hanya perlu dilatih pada sejumlah kecil data berlabel (kumpulan homolog dengan prototipe) dan sejumlah besar data tidak berlabel (kumpulan homolog tanpa prototipe).

Penulis mengembangkan arsitektur saraf untuk rekonstruksi komparatif - DPD-BiReconstructor, yang berisi poin penting dalam metode komparatif ahli bahasa: kata-kata yang direkonstruksi tidak hanya dapat direkonstruksi dari sub-kata-katanya, tetapi juga dapat diubah secara deterministik Kembali ke sub-kata-katanya .

Kami menunjukkan bahwa arsitektur ini mampu memanfaatkan kumpulan kata serumpun yang tidak berlabel dan mengungguli dasar pembelajaran semi-supervisi yang ada dalam tugas baru ini.

Makalah 7: Mengapa Fungsi Sensitif Sulit untuk Transformer?

Pengarang: Michael Hahn, Mark Rofin

Institusi: Universitas Saarland

Alamat makalah: https://arxiv.org/pdf/2402.09963

Penelitian empiris telah menemukan serangkaian bias pembelajaran dan keterbatasan model Transformer, seperti kesulitan dalam belajar menghitung bahasa formal sederhana (seperti PARITY) dan kecenderungannya untuk bekerja dengan fungsi tingkat rendah.

Namun, pemahaman teoritis masih terbatas, dan teori-teori kemampuan ekspresif yang ada mungkin melebih-lebihkan atau meremehkan kemampuan belajar sebenarnya.

Para peneliti menunjukkan bahwa di bawah arsitektur Transformer, lanskap kerugian dibatasi oleh sensitivitas ruang masukan:

Model transformator yang keluarannya sensitif terhadap beberapa bagian rangkaian masukan menempati titik-titik terisolasi dalam ruang parameter, sehingga menghasilkan bias sensitivitas yang rendah dalam generalisasi.

Penelitian ini menunjukkan baik secara teoritis maupun empiris bahwa teori terbaru menyatukan pengamatan empiris tentang kemampuan dan bias pembelajaran Transformer, seperti preferensi mereka terhadap sensitivitas tanah dan fungsi orde rendah, serta kesulitan dengan masalah paritas dan panjang.

Hal ini menunjukkan bahwa memahami bias induktif transformator memerlukan studi tidak hanya ekspresi prinsipnya tetapi juga lanskap kerugiannya.

Penghargaan Tes 2 Kali

Makalah 1: GloVe: Vektor Global untuk Representasi Kata (2014)

Penulis: Jeffrey Pennington, Richard Socher, Christopher Manning

Institusi: Universitas Stanford

Alamat makalah: https://nlp.stanford.edu/pubs/glove.pdf

Penyematan kata adalah landasan metode pembelajaran mendalam untuk NLP antara tahun 2013 dan 2018, dan terus memberikan dampak besar. Mereka tidak hanya meningkatkan kinerja tugas-tugas NLP, mereka juga memiliki dampak yang signifikan pada semantik komputasi, seperti kesamaan kata dan analogi.

Mungkin dua metode penyematan kata yang paling berpengaruh adalah skip-gram/CBOW dan GloVe. Dibandingkan dengan skip-gram, GloVe diusulkan kemudian. Keunggulan relatifnya terletak pada kesederhanaan konseptualnya - mengoptimalkan kemiripannya dalam ruang vektor secara langsung berdasarkan karakteristik distribusi kata, bukan dari perspektif penyederhanaan pemodelan bahasa, yang digunakan sebagai sekumpulan parameter untuk optimasi tidak langsung.

Makalah 2: Ukuran Kesamaan Distribusi (1999)

Pengarang: Lilian Lee

Institusi: Universitas Cornell

Alamat makalah: https://aclanthology.org/P99-1004.pdf

Mempelajari ukuran kesamaan distribusi bertujuan untuk meningkatkan estimasi probabilitas peristiwa kejadian bersamaan yang tidak terlihat, yang setara dengan cara lain untuk mengkarakterisasi kesamaan antar kata.

Kontribusi makalah ini ada tiga: perbandingan empiris yang luas dari berbagai ukuran; klasifikasi berdasarkan informasi yang terkandung dalam fungsi kesamaan; dan pengenalan fungsi baru yang berkinerja baik dalam mengevaluasi distribusi agen potensial.

1 makalah topik terbaik

Tesis: OLMo: Akselerasi Ilmu Model Bahasa

Pemeran: Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi

Institusi: Institut Kecerdasan Buatan Allen, Universitas Washington, Universitas Yale, Universitas New York, Universitas Carnegie Mellon

Alamat makalah: https://arxiv.org/abs/2402.00838

Pekerjaan ini merupakan kemajuan yang signifikan dalam meningkatkan transparansi dan reproduktifitas pelatihan model bahasa besar, sesuatu yang dibutuhkan oleh komunitas untuk membuat kemajuan (atau setidaknya memungkinkan kontributor lain selain raksasa industri untuk berkontribusi terhadap kemajuan).

3 Penghargaan Dampak Sosial Terbaik

Topik 1: Bagaimana Johnny Dapat Membujuk LLM untuk Melakukan Jailbreak: Memikirkan Kembali Persuasi untuk Menantang Keamanan AI dengan Memanusiakan LLM

Pemain: Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, Ruoxi Jia, Weiyan Shi

Institusi: Virginia Tech, Universitas Renmin Cina, Universitas California, Davis, Universitas Stanford

Alamat makalah: https://arxiv.org/abs/2401.06373

Makalah ini mengeksplorasi topik keamanan kecerdasan buatan dalam melewati batasan. Ini mengkaji metode yang dikembangkan dalam bidang penelitian ilmu sosial. Penelitian ini menarik dan berpotensi memberikan dampak signifikan bagi masyarakat.

Topik 2: DIALECTBENCH: Tolok Ukur NLP untuk Dialek, Ragam, dan Bahasa yang Berkaitan Erat

Pemain: Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja, David Chiang, Yulia Tsvetkov, Antonios Anastasopoulos

Institusi: Universitas George Mason, Universitas Washington, Universitas Notre Dame, RC Athena

Alamat makalah: https://arxiv.org/abs/2403.11009

Variasi dialek adalah fenomena yang kurang diteliti dalam pemrosesan bahasa alami dan kecerdasan buatan. Namun, penelitiannya mempunyai nilai yang besar, tidak hanya dari sudut pandang linguistik dan sosial, namun juga mempunyai implikasi penting dalam penerapannya. Makalah ini mengusulkan tolok ukur inovatif untuk mempelajari masalah ini di era model bahasa besar.

Makalah 3: Minum Bir Setelah Sholat? Mengukur Bias Budaya dalam Model Bahasa Besar

Penulis: Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu

Institusi: Institut Teknologi Georgia

Alamat makalah: https://arxiv.org/abs/2305.14456

Tulisan ini mengungkap isu penting di era model bahasa besar: bias budaya. Meskipun konteks penelitiannya adalah budaya dan bahasa Arab, hasilnya menunjukkan bahwa kita perlu mempertimbangkan nuansa budaya ketika merancang model bahasa berukuran besar. Oleh karena itu, penelitian serupa dapat dilakukan pada budaya lain untuk menggeneralisasi dan menilai apakah budaya lain juga terkena dampak masalah ini.

3 Makalah Sumber Daya Terbaik

Makalah 1: Latxa: Model Bahasa Terbuka dan Rangkaian Evaluasi untuk Basque

Pemain: Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa

Institusi: Universitas Basque Country

Alamat makalah: https://arxiv.org/abs/2403.20266

Makalah ini menjelaskan secara rinci seluruh detail pengumpulan korpus dan dataset evaluasi. Meskipun mereka mempelajari bahasa Basque, pendekatan ini dapat diperluas untuk membangun model bahasa besar untuk bahasa dengan sumber daya rendah.

Topik 2: Dolma: Korpus Terbuka Tiga Triliun Token untuk Penelitian Pra-Pelatihan Model Bahasa

Pemain: Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar, Valentin Hofmann, Ananya Harsh Jha, Sachin Kumar, Li Lucy, Xinxi Lyu, Nathan Lambert , Ian Magnusson, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Abhilasha Ravichander, Kyle Richardson, Zejiang Shen, Emma Strubell, Nishant Subramani, Oyvind Tafjord, Pete Walsh, Luke Zettlemoyer, Noah A. Smith, Hannaneh Hajishirzi, Iz Beltagy, Dirk Groeneveld, Jesse Dodge, Kyle Lo

Institusi: Institut Allen untuk Kecerdasan Buatan, UC Berkeley, Universitas Carnegie Mellon, Spiffy AI, MIT, Universitas Washington

Alamat makalah: https://arxiv.org/abs/2402.00159

Makalah ini mengilustrasikan pentingnya kurasi data saat menyiapkan kumpulan data untuk model bahasa besar. Hal ini memberikan wawasan berharga yang dapat bermanfaat bagi khalayak luas dalam komunitas.

Bab 3: AppWorld: Dunia Aplikasi dan Orang yang Dapat Dikendalikan untuk Membandingkan Agen Pengodean Interaktif

Pemain: Harsh Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, Niranjan Balasubramanian

Institusi: Universitas Negeri New York di Stony Brook, Institut Kecerdasan Buatan Allen, Universitas Saarland

Alamat makalah: https://arxiv.org/abs/2407.18901

Ini adalah upaya yang sangat mengesankan dan penting untuk membangun sebuah simulator dan lingkungan evaluasi untuk interaksi manusia-komputer. Hal ini akan mendorong dihasilkannya tolok ukur dinamis yang menantang bagi masyarakat.

21 Artikel Penghargaan Ketua Lapangan

35 makalah yang beredar

(Gambar ini tidak lengkap)

Referensi:

https://x.com/aclmeeting/status/1823664612677705762