berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Model besar telah mendapat banyak perhatian dalam satu atau dua tahun terakhir, terutama atas kinerjanya dalam memecahkan masalah aritmatika.

Faktanya, pada awal tahun 2022, para peneliti dari tim Riset Google mengusulkan perintah Chain-of-Thought (CoT), sebuah metode rekayasa cepat yang secara efektif dapat meningkatkan penalaran matematis model besar dan mempelajari dalam konteks beberapa sampel efektivitasnya telah diverifikasi [1].

Meskipun metode ini dengan cepat digunakan secara luas, para peneliti di lapangan masih mengetahui sedikit tentang bagaimana metode ini merangsang penalaran aritmatika dalam model yang besar.

Sebelumnya, eksplorasi terkait terutama berfokus pada pengamatan eksperimental dampak berbagai komponen dalam pernyataan cepat CoT pada efek penalaran aritmatika model besar.

Secara khusus, cobalah untuk mengganti atau menghapus komponen dalam pernyataan prompt CoT, seperti menghilangkan bagian penalaran verbal dari sampel CoT, hanya menyisakan rumus matematika kunci, dan mengamati model besar sebelum dan sesudah penggantian atau penghapusan dalam aritmatika yang ada Perbedaan kinerja pada uji benchmark inferensi digunakan untuk menentukan apakah penggantian atau pelepasan bagian mempunyai kontribusi penting dalam merangsang kemampuan penalaran aritmatika model besar.

Meskipun para peneliti di bidang ini telah menemukan beberapa fenomena menarik dari penelitian tersebut, mereka masih belum dapat menjelaskan bagaimana CoT menstimulasi kemampuan penalaran aritmatika model besar dari mekanisme internal jaringan saraf.

Pada saat yang sama, penelitian ini menimbulkan lebih banyak pertanyaan. Misalnya, mengapa komponen CoT yang berbeda mempunyai dampak yang berbeda terhadap penalaran aritmatika model besar.

Untuk mengatasi masalah di atas, Profesor Yao Ziyu dan timnya dari Universitas George Mason di Amerika Serikat meluncurkan serangkaian eksplorasi model Llama2 open source dari perspektif "interpretabilitas model" dan mengusulkan untuk menggunakan "aktivasi neuron" untuk menjelaskan secara sistematis Fenomena yang diamati pada CoT telah dipelajari.

Gambar丨Anggota tim peneliti (sumber: tim peneliti)

Baru-baru ini, makalah terkait berjudul "Investigasi Aktivasi Neuron sebagai Lensa Terpadu untuk Menjelaskan Rantai Pemikiran yang Memunculkan Penalaran Aritmatika dalam Model Bahasa Besar" dari LLM) diterima oleh Pertemuan Tahunan Asosiasi Linguistik Komputasi (ACL, Tahunan Pertemuan Linguistik Komputasi) 2024 [2].

Daking Rai, kandidat doktor di Universitas George Mason, adalah penulis pertama, dan Yao Ziyu berperan sebagai penulis koresponden.

Gambar丨Makalah terkait (Sumber: ACL 2024)

Dalam studi tersebut, mereka pertama-tama fokus pada eksplorasi apakah lapisan feedforward Transformer adalah neuron yang mengekspresikan konsep penalaran aritmatika.

Konsep-konsep yang relevan meliputi konsep operasi aritmatika penjumlahan, pengurangan, perkalian dan pembagian, konsep keterhubungan logis dalam proses penalaran aritmatika (seperti “…jadi” “…berikutnya”), dan konsep perhitungan aritmatika lainnya ( seperti "persen", "algoritma" dan "rumus").

Oleh karena itu, untuk menemukan konsep yang diwakili oleh setiap neuron, mereka memetakan neuron tersebut ke ruang kosakata model besar, dan merangkum makna neuron dengan memberi label proporsi konsep dalam setiap kosakata setelah pemetaan neuron.

Kelompok peneliti mengusulkan penggunaan GPT-4 untuk membaca dan memahami pemetaan leksikal neuron guna mengotomatiskan proses pelabelan dan penambangan neuron.

Eksperimen menunjukkan bahwa memang terdapat neuron di lapisan feedforward Transformer yang mewakili konsep aritmatika. Ketika neuron ini rusak, kemampuan penalaran aritmatika model besar akan terganggu.

Pada saat yang sama, para peneliti juga mengamati bahwa aktivitas neuron ini berkorelasi positif dengan kemampuan penalaran aritmatika model besar. Korelasi positif tersebut menjelaskan mengapa pernyataan cepat yang berbeda membawa dampak yang berbeda terhadap penalaran aritmatika model besar.

Berdasarkan neuron-neuron ini, tim secara sistematis menjelaskan empat fenomena terkait CoT yang diamati dalam penelitian sebelumnya.

Pertama, ketika rumus matematika dihilangkan dari sampel CoT dan hanya tersisa hasil operasinya, maka kemampuan penalaran aritmatika model besar akan terganggu.

Kedua, ketika penalaran verbal dihilangkan dari sampel CoT dan hanya tersisa rumus matematika, maka kemampuan model juga terganggu.

Ketiga, ketika sampel CoT kehilangan keragaman operasional, misalnya, ketika semua sampel hanya melibatkan operasi penambahan, kemampuan model akan terganggu.

Keempat, ketika hasil operasi sampel CoT salah tetapi proses inferensinya benar, maka kemampuan model tidak terpengaruh secara signifikan.

“Kami melihat bahwa fenomena ini pada dasarnya dapat dijelaskan oleh tingkat aktivasi neuron. Misalnya, sebelum dan sesudah rumus matematika dihapus, jumlah neuron yang diaktifkan berkurang, menjelaskan mengapa kemampuan penalaran aritmatika model terganggu.” menjelaskan jalan.

Dari segi penerapan, pencapaian ini akan memiliki prospek penerapan dalam dua aspek.

Pertama, kemampuan memprediksi model besar.

Dalam eksperimen, peneliti dapat melihat bahwa tingkat aktivasi neuron yang mewakili penalaran aritmatika berkorelasi positif dengan kemampuan penalaran aritmatika model Llama2. Artinya di masa depan, tolok ukur mungkin tidak diperlukan untuk memprediksi secara langsung kemampuan model besar pada tugas tertentu.

Pada saat yang sama, karena pengujian benchmark memerlukan banyak sumber daya manusia dan material, seperti anotasi kumpulan data dan sumber daya komputasi, kemampuan untuk memprediksi model besar secara langsung dengan memahami mekanisme intrinsiknya juga membantu menghemat biaya.

Selain itu, praktisi di lapangan berharap model berukuran besar akan mampu melakukan tugas manusia super dalam waktu dekat. Namun karena keterbatasan kemampuan manusia, tidak ada cara untuk membuat tolok ukur untuk tugas-tugas ini. Masalah ini dapat dihindari dengan memprediksi kemampuan model melalui mekanisme yang melekat pada model besar.

Kedua, dengan mengendalikan mekanisme internal model besar, kapabilitas model dapat ditingkatkan atau dilemahkan.

“Kami percaya bahwa aplikasi ini akan menjadi salah satu metode penting untuk meningkatkan keamanan model besar di masa depan. Pada saat yang sama, aplikasi ini juga berpotensi mencapai pelatihan model besar yang lebih efisien, seperti menemukan lokasi neuron melalui data kecil dan kemudian mengontrol aktivasi neuron. Tujuan dari pelatihan model." kata tim peneliti.

Faktanya, pada paruh kedua tahun 2023, OpenAI mengajukan proposal "penyelarasan super" [3], yang bertujuan untuk membantu manusia mengawasi dan mengendalikan model AI manusia super dengan mendorong inovasi penelitian ilmiah. Kemampuan model prediksi dan kontrol adalah dua tugas penting untuk mencapai tujuan ini.

“Hasil ini merupakan eksplorasi awal kami ke arah tersebut. Kami berharap kami atau peneliti lain dapat terus melakukan eksplorasi ke arah tersebut di masa mendatang,” kata tim. Penelitian ini terinspirasi oleh “mechanism interpretability”.

Ini adalah subbidang interpretasi model yang muncul dengan cepat dan mendapat perhatian luas dalam beberapa tahun terakhir. Berbeda dari metode interpretasi sebelumnya, interpretasi mekanisme berupaya memahami mekanisme perilaku model dengan merekayasa balik jaringan saraf.

Saat ini, metode jenis ini telah diterapkan dalam menjelaskan perilaku dan fungsi struktural model besar.

“Salah satu penelitian yang sangat menginspirasi kami adalah eksplorasi lapisan feedforward Transformer yang dilakukan oleh para peneliti dari Allen Institute for Artificial Intelligence di Amerika Serikat dan Universitas Bar-Ilan di Israel [4].”

Studi ini menemukan bahwa dalam proses model besar memprediksi unit kosakata berikutnya, lapisan feed-forward Transformer model akan membangun prediksi dengan terus memperkuat konsep terkait dalam ruang kosakata. Penguatan konsep ini dicapai dengan mengaktifkan neuron di lapisan feedforward Transformer.

“Penemuan pada tingkat mekanisme ini mengilhami dugaan kami: Alasan mengapa CoT dapat merangsang kemampuan model besar dalam penalaran aritmatika mungkin karena CoT dapat secara efektif mengaktifkan neuron yang mewakili konsep penalaran aritmatika di lapisan umpan maju Transformer, dan neuron ini membantu memperkuat kemampuan penalaran aritmatika model besar,” kata tim peneliti.

Berdasarkan hal tersebut, kelompok peneliti bertanya-tanya apakah terdapat mekanisme yang secara langsung dapat meningkatkan kemampuan penalaran aritmatika model besar, terutama model skala kecil dan besar.

Tim tersebut mencatat: “Ini adalah hal yang sangat berarti karena model berskala kecil dan besar menikmati efisiensi komputasi, efisiensi ekonomi, dan keamanan yang unik.”

Selain itu, pada periode yang sama, mereka juga melihat beberapa penelitian untuk meningkatkan kemampuan model berskala kecil dan besar di bidang atau tugas tertentu dengan mengumpulkan data berkualitas tinggi atau memodifikasi fungsi tujuan pelatihan. Namun, penerapan interpretabilitas mekanistik dalam hal ini masih dalam tahap awal.

Meski begitu, proses penelitian ilmiah tim tidak berjalan mulus, bahkan sempat "terjebak" di awal.

Di antara mereka, kesulitan terbesarnya adalah mereka tidak sepenuhnya memahami mekanisme internal model besar untuk penalaran aritmatika, dan tentu saja tidak dapat mencapai kendali model yang diinginkan.

"Oleh karena itu, saya dan murid saya Lai, penulis pertama makalah ini, memutuskan untuk fokus menjelaskan alasan aritmatika model besar terlebih dahulu," kata Yao Ziyu.

Namun mereka segera menghadapi kesulitan berikutnya.

"Penalaran aritmatika" adalah konsep yang sangat abstrak, dan prediksi model besar dilakukan pada tingkat unit kosa kata tertentu.

Jika kita ingin memahami kemampuan penalaran aritmatika model besar dari perspektif "penguatan konseptual neuron dalam ruang leksikal", pertama-tama kita harus mengimplementasikan konsep yang sangat abstrak ini ke dalam konsep tingkat leksikal tertentu.

Untuk menjembatani kesenjangan ini, kelompok penelitian pertama-tama merangkum sejumlah konsep tingkat rendah yang berkaitan dengan penalaran aritmatika, termasuk operator aritmatika, ekspresi bahasa logis dalam penalaran aritmatika, dan konsep komputasi aritmatika lainnya.

Dan dengan menggunakan GPT-4 untuk memberi label dan mencari neuron yang mengekspresikan konsep tingkat rendah ini secara efisien. Kemudian, mereka merujuk pada penelitian sebelumnya untuk memverifikasi neuron yang dicari tersebut.

“Hasil eksperimen membuktikan bahwa neuron ini memang memainkan peran penting dalam model besar eksperimen kami, Llama2.”

Hal ini juga membuat mereka lebih percaya diri untuk terus mengeksplorasi ke arah tersebut.

Mereka berpikir untuk menggunakan keadaan aktivasi neuron ini untuk menjelaskan secara seragam pengaruh CoT pada kemampuan penalaran aritmatika model besar, termasuk menjelaskan beberapa fenomena yang diamati dalam penelitian sebelumnya.

Hasilnya pada dasarnya memverifikasi dugaan mereka, yaitu, efek stimulasi dari berbagai komponen CoT pada kemampuan penalaran aritmatika model besar dapat dijelaskan dengan aktivasi neuron yang relevan.

Namun, penelitian tersebut juga menunjukkan bahwa aktivasi saraf tidak menjelaskan seluruh kinerja penalaran aritmatika model besar. Pada saat yang sama, apakah temuan para peneliti tentang Llama2 dapat diterapkan pada kelompok model besar lainnya juga memerlukan verifikasi lebih lanjut.

Dilaporkan juga bahwa laboratorium Yao Ziyu saat ini memiliki sejumlah kursi doktoral beasiswa penuh yang tersedia untuk diterima pada musim gugur tahun 2025. Untuk detailnya, silakan periksa situs web tim https://ziyuyao.org/ dan tanyakan melalui email.

Referensi:

1. Wei, Jason, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Fei Xia, Ed Chi, Quoc V. Le, dan Denny Zhou. Dorongan berantai pemikiran memunculkan penalaran dalam model bahasa yang besar. Kemajuan dalam sistem pemrosesan informasi saraf 35 (2022): 24824-24837. https://doi.org/10.48550/arXiv.2201.11903

2.Daking，Rai，Ziyu,Yao，Sebuah Investigasi Aktivasi Neuron sebagai Lensa Terpadu untuk Menjelaskan Rantai Pemikiran yang Mengumpulkan Penalaran Aritmatika LLM.arXiv:2406.12288.https://doi.org/10.48550/arXiv.2406.12288

3.OpenAI. Memperkenalkan Superalignment. https://openai.com/index/introducing-superalignment/. 2023.

4. Geva, Mor, Avi Caciularu, Kevin Wang, dan Yoav Goldberg. Transformer Feed-Forward Layers Membangun Prediksi dengan Mempromosikan Konsep dalam Ruang Kosakata. Dalam Prosiding Konferensi 2022 tentang Metode Empiris dalam Pemrosesan Bahasa Alami, hlm. 30-45. 2022. https://arxiv.org/abs/2203.14680

Penyusunan huruf: Chu Jiashi

01/

02/

03/

04/

05/