berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ditulis oleh |.Ma Xuewei

Dari penggunaan obat-obatan untuk merangsang otak dalam "Superbody" hingga penggunaan gangguan elektronik untuk menyerang ruang otak dalam budaya cyberpunk, manusia memiliki banyak fantasi tentang kemungkinan manipulasi otak manusia. Mari kita bayangkan,Bagaimana jika manusia sebenarnya bisa langsung memanipulasi setiap neuron di otak manusia?

Pada saat itu, manusia akan dapat secara langsung memahami peran neuron-neuron ini dalam mengamati objek tertentu, dan mudah-mudahan dapat melakukan beberapa hal yang bersifat "fiksi ilmiah".

Dalam kehidupan nyata, eksperimen semacam itu hampir tidak mungkin diterapkan di otak manusia, tetapi dapat dilakukan di jaringan saraf tiruan. Namun, karena model sering kali berisi jutaan neuron, model tersebut terlalu besar dan kompleks, serta memerlukan banyak tenaga untuk memahaminya, sehingga pemahaman model skala besar menjadi tugas yang sangat menantang.

Untuk tujuan ini, tim peneliti dari Laboratorium Ilmu Komputer dan Kecerdasan Buatan MIT (MIT CSAIL) meluncurkan sistem yang menggunakan model saraf untuk secara otomatis melakukan tugas pemahaman model - MAIA, atau "Agen yang dapat ditafsirkan secara otomatis multimodal”。

MAIA menggunakan model bahasa visual yang telah dilatih sebelumnya untuk mengotomatisasi tugas memahami model saraf.Desain modular memungkinkan MAIA untukFleksibilitas untuk mengevaluasi sistem apa pun dan dengan mudah menambahkan alat eksperimental baru . Selain itu, ia dapat mengotomatiskan eksperimen yang kompleks, menggunakan metode eksperimen berulang untuk menguji hipotesis, dan memperbarui hipotesis berdasarkan hasil eksperimen.

Jacob Steinhardt, asisten profesor di Universitas California, Berkeley, percaya bahwa memperluas metode ini mungkin menjadi salah satu cara terpenting untuk memahami dan mengawasi sistem kecerdasan buatan dengan aman. Namun tim peneliti meyakini hal tersebutMAIA yang ditingkatkan tidak akan menggantikan pengawasan manusia terhadap sistem kecerdasan buatan . MAIA masih memerlukan pengawasan manusia untuk mendeteksi kesalahan seperti bias konfirmasi dan kegagalan pembuatan/pengeditan gambar.

Apa efek sebenarnya?

Meskipun metode interpretasi otomatis yang ada hanya memberi label atau memvisualisasikan data satu kali, MAIA mampu menghasilkan hipotesis, merancang eksperimen untuk mengujinya, dan meningkatkan pemahaman mereka melalui analisis berulang. Dengan menggabungkan model bahasa visual (VLM) terlatih dengan perpustakaan alat interpretabilitas, pendekatan multimodal ini dapat merespons pertanyaan pengguna dengan menulis dan menjalankan eksperimen bertarget khusus model, terus meningkatkan pendekatannya hingga mampu memberikan jawaban yang komprehensif.

Inti dari kerangka MAIA adalah agen yang digerakkan oleh model multi-modal terlatih (seperti GPT-4V), yang mampu secara otomatis melakukan eksperimen untuk menjelaskan perilaku sistem lain. Hal ini dilakukan dengan menyusun subrutin yang dapat ditafsirkan ke dalam program Python.

Gambar |. Arsitektur MAIA

Tim peneliti mengevaluasi MAIA pada paradigma deskripsi neuron. Studi tersebut menunjukkan bahwa MAIA mencapai efek deskripsi yang sangat baik pada model nyata dan kumpulan data neuron sintetik, dengan kemampuan prediktif yang lebih baik daripada metode dasar dan sebanding dengan pakar manusia.

Gambar |. Deskripsi Penilaian MAIA

Selain itu, MAIA menunjukkan potensi penerapan yang baik dalam menghilangkan fitur palsu dan mengungkap bias, yang dapat membantu pengguna manusia lebih memahami perilaku model dan meningkatkan kinerja dan keadilan model.

Gunakan MAIA untuk menghapus fitur palsu

Fitur yang salah dapat memengaruhi ketahanan model dalam skenario dunia nyata. MAIA dapat mengidentifikasi dan menghapus fitur palsu dalam model, sehingga meningkatkan ketahanan model. Tim peneliti menggunakan ResNet-18 untuk melatih kumpulan data Spawrious, yang berisi empat ras anjing dengan latar belakang berbeda.

Dalam kumpulan data, setiap ras anjing dikaitkan secara palsu dengan latar belakang tertentu (misalnya, salju, hutan, gurun, pantai), sedangkan pada set pengujian, pasangan ras dan latar belakang bersifat kacau. Tim peneliti menggunakan MAIA untuk menemukan subset neuron lapisan akhir yang dapat memprediksi secara kuat jenis anjing tertentu, terlepas dari fitur palsu, hanya dengan mengubah kueri di perintah pengguna.

Hasilnya menunjukkan bahwa MAIA dapat secara efektif menghilangkan fitur-fitur palsu dalam model, sehingga meningkatkan ketahanan model.

Menggunakan MAIA untuk mengungkap bias

Model dapat memiliki bias yang menyebabkan kinerjanya buruk dalam situasi tertentu. Dan MAIA dapat secara otomatis mengungkap bias dalam model. Tim peneliti menggunakan ResNet-152 untuk melatih ImageNet dan menggunakan MAIA untuk memeriksa bias pada keluaran model.

Selama percobaan, MAIA diminta untuk menghasilkan gambar yang terkait dengan kategori tertentu dan mengamati respons model terhadap gambar tersebut. Belakangan, MAIA menemukan bahwa beberapa model memiliki preferensi untuk subkategori atau gambar tertentu yang terkait dengan kategori tertentu.

Hal ini menunjukkan bahwa MAIA dapat membantu mengidentifikasi bias dalam model dan dengan demikian memperbaikinya.

Gambar |. Deteksi bias model MAIA

Kekurangan dan prospek

Meskipun MAIA menunjukkan potensi besar dalam interpretasi otomatis, masih ada beberapa keterbatasan.

Pertama, kemampuan penjelasan MAIA dibatasi oleh alat yang digunakannya, seperti Difusi Stabil dan GPT-4. Keterbatasan alat-alat ini (misalnya kualitas pembuatan gambar, biaya, pembatasan akses) secara langsung mempengaruhi kinerja MAIA. Di masa depan, Anda dapat mempertimbangkan untuk mengembangkan alat internal yang lebih canggih atau mencari alternatif sumber terbuka untuk meningkatkan keandalan dan aksesibilitas sistem Anda.

Kedua, penjelasan MAIA bukanlah verifikasi formal, melainkan berdasarkan hasil eksperimen dan deskripsi bahasa alami. Hal ini dapat menyebabkan penafsiran yang bias atau menyesatkan. Di masa depan, metode verifikasi formal (seperti penalaran kausal, analisis teoritis) dapat dipertimbangkan untuk diintegrasikan ke dalam MAIA untuk meningkatkan akurasi dan keandalan penjelasan.

Selain itu, MAIA tidak dapat sepenuhnya menghindari kesalahan umum seperti bias konfirmasi, interpretasi berlebihan, kesimpulan sampel kecil, dan lain-lain. Di masa depan, penerapan mekanisme refleksi diri dapat dipertimbangkan untuk memungkinkan MAIA mengidentifikasi dan memperbaiki kesalahannya sendiri serta meningkatkan ketahanan penafsiran.

Ke depan, Rott Shaham, salah satu penulis makalah ini, mengatakan: "Saya pikir langkah alami berikutnya bagi laboratorium kami adalah melampaui sistem buatan dan menerapkan eksperimen serupa pada persepsi manusia. Secara tradisional, hal ini memerlukan perancangan dan pengujian rangsangan secara manual. , Ini adalah proses padat karya, dan dengan agen kami, kami dapat meningkatkan proses ini serta merancang dan menguji sejumlah besar rangsangan secara bersamaan."