berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Jantung Mesin

Departemen Editorial Jantung Mesin

Ini adalah pertama kalinya manusia menunjukkan bahwa jaringan saraf dapat membuat petanya sendiri.

Bayangkan Anda berada di kota yang asing, meskipun lingkungan sekitar pada awalnya asing, Anda dapat menjelajah sekitar dan akhirnya menggambar peta lingkungan di otak Anda, yang meliputi bangunan, jalan, tanda, dll yang berinteraksi satu sama lain. . hubungan posisi di antara mereka. Kemampuan untuk membangun peta spasial di otak mendasari jenis kognisi tingkat tinggi pada manusia: misalnya, bahasa secara teori dikodekan oleh struktur mirip peta di otak.

Namun, kecerdasan buatan dan jaringan saraf tercanggih sekalipun tidak dapat membuat peta seperti itu begitu saja.

Matt Thomson, asisten profesor biologi komputasi dan peneliti di Heritage Medical Research Institute, mengatakan: "Ada perasaan bahwa bahkan model kecerdasan buatan yang paling canggih pun tidak benar-benar cerdas. Mereka tidak dapat memecahkan masalah seperti kita; mereka tidak dapat membuktikan hasil matematika yang belum terbukti. tidak dapat menghasilkan ide-ide baru.”

"Kami pikir hal ini terjadi karena mereka tidak bisa bernavigasi dalam ruang konseptual; memecahkan masalah kompleks seperti bergerak dalam ruang konseptual, sama seperti navigasi. Apa yang dilakukan AI lebih seperti pembelajaran hafalan -- Anda memberinya masukan dan Anda meresponsnya. Namun ia tidak dapat mensintesis ide-ide yang berbeda."

Baru-baru ini, sebuah makalah baru dari Laboratorium Thomson menemukan bahwa jaringan saraf dapat menggunakan algoritma yang disebut "pengkodean prediktif" untuk membangun peta spasial. Makalah ini diterbitkan di jurnal Nature Machine Intelligence pada 18 Juli.

• Alamat kertas: https://www.nature.com/articles/s42256-024-00863-1
• Alamat kode: https://github.com/jgornet/predictive-coding-recovers-maps

Dipimpin oleh mahasiswa pascasarjana James Gornet, keduanya membangun lingkungan dalam game Minecraft, menggabungkan elemen kompleks seperti pohon, sungai, dan gua. Mereka merekam video pemain yang berjalan secara acak di area tersebut dan menggunakan video tersebut untuk melatih jaringan saraf yang dilengkapi dengan algoritma pengkodean prediktif.

Mereka menemukan bahwa jaringan saraf dapat mempelajari bagaimana objek-objek di dunia Minecraft diatur satu sama lain dan dapat "memprediksi" lingkungan yang akan ditemuinya saat bergerak melintasi ruang angkasa.

Kombinasi algoritma pengkodean prediktif dan permainan Minecraft berhasil "mengajarkan" jaringan saraf cara membuat peta spasial dan kemudian menggunakan peta spasial ini untuk memprediksi bingkai video berikutnya, menghasilkan kesalahan kuadrat rata-rata hanya 0,094% antara gambar yang diprediksi. dan gambar terakhir.

Terlebih lagi, tim "menghidupkan" jaringan saraf (setara dengan memeriksa struktur internal) dan menemukan bahwa representasi berbagai objek disimpan secara spasial relatif satu sama lain. Dengan kata lain, mereka melihat peta lingkungan Minecraft yang disimpan di jaringan saraf.

Jaringan saraf dapat menavigasi peta yang diberikan oleh perancang manusia, seperti mobil yang dapat mengemudi sendiri menggunakan GPS, namunIni adalah pertama kalinya manusia menunjukkan bahwa jaringan saraf dapat membuat petanya sendiri . Kemampuan untuk menyimpan dan mengatur informasi secara spasial pada akhirnya akan membantu jaringan saraf menjadi lebih "cerdas", sehingga memungkinkan mereka memecahkan masalah yang sangat kompleks seperti yang dilakukan manusia.

Proyek ini menunjukkan kemampuan kesadaran spasial sesungguhnya dari kecerdasan buatan, yang masih belum terlihat pada teknologi seperti Sora milik OpenAI., yang terakhir memiliki beberapa gangguan aneh.

James Gornet adalah mahasiswa Departemen Sistem Komputasi dan Neural (CNS) di Caltech, yang mencakup ilmu saraf, pembelajaran mesin, matematika, statistik, dan biologi.

“Program CNS benar-benar memberikan tempat bagi James untuk melakukan pekerjaan unik yang tidak mungkin dilakukan di tempat lain,” kata Thomson. “Kami menggunakan pendekatan pembelajaran mesin yang terinspirasi secara biologis yang memungkinkan kami merekayasa balik sifat-sifat otak dalam jaringan saraf tiruan, dan kami berharap dapat memahami otak pada gilirannya. Di Caltech, kami memiliki tim yang sangat reseptif terhadap hal semacam ini kerja. Komunitas."

Jaringan saraf yang melakukan pengkodean prediktif

Terinspirasi oleh representasi spasial implisit dalam masalah inferensi pengkodean prediktif, para peneliti mengembangkan implementasi komputasi dari agen pengkodean prediktif dan mempelajari representasi spasial yang dipelajari oleh agen sambil menjelajahi lingkungan virtual.

Mereka pertama kali menciptakan lingkungan menggunakan lingkungan Malmo di Minecraft. Lingkungan fisik memiliki dimensi ubin 40 × 65 dan mencakup tiga aspek pemandangan visual: gua memberikan landmark visual global, hutan memungkinkan kesamaan antara pemandangan visual, dan sungai dengan jembatan membatasi cara agen melintasi lingkungan (Gbr. 1a).

Agen mengikuti jalur yang ditentukan oleh pencarian A* untuk menemukan jalur terpendek antara lokasi sampel secara acak dan menerima gambar visual di setiap jalur.

Untuk melakukan pengkodean prediktif, penulis membangun jaringan saraf konvolusional encoder-decoder. Encoder mengadopsi arsitektur ResNet-18, dan decoder mengadopsi arsitektur ResNet-18 konvolusional yang dialihkan (Gambar 1b). Arsitektur encoder-decoder menggunakan arsitektur U-Net untuk meneruskan unit laten yang dikodekan ke dalam decoder. Pemrosesan perhatian multi-kepala mengkodekan urutan unit laten untuk mengkodekan riwayat pengamatan visual masa lalu. Perhatian berkepala banyak mempunyai h = 8 kepala. Untuk unit laten pengkodean dengan dimensi D = C × T × W, dengan tinggi H, lebar W, dan saluran C, dimensi satu kepala adalah d = C × H × W/h.

Pembuat enkode prediktif memperkirakan pengkodean prediktif dengan meminimalkan kesalahan kuadrat rata-rata antara observasi aktual dan observasi yang diprediksi. Encoder prediktif dilatih selama 200 periode pada 82.630 sampel, menggunakan optimasi penurunan gradien dengan momentum Nesterov, peluruhan bobot 5 × 10^(-6), kecepatan pembelajaran 10^(-1), dan melewati jadwal kecepatan pembelajaran OneCycle disesuaikan. Kesalahan kuadrat rata-rata antara gambar prediksi encoder prediktif yang dioptimalkan dan gambar sebenarnya adalah 0,094, dengan fidelitas visual yang baik (Gambar 1c).

Lihat kertas asli untuk lebih jelasnya.

https://techxplore.com/news/2024-07-neural-network-minecraft.html

https://www.tomshardware.com/tech-industry/artificial-intelligence/neural-network-learns-to-make-maps-with-minecraft-code-available-on-github