berita

Core West melaporkan pada 10 Agustus bahwa kelompok penelitian Profesor Fang Lu dari Departemen Teknik Elektronika dan kelompok penelitian Akademisi Dai Qionghai dari Departemen Otomasi Universitas TsinghuaPertamaArsitektur pelatihan komputasi optik cerdas ke depan penuh, dikembangkanChip pelatihan ringan "Tai Chi-II"., menghilangkan ketergantungan pada pelatihan offline dan mewujudkan sistem komputasi optik skala besarjaringan sarafPelatihan yang efisien dan tepat. Hasil penelitian yang relevan dipublikasikan di jurnal akademik internasional terkemuka Nature minggu ini.

Departemen Teknik Elektronika Universitas Tsinghua mengeluarkan pengantar yang mengatakan,Kemunculan Tai Chi-II telah mengisi kesenjangan dalam teka-teki inti komputasi optik cerdas dalam pelatihan skala besar.。

Komputasi optik memiliki karakteristik daya komputasi yang tinggi dan konsumsi daya yang rendah, serta merupakan arah mutakhir untuk mempercepat komputasi cerdas. Pengulas Nature menyebutkan dalam komentar ulasannya bahwa “ide yang diajukan dalam artikel ini sangat baru.Proses pelatihan jaringan saraf optik (ONN) jenis ini belum pernah terjadi sebelumnya. Metode yang diusulkan tidak hanya efektif tetapi juga mudah diterapkan. Oleh karena itu, ituDiharapkan menjadi alat yang diadopsi secara luas untuk melatih jaringan saraf optik dan sistem komputasi optik lainnya”。

Departemen Elektronika Universitas Tsinghua adalah unit pertama dari makalah ini. Profesor Fang Lu dan Profesor Dai Qionghai adalah penulis makalah yang sesuai. Mahasiswa doktoral Xue Zhiwei dan rekan pascadoktoral Zhou Tiankui dari Departemen Elektronika Universitas Tsinghua bekerja sama. penulis, mahasiswa doktoral Xu Zhihao dari Departemen Elektronika dan Dr. Yu Shaoliang dari Laboratorium Zhijiang berpartisipasi dalam pekerjaan ini. Proyek ini didukung oleh Kementerian Sains dan Teknologi, Yayasan Ilmu Pengetahuan Alam Nasional Tiongkok, Pusat Penelitian Sains dan Teknologi Informasi Nasional Beijing, dan Pusat Penelitian Gabungan Laboratorium Universitas Tsinghua-Zhijiang.

1. Penggunaan simetri yang cerdas membantu komputasi optik menghilangkan ketergantungan GPU

Komputasi optik menjanjikan peningkatan kecepatan dan efisiensi energi aplikasi pembelajaran mesin. Namun, metode pelatihan model ini secara efektif saat ini dibatasi oleh simulasi komputer.

Chip komputasi optik cerdas universal "Tai Chi" diterbitkan di jurnal akademik internasional terkemuka Science，Untuk pertama kalinya, komputasi optik telah dialihkan dari verifikasi prinsip ke aplikasi eksperimental skala besar.160 TOPS/MingguEfisiensi energi tingkat sistem telah membawa harapan pada penalaran tugas-tugas cerdas yang kompleks, namun gagal melepaskan "kekuatan pelatihan" komputasi optik.

Dibandingkan dengan inferensi, pelatihan model memerlukan banyak daya komputasi. Arsitektur pelatihan kelistrikan memerlukan tingkat kecocokan yang tinggi antara model propagasi maju dan mundur, yang mengedepankan persyaratan ketat untuk penyelarasan sistem fisika komputasi optik yang tepat, sehingga mengakibatkan penghitungan gradien yang sulit, pemodelan offline yang lambat, dan kesalahan pemetaan yang besar, yang mana membatasi skala dan efisiensi pelatihan optik.

Tim peneliti Fang Lu dan Dai Qionghai menemukan "Simetri perambatan foton"Kunci ini, gunakanLatihan ringan ke depan penuhMenembus batasan arsitektur pelatihan kelistrikan pada komputasi optik fisik.

Menurut Xue Zhiwei, penulis pertama makalah ini, di bawah arsitektur Tai Chi-II,penurunan gradienPropagasi balik dalam sistem optik diubah menjadi propagasi maju sistem optik, dan pelatihan jaringan saraf optik dapat dicapai dengan menggunakan propagasi maju kesalahan data dua kali. Kedua propagasi maju memiliki karakteristik keselarasan alami, memastikan perhitungan gradien fisik yang akurat. Akurasi pelatihan yang dicapai dengan cara ini tinggi dan dapat mendukung pelatihan jaringan skala besar.

Propagasi modulasi sistem cahaya fisik dan koneksi aktivasi jaringan saraf saling memetakan, yaitu, pelatihan modul modulasi dapat mendorong optimalisasi bobot jaringan apa pun, sehingga memastikan kecepatan dan efisiensi energi pelatihan.

Karena tidak diperlukan propagasi mundur, arsitektur Taichi-II tidak lagi bergantung pada komputasi listrik untuk pemodelan dan pelatihan offline, dan pelatihan optik jaringan saraf skala besar yang akurat dan efisien dapat dicapai.

2. Melatih jaringan optik dengan jutaan parameter meningkatkan kecepatan sebesar 1 kali lipat

Menggunakan cahaya sebagai media komputasi dan membangun model komputasi berdasarkan perambatan cahaya yang dapat dikontrol, komputasi optik secara alami memiliki karakteristik kecepatan tinggi dan konsumsi daya yang rendah. Menggunakan perambatan cahaya ke depan penuh untuk mencapai pelatihan dapat sangat meningkatkan kecepatan dan energi efisiensi pelatihan jaringan optik.

Hasil pengukuran sistem menunjukkan bahwa Taichi-II dapat melatih berbagai sistem optik berbeda dan menunjukkan kinerja luar biasa dalam berbagai tugas.

1. Bidang pembelajaran skala besar:Menerobos kontradiksi antara akurasi perhitungan dan efisiensi,Jutaan parameterKecepatan pelatihan jaringan optik telah ditingkatkan1 urutan besarnya, tingkat akurasi tugas klasifikasi cerdas yang representatif ditingkatkan.40%。

2. Pencitraan cerdas dari pemandangan kompleks:Dalam lingkungan dengan cahaya redup (intensitas cahaya per piksel hanya sub-foton), efisiensi energi tercapai.5,40×10^6 PUNCAK/LPemrosesan serba optik, peningkatan efisiensi energi tingkat sistem6 kali lipat. Dalam aplikasi pencitraan pemandangan yang kompleks seperti non-bidang pandang, pencitraan cerdas dengan kecepatan bingkai kilohertz dapat dicapai dan efisiensi ditingkatkan.2 kali lipat。

3. Bidang fotonik topologi:Titik tunggal non-Hermitian dapat dicari secara otomatis tanpa bergantung pada model sebelumnya, memberikan ide baru untuk analisis sistem topologi yang kompleks secara efisien dan akurat.

3. Mempromosikan kemajuan aplikasi dan teori serta memberikan kekuatan komputasi baru untuk model AI besar.

Taichi-II juga telah menunjukkan potensi penerapan di bidang fotonik topologi. Ia dapat secara otomatis mencari titik tunggal non-Hermitian tanpa bergantung pada model apriori apa pun, memberikan ide-ide baru untuk analisis sistem topologi yang kompleks secara efisien dan akurat.

Misalnya, jika kedua instrumen dipisahkan, Taichi I dan II masing-masing mewujudkan penalaran dan pelatihan AI dengan efisiensi energi tinggi; dan jika kedua instrumen tersebut diselaraskan, Taichi I dan II bersama-sama membentuk siklus hidup komputasi cerdas skala besar yang lengkap .

""Tao Tai Chi menentukan dua ritus, dan metode mengintegrasikan kebenaran dan anti-alam semesta." Ini adalah bagaimana kami menggambarkan struktur kolaborasi dialektis dari seri Tai Chi. Kami percaya bahwa mereka akan bekerja sama untuk menyuntikkan dorongan baru untuk pengembangan daya komputasi menjadi model AI besar di masa depan dan membangun fondasi baru yang ringan untuk daya komputasi. "kata Fang Lu.

Berdasarkan sampel prinsip, tim peneliti secara aktif bergerak menuju industrialisasi chip optik cerdas dan telah menerapkannya pada berbagai sistem cerdas sisi akhir.

Dua generasi chip Taichi berturut-turut telah mengungkapkan potensi besar komputasi optik cerdas. Melalui upaya tak henti-hentinya di bidang komputasi optik, termasuk seri Taichi, platform komputasi optik cerdas diharapkan dapat menyediakan komputasi berkecepatan tinggi dan hemat energi untuk model AI besar, kecerdasan buatan umum, dan sistem cerdas kompleks dengan konsumsi sumber daya lebih rendah dan biaya marjinal yang lebih kecil.

sumber:Universitas Tsinghua, Alam