berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Angin barat datang dari Kuil Aofei
Qubit |. Akun publik QbitAI

"Saya ingin mengajukan pertanyaan kepada Anda. Apakah Anda seorang siswa di Akademi Qiuzhen atau Kelas Junior Qiu Chengtong, jika Anda tidak mengetahui pertanyaan ini, maka Anda tidak boleh berada di kelas ini!"

Pada Konferensi Sains Dasar Internasional 2024 "Forum Sains Dasar dan Kecerdasan Buatan", CTO Grup Lenovo dan Akademisi Asing dari Akademi Ilmu Pengetahuan EropaRui YongBegitu kata-kata ini keluar, seluruh penonton menjadi sedikit gugup.

Tapi kemudian, pertanyaan yang dia ajukan adalah:Mana yang lebih besar, 13.11 atau 13.8?

Hai guys, nanya aja siapa sih yang belum tau joke yang satu ini.

Namun kali ini, ini bukan tentang mengejek kegilaan sang model. Beberapa pakar AI dari akademisi dan industri menganalisis serangkaian masalah seperti "ilusi" model dan memperoleh pendapat mereka tentang "Apa langkah selanjutnya untuk kecerdasan buatan?"pendapat dari.

Singkatnya, ini mencakup poin-poin berikut:

• Langkah selanjutnya dalam pengembangan model besar adalah menjauh dari paradigma pencarian “tidak ada kemampuan abstrak, tidak ada nilai subjektif, dan tidak ada pengetahuan emosional”.
• Aplikasi komersial tertinggal dibandingkan pertumbuhan skala model itu sendiri, dan kurangnya produk super yang benar-benar dapat mencerminkan nilai investasi.
• Di bawah pembatasan ilusi, langkah selanjutnya adalah memikirkan bagaimana memperluas generalisasi dan interaktivitas model. Multimodalitas adalah sebuah pilihan.
• Merupakan hal yang sangat penting bagi agen cerdas untuk mengetahui batasan kemampuannya.

Dekan School of Data, University of Hong Kong, dan Ketua Departemen Ilmu Komputer, University of Hong KongMa YiDalam diskusi tersebut, bahkan muncul tanda tanya tentang “kecerdasan buatan” yang saat ini digunakan oleh arus utama:

Perkembangan teknologi kecerdasan buatan telah mengumpulkan banyak pengalaman, sebagian dapat kami jelaskan, dan sebagian lagi tidak dapat kami jelaskan. Sekaranglah saatnya teori sangat dibutuhkan. Faktanya, dapat dikatakan bahwa kesarjanaan kita belum banyak membuat terobosan dalam sepuluh tahun terakhir ini. Pesatnya perkembangan industri dan teknologi rekayasa kemungkinan besar telah mempengaruhi laju dunia akademis.

Mari kita lihat apa yang dikatakan orang-orang besar secara spesifik.

Apa hakikat kecerdasan?

Di tempat kejadian, Dekan School of Data, University of Hong Kong, dan Ketua Departemen Ilmu Komputer, University of Hong KongMa Yi, menyampaikan keynote speaker bertajuk “Kembali ke Dasar Teori dan Menggali Hakikat Kecerdasan”.

Pandangan yang diungkapkan bertepatan dengan isu-isu yang dibahas di meja bundar.

Tema pidato Profesor Ma Yi adalah "Kembali ke Dasar-Dasar Teori dan Menjelajahi Esensi Kecerdasan". Ia mengulas sejarah proses perkembangan AI dan mengemukakan pandangannya sendiri tentang perkembangan AI saat ini.

Dia pertama kali berbicara tentang evolusi kehidupan dan kecerdasan.

Dalam pandangan pribadinya, kehidupan adalah pembawa kecerdasan, dan kemampuan kehidupan untuk berproduksi dan berkembang merupakan hasil kerja mekanisme cerdas. Dan,Dunia ini tidak acak, dunia dapat diprediksi, dalam proses evolusi berkelanjutan, kehidupan mempelajari lebih banyak pengetahuan yang dapat diprediksi tentang dunia.

Survival of the fittest melalui seleksi alam adalah semacam umpan balik dari kecerdasan, mirip dengan konsep pembelajaran penguatan saat ini.

Dari tumbuhan hingga hewan, reptil, burung, dan kemudian manusia, kehidupan telah meningkatkan kecerdasannya, namun ada fenomena yang tampaknya semakin cerdas suatu kehidupan, semakin lama pula ia mengikuti orang tuanya setelah lahir. Mengapa?

Profesor Ma Yi menjelaskan lebih lanjut: Karena gen saja tidak cukup, beberapa kemampuan perlu dipelajari. Semakin kuat kemampuan belajarnya, semakin banyak hal yang perlu dipelajari. Ini merupakan bentuk kecerdasan yang lebih maju.

Jika kita belajar secara individual, itu tidak cukup cepat atau cukup baik, sehingga orang menciptakan bahasa, dan kecerdasan manusia menjadi bentuk kecerdasan kelompok.

Kecerdasan kelompok dihasilkan dan perubahan kualitatif terjadi.Kita tidak hanya mempelajari fenomena yang dapat diprediksi ini dari observasi empiris;berpikir logis abstrak, kami menyebutnya kecerdasan manusia, atau kemudian kecerdasan buatan.

Selanjutnya, dia berbicara tentang asal mula kecerdasan mesin.

Sejak tahun 1940-an, manusia mulai mencoba membiarkan mesin mensimulasikan kecerdasan makhluk hidup, khususnya hewan.

Manusia mulai memodelkan neuron dan mengeksplorasi "cara kerja persepsi otak". Belakangan, semua orang menemukan bahwa simulasi sistem saraf hewan harus dibangun dari jaringan saraf buatan, dan penelitian menjadi semakin kompleks.

Masalah ini tidak berjalan mulus. Setelah dua musim dingin, semua orang menemukan beberapa keterbatasan jaringan saraf, dan beberapa orang masih bersikeras untuk memecahkan tantangan ini.

Setelah itu, kekuatan komputasi data berkembang, dan jaringan saraf dapat dilatih. Jaringan yang semakin dalam mulai berkembang, dan kinerjanya menjadi semakin baik.

Namun ada masalah terbesar:Jaringan-jaringan ini dirancang secara empiris. Ini adalah kotak hitam, dan kotak itu semakin besar.

Apa yang salah dengan kotak hitam? Dari sudut pandang teknis, desain pengalaman juga dimungkinkan, dan trial and error dapat dilanjutkan. Namun biayanya tinggi, siklusnya panjang, dan hasilnya sulit dikendalikan. Juga:

Selama ada fenomena penting di dunia yang tidak dapat dijelaskan oleh siapa pun, dan banyak orang yang tidak mengetahuinya, hal itu akan menimbulkan kepanikan.

Lantas, bagaimana cara membuka kotak hitam tersebut? Profesor Ma Yi mengusulkan untuk kembali ke pertanyaan awal: Mengapa belajar? Mengapa kehidupan bisa berkembang?

Beliau secara khusus menekankan bahwa kita harus membicarakan hal-hal yang dapat diwujudkan melalui perhitungan:

Jangan membicarakan sesuatu yang abstrak. Ini saran saya untuk semua orang. Anda harus berbicara tentang cara menghitung dan cara melaksanakan masalah ini.

Jadi apa yang harus dipelajari?

Profesor Ma Yi percaya bahwa kita harus mempelajari hal-hal yang dapat diprediksi dan teratur.

Misalnya, jika Anda memegang pena di tangan dan melepaskannya, semua orang tahu apa yang akan terjadi, dan jika Anda bergerak cepat, Anda dapat menangkapnya. Hal ini telah diketahui sebelum Newton. Manusia dan hewan tampaknya memiliki model dunia luar yang baik.

Dan dalam matematika,Informasi yang dapat diprediksi secara seragam tercermin dalam struktur data berdimensi rendah dalam ruang berdimensi tinggi.。

Lalu bagaimana mekanisme penghitungan terpadunya? Profesor Ma Yi memberikan jawabannya:Hal-hal yang serupa berkumpul dan jenis-jenis yang berbeda saling tolak-menolak., intinya sesederhana itu.

Bagaimana mengukur apakah sesuatu telah dilakukan dengan baik? Mengapa kompresi?

Ia memberi contoh seperti gambar di bawah ini. Misalnya, dunia ini acak, tidak ada yang diketahui, dan segala sesuatu bisa terjadi. Jika bola biru digunakan, semua bola biru bisa terjadi pada detik berikutnya.

Tetapi jika Anda ingin mengingat bahwa salah satu dari hal ini terjadi, Anda harus mengkodekan seluruh ruang, memberinya kode, dan hanya area dengan bola hijau yang dapat terjadi, dan jumlah bola biru akan jauh lebih sedikit.

Ketika kita mengetahui bahwa wilayah di mana sesuatu akan terjadi menjadi semakin kecil, pengetahuan kita tentang dunia semakin berkurang. Inilah yang dikembangkan oleh teori informasi pada tahun 1940-an.

Untuk menemukan area hijau ini dengan lebih baik, kita harus mengaturnya dengan lebih baik di otak. Jadi otak kita mengatur fenomena ini dan struktur dimensi rendah ini.

Bagaimana hal ini dapat dicapai secara komputasi?

Profesor Ma Yi berkata bahwa semua deep network sebenarnya melakukan hal ini. Seperti Transformer sekarang, ia melakukan ini dengan mengelompokkan gambar dan mengklasifikasikannya.

Faktanya, setiap lapisan jaringan saraf adalahKompres data。

Matematika memainkan peran yang sangat penting dalam hal ini. Anda harus mengukur secara ketat apa yang ingin Anda optimalkan dan bagaimana cara mengoptimalkannya. Setelah Anda melakukan dua hal ini, Anda akan menemukan bahwa operator yang Anda dapatkan sama dengan yang Anda temukan pengalaman saat ini. Banyak operator yang sangat mirip.
Baik Transformer, ResNet, atau CNN, semuanya melakukan ini dengan cara berbeda. Dan hal ini dapat dijelaskan sepenuhnya secara statistik dan geometris tentang apa yang dilakukannya.

TetapiSolusi optimasi yang optimal itu sendiri mungkin bukan solusi yang tepat , informasi penting mungkin hilang selama proses kompresi. Bagaimana membuktikan bahwa dimensi informasi yang ada sudah baik? Bagaimana membuktikan bahwa halusinasi tidak akan terjadi?

Kembali ke dasar pembelajaran, mengapa kita perlu mengingat hal-hal tersebut?Itu untuk berada di sanaOtak mensimulasikan dunia fisik,Untuk tampil lebih baik di ruang fisikmeramalkan。

Belakangan Ma Yi menyebutkan konsep penyelarasan:

Jadi keselarasan bukan tentang menyelaraskan dengan orang lain, keselarasan itulah yang dimaksudModel tersebut menyelaraskan dirinya dengan apa yang telah dipelajarinya.

Mempelajari autoencoding dari dalam ke luar saja tidaklah cukup. Bagaimana hewan di alam mempelajari model fisik dunia luar——

Selalu gunakan observasi Anda sendiri untuk memprediksi dunia luar, asalkan konsisten dengan observasikonsisten , itu dia. Hal ini melibatkan konsep loop tertutup.

Selama ada makhluk hidup, selama ada makhluk cerdas, semuanya adalah lingkaran tertutup.

Profesor Ma Yi kemudian menunjukkan bahwa kita masih jauh dari kecerdasan sejati.

Apa itu kecerdasan? Orang sering bingung antara pengetahuan dan kecerdasan. Apakah suatu sistem memiliki kecerdasan jika ia memiliki pengetahuan? Sistem yang cerdas harus memiliki dasar untuk perbaikan diri dan peningkatan pengetahuannya sendiri.

Akhirnya Profesor Ma Yi menyimpulkan.

Melihat kembali sejarah, pada tahun 1940an semua orang menginginkan mesin meniru binatang, namun pada tahun 1950an Turing mengusulkan satu hal - apakah mesin dapat berpikir seperti manusia. Pada Konferensi Dartmouth tahun 1956, sekelompok orang duduk bersama dan tujuan mereka adalah melakukan sesuatuKecerdasan unik yang membedakan manusia dengan hewan：Kemampuan abstrak, operasi simbolik, penalaran logis, analisis sebab akibatTunggu.

Inilah yang mereka definisikan sebagai kecerdasan buatan pada tahun 1956. Belakangan, orang-orang ini pada dasarnya memenangkan Penghargaan Turing. Jadi jika Anda ingin memenangkan Turing Award di masa depan, sebaiknya Anda memilih untuk mengikuti orang banyak atau melakukan sesuatu yang unik...

Melihat ke belakang, apa yang telah kita lakukan dalam 10 tahun terakhir?

"Kecerdasan buatan" saat ini melakukan pengenalan gambar, pembuatan gambar, pembuatan teks, kompresi dan denoising, serta pembelajaran penguatan.Pada dasarnya apa yang kami lakukan adalah pada tingkat hewan., termasuk memprediksi token berikutnya dan gambar frame berikutnya.

Bukan berarti kami tidak memiliki orang yang mengerjakannya nanti. Tapi bukan model besar yang mainstream.

Lebih lanjut ia menjelaskan bahwa jika cukup uang yang dikeluarkan dan cukup banyak data yang dimasukkan, kinerja banyak model akan terus berkembang, namun jika tidak ada teori dalam waktu yang lama, maka akan timbul masalah, seperti orang buta yang mencoba mencari tahu. keluar seekor gajah.

Profesor Ma Yi mengatakan bahwa berbagi perjalanan pribadinya diharapkan dapat memberikan inspirasi bagi generasi muda.

Begitu kita memiliki prinsip-prinsipnya, kita dapat merancang dengan berani, dan kita tidak perlu lagi menunggu generasi berikutnya untuk menemukan jaringan yang tampaknya bagus, dan kita dapat menggunakannya bersama-sama. Jadi di manakah peluang Anda?

Mari kita lihat bagaimana pakar AI lainnya menanggapi pertanyaan “Apa langkah selanjutnya untuk kecerdasan buatan?”

Apa langkah selanjutnya untuk kecerdasan buatan?

Model besar memerlukan perubahan “paradigma”.

Anggota Royal Academy of Engineering, European Academy of Sciences, Hong Kong Academy of Engineering Sciences, dan Ketua Wakil Presiden Universitas Sains dan Teknologi Hong KongGuo YikeSaya pikir kita berada dalam momen yang sangat menarik saat ini -

Karena Scaling Law diterima secara luas, Perang Seratus Model secara bertahap menjadi perang sumber daya.Tampaknya kita hanya perlu melakukan dua hal sekarang. Setelah memiliki model Transformer, yang perlu diselesaikan adalahKekuatan komputasi yang besarDanData besarMasalah.

Namun, menurutnya hal tersebut tidak terjadi.Perkembangan AI saat ini masih menghadapi banyak permasalahanDaya komputasi terbatas dan permintaan tidak terbatasMasalah.

Dalam hal ini, bagaimana kita membangun model yang besar? Akademisi Guo berbagi pemikirannya melalui beberapa latihan.

Pertama-tama, Akademisi Guo menyebutkan penggunaan MOE yang lebih ekonomis dengan keterbatasan daya komputasi.model pakar campuranItu juga dapat mencapai hasil yang sangat baik.

Selain itu, bagaimana cara terus menerus menyempurnakan suatu model dengan data baru setelah pelatihan agar dapat mengingat apa yang harus diingat, melupakan apa yang harus dilupakan, dan mampu mengingat hal-hal yang telah dilupakan saat diperlukan, juga merupakan pertanyaan yang sulit.

Akademisi Guo tidak setuju dengan beberapa klaim di industri bahwa "data telah habis". "Faktanya, hanya saja modelnya telah dikompresi, dan data yang dikompresi dapat dibuat ulang menjadi data baru," yaitu menggunakan generatif. model untuk menghasilkan data.

Selanjutnya, tidak semua model perlu dipelajari dari awalpenanaman pengetahuan ke dalam model dasar. Ada banyak pekerjaan yang harus dilakukan di bidang ini juga.

Selain daya komputasi, ada masalah lain dengan algoritme:Pengembangan kecerdasan mesin dan kecerdasan manusia sendiri memiliki dua polaritas。

Akademisi Guo percaya bahwa saat melatih model besar, isu yang lebih penting bukanlah di depan, tapi di belakang.

Seperti terlihat pada gambar di bawah, jalur evolusi model besar adalah dari pembelajaran mandiri > pengetahuan tidak langsung > nilai > akal sehat, sedangkan jalur budidaya pendidikan manusia justru sebaliknya.

Oleh karena itu, Akademisi Guo percaya bahwa kita harus keluar dari paradigma pencarian model besar saat ini yang “tidak memiliki kemampuan abstrak, tidak memiliki nilai subjektif, dan tidak memiliki pengetahuan emosional”.

Kita semua tahu bahwa bahasa manusia itu hebat. Bahasa manusia bukan hanya sekedar konten, bukan hanya informasi, tetapi juga sifat manusia dan energi informasi. Ini adalah arah penting untuk penelitian kami di masa depan.

Singkatnya, mengenai langkah selanjutnya dalam kecerdasan buatan, Akademisi Guo percaya bahwa ada tiga tahap pengembangan:

Tahap pertama berdasarkan keaslian; tahap kedua berdasarkan nilai. Mesin harus mampu mengekspresikan sudut pandangnya sendiri dan membentuk nilai subjektifnya sendiri, dan sudut pandang ini dapat diubah sesuai dengan lingkungannya; tahap Hanya ketika ia memiliki nilai barulah ia dapat memahami apa itu kebaruan, dan hanya dengan kebaruan ia dapat menciptakan.

Dalam menciptakan model ini, apa yang disebut ilusi tidak menjadi masalah, karena ilusi hanya menjadi masalah dalam model paradigma. Menulis novel pasti ilusi, tanpa ilusi tidak bisa menulis novel, hanya perlu menjaga konsistensi dan tidak perlu otentisitas, sehingga hanya perlu mencerminkan suatu nilai memerlukan adanya perubahan paradigma.

Pengembangan model besar tidak memiliki “produk super”

Wakil Presiden JD.com, asisten profesor dan supervisor doktoral di Universitas WashingtonDia XiaodongAI diyakini akan menghadapi tiga masalah pada langkah selanjutnya.

Pertama-tama, ia percaya bahwa dalam arti tertentu, pengembangan model-model besar telah memasuki masa stabil.

Karena keterbatasan data dan daya komputasi, jika perbaikan hanya didasarkan pada skala, maka batas maksimalnya dapat tercapai, dan sumber daya komputasi akan menjadi beban yang semakin berat. Jika perang harga (price tag) terkini diikuti, kemungkinan besar manfaat ekonomi yang dihasilkan oleh model besar bahkan tidak dapat menutupi tagihan listrik, sehingga tentu saja tidak berkelanjutan.

Kedua, Profesor He percaya bahwa keseluruhan aplikasi komersial tertinggal dari pertumbuhan skala model itu sendiri. Dalam jangka menengah dan panjang, hal ini pada akhirnya akan menjadi masalah:

Apalagi kalau kita lihat skalanya begitu besar, bukan lagi sekedar masalah ilmiah, tapi juga akan menjadi masalah rekayasa. Misalnya parameternya mencapai level triliun, maka data panggilan mencapai level 10 triliun token. Maka sebuah pertanyaan harus diajukan: nilai sosial yang dibawanya.

Dari sini, Profesor He meyakini hal itu saat iniKurangnya aplikasi super dan produk super, benar-benar dapat mencerminkan nilai investasi.

Pertanyaan ketiga merupakan pertanyaan yang relatif spesifik yaituilusi model besar。

Jika kita ingin membangun industri AI di atas model besar, kita harus memiliki persyaratan yang sangat tinggi untuk ilusi model dasar yang besar. Jika tingkat kesalahan model dasar besar sangat tinggi, sulit membayangkan bahwa lebih banyak aplikasi komersial dapat diterapkan padanya.
Aplikasi industri yang serius perlu memecahkan ilusi tersebut.

Profesor He percaya bahwa di bawah pembatasan ilusi, langkah selanjutnya adalah memikirkan bagaimana memperluas generalisasi dan interaktivitas model, danmultimodalItu adalah pilihan yang tidak bisa dihindari.

Model besar kurang memiliki kesadaran akan “batas kemampuan”

CTO Grup Lenovo, akademisi asing dari Akademi Ilmu Pengetahuan EropaRui YongDari perspektif industri, ia memberikan pandangannya tentang langkah AI selanjutnya.

Ia mengatakan, dari sudut pandang industri, yang lebih penting adalah bagaimana model tersebut diterapkan. Dalam hal implementasi, Dr. Rui Yong terutama berbicara tentang dua poin:

• Memiliki model yang besar saja tidak cukup, kita harus mengembangkannyaagen
• Memiliki model pengukuran awan yang besar saja tidak cukup, Anda juga perlu memilikikerangka hibrida

Secara khusus, Dr. Rui Yong pertama kali membuat daftar beberapa penelitian dan menunjukkan bahwa keterbatasan model besar menjadi semakin jelas. Misalnya, pertanyaan “Mana yang lebih besar, 13,8 atau 13,11” yang disebutkan di awal, menunjukkan bahwa model tersebut tidak terlalu memahami masalahnya.

Menurutnya, model besar saat ini hanya menghubungkan informasi terfragmentasi masif yang terlihat dalam ruang semantik berdimensi tinggi. Membangun jaringan besar dengan daya komputasi besar tidak cukup untuk membuat model generatif besar pengembangan agen cerdas.

Dr Rui Yong secara khusus menekankan model besarBatas kemampuanpertanyaan.

Model-model besar masa kini sebenarnya tidak mengetahui di mana batasan kemampuannya.
Mengapa model besar mengalami halusinasi dan mengapa mereka berbicara omong kosong yang serius? Faktanya, ia tidak mencoba menipu kita, tetapi ia tidak mengetahui apa yang diketahui atau tidak diketahuinya. Ini adalah masalah yang sangat penting, jadi menurut saya langkah pertama adalah membuat agen mengetahui batasannya kemampuannya.

Selain itu, Dr. Rui Yong mengatakan bahwa kecerdasan saja tidak cukup untuk implementasi AI, dan model publik yang besar di cloud perlu diprivatisasi untuk perusahaan. Berbasis data dan berbasis pengetahuan membentuk model AI hibrida, dan model kecil juga sangat berguna dalam banyak situasi. Ada juga model berorientasi individu yang dapat mengetahui preferensi pribadi.

Ini tidak akan menjadi model besar yang sepenuhnya didasarkan pada pengujian cloud, tetapi model besar yang menggabungkan perangkat, edge, dan cloud.