model-model besar mulai belajar berpikir seperti manusia.
2024-09-18
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
dua bulan lalu, masalah lemahnya kemampuan matematika model besar telah menarik perhatian luas. banyak model besar di pasaran bahkan tidak dapat menjawab pertanyaan matematika sederhana "mana yang lebih besar, 9.11 atau 9.9?" dua bulan kemudian, industri ini secara bertahap memecahkan masalah keterbatasan kemampuan matematika model besar.
pada pagi hari tanggal 13 september, waktu beijing, openai merilis seri model penalaran baru tanpa pemberitahuan, termasuk tiga model: o1-preview, o1 dan o1-mini. ini adalah “proyek stroberi” openai yang telah lama dirumorkan dengan kemampuan penalaran tingkat lanjut. menurut openai, rangkaian model baru ini memiliki kinerja yang baik dalam hal data dan pengkodean, dengan skor 83% dalam ujian kualifikasi olimpiade matematika internasional (imo).
openai tidak sendirian dalam mencoba menerobos keterbatasan kemampuan matematika. tim google deepmind sebelumnya juga telah meluncurkan sistem alpha alphaproof, yang digunakan untuk memecahkan masalah matematika yang kompleks.
menembus batas kemampuan matematika adalah langkah baru dalam evolusi teknologi ai dan menuju agi (kecerdasan umum buatan). menurut simon see, profesor di universitas coventry dan direktur global pusat teknologi kecerdasan buatan nvidia, upaya industri untuk meningkatkan kemampuan matematika ai mencakup upaya untuk menggabungkan llm (model bahasa besar) dengan teknologi lain agi (kecerdasan umum buatan).
bagaimana cara mengatasi keterbatasan kemampuan matematika?
“ini adalah kemajuan besar untuk tugas-tugas penalaran yang kompleks dan mewakili tingkat kemampuan kecerdasan buatan yang baru.” openai menulis ketika memperkenalkan model seri o1. ceo openai sam altman juga mengatakan di platform sosial bahwa model baru ini adalah awal dari paradigma baru, yaitu ai dapat melakukan penalaran umum yang kompleks.
peningkatan kemampuan matematika merupakan fitur penting dari rangkaian model ini. openai memperkenalkan bahwa kinerja terbaru dari seri model baru ini serupa dengan kinerja mahasiswa doktoral yang menyelesaikan tugas-tugas benchmark yang menantang dalam bidang fisika, kimia, dan biologi. dalam ujian kualifikasi olimpiade matematika internasional (imo), gpt-4o hanya menyelesaikan 13% dengan benar. pertanyaan, sedangkan model baru mendapat skor 83%.
mengenai bagaimana model baru ini dapat mencapai kemampuan matematika dan pemrograman yang lebih baik, openai memperkenalkan bahwa perusahaan tersebut menggunakan algoritme pembelajaran penguatan skala besar untuk "mengajarkan" model tersebut menggunakan rantai pemikiran untuk berpikir secara efisien saat melatih data secara efisien, mirip dengan cara manusia berpikir untuk a lama sebelum menjawab pertanyaan-pertanyaan sulit. waktu, seiring dengan meningkatnya pembelajaran penguatan dan waktu berpikir, kinerja o1 terus meningkat. peneliti openai noam brown mengatakan bahwa o1 membuka dimensi baru untuk penskalaan model besar (scaling), sehingga model besar tidak lagi mengalami hambatan pra-pelatihan, dan kini juga dapat memperluas penghitungan inferensi. mengenai peran peningkatan kemampuan penalaran, openai menyatakan dapat digunakan untuk membubuhi keterangan data pengurutan sel di bidang perawatan medis dan menghasilkan rumus matematika kompleks di bidang penelitian fisik.
google deepmind meningkatkan kinerja akhir sistem ai dengan menggabungkan teknologi lain selain llm. alphaproof juga didasarkan pada pembelajaran penguatan dan merupakan sistem penalaran matematis. sistem melatih dirinya sendiri untuk membuktikan bahasa pemrograman lean, bahasa pemrograman yang digunakan untuk membantu memverifikasi teorema, menggabungkan model bahasa terlatih dengan algoritma pembelajaran penguatan alphazero. menurut google, lean memungkinkan sistem untuk memverifikasi kebenaran dalam hal pembuktian penalaran matematis. saat dihadapkan pada suatu masalah, alphaproof menghasilkan kandidat solusi dan kemudian mencari lean untuk kemungkinan langkah pembuktian untuk membuktikan atau menyangkal.
terlepas dari apakah prinsip teknisnya serupa, alphaproof dan openai o1 cenderung berpikir secara mendalam dibandingkan model sebelumnya, dan tidak hanya mengandalkan kemampuan llm untuk memprediksi dan dengan cepat menghasilkan token berikutnya (elemen kata).
bagaimana menuju ke agi?
sebelumnya, pengembang model besar mengatakan kepada wartawan bahwa salah satu alasan lemahnya kemampuan matematika model besar adalah karena sejumlah besar data matematika berkualitas tinggi tidak digunakan untuk melatih model tersebut, seiring dengan peningkatan kualitas data, masalah matematika yang lemah kemampuan dapat diatasi. namun, selain alasan data pelatihan, analis industri mengatakan bahwa buruknya kemampuan matematika llm juga karena metode prediksi token berikutnya tidak terlalu cerdas. dilihat dari tren terkini, industri ini, termasuk openai dan google deepmind, sedang memecahkan masalah buruknya kemampuan matematika dan penalaran dari mekanisme operasi sistem ai. faktanya, industri ini menggunakan berbagai teknologi untuk menutupi kekurangan metode operasi llm , sampai batas tertentu. jadikan llm berpikir lebih seperti manusia.
mengenai keterbatasan kemampuan llm, bagaimana menyelesaikan masalah seperti kemampuan matematika, dan bagaimana beralih dari llm yang ada ke agi, industri masih membahas akar permasalahan dan solusinya. banyak veteran industri baru-baru ini mengadakan konferensi yang diselenggarakan oleh saudi data dan otoritas kecerdasan buatan. dibahas pada ktt kecerdasan buatan dunia gain summit. dalam pertemuan puncak tersebut, simon see menyampaikan bahwa kecerdasan buatan saat ini masih “sempit”. banyak pihak yang beranggapan bahwa llm akan menjadi motor penggerak terwujudnya agi, namun sebenarnya masyarakat belum begitu paham cara kerjanya dan masih dalam tahap pengembangan llm. masih banyak permasalahan yang perlu diselesaikan, seperti ketidakmampuan membangun model yang semakin besar karena energi yang tidak terbatas tidak dapat disediakan.
“kami sekarang memiliki data dalam jumlah besar. begitu model dilatih cukup besar, kemampuan akan muncul. menurut saya, mengandalkan satu teknologi tidaklah mungkin. arah yang sedang dikerjakan industri ini termasuk menggabungkan llm dengan pengetahuan lain dan teknologi seperti simbol baru., kalkulus, dll. untuk pemahaman dan penalaran." simon see mengatakan bahwa kombinasi berbagai teknologi telah membuat kemajuan besar baru-baru ini. alphaproof deepmind menggabungkan bahasa pemrograman lean, model bahasa, dll., sehingga ai dapat menjadi digunakan untuk pembuktian matematika. biarkan llm menggabungkan berbagai teknologi untuk memberikan sistem ai kekuatan potensial untuk mengarah ke agi.
antoine blondeau, salah satu pendiri dan mitra pengelola alpha intelligence captal, juga percaya bahwa sudah menjadi kesimpulan pasti bahwa mesin pada akhirnya akan lebih baik daripada manusia, namun akan membutuhkan waktu untuk mencapai hasil ini, dan masih banyak penelitian ilmiah. pekerjaan yang harus dilakukan. ia menilai ai tidak akan menjadi model tunggal, tetapi mungkin merupakan kombinasi dari beberapa model. mesin pada akhirnya akan belajar mengamati, membuktikan atau menyangkal, menggeneralisasi, dan belajar di dunia nyata seperti manusia.
mengenai mekanisme dan keterbatasan llm saat ini, antoine blondeau berpendapat bahwa manusia belajar dari kehidupan, 95% di antaranya dipelajari dari "video dengan suara". inti dari hidup kita pada dasarnya adalah "menyalakan video", dan 5 lainnya % berasal dari teks, seperti buku. manusia akan mempelajari semantik dari video, misalnya muncul lima jari, berarti mungkin manusia atau hewan lain juga akan memahami urutan waktu dan peristiwa sebab akibat dari video. namun ketika mesin belajar dari sebuah video, tugasnya adalah memprediksi piksel berikutnya, dan ini bukan cara yang dilakukan manusia. jika kita tidak bisa membuat mesin belajar seperti manusia, maka akan sulit bagi mesin untuk mencapai tingkat kecerdasan yang lebih tinggi.
alex smola, seorang ilmuwan pembelajaran mesin terkenal dan pendiri serta ceo startup model besar boson ai, menunjukkan bahwa keterbatasan operasi llm juga terkait dengan prediksi token. dikatakannya bahwa kemampuan llm dalam memprediksi token berikutnya (elemen kata) telah digunakan untuk memahami gambar, suara, mengeluarkan suara, dan dalam 12 bulan terakhir, semuanya seolah-olah menjadi sebuah token.
“sampai batas tertentu, kami sudah mulai kehabisan jumlah token yang tersedia. perkiraan kasarnya mungkin ada 100 triliun token, yang mungkin merupakan token yang dapat digunakan manusia untuk membangun llm. masih banyak persediaan video dan audio, sejauh hal ini akan berlaku, itu juga tergantung pada nvidia atau perusahaan lain yang memproduksi chip yang dapat menangani mode ini. alex smola mengatakan bahwa di masa mendatang, inti dari llm mungkin adalah pemodelan urutan (sequence modeling). , yang sekarang dapat melihat data, konvergensi perangkat keras, dan model probabilistik juga berkembang menuju struktur serupa.
menggabungkan kemajuan teknologi dan pandangan ke masa depan, antoine blondeau percaya bahwa realisasi agi mungkin terjadi dalam 10 atau 20 tahun, dan kecepatan evolusi sekarang sangat cepat. simon see yakin untuk mencapai agi, 80% prosesnya mungkin bisa dicapai dalam 10 tahun ini, namun ia menilai 20% terakhir akan sangat menantang dan memakan waktu lebih lama.
(artikel ini berasal dari china business news)
