berita

01.

mengemudi otonom sangat mirip dengan agi

sarah guo:apa pendapat anda tentang perkembangan mobil otonom saat ini? berapa lama lagi kita akan melihat konsep mengemudi otonom semakin meluas?

andrej karpati: saya telah bekerja di bidang mengemudi otonom selama 5 tahun dan menurut saya bidang ini sangat menarik. dilihat dari perkembangan bidang ini saat ini, autonomous driving dan agi sangat mirip. mungkin juga karena saya familiar dengan bidang autonomous driving, namun saya merasa kita dekat dengan agi di bidang autonomous driving misalnya sudah ada produk formed yang bisa digunakan oleh pengguna dengan biaya tertentu. waymo adalah contoh yang bagus. waymo sekarang sudah sangat umum di san francisco dan banyak orang yang pernah mengalaminya.

pengalaman pertama saya dengan waymo hampir 10 tahun yang lalu. seorang teman bekerja untuk waymo pada saat itu dan dia mengajak saya naik waymo keliling seluruh blok. dari sudut pandang teknis, waymo 10 tahun yang lalu ini sudah sangat bagus, namun proses dari demo hingga menjadi produk yang diterapkan secara besar-besaran di perkotaan membutuhkan waktu 10 tahun, tentu saja waymo masih berkembang hingga saat ini.

elad gil:butuh waktu 10 tahun sejak demo hingga produk berbayar berhasil. sejauh mana hal ini disebabkan oleh regulasi? menurut anda, kapan teknologi mengemudi otonom akan siap?

andrej karpati:saya pikir mengemudi otonom sebenarnya telah mencapai tingkat yang cukup matang 10 tahun yang lalu, tetapi demo berdurasi 30 menit tidak dapat sepenuhnya menunjukkan semua tantangan yang mereka hadapi dalam 10 tahun terakhir. ada kesenjangan besar antara demo dan produk sebenarnya tentu saja, akan ada beberapa alasan peraturan.

namun saya rasa kita telah mencapai agi di bidang mengemudi otonom sampai batas tertentu. pada saat yang sama, terdapat kesenjangan besar antara demo dan promosi secara global.meskipun waymo sudah berjalan di san francisco, namun belum memberikan dampak dan hasil yang besar dari sudut pandang popularitas di pasar global. di sinilah menurut saya agi dan mengemudi otonom itu serupa.

kembali ke bidang mengemudi otonom,banyak orang berpikir bahwa waymo secara teknologi lebih maju dari tesla, tetapi saya pribadi berpikir bahwa tesla sebenarnya lebih maju daripada waymo. pandangan ini mungkin tidak sama dengan pendapat arus utama saat ini, tetapi saya yakin dengan pengemudian otonom tesla.

tesla menghadapi masalah di tingkat perangkat lunak, sedangkan tantangan waymo berasal dari perangkat keras. tesla telah menyebarkan kendaraan dalam skala besar di seluruh dunia, sementara waymo belum mencapai skala tersebut. oleh karena itu, saya yakin jika sistem tesla dapat diimplementasikan dalam skala besar dan dijalankan secara efisien, hasilnya akan luar biasa. saya baru saja menguji fsd versi terbaru kemarin dan pengalaman berkendara sangat lancar. serangkaian pengoperasian sistem penggerak otonom tesla membuat saya merasa bahwa tesla telah mencapai hasil yang cukup baik dalam mengemudi otonom saat ini.

secara keseluruhan, menurut saya tantangan terbesar bagi mobil otonom tesla adalah dari perspektif perangkat lunak, sedangkan tantangan waymo lebih banyak datang dari perspektif perangkat keras. dari perspektif saat ini, waymo tampaknya berada dalam posisi yang kuat, tetapi saya yakin jika anda melihatnya dalam jangka waktu 10 tahun, tesla akan lebih maju dalam hal skala dan model pendapatan.

elad gil:menurut anda, berapa lama waktu yang dibutuhkan untuk menyelesaikan masalah perangkat lunak? anda baru saja menyebutkan bahwa kendaraan waymo memiliki banyak lidar dan sensor yang mahal. perangkat keras ini memberikan dukungan untuk sistem perangkat lunak. jika, seperti tesla, hanya mengandalkan sistem kamera, hal ini tidak hanya dapat mengurangi biaya secara signifikan, tetapi juga mengurangi kompleksitasnya sistem. , dan berlaku untuk lebih banyak model. kapan perubahan ini akan terwujud?

andrej karpati: saya pribadi berharap masalah ini dapat diselesaikan dalam beberapa tahun ke depan. faktanya, tesla juga menggunakan banyak sensor mahal dalam tahap pelatihan, dan juga membuat banyak teknologi yang tidak dapat dipromosikan dalam skala besar, seperti nirkabel.penelitian model kepercayaan sensor garis dan pemetaan peta, dll.selama fase pengujian, tesla menyederhanakan data ini ke dalam paket pengujian yang hanya mengandalkan sistem visi dan menerapkannya pada kendaraan produksi. banyak orang mungkin tidak menyadari bahwa ini sebenarnya adalah "arbitrase" yang sangat cerdas antara sensor dan biaya. karena kamera dapat menangkap informasi yang cukup, jaringan saraf juga mampu memproses informasi tersebut. pada tahap pelatihan, sensor-sensor ini sangat berguna, namun pada tahap pengujian, perannya tidak begitu penting. jadi, menurut saya hanya mengandalkan kamera saja sudah cukup.

elad gil: tren terkini di bidang mengemudi otonom adalah beralih secara bertahap dari algoritme heuristik yang dirancang berdasarkan kasus edge ke pembelajaran mendalam yang menyeluruh. apa alasan dan logika di baliknya?

andrej karpati: end-to-end sebenarnya adalah apa yang ingin kami lakukan sejak awal. ketika saya pertama kali bergabung dengan tesla, kami membahas bahwa jaringan saraf pada akhirnya akan menggantikan seluruh tumpukan teknologi. ada banyak kode c++ di sistem pada saat itu, namun saat ini hanya ada sedikit kode c++ yang berjalan di test suite. jaringan saraf secara bertahap menggantikannya. pada awalnya, jaringan saraf hanya digunakan untuk pemrosesan pengenalan gambar, dan kemudian diperluas untuk memproses beberapa bingkai gambar dan menghasilkan hasil prediksi. pada akhirnya, sistem hanya perlu memberikan instruksi mengemudi, dan jaringan saraf dapat mengeluarkan hasilnya.

jadi yang dilakukan tesla adalah penggerak ai end-to-end, tetapi waymo mungkin tidak memilih jalur teknis ini. meski sudah mencoba, namun hasilnya kurang memuaskan.

saya pribadi percaya bahwa jalur end-to-end adalah benar dan merupakan arah yang tak terhindarkan untuk pembangunan di masa depan.jika anda melihatnya dari perspektif ini, sistem tesla dalam sepuluh tahun kemungkinan akan berkembang menjadi jaringan saraf ujung ke ujung, di mana aliran video dimasukkan dan instruksi mengemudi langsung dikeluarkan. tentu saja, proses ini memerlukan perbaikan bertahap pada setiap modul sistem. saya tidak berpikir semua prediksi perantara saat ini menyesatkan dalam proses pembangunan; sebaliknya, prediksi tersebut merupakan bagian penting dari sistem. karena ketika melatih jaringan saraf yang sepenuhnya end-to-end, sinyal pengawasan untuk simulasi mengemudi manusia sangat terbatas dan tidak dapat mendukung pelatihan jaringan sebesar itu. prediksi tingkat menengah dapat membantu mengembangkan fitur dan detektor, sehingga permasalahan end-to-end menjadi lebih mungkin dilakukan. jadi tebakan saya adalah mereka melakukan banyak pra-pelatihan untuk memungkinkan penyesuaian menyeluruh di masa depan.

secara keseluruhan, menurut saya proses jaringan saraf yang menggantikan seluruh tumpukan teknologi itu perlu, tetapi prosesnya harus bertahap. upaya tesla saat ini telah menunjukkan hasil awal, membuat orang memiliki ekspektasi penuh terhadap masa depan.

02.

tesla juga merupakan perusahaan robotika

sarah guo: sebelum meninggalkan tesla, anda juga berpartisipasi dalam proyek robot humanoid tesla. dari kendaraan otonom hingga robot, teknologi apa saja yang dapat ditransfer?

andrej karpati: pada dasarnya semua teknologi dapat dimigrasikan. tapi saya pikir orang-orang mungkin belum menyadarinya.tidak banyak perbedaan antara robot dan mobil. saya pikir memahami tesla sebagai perusahaan mobil sebenarnya adalah kesalahpahaman.

tesla sebenarnya adalah perusahaan robotika besar yang tidak hanya memproduksi mobil, tetapi juga memproduksi mesin otomatis. produksi massal adalah bidang yang sangat berbeda, dan menurut saya tesla adalah perusahaan yang berspesialisasi dalam robotika skala besar.

bermigrasi dari teknologi otomotif ke robotika humanoid sebenarnya tidak memerlukan banyak kerja ekstra. faktanya, robot optimus awal mengira itu adalah mobil karena menggunakan komputer dan kamera yang sama persis dengan mobil. menariknya, kami menjalankan jaringan saraf yang dirancang untuk mobil pada robot, dan ketika robot berjalan mengelilingi kantor, "ruang mengemudi" yang diidentifikasinya sebenarnya menjadi "ruang yang dapat dilalui dengan berjalan kaki". meskipun diperlukan beberapa penyesuaian, hal ini menunjukkan keserbagunaan teknologi.

sarah guo: dari sudut pandang tertentu, tesla memang dapat dianggap sebagai perusahaan robotika, dan banyak teknologi inti yang dapat dimigrasikan antar platform. bagian penting yang tidak dimiliki robot produksi sebenarnya adalah mekanisme eksekusi dan data tindakan terkait.

andrej karpati: ya, meski beberapa tempat belum sempurna, saya ingin tekankan bahwa banyak teknologi yang bisa langsung dimigrasikan. misalnya, proyek optimus dimulai dengan sangat cepat. setelah elon musk mengumumkan proyek tersebut, tim dan alat terkait segera dibentuk. sumber daya seperti model cad, rantai pasokan, dll. dengan cepat disiapkan. saat itu, saya merasa tesla sebenarnya sudah memiliki sumber daya manufaktur robot yang cukup banyak secara internal, yang semuanya diambil dari mobil tesla. perasaan ini agak mirip dengan apa yang ditampilkan di "transformers". setelah mobil berubah menjadi robot, semuanya tetap sama, namun ada beberapa hal yang perlu sedikit disesuaikan dan dikonfigurasi ulang. selain perangkat keras, keseluruhan cara berpikir, tim anotasi, koordinasi antar berbagai bagian komponen, dll akan berubah. namun secara umum, beberapa pengalaman dan sumber daya dapat ditransfer.

elad gil:menurut anda, apa skenario penerapan robot humanoid yang pertama?

andrej karpati: banyak orang mengira robot dapat membantu kita melakukan tugas sehari-hari seperti mencuci pakaian. namun menurut saya mungkin diperlukan waktu lama agar teknologi ini benar-benar dapat diterapkan. saya rasa direct-to-consumer bukanlah titik awal yang baik untuk robot humanoid, karena kita masih belum bisa sepenuhnya menjamin keamanan robot saat berinteraksi dengan orang seperti lansia, seperti menghindari kecelakaan seperti "merobohkan" nyonya tua", situasi seperti ini akan membawa resiko hukum yang sangat besar, jadi menurut saya arah ini tidak cocok. bahkan dalam banyak skenario interaksi sederhana, robot cenderung menjatuhkan manusia secara langsung.

namun teknologi saat ini belum cukup matang dan memerlukan perbaikan lebih lanjut. oleh karena itu, menurut saya bagi pengembang robot, pelanggan terbaik pada tahap pertama adalah robot itu sendiri. jika pengembang robot dapat mewujudkan hal ini, hal pertama yang harus dilakukan adalah menggunakan teknologi tersebut secara internal untuk inkubasi, dan kemudian dapat diterapkan di pabrik. , seperti penanganan material (material handling) dan bidang lainnya, sehingga tidak perlu menandatangani kontrak dengan pihak ketiga, menghindari proses rumit yang melibatkan pengacara dan kontrak.

setelah inkubasi internal dan sukses, anda dapat memasuki pasar b dan bekerja sama dengan beberapa perusahaan dengan bisnis gudang besar untuk melakukan tugas-tugas seperti penanganan material. dalam kerja sama ini, perusahaan robotika dapat membangun sistem keamanan pasar, dan setelah berhasil diterapkan oleh banyak perusahaan, mereka secara bertahap dapat beralih ke aplikasi yang berorientasi konsumen. saya yakin kita akan melihat banyak robot dikembangkan untuk konsumen di masa depan. misalnya, produk yang dikembangkan oleh unitree layak untuk dinantikan.

ketika robot menjadi populer dalam berbagai skenario, maka akan tercipta ekosistem yang lengkap, yaitu setiap orang akan mengembangkan berbagai jenis robot berdasarkan platform robot. namun dari sudut pandang skala, menurut saya jalur kemajuan bertahap adalah yang paling masuk akal.

ini mungkin dimulai dengan menangani beberapa pekerjaan terkait penanganan material (material handling), dan kemudian secara bertahap berkembang ke area yang lebih khusus dan memiliki permintaan tinggi. salah satu item yang secara pribadi saya minati adalah "peniup daun". misalnya, suatu hari kita melihat robot optimus berjalan di jalanan dan dengan hati-hati memungut setiap daun yang berguguran, sehingga kita tidak perlu lagi menggunakan alat peniup daun. saya pikir ini adalah proyek yang hebat dan saya berharap ini bisa menjadi skenario penerapan awal.

sarah guo: dalam hal bentuk robot, sebagian orang berpendapat bahwa robot humanoid akan menjadi pilihan yang lebih baik, karena banyak desain di dunia fisik saat ini didasarkan pada kebiasaan perilaku manusia, sehingga model pengembangan bentuk perangkat keras terpadu berdasarkan robot humanoid dapat menyelesaikan lebih banyak tugas. .tugasnya, pandangan lain adalah bahwa robot humanoid belum tentu merupakan satu-satunya jawaban terhadap robot universal. apa pendapat anda tentang masalah ini?

andrej karpati: saya pikir banyak orang sebenarnya meremehkan kompleksitas biaya tetap dari platform robot yang berbeda. setiap platform robot memerlukan biaya tetap yang tinggi, sehingga rute robot universal akan lebih masuk akal. kami akan melakukan berbagai tugas berdasarkan platform terpadu percobaan.

jadi menurut saya robot humanoid sebenarnya memiliki potensi besar, dan manusia dapat dengan mudah mengendalikannya dari jarak jauh untuk membantu mengumpulkan data. pada saat yang sama, seperti salah satu perspektif yang baru saja anda sebutkan, seluruh dunia berkisar pada perilaku dan kebiasaan manusia, yang merupakan alasan lain mengapa robot humanoid penting.

tentu saja, mungkin ada berbagai perubahan pada robot humanoid di masa depan, namun untuk platform robot baru mana pun, biaya tetap merupakan masalah penting yang perlu dipertimbangkan.

saya juga ingin menekankan bahwa anda akan memperoleh lebih banyak manfaat dengan berbagi informasi dan belajar satu sama lain di antara tugas-tugas yang berbeda.

di bidang ai, kami ingin membangun jaringan saraf yang dapat menangani banyak tugas dan belajar satu sama lain melalui banyak tugas untuk meningkatkan tingkat kecerdasan secara keseluruhan. hal yang menarik tentang model bahasa adalah bahwa model tersebut berfungsi sebagai model multi-tugas untuk memproses teks, mampu menangani berbagai jenis masalah sekaligus berbagi informasi di antara tugas-tugas tersebut. namun semua tugas ini sebenarnya dilakukan melalui jaringan saraf tunggal.

demikian pula, kami berharap data yang dikumpulkan selama tugas memetik daun akan membantu anda menyelesaikan tugas lainnya, namun jika anda mengembangkan sistem khusus untuk tugas tertentu, margin keuntungan anda mungkin menyempit.

sarah guo: robot seperti unitree g1 saat ini dihargai sekitar us$300.000. tampaknya bidang robot humanoid telah mencapai biaya rendah saat ini., flat fungsi tinggisulit untuk menyeimbangkannya, namun jika kita mengadopsi struktur beroda dan menambahkan lengan robot untuk menyelesaikan tugas tertentu, bukankah kita memiliki peluang lebih besar untuk mewujudkan robot serba guna yang lebih hemat biaya?

andrej karpati:masuk akal dari sudut pandang perangkat keras untuk mencari platform tujuan umum yang lebih murah. dalam beberapa keadaan, mungkin merupakan pilihan yang lebih efisien untuk menggunakan roda dan struktur lain daripada kaki untuk menyelesaikan tugas, namun menurut saya ini mungkin akan menghasilkan solusi optimal lokal. dalam jangka panjang, menurut saya mungkin lebih bijaksana untuk memilih satu bentuk dan memolesnya hingga sempurna. dan dari segi psikologis manusia, kelebihan robot humanoid akan semakin terasa familiar dan membuat orang ingin berinteraksi dengannya.

tentu saja, mengingat efek lembah yang luar biasa, mungkin bentuk abstrak akan lebih populer di kalangan pengguna. karena saya sebenarnya tidak yakin bagaimana reaksi orang terhadap berbagai bentuk robot. jika kita berakhir dengan monster beroda delapan untuk menyelesaikan pekerjaan, saya tidak yakin orang akan menyukainya atau lebih takut.

elad gil: anjing mekanik juga merupakan bentuk rute, dan anjing juga merupakan bentuk yang lebih familiar bagi manusia.

andrej karpati:ya, tapi banyak orang yang pernah menonton "black mirror" mungkin menggabungkan anjing mekanis dengan adegan horor tertentu, sehingga penerimaan psikologis setiap orang akan berbeda-beda. sebagai perbandingan, bentuk humanoid mungkin lebih mudah diterima orang. penerimaan juga memudahkan orang untuk memahaminya fungsi dan perilakunya.

elad gil:jika kita ingin mencapai bentuk humanoid, kemajuan penting apa yang perlu dicapai dari sudut pandang teknis?

andrej karpati: saya rasa belum ada jawaban yang jelas untuk pertanyaan ini. salah satu pembahasan yang menarik disini adalah pada perancangan robot humanoid, tubuh bagian bawah tidak cocok untuk pembelajaran imitasi. bagian ini lebih banyak melibatkan pengendalian pendulum terbalik , pengumpulan data, dan pembelajaran ujung ke ujung. dalam beberapa hal, sistem robotik perlu menyatukan berbagai teknologi, namun saya belum begitu yakin bagaimana sistem ini bekerja satu sama lain.

elad gil: saat berkomunikasi dengan beberapa orang di bidang robotika, saya menemukan bahwa mereka sangat memperhatikan isu-isu seperti penggerak daya, kontrol, dan manipulasi digital.

andrej karpati: ya, menurut saya di tahap awal, memang akan ada banyak skenario kendali jarak jauh, seperti membiarkan robot meniru manusia mengambil barang dari tanah, hingga sistem bisa berjalan secara mandiri 95% sepanjang waktu. kemudian secara bertahap tingkatkan proporsi pekerjaan robot, sehingga memungkinkan manusia beralih dari operator menjadi supervisor.

sebenarnya menurut saya tidak ada kendala teknis khusus, hanya saja banyak pekerjaan dasar yang harus diselesaikan.kami sudah memiliki alat dan sumber daya yang sesuai, seperti arsitektur transformer. teknologi tersebut seperti "koordinator" yang hebat. kita hanya perlu menyiapkan data yang benar, melatih dan bereksperimen, dan akhirnya menerapkan penerapan. meskipun prosesnya rumit, sebenarnya tidak banyak hambatan teknis yang penting.

03.

data sintetis, model kecil, perusahaan llm

sarah guo: menurut anda, di manakah posisi kita dalam penelitian blob besar?

andrej karpati: saya merasa kita berada dalam fase perkembangan pesat sekarang. transformer bukan hanya jaringan saraf, tetapi jaringan saraf yang kuat dan serbaguna.

misalnya, ketika semua orang membahas hukum penskalaan, mereka sering merujuk pada karakteristik arsitektur transformer. sebelum transformer, orang-orang kebanyakan menggunakan lstm bertumpuk untuk melakukan beberapa pekerjaan, tetapi tidak ditemukan hukum penskalaan yang jelas. transformer adalah model pertama yang memperjelas hal ini dan menskalakannya secara efektif.

transformer itu seperti komputer pada umumnya, lebih khusus lagi differentiable neural computer (dnc). kita bisa membuatnya melakukan input dan output berskala sangat besar, dan melatih komputer ini melalui metode propagasi mundur,pada akhirnya, ini akan menjadi sistem penyelesaian misi yang berkembang dengan sendirinya.

meskipun transformer adalah keajaiban yang kami temukan secara tidak sengaja di bidang algoritme, sebenarnya terdapat banyak inovasi penting di baliknya, seperti koneksi sisa, normalisasi lapisan, dan blok perhatian. berbeda dengan metode tradisional, transformer tidak menggunakan fungsi aktivasi nonlinier yang menyebabkan hilangnya gradien. sebaliknya, transformer mengintegrasikan teknologi inovatif seperti yang disebutkan dalam makalah teknisnya, yang sangat meningkatkan efisiensi dan kinerja pelatihan.

sarah guo:selama periode ini, terdapat diskusi mengenai dinding data, dan biaya untuk meningkatkan model generasi berikutnya akan sangat tinggi. apa pendapat anda tentang masalah data?

andrej karpati: ini yang kita bahas dari awal. saya merasa arsitektur jaringan saraf itu sendiri tidak lagi menjadi hambatan saat ini. meskipun sebelum lahirnya transformer, masalah arsitektur memang menjadi kendala. kini hambatan baru tersebut terutama terfokus pada fungsi kerugian dan kumpulan data.oleh karena itu, banyak perusahaan dan peneliti tidak lagi fokus pada perubahan arsitektur transformer. misalnya, llama tidak memiliki inovasi arsitektur yang jelas. satu-satunya perubahan besar mungkin adalah "pengkodean posisi rotasi" (pengkodean posisi rope).transformer sendiri tidak banyak berubah dalam lima tahun terakhir. semua hanya fokus pada inovasi pelatihan, kumpulan data, dan fungsi kerugian berdasarkan fondasi yang ada.

sarah guo:jika data di internet tidak mencukupi, akankah kita mulai menggunakan data sintetis, atau metode pengumpulan data serupa yang lebih mahal?

andrej karpati: banyak penelitian saat ini berfokus pada model bahasa. meskipun data internet bukan sumber data yang paling ideal untuk transformer, data tersebut dapat digunakan sebagai alat untuk terus meningkatkan kemampuan model. data internet hanyalah kumpulan halaman web, namun yang benar-benar berharga adalah apa yang ada di otak kitamonolog batin”—lintasan pemikiran yang kompleks dan mendalam itu.

jika kita dapat memiliki miliaran data yang mirip dengan "jalur pemikiran", maka kita mungkin sampai batas tertentu mendekati agi. namun data tersebut saat ini belum ada, sehingga penelitian saat ini terutama difokuskan pada penataan ulang kumpulan data yang ada ke dalam format yang mirip dengan "monolog batin (inner monologue)". inilah pentingnya data sintetik. model saat ini dapat membantu kita menghasilkan model generasi berikutnya. ini adalah proses kemajuan berulang yang berkelanjutan, seperti menaiki tangga, semakin mendekati tujuan selangkah demi selangkah.

elad gil：seberapa bergunakah data sintetis? seperti yang anda katakan, setiap model dapat membantu kami melatih model berikutnya, atau setidaknya menyediakan alat untuk tugas-tugas seperti anotasi data, yang sebagian di antaranya mungkin berupa data sintetis.

andrej karpati: menurut saya, data sintetis penting untuk meningkatkan kemampuan model.namun hati-hati saat menggunakan data sintetis, karena modelnya "runtuh" ​​​​tanpa mengetahui kapan. misalnya, ketika kita meminta chatgpt untuk menceritakan lelucon kepada kita, jika kita mencoba beberapa kali lagi, kita akan menyadari bahwa ia mungkin hanya mengetahui 3 lelucon. meskipun tampaknya ia tahu banyak, sebenarnya ia hanya mengetahui sedikit itu. runtuh" ​​", yaitu, tidak ada masalah dengan keluaran tunggal, tetapi jika keluaran dalam arah tertentu, keragaman dan fleksibilitas model sangat berkurang, ini merupakan masalah saat menghasilkan data, terutama saat menghasilkan data sintetik, mudah untuk "runtuh" ​​hal ini karena kita sebenarnya membutuhkan keragaman dan kekayaan data, yaitu "entropi", untuk menghindari masalah yang disebabkan oleh kumpulan data yang terlalu tunggal.

misalnya, seseorang merilis kumpulan data terkait karakter yang berisi 1 miliar latar belakang karakter fiksi, seperti "saya seorang guru" atau "saya seorang seniman, saya tinggal di sini, saya melakukan pekerjaan ini" dan seterusnya.saat membuat data sintetis, anda membiarkannya membayangkan proses interaksi dengan orang tertentu. hal ini dapat memberi model lebih banyak ruang untuk dijelajahi, sehingga menghasilkan lebih banyak informasi dan meningkatkan keragaman kumpulan data.oleh karena itu, kita perlu menyuntikkan entropi secara hati-hati sambil menjaga stabilitas distribusi data, yang merupakan tantangan terbesar dalam menghasilkan data sintetik.

sarah guo:menurut anda apa yang dapat kita pelajari tentang kognisi manusia dari penelitian ini? misalnya, sebagian orang percaya bahwa memahami proses pembentukan lintasan berpikir akan membantu kita memahami cara kerja otak.

andrej karpati:model penelitian dan kognisi manusia adalah dua hal yang sangat berbeda, namun dalam beberapa kasus keduanya dapat dibandingkan. misalnya, menurut saya transformer lebih kuat dari otak manusia dalam beberapa aspek, dan modelnya adalah sistem yang lebih efisien daripada otak manusia, namun karena keterbatasan data, kinerjanya saat ini tidak sebaik otak manusia. namun ini hanya penjelasan kasar.

misalnya, dalam hal kemampuan memori, transformers bekerja lebih baik daripada otak manusia saat memproses rangkaian panjang. jika anda memberinya urutan dan memintanya melakukan perhitungan maju dan mundur, ia dapat mengingat bagian depan dan belakang urutan tersebut dan menyelesaikan tugas, yang sulit dilakukan oleh ingatan manusia. oleh karena itu, dalam beberapa aspek, menurut saya metode pelatihan berdasarkan optimasi gradien memang lebih efisien daripada otak manusia, dan bahkan di masa depan, model tersebut mungkin akan melampaui manusia pada tingkat kognitif tertentu.

elad gil:kapasitas memori menjadi salah satu kelebihan komputer.

andrej karpati: ya, menurut saya otak manusia sebenarnya memiliki banyak keterbatasan. misalnya, kapasitas memori kerja sangat terbatas, sedangkan memori kerja transformers jauh lebih besar, dan kesenjangan di antara keduanya masih semakin lebar. selain itu, transformers belajar lebih efisien. pengoperasian otak manusia dibatasi oleh banyak faktor tersembunyi, seperti latar belakang, tanggung jawab, lingkungan, dan lain-lain, yang menjadikan sistem otak manusia lebih acak dan terbatas. oleh karena itu, saya merasa dalam beberapa aspek model ini sudah lebih kuat dari otak manusia, namun belum mencapai potensi maksimalnya.

elad gil:mengenai hubungan antara manusia dan ai, salah satu argumennya adalah kita menggunakannya sebagai alat eksternal, sementara argumen lain mengatakan akan ada integrasi yang lebih mendalam antara manusia dan model ai. apa pendapat anda tentang masalah ini?

andrej karpati: saya pikir kita telah mencapai integrasi manusia dan ai sampai batas tertentu. peralatan teknis selalu merupakan turunan dari kemampuan manusia. hanya saja permasalahan model saat ini terletak pada terhambatnya proses input dan output informasi, sehingga integrasi manusia dan ai masih memerlukan upaya terus menerus. namun, ketika modelnya telah disempurnakan, penggunaan model ini sangatlah sederhana dan dapat dicapai hanya dengan beberapa gerakan sederhana. jadi, meskipun terdapat beberapa kendala, teknologi saat ini telah membuat integrasi ini relatif mudah dan dapat dilakukan.

elad gil:beberapa orang di bidang ai percaya akan hal itujika kedepannya ada konflik antara kami dan ai, tidak apa-apa

diselesaikan dengan beberapa bentuk perpaduan manusia dan ai.

andrej karpati: ya, ini sangat mirip dengan filosofi neuralink. meskipun saya tidak yakin seperti apa fusi ini nantinya, yang jelas kami ingin mengurangi latensi input dan output antara manusia dan alat. anda dapat menganggapnya sebagai penambahan korteks baru ke korteks serebral kita. korteks baru ini mungkin berbasis awan dan pada dasarnya merupakan lapisan otak berikutnya.

elad gil: ada mempercepat buku tersebut memang memiliki premis serupa, di mana segala sesuatu dikirimkan ke otak melalui kacamata pintar yang dapat dikenakan. jika anda kehilangan kacamata ini, itu seperti kehilangan sebagian dari kepribadian atau ingatan anda.

andrej karpati: saya rasa hal ini mungkin terjadi. ponsel saat ini hampir menjadi bagian dari kehidupan kita, seperti perangkat eksternal bagi otak. setiap kali kita meletakkan ponsel, kita merasa seperti kembali ke keadaan semula.

contoh lain, jika kita memiliki "penerjemah universal" dan mengandalkannya dalam waktu lama, lalu ketika kita tiba-tiba tidak memilikinya, kita mungkin kehilangan kemampuan untuk berkomunikasi langsung dengan orang yang berbicara dalam bahasa berbeda. seperti yang terlihat dalam sebuah video, seorang anak sedang memegang majalah dan mencoba menggesernya dengan jarinya. ia tidak bisa membedakan mana yang alami dan mana yang disebabkan oleh teknologi. hal ini membuat saya berpikir bahwa seiring dengan semakin banyaknya teknologi yang ada di mana-mana, orang-orang mungkin semakin bergantung pada alat-alat ini, hanya untuk menyadari bahwa mereka tidak dapat membedakan apa itu teknologi dan apa yang bukan teknologi sampai teknologi tersebut menghilang. apalagi perangkat seperti penerjemah yang selalu membantu anda melakukan tugas akan sangat mengurangi kepekaan masyarakat terhadap batasan antara teknologi dan alam.

sarah guo: "eksokorteks" terdengar seperti hal yang sangat penting, dan penting bagi semua orang. saat ini, penelitian llm dipimpin oleh beberapa lab ai, dan hanya mereka yang memiliki sumber daya untuk mendorong pengembangan pelatihan model generasi berikutnya. apa pendapat anda tentang struktur penelitian llm saat ini? apa dampaknya terhadap popularitas teknologi ai di masa depan?

andrej karpati: ekosistem llm memang saat ini dimonopoli oleh beberapa platform tertutup, sedangkan meta llama yang berada di peringkat terbawah relatif terbuka. fenomena ini juga merupakan cerminan dari ekosistem open source. ketika kita menganggap llm sebagai "lapisan luar", masalah informasi dan privasi data ikut terlibat. ada pepatah di bidang enkripsi yaitu “bukan kunci anda, bukan token anda”. mungkin kedepannya di bidang llm kami akan menekankan “bukan bobot anda, bukan otak anda”. jika ai adalah korteks serebral baru bagi semua orang di masa depan, dan jika korteks ini dikendalikan oleh perusahaan tertentu, orang akan merasa bahwa mereka "menyewa" otak alih-alih memilikinya.

sarah guo: apakah anda bersedia melepaskan kepemilikan dan kendali atas otak anda sendiri untuk menyewa otak yang lebih kuat?

andrej karpati: saya pikir ini adalah trade-off yang penting. tren masa depan mungkin sebagian besar orang akan menggunakan model sumber tertutup yang kuat sebagai opsi default, namun dalam beberapa kasus tertentu, sistem sumber terbuka akan menjadi alternatifnya. sama seperti sekarang, ketika beberapa penyedia model sumber tertutup mengalami masalah dengan api mereka, orang-orang beralih ke ekosistem sumber terbuka dan karenanya merasa lebih memegang kendali.

ini mungkin juga menjadi arah perkembangan teknologi otak di masa depan: ketika masalah muncul, kita dapat beralih ke sistem sumber terbuka, sementara dalam banyak kasus kita masih mengandalkan sistem tertutup. penting untuk menjaga sistem open source tetap maju, namun saat ini mungkin tidak semua orang menyadari masalah ini.

elad gil:apa pendapat anda tentang miniatur? tingkat kinerja apa yang dapat dicapai oleh model kecil saat ini?

andrej karpati: saya pikir modelnya bisa diperkecil lebih kecil lagi. karena masalah pada kumpulan data, kami merasa model saat ini membuang banyak kapasitas dalam menyimpan beberapa informasi yang tidak relevan. kunci dari model kecil adalah fokus pada kognisi inti, dan inti ini sebenarnya bisa sangat kecil. ini lebih seperti cara berpikir. ketika kita perlu mencari informasi, kita dapat secara fleksibel menggunakan berbagai alat untuk memperolehnya, daripada membiarkan model menyimpan banyak detail yang tidak perlu.

dari segi parameter, menurut saya kita mungkin hanya memerlukan 100 juta parameter untuk mencapai tujuan kita. teknologi kompresi yang efisien dapat membuat model menjadi sangat kecil. prinsip kompresinya sederhana: gunakan model yang sangat besar atau banyak sumber daya komputasi untuk mengawasi model yang lebih kecil.

inti dari masalah ini adalah bahwa model besar saat ini berhubungan dengan kumpulan data internet, dan hanya sekitar 0,001% konten yang terkait dengan kognisi, dan 99,99% sisanya sebenarnya adalah beberapa informasi yang tidak relevan, seperti salin teks yang benar. kebanyakan informasi tidak berperan besar dalam memperbaiki pola berpikir.

elad gil:bisakah proses ini dijelaskan dengan matematika atau teori informatika? bisakah hubungan antara ukuran model dan kekuatan kognitif diukur? misalnya, di masa depan, hanya diperlukan 1 miliar model parameter untuk mencapai pemahaman yang baik.

andrej karpati: bahkan mungkin biayanya kurang dari 1 miliar, dan model tersebut dapat memiliki kemampuan kognitif semacam ini, dengan mempertimbangkan biaya model, peralatan sisi akhir, dll. dan yang akan kita bahas mungkin bukan model kognitif tunggal, menurut saya model tersebut harus memiliki kemampuan untuk memproses secara paralel, bukan hanya mengandalkan pemrosesan sekuensial. ibarat sebuah perusahaan, banyak pekerjaan yang dapat dilakukan secara paralel, namun struktur hierarki juga diperlukan untuk memproses informasi dengan lebih baik. oleh karena itu, menurut saya mungkin ada model "perusahaan untuk llm" di masa depan: model yang berbeda fokus pada bidangnya masing-masing, misalnya satu adalah model pemrogram dan yang lainnya adalah model manajer proyek, dan setiap orang menangani banyak pekerjaan. secara paralel, satu sama lain mereka juga dapat berkolaborasi untuk membentuk "otak kelompok" yang terdiri dari llm.

elad gil:kelompok llm ini seperti sebuah ekosistem, yang masing-masing bagiannya memiliki keahlian dan posisi uniknya sendiri.

andrej karpati: saya pikir masa depan pasti akan berkembang ke arah ini. model cloud adalah yang paling cerdas dan dapat dianggap sebagai ceo. ada banyak model yang lebih murah dan open source yang menjadi karyawan di grup ini. tugas secara otomatis ditingkatkan dan ditugaskan ke bagian lain dalam grup.

04.

pendidikan di era ai

sarah guo:anda mulai mengerjakan proyek pendidikan anda sendiri setelah keluar dari openai. mengapa anda memilih pendidikan?

andrej karpati: saya selalu menyukai industri pendidikan, saya suka belajar dan mengajar, dan saya sangat bersemangat dengan bidang ini.

alasan penting yang mendorong saya untuk memasuki bidang ini adalah karena saya merasa banyak ai yang berusaha menggantikan manusia sehingga menyebabkan banyak orang kehilangan pekerjaan, namun saya lebih tertarik pada teknologi yang dapat meningkatkan kemampuan manusia. secara keseluruhan, saya berpihak pada kemanusiaan dan berharap ai dapat membantu umat manusia menjadi lebih kuat dan tidak terpinggirkan.

selain itu, menurut saya merupakan ide yang cukup bagus untuk memiliki "tutor sempurna" yang dapat menyelesaikan tugas bimbingan belajar di semua mata pelajaran. jika setiap orang memiliki tutor ai untuk membimbing mereka dalam mempelajari semua mata pelajaran, saya yakin setiap orang dapat mencapai hasil yang lebih baik.

elad gil: sejak tahun 1980-an, literatur dengan jelas menyatakan bahwa bimbingan privat dapat meningkatkan kinerja seseorang sebesar 2 standar deviasi. ada juga banyak kasus seputar tutor yang dipersonalisasi. menurut anda, bagaimana ai dan tutor dapat digabungkan?

andrej karpati: saya mendapatkan banyak inspirasi dari contoh-contoh ini. sekarang saya sedang membangun kursus lengkap dengan tujuan menjadikannya pilihan pertama bagi orang-orang untuk mempelajari ai. saya sebelumnya mengajar kursus deep learning pertama di stanford meskipun jumlah siswanya hanya 20 hingga 30 orang, hasilnya bagus. tantangannya saat ini adalah bagaimana memperluas cakupan kursus semacam ini untuk mencakup 8 miliar orang di seluruh dunia. mengingat perbedaan bahasa dan kemampuan, hal ini sulit dicapai hanya dengan satu guru saja.

oleh karena itu, kuncinya adalah bagaimana memanfaatkan ai untuk memperluas peran guru yang baik. tugas inti guru adalah merancang kursus dan menulis materi, sementara ai dapat berinteraksi dengan siswa di bagian depan dan mengajarkan konten. ai yang ada saat ini tidak bisa membuat kursus lengkap secara mandiri, namun cukup membantu menjelaskan dan mentransfer ilmu. dengan cara ini, pengajar dapat fokus pada desain back-end, sementara ai menggunakan berbagai bahasa di front-end untuk berinteraksi dengan siswa dan membantu mereka menyelesaikan pembelajaran.

sarah guo:bisakah ai dibandingkan dengan asisten pengajar?

andrej karpati: asisten pengajar adalah salah satu arahan yang saya pertimbangkan. saya melihatnya sebagai front-end yang berinteraksi langsung dengan siswa dan mengarahkan mereka untuk menyelesaikan kursus. saya pikir ini adalah solusi yang layak dalam teknologi saat ini, dan tidak ada produk serupa di pasar, jadi menurut saya ada banyak potensi di bidang ini, dan seiring kemajuan teknologi, kita dapat melakukan berbagai penyesuaian terhadapnya. saya merasa banyak perusahaan saat ini tidak memiliki pemahaman yang cukup intuitif mengenai kemampuan model, dan akibatnya, produk yang mereka kembangkan terlalu canggih atau tidak cukup akurat. jadi menurut saya bidang ini mempunyai potensi yang besar.

sarah guo: dengan alat yang baik, sejauh mana batas kemampuan manusia bisa dicapai? misalnya saja jika kita bandingkan dengan olimpiade, karena kemajuan ilmu pengetahuan dan teknologi pelatihan dalam 10 tahun terakhir, performa para pelari terbaik lebih baik dibandingkan 10 tahun yang lalu.

andrej karpati: saya merasa kami belum mencapai potensi maksimal hari ini. kita dapat memikirkan masalah ini dari dua sudut pandang. yang pertama adalah globalisasi. saya berharap setiap orang dapat memperoleh pendidikan yang tinggi, dan yang kedua adalah keterbatasan kemampuan individu. kedua perspektif itu berharga.

elad gil: biasanya ketika kita membahas panduan belajar 1 lawan 1, kita akan menyebutkan personalisasi dan adaptasi, yaitu memberikan tugas tantangan belajar yang sesuai dengan level masing-masing orang. apakah menurut anda ai bisa melakukannya saat ini?

andrej karpati: menurut saya, "hasil yang paling diharapkan" dalam bidang pendidikan ai saat ini adalah aplikasi penerjemahan.

sulit untuk mencapai personalisasi yang menyesuaikan dengan level setiap orang, namun bukan tidak mungkin. menurut saya hal ini juga harus menjadi fokus pengembangan ai, dan jelas memiliki potensi untuk mencapai hal tersebut. namun ini mungkin melibatkan bidang baru. model yang lebih sederhana dapat diimplementasikan melalui proyek cepat, namun menurut saya cara yang sangat berguna adalah membuat model itu sendiri memiliki kemampuan seperti itu, sehingga dapat bekerja seperti seorang guru.

saya rasa hal ini menyentuh beberapa bidang yang saat ini masih terbelakang. meskipun versi sederhananya mungkin sudah dekat, seperti mendapatkan bantuan dengan memberikan petunjuk kepada model, yang saya maksud adalah solusi yang benar-benar berfungsi, tidak hanya terlihat bagus di demo. yang saya bicarakan adalah kemampuan untuk bekerja seefektif guru sejati, memahami konteks setiap orang dan memberikan bimbingan yang dipersonalisasi, yang memerlukan pengembangan lebih lanjut.

elad gil: bisakah kita mencapai adaptasi ini dengan memperkenalkan model lain?

andrej karpati: menurut saya ini juga merupakan karakteristik ai. saya rasa banyak fungsi yang sebenarnya dapat diimplementasikan hanya dengan satu prompt. jadi kita sering melihat banyak demo, tapi bisakah kita akhirnya menghadirkan produk sebenarnya? jadi mungkin tidak sulit untuk melakukan beberapa demo, namun jalan masih panjang sebelum bisa dikembangkan menjadi produk yang bisa digunakan dalam skala besar.

sarah guo:beberapa minggu yang lalu anda menyebutkan bahwa belajar dan hiburan itu berbeda. belajar harusnya menantang dan memerlukan sistem insentif tertentu, seperti status sosial, efek idola, dll. menurut anda sejauh mana sistem insentif dapat mengubah motivasi belajar masyarakat? apakah anda lebih mementingkan penyediaan sumber daya yang memungkinkan orang melakukan apa yang mereka bisa sesuai dengan kemampuan mereka? atau anda ingin mengubah jumlah orang yang mau belajar dan membimbing lebih banyak orang untuk mulai belajar?

andrej karpati:saya berharap dapat membuat pembelajaran menjadi lebih mudah, karena beberapa orang mungkin secara alami tidak tertarik untuk belajar. banyak orang belajar karena kebutuhan praktis, seperti mencari pekerjaan, yang merupakan hal yang sangat wajar. pendidikan memegang peranan penting dalam masyarakat kita karena tidak hanya memberikan pengetahuan tetapi juga meningkatkan status ekonomi seseorang, oleh karena itu masyarakat ingin termotivasi oleh pendidikan.

sarah guo:seperti apa masa depan kita di masyarakat pasca-agi?

andrej karpati:di era pasca-agi, saya pikir pendidikan akan menjadi lebih seperti hiburan. pendidikan yang sukses tidak hanya terletak pada transfer ilmu pengetahuan, tetapi juga pada pemahaman mendalam dan penerapan ilmu tersebut.

sarah guo:siapa penonton pertama eureka?

andrej karpati:audiens utama untuk kursus pertama ini adalah mahasiswa sarjana, khususnya mereka yang mengejar gelar di bidang teknis. jika anda mempelajari program sarjana terkait teknologi, anda adalah kelompok sasaran yang ideal untuk kursus ini.

andrej karpati:saya pikir konsep pendidikan kita saat ini sudah agak ketinggalan jaman. cara lama bersekolah, lulus, dan bekerja sepanjang waktu akan terpatahkan oleh perubahan saat ini. teknologi berubah dengan cepat dan masyarakat perlu terus belajar. jadi, meskipun kursus ini diperuntukkan bagi mahasiswa tingkat sarjana, sebenarnya kursus ini memiliki audiens yang luas. sebagai contoh, saya pikir orang-orang dari segala usia dapat berpartisipasi. apalagi bagi mereka yang berlatar belakang teknis dan ingin memperdalam pemahaman ilmu relevan, pasti ada manfaatnya.

saya berencana untuk menawarkan kursus tersebut pada akhir tahun ini, awal tahun depan mungkin merupakan waktu yang tepat, namun sebelum itu saya akan bekerja keras untuk memastikan bahwa kualitas kursus tersebut sesuai dengan standar yang diharapkan.

elad gil:jika anda mempunyai anak, pengetahuan dan keterampilan apa yang anda ingin mereka pelajari?

andrej karpati:jawaban yang akan saya berikan adalah matematika, fisika, ilmu komputer dan mata pelajaran lainnya. mata pelajaran tersebut sebenarnya memberikan pelatihan yang sangat inti untuk pengembangan kemampuan berpikir. tentu saja perspektif ini dipengaruhi oleh latar belakang saya, namun saya yakin bidang-bidang ini sangat membantu dalam hal keterampilan pemecahan masalah. bahkan ketika masa depan mendekati era agi, keterampilan ini akan tetap penting. selama masa kritis ini ketika orang memiliki banyak waktu dan perhatian, saya pikir kita harus fokus terutama pada tugas-tugas yang relatif sederhana untuk dilakukan daripada tugas-tugas yang memerlukan banyak memori. meskipun saya juga menyadari pentingnya mempelajari mata pelajaran lain, saya percaya bahwa 80% waktu harus difokuskan pada bidang inti ini karena lebih praktis dan memiliki nilai jangka panjang.

pengaturan huruf: fia