berita

sergey brin: google tidak berani menggunakan transformer, dan semua penulisnya kabur

2024-09-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

laporan jantung mesin

editor: jiaqi

dengan bisnis penelusuran terbesar di dunia, google selalu menjadi yang unik di silicon valley. pendapatan iklan yang besar yang diperoleh dari penelusuran memungkinkan kedua pendiri sergey brin dan larry page untuk mundur dan menikmati hidup dengan damai.

pada tanggal 15 september 1997, sergey brin dan larry page mendaftarkan situs web bernama "google".

baru pada akhir tahun 2022 chatgpt menjadi populer di seluruh dunia, dan google, pemimpin awal gelombang ai, tampaknya menyadari bahwa statusnya telah berubah. setahun terakhir, kita sepertinya sudah terbiasa dengan raksasa teknologi yang tampil sebagai “pengejar”.

sejak tahun lalu, media mengungkap bahwa sergey brin telah kembali ke garis depan dan menulis kode sendiri. mantan ceo eric schmidt bahkan secara langsung menyerang sistem tidak terorganisir yang "hanya bekerja satu hari dalam seminggu" dalam sebuah kuliah di universitas stanford: "jika kita kalah dari openai, kita akan kalah dari startup jika kita melanjutkan."

schmidt berbicara di stanford

pada saat yang sama, seiring dengan semakin besarnya google, beberapa gejala "penyakit perusahaan besar" menjadi semakin jelas. banyak "esai" pengunduran diri google menunjukkan bahwa akar masalah google bukanlah "teknologi" tetapi "budaya". misalnya, karyawan kurang memiliki misi, dan perusahaan telah menyiapkan sistem dan proses yang rumit untuk menghindari risiko.

pendiri appsheet praveen seshadri mengumumkan kepergiannya dari google. blognya mengatakan bahwa perusahaan telah tersesat dan karyawannya terjebak dalam sistem.

ada apa dengan google? “yang benar-benar menghambat produktivitas karyawan google setiap hari adalah kekurangan staf, perubahan prioritas, seringnya phk, gaji yang stagnan, dan kurangnya manajemen dalam menindaklanjuti proyek,” kata serikat pekerja alphabet.

meskipun google mengejar "serangan balik chatgpt", ini agak berbeda dengan gaya menantikan rilis gpt-5 di area komentar openai. saat gemini diluncurkan, gemini akan selalu "terbalik" secara tidak sengaja. penipuan demo terjadi saat pertama kali dirilis. sejak itu, gemini telah menerima banyak kritik karena menghasilkan potret yang bias rasial, menyarankan agar setiap orang makan batu setiap hari dan menggunakan lem untuk menempelkan keju pada pizza.

bulan lalu, google merilis versi gemini yang disempurnakan dan juga meluncurkan gemini live, asisten suara berbasis gpt-4o. namun, selama demonstrasi, gemini live masih mengalami masalah.

pada acara made by google yang diadakan pada bulan agustus, dua uji coba pertama fungsi pengambilan foto dan pengenalan gambar gemini live gagal, dan baru ketiga kalinya saya mengganti ponsel saya berhasil.

mengapa kita harus kembali ke garis depan teknologi ketika kita sudah memiliki kebebasan finansial? bagaimana google memandang gemini yang sering "terguling"? apa yang salah dengan google di tengah persaingan dari raksasa teknologi? peran apa yang akan dimainkannya dalam kompetisi ini? pada all-in summit yang digelar kemarin, sergey brin yang sudah lama tidak tampil di hadapan media, mengutarakan pandangannya dalam sebuah wawancara.

poin utama brin adalah:

ia memutuskan untuk kembali menjadi yang terdepan dalam teknologi karena kemajuan di bidang ai begitu menggembirakan, dan sebagai ilmuwan komputer, ia tidak mau ketinggalan gelombang ini.

teknologi ai bukan sekedar perluasan pencarian, namun akan menyentuh perubahan yang lebih luas.

dibandingkan dengan "model ahli" yang mengkhususkan diri pada bidang tertentu, brin lebih optimis terhadap model umum. google berhasil meraih medali perak imo. hal ini karena google mulai mengintegrasikan pengetahuan dan kemampuan tertentu dalam model pembuktian formal ke dalam upaya a model bahasa universal.

saat ini terdapat permintaan yang stabil terhadap daya komputasi, namun sulit untuk melihat lonjakan permintaan "dari 100 megawatt menjadi 1 gigawatt, 10 gigawatt, atau bahkan 100 gigawatt."

di bidang penerapan kecerdasan buatan, brin berpendapat bahwa biologi telah menerapkan penerapan teknologi ai dengan relatif baik, sedangkan bidang robotika masih pada tahap di mana masyarakat merasa ajaib setelah menyaksikan demonstrasi dan belum mencapai tingkat yang dapat dicapai. digunakan dalam kehidupan sehari-hari.

meskipun ai terkadang membuat kesalahan besar, ai harus dirilis tepat waktu. ai bukanlah teknologi yang anda pegang erat-erat dan sembunyikan sampai sempurna. yang lebih menakutkan daripada ai yang “bodoh” adalah bahwa google terlalu malu pada saat menerapkan transformer, dan semua penulis makalah tersebut mengundurkan diri.

persaingan antar raksasa teknologi di bidang ai sebenarnya merupakan hal yang baik, namun brin akan tetap mencermati besarnya rangking model.

berikut teks wawancara lengkapnya:

brin: awalnya saya mengira saya di sini hanya untuk berpartisipasi dalam podcast, tetapi saya tidak menyangka akan ada begitu banyak penonton. selamat atas kesuksesan karier anda.

moderator: terima kasih telah meluangkan waktu untuk ngobrol dengan saya. saat ini, ai berada pada titik kritis dalam mengubah dunia. pada tahun 1998, anda dan larry page mendirikan google. saya mendengar bahwa anda baru-baru ini terlibat dalam penelitian ai di google. model bahasa berukuran besar dan alat ai percakapan merupakan ancaman bagi google penelusuran, yang menjadi topik perdebatan di antara banyak analis dan pakar industri. jadi berapa lama anda duduk di google setiap hari? apa yang sedang kamu lakukan?

brin: sejujurnya, saya berangkat kerja hampir setiap hari, tetapi hari ini saya melewatkan satu hari karena harus tampil di acara anda. sebagai seorang ilmuwan komputer, saya belum pernah melihat kemajuan menarik dalam ai seperti beberapa tahun terakhir ini. kemajuan ai sungguh mengejutkan!

pada tahun 1990-an, ketika saya masih menjadi mahasiswa pascasarjana, ai hampir tidak ada dalam kurikulum dan hanya menjadi catatan kaki dalam buku teks. apa yang dibicarakan dalam buku teks adalah bahwa orang-orang sebelumnya telah melakukan berbagai eksperimen, tetapi ai sebenarnya tidak berhasil, dan mengerjakan ai adalah “jalan buntu”. itu semua yang perlu anda ketahui tentang ai.

dan entah bagaimana, secara ajaib, orang-orang yang bekerja pada jaringan saraf ini mulai membuat kemajuan dalam metode ai yang telah ditinggalkan pada tahun 1960an dan 1970an - lebih banyak perhitungan, lebih banyak data, algoritma yang lebih cerdas... .apa yang terjadi dalam sepuluh tahun terakhir adalah sungguh menakjubkan. alat ai saat ini dapat menunjukkan kemampuan baru hampir setiap bulan, dan kemampuan ini dapat berlipat ganda dengan cepat. kemampuan komputer sungguh menakjubkan. oleh karena itu, saya memutuskan untuk kembali ke garis depan teknologi karena saya tidak ingin melewatkan semua pengalaman yang dapat saya alami sebagai ilmuwan komputer.

moderator: apakah menurut anda ai merupakan perpanjangan dari pencarian, atau akankah ai mendefinisikan ulang cara orang mendapatkan informasi?

brin: menurut saya ai menyentuh setiap aspek kehidupan sehari-hari, dan penelusuran adalah salah satunya. dampak ai hampir ada dimana-mana, termasuk pemrograman. saya sekarang memiliki perspektif berbeda tentang pemrograman ai. menulis kode dari awal sungguh sulit, apalagi dibandingkan mengarahkan pemrograman ai, bukan?

host: apa yang sudah anda programkan menggunakan ai?

brin: sebenarnya, saya sendiri menulis sedikit kode, hanya untuk bersenang-senang. terkadang saya membiarkan ai menulis kode untuk saya, dan pengalamannya sangat menarik. misalnya, saya ingin mengetahui seberapa baik model ai google memainkan sudoku. jadi, saya meminta model ai untuk menulis banyak kode sendiri, yang secara otomatis dapat menghasilkan teka-teki sudoku, dan kemudian memasukkan pertanyaan-pertanyaan ini ke ai untuk dinilai. ai mampu menulis kode-kode ini.

tetapi ketika saya berbicara dengan para insinyur tentang hal itu, ada banyak bolak-balik, dan saya kembali setengah jam kemudian dan ai selesai. mereka terkesan, dan jelas bahwa mereka tidak menggunakan alat ai untuk membantu pengkodean seperti yang saya kira.

sudoku

pembawa acara: ini lucu sekali. beberapa model pandai memecahkan teka-teki sudoku, beberapa dapat menjawab informasi faktual tentang dunia saya, dan ada pula yang berspesialisasi dalam mendesain rumah. pada saat yang sama, banyak peneliti sedang berupaya mengembangkan model bahasa umum berskala besar. menurut anda, rute mana yang akan diambil di masa depan?

saya tidak tahu dari mana datangnya pernyataan yang mengatakan bahwa akan ada "model tuhan". inilah sebabnya mengapa investor mengeluarkan uang untuk ai. setelah "model tuhan" dikembangkan, anda dapat "menjangkau dunia dalam satu langkah". atau ada banyak model kecil berdasarkan aplikasi tertentu, berkolaborasi dalam suatu agen. menurut anda bagaimana pengembangan model dan penerapannya akan berkembang di masa depan?

brin: jika anda melihat ke belakang 10 hingga 15 tahun yang lalu, berbagai teknologi ai digunakan untuk memecahkan masalah yang sangat berbeda. misalnya, ai permainan catur dan teknologi pembuatan gambar sangatlah berbeda, dan keduanya sangat berbeda.

moderator: sama seperti google yang baru-baru ini merilis model gnn, yang performanya lebih baik daripada semua model prediksi fisik. saya tidak yakin apakah anda mengetahuinya, tetapi ini dikirim oleh google.

brin: itu luar biasa, tapi saya tidak tahu (canggung).

moderator: model ini memiliki arsitektur yang sangat berbeda.

brin: dari perspektif sejarah, ai memang ada di banyak sistem berbeda. ambil contoh olimpiade matematika internasional (imo) baru-baru ini. model google memenangkan medali perak, hanya terpaut satu poin dari medali emas (untuk detailnya, lihat laporan machine heart sebelumnya: google ai memenangkan medali perak olimpiade matematika imo, dan model penalaran matematisnya alphaproof muncul, pembelajaran penguatan sudah kembali).

faktanya, kami menggunakan tiga model ai: satu bertanggung jawab untuk pembuktian teorema, satu lagi berfokus pada masalah geometris, dan satu lagi adalah model bahasa umum. namun, beberapa bulan yang lalu kami mulai mencoba belajar dari pekerjaan kami sebelumnya dan mulai menggabungkan beberapa pengetahuan dan kemampuan dari model pembuktian formal ke dalam model bahasa umum.

hal ini masih dalam proses, namun menurut saya trennya akan mengarah pada pembangunan model yang lebih terpadu. saya tidak yakin ini yang disebut "model tuhan", tapi yang pasti kita sedang bergerak menuju semacam arsitektur bersama, atau bahkan model bersama.

moderator: jika ini adalah arah masa depan, maka untuk melatih dan meningkatkan model yang sangat besar tersebut, sumber daya komputasi yang sangat besar pasti akan digunakan.

brin: kekuatan komputasi sangat diperlukan. saya pernah membaca artikel yang memperkirakan lonjakan permintaan daya komputasi, dari 100 megawatt menjadi 1 gigawatt, 10 gigawatt, atau bahkan 100 gigawatt. saya mempunyai keraguan mengenai hal ini. dalam beberapa tahun terakhir, inovasi dan pengoptimalan algoritme telah menghasilkan peningkatan kinerja yang lebih signifikan dibandingkan peningkatan daya komputasi perangkat keras.

moderator: jadi, apakah investasi besar-besaran saat ini pada daya komputasi tidak masuk akal? semua orang membicarakan pendapatan, keuntungan, kapitalisasi pasar nvidia. hal ini mendukung pertumbuhan komputasi dan infrastruktur skala besar yang memungkinkan pembuatan model besar-besaran ini. apakah tren ini masuk akal? mungkin ini masuk akal, jika tidak, mengapa nvidia menghasilkan begitu banyak?

brin: izinkan saya memulai dengan mengatakan bahwa saya bukan seorang ekonom atau analis pasar, dan pandangan saya hanya didasarkan pada sudut pandang seorang ilmuwan komputer. bagi kami, karena kami menghadapi permintaan yang besar, kami membangun cluster komputasi secepat mungkin. misalnya, pelanggan google cloud hanya menginginkan banyak ppu, gpu, semuanya. kami harus menolak pelanggan karena kami sendiri tidak memiliki cukup kartu, dan kami mengandalkan sumber daya ini secara internal untuk melatih dan menerapkan model kami sendiri. oleh karena itu, menurut saya masuk akal bagi perusahaan besar untuk secara aktif memperluas kekuatan komputasi mereka. saya hanya berpikir sulit untuk membuat kesimpulan langsung dari situasi saat ini bahwa permintaan daya komputasi di masa depan akan meningkat dari "100 megawatt menjadi 1 gigawatt, 10 gigawatt, atau bahkan 100 gigawatt."

host: tapi kebutuhan bisnisnya ada.

brin: saya memahami bahwa pelanggan memiliki beragam kebutuhan. mereka ingin melakukan tugas inferensi pada berbagai model ai dan menerapkan model ini ke berbagai skenario baru. kebutuhan mereka saat ini tidak terbatas.

moderator: di bidang penerapan ai, baik robotika maupun biologi, menurut anda aspek mana yang paling mencapai prestasi signifikan? apakah ada use case yang membuat anda berpikir, “wah, ini berguna sekali”? bidang mana yang lebih menantang, dan penerapan aplikasinya mungkin memakan waktu lebih lama dari yang diperkirakan?

brin: jawaban saya adalah biologi. alphafold telah ada sejak lama. ini sudah lama beredar, dan ketika saya berbicara dengan ahli biologi, hampir semua orang menggunakannya. versi terbaru alphafold, alphafold 3, mewakili teknologi ai jenis baru. seperti yang saya sebutkan sebelumnya, saya yakin tren masa depan adalah penyatuan model.

mengenai robot, saya berada dalam "tahap wow", seperti, "wow, robot itu benar-benar bisa melakukan pekerjaan rumah!" sebagian besar dalam banyak kasus, mereka belum siap untuk digunakan sehari-hari.

host: apakah anda melihat masa depan robot?

brin: mungkin...tapi saya tidak melihat secara spesifik...

host: tapi bukankah google juga punya bisnis robot? meski kemudian dibongkar dan dijual.

brin: google berkecimpung dalam bisnis robot.

host: mungkin ini waktu yang salah.

brin: sejujurnya, itu mungkin karena kami terlalu terburu-buru. boston dynamics memiliki begitu banyak produk unggulan, namun saya bahkan tidak dapat mengingat apa yang dibuat oleh google. bagaimanapun, kami memiliki lima atau enam produk yang memalukan, namun keren dan meninggalkan kesan mendalam. melihat betapa mumpuninya model bahasa universal saat ini dan bagaimana teknologi multi-modal memungkinkan robot memahami pemandangan, masih agak konyol untuk memikirkannya saat itu. tanpa teknologi ai pada saat itu, kita seperti berdiri diam di atas treadmill, tidak mampu bergerak maju.

rencana google untuk mengembangkan robot pernah memiliki kartu bagus: "bapak android" andy rubin, produsen robot terkenal boston dynamics, dan robot humanoid terkenal atlas... namun, hanya dalam lima tahun, selama setahun, hal itu berhasil diwujudkan. berencana untuk dibubarkan dan ditata kembali, kemudian dibubarkan dan ditata ulang lagi. para eksekutif senior telah mengundurkan diri satu demi satu, rencana penjualan telah ditangguhkan, dan beberapa perusahaan besar telah menjual diri mereka...

moderator: anda menginvestasikan banyak waktu dalam penelitian dan pengembangan teknologi inti. apakah anda juga melakukan upaya besar pada produk tersebut? di masa depan dimana ai ada dimana-mana, bagaimana interaksi manusia-komputer akan berkembang, dan bagaimana kehidupan kita sehari-hari akan berubah?

brin: ini sepertinya topik ngobrol dengan rekan kerja di ruang teh.

host: apakah anda keberatan membaginya dengan kami?

brin: tidak apa-apa, aku kesulitan memikirkan sesuatu yang tidak akan memalukan.

host: tidak apa-apa untuk menceritakan kisah “kamu punya teman.”

brin: apa yang akan terjadi di masa depan sangat sulit untuk dikatakan. teknologi ai menjadi dasar untuk mewujudkan aplikasi. misalnya, seseorang merilis demo eksplosif, yang sangat menakjubkan, namun memerlukan waktu untuk beralih dari demonstrasi hingga implementasi nyata dalam produksi. saya tidak tahu apakah anda pernah mencoba model astra, di mana anda dapat memutar video langsung dengannya dan model tersebut dapat mengetahui apa yang terjadi di lingkungan anda.

host: anda bisa menggunakannya, kan?

brin: saya pasti akan mendapatkan akses. terkadang saya mungkin menjadi salah satu orang terakhir yang mendapatkan akses. kini kita telah mencapai tahap di mana, setelah merasakan ai, orang-orang mungkin akan berkata, "ya ampun, ini luar biasa." lalu anda berpikir, "ya, 90 persennya adalah "semuanya berjalan dengan benar." tapi kemudian anda mungkin bertanya, "jika ada kesalahan atau respons yang lambat dalam 10% kasus, apakah teknologi ini benar-benar cukup baik?" jadi, kita harus bekerja keras untuk meningkatkan detail ini untuk memastikannya cepat dan andal, dan banyak lagi. ketika hal ini benar-benar terjadi, sungguh merupakan pencapaian yang luar biasa.

host: saya mendengar sebuah cerita dan saya harus menceritakan sesuatu kepada anda sebelum saya naik ke panggung. sebelum acara peluncuran, sekelompok insinyur menunjukkan kepada anda bagaimana ai dapat digunakan untuk menulis kode, dan mereka berkata, "kami belum menerapkannya di gemini karena kami ingin memastikannya tidak rusak." keragu-raguan di google. saat itu anda berkata: "tidak, karena dapat menulis kode, maka harus diluncurkan." banyak orang yang menceritakan kisah ini kepada saya. karena mereka percaya, "sangat penting untuk mendengar pernyataan seperti ini dari anda, sang pendiri, karena ini menunjukkan bahwa konservatisme belum sepenuhnya mengambil alih google, dan kami berharap google terus memimpin inovasi." apakah kamu benar-benar mengatakan itu?

brin: saya tidak ingat detail spesifiknya. sejujurnya, sepertinya itu adalah sesuatu yang akan saya lakukan.

moderator: bagi saya, ini menjadi masalah karena google sangat besar sehingga jika melakukan kesalahan maka akan memakan biaya yang besar.

brin: maka saya masih memiliki sesuatu yang perlu ditakutkan. titik awal model bahasa saat ini dapat ditelusuri kembali ke makalah transformer 6 atau 8 tahun yang lalu. namun penulis makalah ini semuanya telah mengundurkan diri dari google. selamat untuk mereka! saat itu, kami terlalu malu untuk menggunakan transformer.

brin: dan betapapun kuatnya ai, terkadang mereka masih melakukan kesalahan dan mengatakan hal-hal yang memalukan. namun di saat yang sama, ai sudah dapat membantu kita melakukan hal-hal yang belum pernah kita lakukan sebelumnya. misalnya, saya membuat program dengan anak-anak saya dan mengerjakan beberapa masalah yang sangat kompleks.

hanya dengan berkonsultasi dengan ai, mereka dapat memulai pemrograman secara langsung dan mempelajari berbagai api dan alat kompleks yang biasanya membutuhkan waktu satu bulan untuk mempelajarinya. kemampuan ini hampir ajaib. kami perlu bersiap untuk membuat beberapa kesalahan dan mengambil risiko. saya yakin tanggapan kita dalam bidang ini telah membaik. tentu saja, anda mungkin pernah melihat banyak momen "bodoh" ai, tapi...

moderator: ini bisa diterima. lagi pula, anda sudah memiliki kekayaan dan kebebasan, memiliki banyak saham. maksud saya, anda bersedia menerima rasa malu karena itu sangat penting pada tahap ini.

brin: saya tidak melakukan ini karena stok saya, oke? tapi coba pikirkan, apakah saya benar-benar bisa menerima kesalahan tersebut? apakah ini keajaiban yang kita persembahkan kepada dunia? saya rasa yang perlu kita sampaikan adalah, "lihat, hal ini luar biasa." ai terkadang membuat kesalahan besar, namun menurut saya kita harus merilisnya tepat waktu dan membiarkan orang bereksperimen dan melihat aplikasi baru apa yang dapat mereka temukan. ai bukanlah teknologi yang anda pegang erat-erat dan sembunyikan sampai sempurna.

host: apakah menurut anda ai akan memberikan dampak yang begitu besar terhadap dunia dan menciptakan begitu banyak nilai sehingga tidak lagi menjadi persaingan sederhana antara google, meta, dan amazon? semua orang menganggapnya sebagai perang bisnis, tetapi apakah itu mungkin? hasil yang dicapai oleh ai sangat besar, dan bidang yang anda jelajahi sangat luas. ini jauh melampaui siapa yang telah membangun model dengan skor tertinggi dan kinerja llm-nya terbaik. luar biasa? bagaimana anda memandang prospek luas yang dibawa oleh ai, dan peran apa yang akan dimainkan google di dalamnya?

brin: menurut saya persaingan sangat membantu karena semua pemain teknologi besar bersaing, dan omong-omong, pada beberapa peringkat beberapa minggu yang lalu, google menduduki peringkat pertama, dan terakhir kali saya periksa, kami masih mengalahkan model teratas. hanya......

moderator: ada beberapa indikator buruk. jadi, anda benar-benar peduli dengan peringkat model!

brin: aku tidak bilang aku tidak peduli. google benar-benar tertinggal ketika chatgpt dirilis, dan sekarang kami telah mengalami kemajuan yang pesat. saya sangat senang dengan semua kemajuan yang dicapai google saat ini. jadi kami pasti akan mengawasi peringkat modelnya. menurut saya, merupakan hal yang baik bahwa ada begitu banyak perusahaan ai, baik itu openai, anthropic, atau mistral. artinya, bidang ai berkembang pesat dan penuh vitalitas.

untuk pertanyaan anda, menurut saya ai memiliki nilai yang sangat besar bagi umat manusia. jika anda mengingat kembali masa kuliah saya, tidak ada internet seperti yang kita kenal sekarang, dan mendapatkan informasi dasar serta berkomunikasi dengan orang-orang memerlukan upaya yang sangat besar. sebelum telepon seluler menjadi populer, kita telah mencapai peningkatan besar dalam hal kemampuan di seluruh dunia, dan teknologi ai saat ini tidak diragukan lagi merupakan lompatan besar dalam hal kemampuan. saat ini, hampir semua orang memiliki akses terhadap ai dalam berbagai cara. menurut saya ini sangat menarik, luar biasa.