berita

"Tyrant" mendominasi AGI, apakah OpenAI menuju masa depan yang berbahaya?

2024-08-06

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Penulis Teknologi Tencent Guo Xiaojing Hao Boyang

Editor Su Yang

Gejolak personel OpenAI terus berlanjut, kali iniBuka AI Presiden Greg Brockman—yang dikenal sebagai pendukung setia Sam Altaman dan bersamanya ketika Sam digulingkan dari dewan direksi—mengumumkan cuti jangka panjang. Greg Brockman sendiri telah mengumumkan akan kembali ke perusahaan setelah libur panjang. Namun, banyak eksekutif senior perusahaan teknologi yang akan mengambil cuti panjang sebelum meninggalkan pekerjaannya.

Selain itu, dua eksekutif inti juga diketahui akan keluar. Salah satunya adalah Johnson Schulman, salah satu pendiri. Dia sempat menjabat sebagai kepala tim keamanan sebelum keluar. Tim ini sebelumnya dipimpin bersama oleh mantan kepala ilmuwan OpenAI, Ilya Sutskever dan peneliti Jan Leike.

Pada saat yang sama, Johnson juga memimpin OpenAIGPT Proses Pasca Pelatihan serangkaian model besar dapat dikatakan sebagai sosok yang sangat kritis dalam konstruksi teknologi. Yang lebih menggelitik adalah setelah pengunduran dirinya, seperti Jan Leike, ia langsung bergabung dengan Anthropic, pesaing terkuat OpenAI.

Selain itu, Peter Deng, manajer produk yang bergabung dengan OpenAI tahun lalu, juga telah mengundurkan diri. Meski bukan salah satu pendiri, ia mengundurkan diri kurang dari setahun setelah bergabung, yang juga akan membuat dunia luar berspekulasi tentang apa yang terjadi pada OpenAI. tim OpenAI.

Gelombang kedua mobilitas bakat OpenAI

Hanya tersisa 3 pendiri, dan 1 sedang cuti jangka panjang.

Setelah perubahan ini, dari 11 pendiri OpenAI, hanya Sam Altman, Wojciech Zaremba, dan Greg Brockman (yang juga mengumumkan cuti jangka panjang) yang tetap berada di OpenAI. Anggota pendiri yang tersisa semuanya telah meninggalkan tim.

Lima dari 11 pendiri ini berasal dari tahun 2017 hingga 2018, ketika Musk mengumumkan divestasinya, sehingga memicu gelombang kekacauan di OpenAI. Termasuk Trevor Blackwell, Vicki Cheung, Durk Kingma, Pamela Vagata.Andrej Karpathy, anggota pendiri lainnya, juga diburu langsung oleh Musk untuk menjadi milik TeslaPilot otomatis kepala sekolah. Dia tidak kembali ke OpenAI hingga Februari 2023.

Enam anggota pendiri yang tersisa semuanya mengundurkan diri tahun ini setelah pertarungan pengadilan OpenAI pada akhir tahun lalu. Termasuk mantan kepala ilmuwan OpenAI Ilya Sutskever, John Schulman yang disebutkan di atas, dan ilmuwan Andrej Karpathy yang kembali hanya untuk satu tahun. Dapat dikatakan bahwa tahun 2024 akan menjadi tahun perubahan terbesar dalam staf senior yang dialami OpenAI sejak krisis Musk.

Ke mana perginya semua karyawan yang meninggalkan OpenAI?

Dilihat dari keberadaan karyawan yang keluar dari OpenAI, umumnya mereka menempuh dua jalur. Salah satunya adalah bergabung dengan perusahaan saingan, pada dasarnya Deepmind dan Anthrophic. Yang kedua adalah memulai bisnis mereka sendiri. Sebagian besar karyawan yang mengundurkan diri yang disebutkan di atas (66%) memilih untuk bergabung dalam proyek kewirausahaan baru.

Pilihan ini justru melahirkan apa yang disebut “Mafia OpenAI”. Menurut laporan media, hampir 30 karyawan telah meninggalkan OpenAI sebelum tahun ini dan mendirikan perusahaan AI mereka sendiri. Beberapa di antaranya sudah mencapai level unicorn. Yang paling terkenal di antara mereka adalah Anthrophic, yang didirikan oleh Dario Amodei, yang telah menjadi pesaing OpenAI yang paling kuat.

Apa dampak pengunduran diri ini?

Menurut diagram arsitektur yang sebelumnya diungkapkan oleh Informasi, tiga orang yang mengalami pergantian personel kali ini semuanya adalah manajer inti di OpenAI. Dari sudut pandang fungsional, Brockman dan Shulman melapor kepada Mira Murati, CTO OpenAI (Greg juga harus bertanggung jawab atas pekerjaan tambahan sebagai ketua dan anggota dewan), dan Peter Deng, yang merupakan VP produk pengguna, harus berada di posisi yang sama. pelaporan tingkat ketiga. Pekerjaan yang menjadi tanggung jawab mereka pada dasarnya adalah pekerjaan teknis inti OpenAI. Dampak dari perubahan ini tidak bisa dikatakan kecil. Mungkin tiga dari 40 eksekutif senior inti telah diganti.

Namun faktanya, melihat konten spesifik dari tiga orang yang bertanggung jawab, hal tersebut mungkin tidak terlalu terkait dengan inti pengembangan model baru OpenAI saat ini. Menurut blog resmi OpenAI sebelumnya, Greg Brockman akan menjabat sebagai presiden mulai tahun 2022, dan saat itu dia fokus pada pelatihan sistem AI andalan OpenAI. Namun faktanya, sejak GPT-4, kepala ilmuwan saat ini Jakub Pachocki telah memimpin pengembangan GPT-4 dan OpenAI Five.

Shulman pernah bertanggung jawab atas bagian pasca-pelatihan OpenAI dan mengusulkan algoritma Proximal Policy Optimization (PPO). Ini adalah seperangkat algoritma strategi inti untuk meningkatkan model bahasa besar, dan juga merupakan salah satu algoritma utama yang digunakan oleh OpenAI hingga sekarang. Namun, setelah Illya mengundurkan diri, ia diubah menjadi penanggung jawab Super Alignment, dan pengaruhnya saat ini terhadap proyek GPT-5 diperkirakan sangat terbatas.

Wakil Presiden Penanggung Jawab Produk Peter Deng bertanggung jawab atas produk pelanggan dan memiliki hubungan terbatas secara keseluruhan dengan pekerjaan pengembangan inti GPT-5.

Pada dasarnya dapat dipastikan bahwa VP penelitian Bob MacGrew dan kepala ilmuwan Jakub Pachocku adalah tokoh paling penting dalam pengembangan model baru ini.

Selain itu, tokoh utama dalam OpenAI yang mungkin mempromosikan inovasi teknologi bukan lagi para eksekutif senior, namun beberapa peneliti akar rumput. Misalnya, mantan CEO Stability AI Emad mengatakan di X bahwa hanya pengunduran diri Alec Radford yang dapat menentukan runtuhnya OpenAI.

Kita juga bisa melihat bobotnya dengan mencari jumlah sitasi pada makalah Scholar di Google.

Oleh karena itu, dampak pengunduran diri ini terhadap kemajuan penelitian OpenAI mungkin terbatas. Dampak utamanya adalah pada moral internal tim dan kepercayaan eksternal terhadap perusahaan.

Lagi pula, seorang bos yang bahkan tidak bisa mempertahankan sahabatnya dan telah melenyapkan semua perusahaan Lianchuang akan sulit mendapatkan kepercayaan pada kemampuan manajemennya.

Konflik tebakan kunci

Kata kunci yang harus ditinggalkan: Super Alignment

Proyek Penyelarasan Super OpenAI didirikan pada Juni 2023. Proyek ini berencana untuk menginvestasikan 20% daya komputasi dalam empat tahun ke depan untuk membangun peneliti penyelarasan otomatis yang setara dengan tingkat manusia menggunakan pengawasan AI untuk memecahkan masalah sistem cerdas tingkat tinggi dan manusia. Masalah konsistensi tujuan. Tim "Super Alignment" dipimpin bersama oleh salah satu pendiri dan kepala ilmuwan OpenAI Ilya Sutskever serta peneliti Jan Leike.

Ilya Sutskever bisa dikatakan sebagai salah satu sosok jiwa OpenAI. Ketika makalah "Attention is all you need" dirilis pada tahun 2017 yang menarik perhatian besar di industri, Ilya mendukung penuhnya.TransformatorArahan arsitektur, dan kemudian memimpin pengembangan model seri GPT dan Vincentian DALL-E.

Ilya juga merupakan murid Geoffrey Hinton yang dikenal sebagai "Bapak Pembelajaran Mendalam". Ia menyelesaikan studi sarjana dan pascasarjana di bawah bimbingan Hinton, dan akhirnya menerima gelar PhD di bidang Ilmu Komputer. Hinton juga telah memperingatkan bahwa pesatnya perkembangan kecerdasan buatan dapat membawa ancaman di luar kecerdasan manusia.

Di penghujung tahun 2023, insiden yang dikenal dengan nama "Pertarungan Istana OpenAI" ini akhirnya terhenti sementara dengan kepergian Ilya dan kembalinya Sam Altman. Namun kontroversi tersebut masih berlanjut hingga saat ini. Spekulasi terbesar dari dunia luar adalah adanya perbedaan internal dalam OpenAI, dan yang lebih besar lagi adalah konflik keyakinan yang sangat besar.

Dilihat dari latar belakang dan perilaku Sam Altman, industri cenderung menganggapnya sebagai orang yang percaya pada e/acc (akselerasi efektif), percaya bahwa perkembangan teknologi pada dasarnya bermanfaat bagi umat manusia, dan umat manusia harus menginvestasikan sumber daya sebanyak mungkin. Mempercepat inovasi untuk mengubah struktur sosial yang ada. Sesuai dengan apa yang telah dilakukan OpenAI, hal ini dapat diringkas secara sederhana dan kasar sebagai memusatkan sumber daya keuangan dan sumber daya untuk menembus AGI dengan kecepatan penuh.

Keselarasan super dan akselerasi efektif, pada dasarnya, bukan lagi pertarungan rute, melainkan konflik keyakinan batin yang sangat besar. Pada bulan Mei 2024, Jan Leike juga mengumumkan pengunduran dirinya. Ketika dia mengundurkan diri, dia memposting di media sosial Pekerjaan yang berbahaya, tetapi selama beberapa tahun terakhir, keamanan AI telah digantikan oleh produk-produk cemerlang akhirnya mencapai titik tidak bisa kembali lagi.”

Dengan pengunduran diri Jan Leike, tim Super Alignment yang asli pada dasarnya telah berakhir. Anggota yang tersisa diintegrasikan ke dalam tim keamanan, dipimpin oleh Johnson Schulman. Baru hari ini, Johnson Schulman juga mengumumkan pengunduran dirinya.

Yang menarik adalah baik Jan Leike maupun Johnson Schulman sama-sama terjun ke Anthropic, yang bisa dikatakan memiliki akar yang sama dengan OpenAI. Pendiri Anthropic juga Dario Amodei, mantan karyawan inti OpenAI. Dikatakan bahwa Dario keluar pada awal tahun 2020 karena masalah keamanan AI.

Dario meluncurkan AI Konstitusional di Antropic, sebuah metode pelatihan model AI yang memandu perilaku sistem AI melalui serangkaian prinsip perilaku yang jelas, daripada mengandalkan masukan manusia untuk mengevaluasi respons. Inti dari pendekatan ini adalah menggunakan sistem AI itu sendiri untuk membantu mengawasi sistem AI lainnya guna meningkatkan tingkat bahaya dan kegunaan AI sekaligus memperluas skala pengawasan.

Dario menekankan bahwa gagasan utama AI Konstitusional adalah menggunakan sistem AI untuk membantu mengawasi sistem AI lainnya, sehingga memperluas skala pengawasan dan meningkatkan bahaya dan kegunaan AI. Proses AI Konstitusional melibatkan langkah-langkah seperti kritik diri, koreksi, pembelajaran yang diawasi dan pembelajaran penguatan, serta serangkaian prinsip konstitusional berdasarkan bahasa alami untuk membatasi perilaku AI.

Apakah sangat mirip dengan pemikiran Ilya yang super selaras?

Tampaknya sejak saat itu OpenAI dan Anthropic telah menjadi representasi berbeda dari dua keyakinan yaitu akselerasionisme efektif dan super-alignmentisme di bidang AI.

Sebelumnya, beberapa orang dengan cemas menyatakan bahwa kepergian Ilya mungkin karena dia melihat beberapa teknologi OpenAI di luar kendali. Jika memang demikian, Anthropic yang sedang berjalan di jalan lain mungkin bisa menjadi keuntungan dalam membendung monster raksasa ini . lengan.

Bagaimanapun, model seri Claude Anthropic sangat mirip dengan model besar seri GPT OpenAI dalam hal kemampuan.

Jenis konflik yang berbeda: “Tiran” Sam Altman, dan struktur pemerintahan yang idealis

Apa yang harus ditegaskan oleh tokoh inti lainnya, Sam Altman, pendiri OpenAI, mungkin lebih sulit daripada keyakinan akan akselerasi yang efektif.

Pertama, arkeologi OpenAI yang didirikan pada 11 Desember 2015. Sejak awal penuh dengan idealisme, dan visinya termasuk secara aktif mempromosikan pengembangan kecerdasan buatan umum (AGI) yang bermanfaat bagi seluruh umat manusia, bermanfaat bagi semua orang, dan melawan monopoli kecerdasan buatan oleh perusahaan besar atau segelintir orang.

Di bawah visi ini, dana telah dikumpulkan dari nama-nama besar termasuk Elon Musk, dan para pemberi dana tampaknya memberikan miliaran dolar kepada organisasi seiring pertumbuhannya. Saat ini, OpenAI hanya perlu peduli bagaimana mencapai cita-citanya khawatir tentang kebutuhan sehari-hari.

Namun, setelah kertas Attention is All you need yang kini terkenal di dunia muncul, OpenAI mengambil jalur hukum Penskalaan, yang merupakan jalur yang memerlukan konsumsi sumber daya yang besar.

Pada tahun 2019, untuk mendapatkan pembiayaan, OpenAI beralih ke struktur hibrida. Di bawah perusahaan induk OpenAI Inc., anak perusahaan OpenAI Global didirikan, di mana investasi Microsoft ditukarkan hingga 49% saham OpenAI Global.

Artinya, OpenAI tetap mempertahankan perusahaan induk nirlaba aslinya, namun di bawah perusahaan induk ini, anak perusahaan nirlaba bernama OpenAI Global dibuat. Anak perusahaan ini bisa menyerap uang investor modal ventura dan saham karyawan, artinya bisa menghimpun dana layaknya perusahaan biasa.

Namun OpenAI LP belum sepenuhnya berubah menjadi perusahaan biasa. Ia juga memiliki fitur khusus, yaitu "menangkap keuntungan". Artinya, meskipun menguntungkan, ada batasnya. Jika uang yang diperoleh melebihi batas tersebut, kelebihannya akan dikembalikan ke perusahaan induk nirlaba. Hal ini memastikan bahwa OpenAI LP tidak menyimpang dari tujuan awalnya yaitu memberi manfaat bagi seluruh umat manusia.

Namun, terdapat potensi risiko dalam struktur yang tampaknya inovatif tersebut, yaitu dewan direksi organisasi nirlaba OpenAI LP mengendalikan organisasi pencari keuntungan Open AI Global. Misi organisasi nirlaba adalah sumur -kepentingan seluruh umat manusia, bukan hak dan kepentingan pemegang saham. Microsoft mendapat 49% saham, namun tidak memiliki kursi dewan atau hak apa pun.

Yang lebih dramatis lagi adalah setelah Altman dikeluarkan dari dewan direksi, 98% karyawan mengancam akan mengundurkan diri dan menandatangani surat terbuka yang menuntut pengangkatannya kembali. Altman mengatakan dalam wawancara selanjutnya: "Insiden ini mungkin menghancurkan ekuitas semua orang, dan bagi banyak karyawan, ini adalah seluruh atau sebagian besar kekayaan mereka."

"Keramaian" karyawan biasa untuk kepentingan paling sekuler mengalahkan cita-cita besar AGI keselamatan para pendiri inti.

Selain struktur tata kelola OpenAI, gaya manajemen "kontroversial" Sam Altman juga telah terungkap secara online. Misalnya, Altman memiliki metode yang disebutnya manajemen "dinamis", yaitu melakukan sesuatu tanpa peringatan, menempatkan seseorang untuk sementara peran kepemimpinan, dan mengalokasikan sumber daya. Misalnya, Altman tiba-tiba mempromosikan peneliti kecerdasan buatan lainnya, Jakub Pachocki, ke posisi direktur penelitian. Direktur penelitian saat itu, Ilya Sutskever, menyatakan kegelisahannya dan menjanjikan sumber daya dan tanggung jawab kepada dua eksekutif berbeda pada saat yang sama , Namun Ilya merasa hal ini akan menimbulkan lebih banyak konflik.

Selain itu, gaya bersaing Sam Altman juga lebih serigala dan lugas, seperti diGPT-4oSebelum online, terungkap bahwa itu belum menjalani pengujian keamanan yang memadai. Rumor mengatakan bahwa waktu tersebut dipilih untuk memberikan penghalang yang lebih efektif terhadap pesaing Google.

OpenAI adalah pemicu gelombang AI generatif ini dan selalu dianggap sebagai yang terdepan. Namun, situasi saat ini menjadi semakin menantang: seluruh dunia menantikan banyaknya terobosan yang dimiliki OpenAI, namun pada saat yang sama, mereka juga menantikan apakah terobosan ini dapat diubah menjadi produk nyata. yang dapat menghasilkan keuntungan yang cukup - lagi pula, OpenAI Kekuatan produknya selalu dikritik oleh industri.

Selain itu, menurut prediksi dari lembaga investasi, OpenAI diperkirakan akan terus merugi tahun ini dan terus melatih model yang lebih kuat. Bagaimana melanjutkan pembiayaan juga menjadi isu yang harus dipertimbangkan OpenAI ketika kapasitas hematopoietiknya tidak mencukupi.

Lingkungan persaingan menjadi semakin sengit. Tidak hanya raksasa yang mengelilinginya, namun Microsoft, pemegang saham terbesar, mencantumkan OpenAI sebagai pesaing dalam laporan keuangan terbarunya. Ia juga harus menghadapi Antropic yang sama kuatnya.

Setelah Sam Altman kembali, dia mungkin menjadi "kesepian", dan dunia luar juga akan khawatir apakah dewan direksi ini, yang tampaknya telah menjadi "cangkang kosong", dapat terus menjaga OpenAI tetap memimpin.

Namun, seorang konsultan di bidang modal ventura mengungkapkan pandangan berikut kepada kami hari ini: "Manajemen asli OpenAI adalah sekelompok sarjana dengan latar belakang, integritas, dan cita-cita yang luar biasa; namun, mungkin perusahaan teknologi benar-benar dapat berkembang, tetapi mereka membutuhkan 'Tiran '. Tanpa 'tiran' yang sewenang-wenang, mungkin butuh waktu lama untuk mengambil keputusan."

OpenAI di bawah kepemimpinan "tiran" Altman, saya bertanya-tanya kemana tujuan akhirnya?

Rahasia kebangkitan OpenAI: Ultraman sangat menginginkan kekuasaan sejak dia masih kecil, dan mengandalkan koneksinya untuk mengumpulkan pengaruh yang besar