berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

hal-hal cerdas
Disusun oleh Chen Junda
SuntingPanken

Menurut laporan media asing, karena tingginya harga klaster daya komputasi AI dan banyaknya pesanan dari perusahaan-perusahaan besar, banyak universitas di Amerika menghadapi kekurangan daya komputasi yang serius, yang menyebabkan lambatnya penelitian AI di universitas-universitas dan universitas-universitas. kekurangan talenta penelitian AI.

Kekurangan daya komputasi di universitas-universitas telah terjadi sejak lama, dan bahkan universitas-universitas ternama serta pimpinan akademis pun merasa terganggu dengan masalah ini. Pada bulan Mei tahun ini, profesor Universitas Stanford Li Feifei mengatakan bahwa komunitas akademis menghadapi kekurangan sumber daya komputasi AI.Lab NLP Universitas Stanford hanya memiliki 64 GPU (NVIDIA A100). Pemenang Turing Award Geoffery Hinton bahkan berkata blak-blakan ketika siswanya meminta bantuan: "Saya tidak tahu harus berbuat apa lagi mengenai masalah ini selain bertanya kepada pemerintah.”

Sebaliknya, perusahaan induk Facebook, Meta, diharapkan melakukan hal yang samaIa memiliki cluster daya komputasi yang sangat besar yang setara dengan 600.000 NVIDIA H100, yang hampir 10.000 kali lipat dari cluster Stanford NLP Laboratory.

Namun 64 GPU di Laboratorium NLP Universitas Stanford sudah menjadi khayalan bagi banyak mahasiswa dari universitas lain. Faktanya, kecuali beberapa universitas ternama seperti Princeton University dan RWTH Aachen University di Jerman,Banyak universitas bahkan tidak memiliki GPU Nvidia A100.。

Dalam diskusi terkait di forum Reddit, beberapa mahasiswa doktoral dari universitas di Amerika Utara melaporkan bahwa universitas kecil hanya bisa mendapatkan GPU V100 yang dirilis oleh Nvidia beberapa tahun lalu.Situasi di universitas-universitas di Eropa dan Asia bahkan lebih parah lagiMenggunakan kartu grafis tingkat konsumen Nvidia untuk penelitian AI . Meski begitu, daya komputasi sangat langka, dan beberapa siswa harus membeli kartu grafis dengan biaya sendiri atau mengajukan subsidi daya komputasi dari NVIDIA, Amazon Cloud Service (AWS), dll.

Banyak universitas juga berupaya keras untuk mengubah status quo, seperti membangun klaster komputasi bersama melalui kerja sama antarsekolah, atau beralih ke arah penelitian AI lain yang memerlukan daya komputasi lebih rendah.

1. Kekurangan daya komputasi dan brain drain. Seberapa seriuskah kekurangan GPU di universitas?

Faktanya, sejak lama, universitas telah menjadi yang terdepan dalam penelitian AI.Banyak perkembangan terobosan yang telah dilakukan oleh para peneliti di perguruan tinggi.Misalnya, pada tahun 2015, Jascha Sohl-Dickstein, seorang postdoc di Universitas Stanford, menemukan model difusi pertama di dunia, yang menjadi dasar bagi banyak model pembuatan gambar dan video berikutnya.

Meskipun penelitian dasar di universitas sangat penting dalam gelombang inovasi teknologi, penelitian AI generatif baru-baru ini didominasi oleh perusahaan swasta. Hal ini terutama karena mereka memiliki akses terhadap daya komputasi dan data yang diperlukan untuk membangun dan melatih model besar seperti ChatGPT dan Gemini.

Penelitian AI generatif itu mahal. CEO OpenAI Sam Altman memperkirakan bahwa pelatihan GPT-4 akan menelan biaya sekitar $100 juta. CEO Meta Mark Zuckerberg mengumumkan pada awal tahun 2024 rencana untuk membeli 350.000 GPU NVIDIA H100 untuk memperluas daya komputasi Meta ke tingkat yang setara dengan 600.000 GPU NVIDIA H100. Dihitung berdasarkan harga jual H100 hampir 40.000 dollar AS,Ini akan menjadi pesanan besar senilai puluhan miliar dolar.

Saat ini, tidak ada universitas di dunia yang mampu memiliki infrastruktur daya komputasi AI sebesar ini. Sebagai sekolah Ilmu Komputer yang kuat, Universitas Princeton memiliki salah satu kelompok kekuatan komputasi AI terbesar di antara universitas-universitas Amerika.Namun cluster ini hanya memiliki 300 GPU NVIDIA H100, yang baru diperkenalkan secara resmi pada bulan Maret tahun ini.

Sanjeev Arora, direktur Pusat Bahasa dan Intelijen di Universitas Princeton, mengatakan tentang masalah ini, “Jika Anda tidak memiliki kemampuan komputasi, Anda tidak dapat melakukan penelitian skala besar, dan Anda bahkan tidak memenuhi syarat untuk berpartisipasi dalam percakapan.”。

Dalam diskusi terkait di forum Reddit, seorang mahasiswa PhD dari salah satu dari 5 laboratorium pembelajaran mesin terbaik di Amerika Serikat mengatakan bahwa mereka belum memiliki satu pun NVIDIA H100 sejauh ini.

▲Pertanyaan dari mahasiswa doktoral dari 5 laboratorium pembelajaran mesin terbaik di Amerika Serikat (Sumber: Reddit)

Seorang mahasiswa PhD dari Asia menghadapi dilema yang sama. Sebagian besar GPU yang dia gunakan adalah kelas konsumen, dan hanya ada satu atau dua, bukan cluster. Sekolahnya hingga saat ini memiliki server dengan delapan H100, dan aksesnya hanya terbatas. Mahasiswa doktoral itu berkata,Dalam dua minggu dia cukup beruntung bisa menggunakan GPU H100 untuk pelatihan, dia memperoleh lebih banyak data daripada yang dia kumpulkan dalam enam bulan sebelumnya.

▲Seorang siswa yang terlibat dalam penelitian CV di Asia mengingat serangkaian GPU yang pernah ia gunakan (Sumber: Reddit)

Siswa lain menceritakan bahwa sekolahnya tidak dapat menyediakan dukungan daya komputasi apa pun. Dia hanya dapat memperoleh kekuatan komputasi awan AWS sebesar US$1.000 melalui perusahaan magangnya.Jika Anda menggunakan kuota ini untuk menjalankan 8 blok cluster H100, Anda hanya dapat menggunakannya selama 1 hari. , tingkat daya komputasi seperti ini tidak dapat menghasilkan penelitian berkualitas tinggi. Ia juga mengatakan bahwa hal ini merupakan hal yang lumrah dalam penelitian AI di negara-negara dunia ketiga.

▲ Seorang mahasiswa master berbagi pengalamannya memperoleh kredit perhitungan melalui perusahaan magang (Sumber: Reddit)

Sumber daya komputasi universitas-universitas Eropa juga tidak optimis. Seorang siswa yang belajar di Jerman menceritakan betapa beruntungnya ia karena sekolahnya juga dapat menyediakan 16 GPU A100 dan puluhan model GPU lainnya.Di Eropa, banyak universitas dan laboratorium penelitian pada dasarnya tidak menyediakan dukungan daya komputasi.

▲ Seorang pelajar Eropa bersyukur atas sumber daya komputasi yang dimilikinya (Sumber: Reddit)

Mahasiswa lain dari RWTH Aachen University di Jerman menceritakan bahwa sekolahnya memiliki lebih dari 200 GPU NVIDIA H100, yang membuat iri banyak netizen. Namun, sumber daya ini digunakan bersama oleh semua perguruan tinggi dan juga dengan lembaga eksternal. Jika diperlukan waktu perhitungan yang lebih lama, diperlukan penerapan khusus.

▲Siswa dari RWTH Aachen University di Jerman berbagi kekuatan komputasi sekolah (Sumber: Reddit)

Orang-orang dari industri terkejut dengan kekurangan GPU di perguruan tinggi dan universitas. Orang dalam industri mengatakan bahwa dia bekerja untuk penyedia komputasi awan besar.Kontak harian dengan GPU H100 , mengembangkan dan memperbaiki perangkat lunak untuk itu. Sumber industri lainnya mengatakan bahwa GPU mutakhir dengan permintaan tinggi seperti H100 sering kali dipesan terlebih dahulu oleh pelanggan perusahaan besar sebelum ditambahkan ke pusat data, sehingga H100 "langka" bagi sebagian besar peneliti.

▲ Kalangan industri terkejut dengan kekurangan GPU di perguruan tinggi dan universitas (Sumber: Reddit)

Dalam kasus sumber daya komputasi yang tidak mencukupi, pelatihan jangka panjang sangatlah mewah. Cluster daya komputasi AI di universitas seringkali perlu diterapkan berhari-hari atau bahkan berminggu-minggu sebelumnya. Sekalipun digunakan, waktu penggunaannya terbatas. Banyak tugas pelatihan yang lebih besar yang sulit diselesaikan dalam satu siklus penggunaan, dan peneliti juga harus melakukan upaya ekstra untuk membangun pos pemeriksaan dan kode pemulihan.

Kurangnya sumber daya komputasi juga menyebabkan masalah brain drain di perguruan tinggi dan universitas. , para siswa yang tertarik melakukan penelitian AI generatif beralih ke perusahaan besar. Karena perusahaan teknologi besar umumnya memiliki daya komputasi ratusan atau ribuan kali lebih besar dibandingkan universitas, hal ini sangat menarik bagi talenta AI.

2. Membangun aliansi kekuatan komputasi dan mengubah arah penelitian. Universitas tidak mau dan tidak boleh ketinggalan.

Menghadapi krisis keterbelakangan dalam penelitian AI dan kehilangan talenta AI, banyak universitas berupaya untuk mendapatkan tambahan daya komputasi dan mengalihkan fokus penelitian mereka ke bidang penelitian AI yang tidak menggunakan banyak daya komputasi.

Hod Lipson, ketua Departemen Teknik Mesin di Universitas Columbia, mengatakan bahwa institusi akademis sedang berjuang untuk mendapatkan kekuatan komputasi.Namun untuk menyeimbangkan kedua kekuatan ini, akademisi, pengembang open source, dan pihak lain juga harus mempunyai suara dalam pengembangan teknologi ini.

Untuk mengatasi kekurangan daya komputasi di perguruan tinggi dan universitas, banyak perguruan tinggi dan universitas yang melibatkan pemerintah dalam proses pembangunan cluster daya komputasi. Pada awal tahun 2024, tujuh universitas dan lembaga penelitian, termasuk Universitas Columbia, Universitas Cornell, Universitas New York, dan Institut Politeknik Rensselaer, bergabung dengan pemerintah Negara Bagian New York dan badan amal untuk menciptakan aliansi kekuatan komputasi yang disebut Empire AI.

▲Anggota aliansi Empire AI (Sumber: situs resmi Empire AI)

Aliansi kekuatan komputasi ini telah mengumpulkan dana hampir $400 juta. US$275 juta di antaranya berasal dari pemerintah, dan sisanya berasal dari tujuh universitas dan lembaga penelitian yang berpartisipasi dalam aliansi ini. Mereka akan menggunakan dana tersebut untuk membangun pusat komputasi AI yang canggih, dan anggota aliansi dapat berbagi sumber daya komputasi ini, sekaligus berbagi biaya penyimpanan secara efektif.

Berbicara tentang alasan pembentukan aliansi ini, Kantor Gubernur Negara Bagian New York mengatakan:Saat ini, sumber daya komputasi AI semakin terkonsentrasi di tangan perusahaan teknologi besar, yang mempunyai kendali besar terhadap ekosistem pengembangan AI.Akibatnya, para peneliti, organisasi nirlaba, dan perusahaan kecil semakin tertinggal.Hal ini berdampak besar pada keselamatan AI dan masyarakat secara keseluruhan.

Akademisi dan industri juga secara aktif berkolaborasi, hal ini sudah umum terjadi di pusat teknologi AS seperti Silicon Valley, Seattle, dan Austin. Dan Grossman, dekan Fakultas Ilmu dan Teknik Komputer di Universitas Washington, mengatakan mereka memiliki program yang memungkinkan peneliti akademis juga bekerja di industri. Staf akademik memiliki akses terhadap sumber daya yang lebih baik, dan universitas dapat mempertahankan talenta-talenta tersebut.

Faktanya, ada banyak proyek penelitian AI penting yang tidak memerlukan daya komputasi tinggi. , seperti penelitian kemampuan menjelaskan AI, perencanaan AI dan penelitian kemampuan penalaran, dll. Di bawah keterbatasan daya komputasi, peneliti universitas mulai melakukan penelitian yang lebih bertarget untuk memastikan bahwa komunitas akademis tidak sepenuhnya dikalahkan oleh industri.

Kavita Bala, dekan Fakultas Ilmu Komputasi dan Informasi Universitas Cornell, mengatakan universitas dapat berinvestasi lebih sedikit dalam membangun dan melatih model bahasa besar dan lebih fokus pada pengembangan aplikasi berdasarkan model bahasa besar. Aplikasi semacam itu masih mutakhir dan memainkan peran besar dalam area aplikasi yang unik.

Profesor MIT Armando Solar-Lezama, yang karyanya berfokus pada pemanfaatan AI untuk pengembangan kode, percaya bahwa membangun model besar dari awal tidak mungkin dilakukan di dunia akademis. Siswa dan peneliti dapat fokus pada pengembangan aplikasi atau bahkan membuat data sintetis yang dapat digunakan untuk melatih model bahasa berukuran besar.

Solar Lesama mengatakan para profesor di kampusnya juga berinisiatif mendanai pembelian server dan chip, namun pendanaan bukanlah satu-satunya masalah.Sekalipun Anda punya uang, sulit mendapatkan GPU terbaik.

Kesimpulan: Kekurangan daya komputasi AI di universitas terus berlanjut, dan kerja sama antara berbagai pihak mungkin memiliki harapan untuk mengatasi situasi tersebut.

Dalam situasi saat ini ketika perusahaan teknologi besar mendominasi penelitian AI, penelitian AI di universitas merupakan pelengkap yang efektif untuk penelitian ini. Peneliti di perguruan tinggi tidak akan terpengaruh oleh faktor jangka pendek seperti laporan keuangan dan permintaan pasar seperti halnya peneliti di dalam perusahaan. Jika mereka dapat memperoleh lebih banyak sumber daya komputasi, mereka mungkin dapat memberikan hasil yang berdampak signifikan di bidang-bidang yang tidak atau tidak ingin diperhatikan oleh perusahaan.

Faktanya, dalam beberapa dekade terakhir, AI selalu menjadi bidang penelitian yang diremehkan, dan AI harus memanfaatkan pembelajaran mendalam dan pembelajaran mesin. Namun justru karena adanya peneliti yang gigih di universitas seperti Hinton, Yann LeCun, dan Yoshua Bengio yang terus melakukan penelitian relevan selama beberapa dekade, maka ledakan AI saat ini dapat terwujud.

Selain aliansi kekuatan komputasi seperti Empire AI di Negara Bagian New York, banyak universitas dan lembaga penelitian di Amerika Utara juga telah melakukan kerja sama lintas institusi dengan berbagai ukuran untuk berbagi sumber daya komputasi. Pada akhir tahun 2023, lebih dari sepuluh universitas di Tiongkok juga mendirikan China University Computing Power Alliance. Mungkin kerja sama semacam ini dapat membawa harapan untuk mengatasi kekurangan daya komputasi di perguruan tinggi.

Sumber: Jurnal Wall Street, Reddit