berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Kebijaksanaan Baru

Editor: Departemen Editorial

[Pengantar Kebijaksanaan Baru]Pembangunan 100.000 unit H100 berpendingin cairan secara resmi dimulai, dan Musk membangun klaster pelatihan AI terkuat di dunia dalam 19 hari.

Pada pukul 4:20 pagi, cluster pelatihan superkomputer terbesar di seberang lautan mulai bergemuruh.

"420" juga merupakan meme favorit Musk, yang melambangkan kebebasan, tidak terkendali, dan anti-tradisi.

Musk sering menggunakan "420" dalam menentukan harga produknya, waktu rapat perusahaan, waktu peluncuran kapal luar angkasa, dan lain-lain.

Netizen juga bercanda di kolom komentar bahwa Musk memiliki rasa upacara yang tinggi dan tidak mulai bekerja sebelum pukul 4:20.

Dalam wawancara terbarunya, Musk mengungkapkan lebih banyak tentang kemajuan superkomputer baru dan model xAI:

- Grok 2 menyelesaikan pelatihan bulan lalu, menggunakan sekitar 15K H100

- Grok 2 akan dirilis bulan depan, setara dengan GPT-4 - Grok 3 sedang membangun 100.000 superkomputer H100 berpendingin cairan dan memulai pelatihan - Grok 3 diperkirakan akan dirilis pada bulan Desember, "Ini akan menjadi yang paling kuat di dunia dengan lalu "Kecerdasan Buatan Besar"

100.000 lembar H100 berpendingin cairan, selesai dalam 19 hari

Perlu dicatat bahwa cluster superkomputer terbesar di dunia memiliki 100.000 H100, yang berpendingin cairan.

Apa konsep H100 senilai 100.000 yuan?

Dari segi harga, GPU H100 adalah komponen kunci AI dan komoditas panas di Silicon Valley. Diperkirakan setiap unit berharga antara 30.000 dan 40.000 dolar AS. 100.000 unit H100 adalah pesanan besar sebesar 4 miliar.

Seorang Ph.D. pembelajaran mesin dari salah satu dari 5 universitas terkemuka di Amerika Serikat pernah memposting bahwa jumlah H100 di laboratorium adalah 0, dan GPU harus digunakan secara terburu-buru.

Li Feifei juga mengatakan dalam wawancara bahwa tim pemrosesan bahasa alami Stanford hanya memiliki 64 GPU A100.

Harga pembelian awal Musk adalah 100.000 yuan, angka yang membuat kolom komentar ngiler.

Dalam hal daya komputasi, daya komputasi tersebut sekitar 20 kali lipat dari 25.000 blok A100 yang digunakan OpenAI untuk melatih GPT4.

Dari segi konsumsi daya, untuk menjaga operasional pusat superkomputer ini saja, total daya yang dibutuhkan mencapai 70MW, setara dengan kapasitas terpasang pembangkit listrik biasa dan mampu memenuhi kebutuhan energi 200.000 orang.

Pada bulan Mei tahun ini, Musk menyatakan bahwa dia berharap untuk membangun "pabrik superkomputer" pada musim gugur tahun 2025.

Tampaknya untuk mempercepat pembangunan super cluster, ia memilih untuk membeli GPU H100 generasi saat ini daripada menunggu generasi baru H200 atau GPU B100 dan B200 berbasis Blackwell lainnya yang akan datang.

Meskipun pasar mengharapkan GPU pusat data Blackwell baru dari Nvidia akan tersedia sebelum akhir tahun 2024, Musk jelas tidak sabar untuk menunggu.

Perlombaan senjata AI saat ini menjadi semakin sengit, dan satu-satunya hal yang penting adalah kecepatan. Siapa pun yang dapat meluncurkan produk paling cepat akan segera menguasai pasar.

Sebagai perusahaan start-up, xAI perlu memimpin persaingan dengan raksasa lainnya.

Sebelumnya, puluhan miliar pesanan Musk dan Oracle berantakan. Musk tidak menyukai kecepatan lambat Oracle dan percaya bahwa pihak lain tidak membangun cluster komputasi dengan kecepatan yang layak.

Oracle, di sisi lain, merasa bahwa pemilihan lokasi superkomputer xAI tidak dapat memenuhi permintaan listrik. Karena negosiasi untuk puluhan miliar pesanan gagal, xAI dan Oracle berhenti mendiskusikan kemungkinan memperluas kerja sama yang sudah ada.

xAI tidak punya pilihan selain membangun pusat data kecerdasan buatannya sendiri di Memphis, Tennessee. Putusnya kerja sama dengan Oracle berarti xAI harus melakukannya sendiri dan membangun pusat data independen dengan 100.000 H100 untuk menghilangkan keterbatasan yang ada. kemampuan penyedia cloud seperti Oracle.

Musk sendiri mengatakan bahwa xAI memiliki cluster pelatihan AI terkuat di dunia dan jauh di depan.

Grok-3 terkuat di dunia mulai berlatih dan akan dilepasliarkan pada akhir tahun ini

Dalam wawancara terbaru Musk, dia mengungkapkan beberapa detail tentang pembuatan superkomputer.

Menurut Ted Townsend, presiden Greater Memphis Chamber, Musk hanya membutuhkan waktu sekitar satu minggu untuk memutuskan membangun superkomputer baru xAI di Memphis.

Setelah beberapa hari melakukan negosiasi sengit pada bulan Maret, Musk dan timnya memilih kota Tennessee karena kekuatannya yang melimpah dan kemampuannya untuk membangun dengan cepat, kata Townsend.

Selain itu, hanya butuh waktu 19 hari untuk membangun pusat superkomputer tersebut. Musk juga memuji kerja luar biasa tim tersebut dalam sebuah tweet.

Supermicro juga menyediakan sebagian besar dukungan perangkat keras untuk xAI, dan CEO-nya Charles Liang juga mengomentari tweet Musk, memuji kemampuan eksekusi tim.

Tujuan dari cluster pelatihan sebesar itu adalah untuk melatih Grok 3.

Pada awal bulan ini, Musk mengumumkan peluncuran Grok 2 pada akhir Agustus. Meski Grok-2 belum dirilis, Musk juga mengungkapkan beberapa detail Grok-3 untuk membangun momentum bagi model terkuat, Grok 3. .

Dalam sebuah wawancara dengan Nicolai Tangen, kepala Dana Kedaulatan Norwegia, Musk mengatakan pada bulan April tahun ini bahwa Grok 2 akan membutuhkan sekitar 20.000 H100 untuk pelatihan.

Grok 3 akan dirilis pada akhir tahun. Diperkirakan performa Grok 3 berdasarkan 100.000 pelatihan GPU akan lebih tinggi dibandingkan Grok 2.

Pusat superkomputer sebesar itu tentu saja membutuhkan dukungan sejumlah besar talenta dan teknologi. Musk juga terus merekrut orang-orang di Twitter untuk memperluas keunggulan data, talenta, dan daya komputasi secara ekstrem.

Referensi:

https://x.com/elonmusk/status/1815325410667749760

https://x.com/tsarnick/status/1815493761486708993