berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Laporan Kebijaksanaan Baru

Editor: Taozi

[Pengantar Kebijaksanaan Baru] Tanpa diduga, multi-modal Llama 4 sudah mulai berlatih secara maksimal. Xiao Zha mengatakan bahwa mereka akan berinvestasi sepuluh kali lipat dari jumlah perhitungan Llama 3 untuk melatih model tersebut, yang diharapkan akan dirilis pada tahun 2025. Dia menghabiskan banyak uang untuk membeli GPU, tapi dia takut itu akan terlambat.

Llama 3.1 baru saja dirilis, dan Llama 4 telah sepenuhnya dilatih.

Dalam beberapa hari terakhir, Xiao Zha mengatakan pada laporan keuangan kuartal kedua bahwa Meta akan menggunakan sepuluh kali lipat kekuatan komputasi Llama 3 untuk melatih multi-modal Llama 4 generasi berikutnya, yang diharapkan akan dirilis pada tahun 2025.

Dengan RUU ini, Lao Huang kembali menjadi pemenang terbesar

Apa konsep perhitungan sepuluh kali lipat?

Tahukah Anda, Llama 3 dilatih pada dua cluster GPU dengan 24.000 GPU. Dengan kata lain, pelatihan Llama 4 membutuhkan 240.000 GPU.

Jadi, apakah inventaris Meta cukup?

Saya masih ingat Xiao Zha mengumumkan di awal tahun bahwa dia berencana menyebarkan 350.000 Nvidia H100 pada akhir tahun.

Ia juga mengungkapkan rincian lebih lanjut. Meta akan membangun dua cluster tunggal secara internal untuk pelatihan LLM, satu dilengkapi dengan 22.000 blok H100, dan cluster lainnya dilengkapi dengan 24.000 blok.

Beberapa netizen pernah mengulas bagaimana penggunaan GPU meningkat selama proses iterasi model Llama:

Lama 1: 2048 GPU

Lama 2: 4096 GPU

Lama 3.1: 16384 GPU

Atau menghabiskan 40 miliar dollar AS, Xiao Zha tidak ingin terlambat

Dapat dilihat bahwa melatih model berukuran besar adalah bisnis yang mahal.

Laporan keuangan menunjukkan bahwa belanja modal Meta untuk server, pusat data, dan infrastruktur jaringan meningkat hampir 33% pada kuartal kedua.

Jumlah tersebut meningkat menjadi US$8,5 miliar dari US$6,4 miliar pada periode yang sama tahun lalu.

Pengeluaran tahunan kini diperkirakan mencapai $37 miliar hingga $40 miliar, naik dari perkiraan sebelumnya sebesar $35 miliar hingga $40 miliar.

Laporan dari Information mengatakan OpenAI menghabiskan $3 miliar untuk pelatihan model dan $4 miliar lainnya untuk menyewa server dari Microsoft dengan harga diskon.

Terlihat betapa ironisnya menghabiskan daya komputasi untuk melatih model berukuran besar.

Namun yang penting adalah open source Llama 3.1 akan menjadi titik balik penting dalam industri AI, dan kecerdasan buatan open source akan mulai menjadi standar industri seperti Linux.

Meta merencanakan cluster komputasi dan pusat data untuk beberapa tahun ke depan untuk mendukung model AI generasi masa depan.

Diakui Xiao Zha, sulit memprediksi jalur perkembangan teknologi AI di masa depan, namun pembangunan infrastruktur tidak berjalan cepat.

Meskipun ada ketidakpastian, saya bersedia mengambil risiko untuk membangun lebih awal daripada tertinggal dari pesaing saya karena kurangnya persiapan.

Pandangan ke depan Xiao Zha pernah membuat perusahaan menonjol dalam gelombang metaverse.

Ketika harga saham perusahaan terpukul keras pada tahun 2022, Xiao Zha tetap mengambil risiko dan membeli H100 dalam jumlah besar.

Laporan keuangan kuartal ketiga tahun itu menunjukkan belanja modal Meta mencapai US$32 miliar hingga US$33 miliar.

Sebagian besar dana ini digunakan untuk membangun pusat data, server, dan infrastruktur jaringan, serta investasi besar di Metaverse.

Dalam wawancara tersebut, Xiao Zha menjelaskan, "Pada saat itu, Meta sedang giat mengembangkan alat video pendek Reels, sehingga diperlukan lebih banyak GPU untuk melatih model tersebut."

Karena inferensi model merupakan hal yang krusial bagi Meta, ia perlu menyediakan layanan bagi pengguna aplikasinya sendiri seperti Facebook dan Ins.

Dalam kata-kata asli Xiao Zha:

Rasio perhitungan inferensi dan pelatihan yang kami perlukan mungkin jauh lebih tinggi dibandingkan perusahaan lain yang bergerak di bidang ini. Hal ini dikarenakan jumlah komunitas pengguna yang kami layani sangat besar.

Setiap orang memiliki agen AI

Beberapa waktu lalu, ilmuwan Meta AI Thomas Scialom juga menyebutkan dalam wawancara blog bahwa Llama 4 telah memulai pelatihan pada bulan Juni.

Dia mengatakan bahwa model baru ini mungkin berfokus pada teknologi agen, dan beberapa penelitian telah dilakukan pada alat agen seperti Toolformer.

Xiao Zha percaya bahwa agen AI akan segera menjadi "peralatan standar" bagi perusahaan online.

“Seiring berjalannya waktu, saya pikir sama seperti setiap bisnis yang memiliki situs web, akun media sosial, dan alamat email, di masa depan setiap bisnis akan memiliki agen AI yang dapat berinteraksi dengan pelanggan.”

Tujuan Meta adalah untuk memungkinkan setiap usaha kecil, dan bahkan setiap perusahaan besar, dengan mudah mengintegrasikan konten dan produknya ke dalam agen AI.

Ketika teknologi ini diterapkan dalam aplikasi praktis dalam skala besar, hal ini akan sangat mempercepat pendapatan informasi bisnis kita.

Meskipun ada kritik dari investor tentang tingginya pengeluaran Meta untuk AI dan Metaverse, Zuckerberg tetap berkomitmen pada strateginya.

Meskipun realitas virtual tampaknya tidak lagi menjadi prioritas dalam beberapa kuartal terakhir di Meta, Zuckerberg menyebutkan bahwa penjualan Quest 3 melebihi ekspektasi perusahaan.

Angka kuartal kedua menunjukkan bahwa pendapatan di bidang ini meningkat sebesar 22% menjadi US$39,1 miliar, dan laba meningkat sebesar 73% menjadi US$13,5 miliar.

Untuk kuartal ketiga, Meta mengharapkan pendapatan di kisaran $38,5-41 miliar.

Sumber mengatakan perusahaan akan mengumumkan sepasang headphone yang lebih murah pada konferensi Connect pada bulan September.

Selain itu, asisten AI Meta AI menjadi semakin populer, dan Xiao Zha mengatakan bahwa asisten tersebut diharapkan menjadi asisten AI yang paling banyak digunakan pada akhir tahun.

Referensi:

https://the-decoder.com/meta-plans-to-use-10-times-more-compute-power-to-train-its-next-generasi-lama-4-ai-model/

https://www.theverge.com/2024/7/31/24210786/meta-earnings-q2-2024-ai-llama-zuckerberg