berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

pengarang丨barry

editor丨guan ju

sumber gambar丨midjourney

siapa yang bisa menggantikan nvidia?

di bidang gpu pusat data, pengapalan nvidia akan mencapai 3,76 juta unit pada tahun 2023, menguasai hampir 98% pangsa pasar global, yang bisa dikatakan tak tertandingi.

chip ai, juga dikenal sebagai akselerator ai atau kartu komputasi, adalah modul yang khusus digunakan untuk menangani sejumlah besar tugas komputasi dalam aplikasi kecerdasan buatan. chip tersebut terutama mencakup prosesor grafis (gpu), array gerbang yang dapat diprogram di lapangan (fpga), dan khusus aplikasi sirkuit terpadu ( asic) dll.

menurut gartner, pasar chip ai akan mencapai us$53,4 miliar pada tahun 2023, meningkat 20,9% dari tahun 2022, dan akan meningkat sebesar 25,6% menjadi us$67,1 miliar pada tahun 2024. pada tahun 2027, pendapatan chip ai diperkirakan akan meningkat lebih dari dua kali lipat ukuran pasar pada tahun 2023, yaitu mencapai $119,4 miliar.

perlombaan senjata kekuatan komputasi yang dilakukan oleh perusahaan-perusahaan raksasa besar tidak diragukan lagi telah menjadi kekuatan pendorong yang kuat bagi pasar chip ai.

mulai tahun 2024, hampir semua model besar arus utama akan memiliki lebih dari 100 miliar parameter, llama3 memiliki 400 miliar parameter, dan gpt4 memiliki 1,8 triliun parameter. model besar dengan triliunan parameter setara dengan cluster daya komputasi super besar dengan skala lebih dari 10.000 kilobyte.

openai memiliki setidaknya 50.000 gpu nvidia kelas atas, meta telah membangun cluster 10.000 kartu supernya sendiri yang terdiri dari 24.576 h100, dan google memiliki superkomputer a3 yang terdiri dari 26.000 h100... lebih dari 40.000 perusahaan telah membeli gpu nvidia, perusahaan seperti meta, microsoft, amazon, dan google menyumbang total 40% pendapatannya.

laporan keuangan menunjukkan margin laba kotor nvidia mencapai 71%, dimana margin laba kotor seri a100 dan h100 mencapai 90%. sebagai perusahaan perangkat keras, nvidia memiliki margin laba kotor yang lebih tinggi dibandingkan perusahaan internet.

dilaporkan bahwa chip ai nvidia untuk pusat data dihargai us$25.000-40.000 per buah, yaitu 7-8 kali lipat dari produk tradisional. kazuhiro sugiyama, direktur konsultan di firma riset omdia, mengatakan tingginya harga produk nvidia menjadi beban bagi perusahaan yang ingin berinvestasi di ai.

tingginya harga jual juga menyebabkan banyak pelanggan besar mulai mencari alternatif. pada tanggal 30 juli, apple mengumumkan bahwa model ai-nya dilatih menggunakan 8.000 google tpu. chip pertama openai juga diluncurkan hari ini. chip ini akan menggunakan proses tingkat angstrom a16 paling canggih dari tsmc dan dibuat khusus untuk aplikasi video sora.

di seluruh dunia, startup bintang chip ai dan unicorn bermunculan satu demi satu, mencoba mencuri makanan dari nvidia. diantaranya adalah unicorn sambanova yang didukung tiongkok dan etched yang baru muncul, serta cerebras systems, unicorn yang diinvestasikan oleh ceo openai altman, yang sedang melakukan ipo oleh presiden grup softbank masayoshi son setelah berhasil mendaftarkan arm tahun lalu, in juli tahun ini, mereka mengakuisisi perusahaan chip ai asal inggris, graphcore, dalam upaya membangun nvidia berikutnya.

sambanova, chip ai unicorn yang dibuat oleh orang tiongkok di stanford

pada tanggal 27 agustus, startup chip ai amerika, sambanova, memperkenalkan secara rinci untuk pertama kalinya sistem chip ai pertama di dunia yang baru diluncurkan untuk model kecerdasan buatan (ai) berskala triliunan parameter - berdasarkan chip ai reconfigurable data flow unit (rdu) sn40l .

menurut laporan, sistem 8 chip berdasarkan sn40l sambanova dapat memberikan dukungan untuk 5 triliun model parameter, dan panjang urutan pada satu node sistem dapat mencapai 256k+. dibandingkan dengan chip h100 yingwei, sn40l tidak hanya mencapai 3,1 kali kinerja inferensi h100, tetapi juga menggandakan kinerja pelatihan, dan total biaya kepemilikan hanya 1/10.

ceo sambanova rodrigo liang

ketiga pendiri perusahaan semuanya berlatar belakang stanford. di antara mereka, ceo rodrigo liang adalah mantan wakil presiden teknik sun/oracle. dua pendiri lainnya adalah profesor stanford. selain itu, ada banyak insinyur tiongkok di tim.

sambanova saat ini bernilai us$5 miliar (sekitar 36,5 miliar yuan) dan telah menyelesaikan 6 putaran pembiayaan dengan total us$1,1 miliar. investor termasuk intel, softbank, samsung, google venture, dll.

mereka tidak hanya menantang nvidia dalam hal chip, namun mereka juga melangkah lebih jauh dari nvidia dalam hal model bisnis: berpartisipasi langsung dalam membantu perusahaan melatih model swasta besar. dan chip tersebut tidak dijual sendiri, tetapi tumpukan teknologinya yang disesuaikan, mulai dari chip hingga sistem server, dan bahkan penerapan model besar.

ambisinya terhadap target pelanggan bahkan lebih besar lagi – menargetkan 2.000 perusahaan terbesar di dunia. saat ini, chip dan sistem sambanova telah memenangkan banyak pelanggan besar, termasuk laboratorium superkomputer terkemuka dunia, fugaku jepang, laboratorium nasional argonne amerika serikat, laboratorium nasional lawrence, dan perusahaan konsultan accenture.

rodrigo liang percaya bahwa medan perang berikutnya untuk komersialisasi model besar dan ai generatif adalah data pribadi perusahaan, khususnya perusahaan besar. pada akhirnya, alih-alih menjalankan satu model yang sangat besar seperti gpt-4 atau google gemini, perusahaan akan membuat 150 model unik berdasarkan subkumpulan data berbeda, dengan lebih dari satu triliun parameter gabungan.

strategi ini sangat kontras dengan pendekatan seperti gpt-4 dan google gemini, yang mana sebagian besar raksasa berharap dapat menciptakan model raksasa yang dapat menggeneralisasi jutaan tugas.

etched, sebuah perusahaan chip ai yang didirikan oleh dua orang lulusan harvard yang lahir pada tahun 2000-an

pendiri etched adalah dua orang dropout harvard yang lahir pada tahun 2000. gavin uberti pernah menjabat posisi senior di octoml dan xnor.ai, sedangkan chris zhu adalah orang china. selain menjabat sebagai peneliti pengajar di bidang ilmu komputer di universitas harvard, ia juga memiliki pengalaman magang di perusahaan seperti amazon.

mereka optimis dengan arah model besar sebelum chatgpt dirilis, sehingga mereka keluar dari universitas harvard pada tahun 2022 dan bersama-sama mendirikan etched dengan robert wachen dan mantan chief technology officer cypress semiconductor mark ross untuk membuat model chip besar yang didedikasikan untuk ai.

gavin uberti (kiri) dan chris zhu (kanan)

mereka mengambil cara yang unik: mereka hanya dapat menjalankan chip ai transformer dan mengadopsi desain asic. saat ini, hampir semua solusi di pasar mendukung model ai secara luas, dan mereka telah menentukan bahwa model transformer akan mendominasi seluruh pasar mulai akhir tahun 2022. mereka percaya bahwa peningkatan kinerja gpu terlalu lambat, dan satu-satunya cara adalah dengan menggunakan chip asic khusus. hanya dengan cara ini kita dapat mencapai lompatan dalam kinerja.

setelah dua tahun, pada tanggal 27 juni tahun ini, etched meluncurkan chip ai pertamanya, sohu, yang menjadi chip pertama di dunia yang didedikasikan untuk komputasi transformer.

ini menjalankan model besar 20 kali lebih cepat dari nvidia h100, dan lebih dari 10 kali lebih cepat dari chip b200 terbaik, yang diluncurkan pada bulan maret tahun ini. sebuah server yang dilengkapi dengan delapan chip sohu dapat menggantikan 160 gpu nvidia h100 secara penuh. meskipun sangat mengurangi biaya, tidak akan ada penurunan kinerja.

karena sohu hanya mendukung satu algoritma, sebagian besar modul aliran kontrol dapat dihilangkan. chip tersebut dapat mengintegrasikan lebih banyak unit perhitungan matematis, dan pemanfaatan daya komputasi dapat mencapai lebih dari 90%, sedangkan gpu hanya dapat melakukan 30%. untuk tim desain kecil, mempertahankan tumpukan perangkat lunak arsitektur tunggal jelas tidak terlalu membuat stres.

pada saat yang sama dengan peluncuran chip sohu, etched juga mengumumkan bahwa mereka telah menyelesaikan pembiayaan seri a senilai us$120 juta, yang dipimpin bersama oleh primary venture partners dan positive sum ventures.

investor utama dalam putaran pembiayaan ini termasuk investor terkenal silicon valley peter thiel, mantan cto platform perdagangan mata uang kripto coinbase dan mantan mitra umum a16z balaji srinivasan, ceo github thomas dohmke, salah satu pendiri cruise kyle vogt dan quora bersama-sama pendiri charlie cheever dan lagi.

cerebras systems, chip ai unicorn yang diinvestasikan oleh ultraman, berencana terburu-buru melakukan ipo

hal paling unik dari cerebras systems yang didirikan pada tahun 2015 adalah chipnya sangat berbeda dengan gpu nvidia mainstream. di masa lalu, chip menjadi semakin kecil berdasarkan hukum moore. mengambil contoh nvidia h100, ia memiliki 80 miliar transistor pada area inti 814 milimeter persegi.

chip ai cerebras memilih untuk membuat keseluruhan chip semakin besar, mengklaim telah “menciptakan chip dengan area terbesar di dunia.” menurut laporan, chip wse 3 yang dikembangkan oleh cerebras dipotong dari seluruh wafer, yang lebih besar dari piring dan mengharuskan seseorang untuk memegangnya dengan kedua tangan. sebuah chip wse 3 memiliki 4.000 miliar transistor (50 kali lipat dari h100) pada area inti lebih dari 46.000 milimeter persegi.

keripik yang lebih besar dari piring memerlukan kedua tangan untuk memegangnya. sumber: ars technica

cerebras mengklaim bahwa ukuran model besar ai yang dapat dilatih oleh chip mereka 10 kali lebih besar daripada model besar teratas di industri saat ini (seperti gpt-4 openai atau gemini google).

pada 27 agustus tahun ini, cerebras systems mengumumkan peluncuran layanan inferensi ai cerebras inference, yang disebut-sebut sebagai “yang tercepat di dunia.” menurut situs resminya, layanan inferensi ini 20 kali lebih cepat dari layanan nvidia sekaligus memastikan akurasi; bandwidth memori prosesornya 7.000 kali lipat dari nvidia, sementara harganya hanya 1/5 dari gpu, dan rasio harga/kinerjanya lebih baik. meningkat 100 kali lipat. cerebras inference juga menyediakan berbagai tingkat layanan, termasuk tingkat gratis, pengembang, dan perusahaan, untuk memenuhi berbagai kebutuhan mulai dari pengembangan skala kecil hingga penerapan perusahaan skala besar.

salah satu pendiri dan ceo andrew feldman meraih gelar mba dari universitas stanford, dan chief technology officer gary lauterbach diakui sebagai salah satu arsitek komputer terbaik di industri. pada tahun 2007, keduanya mendirikan perusahaan server mikro seamicro, yang diakuisisi oleh amd seharga us$334 juta pada tahun 2012, dan keduanya kemudian bergabung dengan amd.

menurut pemberitaan media asing, cerebras systems diam-diam telah mengajukan ipo di amerika serikat dan akan dicatatkan secepatnya pada oktober 2024. saat ini, perusahaan telah mengumpulkan dana sebesar us$720 juta dan bernilai sekitar us$4,2 miliar hingga us$5 miliar. salah satu investor individu terbesar adalah ceo openai sam altman. altman dilaporkan berpartisipasi dalam pembiayaan seri d cerebras senilai $81 juta.

tenstorrent, yang bergabung dengan master chip legendaris, akan menjadi "pengganti" nvidia

sebelum tahun 2021, tenstorrent masih merupakan perusahaan yang tidak dikenal. namun, perusahaan tersebut menjadi terkenal untuk sementara waktu ketika jim keller, seorang tokoh besar di industri semikonduktor yang dikenal sebagai "silicon immortal", mengumumkan bahwa ia akan bergabung dengan perusahaan tersebut sebagai chief technology officer dan presiden.

karier jim keller bisa disebut sebagai sejarah industri komputer. dari tahun 1998 hingga 1999, jim keller mengerjakan arsitektur k7/k8 yang mendukung athlon di amd; dari tahun 2008 hingga 2012, ia memimpin pengembangan prosesor a4 dan a5 di apple; dari tahun 2012 hingga 2015, ia memimpin k12 arm proyek di amd, proyek arsitektur zen; dari 2016 hingga 2018, ia mengembangkan chip autopilot fsd di tesla, dan dari 2018 hingga 2020, ia berpartisipasi dalam proyek misterius di intel.

jim keller bergabung dengan tenstorrent, berharap dapat memberikan "pengganti" untuk gpu nvidia yang mahal. dia yakin nvidia tidak melayani pasar tertentu dengan baik, dan pasar inilah yang coba ditangkap oleh tenstorrent.

tenstorrent mengatakan sistem galaxy-nya tiga kali lebih efisien dan 33% lebih murah dibandingkan nvidia dgx, server ai paling populer di dunia.

menurut laporan, tenstorrent diperkirakan akan merilis prosesor ai multiguna generasi kedua sebelum akhir tahun ini. menurut peta jalan terbaru tenstorrent pada musim gugur lalu, perusahaan bermaksud untuk merilis prosesor ai mandiri black hole dan chiplet quasar berdaya rendah dan berbiaya rendah untuk solusi ai multi-chip.

perusahaan mengklaim prosesor yang akan datang menawarkan efisiensi kinerja yang sebanding dengan gpu ai nvidia. pada saat yang sama, tenstorrent mengatakan arsitekturnya mengonsumsi bandwidth memori lebih sedikit dibandingkan pesaingnya, yang merupakan alasan utama efisiensi yang lebih tinggi dan biaya yang lebih rendah.

fitur utama dari chip tentorrent adalah masing-masing lebih dari 100 core memiliki cpu kecil, "otak di dalam otak." inti akan dapat "berpikir" sendiri, memutuskan data mana yang akan diproses terlebih dahulu, atau apakah akan membuang data tertentu yang dianggap tidak diinginkan untuk tugas-tugas penting, sehingga meningkatkan efisiensi secara keseluruhan.

hingga saat ini, tentorrent telah menyelesaikan setidaknya 6 putaran pembiayaan. sebelumnya, investor tentorrent sebagian besar adalah modal ventura, yaitu setelah jim keller bergabung, perusahaan menyelesaikan putaran baru pembiayaan sebesar us$100 juta pada agustus 2023, dan modal industri mulai bermunculan di antara para investor - hyundai automotive group dan samsung catalyst fund , cabang modal ventura samsung.

softbank mengakuisisi graphcore dengan harga diskon untuk menciptakan pesaing nvidia

graphcore didirikan pada tahun 2016 oleh cto simon knowles dan ceo nigel toon. perusahaan berkomitmen untuk mengembangkan intelligence processing unit (ipu), sebuah prosesor yang dirancang khusus untuk kecerdasan buatan dan pembelajaran mesin, dengan arsitektur dan keunggulan unik, seperti arsitektur mimd paralel masif, bandwidth memori tinggi, dan sram terdistribusi lokal yang digabungkan erat, dll.

graphcore berturut-turut meluncurkan sejumlah produk berbasis ipu, seperti prosesor ipu gc200, bow ipu, dll, dan terus melakukan peningkatan dan penyempurnaan teknis.

namun, pada bulan juli tahun ini, perusahaan chip ai inggris yang sedang kesulitan ini diakuisisi oleh softbank.

berdasarkan perjanjian tersebut, graphcore akan menjadi anak perusahaan yang dimiliki sepenuhnya oleh softbank dan terus beroperasi dengan namanya saat ini. menurut laporan, total nilai transaksi mungkin mencapai sekitar 400 juta pound (sekitar 500 juta dolar as, 3,56 miliar yuan), yaitu sekitar 82% lebih rendah dari penilaian putaran pembiayaan terakhir graphcore sebesar 2,8 miliar dolar as. softbank hanya membelinya dengan diskon 20%.

graphcore pernah dianggap sebagai “nvidia versi inggris.” namun, sejak tahun 2020, perusahaan belum menerima investasi baru dan juga kehilangan pesanan penting dari microsoft. hal ini membuatnya kekurangan finansial dan kesulitan operasional, serta gagal mengikuti tren umum di bidang chip ai. pada saat yang sama, amerika serikat terus memperketat kontrol ekspor semikonduktor ai tiongkok, yang juga mempengaruhi perkembangan graphcore di tiongkok pada akhirnya, amerika serikat harus memilih untuk menarik diri dari pasar tiongkok dan kehilangan seperempat dari total pendapatannya.

akuisisi graphcore ini tidak hanya mengkonsolidasikan posisi softbank di bidang chip ai, namun juga merupakan langkah penting dalam strategi ai son.

mantan insinyur google mendirikan groq untuk menciptakan spesies lpu baru

pada bulan agustus tahun ini, groq mengumumkan penyelesaian pembiayaan seri d senilai us$640 juta. investor termasuk blackrock, cisco investments, samsung catalyst fund, dll., dengan valuasi us$2,8 miliar.

perusahaan yang didirikan pada tahun 2016 oleh mantan insinyur google jonathan ross ini mengklaim bahwa perangkat keras unit pemrosesan bahasa lpu-nya dapat menjalankan model genai yang ada, seperti gpt-4, sepuluh kali lebih cepat dan hanya mengonsumsi sepersepuluh energi. perusahaan mencetak rekor kinerja model bahasa besar (llm) baru menggunakan llama 2 meta, dengan 300 token per detik per pengguna.

dibandingkan dengan keserbagunaan gpu, meskipun lpu berkinerja baik dalam pemrosesan bahasa, jangkauan aplikasinya sempit. hal ini membatasi kemampuan generalisasinya pada tugas ai yang lebih luas. selain itu, sebagai teknologi baru, lpu belum mendapat dukungan luas dari masyarakat, dan kegunaannya juga menghadapi tantangan.

groq berencana untuk menerapkan lebih dari 108,000 lpu pada akhir kuartal pertama tahun 2025, penerapan inferensi kecerdasan buatan terbesar di luar raksasa teknologi besar.