berita

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

akankah “festival gpu” nvidia berakhir?

sejak chatgpt oleh open ai dirilis di amerika serikat pada tanggal 30 november 2022, ai generatif (kecerdasan buatan) telah menjadi tren besar, dan gpu nvidia menjadi populer sebagai semikonduktor ai. namun, dalam produksi gpu, terdapat dua hambatan: proses kelas menengah tsmc dan memori bandwidth tinggi (hbm) yang ditumpuk dengan dram, yang menyebabkan kekurangan gpu secara global tsmc?”

di antara gpu-gpu tersebut, permintaan "h100" sangat tinggi, dengan harganya yang melonjak hingga $40.000, memicu apa yang disebut "gpu festival" nvidia.

dalam keadaan ini, tsmc menggandakan kapasitas produksi interposer pertengahan proses, dan produsen dram seperti sk hynix meningkatkan produksi hbm, sehingga waktu tunggu "h100" dipersingkat dari 52 minggu menjadi 20 minggu.

jadi, apakah “festival gpu” nvidia akan berakhir?

jadi, dalam artikel ini, kita akan membahas apakah "gpu day" nvidia akan segera berakhir. mari kita bahas kesimpulannya terlebih dahulu. diperkirakan pada tahun 2024, hanya 3,9% server ai kelas atas (definisinya akan dijelaskan nanti) yang diperlukan untuk pengembangan dan pengoperasian ai tingkat chatgpt yang akan dikirimkan. oleh karena itu, kebutuhan penyedia layanan cloud (csp) seperti google, amazon, dan microsoft sepertinya tidak dapat dipenuhi sama sekali. singkatnya, sejauh ini, "festival gpu" nvidia hanyalah permulaan, dan ledakan ai generatif yang komprehensif akan segera terjadi.

selanjutnya, mari kita tinjau secara singkat dua hambatan utama pada gpu nvidia.

dua hambatan gpu nvidia

dalam produksi gpu nvidia, tsmc pengecoran bertanggung jawab atas semua proses depan, tengah, dan belakang. di sini, proses peralihan mengacu pada proses produksi gpu, cpu, hbm, dan chip lainnya secara terpisah dan menempatkannya pada substrat persegi yang dipotong dari wafer silikon 12 inci. substrat ini disebut interposer silikon (gambar 1).

gambar 1 proses perantara yang muncul dari 2.5d ke 3d, seperti gpu nvidia (sumber: tadashi kamewada)

selain itu, paket gpu nvidia yang dikembangkan oleh tsmc disebut cowos (chip on wafer on substrate), namun dua hambatannya adalah kapasitas interposer silikon dan hbm (gambar 2). situasinya adalah sebagai berikut.

gambar 2 struktur cowos dan dua hambatan pada gpu nvidia (sumber: wikichip)

cowos dikembangkan pada tahun 2011, namun sejak itu, seiring dengan peningkatan kinerja gpu, ukuran chip gpu terus meningkat, dan jumlah hbm yang terpasang di gpu juga meningkat (gambar 3). akibatnya, interposer silikon semakin besar setiap tahunnya, sementara jumlah interposer yang tersedia pada satu wafer menurun dalam proporsi yang berbanding terbalik.

gambar 3 area interposer dan jumlah hbm meningkat setiap generasi (sumber: kc yee (tsmc))

selain itu, jumlah hbm yang dipasang di gpu bertambah, dan jumlah chip dram yang ditumpuk di dalam hbm juga bertambah. selain itu, dram diperkecil setiap dua tahun, dan standar hbm diperbarui setiap dua tahun untuk meningkatkan kinerja. oleh karena itu, pasokan hbm mutakhir terbatas.

dalam skenario ini, tsmc akan menggandakan kapasitas produksi interposer silikonnya dari 15,000 wafer per bulan sekitar musim panas 2023 menjadi lebih dari 30,000 wafer per bulan sekitar musim panas tahun ini. selain itu, samsung electronics dan micron technology telah memperoleh sertifikasi nvidia dan mulai memasok hbm mutakhir yang sebelumnya didominasi oleh sk hynix.

dipengaruhi oleh hal-hal di atas, waktu pengiriman nvidia h100, yang memiliki permintaan tertinggi, telah dipersingkat secara signifikan dari 52 minggu menjadi 20 minggu. jadi, seberapa besar peningkatan pengiriman server ai?

definisi dua jenis server ai

menurut "pengiriman server tahunan global, 2023-2024" (database laporan server, 2024) yang dirilis oleh digitimes research, ada dua jenis server ai:

sistem yang dilengkapi dengan dua atau lebih akselerator ai tetapi tidak dilengkapi hbm disebut "server ai universal".

sistem yang dilengkapi dengan setidaknya empat akselerator ai bertenaga hbm disebut "server ai kelas atas".

akselerator ai di sini mengacu pada perangkat keras khusus yang dirancang untuk mempercepat aplikasi ai, khususnya jaringan saraf dan pembelajaran mesin. contoh tipikalnya adalah gpu nvidia. selain itu, pengembangan dan pengoperasian ai generatif tingkat chatgpt memerlukan server ai kelas atas dalam jumlah besar dibandingkan server ai tujuan umum.

jadi, berapa volume pengiriman server ai umum dan server ai kelas atas?

server ai umum dan pengiriman server ai kelas atas

gambar 4 menunjukkan pengiriman server ai umum dan server ai kelas atas dari tahun 2022 hingga 2023. pengiriman server ai umum diperkirakan mencapai 344.000 unit pada tahun 2022, 470.000 unit pada tahun 2023, dan 725.000 unit pada tahun 2024.

gambar 4 pengiriman server ai umum dan server ai kelas atas (2022-2024) (sumber: digitimes research)

pada saat yang sama, server ai kelas atas yang diperlukan untuk pengembangan dan pengoperasian ai generatif tingkat chatgpt diperkirakan akan dikirimkan sebanyak 34.000 unit pada tahun 2022, 200.000 unit pada tahun 2023, dan 564.000 unit pada tahun 2024.

jadi, apakah pengiriman server ai kelas atas dapat memenuhi kebutuhan csp as?

gambar 5 menunjukkan jumlah pengiriman server, server ai umum, dan server ai kelas atas. ketika saya menggambar diagram ini dan melihatnya, saya terkejut dan bertanya-tanya, "apakah ini berapa banyak server ai kelas atas yang dikirimkan?" ini karena, melihat server secara keseluruhan, apakah itu server ai untuk tujuan umum masih merupakan server kecerdasan buatan kelas atas, dan pengirimannya sangat kecil.

gambar 5 pengiriman server, server ai umum, dan server ai kelas atas

sumber: penulis berdasarkan mic dan digitimes

saya bahkan lebih kecewa ketika mengetahui berapa banyak server ai kelas atas yang diperlukan untuk mengembangkan dan menjalankan ai generatif tingkat chatgpt.

server ai kelas atas diperlukan untuk menghasilkan ai pada level chatgpt

dilaporkan bahwa pengembangan dan pengoperasian chatgpt memerlukan 30.000 server ai kelas atas nvidia dgx h100 (gambar 6). melihat angka tiga puluh ribu unit ini, saya merasa pusing.

gambar 6 berapa banyak server ai kelas atas yang diperlukan untuk menjalankan chatgpt? (sumber: situs web hpc)

omong-omong, "nvidia dgx h100" dilengkapi dengan delapan chip "h100", dan harga setiap chip telah melonjak menjadi $40.000, sehingga total harga sistem menjadi $460.000. dengan kata lain, menghasilkan ai tingkat chatgpt memerlukan investasi sebesar 30.000 unit x $460.000 = $13,8 miliar (kira-kira 2 triliun yen berdasarkan $1 = 145 yen!).

menurut saya dunia ini penuh dengan sistem ai generatif, namun berapa banyak ai generatif mirip chatgpt yang sebenarnya telah (atau akan) dibuat? (gambar 7)

gambar 7 pengiriman server, pengiriman server ai kelas atas, dan jumlah sistem ai yang dihasilkan tingkat chatgpt (sumber: mic dan digitimes)

karena volume pengiriman server ai kelas atas pada tahun 2022 akan mencapai 34.000 unit, hanya satu sistem ai tingkat chatgpt yang dapat dibangun (ini adalah chatgpt). tahun berikutnya, pada tahun 2023, pengiriman server ai kelas atas akan mencapai 200.000 unit, sehingga 6 hingga 7 sistem ai tingkat chatgpt dapat dibangun. karena 564.000 server ai kelas atas diperkirakan akan dikirimkan pada tahun 2024, maka dimungkinkan untuk membangun 18 hingga 19 sistem ai tingkat chatgpt.

namun, perkiraan di atas mengasumsikan bahwa ai tingkat chatgpt dapat dibangun dengan 30.000 server ai kelas atas "nvidia dgx h100".namun, karena generasi ai kemungkinan akan menjadi lebih kompleks, mungkin diperlukan lebih dari 30.000 nvidia dgx h100 dalam kasus ini. jika mempertimbangkan semua hal, penyedia layanan komunikasi as kemungkinan besar tidak akan puas dengan pengiriman server ai kelas atas saat ini.

sekarang, mari kita lihat berapa banyak server ai kelas atas yang dimiliki setiap pengguna akhir (seperti csp di amerika serikat).

jumlah server ai kelas atas untuk pengguna akhir

gambar 8 menunjukkan jumlah server ai kelas atas menurut pengguna akhir. pada tahun 2023, microsoft, pemilik openai, memiliki jumlah server ai kelas atas terbesar yaitu 63.000 unit, namun pada tahun 2024, google akan melampaui microsoft dan memiliki jumlah server ai kelas atas terbesar.

gambar 8 server kecerdasan buatan kelas atas menurut pengguna akhir (2023-2024) (sumber: digitimes research)

lima besar pada tahun 2024 adalah google, peringkat pertama dengan 162.000 unit (5 sistem), microsoft peringkat kedua dengan 90.000 unit (3 sistem), super micro peringkat ketiga dengan 68.000 unit (2 sistem), dan amazon (67.000 unit) peringkat keempat. 2 sistem), diikuti oleh meta di tempat kelima dengan 46.000 unit (1 sistem) (angka dalam tanda kurung adalah jumlah sistem yang dapat dibangun oleh ai generasi kelas chatgpt). terlihat bahwa lima perusahaan pembangkit listrik tenaga panas matahari terbesar di amerika serikat memonopoli sekitar 80% sahamnya.

selanjutnya, mari kita lihat pengiriman akselerator ai kelas atas (gambar 9). seperti yang diharapkan, gpu nvidia adalah yang paling banyak digunakan untuk akselerator ai, mencapai 336.000 unit pada tahun 2024. namun yang mengejutkan, perusahaan terpopuler kedua bukanlah amd, melainkan google.

gambar 9 server ai kelas atas dengan akselerator ai (2023-2024) (sumber: digitimes research)

google mengembangkan tensor processing unit (tpu) sendiri sebagai akselerator ai. pada tahun 2024, jumlah server ai kelas atas yang dilengkapi dengan tpu ini akan mencapai 138.000. di sini, dari gambar 8 kita mengetahui bahwa google akan memiliki 162.000 server ai kelas atas pada tahun 2024. oleh karena itu, 138.000 unit diharapkan dilengkapi dengan tpu milik google, dan 24.000 unit sisanya dilengkapi dengan gpu nvidia. dengan kata lain, bagi nvidia, google adalah pelanggan sekaligus musuh yang tangguh.

selain itu, jika dilihat dari pengapalannya pada tahun 2024, amd yang menempati peringkat ketiga sebanyak 45.000 unit, disusul amazon yang menempati peringkat keempat sebanyak 40.000 unit. amazon juga mengembangkan aws trainium sebagai akselerator kecerdasan buatan. jika menunggu lebih lama lagi, amd mungkin akan dikalahkan oleh amazon.

singkatnya, nvidia saat ini memiliki pengiriman akselerator ai terbesar, namun google dan amazon menjadi pesaing kuatnya. pesaing nvidia bukanlah produsen prosesor amd (tentu saja bukan intel yang terancam punah), melainkan csp as google dan amazon.

booming ai generatif skala penuh akan segera terjadi

mari kita rangkum semuanya sejauh ini. menurut laporan digitimes research, pengiriman server ai kelas atas yang mampu mengembangkan dan menjalankan ai generatif tingkat chatgpt diperkirakan hanya berjumlah 3,9% dari seluruh server pada tahun 2024. volume pengiriman ini diyakini tidak dapat memenuhi kebutuhan csp.

dengan kata lain, “festival gpu” nvidia dari tahun 2023 hingga 2024 hanyalah permulaan. akibatnya, ledakan ai generatif besar-besaran kemungkinan besar akan terjadi. mari kita tunjukkan dasar-dasarnya di bawah ini.

gambar 10 menunjukkan pasar semikonduktor berdasarkan aplikasi dan perkiraan masa depan yang diterbitkan oleh asosiasi industri semikonduktor (sia). menurut prediksi sia, pasar semikonduktor global akan melebihi us$1 triliun pada tahun 2030.

gambar 10 perkiraan pengiriman semikonduktor berdasarkan aplikasi (sumber: sia blog)

pada tahun 2030, pasar terbesarnya adalah komputasi dan penyimpanan data. hal ini mencakup pc dan server (dan tentu saja server ai kelas atas), namun karena pengiriman pc sepertinya tidak akan meningkat secara signifikan, kemungkinan besar server akan menjadi mayoritas.

komunikasi kabel mengacu pada semikonduktor yang digunakan di pusat data. ini berarti bahwa pada tahun 2030, komputasi dan penyimpanan data ($330 miliar) + komunikasi kabel ($60 miliar) = total $390 miliar akan menjadi semikonduktor untuk pusat data (termasuk pc), dan menjadi pasar terbesar di dunia.

hal lain yang perlu diperhatikan adalah pasar pusat data dan prospeknya,seperti yang ditunjukkan pada gambar 11. setelah chatgpt dirilis pada tahun 2022, pasar pusat data diperkirakan akan terus tumbuh. pusat data terdiri dari tiga elemen: infrastruktur jaringan, server, dan penyimpanan, serta server dan penyimpanan masing-masing diperkirakan akan meningkat dua kali lipat pada tahun 2023 hingga 2029.

gambar 11 prospek pasar pusat data (boom ai generatif yang komprehensif belum tiba) (sumber: penulis berdasarkan data statista market insights)

dengan cara ini, semikonduktor server (termasuk server ai kelas atas) akan menempati pangsa terbesar di pasar global, dan pasar pusat data juga akan berkembang.

ulangi untuk terakhir kalinya.sejauh ini, "gpu festival" nvidia hanyalah acara pra-liburan. booming ai generatif secara besar-besaran akan segera terjadi.