Dialog dengan Xiong Dapeng, Ketua Teknologi Yizhu: Integrasi penyimpanan dan komputasi dapat memulai kurva pertumbuhan kedua daya komputasi di era AI
2024-08-14
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Ledakan kecerdasan buatan (AI) telah menimbulkan permintaan besar akan daya komputasi. Di era pasca-Moore, proses manufaktur chip yang canggih mendekati batas fisik, dan integrasi penyimpanan dan komputasi diharapkan menjadi salah satu jalur teknologi yang penting. di masa depan.
Penyimpanan dan komputasi terintegrasi, yaitu penyimpanan data dan komputasi terintegrasi dalam area yang sama dalam chip yang sama. Dalam aspek apa keunggulan kinerja dan biaya dari penyimpanan terintegrasi dan chip arsitektur komputasi tercermin? Apa saja tantangan yang dihadapi komersialisasi skala besar saat ini? Akankah integrasi penyimpanan dan komputasi menjadi peluang bagi industri chip dalam negeri untuk berpindah jalur dan menyalipnya?
China Business News baru-baru ini berdiskusi dengan Xiong Dapeng, pendiri, ketua dan CEO Yizhu Technology, mengenai topik di atas. Dalam pandangannya, teknologi terintegrasi penyimpanan dan komputasi memiliki potensi transformatif di bidang komputasi masa depan dan akan melanggar Hukum Moore dan memulai kurva pertumbuhan kedua dalam daya komputasi. “Khususnya di era AI, teknologi ini dapat menjadi faktor kunci dalam mendorong pertumbuhan daya komputasi.”
Hancurkan arsitektur von Neumann dan hilangkan tiga masalah utama
Di bawah arsitektur von Neumann tradisional, fungsi komputasi dan penyimpanan diselesaikan masing-masing oleh unit komputasi (CPU, GPU, dll. XPU) dan unit penyimpanan. Data diperoleh dari memori dan dikembalikan ke memori setelah diproses. Waktu yang diperlukan untuk mengangkut dan membaca data dari memori di luar unit pemrosesan seringkali beberapa kali lipat waktu komputasi, yang mengakibatkan penurunan efisiensi komputasi atau daya komputasi efektif.
“Saat ini, ketika model besar lazim, parameter model perlu dipindahkan untuk menyelesaikan penghitungan. Jumlah parameter sangat besar, dan waktu yang dihabiskan menyumbang proporsi yang besar, bahkan lebih dari 80%. Dalam beberapa kasus, hal ini Proporsinya bahkan lebih tinggi. Oleh karena itu, bandwidth data membatasi kinerja efektif chip mungkin P, tetapi kinerja sebenarnya mungkin jauh lebih rendah dari angka ini. Inilah yang disebut 'dinding penyimpanan'," Xiong Dapeng mengatakan kepada China Business News.
Seiring dengan masalah "masalah dinding penyimpanan", sejumlah besar energi yang dikonsumsi dalam proses transmisi, mengakibatkan penurunan yang signifikan dalam rasio efisiensi energi chip, yang merupakan "masalah dinding energi".
Selain itu, terdapat masalah "dinding kompilasi" - yaitu, penjadwalan aliran data dinamis itu rumit, dan kompiler tidak dapat secara otomatis mengoptimalkan operator dan program yang dapat dieksekusi untuk mencapai optimalisasi aliran data dalam kondisi statis dan dapat diprediksi penyesuaian untuk mencapai hal ini. Semakin tinggi daya komputasi efektif akan meningkatkan waktu dan biaya tenaga kerja untuk penerapan dan migrasi yang sebenarnya. “Ketiga poin ini sangat membatasi perkembangan industri AI, yang semakin kekurangan sumber daya dan meningkatkan konsumsi daya secara signifikan.”
Teknologi penyimpanan dan komputasi terintegrasi mematahkan arsitektur von Neumann, mengintegrasikan fungsi penyimpanan dan fungsi komputasi pada chip yang sama, dan secara langsung menggunakan unit penyimpanan untuk pemrosesan data. Dengan memodifikasi arsitektur komputasi dalam memori dari sirkuit "baca", teknologi tersebut dapat digunakan di sirkuit "baca". "Hasil operasi diperoleh di sirkuit dan hasilnya langsung" ditulis "kembali ke alamat tujuan memori. Transfer data yang sering antara unit komputasi dan unit penyimpanan tidak lagi diperlukan, sehingga menghilangkan konsumsi yang disebabkan oleh pergerakan data dan sangat mengurangi biaya konsumsi daya, sangat meningkatkan efisiensi komputasi.
"Teknologi penyimpanan dan komputasi terintegrasi diharapkan menjadi salah satu jalur teknis penting di era pasca-Moore. Dari prinsip pertama daya komputasi yang efektif, untuk integrasi penyimpanan dan komputasi, jumlah transfer data berkurang secara signifikan, dan efisiensi daya komputasi menunjukkan pertumbuhan linier. Dapat dikatakan bahwa penyimpanan dan daya komputasi terintegrasi Integrasi komputasi akan melanggar Hukum Moore dan membuka kurva pertumbuhan kedua dalam daya komputasi potensi di bidang komputasi masa depan, khususnya di era AI, teknologi ini dapat menjadi faktor kunci dalam mendorong pertumbuhan daya komputasi.” Kata Xiong Dapeng.
Sebuah solusi dengan efisiensi energi dan kinerja biaya yang lebih baik
Dibandingkan dengan chip memori bandwidth tinggi HBM yang baru-baru ini populer, chip arsitektur terintegrasi penyimpanan dan komputasi memiliki efisiensi energi sistem dan kinerja biaya yang lebih baik.
HBM adalah teknologi antarmuka memori berkinerja tinggi yang terutama digunakan untuk meningkatkan kemampuan pemrosesan data GPU dan sistem komputasi kinerja tinggi (HPC). Teknologi ini secara dramatis meningkatkan bandwidth dengan menumpuk chip DRAM secara vertikal dan menghubungkannya secara erat ke prosesor menggunakan interkoneksi berkecepatan tinggi.
“HBM merupakan jalur teknis yang efektif untuk mengatasi masalah 'storage wall', namun memerlukan biaya dan konsumsi daya, karena menyediakan bandwidth yang besar memerlukan konsumsi daya yang lebih tinggi, dan harganya juga sangat mahal, jauh melebihi harga DRAM tradisional.” Xiong Dapeng berkata, "Pada dasarnya, HBM adalah chip memori dan tidak memiliki fungsi komputasi. Ia perlu dipasangkan dengan chip komputasi seperti GPGPU untuk mencapai fungsi komputasi."
Dari perspektif biaya sistem, penyimpanan terintegrasi dan chip komputasi mungkin lebih rendah dibandingkan kombinasi GPGPU dan HBM tradisional.
Di satu sisi, hal ini disebabkan oleh kepadatan daya komputasi atau PPA yang lebih tinggi dari arsitektur penyimpanan dan komputasi terintegrasi. "Bandwidth data yang setara dari penyimpanan terintegrasi dan arsitektur komputasi jauh lebih besar daripada HBM, yang mungkin perbedaannya beberapa kali atau bahkan sepuluh kali lipat. Pada saat yang sama, kepadatan daya komputasinya lebih menguntungkan. Kekuatan komputasi efektif sebenarnya , kinerja biaya, dan rasio efisiensi energi akan jauh lebih tinggi dibandingkan solusi GPGPU+HBM,” kata Xiong Dapeng.
Di sisi lain, teknologi penyimpanan dan komputasi terintegrasi relatif tidak terlalu bergantung pada proses tingkat lanjut, sedangkan GPGPU dan HBM sangat bergantung pada proses tingkat lanjut. "HBM mengandalkan proses yang canggih dan memiliki risiko rantai pasokan yang besar. Namun, jika HBM mengadopsi jalur teknologi penyimpanan dan komputasi terintegrasi, meskipun tidak menggunakan proses yang canggih, seperti 12nm dan 22nm, kinerjanya mungkin tidak lebih buruk dari 4nm atau bahkan 3nm. Ini juga merupakan perubahan.
Dalam hal kinerja biaya, meskipun penyimpanan dan komputasi terintegrasi mungkin memerlukan lebih banyak chip untuk mencapai kinerja yang sama, kinerja biaya tinggi dan rasio efisiensi energi yang tinggi merupakan salah satu keunggulan signifikannya.
Hal ini dapat diimplementasikan dalam skala besar di bidang model besar dalam 2-3 tahun ke depan.
Penelitian dan penerapan teknologi penyimpanan dan komputasi terintegrasi semakin cepat di seluruh dunia.
Saat ini, perusahaan chip komputasi skala besar di luar negeri yang mengadopsi jalur penyimpanan dan komputasi terintegrasi termasuk perusahaan rintisan chip AI Groq, yang bernilai lebih dari 2,8 miliar dolar AS dan dianggap sebagai pesaing kuat Nvidia d-Matrix; mengakuisisi Microsoft, Temasek, Samsung, Marvell, Hainan, dll. Lux, Ericsson dan banyak perusahaan lain telah berinvestasi.
Selain itu, Samsung juga telah mempublikasikan penelitian tentang komputasi dalam memori berbasis MRAM di Nature dan menunjukkan akurasi tinggi dari algoritma AI-nya. SK Hynix telah meluncurkan produk komputasi dalam memori DRAM berdasarkan antarmuka GDDR, yang secara signifikan dapat meningkatkan kecepatan komputasi dan mengurangi konsumsi daya.
“Sejauh yang saya tahu, sebagian besar perusahaan luar negeri menerapkan integrasi penyimpanan dan komputasi berdasarkan SRAM, tetapi kapasitasnya rendah dan biayanya tinggi. Misalnya, solusi lengkap Groq memerlukan lebih dari 570 chip. Jika NVIDIA H100 digunakan, The jumlah chip hanya dalam satu digit. Hal ini terutama disebabkan oleh kepadatan penyimpanan yang tidak memadai. "Xiong Dapeng mengatakan bahwa banyak perusahaan baru dalam negeri telah membuat terobosan dalam teknologi penyimpanan dan komputasi terintegrasi, memberikan kemungkinan bagi industri chip Tiongkok untuk berpindah jalur dan menyalip.
Namun, ketika daya komputasi dari penyimpanan terintegrasi dan chip komputasi diperluas dalam skala besar, hal ini masih menghadapi banyak tantangan: pertama, masalah akurasi yang tidak dapat diandalkan; kedua, berdasarkan perhitungan analog, konversi digital ke analog membawa hambatan dalam energi konsumsi, ukuran cetakan, dan kinerja; Ketiga, model AI besar memiliki persyaratan kapasitas.
“Jalur yang sepenuhnya digital dapat menyelesaikan masalah ini dengan baik, yang juga menjadi dasar bagi Teknologi Yizhu untuk mengembangkan chip inferensi daya komputasi AI yang besar.”
Dalam penyimpanan analog umum dan sistem terintegrasi komputasi, data disimpan dalam bentuk sinyal analog, diwakili oleh level tegangan berbeda dalam unit penyimpanan, dan operasi seperti MAC dilakukan berdasarkan hukum Ohm dan Hukum Kirchhoff. Masalah terbesar dengan pendekatan ini adalah akurasi dan keakuratannya tidak dapat dipercaya, karena gangguan rangkaian analog dan berbagai variabel. Terlepas dari proses manufaktur atau lingkungan kerja, nilai-nilai yang diwakili oleh memristor akan mengalami kesalahan atau penyimpangan. Metode hibrida digital-analog mencoba menyeimbangkan masalah efisiensi dan akurasi, namun masih belum dapat menjamin akurasi dan keandalan akurasi yang tinggi.
Xiong Dapeng memperkenalkan bahwa solusi Yizhu Technology adalah penyimpanan digital sepenuhnya dan integrasi komputasi berdasarkan memristor (ReRAM). Karena sepenuhnya digital, data dimasukkan ke dalam unit penyimpanan dalam bentuk biner. Memristor hanya mewakili satu bit, dan hanya ada perbedaan antara level tinggi dan rendah, resistansi tinggi dan rendah, serta arus tinggi dan rendah. itu bisa diandalkan.
Selain itu, pengembangan penyimpanan dan komputasi terintegrasi juga menghadapi masalah implementasi proyek. “Sebagai jalur teknologi baru, cara memanfaatkan dan mengintegrasikan ke dalam ekologi yang ada merupakan sebuah tantangan besar. Kemampuan program dan kompatibilitas dengan ekologi yang ada sangatlah penting.”
Secara keseluruhan, teknologi penyimpanan dan komputasi terintegrasi dianggap secara global sebagai cara yang efektif untuk menyelesaikan kontradiksi antara permintaan daya komputasi yang tinggi dan biaya konsumsi energi yang tinggi. Hal ini juga memberikan peluang penting bagi industri chip Tiongkok untuk mengejar ketinggalan. Dalam beberapa tahun ke depan, seiring dengan semakin matangnya teknologi dan permintaan pasar yang meningkat, penyimpanan terintegrasi dan chip komputasi diharapkan dapat digunakan secara luas di banyak bidang dan mendorong perkembangan inovatif di seluruh industri. Saat ini, penerapan chip penyimpanan dan komputasi terintegrasi di bidang model besar masih dalam tahap pengembangan, dan Xiong Dapeng memperkirakan akan diimplementasikan dalam skala besar dalam 2-3 tahun ke depan.
(Artikel ini berasal dari China Business News)
