huawei merilis penyimpanan ai baru untuk memungkinkan pelatihan dan inferensi model besar ai dengan paradigma baru memori memori panjang
2024-09-21
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
pada tanggal 20 september, di data storage summit yang diadakan pada huawei connect conference 2024, dr. zhou yuefeng, wakil presiden huawei dan presiden lini produk penyimpanan data, merilis penyimpanan ai baru oceanstor a800, yang secara komprehensif meningkatkan pelatihan model besar ai dengan paradigma baru memori panjang dan kemampuan penalaran, membantu ribuan industri memasuki era kecerdasan digital.
zhou yuefeng, wakil presiden huawei dan presiden lini produk penyimpanan data, menyampaikan pidato utama
peradaban manusia telah berevolusi dari zaman batu kuno, ke zaman pertanian, zaman industri, dan sekarang ke zaman kecerdasan digital. data telah menjadi faktor produksi utama bagi pengembangan kekuatan produktif baru. orang-orang menggunakan data untuk mencapai perkembangan besar di bidang inti ai seperti model besar ai, kecerdasan yang diwujudkan, dan ai untuk sains.
era kecerdasan digital adalah masa keemasan data. meskipun skala data tumbuh secara eksplosif dan nilai data meningkat, era ini juga menghadapi tantangan seperti bandwidth xpu dan penyimpanan yang tidak mencukupi, rendahnya ketersediaan cluster komputasi, dan perluasannya. waktu inferensi, yang mengedepankan persyaratan penyimpanan yang lebih tinggi. era kecerdasan digital membutuhkan penyimpanan untuk ai. penyimpanan data dengan kinerja terbaik, skalabilitas tinggi, ketahanan data, pembangunan berkelanjutan, paradigma data baru, dan kemampuan tenun data adalah satu-satunya cara menuju era kecerdasan digital ai.
untuk mengatasi tantangan-tantangan di atas, huawei telah merilis penyimpanan ai terbarunya, oceanstor a800. berdasarkan kemampuan pelatihan model ai besar yang efisien, huawei telah meningkatkan kemampuan penalaran secara signifikan dan telah membuat lompatan besar dalam kinerja klaster dan paradigma data baru, serta mempromosikan aplikasi tersebut. ai di ribuan industri.
1. satu set perangkat penyimpanan ai mendukung pelatihan model besar tingkat 100.000 kartu. dengan membangun arsitektur teknis dengan berbagi penuh kartu jaringan front-end dan interkoneksi penuh pengontrol dan disk ssd back-end, satu perangkat penyimpanan dapat mendukung interkoneksi penuh cluster tingkat 100.000 kartu. satu set penyimpanan oceanstor a800 dapat mewujudkan koneksi penuh statis dengan cluster pelatihan hingga 192.000 kartu, meningkatkan kinerja sebesar 40% dan mengurangi penggunaan ruang hingga 80%.
2. dengan menggunakan penyimpanan dan komputasi, ketersediaan cluster ai meningkat sebesar 30%. gangguan pelatihan ai sering terjadi. menurut statistik, waktu pelatihan berkelanjutan terlama di pusat pelatihan ai hanya 2,6 hari, menyebabkan gpu/npu berulang kali menyimpan data ckpt. china mobile menggunakan penyimpanan ai huawei oceanstor untuk pelatihan model besar, mencapai cluster penyimpanan tunggal 150pb, bandwidth 8tb/s, dan kemampuan iops 230 juta. ketersediaan cluster meningkat sebesar 32%, memberikan dukungan kuat untuk pelatihan model skala besar berikutnya .
3. komputasi berbasis penyimpanan, penyimpanan memori jangka panjang meningkatkan pengalaman penalaran dan mengurangi biaya sistem.
konteks panjang telah menjadi tren perkembangan yang tak terhindarkan untuk penalaran model besar. menurut hukum penskalaan, memberikan daya komputasi penalaran yang cukup tinggi dan jumlah token perantara dapat sangat meningkatkan keakuratan penalaran. melalui penyimpanan ai profesional, token konteks panjang dan penalaran menengah yang besar dapat disimpan untuk waktu yang lama, memaksimalkan kemampuan berpikir logis dan penalaran model besar, terutama kemampuan berpikir lambat.
sebagai perangkat penyimpanan pertama di industri yang menyediakan kemampuan memori panjang, oceanstor a800 secara inovatif mengadopsi mekanisme cache kv multi-level untuk bertahan dan menggunakan kv-cache secara efisien, memungkinkan penalaran model besar memiliki kemampuan memori panjang dan mengurangi perhitungan berulang dalam tahap prefill. latensi inferensi pelanggan berkurang sebesar 78%, dan throughput satu kartu xpu meningkat sebesar 67%, sehingga secara signifikan meningkatkan pengalaman inferensi sekaligus mengurangi biaya.
penyimpanan ai baru di era kecerdasan digital memberikan nilai dalam skenario industri seperti kredit keuangan, analisis penelitian investasi, kesehatan medis, serta penelitian dan pengembangan obat-obatan. zhou yuefeng mengatakan bahwa di masa keemasan data, huawei telah meluncurkan kemampuan penyimpanan data yang canggih melalui penyimpanan ai yang inovatif dan meletakkan dasar bagi era kecerdasan digital.
