huawei rilascia un nuovo storage ai per consentire l'addestramento e l'inferenza di modelli ai di grandi dimensioni con il nuovo paradigma della memoria a memoria lunga
2024-09-21
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
il 20 settembre, al data storage summit tenutosi durante la huawei connect conference 2024, il dr. zhou yuefeng, vice presidente di huawei e presidente della linea di prodotti data storage, ha rilasciato il nuovo storage ai oceanstor a800, che migliora in modo completo l'addestramento dei modelli di grandi dimensioni ai con il nuovo paradigma della memoria lunga e delle capacità di ragionamento, aiutando migliaia di industrie a entrare nell’era dell’intelligenza digitale.
zhou yuefeng, vicepresidente di huawei e presidente della linea di prodotti di archiviazione dei dati, ha tenuto un discorso programmatico
la civiltà umana si è evoluta dall’antica età della pietra, all’era agricola, all’era industriale e ora all’era dell’intelligenza digitale. i dati sono stati un fattore di produzione chiave per lo sviluppo di nuove forze produttive. le persone utilizzano i dati per ottenere un grande sviluppo nei campi fondamentali dell’intelligenza artificiale, come i grandi modelli di intelligenza artificiale, l’intelligenza incorporata e l’intelligenza artificiale per la scienza.
l’era dell’intelligenza digitale è l’età dell’oro dei dati mentre la portata dei dati sta crescendo in modo esplosivo e il valore dei dati è in aumento, si trovano anche ad affrontare sfide come la larghezza di banda insufficiente di xpu e spazio di archiviazione, la scarsa disponibilità di cluster di elaborazione e l’estensione. tempo di inferenza, che impone requisiti di archiviazione più elevati. l’era dell’intelligenza digitale richiede storage per l’intelligenza artificiale. l’archiviazione dei dati con prestazioni eccezionali, elevata scalabilità, resilienza dei dati, sviluppo sostenibile, nuovi paradigmi di dati e capacità di tessitura dei dati è l’unica via per l’era dell’intelligenza digitale dell’intelligenza artificiale.
per affrontare le sfide di cui sopra, huawei ha rilasciato il suo nuovo storage ai oceanstor a800. basato sulle capacità di addestramento efficienti di modelli ai di grandi dimensioni, ha notevolmente migliorato le capacità di ragionamento e ha fatto passi da gigante nelle prestazioni dei cluster e in nuovi paradigmi di dati, promuovendo l'applicazione. dell’intelligenza artificiale in migliaia di settori.
1. un singolo set di dispositivi di archiviazione ai supporta l'addestramento di modelli di grandi dimensioni a livello di 100.000 carte. costruendo un'architettura tecnica con condivisione completa delle schede di rete front-end e interconnessione completa di controller e dischi ssd back-end, un singolo dispositivo di storage può supportare l'interconnessione completa di un cluster a livello di 100.000 schede. un set di storage oceanstor a800 può realizzare una connessione statica completa con un cluster di addestramento contenente fino a 192.000 schede, migliorando le prestazioni del 40% e riducendo l'utilizzo dello spazio dell'80%.
2. utilizzando storage ed elaborazione, la disponibilità dei cluster ai aumenta del 30%. le interruzioni dell'addestramento dell'ia si verificano frequentemente. secondo le statistiche, il tempo di addestramento continuo più lungo nel centro di formazione dell'ia è di soli 2,6 giorni, causando il salvataggio ripetuto dei dati ckpt da parte della gpu/npu. china mobile utilizza lo storage ai huawei oceanstor per l'addestramento di modelli di grandi dimensioni, ottenendo un cluster di storage singolo da 150 pb, larghezza di banda di 8 tb/s e capacità di 230 milioni di iops. la disponibilità del cluster è aumentata del 32%, fornendo un forte supporto per il successivo addestramento di modelli di grandi dimensioni su larga scala .
3. l'elaborazione basata sull'archiviazione, l'archiviazione della memoria a lunga memoria migliora l'esperienza di ragionamento e riduce i costi di sistema.
il contesto lungo è diventato una tendenza di sviluppo inevitabile per il ragionamento su modelli di grandi dimensioni. secondo la legge di scaling, fornire una potenza di calcolo del ragionamento e un numero di token intermedi sufficientemente elevati può migliorare notevolmente l'accuratezza del ragionamento. attraverso l'archiviazione professionale dell'intelligenza artificiale, è possibile archiviare a lungo contesto lungo e massicci token di ragionamento intermedio, massimizzando le capacità di pensiero logico e di ragionamento di modelli di grandi dimensioni, in particolare le capacità di pensiero lento.
essendo il primo dispositivo di storage del settore a fornire capacità di memoria lunga, oceanstor a800 adotta in modo innovativo un meccanismo di cache kv multi-livello per persistere e utilizzare in modo efficiente kv-cache, consentendo al ragionamento di modelli di grandi dimensioni di avere capacità di memoria lunga e ridurre i calcoli ripetuti nella fase di preriempimento. la latenza dell'inferenza del cliente è ridotta del 78% e il throughput di una singola scheda xpu è aumentato del 67%, migliorando significativamente l'esperienza di inferenza e riducendo i costi.
il nuovo storage basato sull’intelligenza artificiale nell’era dell’intelligenza digitale sta esercitando valore in scenari industriali come il credito finanziario, l’analisi della ricerca sugli investimenti, la salute medica e la ricerca e sviluppo di farmaci. zhou yuefeng ha affermato che nell'età dell'oro dei dati, huawei ha liberato capacità avanzate di archiviazione dei dati con il suo innovativo storage basato su intelligenza artificiale e ha gettato le basi per l'era dell'intelligenza digitale.
