notizia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Mengchen viene dal Tempio Aofei
Qubit |. Account pubblico QbitAI

Il chip più potente di NVIDIA, il B200, è stato costretto ad essere posticipato di tre mesi e le voci abbondavano.

Ecco la contromisura di Lao Huang: versione castrata del chipB200Aesposizione.

E' questo?"La capacità produttiva non è sufficiente, quindi dobbiamo sfruttare l'abilità dei coltelli per compensare."？

Esatto, secondo l'analisi SemiAnalysis, il problema principale riscontrato dal B200 è proprio questoCapacità produttiva insufficiente, più specificamenteIl nuovo processo di confezionamento CoWoS-L di TSMC ha una capacità produttiva insufficiente。

La versione castrata di B200A verrà inizialmente utilizzata per soddisfare le esigenze dei sistemi di intelligenza artificiale di fascia medio-bassa.

Versione castrata di B200A, la larghezza di banda della memoria si riduce

Perché si dice che B200A sia una versione castrata?

L'indicatore si riflette principalmente nella larghezza di banda della memoria.4 TB/s, direttamente rispetto agli 8TB/s promossi dal B200 nella conferenza stampa di inizio anno.Ridotto della metà。

Dietro questo c'è il processo di confezionamento di CoWoS-LRestituito CoWoS-S, si dice che anche il B200A sia compatibile con altre tecnologie di packaging 2.5D non TSMC come Samsung.

In generale, il packaging avanzato CoWoS ha attualmente tre varianti, CoWoS-S、CoWoS-Re CoWoS-L, la differenza principale risiede nella soluzione dell'interpositore.

interpositoreTra il wafer del chip e il circuito stampato, realizza lo scambio di informazioni tra il chip e il substrato di confezionamento, fornendo allo stesso tempo supporto meccanico e capacità di dissipazione del calore.

CoWoS-S ha la struttura più semplice e l'interpositore è equivalente a una piastra di silicio.

CoWoS-R utilizzatoTecnologia RDL(Strato di ridistribuzione, strato di ridistribuzione), l'interpositore è un materiale metallico sottile con una struttura multistrato.

CoWoS-L è il più complesso, aggiungendo aChip LSI(Local Silicon Interconnect, interconnessione locale del silicio), che può raggiungere una maggiore densità di cablaggio e può essere realizzato anche in dimensioni maggiori.

TSMC ha lanciato CoWoS-L perché la vecchia tecnologia incontrava difficoltà nel continuare a crescere in termini di dimensioni e prestazioni.

Ad esempio, sul chip di accelerazione AI MI300 di AMD, lo strato interpositore CoWoS-S è stato espanso fino a 3,5 volte lo standard originale, ma è ancora difficile soddisfare le future esigenze di crescita delle prestazioni dei chip AI.

Ma ora arriva la notizia che CoWoS-L ha riscontrato alcuni problemi durante l'aumento della capacità produttiva e potrebbero esserci problemi tra il silicio, l'interpositore e il substrato.Disadattamento del coefficiente di dilatazione termica, con conseguente flessione, necessita di essere riprogettato.

In passato, TSMC ha costruito una grande quantità di capacità produttiva di CoWoS-S, con Nvidia che occupava la quota maggiore. Ora la domanda di Nvidia può spostarsi rapidamente verso CoWoS-L, ma ci vorrà del tempo prima che TSMC converta la propria capacità produttiva al nuovo processo.

Inoltre, c'è la notizia che il nucleo del B200A (modello interno B102) verrà utilizzato anche per realizzare un'edizione speciale B20 in futuro, non entrerò nei dettagli.

L’addestramento del B200 su modelli di grandi dimensioni deve affrontare anche altre sfide

La specifica principale promossa da Blackwell è "una nuova generazione di unità di calcolo"GB200 NVL72, un cabinet ha 36 CPU + 72 GPU.

La potenza di calcolo è molto buona. La potenza di calcolo di un cabinet con precisione FP8 arriva a 720PFlops, che è vicina a quella di un cluster di supercomputer DGX SuperPod (1000PFlops) nell'era H100.

Ma anche il consumo energetico è molto buono Secondo le stime di Semianalysis.Densità di potenzaCirca per armadio125 kW , senza precedenti. Presenta sfide in termini di alimentazione, dissipazione del calore, progettazione della rete, parallelismo, affidabilità, ecc.

In effetti, l’industria non ha ancora domato completamente il cluster di carte da 1 milione di dollari utilizzato per la formazione di modelli di grandi dimensioni.

Ad esempio, il rapporto tecnico della serie Llama 3.1 ha sottolineato che durante l'allenamento si è verificato in media un guasto ogni tre ore, di cui il 58,7% causato dalla GPU.

Dei 419 guasti totali, 148 sono stati causati da vari guasti della GPU (inclusi guasti NVLink) e 72 sono stati causati specificamente da guasti della memoria HBM3.

Quindi, in generale, anche se Lao Huang finalmente spedisse il B200, ci vorrà ancora più tempo prima che il gigante dell’intelligenza artificiale costruisca effettivamente il cluster B200 e investa nell’addestramento di modelli di grandi dimensioni.

GPT-5, Claude 3.5 Opus, Llama 4, ecc., che hanno già iniziato l'addestramento o sono in fase di completamento, non potranno essere utilizzati. La potenza di Blackwell non sarà testimoniata fino alla prossima generazione di modelli.

Un'altra cosa

In risposta alle voci sul rinvio del B200, NVIDIA ha dato una risposta ufficiale:

La domanda per Hopper è forte e le prove sui campioni di Blackwell sono iniziate su larga scala,Si prevede che la produzione aumenterà nella seconda metà dell’anno。

Non verrà data alcuna risposta specifica riguardo al ritardo di tre mesi.

Tuttavia, Morgan Stanley si è mostrata più ottimista nel suo ultimo rapporto, ritenendo che la produzione sarà sospesa solo per circa due settimane.

Link di riferimento:
[1]https://x.com/dylan522p/status/1820200553512841239
[2]https://www.semianalysis.com/p/nvidias-blackwell-reworked-shipment
[3]https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/cowos.htm
[4]https://www.trendforce.com/news/2024/03/21/news-blackwell-enters-the-scene-a-closer-look-at-tsmcs-cowos-branch/
[5]https://ieeexplore.ieee.org/document/9501649