notizia

“Spero che i nostri prodotti di prossima generazione possano ripetersiRispetto all'attuale NVIDIA B200Prodotti più avanzati…”

Questo è l'ultimo "piccolo obiettivo" condiviso da Yang Gongyifan, fondatore e CEO di Zhonghao Xinying, una startup di chip per l'addestramento all'intelligenza artificiale, recentemente a Xinying.Yang Gongyifan è un veterano senior della ricerca e sviluppo di chip. È stato impegnato nella ricerca e sviluppo di chip di fascia alta per più di dieci anni in aziende come Oracle e Google e ha partecipato al team principale di ricerca e sviluppo di chip come membro di.TPU di Google 2/3/4Progettazione e ricerca e sviluppo sono tornati in Cina alla fine del 2018 per formare un team completo di progettazione di chip e di verifica dei prototipi e hanno fondato Zhonghao Xinying nel 2020.

Secondo lui, nel 2023 Zhonghao XinyingRaggiungere profitti positivi per la prima volta, l'utile netto attribuibile alla società madre ha raggiunto 81,33 milioni di yuan e il reddito annuo ha raggiunto 485 milioni di yuan. Finora ha accumulato un totale di5cicli di finanziamento;QuelloIl chip di addestramento in TPU "Snap" sviluppato internamente è stato messo in produzione in serie, in cui la potenza di calcolo del modello formativo "Snap" raggiunge quella di NVIDIA A100Quasi 1,5 volte .Zhonghao Xinying utilizza il chip di addestramento AI "Snap" come pietra angolare e costruisce un cluster di calcolo intelligente AI su larga scala "Taize" attraverso le capacità di interconnessione inter-chip ad alta velocità di 1.024 chip.La scala di potenza di calcolo del cluster kilocard raggiunge i 200PFLOPS。

▲Chip di allenamento AI Zhonghao Xinying "Snap"

Diversamente dalla GPU che attualmente domina il mercato dei chip AI, la strada scelta da Yang Gongyifan è l'architettura TPU progettata specificamente per il deep learning: “L'architettura TPU è un'architettura naturalmente vantaggiosa per i modelli AI di grandi dimensioni lo stesso processo di produzione e lo stesso processo, raggiungerà da 3 a 5 volte le prestazioni dell’architettura GPU tradizionale”.

Yang Gong Yifan ha detto che Zhonghao Xinying è attualmenteL'unico nel paese che ce l'haTPUFormazione e promozione integrata dell'architetturaIntelligenza artificialeAzienda di tecnologia core dei chip . Egli prevede che nei prossimi 5-10 anni,TPUe classeTPULa quota di mercato dell'architettura raggiungerà80%,il resto10%-20%È tradizioneScheda grafica。

Oltre a promuovere la ricerca, lo sviluppo e l'implementazione di chip IA, Zhonghao Xinying ha anche auto-sviluppato un grande modello pre-addestrato in grado di fornire capacità di output "rigide", che alla fine sarà aperto a partner nel campo della finanza, dell'assistenza medica, dell'istruzione , ecc. per implementare modelli professionali di grandi dimensioni in campi verticali.

I chip AI sono una famosa corsa a lunga distanza che brucia denaro. Come può Zhonghao Xinying raggiungere la redditività in cinque anni? In quanto startup di chip, perché sviluppa i propri modelli di grandi dimensioni e costruisce il proprio centro di calcolo intelligente, e come intende distinguersi dalla concorrenza sempre più agguerrita per i chip IA nazionali? Recentemente, Yang Gongyifan, fondatore e CEO di Zhonghao Xinying, ha avuto una conversazione approfondita con Xinying Xinying, condividendo tutti i pensieri e le scelte nel processo imprenditoriale, nonché l'analisi e il giudizio sullo sviluppo tecnologico e sulle tendenze di implementazione aziendale.

▲ Yang Gongyifan, fondatore e amministratore delegato di Zhonghao Xinying

1. Oltre 10 anni di esperienza nella ricerca e sviluppo di chip, profondamente coinvolti nella ricerca e sviluppo di Google TPU, sono tornati in Cina per avviare un'impresa nel 2018

Gli oltre 10 anni di esperienza di Yang Gongyifan nel campo dei chip di fascia alta hanno gettato le basi per trovare la giusta direzione imprenditoriale.

Dopo aver conseguito un master in informatica presso l'Università di Stanford, Yang Gongyifan ha partecipato e guidato la progettazione e la produzione di 12 CPU ad alte prestazioni di alto livello, tra cui SPARCT8/M8 presso Oracle Corporation. Inoltre, ha l'esperienza di successo nel tape-. uscito più di dieci volte.

▲Articoli rilevanti pubblicati da Yang Gongyifan durante la sua permanenza in Oracle (Fonte: IEEE Xplore)

L'ingresso in Google nel 2017 gli ha piantato i semi per tornare in Cina per avviare un'impresa in futuro.

Mentre era in Google, Yang Gongyifan ha partecipato alla progettazione e alla ricerca e sviluppo di TPU 2/3/4 come membro del team principale di ricerca e sviluppo dei chip. Ha affermato che sono stati i dieci anni di esperienza precedenti a consentire loro di condurre ricerche basate sull'informatica esigenze delle applicazioni e dei modelli informatici Dopo la migliore ottimizzazione, TPU 2/3/4 è stato sviluppato con successo.

Nel giugno 2017, otto coautori di Google hanno pubblicato un capolavoro chiamato "L'attenzione è tutto ciò di cui hai bisogno", che sarà un sistema rivoluzionario basato sul TPU.Trasformatore L'architettura è portata all'estremo, il che rappresenta l'inizio della popolarità dell'architettura Transformer nella ricerca di modelli di grandi dimensioni. Allo stesso tempo, Yang Gongyifan ritiene che i modelli di grandi dimensioni saranno gradualmente dotati di intelligenza umana e che la TPU avrà un grande impatto sullo sviluppo industriale. Crede fermamente che i modelli di grandi dimensioni sostituiranno gli esseri umani e diventeranno il nucleo della produttività sociale nel 2025 e nel 2026.

▲Architettura TPU di Google (Fonte: YouTube)

Yang Gongyifan ritiene che questa volta la trasformazione del campo informatico mediante modelli di grandi dimensioni sia il più grande cambiamento nella storia umana. Poiché tutti i calcoli precedenti venivano eseguiti su un chip per completare una o più applicazioni, ora è la prima volta che migliaia di chip vengono utilizzati per completare una singola applicazione, il che pone enormi problemi all'implementazione dell'intera architettura informatica è un'opportunità.

Quello che pensa è che è raro avere una sfida così grande, un cambiamento così grande e una portata così ampia di scenari applicativi, quindi deve farlo. Sulla base di questa comprensione, è tornato a Shenzhen alla fine del 2018, ha formato un team per costruire un chip di addestramento AI TPU controllabile in modo indipendente prodotto a livello nazionale e ha fondato ufficialmente Zhonghao Xinying nel 2020.

Ciò ha inaugurato anche il suo primo momento di realizzazione imprenditoriale.2019Nel 2016, abbiamo visto che il simulatore era stato completato, testato e funzionato bene, il che ha dimostrato che la progettazione del chip era fattibile.

All’inizio dell’avvio di un’impresa, l’idea di Yang Gong Yifan era quella di formare innanzitutto un team in grado di realizzare prodotti. Pertanto, il team iniziale è atterrato a Shenzhen, ha costituito un team di progettazione del chip e un team di verifica del prototipo e ha completato la progettazione modulare del chip. Successivamente, Zhonghao Xinying è atterrato a Hangzhou nel 2020. Con la promozione del prodotto, l'ingresso di finanziamenti e la produzione di massa di chip, hanno creato un team completo della catena di fornitura e un team di marketing. Attualmente, le dimensioni del team hanno raggiunto più di 170 persone, di cui personale di ricerca e sviluppo rappresentano il 10% del totale. Il rapporto è superiore all’80%.

Ma la fase iniziale dell’avvio di un’impresa non è stata fluida. A quel tempo, la maggior parte degli operatori nazionali, degli istituti di investimento e dei clienti non riconosceva lo sviluppo futuro e le prospettive di applicazione dei grandi modelli nel settore. Secondo il ricordo di Yang Gongyifan, nei primi giorni della sua fondazione, Zhonghao Xinying non aveva alcun reddito. per due anni, e solo nel 2021 la sua prima operazione sarà ufficialmente redditizia nel 2023. Nel 2023 i ricavi della società raggiungeranno i 485 milioni di yuan, con un utile netto di pertinenza della capogruppo pari a 81,33 milioni di yuan.

Al momento, Zhonghao Xinying ha completato 5 cicli di finanziamento e l'importo del finanziamento divulgato include2022Anno9completato in mesiUNIl round di finanziamento ammonta a circa 100 milioni di yuan, guidato da Saizhi Bole Investment, con la partecipazione di Hangzhou High-tech Investment e altri;2023Completato in anni consecutiviPre-BEPre-B+cicli di finanziamenti, rispettivamente del valore di centinaia di milioni e decine di milioni di yuan.

Dal punto di vista di Yang Gongyifan, il riconoscimento da parte degli investitori è suddiviso in diverse fasi: nella fase iniziale, guardano al team, nel medio termine si concentrano sul fatto che i loro prodotti soddisfino la domanda del mercato e nella fase successiva si concentrano. se i prodotti hanno competitività di base e la nuova direzione di espansione del settore. Non importa dal punto di vista del layout del prodotto, della selezione tecnica del percorso o dell’integrità della squadra, Zhonghao Xinying non è rimasto indietro ad ogni passo.Allo stato attuale, Zhonghao Xinying è diventata l'unica azienda nel paese che padroneggiaTPUFormazione e promozione integrata dell'architetturaIntelligenza artificialeUn'azienda con tecnologia chip core.

due,Il TPU è naturalmente adatto ai modelli di grandi dimensioni,Le prestazioni del chip di addestramento AI sono 1,5 volte superiori a quelle dell'A100

“Lasciamo che la potenza di calcolo diventi la forza trainante dello sviluppo umano”, il layout aziendale di Zhonghao Xinying si sta sviluppando secondo questa visione.

Yang Gongyifan ha spiegato che la prima cosa da fare per raggiungere questo obiettivo è realizzare prima il chip, perché è l'infrastruttura più bassa. Dopo che l'infrastruttura sottostante è stata completata, il chip può essere integrato in una catena di fornitura completa per garantire che l'infrastruttura possa farlo Fornitura continua della produzione.

D’altro canto ci sono partner ecologici che implementano modelli industriali a livello di algoritmi. Il ruolo di Zhonghao Xinying in questo contesto è quello di auto-ricercare e pre-addestrare modelli di grandi dimensioni, per poi aprirli a partner industriali come finanza, istruzione e assistenza medica.

Nell’era dei grandi modelli,TPUETrasformatoreL'architettura è naturalmente adattabile.

Rispetto aprocessoreL'unità di calcolo scalare in eScheda graficaL'unità di calcolo vettoriale inTPULe attività computazionali possono essere completate utilizzando unità di calcolo bidimensionali o anche a dimensione superiore.TPUIl design semplifica l'implementazione e la connessione di cluster di schede kilo1024Diventa un chip32×32Una matrice bidimensionale consente a ciascun chip di raggiungere il 100% di simmetria con qualsiasi chip dell'intera rete.

Ha aggiunto,TPU L'architettura è ottimizzata per soluzioni di deep learning e può essere utilizzata anche per calcoli di deep learning su larga scala, come Intelligent Computing Network e Wanka Internet.Yang Gong Yifan ha detto, peròTPULe prestazioni sono relativamente scarse in termini di versatilità, ma in termini diIntelligenza artificialeNello scenario applicativo, a parità di processo produttivo e tecnologia,TPULa prestazione dell’architettura è tradizionaleScheda graficaDi3-5volte.

stabilito5 Nel 2018, Zhonghao Xinying ha raggiunto la produzione di massa e l'industrializzazione dei chip in un lampo.Questo è stato il suo secondo momento di successo, quando il team di ricerca e sviluppo è rimasto sveglio tutta la notte“accendere”, il processo di completamento della verifica del prodotto è ancora fresco nella sua memoria.

Rispetto a NVIDIAA100, sviluppato da Zhonghao XinyingAI GPTPUchip di allenamento“momento”Le prestazioni di calcolo sono sue1.5volte, il consumo di energia viene ridotto quando si completa la stessa quantità di attività di allenamento.30%, il costo unitario della potenza di calcolo è42%。

"Taizé"Intelligenza artificialeIl server è dotato di8 Un chip di addestramento "moment" può supportare l'addestramento e l'inferenza di modelli di grandi dimensioni con oltre 100 miliardi di parametri.Yang Gong Yifan ha rivelato che tra i prodotti consegnati durante l'attuale periodo di formazione, i clienti di Zhonghao Xinying hanno completatoLama 2Training e inferenza di altri modelli sul cluster Kcal.

“momento”Con un Gundam unico1024La capacità dell'interconnessione chip-to-chip ad alta velocità di costruire cluster informatici intelligenti su larga scala“Tainori”, le prestazioni del cluster di sistema sono quelle tradizionaliScheda graficaDecine di volte delIntelligenza artificialerequisiti informatici.

Zhonghao Xinying può farloTPU Un altro punto chiave del chip è che Yang Gongyifan ha affermato di non usare l'empirismo quando si reclutano ingegneri.Ha affermato che, lavorando con ingegneri esperti nelle prime fasi del processo di progettazione, hanno scoperto che questi ingegneri non erano in grado di comprendere il processo di progettazioneTPUÈ più probabile che l'innovazione di concetto e progettazione sia vincolata da esperienze ripetute e non sia in grado di pensare in modo più diretto per risolvere rapidamente i problemi e ottimizzare le prestazioni.

Di fronte alla domanda di maggiore potenza di calcolo nell'era dei modelli di grandi dimensioni, ha aggiunto che il cluster Wanka deve essere disponibile eTPUIl vantaggio naturale dell'architettura in termini di capacità di rete determina che abbia maggiori vantaggi nella creazione di cluster Wanka e abbia prestazioni relative migliori.

3. Entrando nel percorso di pre-formazione dei modelli di grandi dimensioni, la dimensione del mercato dell'architettura simile a TPU può raggiungere l'80%

L'anno scorso, Zhonghao Xinying ha anche introdotto i migliori talenti per formare un grande team di algoritmi modello.

Le prestazioni uniche dell'architettura TPU possono aumentare la libertà del software utilizzato nelle applicazioni aziendali e facilitare il completamento della progettazione parallela, ottenendo così l'ottimizzazione delle prestazioni e la costruzione del sistema.

Per trovare soluzioni che soddisfino meglio le esigenze delle imprese, i produttori di chip possono addestrare i propri modelli per comprendere meglio le caratteristiche del modello e gli scenari applicativi e aumentare la soddisfazione e la fedeltà dei clienti verso i chip. Gli attuali prodotti di grandi dimensioni per uso generale hanno generalmente forti capacità "flessibili" come la comprensione del testo, il recupero di informazioni da Internet e il dialogo a più livelli. Tuttavia, quando si affrontano scenari di applicazioni industriali altamente professionali, è spesso difficile comprendere la conoscenza aziendale in modo suddiviso campi della logica e della terminologia professionale; allo stesso tempo, l'accuratezza dei calcoli quantitativi di modelli generali di grandi dimensioni è scarsa e le capacità di calcolo esistenti non sono completamente in grado di soddisfare scenari applicativi del settore che richiedono un'elevata precisione numerica, come l'aviazione civile e la finanza.

Sulla base di ciò, Zhonghao Xinying sta costruendo un grande modello di base con capacità di output "rigide" e rendendo open source il grande modello di base a partner finanziari, educativi, medici e ad altri partner industriali per la cooperazione, consentendo ai partner industriali di effettuare la secondizzazione del modello basata sul stack software e dati corrispondenti. La formazione, l'annotazione dei dati, ecc. consentono al modello di possedere riserve di conoscenza del settore e di essere gradualmente implementato in scenari suddivisi per sostituire specifici ambienti di produzione.

Dall'anno scorso, hanno studiato come implementare la Demo. Dopo averne constatata la fattibilità, quest'anno hanno iniziato gradualmente ad avviare la pre-formazione dei modelli di settore.

Con un layout aziendale così completo e un giudizio sulle tendenze del settore, Yang Gongyifan ritiene che nell'era dei modelli di grandi dimensioni, nei prossimi 5-10 anni, la quota di mercato dei chip TPU e simili al TPU nel campo dell'hardware informatico AI raggiungerà L'80% e il restante 20% sono GPU tradizionali.

Ha inoltre chiarito gli obiettivi di Zhonghao Xinying nell’iterazione e nella commercializzazione del prodotto. Si prevede che i prodotti chip di prossima generazione sviluppati da Zhonghao Xinying consentiranno di valutare le prestazioni di NVIDIA B200. In termini di commercializzazione, si spera di approfondire la cooperazione con una gamma più ampia di clienti come integratori, operatori e importanti produttori di Internet.

Conclusione: è arrivata l’opportunità per l’esplosione del mercato dell’architettura TPU

Sin dalla sua fondazione nel 2018, Zhonghao Xinying ha assistito allo sviluppo di chip IA dalle prime fasi di sviluppo del mercato fino al periodo di opportunità in cui i modelli di grandi dimensioni hanno acceso la domanda del mercato. Ma guardando indietro, all’inizio del mercato dei chip AI, una startup ha dovuto affrontare diverse sfide se voleva occupare gradualmente quote di mercato con l’architettura TPU.

Al giorno d'oggi, i modelli di grandi dimensioni hanno comportato un aggiornamento della domanda di potenza di calcolo, i chip AI sono entrati in una nuova era e sono emersi i vantaggi dell'architettura TPU, il che ha anche reso le aspettative di Zhonghao Xinying per l'opportunità di esplosione del mercato in anticipo rispetto al previsto. Yang Gongyifan ha affermato di ritenere che gli scenari applicativi dell'intelligenza artificiale supereranno di gran lunga qualsiasi precedente scenario di utilizzo del computer e che le risorse informatiche richieste per i modelli di intelligenza artificiale supereranno anche l'immaginazione delle risorse informatiche nella storia umana. Ciò rende gli scenari applicativi dell'architettura TPU. La domanda del mercato aumenterà rapidamente nel breve termine.

Per il futuro, spera che Zhonghao Xinying possa diventare il leader nel settore cinese dei chip AI e che TPU abbia le migliori possibilità di diventare qualcosa di simile a "x86" in questo percorso. Un nuovo capitolo nella storia dei chip AI in Cina è iniziato...