nouvelles

«J'espère que nos produits de nouvelle génération pourront évoluer jusqu'àPar rapport au NVIDIA B200 actuelDes produits plus avancés… »

C'est le dernier « petit objectif » partagé récemment par Yang Gongyifan, fondateur et PDG de Zhonghao Xinying, une startup de puces de formation en IA, à Xinying.Yang Gongyifan est un vétéran senior de la R&D sur les puces. Il est engagé dans la R&D sur les puces haut de gamme depuis plus de dix ans dans des entreprises telles qu'Oracle et Google, et a participé à l'équipe principale de R&D sur les puces en tant que membre de.Google TPU 2/3/4Conception et R&D, est retourné en Chine fin 2018 pour former une équipe complète de conception de puces et une équipe de vérification de prototypes, et a créé Zhonghao Xinying en 2020.

Selon lui, en 2023 Zhonghao XinyingRéaliser des bénéfices positifs pour la première fois, le bénéfice net attribuable à la société mère a atteint 81,33 millions de yuans et le revenu annuel a atteint 485 millions de yuans. Jusqu'à présent, elle a accumulé un total de 485 millions de yuans.5tours de financement;QueLa puce d'entraînement TPU auto-développée "Snap" a été mise en production en série, dans lequel la puissance de calcul du modèle d'entraînement "Snap" atteint celle du NVIDIA A100Près de 1,5 fois .Zhonghao Xinying utilise la puce de formation d'IA « Snap » comme pierre angulaire et construit un cluster informatique intelligent d'IA à grande échelle « Taize » grâce aux capacités d'interconnexion inter-puces à haut débit de 1 024 puces.L'échelle de puissance de calcul du cluster kilocard atteint 200PFLOPS。

▲Puce de formation AI Zhonghao Xinying "Snap"

Différent du GPU qui domine actuellement le marché des puces IA, la piste choisie par Yang Gongyifan est l'architecture TPU conçue spécifiquement pour le deep learning : « L'architecture TPU est une architecture naturellement avantageuse pour les grands modèles d'IA. Avec le même processus de production et le même processus, elle atteindra 3 à 5 fois les performances de l'architecture GPU traditionnelle.

Yang Gong Yifan a déclaré que Zhonghao Xinying était actuellementLe seul au pays à avoirTPUFormation et promotion en architecture intégréeIAEntreprise de technologie de base de puces . Il prédit que dans les 5 à 10 prochaines années,TPUet la classeTPULa part de marché de l'architecture atteindra80%,le reste10%-20%C'est une traditionGPU。

En plus de promouvoir la recherche, le développement et la mise en œuvre de puces IA, Zhonghao Xinying a également développé lui-même un grand modèle pré-entraîné capable de fournir des capacités de sortie « rigides », qui sera éventuellement ouvert aux partenaires des secteurs de la finance, des soins médicaux et de l'éducation. , etc. pour mettre en œuvre de grands modèles professionnels dans des domaines verticaux.

Les puces IA sont une course de fond bien connue pour brûler de l'argent. Comment Zhonghao Xinying peut-il atteindre la rentabilité en cinq ans ? En tant que startup de puces, pourquoi développe-t-elle ses propres grands modèles et construit-elle son propre centre de calcul intelligent, et comment compte-t-elle se démarquer de la concurrence de plus en plus féroce pour les puces d'IA nationales ? Récemment, Yang Gongyifan, fondateur et PDG de Zhonghao Xinying, a eu une conversation approfondie avec Xinying Xinying, partageant toutes les réflexions et choix dans le processus entrepreneurial ainsi que l'analyse et le jugement des tendances de développement technologique et de mise en œuvre commerciale.

▲ Yang Gongyifan, fondateur et PDG de Zhonghao Xinying

1. Plus de 10 ans d'expérience en recherche et développement de puces, profondément impliqué dans la recherche et le développement de Google TPU, sont retournés en Chine pour démarrer une entreprise en 2018.

Les plus de 10 ans d'expérience de Yang Gongyifan dans le domaine des puces haut de gamme lui ont permis de trouver la bonne direction entrepreneuriale.

Après avoir obtenu une maîtrise en informatique de l'Université de Stanford, Yang Gongyifan a participé et dirigé la conception et la production de 12 processeurs hautes performances de haut niveau, dont SPARCT8/M8, chez Oracle Corporation. sorti plus de dix fois.

▲Articles pertinents publiés par Yang Gongyifan pendant son séjour chez Oracle (Source : IEEE Xplore)

Rejoindre Google en 2017 lui a permis de retourner en Chine pour démarrer une entreprise à l'avenir.

Chez Google, Yang Gongyifan a participé à la conception et à la R&D du TPU 2/3/4 en tant que membre de l'équipe principale de R&D des puces. Il a mentionné que ce sont les dix années d'expérience précédentes qui leur ont permis de mener des recherches basées sur l'informatique. besoins des applications et des modèles informatiques Après la meilleure optimisation, TPU 2/3/4 a été développé avec succès.

En juin 2017, huit co-auteurs de Google ont publié un chef-d'œuvre intitulé « Attention is All You Need », qui sera un système révolutionnaire formé sur TPU.Transformateur L'architecture est poussée à l'extrême, ce qui marque le début de la popularité de l'architecture Transformer dans la recherche sur les grands modèles. Dans le même temps, Yang Gongyifan estime que les grands modèles seront progressivement dotés d'intelligence humaine et que le TPU aura un impact considérable sur le développement industriel. Il est fermement convaincu que les grands modèles remplaceront les humains et deviendront le noyau de la productivité sociale en 2025 et 2026.

▲Architecture Google TPU (Source : YouTube)

Yang Gongyifan estime que cette fois, la transformation du domaine informatique par de grands modèles constitue le plus grand changement dans l'histoire de l'humanité. Étant donné que tous les calculs précédents étaient effectués sur une seule puce pour compléter une ou plusieurs applications, c'est désormais la première fois que des milliers de puces sont utilisées pour réaliser une seule application, ce qui pose d'énormes problèmes pour la mise en œuvre de l'ensemble de l'architecture informatique derrière. c'est une opportunité.

Ce qu'il pense, c'est qu'il est rare d'avoir un si grand défi, un si grand changement et un si large champ de scénarios d'application, il doit donc le faire. Sur la base de cette compréhension, il est retourné à Shenzhen fin 2018, a formé une équipe pour construire une puce de formation IA TPU contrôlable indépendamment produite dans le pays et a officiellement créé Zhonghao Xinying en 2020.

Cela a également marqué le début de son premier moment de réussite entrepreneuriale.2019En 2016, nous avons constaté que le simulateur était terminé, exécuté et fonctionnait bien, ce qui prouvait que la conception de la puce était réalisable.

Au début de la création d’une entreprise, l’idée de Yang Gong Yifan était de former d’abord une équipe capable de fabriquer des produits. Par conséquent, l'équipe initiale a atterri à Shenzhen, a créé une équipe de conception de puces et une équipe de vérification de prototypes, et a achevé la conception modulaire de la puce. Après cela, Zhonghao Xinying a atterri à Hangzhou en 2020. Avec la promotion des produits, l'entrée en financement et la production de masse de puces, ils ont mis en place une équipe complète de chaîne d'approvisionnement et une équipe de marketing. Actuellement, la taille de l'équipe atteint plus de 170 personnes, dont du personnel de R&D. représentent 10% du total. Le ratio est supérieur à 80%.

Mais la première étape de la création d’une entreprise ne s’est pas déroulée sans heurts. À cette époque, la plupart des acteurs nationaux, des institutions d'investissement et des clients ne reconnaissaient pas les perspectives de développement et d'application futures des grands modèles dans l'industrie. Selon le rappel de Yang Gongyifan, au début de sa création, Zhonghao Xinying n'avait aucun revenu. pendant deux ans, et il faudra attendre 2021 pour qu'elle réalise sa première opération qui sera officiellement rentable en 2023. En 2023, le chiffre d'affaires de l'entreprise atteindra 485 millions de yuans, avec un bénéfice net attribuable à la société mère de 81,33 millions de yuans.

À l'heure actuelle, Zhonghao Xinying a réalisé 5 tours de financement, et le montant du financement divulgué comprend2022Année9terminé en moisUNLe cycle de financement s'élève à environ 100 millions de yuans, dirigé par Saizhi Bole Investment, avec la participation de Hangzhou High-tech Investment et d'autres ;2023Réalisé au cours d'années consécutivesPré-BetPré-B+cycles de financement, d'une valeur respective de centaines de millions et de dizaines de millions de yuans.

Selon Yang Gongyifan, la reconnaissance par les investisseurs se divise en plusieurs étapes: au début, ils examinent l'équipe, à moyen terme, ils se concentrent sur la question de savoir si leurs produits répondent à la demande du marché et, à un stade ultérieur, ils se concentrent. sur la question de savoir si les produits ont une compétitivité de base et la nouvelle direction d'expansion de l'industrie. Que ce soit du point de vue de la présentation du produit, du choix de l'itinéraire technique ou de l'intégrité de l'équipe, Zhonghao Xinying n'a pas pris de retard à chaque étape.À l'heure actuelle, Zhonghao Xinying est devenue la seule entreprise du pays à maîtriserTPUFormation et promotion en architecture intégréeIAUne entreprise dotée d'une technologie de base de puce.

deux,Le TPU est naturellement adapté aux grands modèles,Les performances de la puce d'entraînement IA sont 1,5 fois supérieures à celles de l'A100

“Laissez la puissance de calcul devenir le moteur du développement humain”, la structure commerciale de Zhonghao Xinying se déroule selon cette vision.

Yang Gongyifan a expliqué que la première chose à faire pour atteindre cet objectif est de fabriquer d'abord la puce, car il s'agit de l'infrastructure la plus basse. Une fois l'infrastructure sous-jacente terminée, la puce peut être intégrée dans une chaîne d'approvisionnement complète pour garantir que l'infrastructure peut fonctionner. Approvisionnement continu de la production.

D’un autre côté, il existe des partenaires écologiques qui mettent en œuvre des modèles industriels au niveau des algorithmes. Le rôle de Zhonghao Xinying à cet égard est d'auto-rechercher et de pré-former de grands modèles, puis de les ouvrir à des partenaires industriels tels que la finance, l'éducation et les soins médicaux.

A l'ère des grands modèles,TPUetTransformateurL'architecture est naturellement adaptable.

Par rapport àCPUL'unité de calcul scalaire en etGPUL'unité de calcul vectoriel dansTPULes tâches informatiques peuvent être réalisées à l'aide d'unités informatiques bidimensionnelles ou même de dimensions supérieures.TPULa conception facilite la mise en œuvre de clusters kilo-cartes, la connexion1024Une puce devient32×32Une matrice bidimensionnelle permet à chaque puce d'atteindre une symétrie à 100 % avec n'importe quelle puce de l'ensemble du réseau.

Il ajouta,TPU L'architecture est optimisée pour les solutions d'apprentissage profond et peut également être utilisée pour des calculs d'apprentissage profond à grande échelle, tels que Intelligent Computing Network et Wanka Internet.Yang Gong Yifan a dit, bien queTPULes performances sont relativement médiocres en termes de polyvalence, mais en termes deIADans le scénario d'application, sous le même processus de production et la même technologie,TPULa performance de l'architecture est traditionnelleGPUde3-5fois.

établi5 En 2018, Zhonghao Xinying a réalisé la production de masse et l'industrialisation de puces en un éclair.C'était son deuxième moment de réussite, lorsque l'équipe R&D restait éveillée toute la nuit.“allumer”, le processus de vérification du produit est encore frais dans sa mémoire.

Comparé à NVIDIAA100, développé par Zhonghao XinyingIA GPTPUpuce d'entraînement“moment”La performance informatique est son1.5fois, la consommation d’énergie est réduite en effectuant le même nombre de tâches d’entraînement.30%, le coût unitaire de la puissance de calcul est42%。

« Taizé »IALe serveur est équipé de8 Une puce de formation « moment » peut prendre en charge la formation et l'inférence de grands modèles comportant plus de 100 milliards de paramètres.Yang Gong Yifan a révélé que parmi les produits livrés au cours de la période de formation en cours, les clients de Zhonghao Xinying ont terminéLama 2Formation et inférence d'autres modèles sur le cluster Kcal.

“moment”Avec un Gundam unique1024La capacité de l'interconnexion puce à puce à haut débit pour créer des clusters informatiques intelligents à grande échelle“Tainori”, les performances du cluster système sont la norme traditionnelleGPUDes dizaines de fois duIAexigences informatiques.

Zhonghao Xinying peut faireTPU Un autre point clé de la puce est que Yang Gongyifan a déclaré qu'ils n'utilisaient pas l'empirisme lors du recrutement d'ingénieurs.Il a déclaré qu'en travaillant avec des ingénieurs expérimentés dès le début du processus de conception, ils ont constaté que ces ingénieurs étaient incapables de comprendre le processus de conception.TPUL'innovation en matière de conception et de conception est plus susceptible d'être liée à des expériences répétées et incapable de penser plus directement pour résoudre rapidement les problèmes et optimiser les performances.

Face à la demande d'une plus grande puissance de calcul à l'ère des grands modèles, il a ajouté que le cluster Wanka doit être disponible, etTPUL'avantage naturel de l'architecture en termes de capacités de mise en réseau détermine qu'elle présente plus d'avantages dans la construction de clusters Wanka et qu'elle offre de meilleures performances relatives.

3. En entrant dans la piste des grands modèles de pré-formation, la taille du marché de l'architecture de type TPU pourrait atteindre 80 %

L'année dernière, Zhonghao Xinying a également présenté les meilleurs talents pour former une grande équipe d'algorithmes de modèles.

Les performances uniques de l'architecture TPU peuvent accroître la liberté des logiciels utilisés dans les applications d'entreprise et faciliter la réalisation de conceptions parallèles, permettant ainsi d'optimiser les performances et la construction du système.

Afin de trouver des solutions qui répondent mieux aux besoins des entreprises, les acteurs des puces peuvent former leurs propres modèles pour mieux comprendre les caractéristiques du modèle et les scénarios d'application, et accroître la satisfaction et la fidélité des clients aux puces. Les produits grand modèle à usage général actuels ont généralement de fortes capacités « flexibles » telles que la compréhension de textes, la récupération d'informations sur Internet et le dialogue à plusieurs niveaux. Cependant, face à des scénarios d'application industrielle hautement professionnelles, il est souvent difficile de comprendre les connaissances commerciales en plusieurs parties. Domaines Logique et terminologie professionnelle ; dans le même temps, la précision des calculs quantitatifs des grands modèles généraux est médiocre et les capacités informatiques existantes sont totalement incapables de répondre aux scénarios d'application industriels qui nécessitent une grande précision numérique, tels que l'aviation civile et la finance.

Sur cette base, Zhonghao Xinying construit un grand modèle de base avec des capacités de production « rigides » et ouvre le grand modèle de base aux partenaires financiers, éducatifs, médicaux et autres partenaires industriels pour la coopération, permettant aux partenaires industriels d'effectuer une seconde seconde génération de modèles basée sur le la pile logicielle et les données correspondantes. La formation, l'annotation des données, etc. permettent au modèle de posséder des réserves de connaissances industrielles et d'être progressivement mis en œuvre dans des scénarios subdivisés pour remplacer des environnements de production spécifiques.

Depuis l'année dernière, ils étudient comment mettre en œuvre la démo. Après avoir constaté la faisabilité, ils ont commencé progressivement à commencer la pré-formation des modèles industriels cette année.

Avec une structure commerciale aussi complète et un jugement sur les tendances de l'industrie, Yang Gongyifan estime qu'à l'ère des grands modèles, au cours des 5 à 10 prochaines années, la part de marché du TPU et des puces de type TPU dans le domaine du matériel informatique d'IA atteindra 80 % et les 20 % restants sont des GPU traditionnels.

Il a également clarifié les objectifs de Zhonghao Xinying en matière d'itération et de commercialisation de produits. Les puces de nouvelle génération développées par Zhonghao Xinying devraient correspondre aux performances de référence du NVIDIA B200. En termes de commercialisation, l'entreprise espère approfondir la coopération avec un plus large éventail de clients tels que des intégrateurs, des opérateurs et des grands fabricants d'Internet.

Conclusion : l’opportunité pour le marché de l’architecture TPU d’exploser est arrivée

Depuis sa création en 2018, Zhonghao Xinying a été témoin du développement des puces d'IA depuis les premiers stades de développement du marché jusqu'à la période d'opportunité où les grands modèles ont déclenché la demande du marché. Mais avec le recul, au début du marché des puces IA, une startup devait faire face à divers défis si elle voulait occuper progressivement des parts de marché avec l'architecture TPU.

De nos jours, les grands modèles ont entraîné une augmentation de la demande de puissance de calcul, les puces IA sont entrées dans une nouvelle ère et les avantages de l'architecture TPU sont apparus, ce qui a également permis à Zhonghao Xinying d'anticiper plus tôt que prévu les opportunités d'explosion du marché. Yang Gongyifan a déclaré qu'il pensait que les scénarios d'application de l'IA dépasseraient de loin tous les scénarios d'utilisation informatique précédents, et que les ressources informatiques requises pour les modèles d'IA dépasseraient également l'imagination des ressources informatiques de l'histoire de l'humanité. Cela rend les scénarios d'application de l'architecture TPU, La demande du marché augmentera rapidement à court terme.

Pour l'avenir, il espère que Zhonghao Xinying pourra devenir le leader de l'industrie chinoise des puces d'IA, et que le TPU a les meilleures chances de devenir quelque chose de similaire au « x86 » dans cette voie. Un nouveau chapitre dans l’histoire des puces IA en Chine a commencé…