dialogue à la china computing power conference｜l'académicien liu yunjie : la puissance de calcul nationale doit compenser ses lacunes grâce aux clusters gpu
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
l’ère de l’ia (intelligence artificielle) est aussi celle de la puissance de calcul. les entreprises technologiques et les opérateurs de télécommunications nationaux et étrangers ont « enroulé » 10 000 cartes, voire plus de 10 000 cartes, mais des problèmes tels que la compatibilité écologique et l'informatique hétérogène sont également devenus des montagnes que l'industrie doit gravir.
le 28 septembre, lors de la cérémonie d'ouverture de la china computing power conference 2024, liu yunjie, académicien de l'académie chinoise d'ingénierie, a déclaré dans une interview avec beijing news shell finance et d'autres médias que les gpu nationaux ne seraient toujours pas en mesure de rivaliser. avec des pays étrangers dans un court laps de temps. un moyen possible de combler ces lacunes consiste à construire un réseau de puissance de calcul pour « former toute la puissance de calcul » et exploiter pleinement l'effet des clusters gpu.
en outre, il a souligné qu'il n'est pas possible de déterminer simplement quel type d'entreprise présente le plus d'avantages dans la construction d'un réseau de puissance de calcul, mais principalement par le biais d'une évaluation technique. "cela dépend si votre technologie peut être utilisée et développée, et si votre innovation et le chemin que vous empruntez répondent aux besoins." concernant le problème du coût de la puissance de calcul, il a encore souligné qu'"il doit être résolu avec de nouvelles technologies".
à l'heure actuelle, la technologie de réseau déterministe étudiée par liu yunjie permet d'économiser 60 à 70 % des coûts. le projet de planification de réseau informatique qu'il a lancé en collaboration avec d'autres institutions peut permettre de réaliser plusieurs formations hors site pour atteindre une efficacité de 80 %. formation ponctuelle.
liu yunjie, académicien de l'académie chinoise d'ingénierie. photo gracieuseté de la personne interrogée.
il est recommandé de suivre la voie des grands modèles industriels pour résoudre les problèmes de circulation des données et d'utilisation de la puissance de calcul.
"la chine doit emprunter la voie des modèles industriels à grande échelle", a souligné liu yunjie dans son discours d'ouverture. il estime que les grands modèles nationaux à usage général pourraient être loin derrière les états-unis à court terme et qu'il sera difficile de rattraper leur retard.
il a proposé que si les entreprises modèles nationales peuvent bien former les données industrielles et créer de grands modèles industriels basés sur de grands modèles généraux, elles « peuvent certainement suivre la voie chinoise ». il est optimiste quant à cette orientation technique car il estime que « les données industrielles chinoises sont les plus complètes et les plus complètes ».
dans le même temps, il a déclaré que le développement de modèles industriels à grande échelle nécessite les efforts conjoints du gouvernement, des entreprises et du capital. il a déclaré à un journaliste de shell finance qu'à l'heure actuelle, le partage et la circulation des données nationales doivent encore être renforcés, ce qui a eu un impact sur le grand modèle du secteur de la formation, et que « tout le monde est encore en train d'explorer » quel type de piste est plus prometteur.
les données divulguées lors de la china computing power conference de 2024 montrent que l'échelle totale de la puissance de calcul nationale atteint 246 eflops. selon l'observation de liu yunjie, la puissance de calcul nationale a atteint une certaine échelle, mais le taux d'utilisation n'est pas très idéal.
"si la puissance de calcul veut servir l'économie réelle, plusieurs parties doivent être d'accord." liu yunjie estime que tout d'abord, les fournisseurs de puissance de calcul et de réseau doivent faire du bon travail, "(car) ils ont obtenu des avantages grâce à ces services". en outre, le gouvernement devrait dire de bonnes choses, « (parce que) le gouvernement a résolu le problème ». enfin, les entreprises doivent bien dire : "(parce que) les entreprises ont amélioré leur propre efficacité en utilisant la puissance de calcul et internet".
il a souligné que l'effet de « l'accord d'une partie » n'est pas durable, ce qui signifie que l'industrie n'a pas établi un écosystème de puissance de calcul. "si nous ne résolvons pas le problème écologique, nous ne pourrons pas utiliser (la puissance de calcul)."
le réseau déterministe est l'une des technologies de base du futur réseau de puissance de calcul, qui permettra d'économiser 60 à 70 % des coûts.
"la formation sur de grands modèles nécessite une transmission de données sans perte et impose des exigences sur les indicateurs de réseau tels que la perte de paquets, la gigue et le retard", a déclaré liu yunjie. prenant comme exemple les normes internationales de données, il a expliqué que si le taux de perte de paquets atteint cinq millièmes, l'efficacité de la transmission chutera de 50 %.
il a en outre expliqué que cela revient à utiliser la totalité de la bande passante 100g pour transmettre des données, et que seule la bande passante 50g est utile. "quand elle descend à 1%, son efficacité est approximativement égale à 0, ce qui rend impossible l'entraînement et le raisonnement."
le protocole rdma (remote direct memory access) est requis pour que le réseau évite la perte de paquets. cette technologie permet à l'ordinateur d'accéder directement à la mémoire de l'ordinateur distant, de transmettre des données au niveau de la mémoire sans intervention fréquente du processeur et de réduire le délai de traitement et la consommation de ressources de l'expéditeur et de la réception pendant le processus de transmission de données.
comment répondre aux normes de transmission de données pour la formation et l'inférence de grands modèles ? liu yunjie estime que la technologie de réseau déterministe répond relativement aux exigences et la considère comme « une technologie de base pour les futurs réseaux de puissance de calcul ». liu yunjie a révélé qu'en 2022, il avait dirigé l'équipe pour ouvrir des réseaux déterministes dans 35 villes. le nombre de villes est désormais passé à 39. il peut atteindre un délai et une gigue de bout en bout inférieurs à 50 microsecondes et atteindre zéro perte de paquets. .
dans le processus de développement d'une technologie de réseau déterministe, liu yunjie estime que la percée technologique la plus importante est l'intégration photoélectrique, qui apporte des avancées en matière d'utilisation de la bande passante, de coût du réseau et de consommation d'énergie.
en termes de coût, il a pris comme exemple une certaine entreprise de conduite autonome et a expliqué que les données de conduite autonome générées chaque jour par 20 véhicules répartis dans 4 endroits à travers le pays sont d'abord renvoyées à shanghai, puis à guiyang pour une formation, ce qui nécessite environ deux circuits 10g et a 1g coûtent environ 10 millions de yuans par an.
que dois-je faire si je n’en ai pas les moyens ? passer à l'utilisation de disques durs pour collecter des données et les transporter entre les deux villes, en tenant compte de la perte de données, des dommages causés aux disques durs, etc., coûterait environ 1,9 million de yuans par an. et en utilisant un réseau déterministe pour fournir des services par découpage, « 120 000 yuans par an suffisent ».
liu yunjie a souligné que ce niveau de réduction des coûts est atteint grâce au partage de réseau. les données qu'il a présentées dans son discours d'ouverture ont montré qu'il fonctionnait sur le réseau de test depuis plus de trois mois, avec une efficacité des paramètres atteignant plus de 95 % et des économies de coûts de 60 à 70 %.
tirer pleinement parti de l'effet du cluster gpu pour compenser les lacunes de la puissance de calcul nationale
le réseau de puissance de calcul est-il susceptible d'être la direction dans laquelle la puissance de calcul nationale dépassera la puissance de calcul étrangère à l'avenir ? liu yunjie a déclaré qu'une compréhension plus précise consiste à « combler les lacunes ». il estime que dans un court laps de temps, notre gpu final ne sera toujours pas en mesure de rivaliser avec les pays étrangers. "je ne pourrai peut-être pas vous égaler sur un seul aspect, mais je peux vous battre en tirant parti de la force du groupe". il a en outre souligné que pour exercer l'effet des clusters gpu, il est nécessaire de construire un réseau pour "s'entraîner". toute la puissance de calcul.
il estime que les grands modèles peuvent adopter la voie de la formation collaborative et de la formation distribuée. « si 100 000 cartes sont formées en un seul endroit, la puissance sera trop grande. il a révélé que son équipe avait lancé le programme conjointement avec l'académie chinoise des sciences. le centre national de calcul intensif de wuxi et d'autres institutions le projet national de planification du réseau de puissance de calcul peut avoir pour effet de résoudre les problèmes de file d'attente au niveau infime, et plusieurs formations hors site peuvent atteindre 80 % d'efficacité de la formation en un seul point. "fondamentalement, la formation distribuée et la formation collaborative sont réalisables."
en parlant de la manière de coordonner la relation de développement entre le matériel informatique et les logiciels, liu yunjie a proposé que les logiciels et le matériel soient combinés et intégrés pour le développement.
la production de matériel consomme des ressources géophysiques, a-t-il déclaré. "(à chaque fois) cela consomme un peu, les ressources sont un peu moins." le logiciel est relativement flexible, peut être modifié et consomme moins de ressources physiques. "c'est un concept de développement social très important." en outre, liu yunjie estime que le développement de logiciels consomme une certaine quantité de ressources humaines, mais qu'après l'application de l'ia, l'efficacité du développement s'est accélérée. il a ensuite proposé que toutes les parties pouvant être remplacées par un logiciel soient développées autant que possible.
"mais le logiciel n'est pas omnipotent et doit répondre aux conditions matérielles requises par la puissance de calcul." il estime que les éléments que le logiciel ne peut pas supporter doivent être développés en conjonction avec le matériel.
comment créer un écosystème de réseau de puissance de calcul partagé ? liu yunjie a suggéré que les départements gouvernementaux concernés devraient le coordonner et le gérer, et que les entreprises et les instituts de recherche scientifique devraient coopérer étroitement. "il s'agit d'un projet global, mais actuellement chacun travaille seul."
wei yingzi, journaliste de shell finance à pékin
editeur lin zi
relu par liu jun
