dialog auf der china computing power conference｜akademiker liu yunjie: die heimische rechenleistung muss ihre defizite durch gpu-cluster ausgleichen
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
das zeitalter der ki (künstliche intelligenz) ist auch ein zeitalter der rechenleistung. technologieunternehmen und telekommunikationsbetreiber im in- und ausland haben 10.000 karten oder sogar mehr als 10.000 karten „aufgerollt“, aber auch probleme wie umweltverträglichkeit und heterogenes computing sind zu bergen geworden, die die branche erklimmen muss.
am 28. september, während der eröffnungszeremonie der china computing power conference 2024, sagte liu yunjie, ein akademiker der chinesischen akademie für ingenieurwissenschaften, in einem interview mit beijing news shell finance und anderen medien, dass inländische endpunkt-gpus immer noch nicht mithalten können mit dem ausland in kurzer zeit. eine mögliche möglichkeit, die mängel auszugleichen, besteht darin, ein rechenleistungsnetzwerk aufzubauen, um „die gesamte rechenleistung zu trainieren“ und die wirkung von gpu-clustern voll auszuschöpfen.
darüber hinaus wies er darauf hin, dass es nicht möglich sei, einfach zu beurteilen, welcher unternehmenstyp mehr vorteile beim aufbau eines rechenleistungsnetzwerks habe, sondern vor allem durch technische bewertung. „es hängt davon ab, ob ihre technologie genutzt und weiterentwickelt werden kann und ob ihre innovation und der von ihnen eingeschlagene weg den anforderungen entsprechen.“ bezüglich des problems der rechenleistungskosten betonte er dennoch, dass „es mit neuen technologien gelöst werden muss.“
derzeit kann die von liu yunjie untersuchte deterministische netzwerktechnologie 60 bis 70 % der kosten einsparen. das von ihm in zusammenarbeit mit anderen institutionen ins leben gerufene projekt zur planung von computernetzwerken kann mehrere externe schulungen durchführen, um eine effizienz von 80 % zu erreichen. punkttraining.
liu yunjie, akademiker der chinesischen akademie für ingenieurwissenschaften. foto mit freundlicher genehmigung der interviewpartner.
um die probleme der datenzirkulation und der rechenleistungsnutzung zu lösen, wird empfohlen, den branchenweit großen modellweg einzuschlagen.
„china muss den weg großer industriemodelle gehen“, betonte liu yunjie in ihrer grundsatzrede. er glaubt, dass inländische allzweck-großmodelle kurzfristig weit hinter den usa zurückbleiben könnten und es schwierig sein wird, aufzuholen.
er schlug vor, dass inländische modellunternehmen „definitiv dem chinesischen weg folgen können“, wenn sie branchendaten gut trainieren und branchenweite großmodelle auf der grundlage allgemeiner großmodelle erstellen können. er ist optimistisch, was diese technische richtung angeht, weil er glaubt, dass „chinas industriedaten die vollständigsten und umfassendsten sind“.
gleichzeitig sagte er, dass die entwicklung groß angelegter industriemodelle die gemeinsamen anstrengungen von regierung, unternehmen und kapital erfordere. er sagte einem reporter von shell finance, dass der austausch und die verbreitung inländischer daten derzeit noch gestärkt werden müssen, was sich auf das große modell der ausbildungsbranche ausgewirkt hat und „jeder noch untersucht“, um welche art von spur es sich handelt vielversprechender.
auf der china computing power conference 2024 veröffentlichte daten zeigen, dass die gesamtgröße der nationalen rechenleistung 246 eflops erreicht. laut liu yunjies beobachtung hat die inländische rechenleistung ein gewisses ausmaß erreicht, die auslastung ist jedoch nicht sehr ideal.
„wenn rechenleistung der realwirtschaft dienen will, müssen sich mehrere parteien einig sein.“ liu yunjie ist der ansicht, dass zunächst einmal die rechenleistungs- und netzwerkanbieter gute arbeit leisten müssen, „(weil) sie durch diese dienste vorteile erzielt haben.“ darüber hinaus sollte die regierung gutes sagen, „(weil) die regierung das problem gelöst hat.“ abschließend muss man den unternehmen wohl sagen: „(weil) unternehmen ihre eigene effizienz durch die nutzung von rechenleistung und dem internet verbessert haben.“
er betonte, dass die wirkung der „einigung einer partei“ nicht von dauer sei, was bedeutet, dass die branche kein ökosystem für rechenleistung aufgebaut habe. „wenn wir das ökologische problem nicht lösen, können wir es (rechenleistung) nicht nutzen.“
deterministische netzwerke sind eine der grundtechnologien zukünftiger rechenleistungsnetzwerke, die 60–70 % der kosten einsparen werden.
„das training großer modelle erfordert eine verlustfreie übertragung von daten und stellt anforderungen an netzwerkindikatoren wie paketverlust, jitter und verzögerung“, sagte liu yunjie. am beispiel internationaler datenstandards erklärte er, dass bei einer paketverlustrate von fünf tausendstel die übertragungseffizienz um 50 % sinken werde.
er erklärte weiter, dass dies so sei, als würde man die gesamte 100g-bandbreite für die datenübertragung nutzen, und nur die 50g-bandbreite sei nützlich. „wenn es auf 1 % sinkt, ist seine effizienz ungefähr gleich 0, was es unmöglich macht, zu trainieren und zu argumentieren.“
das rdma-protokoll (remote direct memory access) ist für das netzwerk erforderlich, um paketverluste zu vermeiden. diese technologie ermöglicht es dem computer, direkt auf den speicher des remote-computers zuzugreifen, daten auf speicherebene ohne häufigen cpu-eingriff zu übertragen und die verarbeitungsverzögerung und den ressourcenverbrauch auf der sende- und empfangsseite während des datenübertragungsprozesses zu reduzieren.
wie können die datenübertragungsstandards für das training und die inferenz großer modelle eingehalten werden? liu yunjie glaubt, dass die deterministische netzwerktechnologie die anforderungen einigermaßen erfüllt, und hält sie für „eine basistechnologie für zukünftige rechenleistungsnetzwerke“. liu yunjie gab bekannt, dass er das team im jahr 2022 dazu veranlasste, deterministische netzwerke in 35 städten zu eröffnen. die anzahl der städte ist nun auf 39 gestiegen. es kann eine end-to-end-verzögerung und einen jitter von weniger als 50 mikrosekunden erreichen und einen paketverlust von null erreichen .
im prozess der entwicklung der deterministischen netzwerktechnologie glaubt liu yunjie, dass der wichtigste technologische durchbruch die photoelektrische integration ist, die durchbrüche bei der bandbreitennutzung, den netzkosten und dem energieverbrauch bringt.
in bezug auf die kosten nahm er ein bestimmtes unternehmen für autonomes fahren als beispiel und erklärte, dass die autonomen fahrdaten, die täglich von 20 fahrzeugen an 4 orten im ganzen land generiert werden, zunächst nach shanghai und dann zur schulung nach guiyang zurückgesendet werden, was ca zwei 10g- und eine 1g-verbindung kosten etwa 10 millionen yuan pro jahr.
was soll ich tun, wenn ich es mir nicht leisten kann? die umstellung auf die verwendung von festplatten zum sammeln von daten und deren transport zwischen den beiden städten würde unter berücksichtigung von datenverlust, festplattenschäden usw. etwa 1,9 millionen yuan pro jahr kosten. und die nutzung eines deterministischen netzwerks zur bereitstellung von diensten durch slicing: „120.000 yuan pro jahr sind genug.“
liu yunjie betonte, dass diese kostenreduzierung durch die gemeinsame nutzung von netzwerken erreicht werde. die daten, die er in seiner keynote-rede zeigte, zeigten, dass es seit mehr als drei monaten im testnetzwerk läuft, mit einer parametereffizienz von mehr als 95 % und kosteneinsparungen von 60 % bis 70 %.
nutzen sie die wirkung des gpu-clusters voll aus, um die defizite der heimischen rechenleistung auszugleichen
ist das rechenleistungsnetzwerk wahrscheinlich die richtung, in der die inländische rechenleistung die ausländische rechenleistung in zukunft übertrifft? liu yunjie sagte, dass ein genaueres verständnis darin bestehe, „mängel auszugleichen“. er glaubt, dass unsere endpunkt-gpu in kurzer zeit immer noch nicht in der lage sein wird, mit dem ausland zu konkurrieren. „in einem einzigen aspekt kann ich vielleicht nicht mit ihnen mithalten, aber ich kann sie schlagen, indem ich die macht der gruppe nutze.“ er betonte weiter, dass es notwendig sei, ein netzwerk zum „training“ aufzubauen, um die wirkung von gpu-clustern auszuüben die gesamte rechenleistung.“
er glaubt, dass große modelle den weg des kollaborativen trainings und des verteilten trainings einschlagen können. „wenn 100.000 karten an einem ort trainiert werden, wird die leistung zu groß sein.“ er gab bekannt, dass sein team das programm gemeinsam mit der chinesischen akademie der wissenschaften gestartet hat. das national supercomputing wuxi center und andere institutionen können den effekt erzielen, warteschlangenprobleme auf minutenebene zu lösen, und durch mehrere externe schulungen kann eine effizienz von 80 % des einzelpunkttrainings erreicht werden. „grundsätzlich sind verteiltes training und kollaboratives training machbar.“
als liu yunjie über die koordinierung der entwicklungsbeziehung zwischen computerhardware und -software sprach, schlug er vor, software und hardware für die entwicklung zu kombinieren und zu integrieren.
die hardware-produktion verschlinge geophysikalische ressourcen, sagte er. „(jedes mal) es verbraucht ein wenig, die ressourcen sind etwas weniger.“ software ist relativ flexibel, kann geändert werden und verbraucht weniger physische ressourcen. darüber hinaus ist liu yunjie der ansicht, dass die softwareentwicklung eine gewisse menge an humanressourcen verbraucht, die entwicklungseffizienz jedoch nach der anwendung von ki beschleunigt wurde. anschließend schlug er vor, dass alle teile, die durch software ersetzt werden können, so weit wie möglich weiterentwickelt werden sollten.
„aber software ist nicht allmächtig und muss die hardware-bedingungen erfüllen, die die rechenleistung erfordert.“ er glaubt, dass die teile, die software nicht ertragen kann, in verbindung mit hardware entwickelt werden müssen.
wie kann ein netzwerk-ökosystem mit gemeinsamer rechenleistung geschaffen werden? liu yunjie schlug vor, dass die zuständigen regierungsstellen dies koordinieren und verwalten sollten und dass unternehmen und wissenschaftliche forschungseinrichtungen eng zusammenarbeiten sollten. „das ist ein gesamtprojekt, aber derzeit arbeitet jeder für sich.“
beijing news shell finance-reporter wei yingzi
herausgeber lin zi
korrekturgelesen von liu jun
