huawei veröffentlicht neuen ki-speicher, um das training und die inferenz großer ki-modelle mit einem neuen paradigma des langen speichers zu ermöglichen
2024-09-21
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
am 20. september stellte dr. zhou yuefeng, vizepräsident von huawei und präsident der data storage product line, auf dem data storage summit im rahmen der huawei connect conference 2024 den neuen ki-speicher oceanstor a800 vor, der das training großer ki-modelle umfassend verbessert mit dem neuen paradigma des langen gedächtnisses und der denkfähigkeiten und hilft tausenden von branchen, in das zeitalter der digitalen intelligenz einzutreten.
zhou yuefeng, vizepräsident von huawei und präsident der produktlinie datenspeicherung, hielt eine grundsatzrede
die menschliche zivilisation hat sich von der alten steinzeit über das agrarzeitalter, das industriezeitalter und nun zum zeitalter der digitalen intelligenz entwickelt. daten sind ein wichtiger produktionsfaktor für die entwicklung neuer produktivkräfte. menschen nutzen daten, um in zentralen ki-bereichen wie großen ki-modellen, verkörperter intelligenz und ki für die wissenschaft große fortschritte zu erzielen.
das zeitalter der digitalen intelligenz ist das goldene zeitalter der daten. während der umfang der daten explosionsartig zunimmt und der wert der daten steigt, stehen sie auch vor herausforderungen wie unzureichender bandbreite von xpu und speicher, geringer verfügbarkeit von rechenclustern und erweiterten datenmengen inferenzzeit, die höhere anforderungen an die speicherung stellt. das zeitalter der digitalen intelligenz erfordert speicher für ki. datenspeicherung mit ultimativer leistung, hoher skalierbarkeit, datenresilienz, nachhaltiger entwicklung, neuen datenparadigmen und datenwebfunktionen ist der einzige weg in das zeitalter der digitalen ki.
um die oben genannten herausforderungen zu bewältigen, hat huawei seinen neuen ki-speicher oceanstor a800 herausgebracht, der auf den effizienten trainingsfähigkeiten großer ki-modelle basiert, die argumentationsfähigkeiten erheblich verbessert und große fortschritte bei der clusterleistung und neuen datenparadigmen gemacht hat, was die anwendung vorantreibt von ki in tausenden von branchen umgesetzt.
1. ein einzelner satz ki-speichergeräte unterstützt das training großer modelle auf 100.000-karten-ebene. durch den aufbau einer technischen architektur mit vollständiger gemeinsamer nutzung von front-end-netzwerkkarten und vollständiger verbindung von controllern und back-end-ssd-festplatten kann ein einzelnes speichergerät die vollständige verbindung eines clusters auf 100.000-karten-ebene unterstützen. ein satz oceanstor a800-speicher kann eine statische vollverbindung mit einem trainingscluster von bis zu 192.000 karten realisieren, wodurch die leistung um 40 % verbessert und der platzbedarf um 80 % reduziert wird.
2. durch den einsatz von speicher und rechenleistung wird die verfügbarkeit von ki-clustern um 30 % erhöht. laut statistik kommt es häufig zu unterbrechungen des ki-trainings. die längste ununterbrochene trainingszeit im ki-trainingszentrum beträgt nur 2,6 tage, was dazu führt, dass die gpu/npu wiederholt ckpt-daten speichert. china mobile nutzt huawei oceanstor ai-speicher für das training großer modelle und erreicht so einen 150 pb großen einzelspeicher-cluster, eine bandbreite von 8 tb/s und 230 millionen iops-fähigkeiten .
3. speicherbasiertes computing und speicher mit langer speicherkapazität verbessern das argumentationserlebnis und senken die systemkosten.
der lange kontext ist zu einem unvermeidlichen entwicklungstrend für das denken großer modelle geworden. gemäß dem skalierungsgesetz kann die bereitstellung einer ausreichend hohen rechenleistung und der anzahl von zwischentokens die genauigkeit des denkens erheblich verbessern. durch professionelle ki-speicherung können long-context- und massive intermediate-argumentation-token über einen langen zeitraum gespeichert werden, wodurch die logischen denk- und argumentationsfähigkeiten großer modelle, insbesondere die langsamen denkfähigkeiten, maximiert werden.
als branchenweit erstes speichergerät, das lange speicherkapazitäten bietet, nutzt oceanstor a800 auf innovative weise einen mehrstufigen kv-cache-mechanismus, um den kv-cache beizubehalten und effizient zu nutzen, sodass große modellberechnungen über lange speicherkapazitäten verfügen und wiederholte berechnungen in der prefill-phase reduziert werden. die inferenzlatenz des kunden wird um 78 % reduziert und der durchsatz einer einzelnen xpu-karte wird um 67 % erhöht, was das inferenzerlebnis erheblich verbessert und gleichzeitig die kosten senkt.
der neue ki-speicher im zeitalter der digitalen intelligenz ist in branchenszenarien wie finanzkrediten, investment-research-analysen, medizinischer gesundheit sowie arzneimittelforschung und -entwicklung von wert. zhou yuefeng sagte, dass huawei im goldenen zeitalter der daten mit seinem innovativen ki-speicher fortschrittliche datenspeicherfunktionen freigesetzt und den grundstein für das zeitalter der digitalen intelligenz gelegt habe.
