huawei lance un nouveau stockage ia pour permettre la formation et l'inférence de grands modèles d'ia avec un nouveau paradigme de mémoire longue mémoire
2024-09-21
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
le 20 septembre, lors du data storage summit organisé lors de la conférence huawei connect 2024, le dr zhou yuefeng, vice-président de huawei et président de la gamme de produits de stockage de données, a lancé le nouveau stockage ia oceanstor a800, qui améliore considérablement la formation des grands modèles d'ia. avec le nouveau paradigme de la mémoire longue et des capacités de raisonnement, aidant des milliers d’industries à entrer dans l’ère de l’intelligence numérique.
zhou yuefeng, vice-président de huawei et président de la gamme de produits de stockage de données, a prononcé un discours d'ouverture
la civilisation humaine a évolué de l’âge de pierre à l’ère agricole, en passant par l’ère industrielle et maintenant jusqu’à l’ère de l’intelligence numérique. les données ont été un facteur de production clé pour le développement de nouvelles forces productives. les gens utilisent les données pour réaliser un grand développement dans les domaines fondamentaux de l’ia tels que les grands modèles d’ia, l’intelligence incorporée et l’ia pour la science.
l'ère de l'intelligence numérique est l'âge d'or des données. alors que l'ampleur des données augmente de manière explosive et que leur valeur augmente, elle est également confrontée à des défis tels qu'une bande passante insuffisante du xpu et du stockage, une faible disponibilité des clusters informatiques et une extension des données. temps d'inférence, ce qui met en avant des exigences de stockage plus élevées. l'ère de l'intelligence numérique nécessite un stockage pour l'ia. le stockage des données avec des performances ultimes, une évolutivité élevée, une résilience des données, un développement durable, de nouveaux paradigmes de données et des capacités de tissage de données est la seule voie vers l'ère de l'intelligence numérique de l'ia.
pour relever les défis ci-dessus, huawei a lancé son nouveau stockage ia oceanstor a800. basé sur les capacités de formation efficaces des grands modèles d'ia, il a considérablement amélioré les capacités de raisonnement et a fait des pas de géant dans les performances des clusters et de nouveaux paradigmes de données, favorisant ainsi l'application. de l'ia dans des milliers d'industries. l'entreprise est mise en œuvre.
1. un seul ensemble de périphériques de stockage ia prend en charge la formation de grands modèles au niveau de 100 000 cartes. en créant une architecture technique avec partage complet des cartes réseau frontales et interconnexion complète des contrôleurs et des disques ssd back-end, un seul périphérique de stockage peut prendre en charge l'interconnexion complète d'un cluster de 100 000 cartes. un ensemble de stockage oceanstor a800 peut réaliser une connexion statique complète avec un cluster de formation pouvant contenir jusqu'à 192 000 cartes, améliorant les performances de 40 % et réduisant l'utilisation de l'espace de 80 %.
2. grâce au stockage et à l'informatique, la disponibilité des clusters d'ia est augmentée de 30 %. les interruptions de formation en ia se produisent fréquemment. selon les statistiques, la durée de formation continue la plus longue dans le centre de formation en ia n'est que de 2,6 jours, ce qui oblige le gpu/npu à enregistrer à plusieurs reprises les données ckpt. china mobile utilise le stockage huawei oceanstor ai pour la formation de grands modèles, obtenant un cluster de stockage unique de 150 po, une bande passante de 8 to/s et 230 millions d'iops. la disponibilité du cluster est augmentée de 32 %, offrant ainsi une prise en charge solide pour la formation ultérieure de grands modèles à plus grande échelle. .
3. l'informatique basée sur le stockage et le stockage en mémoire longue améliorent l'expérience de raisonnement et réduisent les coûts du système.
le contexte long est devenu une tendance de développement inévitable pour le raisonnement sur de grands modèles. selon la loi de mise à l'échelle, fournir une puissance de calcul de raisonnement suffisamment élevée et un nombre de jetons intermédiaires peut améliorer considérablement la précision du raisonnement. grâce au stockage professionnel de l'ia, les jetons de contexte long et de raisonnement intermédiaire massif peuvent être stockés pendant une longue période, maximisant ainsi les capacités de pensée logique et de raisonnement des grands modèles, en particulier les capacités de réflexion lente.
en tant que premier périphérique de stockage du secteur à offrir de longues capacités de mémoire, l'oceanstor a800 adopte de manière innovante un mécanisme de cache kv à plusieurs niveaux pour conserver et utiliser efficacement le kv-cache, permettant au raisonnement sur de grands modèles d'avoir de longues capacités de mémoire et de réduire les calculs répétés lors de l'étape de pré-remplissage. la latence d'inférence client est réduite de 78 % et le débit d'une seule carte xpu est augmenté de 67 %, améliorant considérablement l'expérience d'inférence tout en réduisant les coûts.
le nouveau stockage de l'ia à l'ère de l'intelligence numérique exerce une valeur dans des scénarios industriels tels que le crédit financier, l'analyse de la recherche en investissement, la santé médicale et la recherche et le développement de médicaments. zhou yuefeng a déclaré qu'à l'âge d'or des données, huawei a libéré des capacités avancées de stockage de données grâce à son stockage innovant d'ia et a jeté les bases de l'ère de l'intelligence numérique.
