ファーウェイ、ロングメモリの新しいパラダイムによるai大規模モデルのトレーニングと推論を可能にする新しいaiストレージをリリース
2024-09-21
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
9月20日、huawei connect conference 2024の会期中に開催されたデータストレージサミットで、ファーウェイ副社長兼データストレージ製品ライン社長の周岳峰博士は、ai大規模モデルのトレーニングを包括的に改善する新しいaiストレージoceanstor a800を発表した。ロングメモリメモリと推論機能の新しいパラダイムにより、何千もの業界がデジタルインテリジェンスの時代に突入するのを支援します。
ファーウェイ副社長兼データストレージ製品ライン担当社長の周岳峰氏が基調講演を行った
人類の文明は、古代石器時代から農業時代、工業時代を経て、現在はデジタルインテリジェンス時代へと進化してきました。データは、新たな生産力を開発するための重要な生産要素です。人々はデータを使用して、ai ラージ モデル、身体化されたインテリジェンス、科学用 ai などのコア ai 分野で大きな発展を遂げています。
デジタル インテリジェンスの時代はデータの黄金時代であり、データの規模が爆発的に増大し、データの価値が高まっている一方で、xpu やストレージの帯域幅の不足、コンピューティング クラスターの可用性の低さ、拡張性などの課題にも直面しています。推論に時間がかかるため、ストレージの要件が高くなります。デジタル インテリジェンスの時代には、究極のパフォーマンス、高い拡張性、データ復元力、持続可能な開発、新しいデータ パラダイム、データ ウィービング機能を備えたデータ ストレージが求められます。これが、ai デジタル インテリジェンスの時代への唯一の方法です。
上記の課題に対処するために、ファーウェイは新しい ai ストレージ oceanstor a800 をリリースしました。大規模 ai モデルの効率的なトレーニング機能に基づいて、推論機能が大幅に強化され、クラスターのパフォーマンスと新しいデータ パラダイムが飛躍的に向上し、アプリケーションが促進されました。数千の業界で ai のビジネスが導入されています。
1. ai ストレージ デバイスの 1 セットで、100,000 枚のカードレベルの大規模モデルのトレーニングをサポートします。フロントエンド ネットワーク カードの完全な共有と、コントローラとバックエンド ssd ディスクの完全な相互接続を備えた技術アーキテクチャを構築することにより、単一のストレージ デバイスで 100,000 カード レベルのクラスタの完全な相互接続をサポートできます。 oceanstor a800 ストレージのセットは、最大 192,000 枚のカードのトレーニング クラスターとの静的完全接続を実現し、パフォーマンスを 40% 向上させ、スペース使用量を 80% 削減します。
2. ストレージとコンピューティングを使用すると、ai クラスターの可用性が 30% 向上します。統計によると、ai トレーニングの中断は頻繁に発生し、ai トレーニング センターでの最長連続トレーニング時間はわずか 2.6 日であり、gpu/npu が繰り返し ckpt データを保存します。 china mobile は、大規模モデルのトレーニングに huawei oceanstor ai ストレージを使用し、150pb の単一ストレージ クラスター、8tb/秒の帯域幅、および 2 億 3,000 万 iops の機能を実現し、クラスターの可用性が 32% 向上し、その後の大規模なモデルのトレーニングを強力にサポートします。 。
3. ストレージベースのコンピューティング、ロングメモリのメモリストレージにより、推論エクスペリエンスが向上し、システムコストが削減されます。
スケーリングの法則によれば、十分な推論計算能力と中間トークンの数を提供することで、推論の精度を大幅に向上させることができます。プロフェッショナルな ai ストレージを通じて、長いコンテキストと大量の中間推論トークンを長期間保存でき、大規模モデルの論理的思考と推論能力、特に遅い思考能力を最大化できます。
oceanstor a800 は、ロング メモリ機能を提供する業界初のストレージ デバイスとして、マルチレベル kv キャッシュ メカニズムを革新的に採用し、kv キャッシュを永続化して効率的に使用することで、大規模なモデル推論にロング メモリ機能を持たせ、プレフィル ステージでの繰り返し計算を削減できます。顧客の推論遅延は 78% 削減され、1 枚の xpu カードのスループットは 67% 向上し、コストを削減しながら推論エクスペリエンスが大幅に向上します。
デジタル インテリジェンス時代の新しい ai ストレージは、金融信用、投資調査分析、医療健康、医薬品の研究開発などの業界シナリオで価値を発揮しています。 zhou yuefeng氏は、データの黄金時代において、ファーウェイは革新的なaiストレージにより高度なデータストレージ機能を解き放ち、デジタルインテリジェンス時代の基礎を築いたと述べた。
