ニュース

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

マシンハートレポート

作者：ゼナン

「システム最適化ソフトウェアの助けを借りて、開発の敷居が低くなり、さまざまなハードウェアが統合され、テクノロジーエコロジーが開発されます。これは現在のインテリジェントエコロジーの進歩にとって非常に重要です」と学術院士は述べた。中国工程院、中国科学院計算技術研究所院士の孫寧輝委員長およびCCF会長が記者会見で講演した。 「国内のエコシステムをより良くするためには、スマートチップとAI産業アプリケーションに加えて、システムソフトウェア最適化関係者が参加して協力する必要がある。」

記者会見に出席した学者の孫寧輝氏

コンピューティング能力が「行き詰まっている」という問題に直面して、私たちはついにシステムレベルの解決策を見つけました。

7 月 20 日、AI インフラストラクチャのスタートアップである Zhongke Jiahe は、第 1 世代の異種ネイティブ AI コンピューティング ツールを正式にリリースしました。

国内の計算能力を大規模に導入するという現在の傾向に直面して、中科嘉和氏が提案した方法は、効率を最大化しながら、異なる種類のチップを大規模に並列化することができ、計算能力のユーザーが、コンピュータを介さずに計算能力に直接アクセスできるようにする。チップの生態に注意してください。

Zhongke Jiaheの創設者兼CEOであるCui Huimin氏は、「Jiahe異種ネイティブAIコンピューティングパワーツール」がすでに国内コンピューティング能力のAIインフラストラクチャで一定の役割を果たしていると発表し、紹介した。国産のさまざまなAIチップと互換性があり、チップの違いをカバーする高性能な統一インターフェースを提供します。異種ネイティブ プラットフォームに基づいて、AI コンピューティング パワー クラスターは大規模モデル推論のパフォーマンスを向上させました。レイテンシは 3 ～ 74 倍に短縮され、スループットは 1.4 ～ 2.1 倍増加し、エネルギー効率は 1.46 倍改善され、340B パラメータの高密度大規模モデルおよび 640B の大規模 MoE モデルをサポートできます。。

同時に、Zhongke Jiahe はチップ、インテグレーター、サービスプロバイダーなどを含む 10 社以上の顧客に高性能推論サポートを提供してきました。そのアーキテクチャは国内外の主流の大型モデルをサポートしており、多様な並列推論を実行できます。

記者会見で発表されたコンピューティングパワープロバイダーとアプリケーションパートナーには、AMD、Boyd、Huawei、Hangzhou Artificial Intelligence Computing Center、Open Transun、Moore Thread、Qingyun Technology、Rise VAST、Suyuan Technology、Wuwenxin Qiong、Yunxi Hashrate、Xinhua San が含まれます。 、など（ピンインによるアルファベット順にソートされています）。

中科嘉和創業者兼最高経営責任者（CEO）の崔恵民氏が記者会見に出席

ヘテロジニアスなネイティブ AI コンピューティング能力、「3 つのゼロと 1 つの高」の実現を目指す

中科嘉和氏が提案した計画は、大規模なAIモデルの適用を可能にすることを目的としているゼロコストの移行、ゼロ損失の使用、および異なるチップ上での遅延ゼロの導入の効率的な使用を実現します。。

このソフトウェア ツール セットには、ヘテロジニアス ネイティブ大規模モデル推論エンジン「SigInfer」、ヘテロジニアス ネイティブ微調整エンジン「SigFT」、オペレーター自動生成および翻訳ツール「SigTrans」の 3 つの製品が含まれています。

その中で、昨日リリースされた SigInfer は、サーバー レベルの AI アクセラレータ カードだけでなく、コンシューマー レベルの GPU もサポートする、クロスプラットフォームの高性能異種ネイティブ推論エンジンです。したがって、データセンターに導入して、さまざまなエンドサイドデバイスを高速化できます。

ヘテロジニアス コンピューティングの技術基盤として、SigInfer を通じてアクセスされるさまざまな AI コンピューティング能力により、統一された通話インターフェイスとビジネス アプリケーションのスムーズな移行を実現できます。 SigInfer は、さまざまな異なるコンピューティング能力を呼び出しながら、チップのコンピューティング能力の可能性を最大限に活用しながら、マルチレベルの詳細な最適化を実行します。

API サービング、リクエスト スケジューリング、バッチ管理、KV キャッシュ最適化、テンソル並列処理、パイプライン並列処理、エキスパート並列処理、さらにはマルチマシン パイプライン並列処理のサポートなど、最新の大規模モデル推論エンジンのさまざまな機能が備わっています。

Zhongke Jiahe 氏は、SigInfer はすでに業界の大規模モデル構造のほとんどをサポートしていると述べました。

現在、SigInfer はすでに完全な推論エンジン機能を実装できます。サポートする異種アクセラレータ カード クラスタは、ハイブリッド推論用に NVIDIA AI アクセラレータ カード + 国内 AI アクセラレータ カードを柔軟にスケジュールでき、最大数兆の大規模モデルまで拡張できます。

SigInfer を使用して AI チップの導入を支援すると、ビジネス アクセス要件が増加した場合でも、大規模なモデル サービスが高スループットと低遅延を維持できるようになります。これらの指標は、生成 AI の大規模アプリケーションにとって重要です。

同じ NVIDIA グラフィック カードを使用すると、SigInfer がより明白な加速効果を提供できることがわかります。

さらに、国産チップを使用して同様のタスクを完了する場合、SigInfer は、トークン出力の遅延を大幅に短縮しながら、並列コンピューティングにおける AI アクセラレータ カードのスループット レートを向上させることもできます。

ヘテロジニアス ネイティブ AI コンピューティング パワー ツールは、大規模モデルのタスク処理のさまざまな段階、オペレーターの特性、最適化目標の適応最適化などに基づいて AI アクセラレーターの計算周波数を調整し、それによって高効率を達成できます。 Zhongke Jiahe は、データセンターの運用中に、A800 と SigInfer を使用すると、vllm と比較してエネルギー効率率を 46% 向上できると計算しました。

Zhongke Jiahe 氏は、クラウド インフラストラクチャの最適化に加えて、クライアント側推論のパフォーマンスの最適化も実証しました。 SigInfer は、Intel、Qualcomm、AMD などの主要メーカーに基づくチップ機器を高速化できます。業界の主流の導入ソリューションと比較して、SigInfer はデバイス側の推論の効率を最大 5 倍高めることができます。

ヘテロジニアス コンピューティングと効率向上の背後には、一連の最先端のテクノロジとエンジニアリングの適用と最適化があります。

並列コンピューティングの効率を向上させるために、Zhongke Jiahe は一連の最適化を導入しました。たとえば、詳細なデコード段階でのメモリ アクセスの最適化により、KV キャッシュは L2 からのロードと比較して、レイテンシーと帯域幅の両方が最適化されています。

同時に、並列性の低下を軽減するために、中科嘉和の研究者らはデータのシーケンス次元での並列分割も実行しました。 KV キャッシュの再利用最適化と組み合わせることで、メモリ アクセスが節約されるだけでなく、並列性が向上し、アテンション メカニズム全体のコア計算の実行効率が向上します。

Zhongke Jiahe は、異種コンピューティング能力のための高性能オペレーター生成方法も研究しました。 Zhongke Jiahe はコンピューティング パワー メーカーと協力して Cutlass を国産チップ アーキテクチャに移行し、行列乗算の動作効率を大幅に向上させました。その中で同社は、コンパイル技術と組み合わせた最適化により20％以上の性能向上を達成した。

Jiahe ヘテロジニアス ネイティブ AI コンピューティング パワー ツールは、一連のテクノロジーのサポートにより、優れたエネルギー効率の最適化を実現しました。

編纂技術から始まる：中科嘉和の技術的ルート

これまで一部のAIコンピューティングインフラ企業が提供してきた機能とは異なり、Zhongke Jiahe が提供するヘテロジニアス コンピューティングとアクセラレーションは、コンパイル テクノロジを中心としています。。

コンピューターの場合、コンパイル層によって行われる作業は「翻訳」であり、人間が作成した高級プログラミング言語のコンテンツを、機械が理解して実行できる言語に変換する役割を果たします。

このプロセスでは、コンパイルも最適化する必要があります。つまり、生成されたマシンコードの動作効率を向上させる必要があります。チップのパフォーマンスに関しては、コンパイルが大きな役割を果たしますが、見落とされがちです。

CUDA コンピューティング プラットフォームは、業界で最も人気のある NVIDIA チップ上で重要な役割を果たしています。これには、プログラミング言語、コンパイラー、さまざまな高性能アクセラレーション ライブラリ、および AI フレームワークが含まれており、コンピューターがタスクを実行するときにディストリビューターとして機能し、さまざまなハードウェアのコンピューティング リソースを最大限に活用して、複雑なコード モデルをより高速に実行できます。現在の AI エコシステムは主に CUDA に基づいていると言えます。

国内のコンピューティングパワーでは、大規模なアプリケーションを実現するために、必要なエコロジーと機能を構築する必要があります。

生成 AI の時代では、コンピューティング能力に対する人々の需要によりチップ技術の開発が促進されましたが、新たな課題も浮上しています。

• チップ企業の観点から見ると、エコシステムは複数の断片に分かれて発展しており、開発コストの増加や実装効率や互換性などの問題につながります。
• 産業発展の観点から見ると、AI テクノロジーは急速に発展しており、カバーするシナリオはますます増えています。これは、より多くの種類のコンピューティング能力が関与することを意味し、ヘテロジニアス コンピューティングの需要がさらに促進されることを意味します。

したがって、業界はさまざまな国産チップをサポートできる効率的なツールチェーンを緊急に必要としています。汎用的で低コスト、高性能の基本ソフトウェアのセットが出現し、環境パートナーが NVIDIA のエコシステムに基づいて開発されたアプリケーションを迅速に移植できるようになれば、国産チップの可能性が最大限に発揮され、技術の研究開発のペースが促進されます。 AIコンピューティングパワーエコシステムを確立する好循環を徐々に構築します。

これが中科嘉和が行ってきたことだ。

Zhongke Jiahe が提供する基本的なソフトウェア プラットフォーム層は、オペレーター層、コンパイラー層、およびフレームワーク層に位置し、ハードウェアとソフトウェアの間の架け橋を構築します。提供される異種ネイティブ AI コンピューティング ツールは、ユーザーが AI モデルとチップ アーキテクチャをスムーズに移行するのに役立ち、AI アプリケーションに大きな利便性をもたらします。

これらのレベルの機能にはすべてコンパイル テクノロジが含まれます。 AI コンパイルの対象範囲には、レイヤーと演算子レイヤーの両方が含まれます。従来のコンパイラーと比較して、セマンティック変換の範囲は広くなります。たとえば、AI コンパイラーは通常、計算グラフの分割、サブグラフの融合、並列コンピューティング、データ ブロッキングなどを考慮する必要があります。これらは解決するのが難しい問題です。

この点で、Zhongke Jiaheは、Tensor表現レベルでグローバルデータフロー分析を実施し、正確な計算グラフとデータ依存関係グラフを構築し、演算子融合のために演算子の境界を突破するなど、多くの研究を完了し、良好な結果を達成しました。効果。一部のネットワークでは、その手法は業界の先進レベルと比較して最大 3.7 倍の高速化率を達成しました。関連する研究結果は、今年のコンピュータ分野のトップカンファレンスで発表されました。

国内の AI エコシステムの繁栄を支援するソリューションを実現するエンドツーエンドのコンピューティング能力を構築する

Zhongke Jiahe は 2023 年 7 月に設立され、チームの主なメンバーは中国科学院計算技術研究所です。創設者の崔惠民は清華大学コンピューターサイエンス学部を卒業し、中国科学院計算技術研究所の編纂チームの責任者を務めています。同社のコアチームはコンパイラの研究開発において20年以上の経験があり、数多くの国産チップのコンパイラ研究開発を主宰したり参加したりする中核メンバーとしての役割を果たしてきました。

同社は設立以来、チップのコンパイルと最適化技術に注力し、「チップの総合力を結集して国内エコシステムを構築する」という使命を掲げ、汎用的で低コスト、高性能のコンピューティングリソースの提供に取り組んでいる。現在、中科嘉和は複数回にわたり合計1億元近くの資金調達を受けている。

Zhongke Jiahe は、異種コンピューティング能力をサポートする AI 大規模モデル推論エンジン、大規模モデル微調整フレームワーク、AI コンパイル ツール スイートを含む 3 つのルートを中心に一連の製品を構築しています。これらは、コンピューティングパワーユーザーが多様な AI コンピューティングパワーを迅速に利用できるよう支援するだけでなく、コンピューティングパワーサプライヤーがソフトウェアエコシステムを改善して競争力を強化し、国内の AI コンピューティングパワーエコシステムの重要な部分を完成させるのにも役立ちます。

さらに重要なことは、Zhongke Jiahe が、多数のコンピューティング パワー ユーザーとコンピューティング パワー プロバイダーを結びつける「コミュニケーション」の架け橋となり、双方が双方向にうまく進むことができ、それによって異種ネイティブ AI コントリビュートの開発を促進したいと考えているということです。大規模なアプリケーションと国内の AI エコシステムの活発な発展に向けて。