ニュース

Core Westは8月10日、清華大学電子工学科のFang Lu教授の研究グループと清華大学オートメーション学科の戴瓊海院士の研究グループが発表したと報じた。初めフルフォワードインテリジェント光コンピューティングトレーニングアーキテクチャ、 発展したライトトレーニングチップ「太極拳II」、オフライントレーニングへの依存を排除​​し、大規模な光コンピューティングシステムを実現ニューラルネットワーク効率的かつ正確なトレーニング。関連する研究結果が今週、世界トップクラスの学術誌「ネイチャー」に掲載された。

清華大学電子工学部は次のような紹介文を発表した。Tai Chi-II の出現により、大規模トレーニングにおけるインテリジェント光コンピューティングの中核となるパズルのギャップが埋められました。。

光コンピューティングは、高い計算能力と低消費電力という特徴を持ち、インテリジェント コンピューティングを加速する最先端の方向性です。書評の中で言及されているNatureの査読者は次のようにコメントしています。このタイプの光ニューラル ネットワーク (ONN) のトレーニング プロセスは前例のないものです。。提案された方法は効果的であるだけでなく、実装も簡単です。したがって、それは光ニューラル ネットワークやその他の光コンピューティング システムのトレーニングに広く採用されるツールになることが期待されています”。

清華大学電子工学部の Fang Lu 教授と Dai Qionghai 教授がこの論文の責任著者であり、清華大学電子工学部の博士研究員 Zhou Tiankui が共同執筆者です。この研究には、電子工学科の博士課程学生 Xu Zhihao 氏と Zhijiang Laboratory の Yu Shaoliang 博士が参加しました。このプロジェクトは、科学技術省、中国国家自然科学財団、北京国家情報科学技術研究センター、清華大学・志江研究所共同研究センターの支援を受けています。

1. 対称性を巧みに利用することで、光コンピューティングが GPU への依存を取り除くのに役立ちます

オプティカル コンピューティングは、機械学習アプリケーションの速度とエネルギー効率の向上を約束します。ただし、これらのモデルを効果的にトレーニングするための現在の方法は、コンピューター シミュレーションによって制限されています。

ユニバーサルインテリジェント光コンピューティングチップ「太極拳」がトップ国際学術誌サイエンスに掲載，光コンピューティングは初めて、原理の検証から大規模な実験への応用へと推し進められました。160TOPS/週システムレベルのエネルギー効率は、複雑なインテリジェントタスクの推論に希望をもたらしたが、光コンピューティングの「訓練力」を解放することはできなかった。

推論と比較して、モデルのトレーニングには多くの計算能力が必要です。電気トレーニング アーキテクチャでは、順方向伝播モデルと逆方向伝播モデル間の高度なマッチングが必要です。これにより、光コンピューティング物理システムの正確な位置合わせに厳しい要件が課され、その結果、勾配計算が困難になり、オフライン モデリングが遅くなり、マッピング エラーが大きくなります。光学トレーニングの規模と効率が制限されます。

Fang Lu氏とDai Qionghai氏の研究チームは「光子の伝播対称性「この鍵を使ってください」フルフォワードライトトレーニング物理光学コンピューティングにおける電気トレーニング アーキテクチャの制約を打ち破ります。

この論文の筆頭著者である Xue Zhiwei 氏によると、Tai Chi-II アーキテクチャでは次のようになります。勾配降下法光学系の逆伝播は光学系の順伝播に変換され、データエラー順伝播を 2 回使用することで光ニューラル ネットワークのトレーニングを達成できます。 2 つの順方向伝播には自然な整列特性があり、物理的勾配の正確な計算が保証されます。この方法で達成されるトレーニング精度は高く、大規模なネットワーク トレーニングをサポートできます。

物理的な光システムの変調伝播とニューラル ネットワークの活性化接続は相互にマッピングされ、つまり変調モジュールのトレーニングにより、あらゆるネットワークの重みの最適化を推進でき、それによってトレーニングの速度とエネルギー効率が確保されます。

バックプロパゲーションの必要がないため、Taichi-II アーキテクチャはオフラインのモデリングとトレーニングを電気コンピューティングに依存することがなくなり、大規模なニューラル ネットワークの正確かつ効率的な光学トレーニングを実現できます。

2. 数百万のパラメータを使用して光ネットワークをトレーニングすると、速度が 1 桁向上します

光をコンピューティング媒体として使用し、制御可能な光の伝播に基づいてコンピューティング モデルを構築する光コンピューティングには、当然のことながら、高速かつ低消費電力という特性があります。光の前方伝播を完全に使用してトレーニングを実行すると、速度とエネルギーが大幅に向上します。光ネットワークトレーニングの効率化。

システム測定結果は、Taichi-II がさまざまな異なる光学システムをトレーニングでき、さまざまなタスクの下で優れたパフォーマンスを発揮することを示しています。

1. 大規模な学習エリア:計算精度と効率の矛盾を打破し、数百万のパラメータ光ネットワークのトレーニング速度が向上しました1桁大きい、代表的なインテリジェント分類タスクの正解率が向上します。40%。

2. 複雑なシーンのインテリジェントなイメージング:低照度環境（ピクセルあたりの光強度はサブフォトンのみ）では、エネルギー効率が達成されます。5.40×10^6 TOPS/W全光学処理、システムレベルのエネルギー効率の向上6桁。非視野などの複雑なシーンのイメージング アプリケーションでは、キロヘルツのフレーム レートによるインテリジェントなイメージングが実現され、効率が向上します。2桁の大きさ。

3. トポロジカルフォトニクス分野:非エルミート特異点は、モデルの事前分布に依存せずに自動的に検索でき、複雑な位相システムの効率的かつ正確な解析のための新しいアイデアを提供します。

3. 応用と理論の進歩を促進し、大規模な AI モデルに新しいコンピューティング能力を提供します。

Taichi-II は、トポロジカル フォトニクスの分野でも応用可能性を示しており、モデルに依存せずに非エルミート特異点を自動的に探索することができ、複雑なトポロジカル システムの効率的かつ正確な解析に新しいアイデアを提供します。

たとえば、2 つの機器が分離されている場合、Taichi I と II はそれぞれ高エネルギー効率の AI 推論とトレーニングを実現し、2 つの機器が調和されている場合、Taichi I と II は一緒に大規模インテリジェント コンピューティングの完全なライフ サイクルを形成します。 。

「太極拳の道は、二つの礼儀と、正義と反宇宙を統合する方法を決定します。」 これが、太極拳シリーズの弁証法的な協力構造を説明する方法です。私たちは、これらが協力して新たな推進力を注入すると信じています。将来の大規模な AI モデルへのコンピューティング パワーの開発と、コンピューティング パワーの新しい基盤の構築に向けて。 「ファン・ルーは言った。

主要なサンプルに基づいて、研究チームはインテリジェント光チップの工業化に向けて積極的に取り組んでおり、それらをさまざまなエンドサイドインテリジェントシステムに展開しています。

2 世代にわたる Taichi チップは、インテリジェント光コンピューティングの大きな可能性を次々と明らかにしてきました。 Taichi シリーズを含む光コンピューティング分野でのたゆまぬ努力を通じて、インテリジェント光コンピューティング プラットフォームは、大規模な AI モデル、一般的な人工知能、複雑なインテリジェント システムに対して、リソース消費量が少なく、高速でエネルギー効率の高いコンピューティングを提供することが期待されています。限界費用が小さくなり、新しい道を切り開くことができます。

ソース：清華大学、自然