nouvelles

Core West a rapporté le 10 août que le groupe de recherche du professeur Fang Lu du département de génie électronique et le groupe de recherche de l'académicien Dai Qionghai du département d'automatisation de l'université Tsinghuad'abordArchitecture de formation en informatique optique intelligente et complète, développéPuce d'entraînement légère "Tai Chi-II", éliminant la dépendance à l'égard de la formation hors ligne et réalisant un système informatique optique à grande échelleréseau neuronalFormation efficace et précise. Des résultats de recherche pertinents ont été publiés cette semaine dans la principale revue universitaire internationale Nature.

Le Département de génie électronique de l'Université Tsinghua a publié une introduction disant :L’émergence du Tai Chi-II a comblé une lacune dans le puzzle central de l’informatique optique intelligente dans la formation à grande échelle.。

L'informatique optique présente les caractéristiques d'une puissance de calcul élevée et d'une faible consommation d'énergie et constitue une direction de pointe pour accélérer l'informatique intelligente. Le critique de Nature a mentionné dans les commentaires de la revue que « les idées proposées dans cet article sont très nouvelles.Le processus de formation de ce type de réseau de neurones optiques (ONN) est sans précédent. La méthode proposée est non seulement efficace mais aussi facile à mettre en œuvre. Par conséquent, ilDevrait devenir un outil largement adopté pour la formation des réseaux de neurones optiques et d'autres systèmes informatiques optiques”。

Le département d'électronique de l'université de Tsinghua est la première unité de l'article. Le professeur Fang Lu et le professeur Dai Qionghai sont les auteurs correspondants de l'article, le doctorant Xue Zhiwei et le chercheur postdoctoral Zhou Tiankui du département d'électronique de l'université de Tsinghua. auteurs. Le doctorant Xu Zhihao du Département d'électronique et le Dr Yu Shaoliang du Laboratoire de Zhijiang ont participé à ces travaux. Ce projet est soutenu par le ministère de la Science et de la Technologie, la Fondation nationale des sciences naturelles de Chine, le Centre national de recherche de Pékin sur les sciences et technologies de l'information et le Centre de recherche commun de l'Université Tsinghua et du Laboratoire de Zhijiang.

1. L’utilisation intelligente de la symétrie aide le calcul optique à se débarrasser de la dépendance au GPU

L’informatique optique promet d’améliorer la vitesse et l’efficacité énergétique des applications d’apprentissage automatique. Cependant, les méthodes actuelles permettant de former efficacement ces modèles sont limitées par les simulations informatiques.

La puce de calcul optique intelligente universelle « Tai Chi » publiée dans la principale revue universitaire internationale Science，Pour la première fois, le calcul optique est passé de la vérification des principes aux applications expérimentales à grande échelle.160 HAUTS/LL'efficacité énergétique au niveau du système a apporté de l'espoir dans le raisonnement de tâches intelligentes complexes, mais elle n'a pas réussi à libérer la « puissance d'entraînement » du calcul optique.

Par rapport à l’inférence, la formation de modèles nécessite beaucoup de puissance de calcul. L'architecture de formation électrique nécessite un degré élevé de correspondance entre les modèles de propagation vers l'avant et vers l'arrière, ce qui impose des exigences strictes pour l'alignement précis du système physique informatique optique, ce qui entraîne des calculs de gradient difficiles, une modélisation hors ligne lente et d'importantes erreurs de cartographie, ce qui limite l’échelle et l’efficacité de la formation optique.

L'équipe de recherche de Fang Lu et Dai Qionghai a découvert "Symétrie de propagation des photons"Cette clé, utiliseEntraînement complet à la lumière avantBriser les contraintes de l'architecture de formation électrique sur le calcul optique physique.

Selon Xue Zhiwei, le premier auteur de l'article, sous l'architecture Tai Chi-II,descente de penteLa propagation arrière dans le système optique est transformée en propagation avant du système optique, et la formation du réseau neuronal optique peut être réalisée en utilisant deux fois la propagation avant des erreurs de données. Les deux propagations vers l'avant ont des caractéristiques d'alignement naturelles, garantissant un calcul précis des gradients physiques. La précision de la formation obtenue de cette manière est élevée et peut prendre en charge la formation en réseau à grande échelle.

La modulation-propagation du système de lumière physique et l'activation-connexion du réseau neuronal se cartographient, c'est-à-dire que l'entraînement du module de modulation peut piloter l'optimisation du poids de n'importe quel réseau, garantissant ainsi la vitesse et l'efficacité énergétique de l'entraînement.

Puisqu'il n'y a pas besoin de rétropropagation, l'architecture Taichi-II ne repose plus sur l'informatique électrique pour la modélisation et la formation hors ligne, et une formation optique précise et efficace des réseaux neuronaux à grande échelle peut être réalisée.

2. La formation de réseaux optiques avec des millions de paramètres augmente la vitesse d'un ordre de grandeur

En utilisant la lumière comme support informatique et en construisant un modèle informatique basé sur la propagation contrôlable de la lumière, l'informatique optique présente naturellement les caractéristiques d'une vitesse élevée et d'une faible consommation d'énergie. L'utilisation de la propagation complète de la lumière vers l'avant pour réaliser un entraînement peut améliorer considérablement la vitesse et l'énergie. efficacité de la formation aux réseaux optiques.

Les résultats des mesures du système montrent que Taichi-II peut entraîner une variété de systèmes optiques différents et présente d'excellentes performances dans diverses tâches.

1. Domaines d’apprentissage à grande échelle :Briser la contradiction entre précision et efficacité des calculs,Des millions de paramètresLa vitesse de formation du réseau optique a été améliorée1 ordre de grandeur, le taux de précision de tâches de classification intelligente représentatives est amélioré.40%。

2. Imagerie intelligente de scènes complexes :Dans un environnement à faible luminosité (l'intensité lumineuse par pixel n'est que de sous-photons), l'efficacité énergétique est atteinte.5,40×10^6 HAUTS/LTraitement entièrement optique, amélioration de l'efficacité énergétique au niveau du système6 ordres de grandeur. Dans les applications d'imagerie de scène complexes telles que celles sans champ de vision, une imagerie intelligente avec des fréquences d'images en kilohertz est obtenue et l'efficacité est améliorée.2 ordres de grandeur。

3. Domaine photonique topologique :Les points singuliers non hermitiens peuvent être recherchés automatiquement sans s'appuyer sur des modèles a priori, offrant ainsi une nouvelle idée pour une analyse efficace et précise des systèmes topologiques complexes.

3. Promouvoir les progrès applicatifs et théoriques et fournir une nouvelle puissance de calcul pour les grands modèles d’IA.

Taichi-II a également montré un potentiel d'application dans le domaine de la photonique topologique. Il peut rechercher automatiquement des points singuliers non hermitiens sans s'appuyer sur un modèle a priori, fournissant ainsi de nouvelles idées pour une analyse efficace et précise de systèmes topologiques complexes.

Par exemple, si les deux instruments sont séparés, Taichi I et II réalisent respectivement un raisonnement et un entraînement à haute efficacité énergétique et si les deux instruments sont harmonisés, Taichi I et II forment ensemble un cycle de vie complet d'informatique intelligente à grande échelle ; .

" " Le Tao du Tai Chi détermine les deux rites et la méthode d'intégration de la droiture et de l'anti-univers. " C'est ainsi que nous décrivons la structure de collaboration dialectique de la série du Tai Chi. Nous pensons qu'ils travailleront ensemble pour injecter un nouvel élan. pour le développement de la puissance de calcul dans les futurs grands modèles d'IA et construire une nouvelle base légère pour la puissance de calcul. "Dit Fang Lu.

Sur la base des principaux échantillons, l'équipe de recherche s'oriente activement vers l'industrialisation de puces optiques intelligentes et les a déployées sur divers systèmes intelligents d'extrémité.

Deux générations de puces Taichi ont successivement révélé l’énorme potentiel du calcul optique intelligent. Grâce à des efforts inlassables dans le domaine de l'informatique optique, y compris la série Taichi, la plate-forme informatique optique intelligente devrait fournir une informatique à haute vitesse et économe en énergie pour les grands modèles d'IA, l'intelligence artificielle générale et les systèmes intelligents complexes avec une consommation de ressources réduite et des coûts marginaux plus faibles.

source:Université Tsinghua, Nature