Nachricht

Core West berichtete am 10. August, dass die Forschungsgruppe von Professor Fang Lu von der Abteilung für Elektrotechnik und die Forschungsgruppe von Akademiker Dai Qionghai von der Abteilung für Automatisierung der Tsinghua-UniversitätErsteVollständig zukunftsweisende intelligente optische Computer-Trainingsarchitektur, entwickeltLeichter Trainingschip „Tai Chi-II“., die Abhängigkeit vom Offline-Training beseitigen und ein großes optisches Computersystem realisierenneuronales NetzwerkEffizientes und präzises Training. Relevante Forschungsergebnisse wurden diese Woche in der internationalen Top-Fachzeitschrift Nature veröffentlicht.

Die Abteilung für Elektrotechnik der Tsinghua-Universität gab eine Einführung heraus, in der es heißt:Das Aufkommen von Tai Chi-II hat die Lücke im Kernrätsel des intelligenten optischen Rechnens im groß angelegten Training geschlossen.。

Optisches Rechnen zeichnet sich durch hohe Rechenleistung und geringen Stromverbrauch aus und ist eine bahnbrechende Richtung zur Beschleunigung des intelligenten Rechnens. Der Nature-Rezensent erwähnte in der Rezension, dass „die in diesem Artikel vorgeschlagenen Ideen sehr neuartig sind.“Der Trainingsprozess dieser Art von optischen neuronalen Netzwerken (ONN) ist beispiellos. Die vorgeschlagene Methode ist nicht nur effektiv, sondern auch einfach umzusetzen. Deshalb ist esEs wird erwartet, dass es sich zu einem weit verbreiteten Werkzeug für das Training optischer neuronaler Netze und anderer optischer Computersysteme entwickelt”。

Die Abteilung für Elektronik der Tsinghua-Universität ist die erste Einheit der Arbeit. Professor Fang Lu und Professor Dai Qionghai sind die entsprechenden Autoren der Arbeit. Der Doktorand Xue Zhiwei und der Postdoktorand Zhou Tiankui von der Abteilung für Elektronik der Tsinghua-Universität sind Mitautoren. Autoren. Der Doktorand Xu Zhihao von der Abteilung für Elektronik und Dr. Yu Shaoliang vom Zhijiang Laboratory waren an dieser Arbeit beteiligt. Dieses Projekt wird vom Ministerium für Wissenschaft und Technologie, der National Natural Science Foundation of China, dem Beijing National Research Center for Information Science and Technology und dem Tsinghua University-Zhijiang Laboratory Joint Research Center unterstützt.

1. Der geschickte Einsatz von Symmetrie hilft dem optischen Computing, die GPU-Abhängigkeit zu beseitigen

Optisches Computing verspricht eine Verbesserung der Geschwindigkeit und Energieeffizienz maschineller Lernanwendungen. Aktuelle Methoden zum effektiven Training dieser Modelle sind jedoch durch Computersimulationen begrenzt.

Universeller intelligenter optischer Rechenchip „Tai Chi“, veröffentlicht in der führenden internationalen Fachzeitschrift Science，Zum ersten Mal wurde das optische Rechnen von der Prinzipverifizierung auf groß angelegte experimentelle Anwendungen verlagert.160TOPS/WDie Energieeffizienz auf Systemebene hat der Argumentation komplexer intelligenter Aufgaben Hoffnung gegeben, es gelang ihr jedoch nicht, die „Trainingsleistung“ des optischen Rechnens freizusetzen.

Im Vergleich zur Inferenz erfordert das Modelltraining viel Rechenleistung. Die elektrische Trainingsarchitektur erfordert ein hohes Maß an Übereinstimmung zwischen den Vorwärts- und Rückwärtsausbreitungsmodellen, was strenge Anforderungen an die präzise Ausrichtung des optischen Computerphysiksystems stellt, was zu einer schwierigen Gradientenberechnung, einer langsamen Offline-Modellierung und großen Abbildungsfehlern führt schränkt den Umfang und die Effizienz des optischen Trainings ein.

Das Forschungsteam von Fang Lu und Dai Qionghai fand „Symmetrie der Photonenausbreitung„Diesen Schlüssel, benutzen SieVolles Vorwärts-LichttrainingDurchbrechen der Einschränkungen der elektrischen Trainingsarchitektur für physikalisches optisches Computing.

Laut Xue Zhiwei, dem Erstautor des Papiers, unter der Tai Chi-II-Architektur,GefälleabstiegDie Rückausbreitung im optischen System wird in die Vorwärtsausbreitung des optischen Systems umgewandelt, und das Training des optischen neuronalen Netzwerks kann durch zweimalige Verwendung der Datenfehler-Vorwärtsausbreitung erreicht werden. Die beiden Vorwärtsausbreitungen weisen natürliche Ausrichtungseigenschaften auf, die eine genaue Berechnung physikalischer Gradienten gewährleisten. Die auf diese Weise erreichte Trainingsgenauigkeit ist hoch und kann ein groß angelegtes Netzwerktraining unterstützen.

Die Modulationsausbreitung des physikalischen Lichtsystems und die Aktivierungsverbindung des neuronalen Netzwerks bilden einander ab, d. h. das Training des Modulationsmoduls kann die Gewichtsoptimierung jedes Netzwerks vorantreiben und so die Geschwindigkeit und Energieeffizienz des Trainings sicherstellen.

Da keine Rückausbreitung erforderlich ist, ist die Taichi-II-Architektur für die Offline-Modellierung und das Offline-Training nicht mehr auf elektrische Berechnungen angewiesen, und es kann ein genaues und effizientes optisches Training großer neuronaler Netze erreicht werden.

2. Das Training optischer Netzwerke mit Millionen von Parametern erhöht die Geschwindigkeit um eine Größenordnung

Durch die Verwendung von Licht als Rechenmedium und den Aufbau eines Rechenmodells, das auf der kontrollierbaren Lichtausbreitung basiert, weist das optische Rechnen natürlich die Eigenschaften einer hohen Geschwindigkeit und eines geringen Stromverbrauchs auf. Durch die Nutzung der vollständigen Vorwärtsausbreitung von Licht zum Erreichen des Trainings können Geschwindigkeit und Energie erheblich verbessert werden Effizienz des optischen Netzwerktrainings.

Systemmessergebnisse zeigen, dass Taichi-II eine Vielzahl unterschiedlicher optischer Systeme trainieren kann und bei verschiedenen Aufgaben eine hervorragende Leistung zeigt.

1. Großräumige Lernbereiche:Den Widerspruch zwischen Rechengenauigkeit und Effizienz durchbrechen,Millionen ParameterDie Trainingsgeschwindigkeit für optische Netzwerke wurde verbessert1 Größenordnung, die Genauigkeit repräsentativer intelligenter Klassifizierungsaufgaben wird verbessert.40%。

2. Intelligente Abbildung komplexer Szenen:In einer Umgebung mit wenig Licht (die Lichtintensität pro Pixel beträgt nur Subphotonen) wird die Energieeffizienz erreicht.5,40×10^6 TOPS/WVollständig optische Verarbeitung, Verbesserung der Energieeffizienz auf Systemebene6 Größenordnungen. Bei komplexen Szenenbildanwendungen wie z. B. Nicht-Sichtfeldanwendungen wird eine intelligente Bildgebung mit Kilohertz-Bildraten erreicht und die Effizienz verbessert.2 Größenordnungen。

3. Bereich der topologischen Photonik:Nicht-hermitesche Singulärpunkte können automatisch gesucht werden, ohne auf vorherige Modellvorgaben angewiesen zu sein, was eine neue Idee für eine effiziente und genaue Analyse komplexer topologischer Systeme liefert.

3. Anwendungs- und theoretischen Fortschritt fördern und neue Rechenleistung für große KI-Modelle bereitstellen.

Taichi-II hat auch Anwendungspotenzial im Bereich der topologischen Photonik gezeigt. Es kann automatisch nach nicht-hermiteschen singulären Punkten suchen, ohne sich auf ein vorheriges Modell zu verlassen, und liefert so neue Ideen für eine effiziente und genaue Analyse komplexer topologischer Systeme.

Wenn beispielsweise die beiden Instrumente getrennt werden, realisieren Taichi I und II ein hocheffizientes KI-Denken bzw. -Training, und wenn die beiden Instrumente harmonisiert werden, bilden Taichi I und II zusammen einen vollständigen Lebenszyklus für intelligentes Rechnen im großen Maßstab .

„Das Tao des Tai Chi bestimmt die beiden Riten und die Methode zur Integration von Rechtschaffenheit und Anti-Universum.“ So beschreiben wir die dialektische Zusammenarbeitsstruktur der Tai Chi-Reihe. Wir glauben, dass sie zusammenarbeiten werden, um neue Impulse zu setzen für die Entwicklung von Rechenleistung in zukünftige große KI-Modelle und den Aufbau einer leichten neuen Grundlage für Rechenleistung. „Sagte Fang Lu.

Basierend auf den Hauptproben strebt das Forschungsteam aktiv die Industrialisierung intelligenter optischer Chips an und hat diese auf einer Vielzahl endseitiger intelligenter Systeme eingesetzt.

Zwei Generationen von Taichi-Chips haben nacheinander das enorme Potenzial intelligenter optischer Datenverarbeitung offenbart. Durch unermüdliche Bemühungen im Bereich des optischen Rechnens, einschließlich der Taichi-Serie, wird erwartet, dass die intelligente optische Rechenplattform schnelles und energieeffizientes Rechnen für große KI-Modelle, allgemeine künstliche Intelligenz und komplexe intelligente Systeme mit geringerem Ressourcenverbrauch bietet geringere Grenzkosten. Neue Wege gehen.

Quelle:Tsinghua-Universität, Natur