notizia

Core West ha riferito il 10 agosto che il gruppo di ricerca del professor Fang Lu del Dipartimento di Ingegneria Elettronica e il gruppo di ricerca dell'Accademico Dai Qionghai del Dipartimento di Automazione dell'Università di TsinghuaPrimoArchitettura di formazione completa per l'elaborazione ottica intelligente, sviluppatoChip per allenamento leggero "Tai Chi-II"., eliminando la dipendenza dalla formazione offline e realizzando un sistema di calcolo ottico su larga scalarete neuraleFormazione efficiente e precisa. Risultati di ricerca rilevanti sono stati pubblicati questa settimana sulla prestigiosa rivista accademica internazionale Nature.

Il Dipartimento di Ingegneria Elettronica dell'Università di Tsinghua ha rilasciato un'introduzione dicendo:L’emergere del Tai Chi-II ha colmato la lacuna nel puzzle centrale del calcolo ottico intelligente nell’allenamento su larga scala.。

Il calcolo ottico ha le caratteristiche di elevata potenza di calcolo e basso consumo energetico e rappresenta una direzione all'avanguardia per accelerare il calcolo intelligente. Il revisore di Nature ha menzionato nella recensione che “le idee proposte in questo articolo sono molto nuove.Il processo di addestramento di questo tipo di rete neurale ottica (ONN) non ha precedenti. Il metodo proposto non è solo efficace ma anche facile da implementare. Pertanto, essoSi prevede che diventi uno strumento ampiamente adottato per l'addestramento di reti neurali ottiche e altri sistemi di elaborazione ottica”。

Il Dipartimento di Elettronica dell'Università di Tsinghua è la prima unità dell'articolo. Il professor Fang Lu e il professor Dai Qionghai sono gli autori corrispondenti dell'articolo. Il dottorando Xue Zhiwei e il ricercatore post-dottorato Zhou Tiankui del Dipartimento di Elettronica dell'Università di Tsinghua sono co-. hanno partecipato a questo lavoro il dottorando Xu Zhihao del Dipartimento di Elettronica e il Dr. Yu Shaoliang del Laboratorio Zhijiang. Questo progetto è sostenuto dal Ministero della Scienza e della Tecnologia, dalla Fondazione nazionale cinese per le scienze naturali, dal Centro nazionale di ricerca per la scienza e la tecnologia dell'informazione di Pechino e dal Centro di ricerca congiunto del laboratorio Tsinghua University-Zhijiang.

1. L'uso intelligente della simmetria aiuta il calcolo ottico a eliminare la dipendenza dalla GPU

Il calcolo ottico promette di migliorare la velocità e l’efficienza energetica delle applicazioni di apprendimento automatico. Tuttavia, i metodi attuali per addestrare efficacemente questi modelli sono limitati dalle simulazioni al computer.

Il chip di calcolo ottico universale intelligente "Tai Chi" pubblicato sulla prestigiosa rivista accademica internazionale Science，Per la prima volta, il calcolo ottico è stato spinto dalla verifica dei principi ad applicazioni sperimentali su larga scala.160TOP/LL'efficienza energetica a livello di sistema ha dato speranza al ragionamento su compiti intelligenti complessi, ma non è riuscita a liberare il "potere di allenamento" del calcolo ottico.

Rispetto all’inferenza, l’addestramento del modello richiede molta potenza di calcolo. L'architettura di addestramento elettrico richiede un elevato grado di corrispondenza tra i modelli di propagazione in avanti e all'indietro, il che impone requisiti rigorosi per l'allineamento preciso del sistema fisico di calcolo ottico, con conseguenti calcoli del gradiente difficili, modellazione offline lenta e grandi errori di mappatura, che limita la portata e l’efficienza dell’addestramento ottico.

Il gruppo di ricerca di Fang Lu e Dai Qionghai ha scoperto "Simmetria della propagazione dei fotoni"Questa chiave, usalaAllenamento leggero completo in avantiSuperare i vincoli dell'architettura di formazione elettrica sul calcolo ottico fisico.

Secondo Xue Zhiwei, il primo autore dell'articolo, sotto l'architettura Tai Chi-II,discesa del gradienteLa propagazione all'indietro nel sistema ottico viene trasformata nella propagazione in avanti del sistema ottico e l'addestramento della rete neurale ottica può essere ottenuto utilizzando due volte la propagazione in avanti dell'errore di dati. Le due propagazioni in avanti hanno caratteristiche di allineamento naturale, garantendo un calcolo accurato dei gradienti fisici. La precisione dell'addestramento ottenuta in questo modo è elevata e può supportare l'addestramento di rete su larga scala.

La modulazione-propagazione del sistema di luce fisica e l'attivazione-connessione della rete neurale si mappano a vicenda, ovvero l'allenamento del modulo di modulazione può guidare l'ottimizzazione del peso di qualsiasi rete, garantendo così la velocità e l'efficienza energetica dell'allenamento.

Poiché non è necessaria la propagazione all'indietro, l'architettura Taichi-II non si basa più sull'elaborazione elettrica per la modellazione e l'addestramento offline ed è possibile ottenere un addestramento ottico accurato ed efficiente di reti neurali su larga scala.

2. L'addestramento di reti ottiche con milioni di parametri aumenta la velocità di 1 ordine di grandezza

Utilizzando la luce come mezzo di calcolo e costruendo un modello di calcolo basato sulla propagazione controllabile della luce, il calcolo ottico ha naturalmente le caratteristiche di alta velocità e basso consumo energetico. Utilizzando la propagazione in avanti completa della luce per ottenere l'allenamento è possibile migliorare notevolmente la velocità e l'energia efficienza della formazione della rete ottica.

I risultati delle misurazioni del sistema mostrano che Taichi-II può addestrare una varietà di sistemi ottici diversi e mostra prestazioni eccellenti in vari compiti.

1. Aree di apprendimento su larga scala:Superando la contraddizione tra accuratezza del calcolo ed efficienza,Milioni di parametriLa velocità di addestramento della rete ottica è stata migliorata1 ordine di grandezza, il tasso di precisione dei compiti di classificazione intelligente rappresentativi è migliorato.40%。

2. Imaging intelligente di scene complesse:In un ambiente con scarsa illuminazione (l'intensità della luce per pixel è solo sub-fotonica), si ottiene l'efficienza energetica.5,40×10^6 ALTI/LElaborazione completamente ottica, miglioramento dell'efficienza energetica a livello di sistema6 ordini di grandezza. Nelle applicazioni di imaging di scene complesse come quelle senza campo visivo, si ottiene un imaging intelligente con frame rate kilohertz e l'efficienza viene migliorata.2 ordini di grandezza。

3. Campo della fotonica topologica:I punti singolari non hermitiani possono essere ricercati automaticamente senza fare affidamento su alcun modello a priori, fornendo una nuova idea per un'analisi efficiente e accurata di sistemi topologici complessi.

3. Promuovere applicazioni e progressi teorici e fornire nuova potenza di calcolo per modelli di intelligenza artificiale di grandi dimensioni.

Taichi-II ha anche mostrato potenzialità applicative nel campo della fotonica topologica. Può cercare automaticamente punti singolari non hermitiani senza fare affidamento su alcun modello a priori, fornendo nuove idee per l'analisi efficiente e accurata di sistemi topologici complessi.

Ad esempio, se i due strumenti sono separati, Taichi I e II realizzano rispettivamente ragionamento e formazione AI ad alta efficienza energetica e se i due strumenti sono armonizzati, Taichi I e II insieme formano un ciclo di vita completo di elaborazione intelligente su larga scala; .

""Il Tao del Tai Chi determina i due riti e il metodo di integrazione della rettitudine e dell'anti-universo." Questo è il modo in cui descriviamo la struttura di collaborazione dialettica della serie del Tai Chi. Crediamo che lavoreranno insieme per dare nuovo slancio per lo sviluppo della potenza di calcolo nei futuri modelli di intelligenza artificiale di grandi dimensioni e per costruire una nuova base leggera per la potenza di calcolo. "Ha detto Fang Lu.

Sulla base dei campioni principali, il gruppo di ricerca si sta muovendo attivamente verso l'industrializzazione di chip ottici intelligenti e li ha implementati su una varietà di sistemi intelligenti end-side.

Due generazioni di chip Taichi hanno rivelato l'enorme potenziale del calcolo ottico intelligente. Attraverso sforzi incessanti nel campo del calcolo ottico, inclusa la serie Taichi, si prevede che la piattaforma di calcolo ottico intelligente fornirà un calcolo ad alta velocità ed efficiente dal punto di vista energetico per modelli di intelligenza artificiale di grandi dimensioni, intelligenza artificiale generale e sistemi intelligenti complessi con un minore consumo di risorse e minori costi marginali. Forgiare nuovi percorsi.

fonte:Università Tsinghua, Natura