noticias

Core West informó el 10 de agosto que el grupo de investigación del profesor Fang Lu del Departamento de Ingeniería Electrónica y el grupo de investigación del académico Dai Qionghai del Departamento de Automatización de la Universidad de TsinghuaprimeroArquitectura de entrenamiento de computación óptica inteligente completamente avanzada, desarrolladoChip de entrenamiento ligero "Tai Chi-II", deshacerse de la dependencia de la capacitación fuera de línea y realizar un sistema de computación óptica a gran escalared neuronalEntrenamiento eficiente y preciso. Esta semana se publicaron resultados de investigación relevantes en la principal revista académica internacional Nature.

El Departamento de Ingeniería Electrónica de la Universidad de Tsinghua publicó una introducción que decía:La aparición del Tai Chi-II ha llenado el vacío en el rompecabezas central de la computación óptica inteligente en el entrenamiento a gran escala.。

La computación óptica tiene las características de alta potencia informática y bajo consumo de energía, y es una dirección de vanguardia para acelerar la computación inteligente. El crítico de Nature mencionado en la reseña comenta que “las ideas propuestas en este artículo son muy novedosas.El proceso de entrenamiento de este tipo de redes neuronales ópticas (ONN) no tiene precedentes. El método propuesto no sólo es eficaz sino también fácil de implementar. Por lo tanto,Se espera que se convierta en una herramienta ampliamente adoptada para entrenar redes neuronales ópticas y otros sistemas informáticos ópticos.”。

El Departamento de Electrónica de la Universidad de Tsinghua es la primera unidad del artículo. El profesor Fang Lu y el profesor Dai Qionghai son los autores correspondientes del artículo. El estudiante de doctorado Xue Zhiwei y el becario postdoctoral Zhou Tiankui del Departamento de Electrónica de la Universidad de Tsinghua son coautores. En este trabajo participaron el estudiante de doctorado Xu Zhihao del Departamento de Electrónica y el Dr. Yu Shaoliang del Laboratorio Zhijiang. Este proyecto cuenta con el apoyo del Ministerio de Ciencia y Tecnología, la Fundación Nacional de Ciencias Naturales de China, el Centro Nacional de Investigación de Ciencia y Tecnología de la Información de Beijing y el Centro Conjunto de Investigación del Laboratorio Zhijiang de la Universidad de Tsinghua.

1. El uso inteligente de la simetría ayuda a la informática óptica a deshacerse de la dependencia de la GPU

La computación óptica promete mejorar la velocidad y la eficiencia energética de las aplicaciones de aprendizaje automático. Sin embargo, los métodos actuales para entrenar eficazmente estos modelos están limitados por simulaciones por computadora.

El chip de computación óptica inteligente universal "Tai Chi" publicado en la principal revista académica internacional Science，Por primera vez, la computación óptica ha pasado de la verificación de principios a aplicaciones experimentales a gran escala.160TOPS/WLa eficiencia energética a nivel de sistema ha traído esperanzas al razonamiento de tareas inteligentes complejas, pero no ha logrado liberar el "poder de entrenamiento" de la computación óptica.

En comparación con la inferencia, el entrenamiento de modelos requiere mucha potencia informática. La arquitectura de entrenamiento eléctrico requiere un alto grado de coincidencia entre los modelos de propagación hacia adelante y hacia atrás, lo que plantea requisitos estrictos para la alineación precisa del sistema de física de computación óptica, lo que resulta en cálculos de gradiente difíciles, modelado fuera de línea lento y grandes errores de mapeo, que Limita la escala y la eficiencia de la formación óptica.

El equipo de investigación de Fang Lu y Dai Qionghai encontró "Simetría de propagación de fotones"Esta clave, usaEntrenamiento ligero hacia adelante completoRompiendo las limitaciones de la arquitectura de entrenamiento eléctrico en la computación óptica física.

Según Xue Zhiwei, primer autor del artículo, bajo la arquitectura Tai Chi-II,descenso de gradienteLa propagación hacia atrás en el sistema óptico se transforma en propagación hacia adelante del sistema óptico, y el entrenamiento de la red neuronal óptica se puede lograr utilizando la propagación hacia adelante con errores de datos dos veces. Las dos propagaciones directas tienen características de alineación natural, lo que garantiza un cálculo preciso de los gradientes físicos. La precisión del entrenamiento lograda de esta manera es alta y puede soportar el entrenamiento de redes a gran escala.

La modulación-propagación del sistema de luz física y la activación-conexión de la red neuronal se mapean entre sí, es decir, el entrenamiento del módulo de modulación puede impulsar la optimización del peso de cualquier red, asegurando así la velocidad y la eficiencia energética del entrenamiento.

Dado que no hay necesidad de retropropagación, la arquitectura Taichi-II ya no depende de la computación eléctrica para el modelado y el entrenamiento fuera de línea, y se puede lograr un entrenamiento óptico preciso y eficiente de redes neuronales a gran escala.

2. Entrenar redes ópticas con millones de parámetros aumenta la velocidad en 1 orden de magnitud

Utilizando la luz como medio informático y construyendo un modelo informático basado en la propagación controlable de la luz, la computación óptica tiene naturalmente las características de alta velocidad y bajo consumo de energía. El uso de la propagación total de la luz hacia adelante para lograr el entrenamiento puede mejorar en gran medida la velocidad y la energía. Eficiencia del entrenamiento de redes ópticas.

Los resultados de las mediciones del sistema muestran que Taichi-II puede entrenar una variedad de sistemas ópticos diferentes y exhibe un rendimiento excelente en diversas tareas.

1. Áreas de aprendizaje a gran escala:Rompiendo la contradicción entre precisión y eficiencia del cálculo,Millones de parámetrosSe ha mejorado la velocidad de entrenamiento de la red óptica.1 orden de magnitud, se mejora la tasa de precisión de las tareas de clasificación inteligente representativas.40%。

2. Imágenes inteligentes de escenas complejas:En un entorno con poca luz (la intensidad de la luz por píxel es solo de subfotones), se logra la eficiencia energética.5,40 × 10^6 TOPS/anchoProcesamiento totalmente óptico, mejora de la eficiencia energética a nivel del sistema6 órdenes de magnitud. En aplicaciones de imágenes de escenas complejas, como las que no tienen campo de visión, se logran imágenes inteligentes con velocidades de fotogramas en kilohercios y se mejora la eficiencia.2 órdenes de magnitud。

3. Campo de la fotónica topológica:Los puntos singulares no hermitianos se pueden buscar automáticamente sin depender de ningún modelo anterior, lo que proporciona una nueva idea para el análisis eficiente y preciso de sistemas topológicos complejos.

3. Promover la aplicación y el progreso teórico y proporcionar nueva potencia informática para grandes modelos de IA.

Taichi-II también ha demostrado potencial de aplicación en el campo de la fotónica topológica. Puede buscar automáticamente puntos singulares no hermitianos sin depender de ningún modelo a priori, proporcionando nuevas ideas para un análisis eficiente y preciso de sistemas topológicos complejos.

Por ejemplo, si los dos instrumentos están separados, Taichi I y II realizan razonamiento y entrenamiento de IA de alta eficiencia energética respectivamente y si los dos instrumentos están armonizados, Taichi I y II juntos forman un ciclo de vida completo de computación inteligente a gran escala; .

"El Tao del Tai Chi determina los dos ritos y el método de integración de la rectitud y el antiuniverso". Así es como describimos la estructura de colaboración dialéctica de la serie de Tai Chi. Creemos que trabajarán juntos para inyectar un nuevo impulso. para el desarrollo de la potencia informática en futuros grandes modelos de IA y construir una nueva base ligera para la potencia informática. "Dijo Fang Lu.

Basándose en las muestras principales, el equipo de investigación está avanzando activamente hacia la industrialización de chips ópticos inteligentes y los ha implementado en una variedad de sistemas inteligentes finales.

Dos generaciones de chips Taichi han revelado sucesivamente el enorme potencial de la computación óptica inteligente. A través de esfuerzos incansables en el campo de la computación óptica, incluida la serie Taichi, se espera que la plataforma de computación óptica inteligente proporcione computación de alta velocidad y eficiencia energética para grandes modelos de IA, inteligencia artificial general y sistemas inteligentes complejos con menor consumo de recursos y costos marginales más pequeños. Forjar nuevos caminos.

fuente:Universidad de Tsinghua, Naturaleza