новости

Core West сообщила 10 августа, что исследовательская группа профессора Фан Лу с кафедры электронной инженерии и исследовательская группа академика Дай Цюнхая с кафедры автоматизации Университета ЦинхуапервыйПолная интеллектуальная архитектура обучения оптическим вычислениям, развитыйЛегкий тренировочный чип «Тай Чи-II», избавление от зависимости от офлайн-обучения и реализация крупномасштабной оптической вычислительной системынейронная сетьЭффективное и точное обучение. Соответствующие результаты исследования были опубликованы на этой неделе в ведущем международном академическом журнале Nature.

Факультет электронной инженерии Университета Цинхуа опубликовал вступительную речь, в которой говорилось:Появление Тай Чи-II заполнило пробел в основной загадке интеллектуальных оптических вычислений в крупномасштабном обучении.。

Оптические вычисления обладают характеристиками высокой вычислительной мощности и низкого энергопотребления и являются передовым направлением ускорения интеллектуальных вычислений. Рецензент Nature отметил в комментариях к обзору, что «идеи, предложенные в этой статье, очень новы.Процесс обучения оптической нейронной сети (ONN) этого типа является беспрецедентным.. Предложенный метод не только эффективен, но и прост в реализации. Следовательно, этоОжидается, что он станет широко распространенным инструментом для обучения оптических нейронных сетей и других оптических вычислительных систем.”。

Кафедра электроники Университета Цинхуа является первым подразделением статьи. Профессор Фан Лу и профессор Дай Цюнхай являются соавторами статьи, аспирант Сюэ Чивэй и научный сотрудник кафедры электроники Университета Цинхуа Чжоу Тянькуй. В этой работе приняли участие докторант Сюй Чжихао с кафедры электроники и доктор Юй Шаолян из лаборатории Чжицзян. Этот проект поддерживается Министерством науки и технологий, Национальным фондом естественных наук Китая, Пекинским национальным исследовательским центром информационных наук и технологий и Совместным исследовательским центром лаборатории Университета Цинхуа и Чжицзян.

1. Умное использование симметрии помогает оптическим вычислениям избавиться от зависимости от графического процессора.

Оптические вычисления обещают повысить скорость и энергоэффективность приложений машинного обучения. Однако современные методы эффективного обучения этих моделей ограничены компьютерным моделированием.

Универсальный интеллектуальный оптический вычислительный чип «Тай Чи» опубликован в ведущем международном научном журнале Science.，Впервые оптические вычисления перешли от проверки принципов к крупномасштабным экспериментальным приложениям.160 ВЕРХНИЙ/ВТЭнергоэффективность на системном уровне дала надежду на решение сложных интеллектуальных задач, но не смогла раскрыть «обучающую мощь» оптических вычислений.

По сравнению с логическим выводом обучение модели требует больших вычислительных мощностей. Архитектура электрического обучения требует высокой степени согласования между моделями прямого и обратного распространения, что выдвигает строгие требования к точному выравниванию физической системы оптических вычислений, что приводит к сложному расчету градиента, медленному автономному моделированию и большим ошибкам картирования, что ограничивает масштаб и эффективность оптического обучения.

Исследовательская группа Фан Лу и Дай Цюнхая обнаружила:Симметрия распространения фотонов«Этот ключ, используйтеПолная тренировка переднего светаПреодолев ограничения архитектуры электрического обучения на физических оптических вычислениях.

По словам Сюэ Живэя, первого автора статьи, в архитектуре Тай Чи-II:градиентный спускОбратное распространение в оптической системе преобразуется в прямое распространение оптической системы, а обучение оптической нейронной сети может быть достигнуто путем двукратного использования прямого распространения ошибки данных. Два прямых распространения имеют естественные характеристики выравнивания, что обеспечивает точный расчет физических градиентов. Достигаемая таким образом точность обучения высока и может поддерживать обучение крупномасштабной сети.

Модуляция-распространение системы физического света и активация-соединение нейронной сети сопоставляют друг друга, то есть обучение модуля модуляции может привести к оптимизации веса любой сети, обеспечивая тем самым скорость и энергоэффективность обучения.

Поскольку нет необходимости в обратном распространении ошибки, архитектура Taichi-II больше не полагается на электрические вычисления для автономного моделирования и обучения, и может быть достигнуто точное и эффективное оптическое обучение крупномасштабных нейронных сетей.

2. Обучение оптических сетей с миллионами параметров увеличивает скорость на 1 порядок

Используя свет в качестве вычислительной среды и создавая вычислительную модель, основанную на контролируемом распространении света, оптические вычисления, естественно, обладают характеристиками высокой скорости и низкого энергопотребления. Использование полного прямого распространения света для обучения может значительно улучшить скорость и энергию. эффективность обучения оптической сети.

Результаты измерений системы показывают, что Taichi-II может обучать множество различных оптических систем и демонстрирует отличную производительность при выполнении различных задач.

1. Масштабные области обучения:Преодолевая противоречие между точностью вычислений и эффективностью,Миллионы параметровУлучшена скорость обучения оптической сети.1 порядок величиныповышается точность репрезентативных задач интеллектуальной классификации.40%。

2. Интеллектуальная визуализация сложных сцен:В условиях низкой освещенности (интенсивность света на пиксель составляет всего лишь субфотоны) достигается энергоэффективность.5,40×10^6 ТОПС/ВтПолностью оптическая обработка, повышение энергоэффективности на системном уровне6 порядков. В приложениях для визуализации сложных сцен, например, в условиях отсутствия поля зрения, достигается интеллектуальная визуализация с килогерцовой частотой кадров и повышается эффективность.2 порядка величины。

3. Поле топологической фотоники:Неэрмитовы особые точки можно искать автоматически, не полагаясь на какие-либо априорные данные модели, что дает новую идею для эффективного и точного анализа сложных топологических систем.

3. Содействие прикладному и теоретическому прогрессу и предоставление новых вычислительных мощностей для крупных моделей ИИ.

Taichi-II также продемонстрировал потенциал применения в области топологической фотоники. Он может автоматически искать неэрмитовые особые точки, не полагаясь на какую-либо априорную модель, предоставляя новые идеи для эффективного и точного анализа сложных топологических систем.

Например, если два инструмента разделены, Taichi I и II реализуют высокоэнергетические рассуждения и обучение ИИ соответственно, а если два инструмента гармонизированы, Taichi I и II вместе образуют полный жизненный цикл крупномасштабных интеллектуальных вычислений; .

«Дао Тай Чи определяет два обряда и метод объединения праведности и антивселенной». Именно так мы описываем диалектическую структуру сотрудничества серии Тай Чи. Мы верим, что они будут работать вместе, чтобы придать новый импульс для развития вычислительной мощности в будущих крупных моделях искусственного интеллекта и создания легкой новой основы для вычислительной мощности. «Сказал Фан Лу.

Основываясь на принципиальных образцах, исследовательская группа активно движется к индустриализации интеллектуальных оптических чипов и внедрила их в различные конечные интеллектуальные системы.

Два поколения чипов Taichi последовательно раскрыли огромный потенциал интеллектуальных оптических вычислений. Ожидается, что благодаря неустанным усилиям в области оптических вычислений, включая серию Taichi, интеллектуальная оптическая вычислительная платформа обеспечит высокоскоростные и энергоэффективные вычисления для больших моделей искусственного интеллекта, общего искусственного интеллекта и сложных интеллектуальных систем с меньшим потреблением ресурсов и меньшие предельные издержки. Создайте новые пути.

источник:Университет Цинхуа, Природа