Исследователи проверили обучение нейросетей на оптической установке

Описание разработки опубликовано в журнале Nature Computational Science. В основе метода — сочетание алгоритма обучения SS-DFA и архитектуры single-map framework. При традиционном обучении система сохраняет промежуточные состояния, чтобы вернуться к ним и скорректировать параметры. Новый подход обходится итоговой ошибкой и сведениями о самой системе. Вместо сложной сети с уникальными связями используются однотипные блоки, работающие по общим правилам.

В установке данные преобразуются в свет, проходят через волоконную петлю и возвращаются в виде электрического сигнала для анализа. По результатам испытаний, упрощенная схема в ряде тестов превзошла классические нейросети и потребовала значительно меньше вычислений. Свет передает данные быстрее электрических сигналов, допускает параллельную обработку и почти не выделяет тепла. Это может снизить расходы будущих дата-центров ИИ на вычисления и охлаждение.

«Мы захотели переосмыслить сам процесс обучения, чтобы физические системы могли выполнять вычисления более естественно, — рассказал аспирант Токийского университета Юнбо Чжан. — Для этого мы обратились к формату вычислений, использующему свет вместо электрических сигналов, но ради этого пришлось изменить и сам принцип обучения».

В предыдущей работе команда показала, что сложные паттерны активности естественным образом возникают в глубоких нейросетях, включая языковые модели, и предположила, что их можно использовать для улучшения обработки информации. Теперь исследователи продемонстрировали применение этих принципов на оптической системе. Они планируют масштабировать подход для крупных языковых и мультимодальных моделей и уменьшить систему до размера чипа, который сможет обрабатывать данные непосредственно в смартфонах, камерах и беспилотных автомобилях.