Новый алгоритм позволит обучать ИИ на энергоэффективных фотонных и нейроморфных процессорах
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Ученые Института AIRI, Центра квантовых технологий Сбербанка и Сколтеха разработали метод astralora для обучения гибридных моделей ИИ, использующих альтернативные вычислители. Например, фотонные, нейроморфные или аналоговые чипы. Такие устройства рассматриваются как потенциально более быстрые и энергоэффективные для выполнения ряда базовых операций нейросетей. Об этом CNews сообщил представитель Института AIRI.
Нейросетевые модели обучаются при помощи метода обратного распространения ошибки. То есть после каждого ответа сигнал проходит через все слои и показывает, как нужно изменить параметры для улучшения результата. Но если один из слоев работает как «черный ящик», то этот механизм реализовать невозможно. У алгоритма нет доступа к внутренним градиентам системы, и он не может провести необходимые вычисления. Astralora решает эту проблему.
Во-первых, ученые немного меняют параметры вычислительного модуля случайным образом и смотрят, как это влияет на результат. После нескольких проб система оценивает, в какую сторону нужно скорректировать настройки. Во-вторых, для того чтобы передать сигнал об ошибке другим цифровым слоям, исследователи создают компактную суррогатную модель, которая приближенно описывает работу устройства. Пока вычислительный модуль выполняет основную работу, суррогатная модель помогает провести обратный сигнал, а затем обновляется и подстраивается под текущее состояние «черного ящика».
Метод протестировали на шести цифровых моделях фотонных вычислительных слоев и схем – от простых матричных умножителей до сложных пространственных модуляторов света и интерферометров Маха-Цендера. Чтобы проверить, что подход не привязан к какому-то одному типу данных, исследователи провели эксперименты на задачах из трех разных областей. Первая – классификация изображений на наборе CIFAR-10. Вторая – классификация городских звуков на наборе UrbanSound8K с архитектурой ECAPA-TDNN. Третья, самая масштабная, – языковое моделирование на трансформере типа GPT-2 на 417 миллионов параметров.
Результаты показали: для обучения гибридной нейросети не обязательно точно знать, что происходит внутри каждого ее компонента. Наблюдений за реакцией устройства на случайные изменения в сочетании с адаптивной суррогатной моделью достаточно, чтобы модель продолжала обучаться и показывала результаты, близкие к полностью цифровым базовым моделям.
Код исследования опубликован в открытом доступе.
«В будущем такие гибридные системы могут быть востребованы в крупных дата-центрах для обучения больших моделей, а также в устройствах с жесткими требованиями к скорости и энергопотреблению, таких как обработка сигналов с сенсоров, компьютерное зрение и телекоммуникации. Самый реалистичный сценарий – когда тяжелые математические операции выполняет физический ускоритель, а остальную работу делает цифровая часть», – отметил Андрей Чертков, старший научный сотрудник группы «Вычислительный интеллект» Института AIRI.
«Сейчас активно развиваются специализированные вычислительные устройства для ИИ, имеющие самые разнообразные физические воплощения — от нейроморфных систем до фотоники. Предложенный алгоритм позволяет использовать такие порой экзотические устройства вместе с цифровой электроникой в гибридных вычислительных системах и обучать на них модели ИИ без потери качества» — сказал Станислав Страупе, научный руководитель Центра квантовых технологий Сбербанка.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.