Ученые МФТИ научились «упаковывать» нейросети без потери качества
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- Российский рынок облаков за 20 лет
- 30 лет рынку ERP в России
- Главные
ИТ-сценарии 2026 - Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- Интернет
- ИТ-бизнес
- Рейтинги
- Инфографика
|
Алгоритм HARP, созданный в МФТИ, улучшает качество экстремально сжатых языковых моделей. Метод позволяет моделям уровня Llama и Qwen работать в два раза быстрее, теряя при этом меньше информации, чем при стандартном подходе. Препринт исследования опубликован на arxiv.org, код HARP выложен в открытый доступ на GitHub, а готовые сжатые модели опубликованы на Hugging Face. Об этом CNews сообщили представители МФТИ.
Большие языковые модели (LLM) требуют огромных вычислительных ресурсов. Их запуск упирается в пропускную способность памяти. Чтобы сжать их, ученые используют квантование — значения их весов представляют меньшим числом бит. Чем сильнее сжатие, тем выше риск потерять точность. Особенно это заметно при агрессивном сжатии, когда возникает проблема «выбросов»: несколько аномально больших значений весов портят статистику, и модель начинает хуже понимать текст.
Новый алгоритм HARP борется с этой проблемой. Перед квантованием он подбирает для каждого слоя модели собственную систему координат — такую, в которой значения лучше подходят для последующего сжатия. В основе метода лежат структурированные ортогональные повороты — математические преобразования, которые меняют способ представления данных, но не меняют саму модель.
«Когда вы поворачиваете фотографию, изображение остается тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти, в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места», — сказал Артур Загитов, инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.
HARP не заменяет существующие методы квантования, а работает поверх них. В начале калибровки он полностью совпадает со стандартным преобразованием, которое уже используется в этих пайплайнах. Затем HARP аккуратно подстраивает повороты под конкретный слой модели и выбранный метод сжатия. Это позволяет улучшать качество модели и сохранять ее структуру.
Алгоритм проверили на моделях разного масштаба. В экспериментах на Llama 2–70B и Qwen3-8B алгоритм стабильно улучшал показатели относительно, стандартного подхода. При самом жестком 2-битном сжатии ошибка снизилась на 12–15%. Преимущество модели подтвердилось во время тестов с вопросами и вариантами ответа.
Скорость работы при сжатии модели почти не пострадала: HARP сохраняет 90% скорости стандартного сжатия и работает примерно в 2,1 раза быстрее полной версии.
Low/no-code-революция: новая архитектура цифровой независимости Конференция
«Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, потому что подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает гораздо меньше памяти. При этом нам не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку», — сказал Глеб Молодцов, старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ.
Метод также проверили на другом бэкенде для сжатия — QTIP. HARP улучшил результаты и там. Это значит, что метод универсален и не привязан к одному конкретному алгоритму квантования.
Разработка уже доступна для использования. Код выложен в открытый доступ на GitHub, готовые сжатые модели опубликованы на Hugging Face.
Сейчас HARP применяется к квантованию весов модели и уже доступен к использованию. В будущем ученые планируют исследовать алгоритм и к другим компонентам инференса.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.