Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила

Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду.

Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия?

Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного.

Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества.

Результаты оказались гораздо интереснее, чем мы ожидали.

Сначала немного контекста

Наш проект называется ExVRAM Lab. Это открытая исследовательская лаборатория, посвящённая запуску больших языковых моделей на обычных потребительских видеокартах с ограниченной памятью.

В первой статье мы показали, что Qwen3.8-27B в формате UD-IQ2_XXS полностью размещается на RTX 5060 8 GB.

На реально заполненном контексте около 8 тысяч токенов медианная скорость пяти запусков составила 30,10 токена/с, а пиковое потребление VRAM — 7767 MiB.

То есть с точки зрения размещения модели в памяти и скорости генерации задача была решена.

Но оставался главный вопрос: сколько способностей исходной модели мы потеряли ради этих цифр?

IQ2_XXS — очень агрессивный формат квантования. Он позволяет существенно сократить объём весов, но вместе с этим возникает риск искажения вычислений.

Причём влияние квантования может быть неодинаковым. Модель способна нормально отвечать на простые вопросы, но ошибаться в математике, терять последовательность рассуждений или переставать выполнять сложные инструкции.

Мы решили проверить это экспериментально.

Первый эксперимент: BF16 против IQ2 на модели 2B

Сравнивать нашу 27B напрямую с BF16 оказалось невозможно на имеющемся оборудовании.

Официальные BF16-веса Qwen3.8-27B занимают около 55,6 ГБ. На компьютере с 16 ГБ оперативной памяти и RTX 5060 8 GB безопасно запустить такой эталон не получается.

При этом принцип ExVRAM — проводить собственные эксперименты локально, без аренды облачных GPU.

Поэтому мы взяли меньшую модель Qwen3.5-2B, для которой можно запустить и BF16, и IQ2.

Это не замена сравнению 27B с её исходными весами. Но такой эксперимент позволяет напрямую измерить разницу между двумя представлениями одной меньшей модели.

Мы использовали одинаковые задания и правила оценки.

Вот что получилось.

Последняя строка — макросреднее: каждая категория имеет одинаковый вес независимо от числа заданий.

Разница составила 40,1 процентного пункта.

В рамках утверждённого протокола это QUALITY_DEGRADED, а не статистически неопределённый результат.

Особенно сильное падение обнаружилось в математике и соблюдении инструкций.

Математика: 81 правильный ответ превратился в 6

На математическом наборе GSM8K эталонная 2B BF16 решила 81 задачу из 100.

IQ2 решила только 6.

Но при разборе сырых ответов обнаружилась важная деталь.

Из 94 неуспешных ответов IQ2 в 84 случаях генерация достигла установленного лимита в 768 токенов.

Это означает, что большая часть неудач сопровождалась незавершённой генерацией.

Здесь нужно быть осторожным с выводами.

Возможно, квантование нарушило способность модели эффективно завершать рассуждение. Но нельзя исключать и проблемы с конфигурацией инференса: chat template, режимом reasoning, форматом квантованного артефакта или взаимодействием модели с ограничениями генерации.

Мы пока не установили единственную причину.

Именно поэтому результаты сохраняются вместе с сырыми ответами, а не только в виде одного процента точности.

Если дело действительно в квантовании, возникает интересная инженерная задача: определить, какие именно тензоры или слои наиболее чувствительны к снижению точности.

Если проблема в inference pipeline, сначала нужно исправить его, а затем повторить контролируемое сравнение.

Но длинный контекст почти не пострадал

Ещё один неожиданный результат — тесты извлечения информации из длинного контекста.

BF16 справилась с 45 заданиями из 45.

IQ2 — с 43 из 45.

Разница намного меньше, чем в математике.

Это не означает, что двухбитная модель сохранила способность работать с любыми длинными документами. Мы проверили ограниченный набор retrieval-заданий, а не полноценную работу с большой кодовой базой или многочасовой диалог.

Но результат интересный: в этом эксперименте некоторые способности оказались гораздо устойчивее к снижению точности, чем другие.

Простое извлечение факта из текста и многошаговое математическое рассуждение, вероятно, предъявляют разные требования к точности внутренних вычислений.

Это гипотеза, которую теперь можно проверять отдельно.

А что с нашей 27B на 8 ГБ?

Параллельно мы завершили абсолютную проверку Qwen3.8-27B UD-IQ2_XXS.

Это та самая конфигурация, которая работает целиком на RTX 5060.

На момент нового отчёта выполнены все 395 заданий оценочного набора.

Это заметно лучше абсолютных результатов IQ2-модели на 2B.

Особенно бросается в глаза GSM8K: 89 правильных ответов из 100 у 27B IQ2 против 6 из 100 у 2B IQ2.

Но здесь есть принципиальное ограничение.

Это разные модели с разным количеством параметров.

Сравнение не доказывает, что большая модель лучше переносит квантование. Мы не знаем, какие результаты показала бы Qwen3.8-27B в исходной BF16-точности на тех же заданиях.

Допустим, она решила бы 95 математических задач. Тогда потеря составляла бы 6 процентных пунктов.

А если 99 — уже 10.

Оба примера гипотетические. Прямого измерения пока нет.

Поэтому мы не будем писать, что 27B «сохранила 77,4% интеллекта». Число 77,4% — это средний абсолютный результат на выбранных категориях, а не доля способностей, сохранённых относительно BF16.

Статус прямого сравнения 27B остаётся REFERENCE_UNAVAILABLE.

Почему большая модель может вести себя иначе

Результаты заставили нас внимательнее посмотреть на связь между размером модели и агрессивной квантованием.

Одна из исследовательских гипотез состоит в том, что большая модель обладает большей избыточностью представлений и поэтому может переносить некоторые ошибки округления лучше маленькой.

Но есть и альтернативные объяснения.

Например, различия могут быть связаны с конкретным quantization recipe, importance matrix, распределением точности между тензорами, особенностями архитектуры или настройками исполнения.

Чтобы разобраться, нужны дополнительные эксперименты.

В частности, нас интересуют mixed-precision подходы: когда не все веса сжимаются одинаково, а наиболее чувствительные части модели получают дополнительные биты.

Если удастся определить, где точность действительно важна, потенциально можно повысить качество, сохранив тот же общий бюджет видеопамяти.

Для ExVRAM это гораздо более интересная задача, чем просто добиться ещё нескольких токенов в секунду.

А что если дать модели большую задачу?

Обычные benchmarks полезны, но у них есть ограничение.

Правильно решить отдельную математическую задачу — не то же самое, что выполнить сложную работу из двадцати последовательных этапов.

Для реального использования локальных LLM нас интересуют другие вопросы:

• Способна ли модель удерживать исходные требования на протяжении всей работы?

• Может ли она написать несколько связанных программных модулей?

• Замечает ли противоречия между ранними и поздними решениями?

• Исправляет ли обнаруженные ошибки?

• Не забывает ли важные детали при заполнении контекста?

• Может ли довести задачу до корректного конечного результата?

Поэтому следующий этап P9 посвящён длинным многоэтапным заданиям.

Мы планируем давать модели небольшое техническое задание с проверяемыми требованиями, заставлять её последовательно проходить этапы реализации и оценивать конечный результат автоматическими тестами.

Дополнительно будем проверять сохранение инструкций, накопление ошибок и точность извлечения информации на разной глубине контекста.

Эти испытания пока нельзя считать завершёнными. Их результаты появятся отдельно.

Почему мы не пытаемся скрыть плохие результаты

В ExVRAM уже было несколько ситуаций, когда предварительно привлекательные показатели не выдерживали более строгой проверки.

Например, первоначально большой размер настроенного context window был принят за фактически заполненный контекст. Позже методику пришлось исправлять и повторять измерения.

Сейчас похожая ситуация возникает с качеством.

Один benchmark показывает высокий результат. Другой — резкое ухудшение. Третий обнаруживает, что модель упирается в лимит генерации.

Это нормальная часть исследовательской работы.

Мы не разрабатываем собственный inference engine с нуля и не пытаемся объявить существующую квантизацию нашим изобретением.

Цель ExVRAM — исследовать существующие open-source технологии, воспроизводить результаты, находить эффективные сочетания и определять, что действительно работает на обычном оборудовании.

Поэтому отрицательный результат для нас тоже полезен.

Если конкретная IQ2-квантизация делает маленькую модель практически непригодной для математики, это необходимо зафиксировать и понять причину.

Если большая модель с тем же классом сжатия сохраняет хорошую абсолютную точность, это тоже важно — но только в пределах того, что мы реально измерили.

Что дальше

Сейчас у нас есть два результата.

Первый: на Qwen3.5-2B при проверенной конфигурации IQ2 получено резкое снижение качества относительно BF16. Особенно сильно пострадали математика, программирование и следование инструкциям.

Второй: Qwen3.8-27B UD-IQ2_XXS, полностью размещённая на RTX 5060 8 GB, продемонстрировала 89/100 на GSM8K, 21/40 на программировании и 44/50 на следовании инструкциям.

Но прямое сравнение её интеллекта с исходной BF16 пока отсутствует.

Следующая задача — разобраться в механизмах деградации и найти способы повысить качество при том же ограничении в 8 ГБ VRAM.

В идеале мы хотим не просто запускать большие модели на маленьких видеокартах, а добиваться такой конфигурации, при которой сжатие даёт максимум практической пользы при минимальных потерях способностей.

И главный вопрос нашего исследования постепенно меняется.

Раньше он звучал так: «Сколько параметров можно уместить в 8 ГБ?»

Теперь — «Сколько реального интеллекта можно сохранить в этих 8 ГБ?»

Исходный код, методики и результаты исследований: ExVRAM Lab на GitHub.