Как заставить модель gemma-4-12B-it QAT почти «летать» на ноутбучной RTX 2000 Ada, сохранив холод и тишину

Уже несколько месяцев я активно экспериментирую с локальными языковыми моделями на своем ноутбуке Lenovo ThinkPad P16 Gen 2 (Intel Core i7-13850HX, 128 GB RAM, Samsung 980 Pro 2 TB + 990 Pro 1 TB).

Конфигурация очень бодрая для любых задач, кроме… работы с тяжелыми ИИ-моделями. И узкое горлышко здесь очевидно - видеокарта Nvidia RTX 2000 Ada Laptop всего с 8 ГБ VRAM. Дискретная, быстрая, заточенная под ИИ, но видеопамяти катастрофически мало! Тем не менее даже в эти 8 гигабайт вполне можно уместить отличную локальную модель, да еще и с контекстом на 8192 токена. Это позволяет вести долгие осмысленные диалоги без потери нити обсуждения.

После долгих поисков и тестов я остановился на одной модели - gemma-4-12B-it-QAT в квантовании q4_0.

Почему именно она?
Премиальный уровень «из коробки»: Это модель от Google, обученная на их топовых решениях. Метод QAT (Quantization-Aware Training) минимизирует потери качества при «упаковке» в 4 бита.

Минимум галлюцинаций: При правильной настройке (особенно с немного заниженной температурой) модель отлично держит контекст и выдает точные энциклопедические данные. Срез знаний у нее свежий “конец 2025 - начало 2026 года”. Настоящая локальная «мини-Википедия»!

Хороший кодинг: Модель отлично пишет код (особенно на Python и PowerShell). Последующая верификация в среде разработки проходит практически со 100%-й точностью. Идеально влезает в VRAM: Вместе с контекстом в 8192 токена она целиком помещается в 8 ГБ видеопамяти. В LM Studio на моем ноутбуке она выдает честные 12 токенов в секунду, чего более чем достаточно для комфортного диалога.

Но была одна серьезная проблема. При генерации ответов ноутбук буквально «шёл на взлёт»: процессор раскалялся до 96 °C, а кулеры шумели на уровне хорошего домашнего пылесоса.
И, конечно же, я очень захотел это исправить!

В поисках тишины: гипотеза.

Раз модель полностью умещается в VRAM и все вычисления берет на себя графический чип, зачем процессору работать на пределе своих возможностей? Очевидно, что CPU в этот момент не нужна максимальная частота. Если искусственно «приглушить» процессор во время работы с LLM, можно радикально снизить тепловыделение и разгрузить общую систему охлаждения?
Для реализации этой идеи я использовал связку из двух утилит: TPFanControl и ThrottleStop.

Шаг 1. Настройка TPFanControl (V2.15 Dual Fan) Оригинальная утилита до сих пор развивается сообществом в форке для двухвентиляторных систем, который отлично подошел для моего ThinkPad P16.

Я скорректировал штатный файл конфигурации TPFanControl.ini, изменив логику работы вентиляторов в секции Smart Mode 1. Вместо стандартных пресетов я прописал более раннее и плавное переключение скоростей, чтобы не допускать резких скачков температуры:

MenuLabelSM1=Smart Mode 1/ Label for Icon Menu, must be terminated by '/'
// Старые значения (закомментированы):
// Level=60 0 // Level=140 0
// Level=65 1 // Level=150 1
// Level=75 3 // Level=165 3
// Level=80 7 // Level=175 7
// Level=90 64 // Level=195 64

// Новые оптимизированные значения:
Level=55 2 // Level2=70 0
Level=57 3 // Level2=90 1
Level=60 4 // Level2=100 2
Level=70 5 // Level2=110 3
Level=75 7 // Level2=130 7
Level=80 7
Level=90 7

Шаг 2. Укрощение процессора через ThrottleStop.
В ThrottleStop я создал отдельный профиль под названием «AI Mode» и задействовал две ключевые опции:

1. Disable Turbo: Полностью отключил турбобуст процессора.

2. PROCHOT Offset: Выставил значение на 25.

Это ограничило производительность процессора примерно на 40–50% от его пиковых (и избыточных в данном сценарии) возможностей. Теперь CPU при любой продолжительности генерации текста не нагревается выше 60–65 °C. Остаточной мощности процессора при этом с головой хватает для параллельной работы в браузере, мессенджерах или редакторе кода. И даже держать запущенными с легкими задачами 3-5 виртуальных машин.

Результаты эксперимента.
Главный вывод: «заглушение» процессора вообще никак не повлияло на скорость генерации локальной LLM!
Что с «кипящим» процессором на максимальных частотах, что с задушенным в режиме «AI Mode» - видеокарта RTX 2000 Ada стабильно выдает свои 12 токенов в секунду. Зато физические показатели системы изменились драматически:

• Температура в пике упала с 95–96 °C до стабильных 68 °C.

• Температура самой видеокарты в пике не превышает 59 °C.

• Шум кулеров опустился до едва заметного фонового шуршания.

Небольшое перераспределение ресурсов и ограничение избыточной мощности CPU позволили превратить шумную «печку» в холодный, бесшумный и эффективный инструмент для работы с продвинутой нейросетью. Причем на далеко не самом топовом по объёму памяти “железе”.

Думаю, что в описанной выше ситуации, любой энтузиаст легко может повторить мой результат и обеспечить себе комфортные условия работы с локальными моделями ИИ.