Бюджетная альтернатива RTX 3090 Ti для локальных ИИ, или как китайцы воплотили пророчество майнинг-бумового юмора

«Как?»

Многие убеждены, что для кодинга на собственном ПК требуются железки по заоблачным ценам вроде RTX 3090ti или Mac Studio, но это не совсем так. В этой теме мы затронем противостояние старой грубой силы против нового технологического преимущества. Как китайская поделка стала реальной бюджетной альтернативой мейнстримной 3090ti? Спойлер: за меньшую цену мы получим большую выгоду.

В этой статье я хочу обозреть конкретный кейс, как было понятно из названия — старого решения, завернутого в новую парадигму “Феномен 2080ti 22gb”, но перед этим небольшая историческая справка.

Как известно, популярность локальных ИИ растёт не по дням, а по часам, и этот курс был заметен ещё с времен когда LLM были не профессиональным инструментом в арсенале практически каждого, а во многом амбициозными забавными игрушками, и маловесные модели развивались не менее стремительно, сразу вспоминается легендарный отечественный проект Saiga…

В те не совсем и давние времена на тот момент передовая 3090ti закрепилась как народное решение по следующим причинам:

1. Зрелая экосистема CUDA от NVIDIA, она опережала зарождающуюся тогда AMD ROCm

2. Наличие мостика NVlink для объединения карт (В китайской поделке это сыграет тоже огромную роль)

3. Главное - 24гб VRAM, это вероятно лучший потребительский объем даже через 6 лет.

Для обучения и инференса легковесных моделей, её характеристики позволяли разворачивать и даже дообучать через LoRA многие модельки вроде llama 8b/13b, Mistral 7b и другие.

А что, если я вам скажу, что есть вариант получить за меньшие деньги объем видеопамяти больше в 2 раза, а скорости в 1.8 раза выше чем у 3090ti?

Феномен 2080ti 22gb

История данной массовой поделки начинается с 2021 года, самый разгар майнинг-бума, русскоговорящий блогер-ремонтник Илья Корнейчук (VIK-on), заметив архитектурное сходство с серверными линейками, вероятно ради спортивного интереса решает перепаять страпы на подопытной 2080ti, дабы проверить теорию об аппаратной поддержке 22gb VRAM, и у него, как вы понимаете — вышло, хоть и физически он не устанавливал модули большего объема, вероятно, из-за нерелевантности, в 2021 году объема в 11гб хватало с головой как геймерам, так и майнерам, а цены на дефицитную тогда GDDR6 мягко говоря кусались.

Заметка про страпы: Страпы - крошечные конфигурационные резисторы, которые служат аппаратными переключателями. Именно они при включении компьютера «говорят» графическому чипу, модули какой плотности и какого объема в него впаяны.

Позже примерно в 2023 году энтузиаст-моддер, вероятно, китайского происхождения под псевдонимом wxnod с командой энтузиастов смогли распаять на этой же PCB уже 44 ГБ VRAM, для чего им пришлось модернизировать и саму плату, впрочем, это решение не прижилось, так как в играх и бенчмарках она буквально сходила с ума, возможно, из-за узкой шины, или несоответствия vBIOS/драйвера.

Ещё немного позже появились и полноценные торговцы подобными картами ближе к февралю 2024 (Точную дату узнать, увы, невозможно.)

Аппаратная поддержка NVlink лишь прибавляла спроса данному лоту, его цена на момент написания статьи варьируется в районе 450-500$, что достаточно вкусно, а реальная себестоимость такой карты естественно ниже.

Конечно же, данный лот, а возможно и ранее китайские энтузиасты стали объединять с помощью NVlink в 44гб Франкенштейна, общие характеристики оказались более чем внушительными, и оптимально легли для разворачивания LLM, Позже и появились от тех же китайцев гитхаб репозитории как полноценные проекты для оптимизации работы и запуска моделей, конкретно предлагаю рассмотреть один из подобных на основе qwen3.8 27b.

Немного бенчмарков

Tested weight: Qwen/Qwen3.8-27B-FP8

Profile                                             | Context | KV   | Speculative decoding   | Messages   | GPU KV tokens | 4K/128 prefill / decode | 32K/512 prefill / decode
qwen27b/w8a16/mtp4-fp16kv-1x148K-text-only.env      | 148K    | FP16 | MTP/4                  | text-only  | 149,964       | 1643.37 / 97.55         | 1425.34 / 95.10
qwen27b/w8a16/nomtp-fp16kv-1x176K-text-only.env     | 176K    | FP16 | None (autoregressive)  | text-only  | 179,940       | 1694.94 / 33.17         | 1483.04 / 30.80
qwen27b/w8a16/nomtp-fp16kv-1x121K-text-image.env    | 121K    | FP16 | None (autoregressive)  | text+image | 122,608       | 1697.78 / 32.81         | 1447.04 / 30.65
qwen27b/w8a16/mtp4-fp8kv-1x262K-text-only.env       | 262K    | FP8  | MTP/4                  | text-only  | 295,455       | 1623.68 / 94.60         | 1393.94 / 92.47
qwen27b/w8a16/mtp4-fp8kv-1x186K-text-image.env      | 186K    | FP8  | MTP/4                  | text+image | 190,540       | 1634.73 / 96.11         | 1384.95 / 93.17
qwen27b/w8a16/yarn-fp8kv-1x338K-text-only.env       | 338K    | FP8  | None + YaRN            | text-only  | 354,143       | 1239.30 / 23.71         | 1338.48 / 17.91

Данные бенчмарки являются синтетическими данными, в реальном использовании производительность может отличаться.

Сравнение характеристик с 3090ti

Показатель                              | 2× RTX 2080 Ti | RTX 3090 Ti | Разница
----------------------------------------|----------------|-------------|--------
FP32-блоки                              | 8 704          | 5 376       | 1,62×
SM-блоки                                | 136            | 84          | 1,62×
Tensor Cores                            | 1 088          | 336         | 3,24×
Теоретическая производительность FP16   | 228 TFLOPS     | 160 TFLOPS  | 1,43×
Пропускная способность VRAM             | 1 232 GB/s     | 1 008 GB/s  | 1,22×
Суммарная VRAM                          | 44 GB          | 24 GB       | 1,83×

Цифры и бенчмарки впечатляют, но ведь не стоит умалчивать и другую сторону монеты, выбирая подобные решения, вы в первую очередь идёте на риск, собирая на коленке — на двойной, у всего есть своя цена, и этот случай — не исключение.

1. TDP. Две видеокарты, связанные мостиком, крайне рекомендуется выбирать именно в турбинном исполнении, из-за количества выделяемого тепла выводить горячий воздух с двух раскалённых печек внутри корпуса — не вариант по ряду других причин. Из этого вытекает и второй фактор.

2. Шум. Очевидно, что две видеокарты старого образца при максимальной нагрузке помимо отопления вашей комнаты будут и неслабо шуметь, конечно, если вы не можете себе позволить тихий mac studio — вероятно, с этим можно смириться.

3. Долговечность. Гарантии на подобную поделку дают редко, собирая её на коленке — тем более, работа с языковыми моделями - это в первую очередь износ на уровне майнинга, в реальных боевых условиях зарекомендовать себя подобные карты ещё не успели, а выход из строя, например, из-за локального перегрева, деградации текстолита или отвала BGA-шаров под ГПУ — это реальный сценарий.

В заключение хотел бы подметить, что каждый выбирает под свой бюджет и требования, кому-то подходят тихие и удобные Mac Studio или мини пк на NPU, а кому-то решения описанные в этой статье, я лишь хотел напомнить, что для простолюдинов тоже имеются народные варианты, в этой теме я конкретно затронул феномен 2080ti, но естественно, это далеко не единственное подобное решение, энтузиасты проворачивают подобное с бывшими майнинговыми картами, а иногда даже с серверными процессорами и ускорителями.

Ссылки:

• Бенчмарки взятые из open-source проекта — vLLM-2080Ti-Definitive на GitHub

• Видео с канала VIK-on — YouTube

• Статьи, которые я упоминал в своих текстах: Мини-ПК на NPU и Вторая жизнь майнинговых карт