Punch‘Don’t let your mouth kick people out of church’, Deeper Life fellowship warns bridal shower criticsThe Jerusalem PostConflict-of-interest concerns derail Kariv's role in repealing attorney-general lawInquirerWorld’s largest rodent finds home at wildlife farm in CaviteScreen RantThe Star Trek Franchise Is Officially Bringing Back The Enterprise Era December 2026ColliderThe Next ‘The Witcher’ Book Is Officially DelayedSCMP ChinaHow is the PLA countering small FPV drones and their swarms?ZDF heuteAktuelle Pressemitteilungen des ZDFHipertextual5 curiosidades de ‘Los Juegos del Hambre’ que no conocíasGIGAZINE生殖器をこすることでコウモリから身を守る「ガ」がいるMintRekha Gupta sets Chandni Chowk revamp in motion: Illegal buses, encroachments under scanner — check Delhi CM’s planThe Sydney Morning HeraldStrapped for memories01netSamsung 990 : Amazon casse le prix de ce SSD NVMe 1 To, il devient immanquable 👌
The Daily Newsstand · Free, Always
Sunday, November 22, 2026

Куда я потратил грант Яндекса: пишем с нуля C++/CUDA-движок для LLM, который обгоняет llama.cpp на старой RTX 2080 Ti

Translate

В начале 2026 года Яндекс запустил программу грантов для лучших open-source проектов на своей новой платформе SourceCraft. Я подал туда заявку со своим проектом np — это C++-аналог NumPy с поддержкой CUDA и ручными SIMD-оптимизациями (AVX2/AVX-512/AMX), который обходит оригинал по скорости в 2–20 раз и расходует в полтора раза меньше памяти (подробно с бенчмарками я рассказывал о нём в прошлой статье «Ускоряем и оптимизируем numpy, pandas, scipy и sklearn»). На тот момент я только-только распробовал вайбкодинг и с его помощью смог довести оптимизации до такого уровня.

Внезапно я увидел свой проект в списке победителей. Честно говоря, я был очень удивлён и поначалу даже не поверил: ранее я ни за какие проекты никаких грантов не получал и не до конца понял, чем именно программному комитету приглянулся мой репозиторий. Мне казалось, что ничего особенно выдающегося в нём не было. Тем не менее на счёте появилось 600 000 рублей.

Встал логичный вопрос: куда их потратить? По условиям конкурса грант даётся проектам с чётким планом развития. Организаторы это будущее видели — в отличие от меня, за что им большое спасибо. Я же не совсем представлял, куда двигаться дальше. Полностью переписать весь NumPy на C++ с помощью вайбкодинга? Можно, но зачем? Я поэкспериментировал с частью функций и понял, что базовую задачу ускорения уже решил.

Поиск идеи, знакомство с плагином Яндекса и свой домен

Размышляя, куда направить грант и свои силы, я сначала вбил в поиск: «Какой проект сейчас наиболее перспективно писать?» Ответ был очевидным и ожидаемым: продукт для локального AI-кодинга.

Идея показалась мне отличной по четырём причинам:

  1. Тема как таковая очень мне интересна, ведь ML является моим хобби последние несколько лет.

  2. В основу можно положить мой np и ещё пару собственных библиотек линейной алгебры (которые нельзя было подать на конкурс напрямую из-за правила «один проект — один разработчик»).

  3. Двойной бонус: этот инструмент останется со мной и после того, как грант закончится, и я его смогу использовать для своей собственной работы. Инструменты делают инструменты, которые делают инструменты, которые...

  4. Им сможет бесплатно пользоваться всё сообщество.

Дело было в середине 2026 года. Сказано — сделано: я решил написать свой локальный агент для кодинга без этих болячек.

Примерно в это же время мне на глаза попался плагин для VS Code от Яндекса — SourceCraft Code Assistant (насколько я понял, форк Roo Code). Когда я увидел, что SourceCraft опубликовал его в маркетплейсе с привязкой к собственному домену, я решил, что нормальная публикация расширения без своего домена не получится. Встал вопрос: как же назвать проект? Хотелось, чтобы имя было связано с кодингом (поскольку я ориентировался именно на него), и при этом отражало любовь к минимализму — как старый любитель C++, низкоуровневой оптимизации и выжимания каждого байта я хотел чего-то компактного. Так родилось название TinyCoder, а следом я сразу зарегистрировал домен для этого и всех связанных проектов — tinycoder.dev.

Сам плагин Яндекса я решил использовать в работе, чтобы обкатать процесс, но быстро понял, что работать с ним больно:

  • Нельзя вклиниться в диалог. Если модель пошла не туда, нельзя просто дописать реплику в очередь и надеяться, что модель её увидит. Приходится жать Cancel, чтобы остановить процессинг модели, после чего все набранные непосильным трудом сообщения из очереди бесследно исчезают, и уже после этого писать новое сообщение. Я выработал целый ритуал: написать текст → скопировать в буфер на случай отмены → нажать Cancel для того, чтобы обойти ограничение и вклиниться в диалог → вставить из буфера → нажать Enter. Удобно? Несомненно.

  • Визуальный шум. Ассистент был слишком разговорчивым, а почти каждая строчка начиналась с бесполезного SourceCraft Assistant said, которое просто съедало место на экране.

Тем не менее я продолжал им пользоваться, потому что грант можно было тратить на облачные LLM Яндекса, которые поддерживал SourceCraft Assistant, а работать я предпочитал в VS Code. Хотя сама работа всё меньше и меньше сводилась к ручному редактированию кода, а потом и вовсе в этом отпала необходимость и всякий смысл. Нужды в редакторе как таковом становилось всё меньше. Правда, через него я по-прежнему делал пуши в репозиторий — эту операцию я модели не доверял.

Был ещё вариант арендовать на грантовые деньги мощную виртуалку с GPU, но он показался мне слишком дорогим — бюджет не резиновый. В итоге я так и работал на своём старом домашнем ПК: Intel i7-4790K, 32 ГБ DDR3 и видеокарта RTX 2080 Ti (11 ГБ).

Концепция и цель: минимум веса и обгон llama.cpp

Я задумал TinyCoder как инструмент, минимальный по размеру, но максимально «умный» и всеядный по функционалу. Начинать и отлаживать базу предстояло на моей старой RTX 2080 Ti (чем я, собственно, до сих пор и занимаюсь).

Как ни странно, первые же робкие попытки дали результат — удалось обойти llama.cpp на CPU на этапе префилла (обработки входного промпта) примерно на 30%. Дальше начались несколько месяцев непрерывного «тюнинга» с помощью нейросетей. Почти всё время я гонял DeepSeek V4, а позже перешёл на DeepSeek V4.1 Flash — они оказались дешевле и при этом выдавали код лучше, чем более дорогие модели, например, gpt-oss-120b или Qwen3-235B.

Параллельно нужно было успеть до исчерпания гранта сделать не только быстрый инференс, но и удобный харнесс (обвязку вокруг модели). С этим как раз были самые большие проблемы: перед глазами у меня было всего два примера — SourceCraft Assistant и OpenCode. На последний пришлось экстренно пересесть после того, как 11 октября 2026 года SourceCraft сломался после инцидента в дата-центре Яндекса. На грантовом счёте оставалось ещё около 200 000 рублей, но сервисы лежали, так что пришлось полностью переходить на внешний DeepSeek провайдер. Зато это лишний раз подтвердило правильность идеи: мой локальный агент не будет зависеть от работоспособности провайдеров.

В итоге удалось обогнать llama.cpp не только на CPU, но и на GPU.

Как устроен инференс под капотом (tinycoder-inference)

tinycoder-inference — это не обёртка над ggml или PyTorch, а написанный с нуля движок на C++20 и CUDA без единой сторонней библиотеки инференса внутри (из внешнего кода используются только моя библиотека np и стандартный cuBLAS для плотных матричных умножений). Все ядра деквантования, int8 stream-K MMA GEMM, warp flash attention, рекуррентные ядра Gated-Delta-Net и сэмплеры реализованы напрямую в репозитории.

Что движок умеет прямо сейчас:

  • Поддерживаемые семейства моделей: Qwen2.5, Qwen3.6 и Qwen3.8 (как плотные qwen35, так и MoE qwen35moe), Ornith, Gemma 4 и тернарные модели Prism Ternary-Bonsai.

  • Нативная поддержка двух форматов без конвертации: Model::load сам определяет формат на входе. Поддерживается GGUF v3 (K-кванты от Q2_K до Q6_K, IQ-серия IQ2_XXS–IQ4_XS и тернарный pq2_0) и EXL3 — формат exllamav3 читается напрямую из директории Hugging Face (config.json + *.safetensors + tokenizer.json) без PyTorch и Python-прослойки на каждый токен.

  • Два пути на этапе prefill и быстрый decode: при обработке входного промпта движок выбирает между cuBLAS fp16 и собственным int8 MMA-ядром (квантует активации в Q8_0 и читает блоки прямо из VRAM). На этапе генерации используются ядра GEMV с деквантованием «на лету» и захватом графа вычислений в CUDA Graph.

  • Запуск больших MoE-моделей на 11 ГБ VRAM: для моделей, не влезающих в видеопамять целиком, реализован гибридный режим — плотная часть модели остаётся в VRAM, а эксперты (например, 34.4-гигабайтной Ornith-1.5-35B-A3B) потоково прокачиваются через слой-арену.

  • Планировщик контекста по реальной памяти: вместо жёстких констант движок измеряет свободную VRAM/RAM перед загрузкой модели и сам подбирает точность KV-кэша (f32 с int8-зеркалом или чистый int8). Это позволяет вместить на RTX 2080 Ti до 196 352 токенов контекста для 9B-модели и до 64 256 токенов для 27B.

  • CPU-бэкенд с выбором SIMD-инструкций на лету (runtime dispatch): если видеокарты нет, движок автоматически определяет доступный набор инструкций (AMX, AVX-512, AVX2 или scalar fallback) и распараллеливает вычисления через OpenMP.

Результаты замеров: TinyCoder vs llama.cpp и ExLlamaV3

Все замеры проводились на моей рабочей машине с RTX 2080 Ti (11 ГБ) по стандартному протоколу pp512 / tg128 (префилл 512 токенов / генерация 128 токенов), чередующимися прогонами (по три пары) для честного сравнения:

Модель и квантование

Базовый движок

TinyCoder pp512 (tok/s)

Baseline pp512 (tok/s)

TinyCoder tg128 (tok/s)

Baseline tg128 (tok/s)

Qwen2.5-Coder-1.5B q2_k (0.7 ГБ, full offload)

llama.cpp

12 239.8

7 679.2

325.9

321.6

Qwen2.5-Coder-1.5B iq3_xxs (0.9 ГБ, full offload)

llama.cpp

12 243.4

10 007.0

273.8

262.2

Ornith-1.5-35B-A3B q8_0 → q4_k (34.4 ГБ, hybrid MoE)

llama.cpp -ncmoe 99

176.3

132.2

53.6

17.1

Qwen3.8-27B EXL3 1.60bpw (8.6 ГБ, full offload)

exllamav3 1.6.6

727.5

719.5

23.60

23.76

Ternary-Bonsai-2-27B pq2_0 (6.7 ГБ, full offload)

PrismML llama.cpp (fork)

880.6

878.5

51.73

50.36

Особенно показателен кейс с MoE-моделью на 34.4 ГБ (Ornith-1.5-35B-A3B): благодаря слой-арене она помещается в 11 ГБ видеопамяти RTX 2080 Ti и генерирует текст в 3 раза быстрее llama.cpp (53.6 против 17.1 tok/s). Полную таблицу бенчмарков (включая сценарии, где быстрее llama.cpp, и тесты на длинном контексте) можно посмотреть на tinycoder.dev/#benchmarks и в самом репозитории проекта.

Архитектура: отделяю движок от плагина и пишу API-шлюз на Go

Чтобы не привязываться к одному редактору, я разделил исходный продукт на независимый C++20/CUDA движок tinycoder-inference и сам плагин-харнесс для VS Code (он подключает ядро через CMake FetchContent и общается с ним через N-API мост).

Затем захотелось ещё большей универсальности — чтобы движок можно было использовать вообще с любым внешним харнессом (OpenCode, Roo Code, Cline и др.). Отсюда появилась идея реализовать стандартный OpenAI API. На чём его писать? Я профессионально занимаюсь разработкой на Go, поэтому решение напрашивалось само собой: сделать отдельный проект на Go — tinycoder-openai, который стыкуется с моей C++ библиотекой через CGO.

Идея полностью оправдала себя: сам исполняемый файл Go-сервиса весит всего 9 МБ, а вся нативная C++/CUDA-начинка вынесена в разделяемую библиотекуlibtinycoder_bridge.so размером 145 МБ (никакого Python-стека и тяжёлых внешних фреймворков — кроме системного CUDA Toolkit/cuBLAS). При этом шлюз поддерживает из коробки:

  • Два популярных API: эндпоинты OpenAI (/v1/chat/completions, /v1/responses) и Anthropic Messages API (/v1/messages).

  • Работу с агентами: встроенный tool_calls и SSE-стриминг с keep-alive на время долгого префилла.

  • Безопасное прерывание генерации: кооперативный abort внутри C++ цикла по слоям модели для мгновенного освобождения видеопамяти.

  • Управление памятью: ленивую загрузку моделей по первому запросу и автоматическую выгрузку из VRAM по LRU-таймауту.

Почему фокус сместился именно на движок

В конечном итоге я сосредоточил основные усилия именно на разработке движка для инференса, а не харнесса. Как мне показалось, в отличие от мира харнессов (где уже есть из чего выбрать), в мире локальных движков до сих пор царят разнобой и хаос: нет единого и мощного решения, которое бы собрало под одно крыло все форматы квантизации, поддержку видеокарт, доступных рядовым потребителям, хорошую поддержку NVLink и низких квантов из коробки.

Каждый разработчик и пользователь должен иметь возможность запускать именно ту модель и в том квантовании, которые лучше всего подходят под его задачу, а не подстраиваться под ограничения конкретной библиотеки. Поэтому фокус проекта постепенно сместился на главную идею — сделать локальный движок, который идеально подходит мне самому: работает на очень скромном и старом железе, но позволяет комфортно гонять довольно мощные модели.

На чем протестирован движок

Сейчас вся база отлажена на архитектуре Turing (RTX 2080 Ti), в процессе отладки Ampere (RTX 3090), а более новые видеокарты работают через совместимый PTX JIT или базовый SASS.

Планы развития

Но впереди ещё много работы. В ближайших планах:

  • Спекулятивное декодирование

  • Отдельные оптимизированные ядра под современные GPU: специализированный тюнинг CUDA-ядер под RTX 4090 и 5090 (Ada Lovelace и Blackwell), чтобы выжимать максимум пропускной способности и тензорных ядер на каждой архитектуре.

  • Мульти-GPU и NVLink: запуск крупных моделей на нескольких видеокартах в одном ПК с поддержкой прямого обмена через NVLink.

  • Распределённый инференс по локальной сети: возможность объединять вычислительные ресурсы нескольких домашних машин в единый кластер для запуска тяжёлых чекпоинтов.

  • Поддержка Intel Core Ultra NPU: перенос инференса на встроенные нейроускорители современных процессоров Intel для автономной работы без дискретной графики.

  • Новые алгоритмы квантизации: расширение поддержки современных сверхнизкобитных форматов сжатия весов.

Где пощупать

Весь код открыт под лицензией MIT, а обзор проекта, документация и замеры доступны на tinycoder.dev:

В завершение хочу ещё раз поблагодарить Яндекс и жюри программы грантов open-source проектов — без этой поддержки и веры в идею на старте TinyCoder вряд ли бы появился на свет.

Также хочу поблагодарить Nick Garkushenko за помощь в проверке TinyCoder на RTX 3090.

Буду рад вашим тестам на разных GPU и CPU, комментариям и Issue на GitHub!

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.