Hutter Prize 2026: трансформер на 6 млн параметров, Claude Code и самый большой скачок за 20 лет

Двадцать лет Hutter Prize двигался со скоростью ледника: около процента в год, а между рекордами порой проходили годы. Летом 2026 года официальный рекорд за один месяц улучшился почти на 10%, причём 7,5% дал один-единственный шаг. Сам Маркус Хуттер назвал это «самым большим прогрессом за 20-летнюю историю» конкурса.

Ниже разберём, что именно сделал автор рекорда, почему это не «победа LLM над архиваторами», зачем организаторы теперь вынуждены автоматизировать судейство и какую роль во всём этом сыграли Claude Code и Codex.

Что за конкурс

Hutter Prize в 2006 году учредил Маркус Хуттер, автор теории универсального ИИ (AIXI). Идея конкурса: сжатие — это предсказание, а хорошее предсказание требует понимания. Кто лучше всех сожмёт кусок человеческих знаний, тот лучше всех его «понял».

Сначала соревновались на enwik8, первых 100 МБ дампа английской Википедии. В 2020 году всё увеличили в 10 раз: файл enwik9 (1 ГБ), фонд €500 000, лимиты по времени и памяти.

Правила (prize.hutter1.net) сильно ограничивают то, какие идеи вообще могут выиграть:

• Счёт = размер архива + размер компрессора. Если зашить Википедию в «декомпрессор» на гигабайт, этот гигабайт войдёт в счёт.

• Одно ядро CPU, без GPU, меньше 10 ГБ RAM, меньше 100 ГБ диска.

• Около 50 часов (формально 70 000 / Geekbench5 часов) на сжатие и столько же на распаковку.

• Минимальное улучшение — 1%, премия пропорциональна выигрышу: примерно €1 за 230 байт.

• Исходники должны быть открыты под OSI-лицензией, у каждой заявки 30 дней публичного обсуждения.

Ограничение «одно ядро» организаторы объясняют так (пресс-релиз комитета): специализированное железо подталкивает исследования к допущениям индустрии, а скромные требования позволяют участвовать одиночкам, а не только лабораториям.

Двадцать лет по проценту

Эпоха enwik8. Все четыре оплаченные победы — у Александра Ратушняка:

Итого −16,6% за 11,6 года. С 2009 по 2017 год рекорд не менялся 8,5 лет.

Эпоха enwik9:

Победы 2021–2024 годов идут плотной группой: 1,04%, 1,13%, 1,38%, 1,59%. Это след порога в 1%. Участники копят мелкие улучшения, пока те не перевалят через порог, поэтому прогресс получается ступенчатым.

В первый год после перехода на enwik9 базовую линию не побил никто, и с 2021 года порог стали смягчать на 5000 байт в день. В 2023 году Хуттер писал в FAQ, что рекорд «просто стало труднее побить». Мэтт Махони, один из судей, позже подытожил: «после двух лет без прогресса с июня наградили три заявки» (рассылка AGI, 2 окт 2026).

Премия за fx2-cmix-transformer — €37 300, крупнейшая за всю историю конкурса. Все три победы 2026 года наградили 30 сентября. Хуттер написал в X (пост):

This year has seen the largest progress in its 20y-history. We received three winning submissions within one month with a remarkable total improvement of nearly 10% (and ~1/3rd the size of the zip-file!).

Как устроены рекордные архиваторы

Все рекордсмены последних двадцати лет — потомки PAQ Мэтта Махони, архиваторы класса context mixing (CM):

1. Текст кодируется побитово. Для каждого следующего бита сотни моделей предсказывают вероятность того, что он равен единице. Модели смотрят на предыдущие байты, слова, вики-разметку, структуру XML и так далее.

2. Небольшая нейросеть-миксер (по сути каскад логистических регрессий) смешивает эти прогнозы в один.

3. Арифметический кодер тратит на бит с вероятностью p около −log₂ p бит.

Распаковщик повторяет то же самое: те же модели, те же прогнозы, тот же миксер. Поэтому сжатие и распаковка симметричны по времени, и лимит 50 часов должен выполняться в обе стороны.

Основа современных рекордов — cmix Байрона Кнолла (с 2014 года). Это огромный ансамбль из моделей PAQ8, PPMd Евгения Шелвиена и, с 2016 года, онлайн-LSTM, который учится прямо на сжимаемых данных.

До 2026 года выигрывали в основном за счёт трёх вещей:

• Инженерия под лимиты. cmix в исходном виде хотел 32 ГБ RAM и работал неделями. fast-cmix, fx-cmix и fx2-cmix в основном ускоряли его и ужимали по памяти: например, PPMd вынесли в memory-mapped файл на 21 ГБ, чтобы уложиться в 10 ГБ физической памяти.

• Структурный трюк. starlit (2021) переставлял статьи enwik9 так, чтобы соседние имели максимум общей информации и модели «прогревались» на похожем контексте. Порядок статей зашит в программу, при распаковке он восстанавливается сортировкой заголовков.

• Предобработка: словарная замена слов (идея WRT из paq8hp) и моделирование вики-разметки.

Работы шли вплотную к лимитам. cmix-lex на тестовой машине работал 40,3 часа при лимите 42,5 и занимал 9993 МБ памяти из 10 000 (LTCB).

Что сделал fx2-cmix-transformer

Иванов заменил онлайн-LSTM в fx2-cmix на трансформер с 6 млн параметров, заранее обученный на enwik9. Обучение заняло 26 часов на 8× RTX 5090. Для распаковки GPU не нужен: модель работает на одном ядре CPU.

Подробности из writeup и спецификации в репозитории:

• Архитектура: 12 слоёв, d_model = 192, MLP 768 с активацией relu². Девять слоёв — линейное внимание Kimi Delta Attention, три — обычное внимание со скользящим окном в 1024 токена.

• Вход модели — не только байты. На каждом шаге трансформер получает распределение вероятностей от PPMd. По сути он учится исправлять то, что упустил PPM.

• Обучение: оптимизатор Muon, 320 эпох в bf16, затем 256 эпох обучения с учётом квантования (QAT), затем 16 эпох в fp32.

• Квантование: веса в 4 бита, активации в 8 бит. Квантованная модель хуже bf16-версии на 2,6% по loss, но всё равно даёт 0,911 нат на байт против 1,23 у LSTM, которого она заменила.

• Инференс на C++ с AVX2: около 6 500 токенов в секунду на одном ядре.

Сколько весит сам архиватор

Первым делом возникает вопрос: может, внутри программы просто лежит вся Википедия? Нет:

Веса занимают около 2,9 МБ: 6 млн параметров по 4 бита дают как раз около 3 МБ. И считаются они дважды: один раз в компрессоре, второй — внутри самораспаковывающегося архива. Махони оценивает этот штраф примерно в 6% от счёта.

Почему это сработало

Трансформеры в сжатии были и раньше: nncp Фабриса Беллара с 2021 года учит трансформер прямо на сжимаемых данных. Но ему нужна GPU, так что на приз он не претендует. Разница в том, где тратятся вычисления:

• Онлайн-модель (LSTM в cmix, трансформер в nncp) учится во время сжатия. На это уходит основная часть бюджета, а в начале файла модель ещё ничего не знает.

• Предобученная модель уже знает enwik9 до старта. Около 200 GPU-часов обучения превращаются в 3 МБ весов, а время обучения правила не считают. Считаются только байты.

FAQ приза теперь прямо одобряет этот путь и называет Иванова по имени: предобученные трансформеры среднего размера «достаточно быстры, потому что выносят тяжёлые вычисления наружу, и при этом достаточно малы, чтобы быть конкурентоспособными» (FAQ).

Это вообще честно?

На форуме encode.su, где обсуждается всё, что связано со сжатием, этот вопрос разобрали подробно.

Скептики. Давний участник форума Gotty считает, что модель «запоминает предобработанный enwik9 в очень плотной форме с небольшими ошибками», а «предобучение позволяет заглянуть в будущее». Свою мысль он показал на paq8px: если раз за разом сохранять и подгружать веса LSTM, обученные на одном файле, файл bib (~100 КБ) сжимается до 77 байт — при 3 МБ весов. Предобученная модель становится кодовой книгой конкретного файла.

Сам Иванов это не отрицает: в writeup сказано, что его компрессор «по своей природе специализирован под enwik9 и будет плохо сжимать всё остальное» без переобучения трансформера.

Организаторы. Позиция комитета: у приза нет отложенной выборки, поэтому и утекать нечему. Всё, что модель запомнила, лежит в программе и учтено в счёте. Это двухчастный MDL в чистом виде: длина модели плюс длина данных при этой модели. Махони коротко: GPU запрещены на финальном тесте, «но это легально».

Где реальное противоречие. В FAQ осталось старое объяснение, зачем вообще учитывать время работы компрессора: чтобы ограничить «использование избыточных вычислительных ресурсов, недоступных большинству участников». Предобучение на 8 GPU идёт мимо этого ограничения. Вместо этого изменилась процедура: заявки теперь проверяет Judging Assistant в Docker со строгими лимитами (репозиторий). Две ранние версии одной из заявок по времени у автора укладывались, а в нём не прошли.

Сергей Зефиров сравнил это с историей начала 90-х, когда динамический Хаффман из LHA уступил статическому Хаффману PKZIP с хранимой таблицей. Предобученная модель — та же хранимая таблица, только на 3 МБ.

Лавина: Claude Code, Codex и судьи, которые не успевают

Самое интересное началось после публикации кода. За три месяца в таблице Махони появилось не меньше девяти производных работ. Ниже заявки в формате Hutter Prize на октябрь 2026 года, с компрессором (LTCB):

Лидер общей таблицы LTCB, где размер компрессора не считается, — ex-girlfriend 1.0 Райана Ландэя, производная от cmix-neif: 91 778 237 байт. В описании сказано, что проект сделан «с Claude (Anthropic) и Codex (OpenAI)». Название — в честь песни No Doubt.

Авторы не скрывают, что код писали агенты:

• zmix. Шапка writeup (zmix.frostbyrne.io): «Authors: James Byrne and Claude (Anthropic). At Claude’s request, any award is payable in full to James Byrne.»

• cmix-neif. Маркус Вёльк в README (GitHub): «Я использовал ИИ-агентов через Claude Code на протяжении всего проекта… Без них этот проект был бы невозможен».

• cmix-lex-transformer. Переобучение, подбор параметров, работа над ядрами и проверка «выполнены ИИ-агентом для программирования (OpenAI Codex) под руководством автора» (GitHub).

Махони объясняет наплыв заявок прямо: «Многие заявки частично написаны ИИ, этим и объясняется поток» (рассылка AGI). Пресс-релиз комитета ещё откровеннее: судейство затянулось, потому что «участники теперь используют сверхинтеллект для улучшения своих алгоритмов», а комитет, «застигнутый врасплох, теперь в гонке за то, чтобы автоматизировать судейство тем же сверхинтеллектом».

Сколько стоит такой цикл

Вёльк честно посчитал затраты на cmix-neif за 7 недель (16 августа — 2 октября):

• около 200 проверенных идей, больше сотни из них свои («копил 18 лет»);

• больше 10 000 тестовых прогонов, около 300 на полном enwik9;

• около 35 000 CPU-часов на одно ядро («примерно четыре года»);

• около 2 800 GPU-часов, в основном на RTX 5090;

• около €4 000 на вычисления. Платила его фирма NEIF GmbH, отсюда и название.

На форуме он добавил: ИИ-агенты, «которыми я, конечно, тоже пользовался, производят столько текста за такое короткое время, что один человек уже не успевает его читать».

И важное наблюдение Вёлька: шаг «основа → основа + трансформер» почти одинаков на любой основе, около 10,2–10,4 МБ. fx2-cmix → fx2-cmix-transformer даёт 10 368 456 байт, cmix-lex → zmix — 10 359 215. Значит, последователи обогнали Иванова не лучшим трансформером, а более сильной основой.

Что агенты пока не умеют

Есть и контрпример. В проекте ai-solves-hutter компрессоры с нуля писал только Claude Opus 5.5. Результат — 146–181 МБ, то есть на 46–80% хуже рекорда. Агенты отлично улучшают сильную готовую основу, но построить её сами пока не могут.

Скептики на encode.su говорят о том же. Gonzalo: «немногие передовые области покорят любители с LLM», ИИ — «множитель, хорош настолько, насколько хорош водитель». Gotty с горечью: «Где ИИ-модели научились своим навыкам? У сегодняшних экспертов… Плоды пожнут другие, с гораздо меньшими знаниями и опытом, а вы просто будете на это смотреть».

Цена открытого кода

Открытость кода — условие приза. Но в 2026 году у неё обнаружилась обратная сторона. cmix-lex Ибрагим Маркуш подал один, хотя работа в основном держалась на fxcm_v26 — наработке Каидо Орава, которую тот открыто готовил к своей третьей попытке. Орав оценил собственный вклад Маркуша примерно в 8,5% выигрыша. Маркуш извинился и предложил поделить премию пополам. В итоге награду получили оба, а Орав написал, что публиковать свои наработки до подачи больше не будет (ветка).

Орав же мрачно пошутил о новой эпохе: «Похоже, будущее — это нечитаемый исходный код, полный комментариев от тестовых прогонов LLM».

А как же большие LLM?

Если трансформер на 6M параметров так хорош, почему не взять 70B? В статье DeepMind «Language Modeling Is Compression» (ICLR 2024) Chinchilla 70B сжимает enwik9 до 8,3%, лучше всех в этой статье.

Но если учесть размер самой модели, получается около 14 000% от исходного файла: модель весит на два порядка больше данных. Авторы сами делают вывод, что большие модели окупаются только на объёмах намного больше гигабайта.

Вторая проблема — скорость. Декодер должен прогнать ту же модель на каждом символе и получить бит в бит те же вероятности. Лидеры распаковывают со скоростью около 4–7 КБ/с, xz — около 50 МБ/с. Разница в 10 000 раз при выигрыше в степени сжатия примерно в два раза. Детерминизм на разном железе — отдельная боль: fx2-cmix-transformer сначала работал на AMD и падал на Intel, пока его не исправили 21 августа.

GPU-заявки 2026 года в LTCB это подтверждают. altxs требует около 80 ГБ видеопамяти и распаковывает 330 часов, tufazip — 7,5 суток на двух B200. С учётом весов обе ниже CPU-гибридов.

Так что рекорд 2026 года — не «LLM победили архиваторы». Победила маленькая, жёстко сжатая модель внутри классического context mixing.

Где потолок

Признаки насыщения появились почти сразу:

• fx2-cmix-t-ft8 дообучил те же веса ещё 8 эпох на арендованной GPU «примерно за $20» и выиграл около 0,06%.

• Веса лидеров весят около 4 МБ, а считаются дважды. Каждый лишний миллион параметров стоит дорого, поэтому zmix добавил размер весов прямо в функцию потерь, а rata-cmix энтропийно кодирует 4-битные веса и экономит на этом 28 КБ.

• Лимит 50 часов на одно ядро ограничивает размер модели, которую можно прогнать по гигабайту текста.

Хуттер в FAQ ссылается на оценку по Шеннону: человек мог бы сжать enwik9 примерно до 75 МБ. Махони считает, что «без аппаратных ограничений мы могли бы увидеть 75 МБ». До этой отметки ещё 20–25 МБ, но дешёвый выигрыш нового подхода, похоже, уже взят.

Мораль для тех, кто хочет «завайбкодить» рекорд

Задача почти идеально подходит для ИИ: один файл, одна метрика, правильность проверяет распаковка. Gotty на форуме так и сказал: победили те, у кого был «лучший (или более удачный) промптинг». Том Каннингем из METR приводит Hutter Prize вместе с NanoGPT как два примера того, как «алгоритмические кривые начали загибаться». Его гипотеза: ИИ ускоряет открытия там, где проверить эксперимент дёшево.

Но из истории 2026 года видно и другое:

• Прорыв сделала идея, а не перебор. Иванов вынес вычисления туда, где их не считают. Двадцать лет перебора внутри старого бюджета давали по проценту. Агенты подключились уже потом и выжали из новой идеи ещё 4–5%.

• Нужна сильная основа. Opus с нуля отстаёт на 46–80%. Все успешные «агентные» заявки — форки многолетних человеческих работ.

• Цикл стоит денег. Тысячи прогонов, десятки тысяч CPU-часов, тысячи GPU-часов. Один прогон на enwik9 идёт около 50 часов, а маленький прокси-набор быстро ведёт к подгонке под бенчмарк.

• Проверка — узкое место. Даже у комитета: судьи не успевают, и им самим пришлось строить автоматическую проверку.

Где такой цикл реально полезен: подбор параметров и порядка данных, ускорение ядер (сэкономленные часы можно отдать модели), сжатие весов и особенно сжатие под конкретный формат — свои логи, телеметрию, таблицы. Там выигрыш против zstd бывает в разы, а не в доли процента.

Ссылки

• Hutter Prize: главная, правила, FAQ

• Matt Mahoney, Large Text Compression Benchmark

• fx2-cmix-transformer, cmix-neif, zmix, cmix-lex-transformer, ex-girlfriend

• encode.su: Hutter prize backlog, cmix-lex

• Пресс-релиз комитета, письмо Махони в рассылке AGI

• Delétang et al., Language Modeling Is Compression, ICLR 2024

Цифры взяты со страниц Hutter Prize и LTCB на 23 октября 2026 года. Заявки cmix-neif, zmix и cmix-lex-transformer на момент написания официально не подтверждены. Строки LTCB присылают сами авторы, Махони их не проверяет.