Почему одного Whisper оказалось мало: ASR на 100 песнях для домашней игры

К Новому году мы с друзьями договорились, что каждый подготовит по конкурсу. Мне хотелось сделать что‑нибудь музыкальное, а идеи нашлись в воспоминаниях о двух корпоративах: с одного я принёс желание сочинить песню для нашей компании, с другого позаимствовал механику конкурса. Так появилась What The Track, в которой нужно угадать последнее слово оборванной строки песни.

Первую версию с вопросами, нарезанными вручную, мы довольно быстро опробовали на друзьях. Когда захотелось сыграть ещё, я решил автоматизировать подготовку, чтобы самому не знать все ответы заранее. Оказалось, что между «нейросеть умеет распознавать речь» и «ей можно доверить музыкальный конкурс» помещается отдельный проект по сравнению систем автоматического распознавания речи (ASR, automatic speech recognition).

Сначала была песня

На новогоднем корпоративе диджей собрал фразы гостей и превратил их в песню. Мне такая активность понравилась настолько, что дома я полез разбираться, как сделать что‑нибудь похожее для друзей. Так я нашёл Suno, собрал у друзей по одной фразе и сделал собственный новогодний гимн с мощным припевом:

Мы вместе, мы живы! И на том спасибо!

Гимн у нас теперь был, но договорённость про конкурс никуда не делась. Тут я вспомнил другой корпоратив, летний, где ведущая включала с телефона треки из нижнего интернета, а нам предлагала выбрать, какой текст прозвучит дальше. Для такого конкурса необязательно знать песню: можно попытаться угадать продолжение по рифме, а можно придумать что‑нибудь смешное и потом сравнить с тем, что написал автор.

Эту механику я и решил забрать для нашей встречи, немного переделав под привычный нам формат. Мы с друзьями любим Jackbox, где все играют со своих телефонов, поэтому хотелось обойтись без возни с телефоном ведущего: пусть музыка звучит для всех, а каждый вводит ответ в собственном браузере. Я нарезал треки, подготовил вопросы, навайбкодил веб‑интерфейс и выложил его на домашний сервер. Готовые варианты ответа убрал, чтобы каждый мог написать своё продолжение. После отрывка ведущий включает правильный ответ и показывает, кто что придумал, а за угаданное слово игрок получает два балла. В таком виде мы и сыграли первую партию.

Я тоже хочу играть

Друзьям понравилось, и они попросили ещё. Это означало, что для следующей партии мне снова придётся прослушать песни, найти подходящие строки и нарезать вопросы с продолжениями. Больше всего меня не устраивало, что после такой подготовки я сам уже не мог нормально участвовать: все ответы были известны заранее. Хотелось добавлять музыку в игру и садиться угадывать вместе с остальными, поэтому я взялся за автоматизацию.

Я работаю DevOps‑инженером в GS‑Labs и AI‑лихорадка не обошла нас стороной. Одной из моих задач была разработка сервиса для подготовки отчётов по конференциям с помощью LLM, так что с распознаванием речи я уже успел познакомиться и решил попробовать тот же подход на песнях. К нынешней версии я пришёл не сразу. Чтобы дальше было проще следить за изменениями, сначала покажу два пути, по которым генератор обрабатывает песню сегодня.

Схема двух путей генерации

WhisperX на песнях

В сервисе для конференций я использовал WhisperX: FFmpeg подготавливает запись, Whisper распознаёт речь, отдельная модель уточняет таймкоды слов, а pyannote разделяет реплики по спикерам. Получившуюся расшифровку уже можно передать дальше для подготовки отчёта. С песней задача поначалу казалась даже проще, ведь обычно поёт один человек и делить реплики по спикерам не нужно. Зато вместо обычной речи распознаватель получает музыку с бэк‑вокалом, растянутыми гласными и проглоченными согласными. Для моей игры ошибка в одном слове могла испортить весь вопрос, если именно это слово предстояло угадывать.

В ранней версии я отдавал текст расшифровки локальной LLM (gpt‑oss-20b) и просил выбрать интересное слово, но вместе с настоящими словами она выбирала и ошибки распознавателя. Так в игру попадали ответы, которых в песне вообще не было, хотя по тексту расшифровки вопрос мог выглядеть вполне разумно. Текст подсказки тоже мог разъехаться со звуком: например, слова перед проигрышем оставались, а после него пропадали. К этому добавлялось ожидание ответа локальной LLM на каждом треке, и подготовка новой партии получалась одновременно долгой и ненадёжной.

Сначала я попробовал помочь распознавателю подготовкой звука: отделил вокал через Mel‑Band RoFormer, добавил фильтрацию низких частот, нормализацию и компрессию. Распознавание стало лучше, но ошибок всё ещё хватало, чтобы регулярно получать неудачные вопросы. Следующим шагом подключил тексты из Яндекс Музыки, откуда мы уже брали сами треки. С готовым текстом можно восстановить строки и правильное написание слов, а распознавание использовать для поиска нужного места в аудио. Такой вариант работал заметно лучше, однако у части песен, которые хотелось взять в игру, текста не было.

Для части песен Яндекс отдавал и метки времени, но для нарезки вопросов их оказалось недостаточно: в сохранённых LRC отмечено начало строки, а мне нужно остановить музыку перед последним словом внутри неё. Вычислить этот момент по длине строки не получится: певец может растянуть один слог, быстро проговорить несколько слов или сделать паузу. К тому же в тестах метки строк расходились с таймкодами распознавания, иногда больше чем на секунду. Например, в «Выходи гулять» Касты начало строки «Собираемся свободно и гуляем где угодно» отмечено в LRC на отметке 24,68 с, а WhisperX и обе GigaAM находят её первое слово на 25,80–25,92 секунды. Текст этой строки все три модели распознали без ошибок. Для обрыва перед словом такая разница существенна: можно оборвать предыдущую фразу или успеть выдать часть ответа. Поэтому готовый текст я использую для выбора и проверки слов, а точку обрыва определяю по пословным таймкодам, полученным из самого аудио.

Выбор слова я переписал на правила

Пока я разбирался с качеством распознавания, стало понятнее, по каким признакам вообще выбираю вопрос вручную. Обычно это длинное, содержательное слово в конце строки, перед которым достаточно текста, чтобы игрок успел предположить продолжение. При этом хочется пропустить самый старт трека, не брать бесконечно повторяющийся припев и убедиться, что ответ не прозвучал в том же отрывке несколькими секундами раньше. Всё это можно описать обычными правилами.

Если готовый текст есть, алгоритм перебирает последние слова строк, в основном в диапазоне от 25 до 85 процентов текста, и оценивает длину слова, повторы и окончания соседних строк. Затем он ищет выбранное слово в распознанном аудио и проверяет конкретное вхождение, поскольку одно и то же слово может встречаться в песне несколько раз. Без готового текста выбирать приходится прямо из расшифровки, поэтому к отбору добавляются проверки времени: сколько длится слово, не пересекается ли оно с соседними и хватает ли контекста перед ним. Через pymorphy3 определяю части речи, чтобы чаще выбирать существительные и отбрасывать служебные слова, а если первый кандидат не проходит проверки, алгоритм переходит к следующему. После этого LLM для выбора вопроса больше не понадобилась, но проблема с ошибками распознавания осталась. Несколько удачных песен ничего не говорили о том, какие настройки действительно помогают, поэтому сравнивать варианты пришлось более последовательно.

Пришлось собрать лабу

Для этого я собрал отдельную ASR‑лабу, где результаты моделей можно посмотреть рядом, строка к строке, и сразу послушать соответствующее место в исходном треке или отделённом вокале. Так стало гораздо удобнее разбирать конкретные промахи и понимать, на каком этапе они появляются. Начал с WhisperX large‑v3 с подсказкой и без неё, GigaAM v3, GigaAM Multilingual и Qwen3-ASR, а затем добавил Parakeet, Canary, Voxtral, Vosk и русские дообучения Whisper. Каждой модели давал разные варианты звука: исходный микс, вокал после Mel‑Band RoFormer, тот же вокал с фильтрами и компрессором, а также результат BS‑RoFormer.

Для основного сравнения собрал 100 треков 86 исполнителей, не больше четырёх песен на одного. Распознаватели получали только звук, а для проверки результата использовал референсные тексты: 92 из Яндекс Музыки и восемь из LRCLIB. Кроме этих 100 песен, в лабе были и треки без референсного текста: их я сравнивал на слух, а в таблицу WER они не вошли.

«Атомная романтика»

Хорошо видно, с чем приходится иметь дело, на примере «Атомной романтики» хардкор‑панк‑группы «Пурген». Здесь хриплый, почти кричащий вокал, а в припеве сильно растянута первая гласная. Для сравнения я взял фрагмент с 01:03 до 01:10 со строкой:

И ядерные взрывы освещают пути нам.

Следом идёт «А‑а-а‑а-атомная романтика!». Вот несколько расшифровок этого места:

На исходном миксе WhisperX сохраняет «пути нам», хотя ошибается в соседних словах, а после отделения вокала превращает их в «Путина». Ту же склейку на вокале выдают все три показанные GigaAM. Для CTC я отдельно повторил распознавание полного трека на исходном миксе и сохранённом вокале Mel‑Band: на миксе получилось «пути и нам», а после разделения тоже «путина». В финальную тройку CTC вошла по результатам сравнения на 100 песнях и проверки совместного отбора вопросов, о которых расскажу ниже. Этот пример показывает ограничение такой проверки: несколько моделей могут согласиться и на ошибке, поэтому само по себе совпадение слова ещё не гарантирует правильного ответа.

С припевом получается ещё веселее: «Водопная романтика», «Вот моя романтика», «Вода проигратика». У Qwen на миксе от всего фрагмента остаётся одно «она», зато на отделённом вокале модель восстанавливает гораздо больше текста и правильно распознаёт «пути нам», хотя с самим припевом всё равно не справляется. Хрип, растянутая гласная, инструменты поверх голоса: что именно мешает сильнее, по этому примеру не выяснить. Видно только, что отделение вокала помогло Qwen восстановить строку, а от общей ошибки остальных моделей не спасло. Синхронизированного текста «Атомной романтики» в Яндексе не нашлось, поэтому слова я сверил отдельно, а сам трек оставил за пределами таблицы точности на 100 песнях.

Михаил Круг и «двери»

Другой характерный промах встретился в «Девочке‑пай» Михаила Круга: на отрезке с 01:08.27 до 01:14.98 несколько моделей споткнулись о слова «В нашей Твери». В этом случае текст для сверки есть в Яндекс Музыке.

Parakeet и Vosk превратили «Твери» в «двери», причём отделение вокала через BS‑RoFormer эту ошибку не исправило. В соседних словах тоже было на что посмотреть: у Parakeet появились «штурцы дровых», а у Qwen «шкурцем травык». WhisperX без подсказки и две GigaAM распознали строку правильно на обоих вариантах звука, так что для этого фрагмента им хватило исходного микса.

Б.А.У. и пицца

Ещё один пример из «угарного метала» Б.А.У.. В «Венском конвертике» на 01:52.76 поют:

Зубами бы впиться в слоёный край.

На исходном миксе whisper-podlodka-turbo пишет «в пицца» вместо «впиться», и Qwen с фрагментами до 30 секунд выдаёт то же самое. Рядом со слоёным краем пицца выглядит вполне уместно, но в самой песне её нет. Canary добавляет ещё и лишние слова: «карточку», «или», в другом варианте «пиццу». С таким текстом подсказка уже сомнительная, даже если последнее слово распознано правильно. После BS‑RoFormer whisper-podlodka-turbo справляется со строкой, а Qwen по‑прежнему пишет «в пицца». Базовому WhisperX и двум GigaAM достаточно исходного микса, поэтому и здесь польза отделения вокала зависит от того, какой распознаватель слушает результат.

Сравнение проверенных конфигураций на 100 песнях

После сравнения я отдельно проверил, не испортил ли эксперимент подготовкой звука: все распознаватели получали 16 кГц, как Whisper. Сама частота соответствует входу этих моделей, но способ её получения оказался важен. Я повторил пилот на тех же пяти песнях, заменив прежнее преобразование через pydub на SoXR, который корректнее отсекает высокие частоты перед понижением частоты дискретизации. Однозначного улучшения не получилось: на отделённом вокале WER базового Whisper изменился с 15,78% до 16,00%, а у Canary снизился с 36,44% до 33,37%. У GigaAM на исходном миксе качество заметно упало, причём изменилось уже поведение детектора речи: он стал пропускать фрагменты, которые прежде отправлял на распознавание. Поэтому таблицы ниже описывают результат всей проверенной цепочки с прежней подготовкой аудио, а не универсальные свойства моделей независимо от настроек.

От отдельных примеров перешёл к WER, доле ошибок распознавания: число замен, пропусков и вставок слов делится на число слов в референсном тексте, поэтому меньший результат означает более точную расшифровку. Я считал WER отдельно для каждой песни, а затем брал среднее, чтобы длинные треки не перевешивали короткие. В таблице этот показатель обозначен как «WER macro по сопоставленным строкам», поскольку перед подсчётом расшифровка распределяется по строкам эталона.

Перед подсчётом оба текста приводились к нижнему регистру, без пунктуации и различия между «ё» и «е»; дефисы разделяли слова, числа переводились в словесную форму, а растянутые написания вроде «дааааа» сокращались. Распевки в скобках убирались, осмысленный бэк‑вокал оставался; междометия вне скобок не удалялись автоматически. Нормализатор также исправлял латинские буквы внутри русских слов и приводил к общей форме некоторые разговорные и числовые варианты, например «щас» и «сейчас». Повторы припевов сохранялись отдельными вхождениями и сопоставлялись с расшифровкой по тексту и времени.

Референсные тексты не проходили сплошную ручную сверку с аудио: замеченные ошибки я разбирал отдельно, но не переписывал исходные файлы под ответы моделей. Поэтому в WER могут попадать опечатки, несовпадения версии песни и ошибки сопоставления повторяющихся строк. В таблице сохранены все 100 песен каждой конфигурации, включая случаи с предупреждениями о таком сопоставлении. В расчёт входят все слова референсных строк после нормализации: если для строки не нашлось расшифровки, её слова засчитываются как пропуски. Однако слова распознавания, которые алгоритм не отнёс ни к одной референсной строке, учитываются отдельно и в этот WER не входят. Поэтому он отличается от WER при сравнении двух полных текстов целиком. Подтверждение выбранных слов‑ответов ниже является отдельной проверкой, а не ручной верификацией всех текстов.

Покрытие в таблицах показывает долю референсных строк, к которым удалось отнести хотя бы одно распознанное слово, в среднем по песням. Оно не означает, что строка распознана правильно или полностью: даже одно ошибочное слово делает её покрытой. Непокрытые строки остаются в расчёте WER, поэтому этот столбец помогает увидеть пропуски и ограничения сопоставления, а не задаёт отдельную выборку для оценки точности.

Одна из самых полезных правок оказалась простой: я убрал подсказку, в которой объяснял Whisper, что перед ним песня с рифмами, куплетами и припевом. Самого текста песни там не было, однако без этой подсказки WER на исходном миксе снизился с 33,5% до 26,1%. А вот фильтры и компрессор поверх отделённого вокала почти ничего не дали: 19,3% без обработки против 19,0% с ней. Парный бутстрап дал для разницы интервал от −0,78 до +0,40 процентного пункта, включающий ноль, поэтому убедительного выигрыша от этого этапа я не увидел.

На вокале после BS‑RoFormer результаты WhisperX и двух GigaAM оказались близки: 17,7%, 18,4% и 18,5% соответственно. WhisperX показал наименьшую долю ошибок, но проверка бутстрапом не подтвердила уверенного преимущества: при повторных выборках песен порядок моделей менялся. Поэтому по этому корпусу я не стал объявлять единственного победителя.

Остальные модели сначала проверил на пяти песнях, чтобы понять, стоит ли запускать их на всём корпусе. Набор здесь другой, поэтому напрямую сопоставлять проценты с предыдущей таблицей нельзя.

Пяти песен недостаточно для общего рейтинга, но на этом наборе русские дообучения Whisper не обошли базовую модель. Qwen здесь уже запускался с фрагментами до 30 секунд: после раннего неудачного запуска я пересмотрел его настройки.

Как теперь выбирается вопрос

За сравнением распознавателей я постепенно ушёл довольно далеко от исходного конкурса, хотя для одного раунда мне по‑прежнему было нужно только одно подходящее место в песне. Ошибка в другом куплете никак не мешает этому вопросу, если выбранный фрагмент распознан правильно. Поэтому дальше я занялся отбором участков, которым можно доверять.

Для треков без готового текста оставил три распознавателя: WhisperX large‑v3 без подсказки, GigaAM v3 CTC и GigaAM v3 e2e RNN‑T. Сначала все они слушают исходный микс, после чего алгоритм сопоставляет слова по порядку и времени и ищет места, где совпали все три расшифровки. Для выбора ответа двух голосов из трёх недостаточно. Перед ответом должны совпасть ещё хотя бы три слова подряд, желательно пять, без длинной паузы. Среди таких участков алгоритм ищет конец фразы, по возможности с существительным, и дополнительно проверяет, не прозвучало ли слово‑ответ раньше в том же отрывке.

Если на исходном миксе подходящего места не нашлось, BS‑RoFormer отделяет вокал, который затем слушают те же три модели. Здесь появляется дополнительное условие: выбранное слово должны были распознать хотя бы две модели на исходном миксе, поскольку игрок будет слушать оригинальную песню вместе с инструментами. Когда и этот вариант не проходит проверки, трек пропускается.

Пары моделей я тоже пробовал и встретил показательный случай в песне «37» группы «джинсы тарковского»: WhisperX и GigaAM CTC выбрали «самолёта», хотя в тексте «самолётом». Тройка отвергла этот участок благодаря проверке согласованного контекста, причём само окончание неверно услышали все три модели. Получается, от ошибки спасла именно проверка соседних слов, а одного совпадения ответа было бы недостаточно.

В этой схеме WhisperX даёт таймкоды для нарезки, знаки препинания GigaAM RNN‑T помогают найти конец фразы, а CTC участвует в проверке совпадений. По моим замерам на видеокарте, две GigaAM при уже загруженных моделях суммарно тратят примерно две секунды на распознавание четырёхминутного трека, без учёта подготовки звука и загрузки моделей. Такая прибавка ко времени подготовки меня устраивает.

Сколько приходится ждать

Полный рабочий прогон из 100 входных треков на NVIDIA GeForce RTX 5060 Ti с 16 ГБ видеопамяти занял 4 часа 4 минуты 40 секунд. Получение песен и текстов из Яндекса заняло первые 4 минуты 34 секунды, а на последующую обработку приходилось в среднем 144 секунды на входной трек. Это время конкретного запуска через веб‑интерфейс: 93 песни с готовым текстом прошли через Mel‑Band RoFormer и WhisperX, а семь без текста через согласие трёх моделей. Это те же 100 треков, что и в WER‑корпусе, но числа описывают разные вещи: 92 + 8 обозначает источники сохранённых референсов, а 93 + 7 наличие готового текста у генератора в этом запуске. Разница приходится на «Индустрию смерти» Пургена: её лабораторный референс взят из LRCLIB, а в рабочем прогоне текст был доступен.

Полный рабочий прогон дал 97 вопросов. Отдельная проверка режима согласия на 100 треках дала 98: там готовые тексты не передавались алгоритму вообще. В первом случае проверялась подготовка партии целиком, во втором только алгоритм выбора вопроса по сохранённым расшифровкам.

Основную часть ожидания занял RoFormer: в пути с готовым текстом отделение вокала требовало в среднем 107 секунд на песню, около 73% времени разделения и распознавания. Если смотреть на качество полной расшифровки, убирать разделение вокала совсем невыгодно: WER Whisper после BS‑RoFormer составлял 17,7%, а на миксе 26,1%. Зато в режиме согласия можно сначала попробовать микс и отделять вокал только при неудаче; уже загруженные GigaAM добавляют к распознаванию четырёхминутного трека примерно две секунды.

Отдельная проверка режима согласия: 98 вопросов

В этой проверке все 100 треков прошли через отбор по согласию трёх моделей, без готовых текстов на входе. Использовались сохранённые расшифровки: нейросети повторно не запускались, проверялся именно выбор вопроса. Это отдельный эксперимент, тогда как полный рабочий прогон с двумя путями обработки дал 97 вопросов. Результат режима согласия:

Все 98 слов‑ответов подтвердились по текстам песен. Иногда поправка требовалась самому референсному тексту: в «Будущих мамах» Лигалайза было написано «металлоИКателем», а модели распознали «металлоИСкателем». При этом в самих подсказках ошибки остались: например, в «Плак‑плак» система выбрала правильный ответ «умереть», но перед ним написала «И мне так уж страшно» вместо «И не так уж страшно». Проверка нескольких слов перед ответом не покрывает весь текст, который видит игрок, поэтому подтверждение всех 98 ответов ещё не означает, что каждый вопрос целиком безупречен. Точность выбранных точек обрыва аудио этой проверкой я тоже не оценивал.

Без вопроса остались «Gitar» Петра Налича, где английский текст попал в конфигурацию для русского языка, и «Батя‑токарь» ZAPRAVKA, для которого ни на миксе, ни на вокале не нашлось подходящего слова с согласованным контекстом. Для моей игры пропустить такие треки допустимо: из плейлиста всё равно получается достаточно вопросов.

Как этим пользоваться

Со стороны ведущего подготовка теперь сводится к тому, чтобы добавить ссылки на треки, альбомы или плейлисты Яндекс Музыки и запустить генерацию. Если у песни есть текст, программа использует его вместе с таймкодами распознавания, а если нет, выбирает вопрос по согласию трёх моделей. Результат сохраняется в виде фрагмента с вопросом, продолжения с ответом и текста с пропуском. К началу партии вся работа нейросетей уже закончена: Flask и Socket.IO обслуживают ведущего и игроков, а nginx раздаёт страницы и готовые файлы. Игрокам достаточно открыть страницу в браузере на телефоне. Есть и упрощённый режим с одним WhisperX и отделением вокала, если согласие моделей выключено или модели GigaAM недоступны. Результат 98 из 100 относится именно к трём моделям, на упрощённый режим его переносить нельзя.

Что в итоге

В результате у меня получилась игра, для которой больше не нужно вручную готовить каждую новую партию. В отдельной проверке режима согласия на 100 треках удалось выбрать 98 вопросов, и все слова‑ответы подтвердились по текстам. Полный рабочий прогон, где использовались оба пути обработки, дал 97 вопросов из 100 входных треков и занял около четырёх часов. Для домашнего конкурса меня такой результат устраивает, хотя ошибки в подсказках остаются, а качество обрывов ещё нужно проверять отдельно.

Главным решением за всё это время было сузить задачу до выбора одного подходящего фрагмента. Когда я сформулировал признаки хорошего вопроса, выбор удалось описать обычными правилами, и LLM для этого больше не понадобилась. Распознаватели остались источником текста и таймкодов, причём сравнение их ответов оказалось полезнее, чем попытка выбрать одну лучшую модель для всех песен. Но даже три модели способны одинаково ошибиться, поэтому в проверку пришлось включить и само слово, и контекст перед ним.

Исходники What The Track и инструкция по запуску лежат на GitHub. Если захочется устроить похожий конкурс, можно развернуть игру у себя и попробовать её на своей музыке; мне особенно интересно, на каких песнях эта схема начнёт ошибаться у других. Из двух корпоративных идей у меня в итоге получились новогодний гимн, музыкальная игра и довольно обстоятельное знакомство с ошибками распознавания песен. Зато теперь можно добавить плейлист, запустить подготовку и не подсматривать ответы, чтобы наконец сыграть в собственный конкурс вместе с друзьями.