PunchWAEC, NECO: Schools must certify 75% of teachers by December — TRCNInquirerCoron, Cuyo forecast to have ‘dangerous’ heat index on Nov. 22The Jerusalem PostThousands of European teens gather in Paris for Chabad Jewish pride rally amid antisemitismDaily MaverickTHE LOWLY NEWSPAPERMAN: Ramaphosa checks out as petty politics, personal beefs trump SA’s metro crisesCumhuriyetMurat Ceylan Cumhuriyet Pazar'da: 'Sahnedeki Murat da televizyondaki Murat da benim'한겨레하루키 “무라카미 류, 시대를 공유하며 함께 달렸던 천부적 작가” 추모Sözcü4 aylık hamile kadına döner bıçağıyla hastanelik etti: Savunması kan dondurduגיקטייםאפילו עמוד החיפוש הקלאסי של Google נכנע ל-AIسكاي نيوز عربيةمع تفاقم أزمة الوقود.. إيران تبدأ تقييد استخدام الكهرباءThe Times of IsraelA smart way to diversify: Strong rates, lasting impact - Sponsored ContentCNN Türkİran, Bahreyn'deki ABD üslerini hedef aldıThe RegisterCome for the science, stay for the big iron: Supercomputer admin on why he loves the job
The Daily Newsstand · Free, Always
Sunday, November 22, 2026

Как мы собрали чистый голос в БОЛТУНе на AudioWorklet, DPDFNet и Opus

Translate

У одного рядом гудит компьютер, другой начинает фразу вполголоса, третьего постоянно хочется сделать погромче. Обычный вечер в голосовом чате. Мы наконец собрали в БОЛТУНе звук, которого хотели с самого начала. Голос слышно на фоне гула, тихие начала фраз сохраняются лучше, а громкость каждого человека можно поправить отдельно.

В октябрьской статье мы ещё перебирали варианты шумоподавления. А 9 ноября уже выпустили DPDFNet в версии 0.0.67 для Windows и веба. Это нейросеть, которая чистит звук прямо на компьютере говорящего перед Opus. Покажем, что получилось, и разберём всю цепочку от микрофона до наушников. Первая статья про шумоподавление.

Из чего собран голос

Микрофон → AudioWorklet → DPDFNet → активация → Opus
        → WebSocket → Go-координатор → WebSocket
        → декодирование → буфер → микшер → наушники

AudioWorklet и DPDFNet у говорящего

Сначала браузер забирает звук с микрофона. Эхоподавление у него своё и настраивается отдельно. Оно помогает, когда голос из колонок снова попадает в микрофон. Усиление можно выставить руками. Встроенный шумодав браузера для этой цепочки отключили, чтобы голос проходил только через DPDFNet.

AudioWorklet приводит звук к моно на 16 кГц и собирает куски по 20 мс. Каждый кусок уходит в отдельный Worker. Там на CPU работает готовая модель DPDFNet Baseline от Ceva через ONNX Runtime Web и WebAssembly. Она обрабатывает спектр и помнит своё состояние от блока к блоку. Прогреваем её заранее, а сам код один и тот же для браузера и WebView2 в Windows. AudioWorklet · DPDFNet · Веса модели · Статья авторов · ONNX Runtime Web.

Активация, Opus и доставка

Дальше решаем, когда отправлять голос. С Push-to-Talk всё понятно — нажал кнопку и говоришь. С активацией голосом хитрее. Пока детектор (VAD) ждёт, что голос станет громче, человек уже может начать слово. Поэтому с DPDFNet держим под рукой последние 240 мс обработанного звука. Как только передача открывается, этот кусок отправляем первым.

Обработанную речь кодируем в Opus через WebCodecs. В веб-клиенте это моно, 16 кГц и целевые 32 кбит/с. Go-координатор получает пакеты по WebSocket и раздаёт их участникам комнаты. На другом конце WebCodecs декодирует обычный Opus. Вся работа нейросети к этому моменту уже сделана у говорящего. WebCodecs · Спецификация Opus.

Воспроизведение и микшер у слушателя

У слушателя для каждого голоса свой буфер и свой AudioWorklet. На старте копим 200 мс звука и дальше читаем его непрерывно. Если очередной пакет задержался, есть что проиграть. Если запас закончился, worklet плавно уводит звук в тишину и так же плавно возвращает его, когда буфер снова набрался.

Потом сводим голоса вместе. Тихого собеседника можно прибавить отдельно. А когда все заговорили разом, на общем выходе легко получить пик даже от нескольких вполне нормальных по громкости голосов. Тут выручает компрессор. Он прижимает такие пики, прежде чем сигнал уйдёт в наушники.

Что проверили целиком

Для проверки шума взяли одну и ту же речь с искусственным гулом вентилятора и прогнали через комнату со штатной обработкой браузера и с DPDFNet. Сравнивали уже после декодирования Opus, выровняв громкость по чистому голосу. В паузе остаточный гул с DPDFNet получился заметно тише. С разговорами за спиной результат зависел от примера. Где-то чужой голос затихал, где-то оставался слышен.

По пути поймали странный баг. В 35-секундном тесте с искусственной задержкой Worker пропало около 215 мс звука, а у слушателя буфер ни разу не опустел. Оказалось, таймер захвата сам подставлял тишину вместо опоздавших блоков. Убрали этот таймер и стали отдавать готовые блоки по порядку. Повторили тест — все отсчёты на месте. С тихими началами разобрались отдельно. Старых 100 мс истории VAD оказалось мало, чтобы удержать начало слова.

Перед выпуском взяли готовый веб-клиент и Windows EXE, зашли в локальную комнату и подали вместо микрофона один и тот же WAV. Проверили по десять тихих начал в каждой сборке. В этих двадцати началах ни один блок в проверяемом окне не потерялся и не продублировался. В вебе ещё держали PTT полторы минуты. Первые 30 секунд дополнительно грузили CPU. Все готовые блоки дошли до передачи, а у слушателя за весь прогон не прибавилось ни опустошений, ни переполнений буфера.

За запас в буфере платим задержкой. На отдельном трёхминутном стенде получили около 297 мс от захвата до выхода у слушателя и 337 мс, когда специально добавили задержки доставки. Это замер внутри программного тракта вместе с приёмным буфером. Реальные устройства и интернет в замере не участвовали.

В БОЛТУНе это уже можно послушать самому. Заходите в комнату с Windows или из браузера и включаете «Шумоподавление» в настройках звука. БОЛТУН.

Короче, аудиостек рабочий. Если делаете свой голосовой чат или что-то похожее, пользуйтесь этой схемой. Мы её уже обкатали и довели до релиза. Пилим дальше)))

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.