С полуслова: исследователи MWS AI и ИТМО сократили объем данных для обучения голосовых моделей новым языкам почти в четыре раза
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- КИИ в облаке
- 10 лет российского бэкапа
- SDN: Сеть как дом
- История облаков
- 30 лет ERP России
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- ИТ-бизнес
- Рейтинги
|
Лаборатория методов эффективного ИИ и инфраструктуры данных для низкоресурсных сред, созданная на базе ИТМО совместно с MWS AI (входит в МТС Web Services), разработала новый подход SEAM для адаптации моделей синтеза речи к новым языкам. Он позволяет нейросети использовать уже накопленные знания вместо того, чтобы с нуля осваивать звуковые элементы нового языка. В экспериментах это позволило сохранить качество синтеза речи, сократив необходимый объем обучающих данных почти в четыре раза. Об этом CNews сообщили представители MWS AI.
Чтобы голосовая модель начала говорить на новом языке, ее дообучают на парах «текст — аудиозапись». Если таких примеров мало, модели сложнее «понять», как новые для нее элементы языка должны звучать и сочетаться между собой. Из-за этого качество синтеза может снижаться. Проблема особенно актуальна для языков, по которым нет больших наборов размеченной речи — то есть аудиозаписей, заранее подготовленных специалистами, которые дублируются точными текстовыми расшифровками.
Исследователи MWS AI и ИТМО в рамках подхода SEAM предложили способ снизить зависимость голосовых моделей от больших объемов обучающих данных. Вместо того чтобы формировать представление нового языкового элемента практически с нуля, SEAM позволяет собрать его из уже известных нейросетевой модели частей с учетом их правильного фонетического порядка.
Подход протестировали на русском, казахском и французском языках и двух архитектурах синтеза речи. В экспериментах SEAM показал высокое качество синтеза речи при обучении на 25 часах аудиоданных, тогда как стандартный подход использовал 100 часов для достижения сопоставимого качества.
Подход может быть полезен компаниям, которые разрабатывают голосовых помощников, сервисы озвучки и автоматизации клиентской поддержки, особенно при выходе на новые рынки и необходимости адаптировать продукты к местным языкам.
«Для того, чтобы научить ИИ новому языку, совершенно не обязательно начинать с нуля; можно подойти к этой задаче с позиций "продвинутого лингвиста". Современные нейросети уже способны не просто понимать язык, но обобщать и систематизировать знания о его природе, а также транслировать эти знания на другие языки, автоматически отмечая их сходства и различия. Как следствие, когнитивные функции ИИ тут сводятся уже не к запоминанию, а к осмыслению информации, что требует меньше данных. Однако это порождает иную опасность — обученная таким образом система может создавать свой "новояз", особенно за счет изменения произношения слов из разных языков, как это бывает, например, в интернациональных детских коллективах», — отметил д.т.н., руководитель Института ИИ ИТМО Александр Бухановский.
Стаматис Лефкимиатис, руководитель департамента фундаментальных исследований MWS AI и один из исследователей, работавших над SEAM, в октябре 2026 г. вошел в международную базу Top 2% Scientists, которая оценивает научное влияние ученых по показателям цитирования. В категории «Искусственный интеллект и обработка изображений» он оказался примерно в топ-1% исследователей по показателю без самоцитирований.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.