DeepL、感情や抑揚の変化も伝える音声翻訳AI「Aure」

DeepLは、リアルタイム音声翻訳サービス「DeepL Voice」向けの新音声AIモデル「Aure」を発表した。話者の声の特徴を保ちながら、会話中に変化するトーンや感情、強調、話すペースを翻訳音声にリアルタイムで反映する。

従来のモデルは、会話の冒頭で捉えた話者の声をもとに翻訳音声を生成していた。Aureでは、翻訳された言葉と元の音声の両方を用いて、会話中の音声を継続的に分析。「何を話しているか」に加え、「どのように話しているか」を捉え、話し方の変化に合わせて翻訳音声を調整する。

例えば、交渉で言葉を強調して切迫感を伝える場面や、良い知らせを伝える際に真剣な口調から熱意のある話し方へ変わる場面などで、声に込められたニュアンスを別の言語でも伝えられるという。

開発では、話者固有の声の特徴、抑揚やリズム、発話内容を分離する複数の学習手法を組み合わせた。さらに強化学習で出力を最適化し、翻訳の正確性と音声品質を維持しながら、特定のアクセントに偏らない自然な音声を生成するとしている。

Aureは「DeepL Voice for Online Meetings」「DeepL Voice for In-Person Conversations」「DeepL API for Voice」に自動で適用され、追加設定は不要。対応言語は英語、ドイツ語、スペイン語、フランス語、イタリア語、日本語、ポルトガル語、韓国語の8言語で、今後拡大する予定。