KI-Stimmen mit Emotionen: DeepL stellt neues Modell Aure vor

KI-Übersetzungen sind in den vergangenen Jahren weit gekommen. DeepL und Co. sind aber bisweilen noch recht weit davon entfernt, menschenähnliche Stimmen hervorzubringen. An manchen Ecken und Enden gibt es dann doch Risse in der Audiofassade, die die KI durchscheinen lassen. Doch das soll sich jetzt mit einem neuen Modell ändern. DeepL Aure geht dafür einen neuen Weg.

DeepL Aure: Wenn der KI-Übersetzer weiter lernt

Wie DeepL in einer Pressemitteilung schreibt, soll Aure das bisher "dynamischste und ausdrucksstärkste Voice-KI-Modell" des Unternehmens sein. Das liegt daran, dass Aure im Vergleich zu anderen Modellen im Laufe eines Gesprächs weiter lernt und sich an die Betonungen, an das Tempo und an Emotionen der Sprecher anpasst.

Jarek Kutylowski, Gründer und CEO von DeepL, sagt dazu: „Zu lange hat sprachübergreifende Kommunikation bedeutet, Abstriche bei der eigenen Ausdrucksweise zu machen. […] Mit Aure können selbst subtilste Änderungen im Ausdruck erfasst und in eine andere Sprache übertragen werden – in der eigenen Stimme und in Echtzeit. Das ist ein großer Schritt hin zu einer Welt, in der sich die Sprache verändert, der Mensch dahinter aber derselbe bleibt."

Bislang hat DeepL Voice am Anfang eines Gesprächs eine statische Stimmprobe analysiert und daraus eine Stimme erzeugt. Das Problem: Verändert sich die Stimmung und damit auch der Tonfall im Laufe des Dialogs, werden diese Änderungen nicht durch die KI-Stimme übertragen. Deshalb analysiert Aure durchgängig die Audioquelle, um die Worte übersetzt genau so wiederzugeben, wie sie im Original betont wurden.

Diese Herausforderungen gab es für DeepL bei Aure

Die kontinuierliche Analyse von Audiodaten bringt ganz eigene Hürden mit sich. So gibt es im Laufe von Gesprächen immer wieder Störgeräusche, die die KI stören könnten. Um das zu verhindern, müssen solche Störungen, Echos und Klangverzerrungen erkannt und herausgefiltert werden. Zudem muss sich Aure aufgrund begrenzter realer Daten verschiedener Sprachen immer wieder an Akzente anpassen. Um das möglich zu machen, hat DeepL die Trainings für verschiedene Bereiche voneinander getrennt. Aure kann unabhängig voneinander Stimmidentität, Prosodie (etwa Akzente und Intonation) und gesprochene Inhalte erkennen und umsetzen.

Aure ist ab sofort für DeepL Voice in Online-Meetings, für persönliche Gespräche und über die DeepL-API verfügbar. Es braucht vonseiten der User keine zusätzliche Konfiguration. Aure kann zunächst Englisch, Deutsch, Spanisch, Französisch, Italienisch, Japanisch, Portugiesisch und Koreanisch sprechen. Weitere Sprachen sollen folgen.