DeepL Aure должна переносить в живой перевод тон, эмоции, ударения и темп речи говорящего, то есть то, что раньше терялось. Об этом пишет The Decoder. До сих пор DeepL Voice озвучивала перевод по статичному голосовому образцу, снятому в начале разговора, поэтому смену настроения и сарказм модель просто не видела. Если переводишь созвоны или живые диалоги, разница примерно такая: «вроде понятно» против «понятно, что человек злится».
Aure работает иначе: она непрерывно анализирует и переведённый текст, и исходное аудио по ходу разговора. При обучении DeepL разделила идентичность голоса, мелодику речи и содержание, чтобы переносить каждую часть в новый язык отдельно. Обучение с подкреплением отвечает за то, чтобы акцент не попадал в результат.
Aure включается автоматически в DeepL Voice для онлайн-встреч и личных разговоров, а также через API. На старте поддерживаются английский, немецкий, испанский, французский, итальянский, японский, португальский и корейский. Русского в этом списке пока нет, так что если переводишь именно на него, придётся подождать.
Контекст у этой новости довольно широкий. Сохранение голоса DeepL начала выпускать ещё в сентябре. В мае компания сократила около 250 рабочих мест, перестраиваясь вокруг небольших команд с ИИ и называя себя AI-native. Для усиления потокового перевода речи она купила команду Mixhalo, которая занимается потоковым аудио. Block тоже идёт к смыслу за словами: их модель Dessa распознаёт эмоции и сарказм прямо из звука.
Пока это обещание, а не замер качества: как Aure справится с сарказмом на реальных созвонах, из материала не понять. Людям сарказм на слух переводить тоже непросто, так что идеала от модели ждать не стоит. Но направление правильное, и это уже важно.
ИсточникThe Decoder

