Irodori-TTS — локальный японский синтезатор речи, который работает на собственном компьютере и звучит достаточно естественно для диалогов. Автор решил проверить его на подкасте с двумя персонажами — Эрикой и Kenny. Главная боль была знакомая: когда мужской и женский голоса лежат в одном файле, их приходится вручную разделять перед созданием липсинка.

Обложка подкаста с двумя ведущими в наушниках и микрофонами; японская надпись упоминает Irodori-TTS, HeyGen API и автоматический липсинк.Источник: note.com

У Irodori-TTS есть ограничение — за один запуск он генерирует максимум 30 секунд аудио. Для длинного подкаста это выглядит неудобно, но разговор уже разбит на короткие реплики. Поэтому сценарий обрабатывается блоками: отдельно создаётся голос Kenny и отдельно голос Эрики. Затем для каждого блока формируются две дорожки одинаковой длины и с теми же таймингами: на мужской дорожке женские реплики заменяются тишиной, на женской — мужские.

Дальше каждый голос отправляется в HeyGen через API. Сервис создаёт липсинк-видео для конкретной реплики, а пайплайн повторяет эту операцию для всех блоков автоматически. В конце готовые фрагменты с двумя аватарами ставятся рядом на фоне и объединяются в полноценное подкаст-видео. В тестовом ролике в начале заметна рассинхронизация Эрики и Kenny, зато в финале персонажи уже попадают в речь заметно лучше.

Всю схему автор упаковал в одно приложение — от вставки сценария до экспорта видео. Архитектуру и порядок обработки он продумывал вместе с ChatGPT, а реализацию делал через Codex. В платной части исходного материала автор обещает раскрыть выбор технологий, спецификацию приложения и проблемы при сборке, включая случай, когда голос Kenny внезапно превратился в голос старика.

Главное

  • - Irodori-TTS работает локально и генерирует естественную японскую речь
  • - Ограничение в 30 секунд обходится обработкой сценария по отдельным репликам
  • - Для каждого персонажа создаётся собственная синхронная аудиодорожка с тишиной вместо чужих фраз
  • - HeyGen API автоматически делает липсинк-видео для каждого блока
  • - Финальная сборка объединяет аватаров, фон и все готовые фрагменты в один ролик
  • - Приложение собирает процесс от сценария до экспорта видео

Источникnote #動画生成AI