Японский автор на note.com собрал конвейер для подкаста. Почти вся техническая возня спрятана внутри одного приложения: Irodori-TTS локально озвучивает реплики, HeyGen API делает липсинк по блокам, а на выходе получается видео с двумя говорящими персонажами.

Связка закрывает знакомую проблему диалоговых роликов. Мужская и женская речь сразу попадают на разные дорожки, поэтому автору не приходится потом выковыривать голоса из общего аудиофайла. Для формата с двумя AI-аватарами это заметно экономит время.

Обложка подкаста с двумя ведущими в наушниках и микрофонами; надпись связывает выпуск с Irodori-TTS, HeyGen API и автоматическим липсинком.Источник: note.com

Irodori-TTS и HeyGen API работают с отдельными репликами

Автор давно хотел делать подкастовые видео с Эрикой и Kenny. Когда две роли записаны одним аудиофайлом, перед липсинком приходится разделять мужской и женский голос. Каждый выпуск быстро превращается в ручной монтаж.

Irodori-TTS привлёк автора локальной японской TTS-моделью. Синтез речи идёт на собственном компьютере. По его впечатлению, японская речь звучит очень естественно. Оценка субъективная, но именно она подтолкнула к эксперименту.

Первый сюрприз — ограничение. За один запуск модель генерирует примерно до 30 секунд аудио. Десятиминутный сценарий целиком в неё не отправить.

Диалог удобно собирать короткими блоками. Kenny говорит, затем отвечает Эрика, потом снова Kenny. Обычно одна реплика укладывается в 20–30 секунд.

«Сначала я подумал, что для длинных видео модель не подойдёт. Но если собирать выпуск из отдельных реплик, ограничение в 30 секунд перестаёт быть проблемой» — автор исходного материала.

Для каждого блока создаются две синхронные дорожки. В мужской остаётся голос Kenny, а реплики Эрики заменяются тишиной. В женской дорожке происходит обратное. Длина и тайминг файлов совпадают, поэтому разводить голоса на следующем этапе уже не нужно.

Затем каждую дорожку отправляют в HeyGen для генерации видео с движением губ. Готовые блоки склеивают и размещают двух персонажей на общем фоне. Автор отдельно отмечает: в начале ролика Эрика и Kenny заметно расходятся по липсинку, зато к финалу синхронизация выглядит гораздо лучше.

Что важно знать о локальном японском TTS

По материалам японских обзоров, Irodori-TTS опубликован Aratako под MIT-лицензией. Синтез идёт локально: после настройки текст и аудио не обязаны уходить на внешний сервер, а число генераций не зависит от тарифа облачного сервиса.

Слово «локальный» не означает, что модель запустится на любом ноутбуке. Для установки понадобятся Python и Git, а для нормальной скорости желательно GPU. В обзоре Ondoku отдельно предупреждают: на компьютере без видеокарты даже короткая фраза может генерироваться около минуты.

У модели есть несколько способов задать голос. Можно передать референсную запись для клонирования или описать голос текстом через VoiceDesign — например, спокойная взрослая женщина, говорящая медленно и вежливо. Эмодзи тоже можно добавлять прямо в текст: японский автор クリスタル猫屋 отмечает, что 😢 и 😡 меняют настроение и подачу фразы.

Есть неприятный нюанс. Без референсного аудио или описания голос не закреплён: пол и возраст могут меняться от генерации к генерации. Для персонажей подкаста это критично. Один Kenny внезапно стал другим Kenny — и весь сериал рассыпается.

Irodori-TTS работает только с японским языком. Ошибки чтения кандзи тоже возможны, поэтому сценарий стоит прослушивать до отправки в липсинк. Исправлять лицо после неверно произнесённого имени будет поздно и дорого по времени.

В актуальных описаниях v4.1 также упоминаются вывод в 48 кГц, автоматический прогноз длительности и клонирование голоса. В аудио автоматически добавляется невидимый водяной знак Sony SilentCipher. Это стоит учитывать при сборке коммерческого или образовательного контента.

Как применить Irodori-TTS в собственном AI-подкасте

Повторить саму логику можно уже сейчас. Десятиминутный выпуск — плохой первый тест для пайплайна. Лучше начать с короткой сцены на 4–6 реплик.

Рабочая схема выглядит так:

1. Подготовить сценарий в формате «спикер — реплика».<br>2. Разделить текст на блоки до 30 секунд.<br>3. Закрепить голос каждого персонажа референсом или текстовым описанием.<br>4. Сгенерировать реплики в Irodori-TTS.<br>5. Для каждой роли собрать отдельную дорожку, заменяя чужие фразы тишиной.<br>6. Передать синхронные блоки в HeyGen API.<br>7. Склеить готовые видео и поставить персонажей на общий фон.

Вручную стоит оставить контрольные точки: проверку произношения, выбор удачного дубля и финальную сборку. Остальные операции можно завернуть в скрипт или небольшое приложение. Именно такой путь выбрал автор: интерфейс и порядок операций он продумывал вместе с ChatGPT, а реализацию делал через Codex.

Для русского креатора есть важная поправка. Irodori-TTS ориентирован на японскую речь и универсальной заменой ElevenLabs или другим мультиязычным сервисам не будет. При этом сама архитектура пайплайна переносится почти без изменений на любой TTS со стабильными голосами и поблочной генерацией.

Где сборка ломается

Красивый демо-результат легко принять за готовую студию. В исходной статье технические детали реализации и места, где автор застревал, находятся в платной части. Поэтому конкретные настройки HeyGen API и полный код повторять нельзя: в открытом материале их нет.

Основные точки риска уже понятны. Блоки должны иметь одинаковую длину и тайминг. Голоса нужно фиксировать заранее. Каждый японский текст стоит проверять на кандзи. Липсинк лучше оценивать по началу, середине и финалу ролика, а не по одному удачному фрагменту.

Есть и человеческий фактор. Автор с улыбкой рассказывает, что Kenny однажды внезапно заговорил голосом дедушки. В заметке это смешно, а в серийном контенте означает повторную генерацию, новый рендер и ещё один круг проверки.

Что это меняет для креаторов

Раньше типовой процесс выглядел так: сначала получить общий аудиофайл, потом разделить роли, затем синхронизировать персонажей и после этого монтировать выпуск. В японском эксперименте спикеры разделяются ещё на этапе генерации.

Для полноценной локализации на русский придётся отдельно решить вопрос модели речи и сервиса липсинка. Сам принцип уже рабочий: короткие блоки, отдельный канал на каждого героя, API для видео и финальная композиция. Ручной возни становится меньше.

Схемы сборки AI-контента показываю в Workflow

Источники

Irodori-TTSとは?できること・注意点・使い方をわかりやすく解説

絵文字で感情を操る日本語TTS「Irodori-TTS」をローカルで動かす

mlx-audio 中的 Irodori-TTS:48kHz 日语 Flow Matching 语音合成

Источникnote.com