Смотришь дубляж ролика, а губы героя говорят одно, голос другое. Знакомая история. 12 ноября ElevenLabs запустила в ElevenCreative функцию Dub & Sync: загружаешь видео, выбираешь языки и получаешь ролик, где речь переведена и рот подогнан под новый звук. В японском дайджесте «生成AIニュース+» это идёт сразу после Suno Bridge, и я бы начал с неё.

Сам Dub & Sync не гонял. Ниже то, что пишут японские авторы и что подтверждают первоисточники. Там, где данных нет, так и пишу.

Источник: suno.com

Что пишут в Японии

Дайджест «生成AIニュース+» за 11–14 ноября собрал десяток инструментов: Suno Bridge, Dub & Sync, ComfyUI-IrodoriTTS, ERNIE 5.5 Flash Preview, GGUF-сборки и воркфлоу MiniMax H3 Image, Morphic Dub, BudgetAny, G-STAR. Плюс отдельные тесты японских авторов. Тон спокойный, без хайпа: описание, потом «что это даёт». Такой подход полезен и нам.

Источник: suno.com

Dub & Sync: дубляж и губы за один проход

Официальная формулировка ElevenCreative в твите звучит так (перевод мой): «Загрузите видео, выберите языки и получите дубляж с губами, которые совпадают с новым звуком». И дальше: дубляж и липсинк делаются в один запуск. Раньше это были два шага и два файла.

Японский автор дайджеста пишет, что для работы не нужны ни промпт, ни ручная правка: «プロンプトの入力や手作業での編集は不要です». Языков в ролике заявлено 25, а продукт Dubbing v2 у той же компании описан как покрывающий 90 с лишним. Это разные продукты, но читать их надо внимательно.

Есть противоречие, и его стоит назвать. Справка ElevenLabs по дубляжу пока говорит, что липсинка в Dubbing нет, а он доступен в Image & Video, Flows и Studio через сторонние модели (так цитирует SLOP TV News). Похоже, справка отстаёт от запуска. Но проверять надо самому.

  • Цена: в анонсе её нет, сверяйте в приложении.
  • Для сравнения: API дубляжа ElevenLabs (Dubbing v2) тарифицируется от $2,20 за минуту исходного материала. Это другой продукт, цена Dub & Sync по нему не известна.
  • Языки: 25 в ролике запуска, 90+ у Dubbing v2. Какие языки включены на вашем аккаунте, видно в интерфейсе.

Suno Bridge: музыка прямо в таймлайн Ableton

Suno Bridge — отдельное приложение, которое работает рядом с Ableton Live и генерирует инструменты и вокал под темп, тональность и гармонию сессии. Японский дайджест описывает это так: Bridge берёт сессию, по выделенному фрагменту создаёт партию и ставит её на таймлайн. Пример из их текста: выделили 8 тактов припева, написали «мягкие бэк-вокалы», получили клип, который совпадает с темпом и аккордами.

В блоге Suno есть фраза, которую стоит держать в голове: новые звуки «следуют вашим аккордам, ритму и тональности» (перевод мой). Это заявление вендора. Независимых замеров пока нет.

  • Платформа: только Mac и Ableton Live 12 в бете. Windows и старые версии Live в объявлении не подтверждены.
  • Подписка: нужен план Premier. Одна генерация стоит 10 кредитов (по дайджесту).
  • Доступ: и Bridge, и Live должны быть открыты одновременно.
  • Данные: сессия загружается на серверы Suno. Unite.AI отдельно отмечает, что из-за этого проверка на авторские права становится частью процесса.
  • Выделение: диапазон задаётся маркерами петли в Arrangement View. Например, петля с 9-го по 16-й такт даёт 8 тактов с первой доли 9-го.

Если вы работаете с музыкой под заказ для роликов, последний пункт важнее всего. Загрузка проекта на чужой сервер — это решение, которое нужно согласовать с заказчиком до первого клика.

Тест Seedance 2.5 Flash: цена на одну фразу

Самый практичный материал дайджеста — тест Seedance 2.5 Flash. Автор аккаунта レオ (@singa_44) сделал одно и то же «превращение» в одном промпте: 480p, вертикально, 5 секунд, с фразой «へんしん!». Картинки до и после делал в GPT, цена пересчитана по тарифу Higgsfield Starter (15 $ в месяц за 200 кредитов) и курсу 158 ¥ за доллар по данным Банка Японии на 10 ноября.

МодельЗа 5 секунд, ¥Слово «変身» распознано
Seedance 2.5около 180нет
Seedance 2.5 Flashоколо 120 (10 кредитов)да
Seedance 2.0 miniоколо 30 (2,5 кредита)нет
MiniMax H3 turboоколо 14 (0,0875 $, fal)да

Вывод автора теста, по-японски он короткий: Flash дешевле обычной 2.5 и в этой фразе точнее, но дороже 2.0 mini и MiniMax. Кто на чём «превращается», зависит от задачи и кошелька.

Со скидкой на тест. Это один ролик и одна фраза. Текст распознавал Whisper, который сам по себе не эталон для японской фонетики. Автор прямо пишет, что время генерации не замерял, поэтому о скорости судить нельзя.

Цена по анонсу BytePlus: 12 ноября компания написала, что Flash для 720p стоит 0,152 $ за секунду, примерно на 34% дешевле 2.5. Пять секунд — это 0,76 $, что по курсу теста даёт около 120 ¥. Совпадает с расчётом японского автора.

MiniMax H3 Image: 4K в описании и в жизни

Японский автор, который тестировал MiniMax H3 Image в ComfyUI, поставил под сомнение заявленное 4K. Его формулировка: «言うほど4Kではありません» — «не такой уж и 4K». По его словам, при 1 мегапикселе детали просто теряются, а апскейлер SeedVR2 на том же материале выглядит заметно чище. Почему, он не понял.

  • Разрешение: автор рекомендует около 16 мегапикселей, а референсы — около 4.
  • Промт-энхансер в шаблоне ComfyUI работает на Qwen3.5-9B. Автор считает его слабым и советует писать промт во внешнем инструменте.
  • Агентский навык может содержать и API-вызов, а не только промт. Автор предупреждает, что это нужно учитывать.
  • Воркфлоу vyrekai из дайджеста: версии под 8, 12 и 16+ ГБ видеопамяти, черновик около 4 Мп и финал около 16 Мп. Цифры из дайджеста, мы их не проверяли.

Креатор про липсинк: «失敗しまくっておりました»

Один из самых живых отзывов в дайджесте — заметка аккаунта TIGER о бесплатном липсинке в DomoAI 2.5. Цитата: «失敗しまくっておりました» — «провалов было много». Официальных примеров промптов для такого сценария нет, и автор сделал свою заготовку, чтобы персонаж сказал пару фраз.

Самое полезное здесь — бытовая деталь. Бесплатный режим «リラックスモード» надо включать вручную: по умолчанию стоит Seedance, и без проверки генерация уходит в платный режим. Автор пишет, что это случалось часто. Такие ловушки редко попадают в анонсы, но съедают кредиты.

Что это меняет для русского креатора

Для видеопродакшна Dub & Sync сдвигает границу: локализация ролика на несколько языков перестаёт быть отдельным проектом с монтажёром, который вручную двигает рот. Если раньше задача стоила дня работы, теперь она может стоить одного прогона и проверки. Но не бесплатного и не без правок.

Что ещё важно. Японский автор, который ведёт блог о промптах и дизайне, в том же дайджесте сформулировал простое правило: «作る前に、何を伝えるかを決める。できたものを見て、具体的に直す» — «сначала решите, что хотите сказать, потом посмотрите на результат и правьте конкретно» (перевод мой). Для дубляжа это звучит так: сначала проверяем губы на крупном плане, потом текст.

Доступ из России и оплата этих сервисов в материале не описаны. Проверьте сами, прежде чем закладывать в смету.

Как применить у себя

  1. Возьмите один ролик с крупными планами и говорящим героем. Прогоните его через Dub & Sync на один язык, не на все сразу.
  2. Посмотрите результат на крупном плане: рот, зубы, окончания слов. Фрагмент для сравнения — оригинал и дубляж рядом.
  3. Запишите, сколько кредитов или минут ушло. Цены в анонсе нет, поэтому эта строчка — ваш собственный расчёт.
  4. Если вы работаете в Mac + Ableton Live 12 и есть Premier, попробуйте Bridge на пустой сессии без клиентских файлов. Сверьте условия хранения данных до загрузки проекта.
  5. Для Seedance возьмите свою фразу и прогоните её на 2.5, Flash и 2.0 mini. Возможно, у вас будет другой результат, чем у японского автора.

Где подвох

  • Цены на Dub & Sync в анонсе нет. Японский дайджест тоже её не называет.
  • Справка ElevenLabs и ролик запуска расходятся: про липсинк в дубляже и про число языков.
  • Suno Bridge работает только на Mac с Live 12, и пока это бета.
  • Сессия загружается на серверы Suno, и проверка на авторские права становится частью процесса.
  • Тесты японских авторов сделаны на одном сценарии. Сравнения не равны бенчмарку.
  • Числа MiniMax (16 Мп, 5472×3072 без апскейла) и воркфлоу из дайджеста мы не проверяли.
  • Morphic Dub из дайджеста (90+ языков, до 10 минут на один язык, SRT-субтитры) в досье не подтверждён. Перед продакшном проверьте по первоисточнику.

Остальные позиции дайджеста, например ComfyUI-IrodoriTTS для японской озвучки, G-STAR с заявленным ускорением в 21 раз по сравнению с Janus-Pro-7B, BudgetAny и house-plan-designer, пока остаются заявлениями. Если какая-то из них нужна в работе, начинайте с первоисточника.

Скоро посмотрим, как это работает на реальных роликах, а не на демо. Пока могу сказать одно: если японская неделя что-то показала, то это разрыв между анонсом и первым запуском. Почти у каждого инструмента в дайджесте есть своя ловушка: режим, лимит, сервер или правило.

Сколько ваших роликов сейчас переозвучиваются вручную? И сколько языков вам нужно на один проект? От ответа зависит, стоит ли браться за Dub & Sync сейчас или подождать первых честных тестов.

промты под Seedance и GPT Image — в библиотеке SAMI

Источники

Suno Bridge: Your DAW, Suno-powered | Suno

Suno Launches Bridge Beta for AI Stem Generation in Ableton Live — Unite.AI

ElevenLabs' Dub & Sync dubs video and syncs lips in one run — SLOP TV News

AI video dubbing with lip sync: ElevenLabs Dub & Sync in a single pass — .neurocartel

Introducing ERNIE 5.5 Flash Preview · ERNIE

文心三款新模型重磅发布 — 百度智能云

Источникnote.com