Смотришь дубляж ролика, а губы героя говорят одно, голос другое. Знакомая история. 12 ноября ElevenLabs запустила в ElevenCreative функцию Dub & Sync: загружаешь видео, выбираешь языки и получаешь ролик, где речь переведена и рот подогнан под новый звук. В японском дайджесте «生成AIニュース+» это идёт сразу после Suno Bridge, и я бы начал с неё.
Сам Dub & Sync не гонял. Ниже то, что пишут японские авторы и что подтверждают первоисточники. Там, где данных нет, так и пишу.
Что пишут в Японии
Дайджест «生成AIニュース+» за 11–14 ноября собрал десяток инструментов: Suno Bridge, Dub & Sync, ComfyUI-IrodoriTTS, ERNIE 5.5 Flash Preview, GGUF-сборки и воркфлоу MiniMax H3 Image, Morphic Dub, BudgetAny, G-STAR. Плюс отдельные тесты японских авторов. Тон спокойный, без хайпа: описание, потом «что это даёт». Такой подход полезен и нам.
Dub & Sync: дубляж и губы за один проход
Официальная формулировка ElevenCreative в твите звучит так (перевод мой): «Загрузите видео, выберите языки и получите дубляж с губами, которые совпадают с новым звуком». И дальше: дубляж и липсинк делаются в один запуск. Раньше это были два шага и два файла.
Японский автор дайджеста пишет, что для работы не нужны ни промпт, ни ручная правка: «プロンプトの入力や手作業での編集は不要です». Языков в ролике заявлено 25, а продукт Dubbing v2 у той же компании описан как покрывающий 90 с лишним. Это разные продукты, но читать их надо внимательно.
Есть противоречие, и его стоит назвать. Справка ElevenLabs по дубляжу пока говорит, что липсинка в Dubbing нет, а он доступен в Image & Video, Flows и Studio через сторонние модели (так цитирует SLOP TV News). Похоже, справка отстаёт от запуска. Но проверять надо самому.
- Цена: в анонсе её нет, сверяйте в приложении.
- Для сравнения: API дубляжа ElevenLabs (Dubbing v2) тарифицируется от $2,20 за минуту исходного материала. Это другой продукт, цена Dub & Sync по нему не известна.
- Языки: 25 в ролике запуска, 90+ у Dubbing v2. Какие языки включены на вашем аккаунте, видно в интерфейсе.
Suno Bridge: музыка прямо в таймлайн Ableton
Suno Bridge — отдельное приложение, которое работает рядом с Ableton Live и генерирует инструменты и вокал под темп, тональность и гармонию сессии. Японский дайджест описывает это так: Bridge берёт сессию, по выделенному фрагменту создаёт партию и ставит её на таймлайн. Пример из их текста: выделили 8 тактов припева, написали «мягкие бэк-вокалы», получили клип, который совпадает с темпом и аккордами.
В блоге Suno есть фраза, которую стоит держать в голове: новые звуки «следуют вашим аккордам, ритму и тональности» (перевод мой). Это заявление вендора. Независимых замеров пока нет.
- Платформа: только Mac и Ableton Live 12 в бете. Windows и старые версии Live в объявлении не подтверждены.
- Подписка: нужен план Premier. Одна генерация стоит 10 кредитов (по дайджесту).
- Доступ: и Bridge, и Live должны быть открыты одновременно.
- Данные: сессия загружается на серверы Suno. Unite.AI отдельно отмечает, что из-за этого проверка на авторские права становится частью процесса.
- Выделение: диапазон задаётся маркерами петли в Arrangement View. Например, петля с 9-го по 16-й такт даёт 8 тактов с первой доли 9-го.
Если вы работаете с музыкой под заказ для роликов, последний пункт важнее всего. Загрузка проекта на чужой сервер — это решение, которое нужно согласовать с заказчиком до первого клика.
Тест Seedance 2.5 Flash: цена на одну фразу
Самый практичный материал дайджеста — тест Seedance 2.5 Flash. Автор аккаунта レオ (@singa_44) сделал одно и то же «превращение» в одном промпте: 480p, вертикально, 5 секунд, с фразой «へんしん!». Картинки до и после делал в GPT, цена пересчитана по тарифу Higgsfield Starter (15 $ в месяц за 200 кредитов) и курсу 158 ¥ за доллар по данным Банка Японии на 10 ноября.
| Модель | За 5 секунд, ¥ | Слово «変身» распознано |
|---|---|---|
| Seedance 2.5 | около 180 | нет |
| Seedance 2.5 Flash | около 120 (10 кредитов) | да |
| Seedance 2.0 mini | около 30 (2,5 кредита) | нет |
| MiniMax H3 turbo | около 14 (0,0875 $, fal) | да |
Вывод автора теста, по-японски он короткий: Flash дешевле обычной 2.5 и в этой фразе точнее, но дороже 2.0 mini и MiniMax. Кто на чём «превращается», зависит от задачи и кошелька.
Со скидкой на тест. Это один ролик и одна фраза. Текст распознавал Whisper, который сам по себе не эталон для японской фонетики. Автор прямо пишет, что время генерации не замерял, поэтому о скорости судить нельзя.
Цена по анонсу BytePlus: 12 ноября компания написала, что Flash для 720p стоит 0,152 $ за секунду, примерно на 34% дешевле 2.5. Пять секунд — это 0,76 $, что по курсу теста даёт около 120 ¥. Совпадает с расчётом японского автора.
MiniMax H3 Image: 4K в описании и в жизни
Японский автор, который тестировал MiniMax H3 Image в ComfyUI, поставил под сомнение заявленное 4K. Его формулировка: «言うほど4Kではありません» — «не такой уж и 4K». По его словам, при 1 мегапикселе детали просто теряются, а апскейлер SeedVR2 на том же материале выглядит заметно чище. Почему, он не понял.
- Разрешение: автор рекомендует около 16 мегапикселей, а референсы — около 4.
- Промт-энхансер в шаблоне ComfyUI работает на Qwen3.5-9B. Автор считает его слабым и советует писать промт во внешнем инструменте.
- Агентский навык может содержать и API-вызов, а не только промт. Автор предупреждает, что это нужно учитывать.
- Воркфлоу vyrekai из дайджеста: версии под 8, 12 и 16+ ГБ видеопамяти, черновик около 4 Мп и финал около 16 Мп. Цифры из дайджеста, мы их не проверяли.
Креатор про липсинк: «失敗しまくっておりました»
Один из самых живых отзывов в дайджесте — заметка аккаунта TIGER о бесплатном липсинке в DomoAI 2.5. Цитата: «失敗しまくっておりました» — «провалов было много». Официальных примеров промптов для такого сценария нет, и автор сделал свою заготовку, чтобы персонаж сказал пару фраз.
Самое полезное здесь — бытовая деталь. Бесплатный режим «リラックスモード» надо включать вручную: по умолчанию стоит Seedance, и без проверки генерация уходит в платный режим. Автор пишет, что это случалось часто. Такие ловушки редко попадают в анонсы, но съедают кредиты.
Что это меняет для русского креатора
Для видеопродакшна Dub & Sync сдвигает границу: локализация ролика на несколько языков перестаёт быть отдельным проектом с монтажёром, который вручную двигает рот. Если раньше задача стоила дня работы, теперь она может стоить одного прогона и проверки. Но не бесплатного и не без правок.
Что ещё важно. Японский автор, который ведёт блог о промптах и дизайне, в том же дайджесте сформулировал простое правило: «作る前に、何を伝えるかを決める。できたものを見て、具体的に直す» — «сначала решите, что хотите сказать, потом посмотрите на результат и правьте конкретно» (перевод мой). Для дубляжа это звучит так: сначала проверяем губы на крупном плане, потом текст.
Доступ из России и оплата этих сервисов в материале не описаны. Проверьте сами, прежде чем закладывать в смету.
Как применить у себя
- Возьмите один ролик с крупными планами и говорящим героем. Прогоните его через Dub & Sync на один язык, не на все сразу.
- Посмотрите результат на крупном плане: рот, зубы, окончания слов. Фрагмент для сравнения — оригинал и дубляж рядом.
- Запишите, сколько кредитов или минут ушло. Цены в анонсе нет, поэтому эта строчка — ваш собственный расчёт.
- Если вы работаете в Mac + Ableton Live 12 и есть Premier, попробуйте Bridge на пустой сессии без клиентских файлов. Сверьте условия хранения данных до загрузки проекта.
- Для Seedance возьмите свою фразу и прогоните её на 2.5, Flash и 2.0 mini. Возможно, у вас будет другой результат, чем у японского автора.
Где подвох
- Цены на Dub & Sync в анонсе нет. Японский дайджест тоже её не называет.
- Справка ElevenLabs и ролик запуска расходятся: про липсинк в дубляже и про число языков.
- Suno Bridge работает только на Mac с Live 12, и пока это бета.
- Сессия загружается на серверы Suno, и проверка на авторские права становится частью процесса.
- Тесты японских авторов сделаны на одном сценарии. Сравнения не равны бенчмарку.
- Числа MiniMax (16 Мп, 5472×3072 без апскейла) и воркфлоу из дайджеста мы не проверяли.
- Morphic Dub из дайджеста (90+ языков, до 10 минут на один язык, SRT-субтитры) в досье не подтверждён. Перед продакшном проверьте по первоисточнику.
Остальные позиции дайджеста, например ComfyUI-IrodoriTTS для японской озвучки, G-STAR с заявленным ускорением в 21 раз по сравнению с Janus-Pro-7B, BudgetAny и house-plan-designer, пока остаются заявлениями. Если какая-то из них нужна в работе, начинайте с первоисточника.
Скоро посмотрим, как это работает на реальных роликах, а не на демо. Пока могу сказать одно: если японская неделя что-то показала, то это разрыв между анонсом и первым запуском. Почти у каждого инструмента в дайджесте есть своя ловушка: режим, лимит, сервер или правило.
Сколько ваших роликов сейчас переозвучиваются вручную? И сколько языков вам нужно на один проект? От ответа зависит, стоит ли браться за Dub & Sync сейчас или подождать первых честных тестов.
промты под Seedance и GPT Image — в библиотеке SAMI
Источники
Suno Bridge: Your DAW, Suno-powered | Suno
Suno Launches Bridge Beta for AI Stem Generation in Ableton Live — Unite.AI
ElevenLabs' Dub & Sync dubs video and syncs lips in one run — SLOP TV News
AI video dubbing with lip sync: ElevenLabs Dub & Sync in a single pass — .neurocartel
Introducing ERNIE 5.5 Flash Preview · ERNIE
Источникnote.com
