Dreamina от ByteDance запустила студию коротких драм 26 октября, объединив в одном процессе три собственные модели. Для создателей это шанс пройти путь от сценария до монтажа в одном продукте, а не собирать производство по кускам.

Интерфейс Dreamina для генерации видео и саундтрека: показан ролик с котёнком, пьющим молоко.Источник: p16-seeyou-useast8.capcutcdn-us.com

По данным Pandaily, DreamScript пишет оригинальные истории, адаптации и сценарии для зарубежных версий. Модель также сравнивает текст с трендами платформ и предлагает правки структуры. На вход принимает до 100 тысяч символов — удобно для длинных материалов, хотя советы о «хитах» всё равно придётся оценивать головой.

Anycook отвечает за изображения: ByteDance заявляет, что модель сохраняет различимость и визуальную последовательность персонажей, а сцены оформляет в разных стилях. DreamShot собирает раскадровки на свободном холсте или в структурированном формате. Правки через диалог могут применяться ко всей раскадровке; виртуальная 3D-площадка позволяет поставить камеру и посмотреть движение до рендера. Ключевые кадры можно связать в черновую анимацию, чтобы оценить темп и непрерывность сцен.

Дальше — инструменты постобработки: отдельный кадр можно переснять, звук разделить на диалоги и фон, а длинную сцену автоматически нарезать на монтажные фрагменты. Самая прикладная функция — ремейк: Dreamina распознаёт героев, декорации, предметы и структуру кадров в загруженной драме, затем пересобирает визуал под другой стиль, формат кадра и регион, сохраняя темп и язык камеры. На мой вкус, именно локализация — сильная сторона студии: генерация тут не заканчивается красивым кадром, а доводит материал до версии для другого рынка.

ИсточникPandaily