WonderClip показали 30 сентября на практикуме AIFJ Creative Foundry в Токио. На закрытую встречу пришли около 50 человек — от рекламщиков и видеографов до новичков, которые только начинают работать с генеративным AI. Для доступа заранее требовался аккаунт Alibaba Cloud и платёжные данные, а интерфейс местами оказался не самым дружелюбным.

Платформа умеет больше, чем генерация короткого клипа по промпту. В одном интерфейсе доступны несколько моделей, включая Wan. Есть Canvas с визуальной сборкой пайплайна в духе ComfyUI. А для длинных роликов предусмотрен сториборд: пользователь задаёт скрипт, AI раскладывает его на сцены, после чего человек может поправить спорные места и соединить готовые фрагменты. Максимальная заявленная длина такого видео — 15 минут.

На практикуме отдельно говорили о контроле результата. Один из подходов — FLF2V, First-Last Frame to Video: автор задаёт первый и последний кадры, а модель генерирует движение между ними. Это помогает уйти от бесконечного перебора случайных дублей. В качестве примера показали длинный ролик с айдолом в торговом центре: камера следует за героиней, а отражения не выдают присутствие оператора.

Участники проверили и более простые сценарии. По текстовому промпту сгенерировали девушку, идущую по ночному Токио под неоном: модель добавила движение волос, отражения на мокром асфальте и даже фоновую музыку. В другом тесте исходная иллюстрация с девочкой и собакой превратилась в спокойную петлю: персонажи дышат, волосы слегка шевелятся, уши собаки иногда дёргаются, а надпись Zzz плавно появляется и исчезает. На генерацию уходило примерно 1–2 минуты.

Для международной версии WonderClip серверы находятся в Сингапуре и отделены от китайской версии. На встрече также упомянули IP-фильтры для защищённых авторским правом персонажей и правила работы с исходными данными и результатами. Короче, создателям предлагают смотреть не только на то, что модель умеет сгенерировать, но и на то, можно ли спокойно выпускать такой материал в коммерческом проекте.

Главное

  • - Несколько моделей в одном интерфейсе, включая Wan
  • - Canvas позволяет собирать граф генерации в стиле ComfyUI
  • - Сториборд превращает сценарий в набор сцен и ролик до 15 минут
  • - FLF2V задаёт первый и последний кадры для более управляемого движения
  • - Международная версия работает на серверах в Сингапуре, отдельно от китайской
  • - В тестах короткие сцены создавались примерно за 1–2 минуты

Источник: note #動画生成AI (креаторы)