Заменить актёра в готовом ролике так, чтобы его движения, камера и музыка остались на месте. Именно это умеет Viggle Remake, и с 4 ноября её веса лежат на Hugging Face. Берём видео, до четырёх нарисованных кадров-референсов и текстовое описание, на выходе получаем переснятый ролик.

Видео: huggingface.co

Что именно выложили

В пакете лежит больше, чем веса. По карточке модели в репозитории лежит:

Источник: aiholics.com
  • два LoRA-адаптера на базе MiniMax H3: swap для замены людей и персонажей и edit для всего остального;
  • reference-сэмплер sample.py и примеры запуска;
  • наборы нод и воркфлоу для ComfyUI;
  • квантованные версии int8 и GGUF для слабых видеокарт;
  • LoRA меньшего ранга, rank-128 и rank-64;
  • MCP-сервер, с которым агент режет видео, рисует кадры, рендерит и склеивает результат.

Слоган на карточке звучит так: «Remake any video. Just ask.» То есть «переделай любое видео, просто попроси». Звучит бодро, но за этой фразой стоит сложная механика, и пользоваться ей вручную сложнее, чем хочется.

Два режима: swap и edit

Модель разделена на два адаптера, и разница понятна по названиям:

Источник: aiholics.com
  • swap меняет людей и персонажей, одного или нескольких сразу;
  • edit добавляет и убирает объекты, меняет локацию, погоду, свет и стиль.
  1. находит склейки и режет видео на окна;
  2. рисует ключевые кадры;
  3. пишет промпты;
  4. рендерит каждое окно;
  5. проверяет свою работу;
  6. собирает готовый ролик с исходным движением, камерой, таймингом и звуком.

Сколько это железо съедает

Веса тяжёлые. Базовая модель MiniMax H3 в полной точности весит около 144 ГБ, весь репозиторий — около 210 ГБ. Адаптеры по размеру уже приятнее:

  • LoRA rank-256 — 2,67 ГБ каждый;
  • rank-128 — 1,34 ГБ;
  • rank-64 — 0,67 ГБ;
  • GGUF Q4_K_M — 14,3 ГБ, Q6_K — 17,6 ГБ, Q8_0 — 22,3 ГБ.

Японский блог KOBO Lab прогнал ComfyUI на RTX 5090. Условия: 832×480, 226 кадров, то есть около 9,4 секунды, 6 шагов, время без загрузки модели. Цифры их:

ВариантФайлы, ГБВремя на роликПик VRAM, ГБ
Официальный int8 (LoRA вшиты)21,0152–156 с31,6
H3 int8 + LoRA отдельно+3,8 к базе166–171 с31,4
Официальный GGUF Q4_K_M14,3198–201 с27,3

Авторы KOBO Lab советуют брать официальный int8: он быстрее и не требует ComfyUI-GGUF. Они же предупреждают, что int8 для edit и swap лежат отдельно, и вдвоём это уже 42 ГБ.

Тут есть расхождение. По материалам Thereelstack и Ordalin, документация описывает int8 и GGUF примерно от 12 ГБ VRAM с выгрузкой весов в оперативную память. В тесте KOBO пик на 5090 составил 27–32 ГБ. Скорее всего, разница в настройках выгрузки и длине ролика, но проверить это можно только на своей конфигурации. Thereelstack также цитирует Viggle: полная bf16-выборка требует 80 ГБ и больше.

Сам я модель локально не гонял, все цифры выше чужие, с именами авторов. Тайминги Ordalin взяты из замеров Viggle на NVIDIA B200, так что на вашей карте будет иначе.

Как запустить в ComfyUI

Инструкция из COMFYUI.md в репозитории довольно конкретна. Порядок такой:

  1. Ставите набор нод comfyui/ComfyUI-Viggle-Remake. Остальное в графе стоковое. Протестировано на ComfyUI 0.42.0.
  2. Берёте модель fl2va, а не ref2va: LoRA накладываются на базовый трансформер, те же веса, что грузит sample.py.
  3. Конвертируете исходник в 24 fps командой ffmpeg -i in.mp4 -r 24 source.mp4. В sample.py это делается автоматически, в ComfyUI — нет, и без этого кадры идут как есть.
  4. Кладёте входы под именами, которые ждут воркфлоу.
  5. Перетаскиваете на холст remake_swap_ui.json или remake_edit_ui.json и ставите в очередь. Файлы *_api.json — те же графы для API /prompt.

Входов несколько: source — кадры клипа, audio — звуковая дорожка (обычно из исходника), ref_1…ref_4 — референсы, на которые в промпте ссылаются как <Picture 1>…<Picture 4>, и pins — номера выходных кадров, к которым привязаны референсы, например 12, 184. Видео попадает в папку output/viggle_remake/.

Нужен ли pins, в материалах однозначного ответа я не нашёл. KOBO Lab выделила этот вопрос отдельным разделом, но в досье его текст не виден. Так что пока не буду советовать ни «да», ни «нет».

Без своего железа: облако и бесплатные попытки

Если локальный запуск не вариант, есть два пути. Первый — приложение Viggle, где Remake работает без установки и без GPU. По данным Thereelstack, со слов Viggle, стоимость — примерно $0,96 за 10 секунд в 720p, но это цифра самой компании, проверяйте в интерфейсе. Второй — бесплатное демо на Hugging Face, по описанию Ordalin, рассчитанное на клипы до 5 секунд.

Где подвох

  • «Open weights» — с оговоркой. Веса идут как производная модель MiniMax H3 под community-лицензией MiniMax. Код инференса и MCP под Apache 2.0. Полностью свободно только то, что написано под Apache 2.0.
  • «Видео любой длины» пока не подтверждено. Механизм нарезки на окна описан, но самый длинный прогон из материалов — около двух минут.
  • Скачивать весь репозиторий через git с LFS не нужно, если нужны только LoRA или MCP. Viggle предупреждает, что полное дерево весит около 210 ГБ.
  • Заявлено, что модель не умеет проверять согласие. KOBO Lab прямо пишет, что в модели нет механизма подтверждения личности или согласия героя. Такие ролики нельзя делать с чужими людьми без их разрешения.
  • Цифры по памяти расходятся между источниками, и точные значения знает только ваш прогон.

Что это меняет для креатора

В итоге Remake закрывает три задачи: переснять сцену, которую не хочется снимать заново, сделать вариант ролика под другой персонаж или локацию и собрать предпросмотр (previz) до съёмки. Операторская работа, тайминг и звук остаются из исходника, и это отличает такой подход от генерации с нуля.

Для рекламы и локализации это интересно прежде всего экономикой. Но пока я вижу узкое место в железе и настройке. Пока проще взять hosted-приложение на короткий тест и понять, нравится ли результат, и только потом думать о локальной конфигурации.

Что проверить самому

  • Лицензию и условия коммерческого использования весов и результата. KOBO Lab выделила это в отдельный раздел, но в досье его текст не виден.
  • Память на своей карте: короткий клип в int8 и один прогон с GGUF Q4_K_M.
  • Как агент работает с вашим видео: сколько окон получилось и где пошёл сбой.
  • Есть ли смысл в pins для вашей сцены.

А вы бы сейчас поставили Remake у себя или сначала дождались, пока MCP-агент сам научится работать с обычной видеокартой?

Источники

Viggle/Viggle-Remake · Hugging Face

COMFYUI.md · Viggle/Viggle-Remake

Viggle Remake open weights for video recasting

Viggle Remake: open H3 LoRAs that re-shoot any clip

Viggle RemakeをComfyUIで実測|KOBO Lab

Viggle Remake: free video-remake model, GPUs, ComfyUI and MCP · Ordalin

Источникreddit.com