Разработчик itsmetamike обновил Reshoot 4D: на RTX 3090 один ролик обрабатывается примерно за 30 минут. Workflow работает локально в ComfyUI и позволяет переснять видео с человеком под новым углом — без отдельного приложения для камеры. Для авторов это способ менять движение камеры уже после съёмки, но не ждать мгновенного результата: речь о получасе на шот.

Интерфейс Virtual Camera с 4DGS-сценой человека и таймлайном для задания траектории камеры.Источник: external-preview.redd.it

В посте на Reddit разработчик описал процесс так: видео превращается в 4D-сцену с движением человека, окружением и исходной камерой. Дальше виртуальную камеру можно двигать по таймлайну, задавать ключи и пересобирать видео по новой траектории. Есть быстрый режим для превью и полный вариант с 4D Gaussian Splat, чтобы точнее рассмотреть сцену.

Финальные кадры рендерит LTX 2.3: модель использует исходное видео, преобразованное под новый ракурс. Ключи камеры поддерживают диафрагму, фокус, виньетку и зерно; фокус и диафрагму можно менять после рендера, не прогоняя весь процесс заново. Это удобно для правок, хотя сама смена ракурса не безгранична: качество лучше держится в пределах примерно 30–40 градусов от исходной камеры, а быстрый разворот пока может смазать лицо на несколько кадров.

Можно импортировать анимированную камеру из FBX, ABC или USD, в том числе из Blender, а затем экспортировать движение обратно. На финальном этапе workflow повышает частоту до 24–60 кадров в секунду через RIFE, добавляет размытие движения, масштабирует до 4K и сохраняет исходный звук. Есть и эффекты объектива, а также маски и карты глубины для композитинга. Кайф в том, что камеру можно переставить уже после съёмки; оговорка — лицо при резких поворотах всё ещё может поплыть.

ИсточникReddit: AI-видео и картинки