InSpatio-World 1.5 превращает фотографию в управляемую прогулку камеры. Можно задать движение вперёд, боковой слайд или облёт объекта — модель дорисует стены, пол, обратную сторону предметов и другие детали, которых не было в исходном кадре. Это скорее 4D-симулятор мира, чем обычная image-to-video генерация.

Кадр с девушкой под зонтом на городской улице — пример результата InSpatio-World 1.5, превращающей фото в видео с движением камеры.Источник: note.com

Внутри два этапа. Сначала модель оценивает глубину и проецирует пиксели в новую позицию камеры. Пустые области остаются чёрными, после чего авторегрессионная видеомодель перерисовывает все кадры и заполняет пропуски. Чем сильнее траектория, тем меньше доля пикселей из исходного фото и тем больше приходится додумывать.

На RTX 4090 один ролик из 141 кадра генерировался 38–39,5 секунды. Это около 9,4 секунды видео при 15 fps, а пик использования VRAM со стороны PyTorch составил 8,44 ГБ. Для запуска понадобилось скачать 30,003 ГБ данных; модель 1.3B помещается на карте с 24 ГБ. Одинаковый seed дал два mp4, совпавших побитно по SHA256. Текстовый промпт влияет, но не руководит результатом: при его отключении средняя разница составила всего 2,652 из 255 уровней.

Код опубликован на GitHub под Apache-2.0, а базовая Wan2.1-T2V-1.3B тоже распространяется под Apache-2.0. Но с весами есть нюанс: Depth-Anything-3 имеет лицензию CC BY-NC-4.0, а у самих весов InSpatio-World 1.5 на Hugging Face на момент проверки не было указания лицензии и даже заполненной карточки. Автор отдельно проверил замену depth-модели на вариант с Apache-2.0. Думаю, для локальных экспериментов это топовая штука, но перед коммерческим использованием лицензию лучше проверить дважды. Собственный запуск на Windows через venv прошёл без conda, хотя один Windows-специфичный баг всё же встретился.

Главное

  • - 1.3B-модель строит видео из фото и принимает числовую траекторию камеры
  • - 141 кадр генерируется за 38–39,5 секунды на RTX 4090
  • - Пиковое потребление PyTorch — 8,44 ГБ VRAM
  • - Дополнительная загрузка при установке — 30,003 ГБ; веса модели занимают 5,68 ГБ
  • - Код — Apache-2.0, но лицензии весов и Depth-Anything-3 требуют проверки
  • - Один и тот же seed даёт побитно одинаковый mp4

Источникnote #動画生成AI