Авторы японского разбора на note показали, как World in World v1 строит новые ракурсы для уже снятого видео. Для создателей это шанс поменять виртуальную камеру после съёмки — но результат не докажет, что именно было за кадром.
WiW использует готовую видеомодель LingBot-World 2.0, не меняя её веса. Модели передают четыре подсказки: исходное видео, оценку глубины, 3D-модель человека и историю уже созданных кадров. Можно задать момент и отдельно указать положение камеры: например, остановить событие и облететь его, как в bullet time. Авторы разбора запускали код в облаке RunPod; один из примеров — байкера, вокруг которого камера обходит дугой. Но поза райдера и мотоцикла при этом немного меняется.
В сравнении на видео из DAVIS и OpenVid-1M WiW набрала в среднем 85,192 по семи показателям VBench; у следующего метода было 84,295. Это оценка качества видео, не «85% точности» восстановления скрытых частей. Сравнивали семь методов, но базовые модели и условия обучения у них различались, а WiW не была лучшей по каждому показателю.
Где подвох: код требует серьёзной видеокарты — в README указана A100 с 80 ГБ памяти, пик потребления около 72 ГБ. А широкие облёты с 3D-моделью человека и длинная история пока остаются в планах, не в доступных сценариях. На мой вкус, идея сильная: после съёмки можно менять ракурс, но скрытое ИИ именно дорисовывает. Красиво — не значит достоверно.
Источникnote #動画生成AI
