4 ноября компания MoXin представила MoWorld 2.0 — модель генерации 4D-сцен, которая обрабатывает видео до 70 FPS на чипах Huawei Ascend. О запуске пишет китайское издание QbitAI со ссылкой на команду. Для создателей игр и видео это значит, что сцены можно не только генерировать, но и менять в реальном времени. Правда, 70 FPS — заявленный командой результат, а не независимый тест.
Что изменилось: модель учитывает гравитацию, упругость, плавучесть, свет, жидкости и другие физические факторы. Команда приводит примеры с падающей закладкой и движением воды: MoWorld 2.0 пытается моделировать не только картинку, но и то, как предметы сталкиваются, деформируются и реагируют на внешнее воздействие. Думаю, для интерактивных сцен это важнее, чем просто добавить ещё деталей в кадр.
Сгенерированную сцену можно сохранить как 3D- или 4D-гауссовый актив — пространственные данные, которые потом можно редактировать, рендерить с других ракурсов и использовать повторно. В демонстрации модель превратила старинную картину в улицу, по которой можно перемещаться. Такие заготовки пригодятся для превизуализации в кино и играх, а также для виртуальных тренировок роботов и автопилотов.
Ускорение на Ascend команда связывает с распределением задач между несколькими NPU и оптимизацией вычислений. У предыдущей версии скорость доходила до 50 FPS; у MoWorld 2.0 — до 70. Есть и мобильный сценарий: приложение «摸小宠» создаёт 4D-копию питомца по нескольким фото. Модель примерно на 600 млн параметров работает на телефоне, а генерация качественного актива идёт в облаке. Короче, мир из картинки уже можно сохранить и дальше с ним работать — но насколько хорошо модель переносит физику в новые сцены, ещё предстоит проверить.
Источник量子位 QbitAI
