Щит в Matrix-Game 4.0 не пропадёт из инвентаря из-за того, что видеомодель ошиблась в кадре. Skywork разделила работу: движок считает физику, ввод игрока и состояние игры, а ИИ превращает грубую low-poly сцену в детализированное видео. Для интерактивной генерации это, думаю, важнее очередной красивой картинки.
15 октября Skywork, ИИ-подразделение Kunlun Tech, открыла Matrix-Game 4.0 под лицензией Apache-2.0. На GitHub выложены код для запуска, браузерное демо и исходники трёх игр; веса модели и игровые ресурсы — на Hugging Face. В демо есть шутеры Medieval Castle и Ancient Egypt, а ещё гонка City Racing.
В QbitAI приводят наглядный пример: подобранный щит принимает урон до того, как уменьшается здоровье, а при нуле игра заканчивается. Даже если картинка на секунду глючит, правила не меняются. Игровой код можно попросить изменить на обычном языке через кодового агента — например, ускорить стрельбу или превратить гонку на время в погоню. Удобно: меняется поведение игры, а не только её обложка.
Для обучения команда сопоставляла структурные и детализированные кадры из Unreal Engine 5. Видеомодель основана на Wan2.2 5B Fun Control и использует изображения для пространственной памяти и недавнюю историю кадров. Skywork называет систему первой игровой моделью мира, работающей в реальном времени на одной потребительской видеокарте. По данным QbitAI, на RTX 5090 она выдаёт около 83 кадров в секунду с одним шагом денойзинга и 57 — с двумя; отклик на клавишу занимает меньше 0,15 секунды, а демо работает в 480p. Но в таблице GitHub для онлайн-сессий указана другая метрика: примерно 38–39 кадров в секунду обработки модели в сценах-шутерах. Так что цифры лучше не смешивать: тут движок держит игру, а модель — картинку.
ИсточникPandaily
