Игра на видеомодели может отвечать на нажатие кнопки менее чем за 150 мс и запускаться на одной RTX 5090. Так Skywork AI описывает Matrix-Game 4.0, опубликованную 15 октября. Здесь код хранит правила и состояние игры, а нейросеть рисует мир.
У проекта открыты веса и код инференса. Есть браузерное демо и исходники трёх игровых сцен — можно изучать и запускать, а не ограничиваться роликом. Но разрешение пока 480×864, обучающие данные и код обучения не опубликованы. Для экспериментов основа есть; готового конструктора, который запустится на любом компьютере, пока нет.
Как устроена Matrix-Game 4.0: движок хранит правила, AI рисует
В обычном видеодемо нейросеть продолжает генерировать кадры после действий игрока. Картинка может выглядеть как игра, но сама по себе она ещё не говорит, что мир соблюдает игровые правила. Если модель должна помнить, где лежит предмет, сколько здоровья осталось у персонажа и что происходит при столкновении, детали могут начать расходиться.
Matrix-Game 4.0 делит работу между движком и видеомоделью. Движок считает физику и действия, хранит состояние мира — здоровье, инвентарь, столкновения и ход задания. Он же собирает упрощённое изображение сцены. Видеомодель добавляет к low-poly-заготовке материалы, свет и окружение.
В описании проекта этот внешний слой называют Harness. Он удерживает видеомодель в рамках игрового состояния. Визуальная ошибка сама по себе не меняет здоровье персонажа или содержимое инвентаря. Сначала правило отрабатывает в коде, затем модель показывает результат.
В сцене со щитом движок фиксирует получение предмета. Если персонажа атакуют, сначала теряет прочность щит, затем здоровье герой; при нуле игра заканчивается. QbitAI приводит этот пример, чтобы показать разницу между кадром, где персонаж будто получил урон, и механикой, которая действительно работает.
Код определяет, что произошло. Видеомодель решает, как это выглядит.
Для генерации кадра модель получает несколько подсказок. Структурный кадр задаёт расположение объектов и движение. Динамическое описание сообщает, что видно и в каком состоянии находится сцена. Ещё используются изображения пространственной памяти и недавняя история кадров — так модель связывает новое изображение с предыдущими.
Видеомодель построена на Wan2.2 5B Fun Control, доработанной для режима video-to-video. Причинный DiT выдаёт видеоблок за один или два шага денойзинга. Один блок после запуска соответствует четырём кадрам.
Matrix-Game 4.0 на RTX 5090: что означают цифры
Skywork заявляет 60 FPS на одной NVIDIA RTX 5090. Отклик на нажатие — менее 150 мс, пиковое использование видеопамяти — около 18,5 ГиБ. QbitAI оценивает задержку в 112 мс, но это расчёт автора публикации. Компания в официальном описании указывает только границу «меньше 150 мс».
На фоне NVIDIA StreamRender-H3 цифры выглядят эффектно: QbitAI оценивает его задержку примерно в 545 мс и указывает конфигурацию из восьми GB200. Но замеры сделаны по-разному, да и разрешение не совпадает. Сравнение показывает заявленные конфигурации, но по нему нельзя честно составить рейтинг моделей.
Есть нюанс с разрешением. В пресс-материале указаны 480p и 60 FPS, а карточка модели фиксирует выходное разрешение 480×864 RGB. Так что «480p» здесь не означает привычное горизонтальное видео 1920×1080.
Автор QbitAI считает, что картинке в 480p есть куда расти. Это стоит иметь в виду: 60 кадров описывают скорость игрового процесса, а не качество для рекламы или клипа. Команда собирается изучать повышение разрешения, но такой функции пока нет.
Что можно скачать и где проект пока ограничен
На GitHub лежат исходники игр и код инференса, на Hugging Face — веса и игровые ассеты. Проект распространяется по лицензии Apache-2.0. Доступны Medieval Castle, Ancient Egypt и City Racing: две игры со стрельбой от третьего лица и гонки.
В каждой сценовой модели около 5 млрд параметров в формате BF16. Открыть веса в Diffusers как отдельную универсальную модель не получится: понадобится опубликованный код Matrix-Game 4.0. Для описанной конфигурации нужна одна RTX 5090. При этом запуск любой сцены на любой видеокарте без настройки никто не обещает.
Для первого знакомства подойдёт браузерное демо или исходники сцен. Для локального запуска скачайте веса выбранной сцены, общий набор зависимостей и код инференса с GitHub. В официальной инструкции файлы предлагают загружать через манифест: он проверяет целостность по SHA256. Команды запуска лучше брать из README, а не собирать окружение по обрывкам чужих постов.
Обучающие данные и код обучения в релиз не вошли. Опубликованные игры можно скачать и менять. Повторить весь процесс подготовки данных и обучения по открытому репозиторию не получится. HUD и звук тоже вынесены отдельно: это слои, синхронизированные с кадрами, а не часть сгенерированного изображения.
Как применить этот подход в превизе и интерактивных проектах
Для визуальных авторов интересен и сам принцип работы. Его можно взять за ориентир для превиза: собрать сцену из простой геометрии, задать движение камеры, а потом попросить видеомодель добавить визуальную отделку. В готовом виде такой функции для любого пайплайна нет — переносится именно идея разделить задачи.
В рекламном ролике так можно быстрее проверить композицию и движение, прежде чем делать сложные 3D-ассеты. В интерактивном прототипе движок хранит правила, а Coding Agent меняет код по текстовому описанию — например, перестраивает маршрут или поведение персонажей. В релизе заявлено редактирование игровых сцен и логики, но законченная игра одной фразой не генерируется.
Если будете пробовать этот подход, проверьте, сохраняются ли положения объектов между кадрами и совпадает ли визуальный результат с игровыми правилами. Ещё оцените разрешение под свою задачу. Для чернового блокинга 480×864 может хватить; для финального материала, думаю, пока нет.
Skywork развивает серию Matrix-Game с 2025 года. Ранние версии добавляли управление действиями, работу в реальном времени и долгую память. В версии 4.0 мир уже не целиком зависит от видеомодели: правила можно проверить в коде, а картинку менять отдельно. Вот это мне и кажется самым интересным.
Matrix-Game 4.0 пока не даёт 1080p и не снимает ручную работу с визуалом. Зато предлагает понятный путь от серого прототипа к живой сцене — на одной потребительской видеокарте и с открытым кодом.
Собирать генерации в цепочки можно в Workflow
Источники
Matrix-Game 4.0 — официальный репозиторий Skywork AI
Matrix-Game 4.0 — веса и игровые ассеты на Hugging Face
Matrix-Game 4.0 — страница проекта
QbitAI: китайский разбор Matrix-Game 4.0
Источникleiphone.com
