Разработчик под ником lucidml выложил World model, которая галлюцинирует GTA: веса лежат на Hugging Face, а поиграть можно в браузере без установки. По словам автора, модель тянут RTX 3060, RTX 4060 и карты мощнее. Для тех, кто хочет запускать такое у себя, это главное: порог входа оказался не заоблачным, и поэкспериментировать можно без серверной карты. Демо крутится через стриминг с сервера автора, так что железо вашего компа там ни при чём.

Источник: lucidml.ai

Внутри трансформер, который работает с выученными сводками (learned summaries). Подробнее об архитектуре автор написал в технических отчётах. World model в общем виде выдаёт следующий кадр по тому, что делает игрок, и здесь эти кадры складываются в узнаваемую GTA. Именно это и значит «галлюцинирует»: модель не копирует игру, а генерирует её заново, кадр за кадром.

Ограничения автор не прячет: он прямо пишет о проблемах с консистентностью и качеством картинки. Планирует дообучать модель, чтобы их убрать. Так что пока это скорее открытый эксперимент, чем готовый инструмент для роликов или продакшна. Зато веса и инференс-код выложены целиком, и посмотреть, как модель ведёт себя на разных картах, можно самому.

Если хочется сначала просто глянуть, начните с браузерной демки, ссылка есть в посте. Локальный запуск идёт через веса и код на Hugging Face. Вывод такой: пересказ GTA кадр за кадром уже работает на средней видеокарте, а цельности мира пока не хватает. Автор сам это и говорит, и это, пожалуй, самое честное в этой истории.

ИсточникReddit: AI-видео и картинки