Tencent 26 октября обновила техотчёт Hy-Nomas и сообщила о связке модели с окружением запуска. Модель продолжает видео по тексту и движениям камеры, но это ещё не значит, что она сохранит тот же город, когда вы развернётесь и вернётесь назад. Для игры или прогулки по виртуальному миру такая память важнее красивой улицы: сдвинулся ориентир — и путь уже не тот.

Превью Hy-Nomas с героиней у окна и городским пейзажем подчёркивает задачу возврата в уже виденное место в генерируемом видео.Источник: note.com

Hy-Nomas генерирует видео короткими фрагментами, продолжая сцену после очередной команды. Можно задать движение камеры или добавить действие вроде дождя. Tencent открыла веса, код обучения и запуска; автор японской заметки видит в этом основу для прототипов прогулок по выдуманным городам и интерактивных роликов. Звучит интересно, но управляемость и стабильность мира — разные вещи.

В тесте пространственной памяти разработчики ставили неподвижный объект, уводили камеру, а затем возвращали её в исходные точку и направление. Первое и повторное изображения сравнивали люди — так проверяли, сохранились ли объект и окружение. По отчёту Tencent, Hy-Nomas сильна в сочетании текстовых команд и управления камерой, но по пространственной согласованности уступает некоторым моделям для сравнения. Это оценка самой команды, не независимая проверка.

Продолжать сцену модели помогает KV-кэш: он переносит информацию из предыдущих фрагментов в следующие. В конфигурации с низким потреблением памяти часть истории хранится на CPU, а нужные данные подгружаются на GPU; сама по себе сохранённая история не означает, что каждая деталь всегда участвует в генерации. Для низкомемориального запуска указана одна RTX 4090, но системе нужна и оперативная память. Код и веса заявлены под Apache 2.0, при этом у сторонних компонентов могут быть свои условия. Автор заметки проверил отчёт и код, но не качество генерации и не время отклика. Я бы начинал с короткой улицы и одного заметного ориентира: сначала уйти, потом проверить, получится ли вернуться.

Источникnote #動画生成AI