Apple выложила в открытый доступ FastFrames-S и FastFrames-L, видеомодели на 1,3 и 14 млрд параметров, которые на одной B200 генерируют с задержкой 36 мс. Ставка здесь на интерактив: картинка должна отзываться на управление сразу, а не через паузу. Цифры самой Apple, независимой проверки пока нет.

Источник: zhidx.com

Запускается на Linux с NVIDIA: веса на Hugging Face, код и инструменты обучения на GitHub. Лицензия разрешает только некоммерческие научные задачи, так что для клиентских роликов это не вариант.

Качество у двух версий разное. S на примерах Apple ломает текст: надпись на песке становится нечитаемой, а в сцене со скрипкой смычок заметно уходит от струн, и лицо девушки деформируется при каждом движении. L на тех же примерах чище: текст читается, лицо и игра держатся. По VBench у S 84,23 против 84,11 у базовой модели, у L 84,44 против 84,42 у Krea-Realtime, разница почти незаметна.

Как ускорили: лёгкий декодер снизил время декодирования в S с 147 мс примерно до 1 мс, а кэш теперь обновляется повторным использованием шага денойзинга вместо отдельного прохода сети, 41,6 мс против 2 мс. L сделана дистилляцией Wan2.1-14B от Alibaba в двухшаговый генератор. Тот же набор приёмов Apple применила к чужим моделям: LingBot 1.3B от команды Ant Lingbo ускорилась примерно в 16 раз, RealWonder от команды со Stanford примерно в 22 раза. Но у RealWonder исходник работал на одном B200, ускоренная версия на восьми, так что сравнение не одинаковое по железу.

Вывод: если вы строите интерактив, где картинка меняется по управлению, Apple дала рабочий набор приёмов, и его можно переносить на другие модели. Если нужен готовый генератор роликов для заказа, это мимо: S даёт заметные дефекты, а L на 14 млрд параметров не для домашней видеокарты.

Источник智东西

Подробный разборApple выложила FastFrames: кадр за 36 мс на одной B200, веса только для некоммерческих целей