Ещё недавно ответ видеомодели на команду занимал столько, что успевали налить чай. Apple выложила две модели, которые отвечают быстрее, чем клип успевает проиграться. FastFrames-S на 1,3 млрд параметров выдаёт 480p-кадр за 36 мс на одной видеокарте B200. По простому расчёту, 81 кадр (около 5 секунд ролика) она считает примерно за 2,9 секунды.
Китайский портал «智东西» вынес в заголовок другое: «技术秘籍还能给别家模型提速», то есть секрет ускорения работает и на чужих моделях. Ниже то, что пишут там, и что из этого следует для вас.
Что пишут в китайском оригинале
Главная формулировка звучит так: «对于交互应用开发者,这套方法提供了可复用的加速方案» — «для разработчиков интерактивных приложений этот метод даёт пригодное к повторному использованию решение для ускорения» (из заключения «智东西»). Иначе говоря, Apple выложила ещё и рецепт ускорения.
Авторы статьи описывают задачу так: «实时交互视频模型需要翻越三座大山» — модели реального времени нужно пройти три «горы». Первая: успеет ли картинка обновиться после действия пользователя. Вторая: сможет ли модель точно выполнять меняющиеся команды и не терять героя и сцену. Третья: хватит ли вычислительных ресурсов, когда пользователей много.
Про качество в описании примеров «智东西» пишет прямо. У S-версии «细节处理较粗糙,琴弓明显偏离琴弦,女孩的面部也随着琴弓来回移动出现变形» — детали грубоваты, смычок заметно уходит от струн, а лицо девушки деформируется вместе с движением смычка. У L-версии лицо и движения рук стабильнее. В примере с羊驼 (альпакой) S-версия сделала животное двуногим и «拟人形象», а L-версия сохранила четыре ноги, но движения получились скромнее.
Цифры из исходника и что с ними не так
| Модель | Задержка | Конфигурация | VBench (качество) |
|---|---|---|---|
| FastFrames-S | 36 мс | 1× B200 | 84,23 (база 84,11) |
| FastFrames-L | 45 мс | 8× B200 | 84,44 (Krea-Realtime 84,42) |
| Causal Forcing++ (база S) | 272 мс* | 1× B200 | 84,11 |
| LingBot 1.3B с ускорением | 52 мс | 8× B200 | нет данных |
| RealWonder с ускорением | 51 мс | 8× B200 | нет данных |
*В китайском тексте 272 мс относятся к «组»画面, то есть к группе кадров. В разборах досье тот же показатель назван «на кадр». Коэффициент 7,6 раза считается именно из этих цифр, так что сверьте единицы в первоисточнике Apple, прежде чем цитировать. Качество Apple измеряет собственными замерами по VBench, независимых проверок пока нет (orcarouter).
Три приёма, которые ускорили модель
- Декодер. VAE заменили лёгким пиксельным декодером: основную работу он делает на низком разрешении, а полный кадр выводит одним шагом. Для S-версии декодирование упало с 147 мс примерно до 1 мс. Apple сначала пробовала простой вывод пикселей, но картинка получалась размытой.
- Кэш. Вместо отдельного полного прохода трансформера для обновления кэша берут кэш с последнего шага шумоподавления и поправляют его маленькой сетью. У S-версии это 41,6 мс → около 2 мс, у L-версии около 6 мс.
- GPU. Кэш делят на части и считают параллельно: у L-версии на пять частей, это снизило задержку шага примерно на 13%. Заранее считают повторяющиеся позиционные кодировки и промпт, а часть операций объединяют.
Базовую модель при этом не переучивали: в S-версии веса генератора Causal Forcing++ заморожены, дообучают только выходной декодер и блок работы с историей. Это важная деталь. Ускорение держится на замене узких мест. Архитектуру модели заново никто не придумывал.
Сколько железа ушло на обучение
По китайскому тексту, S-версия учила декодер на 32 B200 около недели, примерно 150 тысяч демонстраций. Затем доучивали на 10 тысячах реальных роликов в состязательной схеме, на 8 B200 за несколько часов. L-версия начинала с учителя на 256 B200 и дистилляции на 128 B200. Стоимость в долларах или юанях исходник не называет, поэтому оценивать масштаб придётся по количеству карт и времени.
Открытая модель с оговорками
Веса лежат на Hugging Face, код на GitHub (S1). Лицензия называется Apple Model License for Research, то есть только некоммерческие исследования. Части LingBot лицензированы CC BY-NC-SA 4.0 (ai-tldr). Запуск возможен на Linux с NVIDIA и CUDA 12.8. На Mac модель не пойдёт: MPS и MLX не поддерживаются (Authon). Apple не публикует объём видеопамяти, а демо L-версии шло на узле из восьми B200 (в одном разборе говорится о вероятных 80 ГБ).
Цен в исходнике нет ни в юанях, ни в долларах. Скачивание весов бесплатно, а вычисления остаются на вашем счёте. Цену B200 или аренды узла придётся смотреть самостоятельно у провайдера, прежде чем считать что-либо.
Где подвох
- Сравнения на разном железе. Для RealWonder исходное время 1141 мс получено на одной B200, а 51 мс — на восьми. У LingBot конфигурации разные: 842 мс и 52 мс, по китайскому тексту, на 2 и 8 картах соответственно. Скорость на карту и скорость системы — разные вещи.
- S-версия грубее. Текст на кадре может рассыпаться, лица и инструменты могут деформироваться.
- Короткие клипы. 81 кадр в 480p и 16 fps, это около пяти секунд.
- Только исследования. Коммерческий продакшен по лицензии не покрывается.
- Независимых проверок пока нет. Цифры качества и скорости — от Apple (orcarouter, S3).
Почему важна задержка, а не FPS
Ответ за 36 мс важнее привычных кадров в секунду, потому что FPS показывает среднее, а вам нужна реакция на команду. Модель, которая выдаёт 30 кадров пачкой за секунду, формально работает на 30 FPS. Но нажали клавишу и видите результат через секунду, когда готова следующая пачка. Apple мерит задержку до первого кадра, где видно действие, и берёт порог из исследований взаимодействия человека с компьютером: больше 50–60 мс пользователь уже замечает.
Как применить у себя
- Проверьте железо и систему. Нужен Linux с NVIDIA и CUDA 12.8. Без этого модель не запустится, как бы ни хотелось.
- Определите цель. Для клиентского заказа модель не годится: лицензия запрещает коммерцию. Для внутреннего исследования, раскадровки или прототипа интерактивной сцены можно, но строго в рамках исследований.
- Если нужна интерактивность, а не финальный клип, тестируйте S-версию на арендованной машине. Смотрите на артефакты: текст в кадре, руки, лица.
- Следите за самим приёмом. Лёгкий декодер и коррекция кэша скорее всего появятся в других моделях и инструментах.
Напоминаю: открытые веса и право использовать результат в проекте — не одно и то же. Если сомневаетесь, читайте лицензию сами, а не пересказы.
Источники
FastFrames — официальный репозиторий Apple (GitHub)
FastFrames: Video Generation at Interactive Latency (arXiv)
How to Run Apple's FastFrames-L Video Model Locally — Authon Blog
FastFrames — Apple's video models generate 480p frames in under 50 ms — AI/TLDR
Источникzhidx.com
