Японский автор в note прогнал LongCat-Video-Avatar 1.6 на Mac и сравнил её с версией 1.5 на одинаковых входных данных. Модель от команды LongCat из Meituan вышла 15 ноября: по фото и голосу делает говорящий ролик, и заявлено, что длинные видео больше не расползаются. Если вы собираете аватары из одного кадра, это как раз ваша тема.

Источник: note.com

Что реально нового: архитектура та же, а дообучение другое. Добавили обучение с подкреплением, поменяли силу следования звуку и научили модель продолжать собственные ролики. Лицензия MIT. Официальный код рассчитан на NVIDIA, а автор поднял его на Mac M5 Max с 128 ГБ памяти. Сравнение честное: одно фото ИИ-ведущего 1280×704, одна японская озвучка 26,3 секунды, одно зерно 42, по 653 кадра в каждой версии.

Где разница видна: губы. Сдвиг цвета губ от исходного фото у 1.5 вырос с +3,0 до +11,2, у 1.6 с +0,8 до +2,9. Резкость кожи у 1.5 к концу выросла на 28%, а это жёсткое, пластиковое лицо. У 1.6 изменение 2%. Амплитуда открывания рта у 1.6 ниже на 24%. Но синхрон губ с голосом не сдвинулся: корреляция 0,233 против 0,235. Швы между кусками у 1.6 заметнее, 1,6 раза против 0,9 у 1.5, но на глаз это не мешает, по словам автора. Время первого куска почти одинаковое: 18,5 минуты против 19,2.

Где подвох. Замеры автор делал через MediaPipe на одном наборе и одном зерне, это не статистика. Оценки самой Meituan тоже свои: Elo 1068 против 1052 и 55,6% побед для 1.6. И есть минус: в аниме оценка человечности упала с 2,246 до 2,114. Фото, голос и сцену автор не менял, так что на других лицах картина может быть другой.

Вывод простой: 1.6 лучше держит лицо на длинной дистанции, но губы в такт голосу не стала попадать точнее. Для ролика на минуту с одним персонажем это уже много.

Источникnote #動画生成AI