Японский креатор в заметке на note разобрал обновление репозитория от 25 октября: Kandinsky 6.0 теперь умеет генерировать звук по готовому видео и текстовому описанию. Для тех, кому уже нравится картинка, это шанс подобрать к ней звук, не перегенерируя сцену целиком.
У Kandinsky 6.0 есть два сценария: создать видео и звук вместе или взять существующий ролик как основу для звуковой генерации. Во втором случае нужно описать, что именно хочется услышать: например, тяжёлый скрип открывающейся двери или спокойный шум воды. Модель не обязана сама угадать нужное настроение по кадрам — текст тоже нужен.
Автор заметки проверил код: при таком вводе новые видеокадры не генерируются, в результат идут кадры исходного ролика. Но это не значит, что файл сохраняется без изменений: при загрузке видео кадры извлекают с заданной частотой и приводят к нужному размеру. Есть и ограничение по длине: слишком длинный ролик обрежут, слишком короткий может вызвать ошибку. Для длинного монтажа это не кнопка «озвучить всё», а скорее способ работать с отдельными сценами.
Kandinsky 6.0 представили 6 октября в версиях Lite и Pro; официальная инструкция рассчитана на NVIDIA GPU. В заметке приводится замер разработчиков на видеокарте с 16 ГБ памяти, но он касается генерации видео и звука из текста, а не озвучивания готового ролика. И ещё оговорка: код и чекпойнты указаны под MIT, но у исходных весов аудиокомпонента MMAudio есть условие некоммерческого использования; коммерческие права на всю сборку автор не подтвердил. Сам он генерацию не запускал и качество звука не оценивал — так что пока это новая опция в коде, а не проверенный способ получить идеальный синхрон.
Источникnote #動画生成AI
