Японский креатор собрал в ComfyUI с RefMod детективную сценку из шести референсов: героиня проходит от удивления до самодовольства. Для тех, кто делает ИИ-видео, это шаг от отдельной удачной эмоции к короткому сюжету, где выражения связаны между собой. И, судя по описанию автора, эксперимент сработал.
По сюжету в комнате стоит пустая коробка из-под печенья. Героиня Комуги в костюме детектива входит в кадр, ищет виноватого, замечает улики у себя на мордочке, пугается, нервничает и пытается выкрутиться. Финал — самодовольное «Это дело останется нераскрытым!». Для генерации автор добавил аудиореференс с нужной интонацией и шесть изображений: одно с образом персонажа, остальные — с уликой и нужными выражениями. Важно, что первый кадр был пустым: Комуги должна была появиться из-за границы кадра, а не ожить на заранее заданной картинке.
Одних картинок автору было мало: он также описал, что и когда происходит и почему меняется настроение. Английский промпт помогала составлять ИИ, но последовательность сцен и ключевые моменты автор продумывал сам. Его цель — не дать героине между эмоциями каждый раз возвращаться к обычной улыбке: удивилась, испугалась, стала оправдываться и вдруг загордилась.
Автор оговаривается: это не доказательство, что RefMod теперь умеет управлять любыми эмоциями в любых сценах. Удалась именно эта история и именно с такими настройками. Но эксперимент заметно вырос: в прошлый раз проверяли, получится ли поменять выражение лица, теперь — можно ли на этих переменах построить сценку. Следом автор хочет пересобрать старое видео с двумя персонажами — там уже нужно будет не только удержать каждого, но и связать их действия.
Источникnote #動画生成AI
