Японская VTuber Rumi устроила концерт на Луне. Для лайва она собрала серию фонов через Claude и ChatGPT: Claude придумывал сцены и писал инструкции, ChatGPT рисовал.
Интерес тут в серийности. На одной картинке модель ещё может удержать героиню, палитру и общий стиль. На десятой лицо начинает ехать, цвета меняются, а маскоты внезапно выглядят так, будто пришли из другой франшизы.
Rumi рассказала о процессе в японском блоге note после «request setlist live» 27 сентября. Лайв стал бонусом для слушателей, которые за месяц поддержали её более чем на 20K. Сетлист составил один из зрителей, а Rumi уже под него раскладывала выступление по сценам.
Claude придумывает, ChatGPT рисует
Схема у Rumi похожа на маленькую продакшен-команду. Она задаёт тему, передаёт материалы по костюмам и описывает нужные изменения. Claude продумывает сцену, готовит инструкцию для ChatGPT и проверяет результат. ChatGPT отвечает за картинку.
«Я не обращаюсь к ChatGPT напрямую. Вместо меня с ним взаимодействует Claude», — объясняет Rumi.
При этом из поста неясно, шёл ли обмен автоматически или Rumi переносила инструкции вручную. Поэтому перед нами скорее распределение ролей, чем подтверждённая интеграция Claude с ChatGPT.
Для креатора такая схема всё равно удобна. Claude можно поручить драматургию, разбор референсов и подготовку промптов. Image-модель займётся генерацией. Решения по кадру, эмоции и ограничениям остаются у человека.
Сначала сетлист, потом визуальный сценарий
Rumi сначала утверждает порядок песен, потом ищет для него визуальные переходы. В этот раз сетлист пришёл от слушателя, поэтому сцены пришлось подогнать под готовую музыкальную дугу.
Тема получилась очень визуальной: отправиться на Луну с кроликами и провести там выездной лайв. Любимый мотив слушателя — кролики. Рядом по времени оказалось японское Цукими, любование полной луной. Так и появилась лунная сцена.
Концерт Rumi разложила по состояниям:
• До начала — сцена перед выходом, пока Lumi ещё нет. • «残響散歌» — прибытие на лунную сцену. • «KING» — отдельный зал с ярко-красным троном. • «リライト», «夏夜のマジック» и «JANE DOE» — спокойный блок у лунного озера, с электропроводами и оградой на поверхности Луны. • MC — пауза между музыкальными частями. • «桃源郷エイリアン» и «Pray» — лунный дворец, куда героиню приглашают кролики, а затем сцена с гитарой и более бэндовым настроением. • «ビビデバ», «Overdose» и «夜空ノムコウ» — возвращение к первой сцене и сольный вокал.
У каждой картинки здесь есть задача. Одна вводит героиню, другая меняет энергию, третья даёт зрителю передышку. Для клипа, стрима или презентации такой порядок полезнее случайного набора красивых пикч.
Лицо начинает меняться уже на второй сцене
Когда Rumi стала собирать серию, вылезла знакомая проблема. Персонажи слегка менялись на каждом новом фоне. Даже приложенный референс со временем уводил лицо, цвет и манеру рисования.
«Просто передать референс недостаточно. От рисунка к рисунку лицо всё равно немного меняется», — пишет Rumi.
Первую удачную картинку она сделала якорем. Со второй сцены к каждому запросу прикладывался первый результат с просьбой сохранить его стиль, палитру и лица. Но одной картинки всё равно не хватило.
Ключевые признаки Rumi прописывала в каждом запросе: чёрные волосы с сине-циановыми внутренними прядями, глаза с градиентом от синего к фиолетовому, серьги в форме полумесяца и звёзд с голубыми камнями-каплями.
Романтики в таком промптинге мало. Зато метод понятный: референс держит общий образ, текст напоминает модели о деталях, которые легко потерять при смене ракурса или декораций.
Для кроликов Rumi сделала отдельный референс-лист
Сначала в сценах появлялись обычные белые кролики. Когда Rumi собрала картинки рядом, оказалось, что это один и тот же персонаж, размноженный по кадру. Для одной иллюстрации сойдёт. Для истории быстро становится скучно.
Тогда автор зафиксировала четырёх кроликов. Различия дали через цвет лент и выражение мордочки. Сначала Rumi собрала одну общую картинку с персонажами, потом прикладывала её к каждому новому фону.
Так четыре маскота стали командой. Их уже можно узнавать от сцены к сцене, а модель не изобретает каждого зверя заново.
Для своей серии я бы собрал такой лист:
1. Создайте отдельный лист персонажей или маскотов. 2. Дайте каждому имя, цвет, аксессуар и характерную эмоцию. 3. Прикладывайте лист к каждой сцене. 4. Повторяйте в тексте признаки, которые нельзя потерять. 5. Смотрите на картинки рядом, а не только по одной.
Проценты помогают расставлять объекты
В примерах Rumi отдельно показывает работу с позицией объектов. Она задавала расположение через долю высоты изображения: например, просила поставить объект в нижних 20% кадра или поднять героя примерно на 60% высоты.
Пиксельные координаты модель, по её наблюдению, почти игнорировала. Это не правило из документации, а результат её тестов. Но логика есть: относительные зоны кадра проще переносить между форматами, чем жёсткие координаты.
При правках Rumi описывала и изменение, и то, что трогать нельзя. Иначе запрос вроде «сделай сцену более серой» легко превращается в серый фильтр на всём изображении.
«Чем менять, тем же объёмом нужно описать, что оставить без изменений», — такой вывод Rumi делает из собственных правок.
На сцене для «リライト» это стало особенно заметно. Запрос «сделать серовато и круто» залил серым всё изображение. Нужный вариант был точнее: сохранить синий фон, а цвет светящихся палочек изменить на жёлтый, белый и серый.
Для inpainting и обычного редактирования можно писать так: «Измени только X. Не меняй лицо, одежду, фон, композицию, освещение и положение персонажа». Граница правки получается заметнее, а случайной возни после запроса меньше.
Фон для стрима нужно подружить с интерфейсом
Rumi сразу учитывала формат трансляции. Кроликов-зрителей она поставила ниже, потому что там во время лайва идут комментарии. Передний план сделали чуть темнее, чтобы движущаяся лента не съедала композицию.
Это легко пропустить, когда генерируешь фон как отдельную иллюстрацию. В стриме нужны свободные зоны под чат, субтитры, логотип, титры и персонажа ведущего.
Для вертикального видео я бы заранее оставил место сверху и снизу. Для клипа — ещё одну зону под текст и лицо героя. Иначе красивый объект может оказаться ровно там, где позже должен появиться заголовок.
У спокойных песен «夏夜のマジック» и «JANE DOE» есть отдельная деталь. Кролики там не подбадривают выступление, а тихо слушают у озера. Один из них может уснуть. Такие ограничения связывают сцену с музыкой, вместо случайных милых деталей.
Как собрать такой пайплайн
Для серии фонов я бы шёл примерно так.
Шаг 1. Зафиксируйте драматургию. Запишите порядок сцен и задачу каждой: вход, кульминация, пауза, смена настроения или финал.
Шаг 2. Соберите style sheet — файл с костюмами, палитрой, аксессуарами и визуальными референсами. У Rumi такие материалы были подготовлены отдельно под разные песни.
Шаг 3. Сделайте первую сцену. Сначала проверьте лицо, одежду, палитру и общий touch.
Шаг 4. Подготовьте лист персонажей. Для каждого маскота зафиксируйте отличия: ленту, цвет, эмоцию, позу или аксессуар.
Шаг 5. В каждом запросе повторяйте якорь и текстовые признаки. Позицию задавайте через проценты высоты кадра. Для правки разделяйте пункты «изменить» и «оставить».
Шаг 6. Проверяйте всю серию рядом. Отдельная картинка может выглядеть отлично, а рядом с предыдущей показать другой оттенок кожи, новую форму глаз или исчезнувший аксессуар.
Claude здесь удобно использовать как арт-директора: разложить сетлист на сцены, найти конфликтующие детали и подготовить инструкции. ChatGPT или другая image-модель займётся изображением. Финальное решение всё равно лучше оставить человеку.
Я бы добавил таблицу контроля: номер сцены, песня, настроение, персонажи, фон, зона под комментарии и список того, что менять нельзя. Таблица скучнее бесконечного кручения промптов, зато серия не разваливается на пятом кадре.
Что взять из кейса Rumi
Rumi показывает рабочую постановку процесса. Человек задаёт направление и принимает решения. Claude превращает замысел в последовательность сцен. ChatGPT создаёт пикчи. Референсы и ограничения удерживают проект в нужных рамках.
Отдельную красивую картинку получить уже довольно легко. Сложнее собрать десять изображений, которые выглядят как один мир и при этом двигают историю.
Здесь помогает связка из нескольких вещей: сетлист или сценарий, якорная сцена, style sheet, референс-лист, относительные координаты и список запретов для каждой правки.
Путь Rumi тоже оказался итеративным. Сначала появилась первая картинка, потом версия с хрустальными зрителями, белые кролики и наконец четыре разных персонажа с фан-сервисом для Lumi. С первого раза не получилось. И это, пожалуй, самая честная часть истории.
Серия начинается с решения, что должно повторяться от кадра к кадру, а что можно менять. Генерация идёт уже следом.
