Для LoRA нужны не только изображения персонажа, но и текстовые подписи к каждому из них. Автор сначала думал, что достаточно просто загрузить картинки, но выяснил: на одно изображение нужен отдельный файл с описанием. Обучение пока отложено — в этой части готовят данные.

Аниме-персонаж с призывом попробовать создать собственную LoRA для воспроизведения образа.Источник: note.com

Из примерно 850 готовых иллюстраций выбрали 43: 10 портретов, 20 изображений по пояс и 13 в полный рост. Все они были горизонтальными, 1448×1086, а персонаж занимал лишь часть кадра. Картинки обрезали вокруг героини и привели к 512×512 — размеру, на котором обучали SD1.5. Чтобы модель не запомнила зелёный фон как черту персонажа, его заменили на белый.

Подписи сделали через WD14 Tagger — ноду для ComfyUI, которая автоматически выдаёт теги в формате промптов SD1.5. Первое изображение обрабатывалось около 30 секунд: скачивалась модель размером примерно 330 МБ; дальше уходило около двух секунд на картинку. В среднем получилось по 28 тегов на изображение и 98 разных тегов всего. Но автоматика ошибалась: для короткой стрижки часто писала long hair и twintails, белый халат называла по-разному, а jitome — прищуренный взгляд — отметила лишь на трёх картинках.

Теги вручную не переписывали с нуля, а ввели общие правила: удалить неверные, привести название халата к labcoat и убрать постоянные признаки внешности. Для запуска персонажа выбрали триггер hakuinoko, а позы, выражения лица и одежду оставили в подписях — их можно будет менять. Готовые изображения и одноимённые текстовые файлы сложили в папку ComfyUI input и проверили нодой Load Image-Text (from Folder). Материалы сходятся; теперь можно переходить к обучению. К workflow приложены только схемы: ноды WD14 Tagger, модель и изображения не включены.

Главное

  • Набор: 10 портретов, 20 кадров по пояс и 13 изображений в полный рост.
  • Фон заменили на белый, чтобы LoRA не связала персонажа с зелёным цветом.
  • WD14 Tagger выдаёт теги автоматически, но их стоит проверять: модель путала причёску, халат и взгляд.
  • Триггерное слово для персонажа — hakuinoko; обучение в этой части ещё не проводилось.

Источникnote #画像生成AI