Для обучения автор предпочитает 30 полезных снимков сотне посредственных. В датасете мешают почти одинаковые кадры, фильтры, низкое разрешение, один и тот же ракурс и фото с разных съёмок, где меняются возраст или внешность. Нужен баланс: достаточно похожих изображений, чтобы модель поняла, кто перед ней, и достаточно разных — чтобы не путать личность с причёской, макияжем или освещением.

Скриншот датасета с разнообразными ракурсами и сценами одного персонажа, что показывает подход к подготовке данных для обучения LoRA.Источник: preview.redd.it

Одних крупных планов лица мало: LoRA может узнаваемо воспроизводить черты, но теряться на кадрах по пояс и в полный рост. Автор добавляет разные ракурсы, выражения, одежду и свет, а потом проверяет модель на сценах, которых в обучении не было: с необычным углом камеры, другой причёской, в помещении и на улице. Для спортсменов отдельно смотрит, сохраняются ли рост, ширина плеч, пропорции ног и телосложение.

Ещё одна ловушка — избыток похожих кадров. Если большая часть набора снята в одной одежде и с одинаковым выражением, модель начинает воспринимать их как часть личности и тянет в генерации. А последний этап обучения не обязательно лучший: ранние чекпойнты иногда точнее передают лицо, естественнее выглядят и лучше слушаются промпта, тогда как поздние могут переобучиться.

Поэтому автор сохраняет несколько эпох и сравнивает их на одном наборе тестовых промптов — так разница между версиями видна рядом, а не по памяти. Триггерное слово нужно, чтобы указать на персонажа; сцену и детали описывает промпт. Рабочий процесс в итоге такой: отобрать и очистить датасет, обучить модель, сравнить чекпойнты и проверить их на новых условиях. У автора есть бесплатная библиотека LoRA и примеры генераций в публичном каталоге Krea 2 на Hugging Face.

Главное

  • 30 чистых и разнообразных изображений могут дать лучший результат, чем 100 посредственных.
  • Добавляйте портреты, кадры по пояс и в полный рост, разные ракурсы, одежду и освещение.
  • Сравнивайте несколько эпох: поздний чекпойнт может переобучиться и хуже держать сходство.
  • Проверяйте не только лицо, но и телосложение — особенно на новых ракурсах и в другой одежде.
  • Публичная библиотека автора с LoRA для Krea 2 бесплатна; также он берёт заказы на обучение.

ИсточникReddit: AI-видео и картинки