Тысячи генераций — и всего одна условная «ручка», которая меняет изображение без обучения модели. Так автор исследования разбирал Krea-2, по одному сдвигая веса её блоков. Звучит скромно, но удачный пресет занимает всего 34 числа — несколько сотен байт против десятков или сотен мегабайт у обычной LoRA.
Интереснее всего пока текстовый энкодер. Его правки меняют стиль и даже персонажа, но заметно меньше портят качество, чем вмешательство в саму модель. Правда, результат непредсказуемее: одна и та же правка уводит разных персонажей в разные стороны. Когда автор отключил первый слой энкодера, модель в четырёх промптах из четырёх начала рисовать страницы с читаемыми фрагментами самих промптов. Почему — пока непонятно.
У блоков самой модели тоже нашлись специализации: последние влияют на цвет и зерно, средние — на содержание. Блок 23 работает как приблизительная ручка насыщенности, хотя обычная цветокоррекция справляется лучше. А пресет с лёгким сдвигом к анимационному виду автор настроил на четырёх портретах и проверил на трёх новых персонажах: в слепом сравнении его выбирали как более близкий к заданному стилю 56 раз из 56. Лица при этом менялись заметнее, чем от смены seed.
Есть и зацепка для промптов: слова внутри фраз часто сдвигаются вместе, а границей между такими группами могут служить запятые. Но автор пока проверял это на данных энкодера, не на готовых картинках, так что считать запятую рабочим инструментом рано. Исследование ограничено одной моделью и небольшими выборками; автор отдельно помечает гипотезы, а дальше собирается проверять их на других архитектурах. Пока это не замена LoRA, а любопытный способ подсмотреть, как Krea-2 устроена изнутри.
ИсточникReddit: AI-видео и картинки
