P-H3-Image меняет фон, свет и предметы на готовом фото, стараясь сохранить персонажа. Японский автор проверил модель на двух героинях и провёл 25 экспериментов. Лучше всего сработали замена локации и перевод снимка в аниме-стиль. С точной мимикой и мелкими японскими надписями вышло хуже.
Коротко
- Фон можно заменить целиком. Освещение на персонаже подстраивается под новую сцену.
- Героиня и основные детали чаще сохраняются, если редактировать готовый кадр.
- Мелкая правка может задеть соседние детали: при замене книги на кружку модель немного развернула корпус.
- Результат зависит от исходной композиции. Для подмигивания, например, важны размер лица и угол съёмки.
P-H3-Image выпустила Pruna AI на базе видеомодели MiniMax-H3. Это открытая модель для генерации и редактирования изображений. Начиная с ComfyUI 0.44.0, она поддерживается нативно — сторонние ноды для запуска не нужны.
Интереснее всего взять удачный кадр и словами поменять в нём конкретные вещи. Так можно собрать варианты одной сцены без новой съёмки. Главное — проверить, что модель сохранила всё остальное.
P-H3-Image проверили на двух персонажах и 25 правках
Автор японского материала «Насколько можно изменить одну фотографию» использовал режим редактирования одного изображения: загружал готовый снимок и давал текстовую инструкцию. В тесте участвовали две героини. На первую пришлось 16 экспериментов, на вторую — 9. Так автор проверял, зависит ли результат от конкретной исходной фотографии.
Автор менял выражение лица и фон, добавлял или заменял предметы, просил показать жест рукой и перевести фото в аниме-стиль. В двух случаях он проверял создание исходного изображения для второй героини. Эксперимент проходил в ComfyUI 0.44.0 с набором w4a8 и RTX 3070.
С конфигурацией есть оговорка. Японский автор указал RTX 3070, но доступные данные не подтверждают, что такая карта обычно справляется с запуском модели. В официальной публикации Pruna AI для изображения на 8 МП указано около 21 ГБ видеопамяти при использовании сжатого набора. Поэтому повторить результат автора на любой RTX 3070 без уточнения настроек и разрешения может не получиться.
По замерам автора, одна правка занимала примерно 34–39 секунд, а генерация с нуля — 15–18 секунд. Это данные одной конфигурации, не независимый бенчмарк. Выходной кадр в описании эксперимента имел разрешение около 2,4 МП. Эти данные расходятся с опубликованными параметрами редактирования на 4 или 8 МП. Для своей работы разрешение и время придётся проверить отдельно.
Замена фона удалась лучше всего — вместе со светом
В одном тесте героиня читала книгу в книжном магазине. Автор перенёс её в кафе у моря, парк с осенними листьями и на ночную станцию. Все три фона заменились. Поза, одежда и книга в руках в основном сохранились.
Модель подстроила освещение под каждую сцену. На ночной станции героиня стала темнее, а на морской террасе свет получился дневным. Человек не выглядел вырезанным и наклеенным поверх другого фото. По оценке автора, особенно удачно вышла ночная станция.
Свет менял и цвет волос. На ярком солнце грейжевые волосы первой героини заметно посветлели, став пепельными. В осеннем парке контровой свет высветлил их по краю. Если цвет важен для персонажа или бренда, проверяйте его вместе с новым фоном.
Что модель меняла, сохраняя героиню
- Добавила соломенную шляпу с кремовой лентой, не продублировав книгу и другие предметы.
- Заменив книгу на белую кружку, нарисовала естественный хват обеими руками, но немного развернула корпус.
- Изменила позу на улыбку и жест рукой. Пальцы выглядели естественно, а книга в другой руке осталась одна.
- Перевела кадр в аниме-стиль, сохранив позу, одежду, композицию и книжный магазин.
Даже просьба изменить один предмет может сдвинуть позу или корпус. Для рекламной серии проверяйте весь кадр, включая детали рядом с местом правки.
Исходная композиция влияет на результат с эмоцией
На крупном портрете автор попросил слегка прикрыть веки, чтобы героиня выглядела сонной. Модель закрыла глаза полностью. Направление поняла, степень — нет. В четырёх экспериментах с этим портретом черты лица и цвет волос сохранялись. Однако при изменении мимики экстремально тесный кадр становился более обычным портретом.
С подмигиванием результат тоже зависел от исходного кадра. На аниме-портрете первой героини просьба не сработала. На второй похожая инструкция дала заметное подмигивание. Автор связывает разницу с композицией: у первой лицо было меньше и повернуто в сторону, у второй — крупнее и ближе к фронтальному ракурсу. Это наблюдение из одного теста, но подсказка полезная.
В тесте со второй героиней замена фона снова сработала. А при правке выражения лица композиция обычного портрета не «отъехала» назад. Если важна мимика, выбирайте исходник с крупным и хорошо видимым лицом. На точный жест лучше заложить несколько итераций.
Я бы разделил эти задачи. Фон, реквизит и общий стиль можно менять по очереди. Тонкую эмоцию проверяйте отдельно, без одновременной замены локации и одежды.
Редактирование готового кадра помогает сохранить персонажа
С японским текстом результат был неровным. В постерном заголовке из пяти знаков четыре получились правильно, а последний превратился в другой символ. После замены заголовка все пять знаков совпали, хотя один всё равно выглядел неточно. Мелкая декоративная надпись и псевдокредиты остались нечитаемыми.
Есть простой обходной путь: попросить модель не добавлять мелкий текст. В одном тесте она убрала нечитаемые символы. Для постера так часто удобнее: оставить чистое место, а надпись добавить отдельно в редакторе.
В другом тесте автор попросил создать героиню в полный рост на белом фоне. Фигура получилась без явных поломок, но длина юбки отличалась от задания, а телосложение не сохранилось. Если важно удержать конкретного персонажа, лучше начать с готового изображения. При генерации с нуля модель может не восстановить его идентичность.
Как применить P-H3-Image к готовому кадру
Для первого теста хватит одного изображения и одной перемены за раз. Так проще понять, что модель сохранила, а что поменяла за компанию.
- Возьмите готовый кадр, где хорошо видны персонаж и важные детали одежды или реквизита.
- Сформулируйте одну задачу: заменить фон, изменить предмет или перевести фотографию в другой стиль.
- После генерации проверьте результат, лицо, волосы, руки, позу и освещение.
- Для точной эмоции или текста запланируйте отдельную проверку. В тесте эти задачи оказались менее надёжными.
Для серии контента можно сначала подобрать локации и общий свет, а потом менять реквизит или стилизацию. Если лицо занимает почти весь кадр, проверьте, не перестроит ли модель композицию при смене мимики.
Автор японского теста считает, что редактирование готового кадра может пригодиться в работе, когда хочется обойтись без пересъёмки.
Короче, P-H3-Image интересна для вариаций уже готового кадра. Начните с фона или реквизита и проверьте, что изменилось рядом. Для надписей и тонкой мимики лучше предусмотреть отдельный способ работы.
Источники
P-H3-Image: Turning a SOTA Video Model into an Efficient Open Image Model — Pruna AI
Release v0.44.0 — Comfy-Org/ComfyUI
Источникnote.com
