В бесплатном ComfyUI-воркфлоу локальная LLM смотрит на сгенерированную картинку, проверяет пункты чек-листа и переписывает промпт. Один круг занимает около минуты на RTX 4070 Ti Super с 16 ГБ VRAM. В тесте автора оценки совпали с человеческими на 77%. Во всех спорных случаях ИИ оценил изображение слишком высоко.
Автор японского блога note приводит простой пример: «зонт в левой руке, кот в правой». Вместо того чтобы самому каждый раз проверять результат и править промпт, он собрал цикл в ComfyUI: генерация, оценка, исправление промпта и новая генерация. Автор называет его самоулучшающимся, но финальный выбор оставляет человеку.
Как устроен ComfyUI-воркфлоу с локальной LLM
За рисунок отвечает Anima или SDXL, за проверку и новую формулировку — Qwen3.8-27B через Ollama. Модели работают по очереди: после генерации ComfyUI выгружает image-модель из VRAM, затем запускает LLM. По описанию автора, языковая модель занимает около 15 ГБ видеопамяти. Если оставить генератор в памяти, процесс становится крайне медленным.
Сначала нужно запустить первый узел, чтобы получить начальный промпт, и перенести его в поле текущего промпта. Затем выполняется цепочка «нарисовать → оценить → исправить». Seed фиксирован, поэтому между кругами меняется промпт, а не случайность генерации. Результаты сохраняются в папке output — их можно открыть рядом и сравнить.
Для работы нужны Ollama, три custom nodes — ComfyUI-Ollama, ComfyUI-Easy-Use и rgthree-comfy — и модель для генерации. Узлы автор предлагает устанавливать через ComfyUI Manager. Для Anima понадобятся три файла в соответствующих папках ComfyUI: модель, текстовый энкодер и VAE. Для SDXL достаточно чекпойнта; LoRA можно подключить отдельно.
Автор выложил бесплатно JSON-воркфлоу для генерации из текста. В нём уже настроены пример задания, начальный промпт и параметры LLM. Anima и SDXL переключаются узлом. LoRA изначально отключены, поэтому собственные модели для запуска не нужны.
Чек-лист лучше просьбы нарисовать красиво
Здесь многое зависит от критериев оценки. LLM разбивает задание на пункты и ставит каждому «да» или «нет». Проверить признаки вроде «зонт в левой руке» или «в кадре только один человек» проще, чем оценивать «милый», «стильный» или «красивый».
Чек-лист помогает находить и ошибки с людьми на фоне. Автор пишет, что в отдельном сценарии с фотографией позы и изображением персонажа лишних людей удалось убрать. Для этого в первый пункт добавили условие: в кадре один человек, других людей нет. Критерии задают направление всему циклу: меняется список — меняется и результат, к которому стремится модель.
Проверка автора показывает границы метода. ИИ поставил 92 балла картинке с парящим зонтом. По его замерам, оценки совпали с человеческими на 77%, а все расхождения возникли из-за завышенных баллов от модели. Оценки помогают отсеять слабые варианты, но картинку всё равно нужно смотреть самому.
«Когда я передал ИИ задачу смотреть и исправлять, необходимость переписывать промпт почти исчезла. Но оценки ИИ оставались мягкими, сколько бы кругов ни запускать». — автор блога note
Ограничения и результаты тестов
На RTX 4070 Ti Super с 16 ГБ VRAM один круг занимает около минуты. Это замер автора: скорость зависит от модели и компьютера. Для выбора LLM в статье предлагают ориентир — размер файла не больше объёма VRAM минус 2 ГБ. Чтобы две тяжёлые модели не делили видеопамять, генератор изображения нужно выгрузить перед запуском языковой.
В узле ComfyUI-Ollama автор включил функцию think, и воркфлоу остановился с ошибкой. Поэтому в раздаваемой версии её выключили. Это влияет на оценки — они становятся ещё мягче. Есть и ограничение num_predict: в узле можно задать максимум 2048. Если поставить -1, модель однажды генерировала текст больше десяти минут.
В материале есть три варианта работы с изображением на входе: повторить референс, перенести персонажа в другую сцену и совместить персонажа с позой на фото. В отдельных прогонах доля выполненных пунктов чек-листа выросла с 77% до 88% на третьем круге и с 71% до 96% — тоже к третьему кругу. Это результаты конкретных тестов, а не общая точность модели. Эти три воркфлоу распространяются платно; цены в исходном материале не указаны.
Как применить этот цикл в своей работе
Зафиксируйте Seed, запустите несколько кругов и сохраните результаты. Лучший кадр выберите сами. Для коммерческой задачи проверка особенно важна: автоматическая оценка может пропустить явную ошибку и всё равно поставить высокий балл.
Воркфлоу работает локально. После установки для самого цикла не нужен интернет — удобно, если вы не хотите отправлять рабочие изображения в облачный сервис. При этом локальный запуск не отменяет лицензии моделей и правил работы с исходными материалами. Их стоит проверить отдельно.
Цикл снимает часть рутины с правкой промпта. Но решать, какой кадр оставить, всё ещё приходится человеку.
Источники
Installing Qwen 3.8 with Ollama
Anima: light, fast, slightly unruly
Источникnote.com
