Adobe Research и UC San Diego разработали EditAgent: система редактирует изображения, подбирая специализированные инструменты, но требует примерно в 10 раз больше вычислений. Для тех, кто делает визуал с ИИ, ставка понятная: вместо повторных попыток одним универсальным редактором агент может выбирать инструмент под конкретную задачу.
В этом отличие подхода: EditAgent не гоняет один и тот же общий редактор по кругу. Он выбирает подходящий специализированный инструмент, а затем обычная языковая модель сравнивает варианты по измеряемым данным изображения и выбирает лучший результат. То есть выбор опирается не только на описание задачи, но и на оценку самих изображений.
The Decoder пишет, что подход работает, но обходится примерно в десятикратный вычислительный расход. В материале не приводят разбивку этой разницы и численные замеры качества, поэтому пока неясно, насколько выигрыш в результате оправдывает дополнительные ресурсы.
Думаю, идея для сложного редактирования выглядит годно: подобрать правильный инструмент часто важнее, чем снова запускать универсальный. Но десятикратный расход — серьёзный компромисс, и для обычной правки изображений это может быть ну такое. Пока EditAgent показывает направление, а не готовый ответ на вопрос, стоит ли платить за него вычислениями.
ИсточникThe Decoder
