Исследователи Университета Рочестера и NVIDIA представили PixelDiT2; статью о модели планируют опубликовать на NeurIPS в декабре. Для тех, кто редактирует изображения с помощью ИИ, это обещает более точные локальные правки — без случайных изменений вокруг.
Что изменили: большинство диффузионных моделей генерируют картинку в латентном пространстве — через сжатое представление изображения. Это ускоряет работу, но не всегда позволяет точно изменить отдельный пиксель: попросили поменять деталь, а модель заодно тронула соседние области. PixelDiT2 работает непосредственно с пикселями. По данным китайского издания HyperAI, модель сохраняет такой контроль, стала эффективнее и по результатам приближается к ведущим моделям, работающим в латентном пространстве. Конкретных цифр сравнения в материале нет, так что это пока заявление исследовательской команды, а не независимый замер.
Это продолжение PixelDiT: модель представили на конференции CVPR в 2026 году, показав локальное редактирование отдельных областей. Среди примеров — изменить очки у персонажа или перекрасить автомобиль. Над PixelDiT2 работали исследователи под руководством специалиста по ИИ Джибо Ло, аспирант Рочестерского университета и стажёр NVIDIA Ёншэн Ю, а также старший исследователь NVIDIA Вэй Сюн.
Следующий шаг — перенести пиксельный подход на видео. Там нужно не только точно менять области, но и сохранять плавность движения и согласованность между кадрами. На мой вкус, это и есть главная проверка идеи: аккуратно поправить один кадр мало, если в следующем деталь снова меняется.
ИсточникHyperAI 超神经
