Команда WeChat Vision из Tencent представила WeVisOne-VL в двух размерах: 2B и 4B. Модель получает изображение и текстовый запрос. Дальше она может найти объект, посчитать его, прочитать текст, построить маску или alpha matte. Авторы сообщают о результатах более чем на 30 бенчмарках. Это оценка самой команды, независимого подтверждения здесь нет.
Креаторам может пригодиться связка действий. В обычном пайплайне вы сначала находите объект, потом передаёте его в сегментатор, а после уточняете край для прозрачного композитинга. WeVisOne-VL собирает эти шаги в одной модели с языковым интерфейсом. Возни может стать меньше, но результат на своих кадрах всё равно надо проверять.
WeVisOne-VL ведёт от текстового запроса к пикселям
Модель построена на Qwen3-VL. Она умеет указывать точку, рисовать рамку вокруг объекта, строить бинарную маску и выдавать непрозрачность каждого пикселя — alpha matte. Последний вариант нужен для мягкого края. Например, когда в кадре есть волосы, шерсть или другие сложные контуры.
- Поиск объектов и локализация по описанию: например, найти конкретный предмет среди похожих.
- Подсчёт объектов и указание точки на изображении.
- OCR и привязка найденного текста к области изображения.
- Сегментация выбранного объекта в маску.
- Matting — создание непрерывной alpha matte для более тонкого отделения от фона.
На официальной странице проекта команда WeChat Vision описывает задачу так: «Одна модель, любая детализация: от точек и рамок до бинарных масок и непрерывных alpha matte». Формулировка понятная. Но одна команда не обязательно одинаково хорошо сработает на разных изображениях и контурах.
Специальный токен связывает описание с маской
Сначала WeVisOne-VL формирует структурированный ответ. Координаты записываются специальными токенами от <0> до <1000>, а токен <OBJ> связывает найденный объект с пиксельным декодером. Декодер строит маску или alpha matte. По карточкам Hugging Face, у него около 9,5 млн параметров в версии 2B и около 9,6 млн — в 4B.
Языковая модель указывает, какой объект имеется в виду и где он находится. Пиксельный декодер превращает это в маску. Для пользователя всё выглядит как один запрос, но внутри работают языковая модель и отдельный лёгкий декодер.
