Пишешь в промпте «название магазина крупно», а на картинке выходит строчка похожих на буквы значков? Знакомо многим. 16 октября 2026 года OpenMOSS выложила MOSS-Image: открытую модель на 5 млрд параметров, которая пишет длинный текст внутри кадра и ставит элементы по JSON-координатам. Главная цифра — 96,3 % на тесте, который придумали сами разработчики.

Сам пока модель не гонял. Пересказываю то, что нашёл в технической документации, японских разборах, обсуждениях на Reddit и китайских СМИ. Там, где в источниках спорно или данных не хватает, пишу об этом прямо.

Источник: github.com

Base и SFT: что выбрать и чем они отличаются

Модель вышла в двух чекпоинтах. MOSS-Image-Base — базовая версия без дообучения и дистилляции, её авторы сделали, чтобы на ней обучать свои LoRA. MOSS-Image-SFT — та же основа, дообученная на отобранных данных.

Источник: airmore.ai

Официальная разница, которую показали разработчики, одна: на примере с доской SFT даёт более собранные буквы и аккуратнее расставляет текст. Сколько данных и каких шагов понадобилось для SFT, в материалах не раскрыто. ASCII.jp для обычной генерации советует SFT.

5B — это тело модели, а не вся установка

«5B» относится только к генерирующей части: это диффузионный трансформер (DiT) из 42 блоков с hidden size 3072, обученный с нуля. Текстовый энкодер Qwen3.5 на 9 млрд параметров и VAE от FLUX.2 в эту цифру не входят.

Поэтому в памяти модель занимает больше, чем подсказывает заголовок. Вот что указано в файлах Comfy-Org:

Часть моделиbf16int8
Генерирующая часть (DiT)10,2 ГБ5,4 ГБ
Текстовый энкодер19,3 ГБ9,7 ГБ

JSON-макет: координаты вместо слова «слева»

Главная фишка — JSON-раскладка. В summary пишется общая сцена и стиль, а в items — каждый элемент: текст или объект, его описание и рамка bbox. Координаты задаются в пикселях относительно центра картинки, порядок — [y_min, x_min, y_max, x_max]. Для 1024×1024 значения идут от −512 до 512. Разработчики отмечают, что координаты должны соответствовать выходному размеру.

В README JSON-макет назван экспериментальным. Вот официальный пример из документации, он для 1024×1024:

ПромтОфициальный пример из README MOSS-Image, JSON-макет, английский. В источнике перед первым элементом пропущено ключевое слово items. Оставлено как в исходнике: перед запуском проверьте структуру.
{"summary":{"meta":["poster"],"canvas":"single","caption":"A minimalist travel poster with a cream background, a blue mountain illustration, and the title EXPLORE at the top."},

{"label":"text","caption":"Large dark-blue uppercase title centered at the top.","text":"EXPLORE","bbox":[-416,-384,-288,384]},

{"label":"object","caption":"A flat blue mountain illustration in the lower center.","bbox":[-192,-288,384,288]}],

"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}
Скопируйте и вставьте в нейросеть как есть.
Из чего собран промт
  1. форматминималистичный туристический постер, кремовый фон, JSON-сводка{"summary":{"meta":["poster"],"canvas":"single","caption":"A minimalist travel poster with a cream background, a blue mountain illustration, and the title EXPLORE at the top."},
  2. сценакрупный тёмно-синий заголовок EXPLORE вверху по центру{"label":"text","caption":"Large dark-blue uppercase title centered at the top.","text":"EXPLORE","bbox":[-416,-384,-288,384]},
  3. сценаплоская синяя иллюстрация гор в нижней центральной части{"label":"object","caption":"A flat blue mountain illustration in the lower center.","bbox":[-192,-288,384,288]}],
  4. параметрыкоординаты от центра, формат yxyx"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}

Как читается пример: summary задаёт общий вид, каждая строка с label — отдельный элемент. Заголовок уходит наверх через bbox, гора — вниз. Переносы строк внутри текста тоже задают раскладку: разработчики считают их частью макета.

ПромтПример из японского разбора для MOSS-Image SFT; координаты рассчитаны на 768×1344 у автора разбора. Автор сам не генерировал, перед использованием проверьте.
{"summary":{"meta":["poster"],"canvas":"single","caption":"A restrained Japanese literary poster on pale blue-gray paper, with subtle paper grain and a single red umbrella silhouette near the lower center. Draw only the listed text. No ruby, no furigana, no extra logos."},

{"label":"text","caption":"large dark-ink brush title, vertical, one column, upper right","text":"雨を待つ","bbox":[-560,180,40,330]},

{"label":"text","caption":"small vertical event details, two short lines, below the title","text":"神保町ギャラリー\n2026年12月5日 18時開場","bbox":[-360,80,260,160]},

{"label":"object","caption":"single flat red umbrella silhouette near the lower center","bbox":[180,-120,420,120]}],

"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}
Скопируйте и вставьте в нейросеть как есть.
Из чего собран промт
  1. стильсдержанный японский литературный постер на бледно-голубовато-сером бумаге, один красный силуэт зонта, только указанный текст{"summary":{"meta":["poster"],"canvas":"single","caption":"A restrained Japanese literary poster on pale blue-gray paper, with subtle paper grain and a single red umbrella silhouette near the lower center. Draw only the listed text. No ruby, no furigana, no extra logos."},
  2. сценакрупный тушевый заголовок «雨を待つ» вертикально, справа вверху{"label":"text","caption":"large dark-ink brush title, vertical, one column, upper right","text":"雨を待つ","bbox":[-560,180,40,330]},
  3. сценамелкие вертикальные данные мероприятия в две строки под заголовком{"label":"text","caption":"small vertical event details, two short lines, below the title","text":"神保町ギャラリー\n2026年12月5日 18時開場","bbox":[-360,80,260,160]},
  4. сценаплоский красный силуэт зонта ближе к нижнему центру{"label":"object","caption":"single flat red umbrella silhouette near the lower center","bbox":[180,-120,420,120]}],
  5. параметрыкоординаты от центра, формат yxyx"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}

Что здесь важно: японский текст разбит на две строки через \n, а отдельная рамка держит заголовок в правом верхнем углу. Фраза «Draw only the listed text» должна отсекать лишние надписи. Насколько это сработает у вас, покажет проверка на своём размере.

Цифры: кто мерил и где спорно

Все бенчмарки считали сами разработчики. Вот что есть в техотчёте:

ТестРезультатЧьи замеры
LLTB, средняя доля текста96,3 % (длинный китайский текст — 92,4 %)разработчики
7Bench, mIoUdet / Layout AUC0,88 / 0,70разработчики
RLA, вся система (Elo)GPT Image 2 — 1844,4; MOSS-Image + Layout PE — 1698,7разработчики
RLA, только генератор (общий улучшенный промпт)MOSS-Image — 1807,3; ERNIE Image — 1748,5разработчики
RLA, тип промптаJSON-макет — 1622,9; короткий запрос — 1081,7разработчики

Несколько оговорок из самих материалов. Во второй строке RLA модель занимает второе место в связке с Layout PE, а лучшим генератором она оказалась только при одинаковом улучшенном промпте. Layout PE, по техотчёту, работает на GPT-6. В 7Bench одна модель потеряла 22 из 224 примеров из-за блокировки безопасности и получила ноль, а какой чекпоинт тестировали — Base или SFT, — неясно.

Есть и внутренняя неточность. В таблице (Table 1) этапы обучения по разрешению и длине текста — четыре, а в тексте — три. На итог это не влияет, но показывает, что отчёт стоит читать внимательно.

Как запустить: ПО, требования и шероховатости

  • Python: от 3.10, NVIDIA GPU с CUDA, PyTorch от 2.9, diffusers от 0.38, transformers от 5.3
  • Gradio: запуск через gradio_app.py с указанием OpenMOSS-Team/MOSS-Image-Base, есть четыре режима памяти
  • ComfyUI: нативная поддержка попала в master и nightly после коммита e087d8f6; в релизе v0.41.3 на 19 октября её ещё не было, а автор японского теста работал на v0.42.0
  • SGLang: проверен только Base, SFT не проверен, редактирования изображений нет
  • vLLM-Omni: рецепт для /v1/images/generations, есть и Base, и SFT
  • Mac: экспериментально через MPS, проверено на M1 Max с 32 ГБ и только на SFT; нужно около 25 ГБ под модель и 40 ГБ свободного места

Про память. В README указаны 3,65 ГиБ видеопамяти и 14 ГиБ оперативной памяти для 1024×1024 и 50 шагов. Но не написано, для какого режима это значения, поэтому относитесь к ним как к ориентиру.

Как применить у себя: порядок действий

  1. Под текст на картинке берите SFT. Base оставьте для своих LoRA: так советуют и разработчики, и японский автор теста.
  2. Проверьте версию ComfyUI: нативная поддержка есть в master и nightly, в релизе 19 октября её не было.
  3. Старт — 1024×1024, стороны кратны 16. По разбору AirMore, рекомендуемый диапазон — примерно 1–2 Мп.
  4. Настройки из README: от 50 шагов, CFG около 3 (при коротком промпте можно выше), shift 5, сэмплер Euler. Есть SLG на 22-м слое: по описанию без него картинка фотореалистичнее, но детали могут поплыть.
  5. Для текста переносы задавайте через
  6. , а каждый элемент заводите отдельным блоком с bbox.
  7. Перед каждым запуском проверьте координаты на нужном размере: они не масштабируются сами.
  8. Считайте не одну картинку, а принятые: отбракованные генерации тоже стоят времени и электричества.

Промпт из японского теста для обычной генерации людей, без текста, пригодится, если хотите понять, как модель работает с естественной речью. Вставляйте как есть и смотрите результат.

ПромтЕстественный японский промпт из теста VRAM на RTX 5070. В тесте были другие модели; для MOSS-Image проверьте результат. Под свою задачу замените сцену и добавьте стиль.
「雪の公園で、赤いコートを着た日本人の若い女性が立ってこっちを見ている全身写真。後ろに木とベンチ」
Скопируйте и вставьте в нейросеть как есть.
Из чего собран промт
  1. сценазимний парк со снегом雪の公園で
  2. персонажимолодая японка в красном пальто赤いコートを着た日本人の若い女性が
  3. действиестоит и смотрит в камеру立ってこっちを見ている
  4. ракурсполный рост全身写真
  5. сценана заднем плане деревья и скамейка後ろに木とベンチ

Где подвох

  • Все главные цифры — от разработчиков. Независимых повторов в переданных материалах нет.
  • В техотчёте расходятся этапы обучения: четыре в таблице, три в тексте.
  • Данные и процедура SFT не раскрыты.
  • Японский: в README об этом ничего не сказано. ASCII.jp сообщает, что модель понимает японский промпт, но это наблюдение, а не официальная гарантия.
  • Память: цифры из README без указания режима.
  • Лицензия: веса и код под Apache-2.0, но лицензии Qwen3.5-9B и VAE FLUX.2 не проверены. Перед коммерческим использованием проверьте каждый компонент.
  • На 2560 и больше картинка может стать искусственной даже у сильных моделей, поэтому смотрите детали в полном размере.

Короче, для постеров и обложек с текстом MOSS-Image выглядит интересным инструментом, но проверять его всё равно придётся на своих задачах. Какой текст вы чаще всего не можете вытащить из локальной модели: названия, цены или длинные абзацы?

Готовые промты для генерации изображений — в библиотеке SAMI

Источники

OpenMOSS MOSS-Image — официальный репозиторий (README)

MOSI.AI «MOSS-Image Technical Report», arXiv:2610.23374

AirMore: MOSS-Image Review

Источникnote.com