Пишешь в промпте «название магазина крупно», а на картинке выходит строчка похожих на буквы значков? Знакомо многим. 16 октября 2026 года OpenMOSS выложила MOSS-Image: открытую модель на 5 млрд параметров, которая пишет длинный текст внутри кадра и ставит элементы по JSON-координатам. Главная цифра — 96,3 % на тесте, который придумали сами разработчики.
Сам пока модель не гонял. Пересказываю то, что нашёл в технической документации, японских разборах, обсуждениях на Reddit и китайских СМИ. Там, где в источниках спорно или данных не хватает, пишу об этом прямо.
Base и SFT: что выбрать и чем они отличаются
Модель вышла в двух чекпоинтах. MOSS-Image-Base — базовая версия без дообучения и дистилляции, её авторы сделали, чтобы на ней обучать свои LoRA. MOSS-Image-SFT — та же основа, дообученная на отобранных данных.
Официальная разница, которую показали разработчики, одна: на примере с доской SFT даёт более собранные буквы и аккуратнее расставляет текст. Сколько данных и каких шагов понадобилось для SFT, в материалах не раскрыто. ASCII.jp для обычной генерации советует SFT.
5B — это тело модели, а не вся установка
«5B» относится только к генерирующей части: это диффузионный трансформер (DiT) из 42 блоков с hidden size 3072, обученный с нуля. Текстовый энкодер Qwen3.5 на 9 млрд параметров и VAE от FLUX.2 в эту цифру не входят.
Поэтому в памяти модель занимает больше, чем подсказывает заголовок. Вот что указано в файлах Comfy-Org:
| Часть модели | bf16 | int8 |
|---|---|---|
| Генерирующая часть (DiT) | 10,2 ГБ | 5,4 ГБ |
| Текстовый энкодер | 19,3 ГБ | 9,7 ГБ |
JSON-макет: координаты вместо слова «слева»
Главная фишка — JSON-раскладка. В summary пишется общая сцена и стиль, а в items — каждый элемент: текст или объект, его описание и рамка bbox. Координаты задаются в пикселях относительно центра картинки, порядок — [y_min, x_min, y_max, x_max]. Для 1024×1024 значения идут от −512 до 512. Разработчики отмечают, что координаты должны соответствовать выходному размеру.
В README JSON-макет назван экспериментальным. Вот официальный пример из документации, он для 1024×1024:
{"summary":{"meta":["poster"],"canvas":"single","caption":"A minimalist travel poster with a cream background, a blue mountain illustration, and the title EXPLORE at the top."},
{"label":"text","caption":"Large dark-blue uppercase title centered at the top.","text":"EXPLORE","bbox":[-416,-384,-288,384]},
{"label":"object","caption":"A flat blue mountain illustration in the lower center.","bbox":[-192,-288,384,288]}],
"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}Из чего собран промт
- форматминималистичный туристический постер, кремовый фон, JSON-сводка
{"summary":{"meta":["poster"],"canvas":"single","caption":"A minimalist travel poster with a cream background, a blue mountain illustration, and the title EXPLORE at the top."}, - сценакрупный тёмно-синий заголовок EXPLORE вверху по центру
{"label":"text","caption":"Large dark-blue uppercase title centered at the top.","text":"EXPLORE","bbox":[-416,-384,-288,384]}, - сценаплоская синяя иллюстрация гор в нижней центральной части
{"label":"object","caption":"A flat blue mountain illustration in the lower center.","bbox":[-192,-288,384,288]}], - параметрыкоординаты от центра, формат yxyx
"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}
Как читается пример: summary задаёт общий вид, каждая строка с label — отдельный элемент. Заголовок уходит наверх через bbox, гора — вниз. Переносы строк внутри текста тоже задают раскладку: разработчики считают их частью макета.
{"summary":{"meta":["poster"],"canvas":"single","caption":"A restrained Japanese literary poster on pale blue-gray paper, with subtle paper grain and a single red umbrella silhouette near the lower center. Draw only the listed text. No ruby, no furigana, no extra logos."},
{"label":"text","caption":"large dark-ink brush title, vertical, one column, upper right","text":"雨を待つ","bbox":[-560,180,40,330]},
{"label":"text","caption":"small vertical event details, two short lines, below the title","text":"神保町ギャラリー\n2026年12月5日 18時開場","bbox":[-360,80,260,160]},
{"label":"object","caption":"single flat red umbrella silhouette near the lower center","bbox":[180,-120,420,120]}],
"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}Из чего собран промт
- стильсдержанный японский литературный постер на бледно-голубовато-сером бумаге, один красный силуэт зонта, только указанный текст
{"summary":{"meta":["poster"],"canvas":"single","caption":"A restrained Japanese literary poster on pale blue-gray paper, with subtle paper grain and a single red umbrella silhouette near the lower center. Draw only the listed text. No ruby, no furigana, no extra logos."}, - сценакрупный тушевый заголовок «雨を待つ» вертикально, справа вверху
{"label":"text","caption":"large dark-ink brush title, vertical, one column, upper right","text":"雨を待つ","bbox":[-560,180,40,330]}, - сценамелкие вертикальные данные мероприятия в две строки под заголовком
{"label":"text","caption":"small vertical event details, two short lines, below the title","text":"神保町ギャラリー\n2026年12月5日 18時開場","bbox":[-360,80,260,160]}, - сценаплоский красный силуэт зонта ближе к нижнему центру
{"label":"object","caption":"single flat red umbrella silhouette near the lower center","bbox":[180,-120,420,120]}], - параметрыкоординаты от центра, формат yxyx
"bbox_coord_space":"abs_centralized","bbox_format":"yxyx"}
Что здесь важно: японский текст разбит на две строки через \n, а отдельная рамка держит заголовок в правом верхнем углу. Фраза «Draw only the listed text» должна отсекать лишние надписи. Насколько это сработает у вас, покажет проверка на своём размере.
Цифры: кто мерил и где спорно
Все бенчмарки считали сами разработчики. Вот что есть в техотчёте:
| Тест | Результат | Чьи замеры |
|---|---|---|
| LLTB, средняя доля текста | 96,3 % (длинный китайский текст — 92,4 %) | разработчики |
| 7Bench, mIoUdet / Layout AUC | 0,88 / 0,70 | разработчики |
| RLA, вся система (Elo) | GPT Image 2 — 1844,4; MOSS-Image + Layout PE — 1698,7 | разработчики |
| RLA, только генератор (общий улучшенный промпт) | MOSS-Image — 1807,3; ERNIE Image — 1748,5 | разработчики |
| RLA, тип промпта | JSON-макет — 1622,9; короткий запрос — 1081,7 | разработчики |
Несколько оговорок из самих материалов. Во второй строке RLA модель занимает второе место в связке с Layout PE, а лучшим генератором она оказалась только при одинаковом улучшенном промпте. Layout PE, по техотчёту, работает на GPT-6. В 7Bench одна модель потеряла 22 из 224 примеров из-за блокировки безопасности и получила ноль, а какой чекпоинт тестировали — Base или SFT, — неясно.
Есть и внутренняя неточность. В таблице (Table 1) этапы обучения по разрешению и длине текста — четыре, а в тексте — три. На итог это не влияет, но показывает, что отчёт стоит читать внимательно.
Как запустить: ПО, требования и шероховатости
- Python: от 3.10, NVIDIA GPU с CUDA, PyTorch от 2.9, diffusers от 0.38, transformers от 5.3
- Gradio: запуск через gradio_app.py с указанием OpenMOSS-Team/MOSS-Image-Base, есть четыре режима памяти
- ComfyUI: нативная поддержка попала в master и nightly после коммита e087d8f6; в релизе v0.41.3 на 19 октября её ещё не было, а автор японского теста работал на v0.42.0
- SGLang: проверен только Base, SFT не проверен, редактирования изображений нет
- vLLM-Omni: рецепт для /v1/images/generations, есть и Base, и SFT
- Mac: экспериментально через MPS, проверено на M1 Max с 32 ГБ и только на SFT; нужно около 25 ГБ под модель и 40 ГБ свободного места
Про память. В README указаны 3,65 ГиБ видеопамяти и 14 ГиБ оперативной памяти для 1024×1024 и 50 шагов. Но не написано, для какого режима это значения, поэтому относитесь к ним как к ориентиру.
Как применить у себя: порядок действий
- Под текст на картинке берите SFT. Base оставьте для своих LoRA: так советуют и разработчики, и японский автор теста.
- Проверьте версию ComfyUI: нативная поддержка есть в master и nightly, в релизе 19 октября её не было.
- Старт — 1024×1024, стороны кратны 16. По разбору AirMore, рекомендуемый диапазон — примерно 1–2 Мп.
- Настройки из README: от 50 шагов, CFG около 3 (при коротком промпте можно выше), shift 5, сэмплер Euler. Есть SLG на 22-м слое: по описанию без него картинка фотореалистичнее, но детали могут поплыть.
- Для текста переносы задавайте через
- , а каждый элемент заводите отдельным блоком с bbox.
- Перед каждым запуском проверьте координаты на нужном размере: они не масштабируются сами.
- Считайте не одну картинку, а принятые: отбракованные генерации тоже стоят времени и электричества.
Промпт из японского теста для обычной генерации людей, без текста, пригодится, если хотите понять, как модель работает с естественной речью. Вставляйте как есть и смотрите результат.
「雪の公園で、赤いコートを着た日本人の若い女性が立ってこっちを見ている全身写真。後ろに木とベンチ」Из чего собран промт
- сценазимний парк со снегом
雪の公園で - персонажимолодая японка в красном пальто
赤いコートを着た日本人の若い女性が - действиестоит и смотрит в камеру
立ってこっちを見ている - ракурсполный рост
全身写真 - сценана заднем плане деревья и скамейка
後ろに木とベンチ
Где подвох
- Все главные цифры — от разработчиков. Независимых повторов в переданных материалах нет.
- В техотчёте расходятся этапы обучения: четыре в таблице, три в тексте.
- Данные и процедура SFT не раскрыты.
- Японский: в README об этом ничего не сказано. ASCII.jp сообщает, что модель понимает японский промпт, но это наблюдение, а не официальная гарантия.
- Память: цифры из README без указания режима.
- Лицензия: веса и код под Apache-2.0, но лицензии Qwen3.5-9B и VAE FLUX.2 не проверены. Перед коммерческим использованием проверьте каждый компонент.
- На 2560 и больше картинка может стать искусственной даже у сильных моделей, поэтому смотрите детали в полном размере.
Короче, для постеров и обложек с текстом MOSS-Image выглядит интересным инструментом, но проверять его всё равно придётся на своих задачах. Какой текст вы чаще всего не можете вытащить из локальной модели: названия, цены или длинные абзацы?
Готовые промты для генерации изображений — в библиотеке SAMI
Источники
OpenMOSS MOSS-Image — официальный репозиторий (README)
MOSI.AI «MOSS-Image Technical Report», arXiv:2610.23374
Источникnote.com
