Команда MNN из Taobao (Alibaba) открыла MNN-Pocket-0.3B: около 300 млн параметров, INT4-пакет 173 МБ и, по замерам самой команды, около 350 токенов в секунду на iPhone 18 Pro полностью офлайн. Модель собрана под мобильные приложения, для встраивания в них, а не для чата в браузере.
Коротко
- Модель около 300 млн параметров, обучена с нуля, фокус на китайском и английском.
- INT4-пакет 173 МБ: веса, токенизатор, граф вычислений и конфигурация инференса.
- Декодирование по замерам команды: около 350 ток/с на iPhone 18 Pro, 466 ток/с на iPad Pro M5, 251 ток/с на CPU Snapdragon 8 Gen 5.
- Прирост пиковой памяти 228 МБ на iPad Pro M5; около 0,3% батареи за 100 запусков на OnePlus 13.
- Это текстовая модель. Картинки и видео она не генерирует.
Что пишут англоязычные СМИ и сама команда
Английский материал TPS, который пересказывает релиз, описывает проблему прямо: на телефоне модель делит ограниченные вычисления, память и батарею со всем остальным, что там работает. Команда называет свою модель «app-native large model», то есть большой моделью, рассчитанной на встраивание в приложение.
«Модель, работающая на устройстве, должна делить ограниченные вычисления, память и батарею со всем остальным, что есть на телефоне». Перевод с английского, пересказ материала о релизе MNN-Pocket-0.3B (TPS, Pandaily).
В китайском изложении IT Home та же мысль звучит конкретнее. Даже у телефона с 8–16 ГБ памяти её делит система и несколько приложений, поэтому бюджет на модель должен быть маленьким. Команда пишет, что держит модель в районе 500 МБ, из них пиковая память инференса не выше 300 МБ.
В релизе шесть вариантов: базовая модель для дообучения, версия после SFT, instruct-модель, GGUF, INT4 MNN и модель-«голова» для выбора из кандидатов. Плюс черновая модель DFlash2 для спекулятивного декодирования. По словам команды, на некоторых задачах она удваивает скорость генерации.
Четыре цели команды: что сказано о результате
Команда задала четыре целевых показателя. Ниже — цель и то, что команда сообщает о результатах.
- Декодирование выше 200 токенов в секунду на заданных устройствах. Команда сообщает 350 на iPhone 18 Pro и 466 на iPad Pro M5.
- Пиковая память ниже 300 МБ внутри бюджета около 500 МБ. Сообщается прирост 228 МБ на iPad Pro M5 над базовым уровнем.
- Энергия: не больше одной десятитысячной батареи референс-телефона на типичный запуск, то есть 100 запусков меньше 1%. Команда сообщает около 0,3% батареи за 100 запусков на OnePlus 13.
- Качество: уровень модели 8B-класса на заданных бизнес-задачах. Это цель. Независимых подтверждений в материале нет.
Скорость на трёх устройствах и сравнение с Qwen3-0.6B
| Устройство | Бэкенд | Декодирование, ток/с | Prefill, ток/с |
|---|---|---|---|
| iPhone 18 Pro | MNN, офлайн | около 350 (средняя) | нет данных |
| iPad Pro M5 | Metal | 466 | 8 721 |
| Snapdragon 8 Gen 5 (телефон) | CPU | 251 | нет данных |
Цифры из замеров команды (MNN 3.6.2, INT4, конфигурация 512 токенов, по изложению IT Home). Для iPhone приведена средняя скорость декодирования, prefill в материале не указан.
Команда сравнивает модель и с Qwen3-0.6B на том же iPad Pro M5. Результаты в таблице ниже тоже её собственные.
| Параметр | MNN-Pocket-0.3B | Qwen3-0.6B |
|---|---|---|
| Размер деплой-пакета, МБ | 173 | 340 |
| Прирост пиковой памяти, МБ | 228 | 427 |
| Декодирование, ток/с | 466 | 286 |
Пакет меньше примерно на 49%, прирост памяти примерно на 47%, декодирование быстрее в 1,63 раза. Это тест одной команды на одном устройстве, общим рейтингом его считать нельзя.
Почему модель такая маленькая: 28 слоёв и урезанный словарь
По словам команды, её тестировали плотные конфигурации от примерно 50 млн до 1,3 млрд параметров. Самой большой, которая ещё укладывалась и в память, и в скорость, оказалась модель около 300 млн. Архитектуру выбрали такую:
- 28 слоёв с групповым вниманием (grouped-query attention). По словам команды, 36 слоёв не подняли средние оценки, но замедлили декодирование.
- Словарь урезали примерно с 151 тыс. токенов (как у Qwen3) до примерно 64 тыс. Это снижает стоимость эмбеддингов и выходного слоя.
- Квантование INT4 сделано при обучении, а не постфактум. Так пишет китайский разбор карточки на ai-bio.cn.
Размер словаря в тексте команды — «около 64 000», а в разборе карточки — 65 536. Это похоже на 64×1024, но точное число лучше сверить в самой карточке.
Тот же разбор карточки описывает внимание: 14 голов запроса и 2 головы ключей-значений при размерности головы 64. Благодаря этому развёртывание поддерживает контекст до 32K. Бэкенды: MNN, Transformers и llama.cpp, лицензия Apache-2.0.
Бенчмарки команды: IFEval 73,20 и средний балл 50,00
По данным команды, IFEval равен 73,20, китайский IFEval — 74,59, а средний балл по 11 китайским и английским бенчмаркам — 50,00. Модель обходит модели того же и большего размера, включая Qwen3-0.6B. Независимо эти цифры никто не перепроверял, в материалах такого нет.
Карточка сама предупреждает: как и другие модели под миллиард параметров, эта не рекомендуется для сложной математики и длинной генерации кода.
Зачем это визуальному автору, если модель не рисует?
Прямой связи с генерацией картинок и видео здесь нет. Но у визуального автора много текстовых задач: подписи к кадрам, теги, черновики сценария, описания сцен. Если такие задачи можно решать офлайн, облако для них не нужно.
В материалах про русский язык ничего нет: фокус модели на китайском и английском. Качество на русских текстах придётся проверять самому.
Как попробовать: сначала задача, потом скачивание
- Откройте карточку на Hugging Face (организация taobao-mnn) и сверьте цифры, версии и лицензию. В материалах лицензию называют Apache-2.0, но в самой карточке её надо увидеть своими глазами.
- Выберите формат. INT4 MNN (173 МБ) — для мобильного движка MNN. GGUF — для llama.cpp на ПК или ноутбуке.
- Возьмите три своих текста: подпись к кадру, список тегов и короткое описание сцены. Проверьте, что получилось, на русском и английском.
- Сравните результат с тем, что делаете сейчас. Если облако выигрывает по качеству и удобству, оставьте облако.
Где подвох
- Все цифры скорости, памяти и энергии — из замеров команды. Независимой проверки в материалах нет.
- Русский в фокусе не заявлен. Модель заточена под китайский и английский.
- Модель на 0,3 млрд параметров не годится для сложной математики и длинного кода. Это написано в карточке.
- Цель «уровень 8B-класса» — это цель на заданных задачах, а не доказанное равенство.
- Официальную карточку на Hugging Face в этом материале не сверяли: её цифры пересказывают СМИ.
- Цены нет, потому что модель открытая. Стоимость работы на вашем железе считаете сами.
Источники
MNN-Pocket-0.3B: 173MB On-Device Model from Taobao MNN | TPS
MNN-Pocket-0.3B – 阿里开源的 3 亿参数端侧语言模型 | AI工具箱
Источникpandaily.com
