В тесте автора cephaloform модель Bonsai 2 4B выдавала 547 токенов в секунду. Это результат одного независимого прогона. В сводке теста нет конфигурации железа, так что на другом компьютере скорость может отличаться. Но цифра цепляет: компактную модель можно использовать для текстовой рутины прямо на устройстве.
15 октября PrismML представила линейку Ternary Bonsai 2: модели 2B, 4B и 9B для телефонов, компьютеров и носимых устройств. По сообщению китайского IT之家, компания готовит их для локальных AI-агентов. Модели должны следовать инструкциям, понимать изображения и вызывать инструменты. Для креатора это скорее помощник рядом с монтажкой и папкой с материалами, чем новый генератор картинок.
Bonsai 2 локально: как работают тернарные веса
Если коротко, веса модели — это числа, по которым она выбирает следующий ответ. PrismML хранит их в трёх значениях: −1, 0 и +1. Такой формат называют тернарным. Идея простая: уменьшить размер модели, чтобы запускать её не только на сервере, но и на личном устройстве.
По данным IT之家, модели занимают около 0,43 ГБ для 2B, 0,95 ГБ для 4B и 2 ГБ для 9B. У независимого тестировщика cephaloform другие цифры: 483 МБ, 1,06 ГБ и 2,24 ГБ. Откуда разница — по материалам неясно. Я бы не выбирал модель только по размеру файла.
Есть и расхождение в информации о базе моделей. IT之家 пишет, что серия построена на Qwen 3.5. В официальных материалах PrismML о Bonsai 2 27B, опубликованных в сентябре, базой называют Qwen3.8 27B. Это подтверждает информацию о старшей модели, но версии 2B, 4B и 9B остаются под вопросом.
В тех же материалах PrismML заявляет для Bonsai 2 27B размер 5,9 ГБ и сохранение 98,2% совокупных результатов базовой модели. Эти данные помогают оценить идею тернарного сжатия, но относятся к версии 27B. Для младших моделей их переносить нельзя.
Что известно о скорости Bonsai 2 — и где осторожнее с цифрами
По сводке AGI Hunt, в ручном тесте cephaloform модель 2B показала 878 токенов в секунду, 4B — 547, а 9B — 384. Автор считает 4B удачным балансом размера и возможностей. Подробностей о тестовом железе в сводке нет. Цифры годятся для сравнения моделей в одном прогоне, но не для оценки скорости на вашем ноутбуке или смартфоне.
IT之家 также передаёт заявления PrismML о скорости на iPhone 18 Pro Max: до 120 токенов в секунду для 2B и до 34 для 9B. Компания сообщает о приросте пропускной способности до пяти раз и энергоэффективности до трёх раз на RTX 4090 и M5 Pro по сравнению с полноточными моделями. В досье нет независимого подтверждения этих заявлений, а цифры AGI Hunt отличаются. Пока их стоит считать именно данными компании.
По IT之家, модель 9B расходует примерно на 40% меньше токенов в стандартных инструкциях и бытовых математических задачах. Издание также пишет о проверке 19 бенчмарков по шести направлениям. В досье нет таблиц с результатами. Поэтому пока неясно, на каких заданиях модель сильна и где чаще ошибается.
Линейка дополняет Bonsai 2 27B, которую PrismML выпустила в сентябре. Младшие версии можно рассматривать для коротких поручений, старшую — для сложных рабочих процессов. Но качество моделей таким образом не сравнить. Для выбора нужны собственные задачи: один и тот же агент может хорошо описывать кадры и ошибаться при точном вызове инструмента.
Для чего локальная модель пригодится креатору
Если модель работает локально, запросы обрабатываются на устройстве и не уходят в облачный API. Это удобно для черновиков, которые вы не хотите пересылать внешнему сервису, и для работы без постоянного доступа к сети. Напоминаю: сам факт локального запуска ещё не подтверждает, что конкретная сборка программы ничего никуда не отправляет. Проверьте настройки и документацию рантайма.
В рабочем процессе модель можно попробовать для синопсиса из заметок, описания кадра, черновых субтитров или метаданных ролика. Ещё — для сортировки материалов по коротким подписям. Если визуальный ввод работает в вашей сборке, проверьте, как модель описывает стоп-кадр. Фото и видео она не генерирует.
Для первого теста возьмите повторяющуюся задачу и сравните результат с привычным облачным помощником. Например, дайте модели короткий синопсис и попросите подготовить три варианта описания ролика, сохранив имена персонажей и ключевые события. Проверьте факты, структуру и повторы. Потом можно добавить вызов инструмента, если его поддерживают ваша сборка и интерфейс.
Так вы увидите, справляется ли модель с вашей задачей без постоянных подсказок. Скорость генерации — только одна часть впечатления. Ещё важны качество ответов, стабильность вызова инструментов, время загрузки и доступная память.
Как попробовать Bonsai 2 и что проверить заранее
В публикации указаны два способа запуска: llama.cpp для NVIDIA GPU и MLX для Mac, iPhone и iPad. По сообщению IT之家, веса открыты под лицензией Apache 2.0. Установка может отличаться на разных устройствах: всё зависит от сборки и версии рантайма.
Я бы начал с 4B. Независимый автор считает её удачным балансом, а в его сводке размер модели — около 1,06 ГБ. Перед установкой проверьте имя файла, требования рантайма и доступную память. Затем прогоните свои запросы и отдельно проверьте работу с изображениями и вызов инструментов. Компания заявляет об этих функциях для всей серии, но их качество на ваших задачах ещё предстоит оценить.
547 токенов в секунду — любопытный результат. Покупать железо под эту цифру без собственного теста я бы не стал.
Начинаю смотреть на Bonsai 2 как на кандидата для конкретных офлайн-задач. Если локальный помощник стабильно берёт на себя скучную часть работы — уже полезно. Для точного агента и сложных цепочек действий сначала нужны тесты. Потом можно решать, насколько ему доверять.
Источники
PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint
Bonsai 2 ternary models tested: 4B is the sweet spot, but 27B unexpectedly fumbles file writes
Источникithome.com
