СтатьяОткрытый материал
MNN-Pocket-0.3B весит 173 МБ. Её собрали не для чата в браузере, а для приложений
Taobao открыл MNN-Pocket-0.3B: модель около 300 млн параметров с INT4-пакетом 173 МБ, которая, по замерам самой команды, выдаёт около 350 токенов в секунду на iPhone 18 Pro полностью офлайн.
Читать