MiniMax заявила, что M3.1 Flash снизила стоимость агентных задач на 70% относительно предыдущего поколения. Но спорят сейчас и о другом: в одной проверке модель ответила на изменённый вопрос так, будто важное условие осталось прежним. Подтверждений, что модель намеренно подгоняли под тесты, нет. Для выбора модели под реальные задачи этого наблюдения достаточно, чтобы проверить её на своих сценариях.
Китайское издание 数智奔流 в материале для 钛媒体 разбирает сразу две темы: сильные результаты M3.1 Flash и подозрение, что часть оценок могла зависеть от знакомых модели заданий. Цифры цены и бенчмарков можно измерить. Версия о «зазубривании» пока остаётся подозрением.
MiniMax M3.1 Flash стала дешевле, но спор начался не из-за цены
M3.1 Flash вышла 19 октября. Независимый оценщик Artificial Analysis присвоил ей 42 балла по общему индексу интеллекта. Это на 13 баллов больше, чем у M3, выпущенной в июне, и на 3 балла меньше, чем у DeepSeek V4.1 Flash-1017.
MiniMax говорит, что улучшила модель для кодинга, многошаговых агентных задач и работы с компьютером. Компания также заявляет почти трёхкратный рост скорости онлайн-инференса и снижение общей стоимости агентных задач на 70%. В официальном API миллион входных токенов стоит $0,15, миллион выходных — $0,60. Это цены в долларах, без пересчёта в рубли.
В сравнении Artificial Analysis один тестовый прогон обошёлся M3.1 Flash примерно в $0,22. Для M3 оценка составила $0,51, для DeepSeek V4.1 Flash-1017 — $0,26. В этом сценарии MiniMax оказалась дешевле обеих моделей. На другие рабочие процессы эти цифры автоматически не переносятся: расход зависит от задачи и числа токенов.
| Модель | Средняя стоимость одного задания по данным AA |
|---|---|
| MiniMax M3.1 Flash | около $0,22 |
| MiniMax M3 | около $0,51 |
| DeepSeek V4.1 Flash-1017 | около $0,26 |
За первые 72 часа модель обработала более 100 трлн токенов, пишет издание. К 25 октября бесплатная версия набрала около 13,7 трлн токенов в семидневном рейтинге OpenRouter и заняла третье место. Вызовов много, но это ещё не показатель качества ответов.
У модели была предыстория. В сентябре анонимная Space Bunny Alpha десять дней подряд занимала первое место по числу вызовов на OpenRouter и набрала 56,7 трлн токенов. 19 октября MiniMax подтвердила, что Space Bunny была ранней версией M3.1 Flash. За время анонимного тестирования она обработала больше 200 трлн токенов. 23 октября компания открыла веса модели, а 24 октября на официальной странице MiniMax Code появилась инструкция по работе с GA-релизом и контекстное окно на 1 млн токенов.
Изменили условие задачи — MiniMax оставила прежний ответ
Первым об этом написал блогер-оценщик «猫老板» — Мао Лаобань. Его фразу можно перевести так: «Старые задачи почти на максимум, новые — почти на ноль». Он ведёт частный рейтинг «致知», где проверяют логику, математику и код. По описанию издания, задания там включают поиск причины в серверных логах, прокладку маршрута с ограничениями и выведение правил игры.
В рейтинге оставляют старые задания и добавляют новые. Каждое модель решает трижды; проверяют и ответ, и ход рассуждений. Мао Лаобаня насторожил и расход токенов: в среднем на задачу уходило больше 40 тысяч, хотя некоторые сложные задачи модель решала примерно за 10 тысяч. Эти наблюдения не объясняют, почему модель отвечала именно так. Но разрыв между результатами на старых и новых заданиях блогер счёл странным.
Блогер Binkg провёл отдельную проверку. Он взял открытый вопрос Artificial Analysis о планировании производства и поменял важные условия. В исходном задании спрашивали о долгосрочном планировании потребностей в ресурсах для новых заводов. Ответ — RRP. В изменённой версии речь шла о среднесрочном планировании людей, оборудования и мощностей для выполнения основного производственного плана. Здесь правильный ответ — RCCP.
По результатам Binkg, DeepSeek V4.1 Flash-1017 и Gemini 4 Argon переключились на RCCP. M3.1 Flash ответила на английском и сохранила прежний вариант — RRP. Авторы материала повторили тест: на английском MiniMax снова дала старый ответ, зато в новом диалоге на китайском ответила правильно. В той же проверке на китайском справились DeepSeek и Doubao.
Один такой случай ещё не доказывает, что модель выучила конкретный бенчмарк. Причина может быть в ошибке рассуждения, знакомой формулировке, реакции на язык или случайном разбросе. В материале прямо сказано: подтверждений в виде журналов запросов или данных обучения нет.
56,2% правильных ответов не означают, что модели можно доверять вслепую
В тесте AA-Omniscience M3.1 Flash набрала 56,2% правильных ответов. У предыдущей M3 было 16,7%. У теста есть важное правило: за правильный ответ начисляют баллы, за неправильный — снимают. Частичный ответ или отказ от ответа не меняет счёт. Перед проверкой модель предупреждают: если не уверена, лучше пропустить вопрос.
При таком подсчёте показатель галлюцинаций M3.1 Flash составил 92,8%. Это не доля всех вопросов, на которые модель ответила неверно. По объяснению авторов публикации, если грубо пересчитать округлённые значения на 100 вопросов, примерно на 56 модель ответила правильно, примерно на 41 — ошиблась, а примерно на 3 дала частичный ответ или отказалась отвечать. Значение около 93% — доля ошибок среди оставшихся примерно 44 вопросов.
| Модель | Правильные ответы в AA-Omniscience | Галлюцинации |
|---|---|---|
| MiniMax M3.1 Flash | 56,2% | 92,8% |
| MiniMax M3 | 16,7% | 18,4% |
Похоже, M3.1 Flash стала отвечать на гораздо больше вопросов, но чаще ошибаться, чем отказываться. У M3 показатель галлюцинаций был 18,4%. Правильных ответов стало больше, однако для практики важен другой момент: подходит ли модель для задачи, где уверенная ошибка обойдётся дороже, чем пропуск.
В другом тесте результат сильнее. В совместной проверке Plotly и исследователей Mila модель решила 41 задачу из 43. Условия имитировали работу с аналитикой: модели дали данные о ветроэнергетике на 20 млн строк, а затем попросили самостоятельно делать запросы и отвечать на вопросы. Часть заданий специально опиралась на отсутствующие сведения. Например, модель просили вычислить выработку солнечной энергии по набору данных только о ветре. Так проверяли, заметит ли она нехватку данных или начнёт додумывать.
Ранняя Space Bunny находила две из пяти специально спрятанных закономерностей, M3.1 Flash — все пять. Но медианное время решения одной задачи выросло с 36 секунд до 3 минут. Один балл тут мало что расскажет: важны и точность, и склонность выдумывать, и время со стоимостью.
Проверять модель стоит на новых задачах, а не только на красивом рейтинге
Для креатора или небольшой команды M3.1 Flash не обязательно вычёркивать из списка. Она может подойти для многошаговых рабочих процессов, кодинга и аналитики, где важны цена и скорость вызовов. Перед тем как отдавать ей задачу без проверки, я бы прогнал небольшой набор своих сценариев.
- Возьмите несколько рабочих задач и сохраните исходные условия.
- Переформулируйте одну из них: измените важное ограничение, а не только слова вокруг него.
- Проверьте задачу на русском и английском в отдельных новых диалогах.
- Записывайте, где модель ошиблась или пропустила ответ, сколько потратила токенов и времени.
- Для важного результата просите показать основания и сверяйте их с исходными данными.
Если агент помогает готовить раскадровку или анализировать таблицу, поменяйте в тестовом задании одну опорную деталь: срок, формат кадра, доступный ресурс или число вариантов. Проверьте, изменился ли вывод вслед за условием. Такой прогон быстро покажет, как модель ведёт себя на ваших задачах. Он не заменит научный бенчмарк.
Тот же запрос на генерацию GIF
В публикации MiniMax и DeepSeek дали одинаковые две картинки-референса и одну задачу: сделать GIF с котом и драконом длительностью около четырёх секунд. DeepSeek выдала ролик примерно на 6,2 секунды. Образы сохранились, но движения было мало. M3.1 Flash сделала ролик около четырёх секунд с большим количеством движения, однако кот и дракон отличались от референсов. После просьбы переделать MiniMax предложила горизонтальный и вертикальный варианты. Одежду кота она описала как сохранённую, хотя лицо и костюм всё ещё не совпадали с исходником.
Здесь отдельно проверяются длительность, сходство персонажей и связность движения. В другом опыте авторы выбрали инструмент генерации видео MiniMax H3 и попросили повторить первые пять секунд исходного ролика — с персонажами, камерой и музыкой. По их описанию, результат соответствовал референсу. Это другой сценарий, его не стоит смешивать с попыткой сделать GIF по двум картинкам.
Запрос из материала можно взять за основу для проверки видео по референсам. Подставьте свои изображения, поменяйте героя, одежду и действие, но явно попросите сохранить исходный образ и связать движения.
薄雾草地上，一只戴粉色蝴蝶结、穿银甲、披白披风的橘猫握剑站立，巨龙低头靠近、张嘴咆哮。保留参考形象，突出体型反差，动作自然连贯，直接交付可播放的GIF动图。Из чего собран промт
- сценатуманный луг на фоне
薄雾草地上 - персонажиоранжевый кот с розовым бантом, в серебряных доспехах и белом плаще
一只戴粉色蝴蝶结、穿银甲、披白披风的橘猫 - действиестоит, держа меч
握剑站立 - действиедракон приближается, опустив голову, и рычит
巨龙低头靠近、张嘴咆哮 - параметрысохранить внешний вид по референсу
保留参考形象 - параметрыподчеркнуть разницу в размерах персонажей
突出体型反差 - действиеестественные и плавные движения
动作自然连贯 - форматсразу выдать воспроизводимую GIF-анимацию
直接交付可播放的GIF动图
Открытые веса помогут перепроверить выводы, но не раскроют всё
После открытия весов 23 октября исследователи могут запускать модель без онлайн-интерфейса MiniMax. Это облегчает независимую проверку. Но веса не раскрывают данные обучения: по материалу, состав тренировочного набора не опубликован. Поэтому по одному релизу нельзя понять, откуда взялся конкретный ответ.
Попробовать модель можно через MiniMax Code: на официальной странице GA предлагают выбрать M3.1 Flash, проверить доступ аккаунта и добавить нужные исходные файлы. Для старта этого хватит. Скорость и стоимость всё равно придётся измерить на своём процессе.
У модели есть сильные результаты и низкая заявленная стоимость. Вопросы к устойчивости ответов тоже остались. Для рабочего выбора важен не один рекорд, а то, повторит ли модель качество на новых условиях.
M3.1 Flash выглядит интересной для задач, где важны дешёвые многошаговые вызовы. Но в рабочем процессе новый вопрос — обычный вторник, а не исключение из теста.
Источники
MiniMax M3.1 Flash: Redefining Agent Performance and Cost — MiniMax
MiniMax M3.1 Flash陷刷榜争议：老题接近满分，新题几乎零分 — 动察 Beating
MiniMax M3.1 Flash is Now Generally Available — MiniMax Code Tools
Источникtmtpost.com
