Бесплатный AgnesCode получил инженерную задачу, на которой легко провалиться даже сильному Coding Agent: оптимизировать оператор для DeepSeek-V3 и запустить его на восьми разных чипах. В китайском тесте он прошёл шесть из восьми платформ. Codex — семь.

Но цифры получились неожиданными. На пяти чипах, которые прошли оба агента, AgnesCode показал более высокое ускорение в четырёх случаях. На международном чипе B результат составил 4.81× против 3.71× у Codex. Разница — около 29.6% в пользу бесплатной связки.

Интерфейс Agnes с выбором моделей и полем запроса — рабочая среда продукта, проверенного в материале.Источник: leiphone.com

Сразу важная оговорка: это один эксперимент редакции Leiphone, а не независимый бенчмарк. Поэтому перед нами не доказательство, что AgnesCode заменяет Codex. Скорее хороший сигнал: бесплатный агент уже можно отправлять на задачи посложнее вёрстки лендингов.

Что именно проверяли у AgnesCode

Авторы 吴海明 и 曹PP взяли задачу из второго сезона конкурса 众智 FlagOS. Это соревнование вокруг оптимизации операторов SGLang на разных чипах. В описании теста говорится о более чем 200 задачах, которые публикуются партиями, а участники видят их только в течение текущей недели.

Китайская иллюстрация с заголовком «ИИ работает — кто оплачивает счёт?» показывает ленты с кодом и рабочее место, связанное с применением ИИ в разработке.Источник: leiphone.com

Такой выбор нужен не для красивого графика. Обычные тесты на создание сайтов или исправление типового бага могли попасть в обучающие данные моделей. Свежая задача конкурса больше похожа на экзамен с неизвестным билетом.

Конкретно агенты решали Task66: dsv3_fused_a_gemm. Это оператор для этапа декодирования DeepSeek-V3. Он выполняет объединённую проекцию QKV-A: перемножает входные признаки с весами и подготавливает данные для дальнейшего attention.

Если перевести с языка низкоуровневой разработки на более понятный: маленький кусок кода вызывается огромное количество раз во время генерации каждого ответа. Ускорение одного оператора на несколько процентов может повлиять на задержку, загрузку памяти и стоимость инференса.

Именно поэтому этот тест интереснее обычного Coding Benchmark. Агенту нужно написать код, прочитать ограничения, собрать решение, адаптировать его под разные бэкенды, прогнать проверки и отдать пакет в формате, который примет автоматическая система.

AgnesCode против Codex: результат оказался неоднозначным

Обе связки работали в одинаковой среде и получили одинаковый Skill с правилами конкурса: как назвать файлы, какие функции использовать, как упаковать результат и обновить записи о разработке.

Страница китайского соревнования по оптимизации операторов SGLang на разных чипах, тематически связанная с инженерным тестом AgnesCode.Источник: leiphone.com

AgnesCode использовал бесплатную Agnes 3.0 Flash. В качестве соперника взяли Codex с GPT-5.6 Sol. По данным авторов теста, полная связка AgnesCode + Agnes 3.0 Flash доступна без оплаты. Отдельный анонс Agnes AI также заявляет бесплатный API-доступ к Agnes 3.0 Flash и возможность использовать модель внутри AgnesCode.

По скорости победа ушла Codex. Он выдал готовый результат за 8 минут 57 секунд. AgnesCode потратил 20 минут 36 секунд. Причём во второй части теста он 7 минут 10 секунд не выдавал ответ, после чего тестировщик отдельно его поторопил. Ещё через 13 минут 26 секунд агент подготовил код для разных бэкендов.

Но после этого AgnesCode всё-таки прошёл полный маршрут: реализация, адаптация под чипы, самопроверка, упаковка и отправка на оценку. Codex оказался более быстрым и ровным. AgnesCode — менее предсказуемым по процессу, зато сильным на части конкретных бэкендов.

Цифры по восьми чипам

Официальная автоматическая проверка конкурса дала такой расклад: Codex прошёл семь платформ из восьми, AgnesCode — шесть. На пяти платформах результаты пересеклись.

Страница китайского конкурса FlagOS с картой из 200+ задач оптимизации операторов, связанных с инженерным сравнением AgnesCode и Codex.Источник: leiphone.com

На четырёх из этих пяти чипов ускорение AgnesCode оказалось выше. В статье отдельно приведены такие значения:

• международный чип B: 4.81× у AgnesCode против 3.71× у Codex; • 天数智芯: 2.16× против 1.72×; • 昆仑芯: тест прошёл только AgnesCode, ускорение составило 2.56×; • всего AgnesCode принял участие в результате на шести чипах, Codex — на семи.

Почему это важно для креаторов и студий

Но логика очень близка к нашим пайплайнам. У студии тоже есть задачи, где агенту нужно не красиво поговорить, а довести процесс до конца: обработать папку с кадрами, найти ошибку в скрипте рендера, переписать батч-конвертацию, проверить зависимости, прогнать тест и сохранить результат в нужной структуре.

Я бы начинал с узкого участка, где есть понятный вход и проверяемый выход. Просьба «сделай мне всю автоматизацию» для первого теста слишком размыта.

Например:

1. Соберите маленький тестовый набор файлов. 2. Опишите ожидаемый результат: имена файлов, формат, разрешение, длительность, число кадров. 3. Разрешите агенту менять только отдельную папку или ветку проекта. 4. Добавьте команду проверки результата. 5. Сравните AgnesCode с привычным платным агентом на одинаковом сценарии. 6. Замерьте качество и время до готового файла.

Такой подход особенно полезен для повторяющихся задач: подготовка ассетов, транскрибация, ресайз, конвертация, сборка превью, запуск рендера и проверка папок перед передачей клиенту. Если критерий успеха можно превратить в тест, бесплатный агент получает шанс.

Где у бесплатной связки слабое место

Первый косяк — скорость. 20 минут 36 секунд против 8 минут 57 секунд — это больше чем в два раза дольше. На дешёвом эксперименте терпимо. На сотнях задач или в работе с жёстким дедлайном уже нет.

Второй — покрытие платформ. AgnesCode не прошёл две из восьми проверок, тогда как Codex не прошёл одну. Более высокое ускорение на отдельных чипах не отменяет провал на остальных.

Третий — стабильность доставки. Авторы отдельно отмечают проблемы с входными именами, форматом提交 и другими деталями финальной сдачи. Такие мелочи не выглядят умно на графике, но именно они решают, примет ли система результат.

В статье также приводятся данные Artificial Analysis: Agnes 3.0 Flash якобы набирает 36 баллов в Intelligence Index, рядом с GPT-5.6 Luna с 38 баллами, а стоимость оценивается примерно в $0.03 за миллион токенов. Эти цифры показаны авторами со ссылкой на график AA, но независимую проверку в доступных материалах я не нашёл. Воспринимаю их как заявленные данные, а не как окончательный рейтинг.

Что проверить самому перед переходом

Если у вас уже есть AgnesCode, я бы начал с практической проверки, а не с попытки сразу заменить основной AI-инструмент. Проверьте четыре вещи:

• может ли агент редактировать файлы без ручного копирования между чатами; • умеет ли он запускать ваши команды и читать ошибки; • доводит ли задачу до готового артефакта, а не до набора советов; • сколько попыток можно сделать до того, как бесплатный доступ упрётся в лимиты или станет слишком медленным.

Для честного сравнения используйте одну задачу, одинаковые файлы и одинаковый критерий приёмки. Запишите время старта, число ручных вмешательств, количество ошибок и финальный результат. Только так станет понятно, где экономия реальная, а где вы просто бесплатно оплачиваете процесс своим временем.

Пайплайны для AI-задач собираю в Workflow

Источники

Agnes 3.0 Flash is Live

Источникleiphone.com