AgnesCode отправили на задачу нижнего уровня: оптимизировать оператор, который используют при декодировании DeepSeek-V3. Потом агент должен был пройти автоматическую проверку на восьми чипах. В сравнении с Codex он работал медленнее, зато на общих платформах чаще добивался большего ускорения.

Тест провела редакция Leiphone. Это один эксперимент, а не независимый отраслевой бенчмарк. Но задача хорошо показывает, как AI-агент справляется с настоящей инженерной вознёй: пишет код, подгоняет его под разное железо и сдаёт результат по формальным правилам.

Что показал тест AgnesCode против Codex

Обе связки получили одинаковую среду и общий Skill с правилами конкурса. В них прописали имена файлов, функции, зависимости, упаковку результата и порядок сдачи. Для бесплатного варианта взяли AgnesCode + Agnes 3.0 Flash. Ему противопоставили Codex + GPT-5.6 Sol.

Codex подготовил результат за 8 минут 57 секунд и прошёл проверку на 7 из 8 чипов. AgnesCode затратил 20 минут 36 секунд. По ходу его ещё пришлось подтолкнуть. В итоге он прошёл 6 из 8 чипов.

На пяти чипах, где сработали обе связки, AgnesCode получил более высокое ускорение в четырёх случаях. На международном чипе B он показал 4,81× против 3,71× у Codex — примерно на 29,6% выше. На Kunlun тест прошёл лишь AgnesCode, с ускорением 2,56×.

Бесплатный агент не забрал весь тест. Зато показал, что при понятной задаче и жёсткой автоматической проверке ему уже можно отдавать часть инженерной работы.

Где AgnesCode теряет баллы

Дело оказалось в скорости и финальной приёмке. AgnesCode дольше шёл к результату и менее стабильно проходил проверку. Неправильное имя входа, лишняя зависимость или ошибка в упаковке легко обнуляют хороший код.

В этом запуске Codex был быстрее и ровнее. AgnesCode работал медленнее, зато выжал больше из части совместимых чипов. В проекте выбор зависит от цены ошибки. Нужен быстрый первый результат — преимущество у Codex. Есть время на несколько попыток — низкая стоимость AgnesCode уже выглядит интереснее.

Кому пригодится этот результат

Для генерации картинок и видео этот тест ничего не доказывает. AgnesCode от этого не становится лучшим инструментом для моушна, монтажа или промтинга. Но в студии могут пригодиться похожие проверки для своих скриптов: батч-рендера, транскрибации, конвертации файлов, проверки пайплайна и запуска утилит.