LeiFeng сравнила GPT 6.1 Sol и Claude Sonnet 5.5 на трёх задачах через Claude Code CLI. При одинаковом тарифе API Sol обошёлся в $38,5, Sonnet — в $10,9. Разница примерно в 3,5 раза. А скорость менялась от задания к заданию.
Это тест редакции LeiFeng, здесь я собрал и перевёл их результаты для креаторов. Важно помнить про рамки эксперимента: три задачи, один инструментальный контур и один канал вызова моделей. Получился конкретный срез, не универсальный рейтинг.
Одинаковый тариф, разный счёт
LeiFeng вызывала обе модели через одного поставщика на OpenRouter и запускала их в Claude Code CLI. Модели могли искать в интернете, читать и записывать файлы, запускать команды и работать с браузером. Тариф за миллион токенов совпадал: $2 за входные и $10 за выходные.
За три задания GPT 6.1 Sol набрал $38,5, Claude Sonnet 5.5 — $10,9. Совпадали ставки за токены, а расход различался. На него влияли объём работы агента, число действий, длина процесса и глубина проверки. В счёте видна и работа по дороге к ответу.
LeiFeng описывает Sol как «трудоголика глубокой работы», который продолжает проверять, а Sonnet — как «эффективного авангардиста повседневных задач», быстрее выдающего рабочий результат. Образ меткий. Агент может потратить заметную часть бюджета на проверки и дополнительные действия.
Sol быстрее в 3D-игре, Sonnet — в исследованиях
Первое задание — браузерная 3D-игра на Three.js. В ней нужны были три комнаты, шесть взаимодействующих предметов, цепочка загадок и возможность пройти игру от начала до конца. От модели ждали код, проверку прохождения и описание действий с обратной связью.
Sol сделал игру «余光 / AFTERLIGHT» в стиле ретро-дежурки. В ней были инвентарь, переключатель звука и подсказка с текущей целью. Загадки связывали предохранитель с питанием, карту доступа с терминалом, а ключ — с выходом. Разработка и прохождение заняли 33 минуты 37 секунд.
Sonnet собрал сдержанную серую тюрьму с комнатой электрики. Игрок доставал отвёртку из-под матраса, открывал вентиляцию и находил ключ, карту и батарею. По оценке редакции, загадки лучше сохраняли ощущение тайны, а ключ и замочная скважина выглядели убедительнее. Зато работа с Playwright, браузерными зависимостями и низкой частотой кадров затянула прохождение до 74 минут 32 секунд.
| Задача | GPT 6.1 Sol | Claude Sonnet 5.5 |
|---|---|---|
| 3D-игра | 33 мин 37 сек | 74 мин 32 сек |
| Исследование политики | 54 мин 50 сек | 5 мин 11 сек |
| Научпоп о химии | 65 мин 41 сек | 12 мин 54 сек |
В двух следующих заданиях быстрее оказался Sonnet. В расследовании актуальной политики нужно было найти первичные источники, составить таблицу проверки утверждений и разобрать возможные последствия для китайских компаний и исследователей. Sonnet подготовил отчёт за 5 минут 11 секунд. Sol затратил 54 минуты 50 секунд.
Результаты тоже отличались по объёму. Sol собрал 14 файлов: отчёт, записи о проверках, официальные документы и контрольную сумму SHA-256 для проверки целостности файлов. Пять основных выводов авторы теста проверили по трём направлениям — всего они зафиксировали 15 проверочных суждений.
Sonnet быстрее составил карту темы. В его отчёте были таблица из 12 пунктов, три возможных эффекта и пять вводящих в заблуждение заголовков. Он также заметил расхождение между формулировками американской и китайской сторон.
Последнее задание объединило научпоп о Нобелевской премии по химии 2026 года, одностраничную HTML-демонстрацию и проверку фактов. Sol подготовил пакет из 42 файлов: документы, интерактивную страницу и скрипты проверки. Sonnet уложил результат в пять файлов и предложил три режима демонстрации: одиночную реакцию, несколько последовательных циклов и случайный выбор направления.
По этим заданиям видно, на что Sol тратит время и токены: собирает материалы, проверяет их и запускает реализацию в браузере. Sonnet чаще останавливается на компактном результате, с которым уже можно работать. Черновик и пакет для аудита — разный уровень готовности.
Считайте стоимость готовой задачи
Для студии или креатора полезнее считать стоимость завершённой задачи, а не одного токена. В коротком прототипе смотрите, сколько времени проходит до рабочей версии и сколько исправлений нужно. Для фактчека проверьте, есть ли ссылки на первоисточники, архивы и понятная история проверки.
- Для веб-демо, интерактивного прототипа или первого отчёта возьмите обычное задание и сравните, сколько занимает полный цикл.
- Для фактчека заранее задайте требования к источникам и проверке цитат. Попросите модель отмечать сомнения, чтобы быстрый текст не приняли за проверенный.
- Если результат пойдёт клиенту или в публикацию, проверьте браузер, ссылки и спорные утверждения. Самоотчёт агента проверку не заменит.
- Запишите сумму и время, а ещё состав результата: черновик, готовый файл, тестирование, архив или журнал действий.
Сравнить модели можно на одной типовой задаче из вашей работы. Дайте им одинаковые вводные и инструменты, заранее определите, что считать готовым результатом. Например, страница открывается и её можно пройти, а у каждого спорного утверждения есть первичный источник. Затем сравните время, счёт и объём ручной доработки.
Глубокая проверка может затянуться
В тесте Sol оказался быстрее в игре, а Sonnet — в двух исследовательских заданиях. На результат влияли возможности моделей, инструменты, среда запуска, правила проверки и момент остановки. Тут интересно смотреть на весь процесс, а не только на итоговый ответ.
У тщательной проверки тоже есть предел. Большое число проверок само по себе не гарантирует независимость доказательств. Авторы теста отдельно предупреждают: многоступенчатая проверка не становится автоматически независимой. А короткий путь может оставить без проверки работу браузера, нужные документы или другие части задачи.
Я бы не просил агента «проверить всё как можно тщательнее». Лучше задать понятный предел: какие источники нужны, какие файлы сохранить, что проверить в браузере и когда остановиться. Для визуального прототипа подойдёт короткий чек-лист прохождения. Для исследования — список основных тезисов с первоисточником у каждого.
Это сравнение полезнее очередного рейтинга моделей. Sonnet 5.5 быстрее выполнил два исследовательских задания и обошёлся дешевле по сумме. GPT 6.1 Sol глубже задокументировал работу и быстрее сделал 3D-игру. Для своей связки стоит проверить весь процесс: сколько действий делает агент, что он подтверждает и в какой момент останавливается.
Тариф за токен одинаковый. Но стоимость задания зависит и от маршрута, который агент выбирает к результату.
Источникleiphone.com
