Автор Zenn поручил Claude Haiku 5.5 и Sonnet прочитать файлы и коротко пересказать статистику его X-аккаунта. Haiku верно обработал данные во всех пяти запусках. Sonnet каждый раз путал число аккаунтов, на которые автор подписан, с числом его подписчиков. Тест небольшой, но для тех, кто автоматизирует отчёты, тут есть что проверить у себя.
В пяти прогонах Haiku верно прочитал CSV, Sonnet — нет
Задача была из повседневной работы: Claude Code получает четыре файла о побочном X-проекте автора. Это CSV с показателями постов, записи о популярных публикациях, список аккаунтов, на которые он подписан, и заметки о возможных новых подписках. На выходе нужна пятистрочная сводка за утро.
Автор запустил обе модели по пять раз. Трижды попросил составить обычную сводку, один раз ограничил ответ 200 знаками, а в последнем запуске оставил только CSV и попросил оценить динамику подписчиков и самый успешный пост. Файлы модели читали через инструменты, запускали их в режиме claude -p.
| Модель | Результат в пяти прогонах | Что заметил автор |
|---|---|---|
| Claude Haiku 5.5 | 5 раз прочитал данные верно | Учёл примечание о возможной путанице с показами |
| Sonnet | 5 раз повторил одну ошибку | Принял число подписок за число подписчиков |
В файле было 12 аккаунтов, на которые подписан автор, и один его подписчик. Sonnet каждый раз принимал первое число за второе. Получив только CSV, модель уверенно предположила, что автор неправильно заполнил колонку followers_total.
«Я думал, что выйдет наоборот: окажется, будто я просто неправильно запомнил первый результат» — автор Zenn о повторной проверке.
Haiku верно прочитал числа и заметил небольшую пометку в файле: утренние 9 показов могли относиться к закреплённому посту. Поэтому модель предупредила, что эти данные трудно считать показателями отдельной публикации. Автор пишет, что эта деталь его немного впечатлила.
Пустые ячейки могут сделать сводку уверенно неверной
Автор связывает ошибку Sonnet с пустыми ячейками в CSV. В одной строке не было значения в колонке кликов по профилю. По его наблюдению, модель из-за этого неверно прочитала соседние поля. Это объяснение автора теста, а не отдельная проверка того, как именно Sonnet разбирал CSV.
Для креатора риск понятный. Отдаёте нейросети выгрузку постов, расходов или результатов рекламных креативов — и получаете сводку с цифрой не из той колонки. Текст может звучать убедительно, а ошибку легко перенести в отчёт, план публикаций или решение о следующем запуске.
Перед загрузкой CSV проверьте его структуру. Пустое поле само по себе не обязательно сдвинет столбцы, но модели может быть сложнее прочитать такую таблицу.
- Сверьте заголовки колонок с данными и проверьте, что в строках одинаковое число столбцов.
- Проверьте пустые поля, от которых зависит сводка.
- Сравните ключевые цифры в ответе с исходной таблицей до публикации или передачи клиенту.
- Укажите в запросе нужные колонки и попросите модель отметить пропуски и неоднозначные строки.
Последний пункт — мой практический совет, его в эксперименте Zenn не проверяли. Такая просьба не гарантирует точный ответ, зато может подсветить сомнительные места. Для регулярного отчёта я бы разделил работу: сначала проверить извлечённые числа, потом попросить модель объяснить, что они значат.
Пять успешных запусков — повод проверить модель на своих данных
У теста простые границы: один автор, его файлы и пять запусков на модель. На этой задаче Haiku справился лучше. Но по такому результату нельзя судить, какая модель точнее на любых таблицах или лучше делает сложные выводы.
Задача была узкой: прочитать файлы, извлечь цифры и составить короткий отчёт. Автор не проверял анализ стратегии аккаунта, прогнозы или генерацию идей. Думаю, полезный вывод тут такой: рутинное чтение таблиц стоит отдельно проверить на небольшой модели, прежде чем отправлять его на более крупную.
Раньше Haiku казался автору медленнее. При повторном сравнении он заметил, что прежний ответ модели был примерно в восемь раз длиннее. В новом тесте вывод оказался примерно вдвое короче, а время работы — почти одинаковым. Это наблюдение автора о своих запусках, не замер скорости моделей по единой методике.
Для короткого ответа задавайте число предложений, а не строк
В тесте проверили и формат ответа. Ограничение «до 200 знаков» помогло уложить сводку в пять строк, но предложения всё равно вышли длинными. Автор предполагает, что лучше ограничивать число предложений, а не строк.
Для отчёта по публикациям можно заранее задать формат: назвать главные цифры, отметить одну оговорку по качеству данных и закончить коротким выводом. Модель может иначе понять, что именно вы считаете компактным ответом. Проверьте формат на своих файлах.
Сторонний гайд Apidog указывает, что для доступа к Haiku 5.5 в Claude Code нужна версия 2.1.293 или новее. Запускать модель предлагают с именем claude-haiku-5-5. В том же гайде приведены API-тарифы для запросов до 100K токенов: $0.10 за миллион входных и $0.50 за миллион выходных токенов. Выше этого порога — $0.50 и $2.50 соответственно. Это тарифы API, а не стоимость конкретного прогона из теста.
Автор Zenn отдельно уточнил, что не указывает цену своих запусков: его локальная версия CLI устарела и показывала ненадёжные суммы. Он опирается на официальные тарифы, а не на собственный замер. По публикации нельзя сравнить стоимость пяти отчётов.
Я бы начал с одного повторяемого отчёта и нескольких файлов с разными типами строк. Затем сверил бы каждую цифру с оригиналом. Если небольшая модель стабильно справляется с извлечением данных, можно поручить ей эту рутину. Выводы и спорные места всё равно должен проверять человек. Haiku заслужил ещё один прогон — доверять ему вслепую пока рано.
Источники
Introducing Claude Haiku 5.5 — Anthropic
How to Use Claude Haiku 5.5 in Claude Code (and as Your Subagent Model) — Apidog
Источникzenn.dev
