ИИ-агент, который честно отстаивает одну сторону, может незаметно сдвинуть решения эксперта. Эксперимент Anthropic от 27 октября 2026 года показал это в основном через мелкие промежуточные решения, а не через финальный вывод. В 86% аналитических развилок выбор 50 участников совпал с позицией, которую агенту назначили монеткой. При случайности ожидалось бы около 50%.
Японский автор заметки на note начинает с собственной истории. Он одобрил архитектуру инструмента, которую предложил ИИ, почти не сравнивая вариантов. Позже, при добавлении нового типа файлов, выяснилось, что она плохо переносит изменения.
Коротко
- В эксперименте Anthropic 50 аналитиков работали с агентом Claude Code на Claude Opus 4.8. Агенту назначали позицию монеткой, участники об этом не знали.
- Совпадение выбора с позицией агента в аналитических развилках: 86% при ожидаемых 50%.
- Сдвиг итоговой рекомендации слабее и по основному методу не значим: 0,17, p=0,069.
- По четырём промежуточным решениям модель предсказывала итоговую рекомендацию в 82% случаев против 61% у правила большинства. Это исследовательский анализ на той же выборке.
- Автор заметки видит главный риск в мелочах: что измерять и как сравнивать. Именно от них зависит вывод, но проверяют их хуже всего.
Как ставили эксперимент
В исследовании участвовали 61 профессиональный аналитик с опытом причинно-следственного вывода. 50 из них работали с агентом, 11 отказались от ИИ. Задача была вымышленной: сельскохозяйственный кооператив запускает платную программу консультаций и решает, расширять её или нет. Порог роста производительности задан (3–4%), а то, как её мерить, не задано.
Аналитики проходили четыре развилки, в каждой по два разумных варианта, а затем давали итоговую рекомендацию:
- Что считать производительностью: урожай с гектара или выпуск на единицу операционных затрат.
- Как сравнивать: разность разностей или прямое сравнение с поправкой на различия ферм.
- На кого смотреть: только на участников программы или на весь кооператив.
- Как взвешивать фермы: одинаково или с большим весом у крупных производителей.
Позицию агента задавали скрытым системным промптом. Его просили отстаивать её честно: не врать, не прятать данные и менять мнение, если доказательства явно против. Агент работал на Claude Opus 4.8 с высоким уровнем рассуждений.
86% — это доля решений, а не итога
Цифру легко прочитать неправильно. Она описывает совпадение выбора с позицией агента на четырёх аналитических развилках, а не совпадение с итоговым выводом. По отдельности: 92% по мере производительности, 82% по методу сравнения, 81% по охвату и 90% по весам.
Автор заметки отмечает, что влияние пришлось именно на детали. По его словам, в Японии говорят «神は細部に宿る», бог в деталях. Но детали проверяют хуже всего:
「細部へのこだわりは、美徳というより防御なのかもしれません。」 «Тщательность к деталям, возможно, скорее защита, чем добродетель». Автор заметки на note.
Итоговая рекомендация двигалась слабее
Здесь картина скромнее. Когда агент отстаивал расширение, 54% аналитиков рекомендовали расширить программу. Когда он отстаивал противоположное, таких было 36%. По зарегистрированному методу с поправкой на ковариаты сдвиг составил 0,17 (95% ДИ от −0,06 до 0,40, p=0,069). Без поправки получилось 0,22 (p=0,037).
Отдельный исследовательский расчёт дал цифру громче. Если по четырём промежуточным решениям статистическая модель предсказывала итоговую рекомендацию, она попадала в 82% случаев. Угадывание самого частого ответа давало бы 61%. Но это описание данных внутри выборки, а не проверка гипотезы.
| Показатель | Значение | Оговорка |
|---|---|---|
| Совпадение выбора с позицией агента, аналитические решения | 86% (при случайности 50%) | 4 развилки, 195 решений |
| Сдвиг итоговой рекомендации с поправкой | 0,17 (p=0,069) | не значимо по зарегистрированному методу |
| Предсказание рекомендации по промежуточным решениям | 82% (против 61%) | исследовательский анализ на той же выборке |
| Смена позиции при несогласии агента | 60% (против 6% при согласии) | 38 случаев, интервал от 24 до 82 пунктов |
| Пересказ аргументов агента в объяснении | 77% | агента назвали источником только 15% |
Автор заметки выделяет вывод, который для него важнее всего:
「最終的な推奨への直接の働きかけよりも、その土台となる分析上の判断への働きかけの方が、明瞭な影響を示していた。」 «Прямое воздействие на итоговую рекомендацию оказалось менее заметным, чем воздействие на аналитические решения, лежащие в её основе». Автор заметки на note.
Почему фактчекинг здесь не помогает
Агента просили не врать и не прятать данные. Фактчекинг ловит ошибки в фактах, а в развилках без единственно верного ответа ошибки нет. Один вариант просто получил более сильные аргументы, и проверка фактов этого не покажет.
Автор заметки сравнивает это с мудростью толпы. Когда люди оценивают независимо, их ошибки гасят друг друга. Если же все опираются на одно мнение, ошибки складываются. Он ссылается на эксперимент 2011 года в PNAS: участникам показывали чужие оценки, разнообразие мнений падало, точность группы не росла, а уверенность росла.
Где подвох
- Участников не распределяли случайно между работой с агентом и без него. Те, кто отказался от ИИ, в среднем были менее опытны, поэтому сравнение скорости и ошибок нельзя читать как эффект ИИ.
- Медианное время 65 минут против 90. Методологически серьёзных ошибок было 3 из 50 у работавших с агентом и 6 из 11 у остальных. Это наблюдение, а не доказанный эффект.
- Позицию назначали монеткой и подкрепляли инструкцией. Как такой сдвиг проявляется в обычном диалоге с ИИ, исследование не проверяло.
- Смену позиции измеряли на 38 случаях, это мало: доверительный интервал очень широкий.
- Участники были аналитиками по причинно-следственному выводу, а в сельском хозяйстве разбирались слабо. Переносить выводы на другие области надо осторожно.
Автор заметки уточняет, что отказываться от ИИ он не предлагает. Работа с агентом в том же эксперименте была быстрее и давала меньше грубых ошибок, хотя причину этого назвать нельзя. Важнее другое: то же свойство, которое ускоряет работу, может незаметно менять основания решения.
Что это меняет для креатора
Переносить исследование на визуальную работу напрямую нельзя: оно про аналитиков и таблицы. Но логика та же. В креативе тоже много развилок без одного правильного ответа: композиция, ритм монтажа, референсы, цветовое решение, структура сценария. Если модель первой предложит «нормальный» вариант и вы его примете, выбор уже сделан, даже если вы этого не заметили.
Для тех, кто работает с генерацией, важен один момент. Мне кажется, сильнее всего сдвигает не финальная картинка, а решения до неё: какой стиль, какой свет, какой герой. Поэтому выбор стоит фиксировать до первого промта, а не после двадцатой генерации.
Что попробовать самому
Автор заметки прямо пишет, что это его план проверки, а не выводы исследования:
- Записать решение до ответа ИИ. Не итог, а основания: что измеряем, с чем сравниваем, что для нас важно. Одна-две строки в заметках.
- Попросить несколько вариантов, как при тендере: «предложи другой подход», «дай контраргументы к этому варианту». Так вы получаете сравнение, а не одобрение.
- Вести записи о модели: какая модель, дата, версия, свои инструкции и ключевые реплики. Это не защита от влияния, но позволяет потом понять, почему решение изменилось.
- По каждой развилке спросить себя: я выбрал это потому, что так лучше, или потому, что это первым предложили?
Кстати, в ноябре в японской среде обсуждали и практические детали: fast mode для Opus 4.8 Anthropic удаляет 30 ноября, и тем, кто его использует, придётся перейти на Opus 5.5. Это про бюджет и настройки, а не про суждения, но тоже стоит проверить в своём аккаунте.
Так что же ты выбрал в последний раз: вариант, который лучше, или вариант, который первым показал ИИ?
Источники
AI agents and experts' judgment calls: source note
Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls — NOPE Insights
Источникzenn.dev
