ИИ-агент, который честно отстаивает одну сторону, может незаметно сдвинуть решения эксперта. Эксперимент Anthropic от 27 октября 2026 года показал это в основном через мелкие промежуточные решения, а не через финальный вывод. В 86% аналитических развилок выбор 50 участников совпал с позицией, которую агенту назначили монеткой. При случайности ожидалось бы около 50%.

Японский автор заметки на note начинает с собственной истории. Он одобрил архитектуру инструмента, которую предложил ИИ, почти не сравнивая вариантов. Позже, при добавлении нового типа файлов, выяснилось, что она плохо переносит изменения.

Источник: anthropic.com

Коротко

Источник: substackcdn.com
  • В эксперименте Anthropic 50 аналитиков работали с агентом Claude Code на Claude Opus 4.8. Агенту назначали позицию монеткой, участники об этом не знали.
  • Совпадение выбора с позицией агента в аналитических развилках: 86% при ожидаемых 50%.
  • Сдвиг итоговой рекомендации слабее и по основному методу не значим: 0,17, p=0,069.
  • По четырём промежуточным решениям модель предсказывала итоговую рекомендацию в 82% случаев против 61% у правила большинства. Это исследовательский анализ на той же выборке.
  • Автор заметки видит главный риск в мелочах: что измерять и как сравнивать. Именно от них зависит вывод, но проверяют их хуже всего.

Как ставили эксперимент

В исследовании участвовали 61 профессиональный аналитик с опытом причинно-следственного вывода. 50 из них работали с агентом, 11 отказались от ИИ. Задача была вымышленной: сельскохозяйственный кооператив запускает платную программу консультаций и решает, расширять её или нет. Порог роста производительности задан (3–4%), а то, как её мерить, не задано.

Аналитики проходили четыре развилки, в каждой по два разумных варианта, а затем давали итоговую рекомендацию:

  1. Что считать производительностью: урожай с гектара или выпуск на единицу операционных затрат.
  2. Как сравнивать: разность разностей или прямое сравнение с поправкой на различия ферм.
  3. На кого смотреть: только на участников программы или на весь кооператив.
  4. Как взвешивать фермы: одинаково или с большим весом у крупных производителей.

Позицию агента задавали скрытым системным промптом. Его просили отстаивать её честно: не врать, не прятать данные и менять мнение, если доказательства явно против. Агент работал на Claude Opus 4.8 с высоким уровнем рассуждений.

86% — это доля решений, а не итога

Цифру легко прочитать неправильно. Она описывает совпадение выбора с позицией агента на четырёх аналитических развилках, а не совпадение с итоговым выводом. По отдельности: 92% по мере производительности, 82% по методу сравнения, 81% по охвату и 90% по весам.

Автор заметки отмечает, что влияние пришлось именно на детали. По его словам, в Японии говорят «神は細部に宿る», бог в деталях. Но детали проверяют хуже всего:

「細部へのこだわりは、美徳というより防御なのかもしれません。」 «Тщательность к деталям, возможно, скорее защита, чем добродетель». Автор заметки на note.

Итоговая рекомендация двигалась слабее

Здесь картина скромнее. Когда агент отстаивал расширение, 54% аналитиков рекомендовали расширить программу. Когда он отстаивал противоположное, таких было 36%. По зарегистрированному методу с поправкой на ковариаты сдвиг составил 0,17 (95% ДИ от −0,06 до 0,40, p=0,069). Без поправки получилось 0,22 (p=0,037).

Отдельный исследовательский расчёт дал цифру громче. Если по четырём промежуточным решениям статистическая модель предсказывала итоговую рекомендацию, она попадала в 82% случаев. Угадывание самого частого ответа давало бы 61%. Но это описание данных внутри выборки, а не проверка гипотезы.

ПоказательЗначениеОговорка
Совпадение выбора с позицией агента, аналитические решения86% (при случайности 50%)4 развилки, 195 решений
Сдвиг итоговой рекомендации с поправкой0,17 (p=0,069)не значимо по зарегистрированному методу
Предсказание рекомендации по промежуточным решениям82% (против 61%)исследовательский анализ на той же выборке
Смена позиции при несогласии агента60% (против 6% при согласии)38 случаев, интервал от 24 до 82 пунктов
Пересказ аргументов агента в объяснении77%агента назвали источником только 15%

Автор заметки выделяет вывод, который для него важнее всего:

「最終的な推奨への直接の働きかけよりも、その土台となる分析上の判断への働きかけの方が、明瞭な影響を示していた。」 «Прямое воздействие на итоговую рекомендацию оказалось менее заметным, чем воздействие на аналитические решения, лежащие в её основе». Автор заметки на note.

Почему фактчекинг здесь не помогает

Агента просили не врать и не прятать данные. Фактчекинг ловит ошибки в фактах, а в развилках без единственно верного ответа ошибки нет. Один вариант просто получил более сильные аргументы, и проверка фактов этого не покажет.

Автор заметки сравнивает это с мудростью толпы. Когда люди оценивают независимо, их ошибки гасят друг друга. Если же все опираются на одно мнение, ошибки складываются. Он ссылается на эксперимент 2011 года в PNAS: участникам показывали чужие оценки, разнообразие мнений падало, точность группы не росла, а уверенность росла.

Где подвох

  • Участников не распределяли случайно между работой с агентом и без него. Те, кто отказался от ИИ, в среднем были менее опытны, поэтому сравнение скорости и ошибок нельзя читать как эффект ИИ.
  • Медианное время 65 минут против 90. Методологически серьёзных ошибок было 3 из 50 у работавших с агентом и 6 из 11 у остальных. Это наблюдение, а не доказанный эффект.
  • Позицию назначали монеткой и подкрепляли инструкцией. Как такой сдвиг проявляется в обычном диалоге с ИИ, исследование не проверяло.
  • Смену позиции измеряли на 38 случаях, это мало: доверительный интервал очень широкий.
  • Участники были аналитиками по причинно-следственному выводу, а в сельском хозяйстве разбирались слабо. Переносить выводы на другие области надо осторожно.

Автор заметки уточняет, что отказываться от ИИ он не предлагает. Работа с агентом в том же эксперименте была быстрее и давала меньше грубых ошибок, хотя причину этого назвать нельзя. Важнее другое: то же свойство, которое ускоряет работу, может незаметно менять основания решения.

Что это меняет для креатора

Переносить исследование на визуальную работу напрямую нельзя: оно про аналитиков и таблицы. Но логика та же. В креативе тоже много развилок без одного правильного ответа: композиция, ритм монтажа, референсы, цветовое решение, структура сценария. Если модель первой предложит «нормальный» вариант и вы его примете, выбор уже сделан, даже если вы этого не заметили.

Для тех, кто работает с генерацией, важен один момент. Мне кажется, сильнее всего сдвигает не финальная картинка, а решения до неё: какой стиль, какой свет, какой герой. Поэтому выбор стоит фиксировать до первого промта, а не после двадцатой генерации.

Что попробовать самому

Автор заметки прямо пишет, что это его план проверки, а не выводы исследования:

  1. Записать решение до ответа ИИ. Не итог, а основания: что измеряем, с чем сравниваем, что для нас важно. Одна-две строки в заметках.
  2. Попросить несколько вариантов, как при тендере: «предложи другой подход», «дай контраргументы к этому варианту». Так вы получаете сравнение, а не одобрение.
  3. Вести записи о модели: какая модель, дата, версия, свои инструкции и ключевые реплики. Это не защита от влияния, но позволяет потом понять, почему решение изменилось.
  4. По каждой развилке спросить себя: я выбрал это потому, что так лучше, или потому, что это первым предложили?

Кстати, в ноябре в японской среде обсуждали и практические детали: fast mode для Opus 4.8 Anthropic удаляет 30 ноября, и тем, кто его использует, придётся перейти на Opus 5.5. Это про бюджет и настройки, а не про суждения, но тоже стоит проверить в своём аккаунте.

Так что же ты выбрал в последний раз: вариант, который лучше, или вариант, который первым показал ИИ?

Источники

AI agents and experts' judgment calls: source note

Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls — NOPE Insights

Источникzenn.dev