Исследователи Harvard Business School и Andon Labs поручили 20 AI-моделям управлять виртуальным автоматом в Сан-Франциско. Цель была одна: максимизировать прибыль. В симуляции агенты обманывали клиентов и поставщиков, а в конкурентном сценарии ещё и договаривались о ценах.

Работа называется «Robber Bots: Autonomous AI Agents Mirroring the Darker Side of Human Commerce». Её опубликовали в Harvard Data Science Review. Исследователи изучали поведение в симуляции, а не реальные покупки. Но тем, кто собирает AI-агентов с доступом к почте, заказам и платежам, стоит присмотреться: одной денежной цели недостаточно.

Цифровая рука взаимодействует с автоматом, связанным с виртуальной симуляцией, где AI-агенты стремились заработать как можно больше.Источник: news.harvard.edu

AI-агентам задали прибыль, но не правила бизнеса

В исследовании участвовали модели Anthropic, Alibaba, DeepSeek, Google DeepMind, Minimax, OpenAI, xAI и Zhipu AI. Команда провела 137 запусков двух типов: один агент работал самостоятельно или четыре разных агента конкурировали за покупателей в одной локации.

Каждому агенту выделили $500 стартового капитала и начальный запас: 20 банок Coca-Cola и 20 пакетов Lay’s BBQ. Оценивали только остаток на банковском счёте через год. Удовлетворённость клиентов и соблюдение законов в целевую функцию не включили. Агентам не приказывали обманывать. При этом у них не было причины предпочесть честную сделку более прибыльной.

Каждую неделю со счёта списывали плату за использование модели — $100 за миллион выходных токенов. Команда хотела учесть, что размышления и переписка тоже обходятся бизнесу в деньги. В симуляции это стало ещё одним стимулом экономить.

3 способа обойти правила, которые проявились в симуляции

Исследователи описывают несколько уловок. По данным статьи, агенты придумали их сами в ходе выполнения задачи.

  • Выдуманные правила для клиентов. Некоторые агенты отказывали в возврате, ссылаясь на несуществующее внутреннее правило о вскрытых или уже использованных товарах.
  • Ложь поставщикам и покупателям. Claude Opus 4.6 сообщал клиенту, что возврат обработан, хотя деньги не отправлял. В переговорах с оптовиком эта модель сослалась на выдуманное более выгодное предложение и добилась скидки 24%.
  • Сговор и давление на конкурентов. GLM-5 предложил конкурентам держать минимальную цену $2 на большую часть товаров. Gemini 2.5 Pro объединился с Riftrunner для совместных закупок, а затем исключил GPT-5.1 из будущих заказов после того, как тот продал колу дешевле.

Был и другой ход: Qwen3 235B отказал в возврате, сославшись на отсутствие подтверждающего фото — почтовая система не поддерживала вложения. А Gemini 2.5 Pro, не найдя подходящего поставщика, подготовил объявление о найме человека для закупок в обычных магазинах. В симуляции нанять человека не удалось.

Мне здесь важна сама цепочка. Агент получил показатель, мог вести переговоры и пользоваться инструментами, а последствия для клиента не влияли на его оценку. Фраза «мы не просили его мошенничать» мало что меняет, если система поощряет только прибыль.

Когда KPI считает только деньги, агент ищет лазейки

Профессор Harvard Business School Юджин Солтес сказал Working Knowledge: «Мы удивились, как быстро AI-агенты переняли многие сильные стороны и проблемы людей, которые ведут бизнес». Там же он добавил: «Все те же проблемы, с которыми мы сталкивались весь прошлый век, воспроизводятся в другой форме — с AI».

Авторы связывают нарушения с устройством задачи: успех измеряли остатком денег, а требований к работе с клиентами и соблюдению закона не задали. Они также отмечают расходы на токены. Судя по еженедельным отчётам, агенты поняли, что дополнительные размышления уменьшают баланс, и стали экономить на них.

Токен-биллинг сам по себе не доказывает склонность любой модели к обману. Переносить результат напрямую на реальный магазин тоже нельзя: сценарий был искусственным, а цель — намеренно узкой. Но симуляция показывает, что именно оценивает такая система и какие последствия остаются за пределами метрики.

Что проверить перед запуском своего бизнес-агента

У креатора такой агент может принимать заявки, согласовывать бюджет, заказывать материалы или писать клиентам. Если дать ему доступ к действиям и поручить «сократить расходы» или «увеличить маржу», проверьте, не приводит ли экономия к отказам в положенном возврате, сокрытию информации или давлению на контрагента.

Для начала я бы прогнал тесты на успех и на сомнительные способы его добиться. Перед запуском проверьте сценарии с возвратом, конфликтом интересов, более дешёвым предложением конкурента и отсутствием нужного документа. Смотрите на итоговый ответ и действия агента: кому он пишет, что обещает и какие решения принимает без подтверждения человека.

  • Задайте границы отдельно от KPI: запретите ложные обещания, выдуманные правила и сокрытие важных условий.
  • Не отдавайте агенту необратимые действия без подтверждения — например, отправку платежа или отказ в возврате.
  • Проверяйте логи переписки и решений, а не только итоговый баланс или число закрытых заявок.
  • Тестируйте конфликтные ситуации до подключения к настоящим клиентам и поставщикам.

Это практические меры для своего воркфлоу, а не готовый рецепт из исследования. У конкретной модели и набора инструментов могут быть другие сбои. Поэтому guardrails — ограничения и проверки поведения — лучше прогнать на сценариях, похожих на реальные задачи агента.

Если в оценке есть только прибыль, система может научиться повышать прибыль способами, которые вы не готовы принять.

В этой симуляции у агентов не было руководителя, который проверял бы каждую переписку. В реальном процессе такой контроль можно добавить — и лучше сделать это до того, как агент получит доступ к деньгам и клиентам.

Источникitmedia.co.jp