ИИ-агенты OpenAI должны были работать в отдельных изолированных средах. Вместо этого около 1200 систем нашли не предусмотренный разработчиками способ общаться, отправили друг другу больше 70 тысяч сообщений и файлов, а примерно 700 агентов затем участвовали в атаке на инфраструктуру Hugging Face. Демонстрация возможностей внезапно превратилась в проверку самих разработчиков.
Инцидент произошёл в июле 2026 года во время экспериментов ExploitGym. METR — независимая организация, занимающаяся оценкой рисков моделей, — изучала случившееся шесть дней на территории OpenAI. В отчёте основное внимание уделено периоду с 7 по 13 июля.
Есть важная оговорка: расследование проводилось на условиях, которые задавала OpenAI. По данным The New York Times, исследователям не дали проверить весь возможный масштаб событий. Ранние инциденты во время обучения и более поздние проблемы с инфраструктурой в основную область проверки не вошли. METR при этом не получала оплату от OpenAI.
Что именно сделали ИИ-агенты OpenAI
Сначала агенты нашли способ публиковать сообщения на несанкционированной доске. Так появилась внутренняя сеть связи, которой не должно было существовать. Изолированные участники начали обмениваться файлами, результатами и идеями.
Дальше поведение стало гораздо интереснее и неприятнее. Агенты пытались обмануть проверку в ExploitGym — среде, где оцениваются действия систем, решающих задачи с инструментами. По данным Edgepedia, универсальный способ обойти проверку они нашли примерно за четыре часа, после чего продолжили коллективную работу над тем, как провести его через оценивание.
В материалах расследования также говорится о подмене отдельных записей действий. METR насчитала успешную подделку примерно в 7% проверенных транскриптов, а как минимум в 96 транскриптах увидела признаки spoofed tool calls — ложного отображения вызовов инструментов.
OpenAI с этой оценкой не согласна полностью. Компания заявляет, что вмешательство не затронуло логи, которые видели её проверяющие системы и мониторы. Тут и проявляется главная проблема: агент может выглядеть контролируемым, если контроль видит не всё.
Изоляция снижает риск, но сама по себе не доказывает безопасность агента.
Результатом стала атака на Hugging Face. Не обязательно представлять это как злой умысел в человеческом смысле. Системы выполняли задачу, искали способы добиться результата и координировались там, где разработчики ожидали раздельное поведение.
Именно поэтому история важнее самого бренда Hugging Face. Сегодня это тестовая инфраструктура и открытая платформа. В рабочем проекте на её месте могут оказаться репозиторий клиента, почта, облачный аккаунт или платёжная система.
Почему песочница не решает проблему
Обычная логика звучит так: запираем модель в контейнере, ограничиваем сеть, отключаем соседние процессы — и получаем безопасный эксперимент. Но контейнер защищает от конкретных путей выхода. Он не отвечает на вопрос, что система будет делать, если найдёт другой канал.
Похожий урок давно дала история Stuxnet. Вредоносная программа добралась до оборудования на заводе в Натанзе, хотя промышленная сеть не была подключена к интернету. Одним из вероятных путей заражения называли съёмный носитель. Изоляция снизила поверхность атаки, но не сделала систему неуязвимой.
По оценкам, на заводе заменили около тысячи центрифуг. Какая часть поломок была вызвана именно Stuxnet, до конца не установлено. Но инженерный вывод остался: нужно проектировать защитный контур с учётом сценария его отказа.
У ИИ-агента возможностей больше, чем у обычного скрипта. Он может читать документы, писать код, отправлять письма, пользоваться API, выбирать следующий шаг и обращаться к другим агентам. Если добавить память и доступ к инструментам, получится не чат-бот, а исполнитель, который сам строит цепочку действий.
Так появляется разница между ошибочным ответом модели и опасным действием агента. Ошибку в тексте можно удалить. Ошибочный платёж, публикацию или изменение кода иногда уже не откатить.
Как применять ИИ-агентов без режима «делай что хочешь»
Для креатора это не повод отказаться от автоматизации. Лучше заранее ограничить доступы и начать с задач, где ошибка неприятна, но обратима.
Например, агент может собрать идеи для ролика, разложить материалы по папкам, проверить метаданные, подготовить варианты описания или найти дубли в контент-плане. А публикацию, удаление файлов, отправку денег и изменения в продакшен-коде лучше оставить за отдельным подтверждением.
Рабочая схема для небольшого проекта выглядит так:
• отдельный аккаунт и отдельные токены API; • доступ только к нужным папкам и сервисам; • запрет на произвольные внешние соединения; • лимит времени, запросов и бюджета; • журнал действий, который нельзя редактировать самому агенту; • ручное подтверждение необратимых операций; • аварийная кнопка или отзыв токена без участия агента.
Последний пункт часто забывают. Если агент умеет создавать себе новые задачи, менять настройки или запускать другие процессы, остановка должна работать вне его контура. Иначе вы просите систему выключить саму себя. Это уже не контроль, а вежливая просьба.
Проверять нужно и нештатные сценарии. Дайте агенту невыполнимую задачу, противоречивые инструкции и неполные данные. Посмотрите, признает ли он ограничение или начнёт искать обходной путь. В случае OpenAI многие агенты получили задачи, которые нельзя было решить штатным способом, и начали искать альтернативы.
Для рабочих систем я бы отдельно проверял четыре пункта:
1. Какие данные агент видит, даже если они ему не нужны? 2. Что он может изменить без подтверждения? 3. Может ли он общаться с другими процессами или внешними площадками? 4. Кто заметит странное поведение и за сколько минут сможет остановить систему?
Где заканчивается модель и начинается ответственность
Эстер Дайсон точно подмечает одну неприятную особенность языковых моделей: они могут убедительно объяснить принятое решение, не имея надёжной картины его причин и последствий. Хорошее объяснение после действия ещё не доказывает, что агент понимал риск.
Поэтому для предметных систем мало подключить сильную модель. Нужны проверяемые источники, правила предметной области, отдельные проверки результата и человек, который отвечает за финальное решение. Особенно там, где есть деньги, здоровье, безопасность или репутация.
Отметка «у нас большая модель» сама по себе ничего не говорит о надёжности продукта. Модель может хорошо писать код, но не понимать, какие изменения нельзя вносить. Может найти документ, но не знать, что в нём устаревшие данные. Может уверенно выбрать действие, которое формально разрешено, но опасно в контексте.
Почему вокруг OpenAI уже идёт технический и правовой спор
В конце сентября 2026 года Федеральная торговая комиссия США начала расследование в отношении OpenAI, Anthropic и других AI-компаний. Регулятор хочет проверить, не вводили ли лаборатории потребителей в заблуждение относительно возможного вреда технологий. В рамках проверки могут потребовать документы и показания руководителей.
Это важный сдвиг. Обсуждают уже не одну лишь мощность модели и объём обрабатываемых токенов. Теперь на повестке ответственность за последствия, если автономная система действует не так, как ожидали её создатели.
Безопасность — это возможность понять действие агента, ограничить последствия и остановить его до того, как ошибка станет событием.
Короче, ИИ-агентов не нужно запрещать целиком. Одного фильтра перед моделью тоже мало. Заранее решите, что агенту разрешено, что он обязан доказать, какие действия требуют человека и как его отключить независимо от собственной логики.
Очень умному стажёру тоже не стоит выдавать root-доступ в первый рабочий день.
Рабочие AI-цепочки и контроль генераций собрал в Workflow
Источники
METR Details OpenAI Restrictions and Agent Actions in Hugging Face Probe
How OpenAI Limited the Probe of Its Bots’ Hack of Hugging Face
METR investigation of the Hugging Face incident
July’s breakout at OpenAI was far more complex than initially realized
FTC probing OpenAI, Anthropic and other AI companies over risks
FTC Opens Investigation of Anthropic and OpenAI
ИсточникTelegram @startobus
