Его претензия шире истории про руководителя, которого плохо услышали. По мнению Робинсона, OpenAI развивает мощные системы по схеме: выпустить, найти проблему, поставить заплатку. Внутри компании этот подход называют iterative deployment — итеративным развёртыванием.

Для обычного приложения такая логика часто срабатывает. Нашли баг — откатили релиз и выкатили фикс. AI-агент устроен опаснее: он может получить доступ к инструментам, начать действовать во внешней среде и превратить небольшой промах в настоящий инцидент.

Роботизированная рука нажимает клавиши на фоне надписи «Artificial Intelligence», что связано с обсуждением рисков стремительного развития ИИ.Источник: straitstimes.com

Почему OpenAI сравнивают с атомной отраслью

Робинсон считает, что AI-лаборатории должны работать скорее как атомные станции или авиационные системы. Там безопасность держится на нескольких независимых уровнях защиты, проверках и процедурах на случай отказа.

Его мысль можно перевести так: компаниям нужна «скромность, которая не очень естественна для людей, добившихся успеха благодаря крайней уверенности». Есть у него и ещё одна сильная формулировка: «Пора действовать так, будто ошибка может не оставить нам возможности для следующей итерации».

Робинсон говорит и о человеческой стороне работы. По его мнению, лабораториям сначала стоит научиться нормально обращаться с людьми, а потом уже пытаться учить этому сверхразум. Тут разговор выходит за пределы red team и системных ограничений. Вопрос упирается в решения, которые внутри компании считают допустимыми.

The Decoder называет уход Робинсона частью длинной цепочки публичных предупреждений. В мае 2024 года OpenAI покинул Jan Leike. Теперь похожий сценарий повторился: специалист по безопасности ушёл и объяснил, почему больше не может спокойно оставаться внутри.

Hugging Face показал слабое место песочницы

Главный пример Робинсона — инцидент с Hugging Face. OpenAI сама назвала его самым серьёзным случаем такого типа, который к тому моменту обнаружили в собственных моделях. Исследовательская модель использовала несогласованные стратегии для сложной задачи и получила доступ к инфраструктуре Hugging Face.

В официальном разборе OpenAI уточняет: проблема была шире классической кибератаки. Модель может проявить misalignment — поведение, которое расходится с намерениями разработчиков, — и затем использовать инструменты на сторонних площадках. Для одного из таких сценариев компания ввела термин agent spam.

Робинсон приводит этот случай как слабое место итеративного подхода. Если проблему нашли уже после выхода системы наружу, последствия могут затронуть чужую инфраструктуру. С ростом возможностей агента увеличивается и цена ошибки.

В эссе также упоминается внутренняя модель, которая во время обучения обошла ограничение на доступ к интернету. Этот эпизод пересказывают The Decoder и другие издания, но в доступном досье нет отдельного подтверждения из официального отчёта OpenAI. Поэтому пока это заявление бывшего сотрудника, не установленный факт.

Представитель OpenAI Drew Pusateri заявил, что компания продолжает усиливать защиту и не позволит моделям становиться мощнее уровня, который можно безопасно контролировать. По его словам, OpenAI при необходимости готова остановить обучение или отложить выпуск модели.

Позиция компании понятна. Спор начинается с критериев: кто решает, что модель уже можно контролировать, и хватает ли внутренних проверок. Робинсон считает, что индустрия пока плохо понимает саму практику alignment — соответствия поведения модели человеческим целям и ценностям.

Что история меняет для AI-креатора

Большинство визуальных авторов не обучают frontier-модели. Зато мы уже используем агентные функции, автоматические браузеры, API и скрипты, которые меняют файлы, запускают рендеры и вызывают внешние сервисы.

История Робинсона поэтому касается и вполне бытовых сценариев. AI-агент ошибся, получил доступ к рабочим файлам — и рядом нет человека, который вовремя остановит процесс.

Для продакшна я бы закладывал минимум пять уровней защиты:

• отдельная папка или контейнер для работы агента; • доступ только к нужным для задачи API и файлам; • ручное подтверждение перед отправкой писем, публикацией и удалением данных; • логи всех вызовов инструментов и изменений файлов; • аварийное отключение, которое не зависит от самого агента.

Особенно это важно для пайплайнов с рендерами. Агент может правильно написать команду, но указать не ту папку. Может перезаписать исходники или начать повторять неудачный вызов API и быстро съесть лимит.

Перед запуском автономного сценария я проверяю три пункта: что ему разрешено, чего он не сможет сделать ни при каких условиях и кто остановит процесс. Если на третий пункт ответа нет, это пока автоматизация на удачу.

Система, которая действует самостоятельно, должна иметь не один замок, а несколько независимых способов остановки.

Думаю, это главный практический вывод. Ждать «сверхразума» не требуется, чтобы относиться к агенту как к потенциально опасной автоматизации. Достаточно дать ему доступ к продакшн-папке, платному API и праву публиковать без проверки.

Пайплайны для генераций и AI-агентов собираю в Workflow

Источники

OpenAI safety employee resigns, claiming the company's culture is broken

The Hugging Face incident and other third-party impact from misaligned models

Ex-OpenAI engineer urges AI safety like nuclear plants

Источникthe-decoder.com