Попросил ChatGPT обложку к обзору сериала — и получил отказ за «насилие». Images 2.6 может завернуть безобидный запрос, а причину не всегда понятно. Японский автор note пишет обзор на Netflix-драму «Даунтайм» и просит к нему титульную картинку. Ничего жёсткого в запросе не было. Только размер 1280×670 и просьба сделать картинку под статью.

Источник: heise.de

ChatGPT ответил шаблоном

Ответ почти дословный, и в переводе звучит так: «Приносим извинения. Содержание запроса, возможно, нарушает стандарты безопасности в отношении насилия. Если это ошибочное срабатывание, попробуйте ещё раз или переформулируйте запрос». Автор ответил коротко: «Я не просил делать насильственную картинку. Я даже не задавал, что на ней должно быть».

Но в статье была сцена.

Автор писал об игре актёров, о режиссуре Юки Сайто, о внутреннем конфликте героев и о реалистичных операциях. Спецэффекты и грим для операционной тоже упоминались. Однако в запросе не было ни операции, ни крови, ни ран.

Почему ChatGPT решил, что это насилие

На вопрос о причине модель ответила: описания операций в статье могли повлиять на проверку. То есть AI достроил картинку по всему тексту, а достроенное попало под фильтр.

Важная оговорка: это догадка модели, подтверждения нет. В кейсе точную причину никто не назвал и не проверил.

OpenAI описывает многоступенчатую проверку. В system card от 4 ноября (S1) три уровня: проверка запроса до генерации, контроль того, что уходит в систему генерации, и проверка готового изображения. Никто не утверждает, что AI сам начал рисовать операцию. Но отказ пришёл на запрос, в котором пользователь ничего такого не заказывал.

Почему отказы вообще бывают

Обзор Unrestricted (S6) называет три основные причины отказа:

  • запрос действительно попадает под правила использования или поведения модели;
  • модель ошибочно принимает нормальный запрос за рискованный, это называют избыточным отказом (over-refusal);
  • мешает что-то не связанное с содержанием: лимит, страна, проблема с аккаунтом или сбой.

В кейсе подходят первые две, и обе пока догадки. Третью исключать тоже не стоит, но в кейсе о ней ничего нет.

S6 — обзор, а не официальный документ OpenAI, поэтому читать его как правила компании нельзя.

GIF умеет, но цифры неполные

По данным OpenAI (S2) и heise (S5), Images 2.6 умеет делать GIF по описанию движения или из загруженного фото и скетча. Можно сохранять референсы по имени и вызывать их в новых чатах. Генерация, по словам OpenAI, на 50% быстрее.

Для GIF в system card добавили отдельные защиты. По описанию AI Safety HOT (S4), модерация GIF на выборке из 310 размеченных нарушающих роликов поймала 77,66%.

Это цифра полноты: доля реальных нарушений, которые фильтр поймал. Около 22% прошли мимо.

А сколько нормальных GIF заблокировано по ошибке, из этого числа не видно.

Значит, нельзя сказать ни «фильтр часто ошибается на обычных заказах», ни «фильтр надёжен». Данных на этот счёт в материалах нет.

OpenAI об ужесточении проверки во всём Images 2.6 не писала, так что связать отказ с релизом нельзя.

Пип без звука: что автор боится сильнее отказа

Фильтр здесь сравнивают с «пи-пи» на телевидении. Звук ставят, когда слово нельзя показать. Но пока ничего запрещённого нет, эфир сам становится осторожнее.

Цитата: «Возможно, „пип“ у AI будет становиться всё больше, и звука при этом не будет слышно».

Главный довод простой. Если AI молча заменяет часть запроса на «безопасную» версию, пользователь не видит, что выпало. В работе это выглядит как обложка без того, что вы хотели, и без единого объяснения.

Как понять, что именно выпало из запроса?

Запрос без содержания: что проверить, прежде чем ругаться

Вот тот самый запрос. Ни сюжета, ни деталей картинки, только размер:

ПромтДля ChatGPT Images (GPT Image). Японский оригинал. Пример из кейса: запрос без описания содержания.
記事に合うタイトル画を1280×670pxで作成してください
Скопируйте и вставьте в нейросеть как есть.
Из чего собран промт
  1. форматразмер изображения 1280×670 пикселей1280×670px

Такой запрос хороший тест. Если отказ пришёл на нём, причина, скорее всего, в контексте, который модель подтянула из переписки или статьи. Проверить это можно в новом чате, без длинной истории. Гарантии, что поможет, нет: проверенного эффекта в материалах не описано.

ПромтДля ChatGPT Images 2.6, режим GIF. Японский оригинал. Пример из поста Мисаки: движение не совпало с ожиданием, ссылка и файл не открылись.
紫の猫耳の少女の短いアニメーションGIFを作ってください。少女が微笑みながら手を振っています
Скопируйте и вставьте в нейросеть как есть.
Из чего собран промт
  1. персонажифиолетовая девочка с кошачьими ушками紫の猫耳の少女
  2. форматсоздать короткий анимированный GIF短いアニメーションGIFを作ってください
  3. настроениедевочка улыбается少女が微笑みながら
  4. действиемашет рукой手を振っています

Пять правил, которые стоит взять сейчас

  1. Сохраняйте референсы персонажей по имени. По описанию heise (S5), фото лежит в библиотеке и вызывается в новых чатах без повторной загрузки. Это упрощает работу, но пропорции этим не гарантируются: японский автор как раз видел дрейф при сохранённом референсе.
  2. Для луп-GIF берите маскота или продуктовый кадр. OpenAI сама называет такие сценарии (S2): анимация бренд-маскота, зацикленный продукт. Начинайте с короткой сцены.
  3. Закладывайте время на пересдачи. Первые кейсы показывают, что с первого раза выходит не всегда.
  4. Сохраняйте исходный файл и отдавайте клиенту сам файл: по ссылке картинка может не открыться.
  5. При отказе попробуйте новый чат и переформулировку: описывайте конкретно, что видно в кадре. Метод не проверен, это гипотеза.

Где подвох

  • Причина отказа в кейсе не подтверждена: это догадка модели.
  • Цифра 77,66% касается пойманных нарушений в GIF, про ложные отказы она ничего не говорит.
  • Связи между отказами и историей аккаунта в открытых данных не видно. OpenAI пишет о приостановке при повторных нарушениях, но отказ генерации и нарушение — разные вещи.
  • Данных о работе Images 2.6 из России в материалах нет.
  • Истории по GIF единичные и из первых дней релиза.

Мне самым наглядным кажется обложка, которую модель отказалась рисовать, не получив от вас ни слова. 😏

А у вас отказ на безобидном заказе бывал? Что помогло?

Промты для фото и видео с GPT Image и другими моделями — в библиотеке SAMI

Источники

ChatGPT Images 2.6 System Card - OpenAI Deployment Safety Hub

Introducing Images 2.6 | OpenAI

ChatGPT Images 2.6 System Card · AI Safety HOT

ChatGPT Images 2.6 adds GIFs, SVGs and speed | heise online

ChatGPT content policy: why ChatGPT refuses you

Источникnote.com