Текст с водяным знаком SynthID Text выглядит обычно. Никаких странных символов, невидимых пробелов или подозрительных слов. Но в тесте японского автора из Zenn средний показатель для текста с меткой составил 0,587, а без неё — 0,511.

Разница небольшая, и именно на ней держится подход. SynthID Text не ставит на страницу печать «сделано AI». Система слегка меняет статистику выбора следующих токенов — слов, частей слов и знаков препинания.

Как SynthID Text прячет метку внутри генерации

Водяной знак часто связывают с обработкой готового файла: логотипом на видео или изменением пикселей в изображении. SynthID Text работает раньше — в тот момент, когда модель выбирает очередной токен.

LLM оценивает вероятности кандидатов для следующего шага. В обычной генерации она выбирает один из вариантов по своей вероятностной схеме. При маркировке к этому выбору добавляется псевдослучайное статистическое смещение.

Модель не начинает брать слова из воздуха. Приоритет получают кандидаты, которые и без того имели хорошие шансы появиться. Содержание меняется минимально, а сигнал постепенно накапливается токен за токеном.

Есть и ограничение. Когда в конкретном месте почти один очевидный вариант, механизму мало что менять. Если кандидатов много и их вероятности близки, водяной знак может сильнее повлиять на выбор.

Тест на GPT-2: глазами не видно, цифры расходятся

Для эксперимента автор взял открытую реализацию google-deepmind/synthid-text и небольшую модель GPT-2. Всё запускалось на CPU в Jupyter Notebook. Конфигурация: Python 3.11.8, PyTorch 2.4.0+cpu, Transformers 4.43.3.

Задание выбрали простое — рецепт Mac and Cheese. Получились два текста: с водяным знаком и без него. Оба напоминали рецепт, но готовить по ним я бы не стал. В одном молоко, крахмал, миндальный экстракт и петрушка быстро превратились в кулинарный хаос.

И это тоже полезное наблюдение. Качество рецепта заметно плавало само по себе. Человек не мог по виду понять, где стоит метка. Автор пишет, что при сравнении текстов её наличие «совершенно не чувствуется».

Дальше текст проверили детектором. В эксперименте использовался Weighted Mean score. Для текста без маркировки ожидали значение около 0,5.

Результаты одного сравнения:

• без водяного знака: 300 токенов всего, 219 пригодных для анализа, Weighted Mean — 0,51147586; • с водяным знаком: 229 токенов всего, 201 пригодный токен, Weighted Mean — 0,5874444.

В дополнительных запусках без метки значения держались примерно в диапазоне 0,49–0,51, а с меткой начинались от 0,57. Это не вероятность того, что текст написан AI. Показатель нужно читать вместе с порогом детектора.

Высокий Weighted Mean сам по себе не означает: «перед нами AI-текст». Для решения нужны длина текста, калибровка порога и допустимый уровень ложных срабатываний.

Почему SynthID Text не стал универсальным детектором AI

Главное ограничение простое: открытая реализация проверяет водяной знак, созданный той же системой и с той же конфигурацией. Она не сканирует любой текст, который кажется сгенерированным.

В README проекта указано, что это reference-реализация Apache-2.0 для воспроизведения подхода из научной работы Nature. Проект не предназначен для производственного использования. В нём применяются фиксированный ключ и открытая схема хеширования, поэтому ждать от него продакшен-уровня защиты не стоит.

Запуск SynthID Text на своём компьютере не превращает его в сканер Claude или Gemini. Если Claude использует собственный закрытый ключ и другую конфигурацию, локальный пример такой метки его текст не распознает.

Водяной знак также не доказывает, что текст целиком написан AI. Он показывает статистический сигнал конкретной системы. Человек может переписать материал, смешать его со своей работой, а короткий фрагмент способен дать ложное срабатывание.

Что меняется для креаторов, которые используют Claude

Я бы смотрел на это через три практических сценария.

1. Прозрачность. Если контент создаётся для клиента, храните информацию об использовании Claude. Метка не заменяет пометку об AI, но добавляет ещё один слой данных о происхождении материала.

2. Собственный пайплайн. Если вы строите внутренний генератор текстов и хотите помечать результаты, открытую реализацию можно изучить и запустить. Но это исследовательский стенд. Для продукта отдельно придётся решать вопросы ключей, устойчивости и порогов.

3. Проверка чужой работы. Не используйте google-deepmind/synthid-text как доказательство авторства. Совпадение или отсутствие сигнала не показывает, кто написал текст. Особенно когда перед вами короткий пост, отредактированный сценарий или перевод.

Эксперимент с «осенними фруктами» показал, где всё тоньше

Автор решил проверить ситуацию, где влияние водяного знака может проявиться сильнее. Он предположил: в запросе про осенние фрукты модель будет выбирать из небольшого числа вероятных продолжений.

В пяти запусках для каждого условия текст без метки чаще колебался между чаем и кофе. При маркировке появилась склонность к чаю. Выглядит любопытно, но превращать это в правило рано.

Сам автор подчёркивает: маленькая выборка не позволяет отделить обычную случайность от эффекта водяного знака. Нужны сотни или тысячи генераций, одинаковые параметры случайности, сопоставимая длина текста и статистическая оценка.

Кстати, это хороший антипример для попыток искать «слова SynthID». Водяной знак не заставляет Claude постоянно писать про чай. Он распределён по всей цепочке выбора токенов.

Где технология может сломаться и что проверить самому

В открытом тесте знак удалось обнаружить на тексте длиной в несколько сотен токенов. Чем короче фрагмент, тем слабее накопленный сигнал и тем труднее отличить его от обычной случайности.

На практике я бы проверял четыре вещи:

• длину исходного текста; • модель и конфигурацию, которыми его создали; • порог детектора и допустимый уровень ложных срабатываний; • степень редактуры после генерации.

Перевод, сильная редактура, пересборка предложений и смешивание нескольких источников меняют статистическую картину. Исходный текст мог иметь метку, а итоговый материал уже покажет другой результат.

SynthID Text маркирует происхождение, но не устанавливает истину. Сигнал конкретного генератора не отвечает за автора, качество и юридический статус текста.

Источники

LLMs respond differently to harmful prompts when AI watermarking is used

Источникzenn.dev