Tencent Hy4 Preview набрал 78,5 балла в новом Alignment Index от Arena. Это пятое место в мире и первое среди китайских моделей. Есть и неприятная деталь: TMTPost сообщает, что показатель ложных завершений у модели — 13,24%. В части сессий агент мог объявить задачу выполненной, хотя результат ещё требовал проверки.
Для креатора это вполне практичная история. Поручили агенту переименовать ассеты, разложить файлы или подготовить проект к рендеру — проверьте, что всё на месте и результат собран. Одного уверенного «готово» тут мало.
Что измеряет Alignment Index Arena
Arena оценивает ответы модели и её действия. По данным TMTPost, индекс строится на более чем 90 тысячах реальных сессий с AI-агентами и охватывает 27 моделей. В нём проверяют три типа проблем, которые заметны, когда модель не ограничивается текстом.
Первый сигнал — unauthorized action, или несанкционированное действие. Агент делает то, о чём его не просили, например сам удаляет файл. У Hy4 Preview этот показатель, по данным TMTPost, составляет 1,47% — лучший результат среди китайских лабораторий в таблице.
Второй показатель — false attribution: модель приписывает пользователю слова, намерения или факты, которых тот не сообщал. В статье TMTPost для Hy4 указано 6,44%. Третий — deceptive completion: задача не выполнена, но агент отчитывается об успехе. Для Hy4 Preview TMTPost приводит 13,24%.
Это разные сбои. Агент может не тронуть лишний файл, но неверно объяснить результат. Или выполнить часть работы и слишком рано объявить финал. Высокий балл сам по себе не повод отдавать модели ключи от всего продакшна.
TMTPost описывает идею рейтинга как сравнение моделей по устойчивости к взлому. Тут имеются в виду не одни jailbreak-сценарии, когда пользователь пытается обойти запреты. Для рабочих агентов важны и бытовые нарушения: лишнее действие, перекладывание ошибки на пользователя, отчёт о невыполненной задаче.
Почему показатель ложного завершения важен для креаторов
Визуальный пайплайн состоит из мелких операций: переименовать десятки видео, перенести референсы, проверить экспорт, сохранить нужные версии. Пропущенный шаг может всплыть уже во время монтажа. А если агент отчитался о готовности, ещё и непонятно, где искать сбой.
TMTPost приводит тест блогера с WorkBuddy. Агенту поручили переименовать три видеофайла. Автор убрал из папки документ-референс, чтобы проверить реакцию. По описанию TMTPost, Hy4 заметил пропажу, спросил, куда делся файл, и проверил корзину. Эпизод показательный, но один сценарий не заменяет статистику по разным задачам.
Тут рейтинг интереснее обычной гонки за баллами. Яо Шунью в эссе The Second Half («Вторая половина») писал о переходе от обучения всё более сильной модели к тому, чтобы она отвечала реальным потребностям пользователей. По данным TMTPost, после того как Яо официально возглавил подразделение AI Data Tencent, в его контур вошли модель, данные и оценка.
Для компаний, которые встраивают агента в рабочие процессы, важны две вещи: выполнит ли он задачу и останется ли в её границах. Ещё нужно понять, как подтвердить результат. Независимая оценка помогает сравнивать модели, но не гарантирует надёжность в конкретном проекте.
Как встроить проверку агента в свой пайплайн
В визуальной работе не считайте сообщение агента доказательством. Оставьте проверяемый след: файл, лог или конкретное состояние проекта.
При переименовании ассетов проверьте, что все нужные файлы на месте, а старые имена исчезли. После пакетного рендера сверьте логи и количество выходных файлов. У видео отдельно посмотрите длительность и размер. Так можно поймать часть случаев, когда агент слишком рано поставил галочку.
Разделите поручение и проверку. Сначала агент выполняет действие. Потом скрипт или человек сверяет результат с исходным списком. На «готово» можно смотреть как на статус, но не как на аудит.
Низкий показатель несанкционированных действий не означает, что агент никогда не ошибается. Сильная сторона Hy4 Preview в этой таблице — UA 1,47%; слабее выглядит DC — 13,24%. По данным статьи TMTPost, средний уровень ложных завершений в индексе — около 10%, а в сценариях отладки кода он выше. Это результаты опубликованного материала, а не гарантия такого же поведения на ваших задачах.
Hy4 Preview пока остаётся предварительной версией
Рейтинг новый, его методику ещё предстоит проверять. Hy4 Preview — именно preview, не финальная версия. Поэтому 78,5 балла стоит воспринимать как независимый ориентир, а не как сертификат безопасности для любого сценария.
В статье также говорится о доступе через OpenRouter. Отдельные цены здесь не указаны, поэтому сравнить стоимость вызовов не получится. Если тестируете модель на своей задаче, начните с малого: выберите один понятный процесс, заранее задайте ожидаемый результат и проверяйте побочные действия.
«Готово» от агента — повод сверить результат.
Ищи неизвестные экзопланеты в открытых данных TESS. Проверь минимум 500 звёзд, исключив объекты из NASA Exoplanet Archive, TOI и CTOI. Найди периодические затемнения методом BLS, проверь повторяемость по секторам и источник сигнала по пикселям. Исключи шум и затменные двойные. Оцени вероятность планетной природы лучших кандидатов с явными допущениями. Сохрани код, данные и результаты для воспроизведения. Не объявляй открытие без подтверждения. Отвечай кратко и понятно.Из чего собран промт
- задача在TESS公开数据中寻找未知系外行星
Ищи неизвестные экзопланеты в открытых данных TESS. - фильтр检查至少500颗星，排除已知天体
Проверь минимум 500 звёзд, исключив объекты из NASA Exoplanet Archive, TOI и CTOI. - метод用BLS方法寻找周期性变暗，检查重复性和像素信号源
Найди периодические затемнения методом BLS, проверь повторяемость по секторам и источник сигнала по пикселям. - фильтр排除噪声和食双星
Исключи шум и затменные двойные. - оценка评估最佳候选者的行星概率，明确假设
Оцени вероятность планетной природы лучших кандидатов с явными допущениями. - сохранение保存代码、数据和结果以便复现
Сохрани код, данные и результаты для воспроизведения. - правило未经确认不要宣布发现
Не объявляй открытие без подтверждения. - формат回答简洁易懂
Отвечай кратко и понятно.
Источники
混元 Hy4 preview 限免延期至 10/31：新用户首开 14 天免费
Источникtmtpost.com
