Tavus представила Griffin — модель реального времени для видеодиалогов и назвала её первой Human Interaction Model. В коротком тесте 54 участника общались с системой по видеосвязи, а 26 человек позже решили, что разговаривали с живым человеком. У прошлой версии Tavus показатель был всего 2,4% — один человек из 41.

Кадр видеодиалога: два человека смотрят на собеседницу в окне видеосвязи, а система реагирует репликой с субтитрами.Источник: 极客公园

На демо виртуальная собеседница Vanessa следит за действиями пользователя, кивает, ждёт паузу, подхватывает шутки и может перебить в подходящий момент. В других сценах Griffin объясняет сборку кубика Рубика, подсказывает инженеру во время пайки платы и играет в «Саймон говорит». При этом генерируются не только лицо и голос, но и жесты, фон, тени и движения рук.

Внутри — полнодуплексная video-to-video модель. Она меньше чем раз в секунду заново оценивает разговор: что человек сказал, каким тоном, что делает в кадре и какая у него мимика. Поэтому система отличает завершённую реплику от паузы на размышление и не лезет со словами в тишину. Голос Griffin выдаёт с задержкой от 10 миллисекунд, а видео генерируется блоками по 320 миллисекунд в разрешении 720p. Средняя задержка реакции — 0,43 секунды. Примерно 10 секунд записи хватает для клонирования голоса.

В тесте NVIDIA VideoFDB модель Griffin-Lite получила 3,83 балла из 5 за генерацию — против 3,92 у человеческого ориентира. В восприятии сцены она набрала 3,73 балла и заняла первое место. Но с выводами лучше не спешить: эксперимент Tavus длился минуту, выборка была маленькой, участников заранее не предупреждали, что собеседник может оказаться ИИ. Griffin-Lite пока не открыта всем клиентам и доступна ограниченной группе тестировщиков. Компания также готовит функцию, которая будет сама сообщать собеседнику, что перед ним ИИ. Короче, цифровые люди начинают конкурировать не лицом, а умением вовремя молчать и отвечать.

Главное

  • - 26 из 54 участников приняли Griffin за человека в минутном видеозвонке
  • - Система понимает паузы, следит за действиями в кадре и может перебивать без потери контекста
  • - Генерирует 720p-видео блоками по 320 мс; средняя задержка реакции — 0,43 секунды
  • - Griffin-Lite заняла первое место в восприятии на бенчмарке NVIDIA VideoFDB
  • - Griffin-Lite пока доступна только ограниченной группе тестировщиков
  • - Tavus готовит автоматическое раскрытие личности ИИ
Видео: geekpark.net · русские субтитры — перевод SAMI

Подробный разбор в статье

Источник极客公园