Пёсик Euler в зелёной куртке спрашивает хозяина, не занимал ли тот рабочее время мемами. Хозяин — Alexandr Wang, а пёсик — его агент Muse. С 5 ноября в США с Muse можно говорить по видеозвонку, и аватар двигает ртом в такт речи. Сцена смешная, но за ней реальная новость.
Функция называется Muse Voice. Работает она в приложении Meta, а для очков и гаджета Muse Charm её обещают позже.
Звонок с Muse: голос, лицо и перебивания
- Голосовой режим в реальном времени: можно говорить с Muse, перебивать его и на ходу добавлять требования. Китайское издание Zhidongxi отдельно отмечает, что перебивать можно в любой момент.
- Аватар над диалогом или на весь экран: он синхронно с речью меняет выражение и жесты. Как пишет TechCrunch, Muse не видит собеседника, он слышит и реагирует на разговор.
- Голоса: из нескольких сотен вариантов. Можно выбрать самому или попросить агента подобрать тон.
- Кастомизация: аватар может быть похож на человека, животное или персонажа аниме.
- Пример из официальных сценариев Meta: mock-интервью, где Muse играет рекрутера и просит отправить письмо с датой. И ужин: Muse предлагает рестораны, рецепт и зовёт в гости знакомого шефа.
Платформы в источниках описаны по-разному. Zhidongxi пишет про телефоны, веб и Mac, The Verge тестировал iOS-приложение. Нужную версию сверяйте в самом приложении.
Meta запустила функцию мемами, а не пресс-релизом
Alexandr Wang показал демо: его Muse играет начальника, который спрашивает, не сидит ли сотрудник в соцсетях вместо работы из-за мемов в X.
Финальный совет пёсика в переводе Zhidongxi звучит так: пусть Muse остаётся забавным, но обозначь, что это личное высказывание, добавь оговорку и не трать на это рабочее время.
Марк Цукерберг выложил в X видео, где утка прижимается к Muse. Подпись одна: «Я после сегодняшнего дня». Zhidongxi читает это как шутку о том, что он уже не может оторваться от разговора с агентом.
Пользователи хвалят шутки и перебивания, но замечают сбои
Энтузиасты в основном хвалят шутки и интерактивность.
Один пользователь в X поставил Muse аниме-персонажа Rem с синими волосами: круглый аватар с подвижным ртом.
Другой говорил с рыжей героиней Donna, перебивал её и спросил, какую кнопку нажать. Donna ответила, что извиняться не нужно, и продолжила объяснять.
Пользователь написал, что даже после перебиваний разговор идёт легко.
Ещё один X-пользователь похвалил обработку фонового шума. По его словам, Muse не принимает случайные звуки за повтор собственных слов.
Голоса и синхронизация картинки тоже получили хорошие оценки.
Минусы тоже есть.
Пользователь, который говорит с Muse каждый день и иногда больше часа, пожаловался: после перебивания агент начинает повторяться, а иногда вклинивается, когда фраза ещё не закончена.
Пользователь, который так и делает, нашёл у него слабые места. Проверьте этот сценарий первым, если будете тестировать сами.
Аватар говорит довольно жутковато. Синхронизирован он хорошо, но голос не совпадает с голосом Цукерберга, и видеть его говорящим странно. (в переводе с англ., The Verge, Jay Peters)
Обозреватель The Verge Jay Peters выбрал аватар Цукерберга, чтобы помнить, что говорит с сервисом Meta. Стандартный Jolly его не очаровал.
Muse, по его тестам, отвечает быстро, но при поиске информации делает паузу, как и в текстовом чате.
Токены дают и голос, и движение губ
По технической статье Meta, которую цитирует Zhidongxi, за живым разговором стоят две модели: Muse Realtime Voice и Muse Realtime Avatar.
Голосовые токены первой одновременно создают звук и управляют картинкой второй. Поэтому рот, мимика и голос идут в одном ритме.
Видео, которые создаёт аватар, получают невидимый водяной знак для отслеживания происхождения. В материалах не сказано, как его проверить снаружи, так что пока это строка из технической статьи, а не инструмент, который можно запустить самому.
Идею показали на конференции Connect 24 сентября.
Тогда Цукерберг сказал, что команда обучила новую реалтайм-модель для анимации во время разговора, и вышел на сцену со своим Muse по имени Agrippa: в белом халате и с лавровым венком.
Голос, по его словам, можно описать словами, а скорость речи и акцент подстроить.
Подвох в доступе, перебиваниях и паузах
- Доступ: пока только США и только приложение Meta. Источники не говорят, сработает ли функция с другим регионом или без американского аккаунта, поэтому проверяйте сами.
- Перебивания: в тестах агент повторяется и вклинивается. Для креативов с живым диалогом это важный риск.
- Паузы: при поиске информации агент делает паузу, и в сценах её надо монтировать или закладывать в ритм.
- Чужой голос: голос аватара Цукерберга не совпадает с голосом самого Цукерберга, поэтому в роликах с узнаваемыми людьми на это полагаться нельзя.
- Цифры: метрики роста из Meta и пересказ AIPOST не проверены независимо.
Пока это ориентир для сценария, а не инструмент продакшна
Как рабочий инструмент продакшна Muse Voice пока не годится: доступ узкий, и управлять липсинком и сценой вы не можете.
Зато это хороший ориентир качества реалтайм-аватаров и формат, который уже разошёлся по соцсетям.
- Если доступ есть, запишите тестовую сессию с кастомным аватаром. Смотрите на липсинк, паузы и поведение при перебиваниях.
- Если доступа нет, соберите референсы: демо из TechCrunch и The Verge, видео с Rem и Donna, мемы Meta.
- Заложите в сценарий похожую механику: персонаж-собеседник, ролевая игра, интервью с роботом-рекрутером. Сюжет держится на репликах, а не на картинке.
- Для проверки используйте короткие фразы с перебиванием. Если агент путает реплики, такой сценарий не возьмёте в продакшн.
Посмотрим, когда функцию откроют за пределами США и придёт ли она в очки.
Источники
Meta says US users can now video chat with their Muse AI avatar | TechCrunch
Muse has a voice mode now | The Verge
Источникzhidx.com
