Dessa пропускает текстовый этап и слышит интонацию
Обычно голосовой помощник сначала распознаёт речь. Потом языковая модель обрабатывает текст, а система озвучивает ответ. На этих этапах могут теряться темп, паузы и интонация. Block считает, что из-за этого многие голосовые системы звучат неестественно.
Dessa работает по схеме speech-to-speech: получает аудио и отвечает аудио. Модель полнодуплексная — может слушать, пока говорит. По замыслу разработчиков, так она улавливает особенности живого разговора: перебивания, смех посреди реплики, паузы и смену темпа.
В блоге Block команда резко описывает нынешнее взаимодействие с голосовым ИИ: «просто ужасное». По её словам, перевод в текст теряет значимую часть информации, а сильные модели не слышат, что чувствует собеседник. Это оценка самой команды Block.
Компания утверждает, что обучала Dessa с нуля только на человеческих разговорах — без текстовых данных и предварительно обученных моделей. IT之家 пишет, что для обучения использовали одну стойку NVIDIA GPU. В материалах о проекте также указана конфигурация NVIDIA GB200 NVL72. Block пока не раскрыла размер модели и результаты независимых тестов.
По словам компании, Dessa берёт знания из разговорных данных, на которых её обучали. В привычном сценарии голосовой слой получает ответ от отдельной большой языковой модели. Доступные сведения пока не подтверждают, что Dessa умеет решать широкий круг задач или работать с внешними инструментами.
Демо показывают живую подачу и неловкие сбои
Block опубликовала несколько записей разговоров. В одном примере Dessa говорит, что устала, и голос звучит утомлённо. В другом она почти растроганно реагирует на обещание поездки в Париж. Есть и игра, и разговоры о кино.
Джек Дорси описал разговор с моделью как общение с человеком: с эмоциями, нюансами, паузами и естественным ритмом. Демо и правда звучат эффектно. Но, как отмечает The Verge, в одной беседе Dessa приняла собеседника за «Ronaldo», а разговор о фильмах неожиданно свернула к работам другого режиссёра.
Вот что стоит держать в голове: естественная интонация ещё не говорит о точности. Эмоциональная и уверенная ошибка может звучать убедительно, и её легче пропустить. Пока мы слышали демонстрационные записи, а не результаты систематической проверки на разных задачах и языках.
Block говорит, что эмоциональная выразительность встроена в модель. ElevenLabs v4 и Fish Audio Drama 3, для сравнения, используют голосовые теги, которые задают подачу. TechCrunch обращает внимание: пока неизвестно, не управляет ли Dessa выразительностью через похожий внутренний механизм. Сравнивать эти подходы как «настоящие эмоции» и теги рано.
Локальный запуск звучит практично, но доступа пока нет
Для тех, кто работает с голосом, главный практический интерес — возможность запускать модель на собственном компьютере. Это может пригодиться для быстрых диалогов и обработки речи без постоянного обращения к облачному сервису. Пока это только потенциальный сценарий: нужен MacBook Pro с M4 Max или более мощная конфигурация, а сама модель закрыта для широкой публики.
Block приглашает небольшую группу специалистов по безопасности. Они изучат возможности модели и риски ситуаций, когда человек может принять искусственный голос за человеческий. Компания не объявила дату публичного релиза. Размер модели и бенчмарки тоже неизвестны, поэтому сравнить скорость, качество диалога и работу на разных языках пока не получится.
Реакции на проект разные. CoinDesk пишет, что одних впечатляет сходство с человеческой речью, а других тревожит возможное использование технологии для телефонного мошенничества и обмана. Чем убедительнее звучит голос, тем важнее понимать, кто говорит.
Креаторам пока полезнее слушать ритм, чем ждать доступ
Использовать Dessa в продакшне пока не получится. Зато демо можно послушать как ориентир для работы с голосом: где возникает пауза, как звучит смех посреди реплики, как меняется темп и интонация.
Если вы ставите голос для диктора, дубляжа или аудиодрамы, эти наблюдения можно перенести в бриф актёру или разметку для синтеза. Когда эмоцию нужно точно задавать и повторять результат, инструменты с явными тегами пока практичнее: подачу можно указать напрямую, а не полагаться на интерпретацию модели.
Dessa — интересный архитектурный эксперимент, пока не замена ElevenLabs или другим системам озвучки. Когда откроют доступ, модель стоит проверить на конкретных задачах: насколько стабильно она держит персонажа, как реагирует на перебивания, ошибается ли в фактах и какие языки поддерживает. Ответов на эти вопросы пока нет.
Для тех, кто делает контент, здесь есть о чём подумать: голос может звучать убедительнее, но это само по себе не гарантирует точность и безопасность. Пока Dessa закрыта, я бы слушал её демо как ориентир и следил не только за тембром, но и за тем, что именно модель говорит.
Источники
Dessa — the Conversation Model trained only on speech
Jack Dorsey’s Block made an AI model that talks to you like an awkward new friend
Block’s new voice model sounds eerily human
Источникithome.com
