Gradium сообщает: за первые две недели Phonon скачали более 200 000 раз. Это семейство компактных TTS-моделей для синтеза речи прямо на устройстве. Сервер и постоянное подключение к сети не нужны. Для креаторов здесь есть локальная озвучка, а для коммерческих проектов — важная оговорка по лицензии.
Phonon — это веса модели и инструменты для разработчиков. Их можно встроить в собственный продукт или запускать через совместимые реализации. Синтез можно попробовать и в браузере: речь формируется на устройстве.
Phonon TTS переносит озвучку с сервера на устройство
Облачный TTS отправляет текст на сервер и возвращает аудио. Phonon рассчитан на локальный запуск: текст остаётся на устройстве, а для генерации не нужна сеть. Такой вариант подойдёт офлайн-инструментам, голосовым функциям в прототипах и приложениям, где текст не хочется пересылать внешнему сервису.
В Hugging Face авторы релиза описывают идею так: «Голос должен жить на вашем устройстве». Локальная генерация помогает сохранить текст на устройстве и может убрать плату за каждый запрос к облачному API. При этом разработку, интеграцию и поддержку приложения всё равно придётся оплачивать.
Модели весят примерно 65 и 75 МБ. Phonon 31m говорит по-английски, а версия 40m поддерживает английский, французский, немецкий, испанский и португальский. Встроенных голосов больше 100. В Gradium Studio можно клонировать собственный голос с согласия говорящего или описать его словами.
- 31m: английский язык, лицензия Apache 2.0, коммерческое использование разрешено.
- 40m: пять языков, лицензия CC BY-NC, подходит для некоммерческих проектов.
- Для коммерческого использования 40m Gradium предлагает связаться с компанией; стоимость зависит от числа пользователей, а не объёма синтезированной речи.
- Собственные голоса можно загрузить в модель; клонировать голос следует с согласия его владельца.
Лицензию стоит проверить до интеграции. Англоязычную 31m можно использовать в коммерческом продукте по Apache 2.0. Для 40m действует CC BY-NC, которая ограничивает коммерческое применение. Gradium предлагает отдельно обсудить условия; публичного прайса в источниках нет.
В бенчмарках Phonon показал высокую скорость старта
Hugging Face Open TTS Leaderboard сравнивает открытые модели по разборчивости, скорости и естественности речи. По данным Gradium, Phonon занял первое место по разборчивости на немецком и испанском и вошёл в тройку лидеров на каждом языке, который проверяла команда. В сравнении участвовали и модели до 100 раз крупнее.
Результаты относятся к конкретным языкам и метрикам. Для интерактивных сценариев важен показатель времени до первого аудио: чем он меньше, тем раньше можно начать воспроизведение, не дожидаясь всей фразы.
По графику Gradium, который приводит Unite.AI, 95-й перцентиль времени до первого аудио составил 28 мс для Phonon 31m на английском и 38 мс для Phonon 40m на английском. Для Pocket TTS в том же графике указано 165 мс. Это данные из материалов разработчика, а не независимый замер Unite.AI.
В релизном посте Gradium также заявляет старт речи за 7 мс на CPU ноутбука. Напрямую сравнить эту цифру с 28 мс нельзя: условия и методики могут различаться. Я бы проверил задержку на своём устройстве и на текстах из будущего продукта.
Разборчивость ещё не гарантирует идеальную озвучку. В открытом leaderboard можно послушать образцы и сравнить их на слух. Для рекламной начитки, персонажа или ролика важны интонация, произношение имён и то, подходит ли голос задаче.
Для креатора Phonon — способ проверить локальную озвучку
Видеографу Phonon поможет собрать черновую дорожку без отправки текста в облачный сервис. Команда, которая делает голосовой интерфейс, сможет проверить сценарий на устройстве пользователя. Модель нужно встроить в рабочий процесс и отдельно оценить качество подходящего голоса.
Я бы начал с короткого теста на реальном материале. Возьмите текст ролика или реплику для интерфейса. Проверьте имена, даты, телефонные номера и коды. Разработчики Phonon отдельно отмечают, что модель умеет работать с такими форматами, на которых синтезаторы часто спотыкаются.
- Выберите язык и проверьте лицензию нужной версии.
- Запустите модель в браузерном демо или подключите доступную реализацию к приложению.
- Подготовьте тексты из будущего сценария: короткую реплику, длинную фразу и строку с числами или кодом.
- Проверьте произношение, естественность и задержку на целевом устройстве.
- Если проект коммерческий и нужен язык из набора 40m, заранее уточните условия у Gradium.
Разработчикам доступны два варианта. Gradium создала inference-фреймворк ptts для запуска на разных устройствах. Он поддерживает более десяти аппаратных бэкендов, включая CPU, GPU и NPU. В Hugging Face Transformers Phonon доступен как PyTorch-реализация для пакетной генерации и задач, где важна производительность на GPU.
Hugging Face помогла подготовить интеграцию Transformers. Есть и сторонние варианты для Node.js и браузера. Совместимость и качество всё равно нужно проверить в конкретном стеке.
Локальная генерация оставляет вопросы к качеству и лицензии
Phonon построен на линии Pocket TTS и использует flow matching — способ генерации аудио, который отличается от подходов многих других TTS-систем. По словам разработчиков, эта архитектура помогла получить качественный звук при небольшом размере модели. Во время обучения пришлось решать проблемы численной нестабильности.
В запуске показали несколько демонстраций: Apple Watch без Wi-Fi проговаривают рецепт кофе, iPhone без сигнала считает повторения, а браузерная игра превращается в радиошоу. Эти сценарии представили Gradium и партнёры. Они показывают задумку, а качество на вашем телефоне, ноутбуке или в приложении всё равно стоит проверить.
На разных устройствах синтез может звучать по-разному. Локальная модель снижает зависимость от сети и облачных запросов, но не гарантирует одинаковое качество везде. При клонировании голоса нужно согласие человека.
Для английской коммерческой озвучки Phonon 31m — вариант, который можно проверять уже сейчас. Для других языков сначала выясняйте лицензию, а затем оценивайте голос на своём материале.
Phonon предлагает компактный вариант для задач, где важны офлайн-работа и локальная обработка текста. Я бы начал с проверки голоса на своём сценарии и условий лицензии для проекта.
Источники
Open-Sourcing Phonon: A Suite of Frontier On-Device TTS Models — Gradium
A Closer Look at Phonon TTS — Hugging Face Blog
Gradium’s On-Device Phonon TTS Passes 200,000 Downloads in Two Weeks — Unite.AI
Phonon: A 64 MB TTS Model With Three Conflicting Spec Sheets — OrcaRouter
Источникhuggingface.co
