NVIDIA опубликовала NemotronLabs RE-USE на Hugging Face; у модели всего 9,6 млн параметров. Она восстанавливает речь, испорченную шумом, эхом, обрезанием сигнала и сжатием. Для авторов видео это шанс спасти неудачную запись, а не сразу перезаписывать озвучку. О релизе сообщает корейское издание AI Times.

Волновая схема NVIDIA NemotronLabs RE-USE с разделением очищенной речи и шума с реверберацией.Источник: media.licdn.com

Что умеет модель: убирает фоновый шум и реверберацию, справляется с клиппингом, ограниченной полосой частот и артефактами кодека. Клиппинг — это те самые хрипы и искажения, когда сигнал «рвётся». RE-USE рассчитана на обработку в реальном времени и поддерживает разные условия записи и языки.

NVIDIA называет модель универсальной и утверждает, что она превосходит крупные модели улучшения речи. Звучит мощно, но в материале AI Times нет названий моделей для сравнения и цифр теста — пока это заявление компании, а не независимый замер.

RE-USE выпустили как открытую модель, которую можно использовать коммерчески. Для видеомейкеров тут главное не размер сам по себе, а сочетание восстановления звука и работы в реальном времени: если качество подтвердится на реальных записях, это годный инструмент для спасения дорожек.

ИсточникAI타임스