Разработчик собрал интерактивный хэллоуинский дом на NVIDIA Nemotron: гаражная дверь отвечает примерно за 1,70 секунды. Об этом пишет китайское издание HyperAI. Для детей у порога это не просто декорация, а собеседник: грубым он ворчит, а на «пожалуйста» смягчается и фиксирует вежливые ответы.
Система работает локально, без интернета, на одной рабочей станции. В цепочке — распознавание речи, небольшая языковая модель Bolt E4B на 4 ГБ, синтез голоса Magpie и анимация лица Audio2Face. Bolt выбрали как ядро диалога, а характер задают системный промпт, логика состояний и LoRA-адаптеры. Такой набор превращает открытую модель в сердитый старый дом, а не в очередного нейтрального голосового помощника.
Для проекции на гаражную дверь сделали деревянные трещины, огненное выражение лица и пиратский фон. Персонаж анимируется в Unreal Engine, а две видеокарты делят работу: одна отвечает за язык и голос, другая — за графику. Потоковая выдача, заранее подготовленные реплики и кеш аудио сокращают задержку; с готовым ответом она падает примерно до 0,72 секунды. Вот это уже прям рабочая деталь для живого взаимодействия.
Команда также изучала распознавание костюмов гостей и подсчёт посетителей с помощью детекции и трекинга объектов. Но код проекта пока не опубликовали — доступны только использованные модели. Думаю, главное здесь не сама хэллоуинская дверь, а пример локального ИИ-персонажа с голосом, лицом и характером. Для декорации — годнота, для повторения проекта придётся подождать код.
ИсточникHyperAI 超神经
