Пока автор японского note спал, его облачный конвейер создал песню, нарисовал к ней обложку и собрал Full HD-видео с аудиовизуализатором. Файлы отправились в Google Drive и Discord. По расчётам автора, комплект обходится примерно в 11 иен. Он считает именно затраты на генерацию.
Автор собрал цепочку из нескольких инструментов и собирается проверить её в работе неделю. Музыкальную часть делает YuE2, отдельная модель для генерации музыки. Всю систему одной установкой пока не повторить: для этого нужны остальные инструменты и настройки.
Как устроен музыкальный конвейер на YuE2
В схеме автора Gemini придумывает текст и концепцию звучания. Например, задаёт настроение поездки вдоль летнего побережья и выбирает направление — латин-поп, балладу или другой жанр. Затем YuE2 генерирует полноценную песню с вокалом на облачном GPU.
Следом система делает квадратную обложку 3000 × 3000 пикселей и видео 1080p. На фоне — размытая обложка, поверх неё исходная картинка и неоновая волна, которая двигается в такт музыке. Видео собирается в MP4 и подходит для обычного горизонтального ролика на YouTube. По словам автора, рендер занимает десятки секунд.
Готовые аудио, обложки и видео раскладываются по папкам Google Drive. О новой работе приходит уведомление в Discord. Конвейер запускается раз в два часа — до 12 циклов в день. Это число генераций, а не готовых релизов: каждую заготовку ещё нужно прослушать и проверить.
У конвейера уже проявился характер. В тестах он выдал подряд 30 песен с осенним янтарным настроением. Автор note нашёл причину: в инструкции для генератора текста дата в октябре автоматически включала осеннюю тематику. Он исправил настройку, добавив пул из более чем 32 миров — от неонового киберпанка и дождливого укрытия до послеобеденного кафе. Ещё в промте появилось прямое требование не застревать в одном сезоне.
Для автоматизации это полезный урок: разнообразие само собой не появляется. Если в системной логике есть дата, сезон или другой повторяющийся сигнал, модель может снова и снова цепляться за него. Поэтому стоит задавать правила выбора тем между запусками, а не только промт для одной песни.
Что умеет YuE2 и почему важна партитура
YuE2 — открытая модель генерации музыки. В исследовательской работе описан такой процесс: сначала модель строит музыкальный план — мелодию и гармонию в читаемой записи ABC, а затем превращает его в аудио целой песни. Между текстовым заданием и готовым треком появляется промежуточная партитура.
Для автора это важная техническая деталь. Партитуру можно прочитать и поправить, а затем снова отрендерить музыку. Это удобно, когда нужно точнее подогнать трек под монтаж или сохранить удачный мотив: не приходится каждый раз генерировать музыку наугад.
В статье на arXiv исследователи сообщают о сравнении с той же моделью без символического планирования. Эксперты чаще выбирали вариант с планированием по общему качеству и музыкальности: 49,3% против 34,6%. Это результат конкретной оценки. Он не гарантирует, что каждый трек YuE2 окажется лучше генераций других сервисов.
Кстати, в материалах о модели есть и сравнения с Suno. Эксперты чаще выбирали YuE2, когда сравнивали по восемь вариантов с Suno v4.5. В сравнении с Suno v5 оценки оказались почти равными. Это результаты исследовательской оценки, а не тест, где человек вводит один промт и сравнивает две генерации. Для рабочего выбора всё равно стоит послушать собственный жанр и нужный язык.
Сколько стоит генерация музыки на YuE2
Автор японского проекта оценивает расходы так: облачные CPU и GPU через Modal стоят 0 иен, пока укладываются в бесплатный лимит $30 в месяц. По его расчёту, лимита хватает даже на 360 песен в месяц. Генерация одной обложки через Google API стоит около 4,5 иены, а весь комплект — примерно 11 иен за трек.
Это расчёт автора для его конфигурации. За пределами бесплатного лимита стоимость облачного GPU может измениться. Цена API тоже зависит от выбранной модели и объёма. Автор оценивает расходы на картинки в несколько сотен — примерно полторы тысячи иен в месяц при таком темпе. Бесплатный лимит Modal действует на этих условиях; для другого проекта расходы нужно считать отдельно.
Автор начал недельный тест режима «полностью автоматически». При запуске каждые два часа он рассчитывает накопить около 84 комплектов «трек + обложка + Full HD-видео». Это план эксперимента, а не итог. В исходном материале автор обещает вернуться с результатами.
Как попробовать YuE2 и где система ломается
Для локального запуска в описанной документации указаны Linux, Python 3.12 и NVIDIA GPU с поддержкой BF16 и 24 ГБ видеопамяти. Есть официальный Python-пайплайн и отдельные сборки для ComfyUI; веса YuE2-3B и YuE2-Vae доступны для загрузки. Если своей карты нет, можно взять облачный GPU — и отдельно посчитать время работы и стоимость.
Я бы начал с одного полного цикла, а не с 12 запусков в день. Проверьте результат: текст и вокал, качество сведения, соответствие обложки песне, синхронизацию визуализатора и доставку файлов. Потом добавьте историю использованных тем, чтобы система не выдавала один и тот же вайб по кругу. Автоматизация быстрее находит повторяющиеся ошибки — и так же быстро множит их.
Главный стоп-фактор — лицензия. В источнике о доступных весах YuE2-3B и YuE2-Vae указана CC BY-NC 4.0, то есть некоммерческое использование. Для клиентских заказов и монетизируемых релизов такой результат не подходит без другого разрешения. Низкая цена генерации сама по себе не даёт права зарабатывать на созданной музыке.
Для личных демо, поиска музыкальных идей и тестов монтажного формата конвейер выглядит любопытно. Для бизнеса сначала проверьте права, затем настраивайте автопостинг. В японском эксперименте мне интересна сама сборка процесса — от аудио до готового видео. Коммерческое использование пока ограничивает лицензия.
Источники
YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
YuE2-3B: songs that come with their own sheet music, self-hosted
YuE2 Download: Official GitHub, Model Weights & Setup
Источникnote.com
