Справка / Музыкальная студия
Музыкальная студия: песни с вокалом
Откройте Аудио → Сочинить, чтобы пользоваться Музыкальной студией. Она создаёт на вашем Mac целые песни с вокалом и инструментами с помощью музыкального движка YuE2. Можно также делать музыку без вокала, создавать новую версию существующей песни или превращать запись в ноты.
Установка музыкального движка
Музыкальный движок скачивается отдельно, его размер около 11 ГБ.
- Что нужно: Mac с Apple Silicon и 16 ГБ памяти или больше, а также 14 ГБ свободного места на диске, где хранятся модели. На Mac с 16 ГБ перед сочинением закройте другие приложения и вкладки браузера.
- Как: откройте Аудио → Сочинить. Пока установка не закончится, форма остаётся серой. Нажмите Установить музыкальный движок (YuE2, ~11 ГБ) на карточке или нажмите Сочинить, чтобы начать загрузку. Карточка показывает ход загрузки.
- Лицензия: YuE2 показывает экран лицензии перед загрузкой или первым использованием; принять её нужно один раз на каждом Mac, пока лицензия не изменится. Веса распространяются под CC BY-NC 4.0 (только некоммерческое использование), при этом отдельным авторам разрешено продавать созданные ими песни; компаниям для использования весов нужна лицензия.
- Чтобы приостановить установку, нажмите Стоп. Чтобы продолжить, запустите установку снова. Установить можно и через Install the music engine в боковой панели Pinokio или через Настройки → Модели.
- Пользоваться формой можно сразу после окончания установки. Ничего перезапускать не нужно.
Два необязательных дополнения скачиваются, когда понадобятся в первый раз:
- Пакет музыкальных LoRA (около 300 МБ) улучшает музыку без вокала. Он также добавляет дополнения голоса и стиля в список LoRA голоса и стиля. Форма предлагает пакет, когда он может помочь.
- Модели для каверов (2,8 ГБ) нужны для Кавер на песню и Получить ноты.
Если после обновления движок перестал работать, нажмите Repair the music engine в боковой панели Pinokio. Скачанные файлы модели сохраняются.
Выбор между «Простой» и «Свои»
Переключателем вверху Музыкальной студии выберите, сколько вы пишете сами.
- Простой: коротко опишите нужную песню. Например: «a slow piano ballad for a friend moving away, a woman with a low warm voice, brushed drums». Gemma, ИИ-модель, работающая на вашем Mac, пишет описание стиля и текст песни. Оба вы увидите до того, как песня будет создана. Отметьте Инструментал для трека без вокала.
- Свои: вы пишете собственный текст и описание стиля и получаете доступ ко всем настройкам ниже.
Как написать песню
В режиме Свои выберите Написать песню, затем:
-
Введите Название, если хотите.
-
В разделе О чём она? опишите идею, историю или чувство в одном-двух предложениях. Нажмите Написать текст, чтобы Gemma набросала по этому текст песни. Если ниже заполнен Стиль, текст следует и ему. Черновик и его разделы можно править.
-
В разделе Текст песни выберите Разделы, чтобы править карточки. Добавляйте карточки кнопками Вступление, Куплет, Пре-припев, Припев, Бридж, Инструментал или Окончание. Либо выберите Текст и вводите всё в одном поле. Название каждого раздела пишите в квадратных скобках на отдельной строке, а после него текст. Между разделами оставляйте пустую строку:
[Verse] The station lights are fading Your footsteps find the street [Chorus] Carry the morning homeОставьте текст раздела пустым, чтобы получить фрагмент без вокала.
-
В Стиле простым языком опишите жанр, инструменты, певца, язык и темп. Например: English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM. Отдельные подписанные поля не нужны.
-
Нажмите Сочинить. Ваша песня встаёт в ту же очередь, что и видео.
Инструментал
Отметьте Инструментал, чтобы весь трек был без вокала. Ваш текст остаётся в поле, но не используется. Пакет музыкальных LoRA даёт специальное дополнение, которое улучшает результат. Без него движок опирается только на письменную просьбу обойтись без вокала. Чтобы в песне был фрагмент без вокала, оставьте текст этого раздела пустым.
Настройки песни
| Настройка | Что делает |
|---|---|
| Ноты: Мелодия + аккорды (по умолчанию), Только мелодия, Без нот | Выбирает, будет ли YuE2 до создания планировать песню как ноты (партитуру). «Мелодия + аккорды» даёт самые структурированные песни |
| Качество: Черновик (8 шагов) или Финал (32 шага, по умолчанию) | «Черновик» нужен, чтобы пробовать идеи. Он в несколько раз быстрее «Финала» |
| Макс. длина: от 30 с до 6 мин (по умолчанию 4:00) | Задаёт самую длинную допустимую песню. Длину определяет ваш текст. Эта настройка обрезает более длинную песню, но не растягивает более короткую |
| Сид | Число, с помощью которого результат меняется. Оставьте -1 для случайного выбора. Используйте сид повторно, чтобы получить ту же песню |
| Дубли: от 1 до 8 | Ставит в очередь столько версий по настройкам формы, у каждой свой сид |
| LoRA голоса и стиля | Выберите дополнения, которые меняют текст и звучание, и задайте силу каждого. Чтобы добавить свой файл .safetensors, положите его в подпапку user/ папки LoRA. Он появится в этом списке. Пока выбран «Инструментал», эти дополнения приостановлены |
| Дополнительно → Следование тексту | Задаёт, насколько точно песня следует вашему стилю и тексту. По умолчанию 1,0. Большие значения следуют им буквальнее, но могут звучать скованно; меньшие допускают больше вариаций |
| Дополнительно → Точность: 8-bit (по умолчанию) или bf16 | Если выбрать bf16, заложите примерно на 8 ГБ памяти больше |
Кавер на песню или ноты к ней
- Выберите Кавер на песню, затем перетащите аудиофайл в Исходная песня. Выберите, что сохранить: Мелодия + аккорды берёт мотив и гармонию из полной записи; Спетая партия берёт только мотив вокала, а аккомпанемент новый; Всё сохраняет ещё и аккомпанемент и читается дольше всего. Результат использует ваш стиль и текст.
- Выберите Получить ноты, чтобы превратить запись в ноты, не создавая песню.
Для обоих нужны модели для каверов (2,8 ГБ, скачиваются один раз). Делайте каверы только на ту музыку, которую вам разрешено использовать.
Что можно сделать с готовой песней
Готовую песню вы найдёте в «Галерее», она сохранена как стереозвук WAV 48 кГц. Фильтр Аудио оставляет только аудио. Под плеером карточка песни показывает название, стиль, текст и ноты. Эти кнопки создают другую версию:
| Кнопка | Что сохраняет | Что меняет |
|---|---|---|
| Новый дубль | Ноты, текст и стиль | Исполнение, с новым сидом. Песня заново не планируется |
| Другой вариант звука | Ноты, текст, стиль и исполнение | Звучание записи. Занимает примерно треть времени, нужного для создания целой песни |
| Новый стиль для этих нот | Ноты | Текст и стиль. Перед нажатием внесите свои изменения в форму |
| Сделать кавер | Мотив, который вы слышите | Всё остальное |
Нажмите Править ноты, чтобы открыть ноты как текст. После правки нажмите Прослушать, чтобы увидеть обновлённые ноты. Нажмите Отрендерить партитуру, чтобы поставить в очередь песню с вашими правками.
У песен, сделанных до версии 4.16, нет сохранённого плана, нужного этим кнопкам. Их кнопки объясняют, почему эти действия недоступны.
Нажмите Использовать… на карточке песни, чтобы выбрать, что делать дальше: Синхронизация губ заставляет лицо на вашей картинке петь песню; Синхронизация губ с Hailuo H3 делает то же с помощью H3, если он установлен. Можно также выбрать Музыкальное видео или Саундтрек для видео.
Музыкальное видео
Откройте Аудио → Музыкальное видео, чтобы сделать фильм из песни и картинок. Выберите песню, добавьте картинки и отметьте каждую как Певец (показывается поющим), Инструмент или Комната. В поле Стиль опишите, как должен выглядеть каждый кадр.
Нажмите Спланировать видео. Планирование мгновенное и бесплатное. Оно читает бит, создаёт список кадров и открывает его в Storyboard. В Storyboard создайте кадры, затем объедините их с песней, чтобы получился фильм.
Чего ожидать
-
Время. Оценка под Сочинить рассчитана на песню длиной Макс. длина, поэтому большинство песен заканчивается быстрее. На M4 Max «Финал» создаёт трёхминутную песню примерно за 3 минуты; «Черновик» занимает меньше половины этого времени. Первая песня после установки занимает больше времени, потому что модели тоже нужно загрузить.
Медианное время около 1,5 минуты на M4 Max, 3 минуты на M5 Pro, 5,5 минуты на M1 Max и 6 минут на M4 Pro. Половина песен заканчивается быстрее медианы, половина занимает больше времени. Эти данные взяты из анонимной статистики использования Phosphene; см. тесты скорости.
-
Память. При выбранном 8-bit расход памяти в пике составляет около 11 ГБ, пока пишется песня. На Mac с 16 ГБ перед сочинением закройте другие приложения и вкладки браузера. Для длинных песен при открытых других приложениях мы по-прежнему рекомендуем 24 ГБ или больше.
-
Дубли. Попробуйте две-три версии в режиме «Черновик», а понравившуюся создайте в режиме «Финал». Если мотив песни вам уже нравится, используйте Новый дубль, чтобы получить другое исполнение.
-
Длина. Длину песни определяет ваш текст. Короткий текст даёт короткую песню, даже если для «Макс. длина» задано 6 минут.
Если что-то пошло не так
| Что вы видите | Что делать |
|---|---|
| «Сочинить» остаётся серой | Установка отсутствует или не завершена. Нажмите Установить музыкальный движок на карточке, чтобы начать или продолжить её |
Установка останавливается со строкой FATAL error: | Она называет причину: не хватает памяти (16 ГБ), не хватает места на диске (14 ГБ свободно) или нет соединения с GitHub. См. Если установка остановилась |
| Движок сообщает, что он недоступен, но файлы модели скачаны | Нажмите Repair the music engine в боковой панели Pinokio. Скачивать файлы модели заново не нужно |
| Music Studio stopped your song because your Mac was running low on memory | Закройте другие приложения и вкладки браузера, затем сочиняйте снова. Для этой песни ничего не сохранилось |
| Песня ждёт с сообщением Waiting for memory (Mac с 24 ГБ или меньше) | У вашего Mac слишком мало свободной памяти, чтобы начать песню. Закройте другие приложения, и она запустится сама; через 90 секунд она остановится с понятным сообщением, а не сломается посреди песни |
| Песня ждёт с сообщением Waiting for the GPU | Графический процессор вашего Mac занят другой задачей. Песня начнётся, когда она закончится. Нажмите Стоп, чтобы отменить ожидание |
| Песня остановлена | Частично созданная песня не сохраняется. Нажмите Сочинить, чтобы поставить её в очередь снова |
Источник: webapp/docs/music.md в открытом репозитории. Проверено для этого сайта перед публикацией. Переведено с английского оригинала. Предложить правку.