Pro
RU
ВойтиАккаунт Скачать для Mac
Скачать для Mac

Справка / Музыкальная студия

Музыкальная студия: песни с вокалом

Откройте Аудио → Сочинить, чтобы пользоваться Музыкальной студией. Она создаёт на вашем Mac целые песни с вокалом и инструментами с помощью музыкального движка YuE2. Можно также делать музыку без вокала, создавать новую версию существующей песни или превращать запись в ноты.

Установка музыкального движка

Музыкальный движок скачивается отдельно, его размер около 11 ГБ.

  • Что нужно: Mac с Apple Silicon и 16 ГБ памяти или больше, а также 14 ГБ свободного места на диске, где хранятся модели. На Mac с 16 ГБ перед сочинением закройте другие приложения и вкладки браузера.
  • Как: откройте Аудио → Сочинить. Пока установка не закончится, форма остаётся серой. Нажмите Установить музыкальный движок (YuE2, ~11 ГБ) на карточке или нажмите Сочинить, чтобы начать загрузку. Карточка показывает ход загрузки.
  • Лицензия: YuE2 показывает экран лицензии перед загрузкой или первым использованием; принять её нужно один раз на каждом Mac, пока лицензия не изменится. Веса распространяются под CC BY-NC 4.0 (только некоммерческое использование), при этом отдельным авторам разрешено продавать созданные ими песни; компаниям для использования весов нужна лицензия.
  • Чтобы приостановить установку, нажмите Стоп. Чтобы продолжить, запустите установку снова. Установить можно и через Install the music engine в боковой панели Pinokio или через Настройки → Модели.
  • Пользоваться формой можно сразу после окончания установки. Ничего перезапускать не нужно.

Два необязательных дополнения скачиваются, когда понадобятся в первый раз:

  • Пакет музыкальных LoRA (около 300 МБ) улучшает музыку без вокала. Он также добавляет дополнения голоса и стиля в список LoRA голоса и стиля. Форма предлагает пакет, когда он может помочь.
  • Модели для каверов (2,8 ГБ) нужны для Кавер на песню и Получить ноты.

Если после обновления движок перестал работать, нажмите Repair the music engine в боковой панели Pinokio. Скачанные файлы модели сохраняются.

Выбор между «Простой» и «Свои»

Переключателем вверху Музыкальной студии выберите, сколько вы пишете сами.

  • Простой: коротко опишите нужную песню. Например: «a slow piano ballad for a friend moving away, a woman with a low warm voice, brushed drums». Gemma, ИИ-модель, работающая на вашем Mac, пишет описание стиля и текст песни. Оба вы увидите до того, как песня будет создана. Отметьте Инструментал для трека без вокала.
  • Свои: вы пишете собственный текст и описание стиля и получаете доступ ко всем настройкам ниже.

Как написать песню

В режиме Свои выберите Написать песню, затем:

  1. Введите Название, если хотите.

  2. В разделе О чём она? опишите идею, историю или чувство в одном-двух предложениях. Нажмите Написать текст, чтобы Gemma набросала по этому текст песни. Если ниже заполнен Стиль, текст следует и ему. Черновик и его разделы можно править.

  3. В разделе Текст песни выберите Разделы, чтобы править карточки. Добавляйте карточки кнопками Вступление, Куплет, Пре-припев, Припев, Бридж, Инструментал или Окончание. Либо выберите Текст и вводите всё в одном поле. Название каждого раздела пишите в квадратных скобках на отдельной строке, а после него текст. Между разделами оставляйте пустую строку:

    [Verse]
    The station lights are fading
    Your footsteps find the street
    
    [Chorus]
    Carry the morning home

    Оставьте текст раздела пустым, чтобы получить фрагмент без вокала.

  4. В Стиле простым языком опишите жанр, инструменты, певца, язык и темп. Например: English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM. Отдельные подписанные поля не нужны.

  5. Нажмите Сочинить. Ваша песня встаёт в ту же очередь, что и видео.

Инструментал

Отметьте Инструментал, чтобы весь трек был без вокала. Ваш текст остаётся в поле, но не используется. Пакет музыкальных LoRA даёт специальное дополнение, которое улучшает результат. Без него движок опирается только на письменную просьбу обойтись без вокала. Чтобы в песне был фрагмент без вокала, оставьте текст этого раздела пустым.

Настройки песни

НастройкаЧто делает
Ноты: Мелодия + аккорды (по умолчанию), Только мелодия, Без нотВыбирает, будет ли YuE2 до создания планировать песню как ноты (партитуру). «Мелодия + аккорды» даёт самые структурированные песни
Качество: Черновик (8 шагов) или Финал (32 шага, по умолчанию)«Черновик» нужен, чтобы пробовать идеи. Он в несколько раз быстрее «Финала»
Макс. длина: от 30 с до 6 мин (по умолчанию 4:00)Задаёт самую длинную допустимую песню. Длину определяет ваш текст. Эта настройка обрезает более длинную песню, но не растягивает более короткую
СидЧисло, с помощью которого результат меняется. Оставьте -1 для случайного выбора. Используйте сид повторно, чтобы получить ту же песню
Дубли: от 1 до 8Ставит в очередь столько версий по настройкам формы, у каждой свой сид
LoRA голоса и стиляВыберите дополнения, которые меняют текст и звучание, и задайте силу каждого. Чтобы добавить свой файл .safetensors, положите его в подпапку user/ папки LoRA. Он появится в этом списке. Пока выбран «Инструментал», эти дополнения приостановлены
Дополнительно → Следование текстуЗадаёт, насколько точно песня следует вашему стилю и тексту. По умолчанию 1,0. Большие значения следуют им буквальнее, но могут звучать скованно; меньшие допускают больше вариаций
Дополнительно → Точность: 8-bit (по умолчанию) или bf16Если выбрать bf16, заложите примерно на 8 ГБ памяти больше

Кавер на песню или ноты к ней

  • Выберите Кавер на песню, затем перетащите аудиофайл в Исходная песня. Выберите, что сохранить: Мелодия + аккорды берёт мотив и гармонию из полной записи; Спетая партия берёт только мотив вокала, а аккомпанемент новый; Всё сохраняет ещё и аккомпанемент и читается дольше всего. Результат использует ваш стиль и текст.
  • Выберите Получить ноты, чтобы превратить запись в ноты, не создавая песню.

Для обоих нужны модели для каверов (2,8 ГБ, скачиваются один раз). Делайте каверы только на ту музыку, которую вам разрешено использовать.

Что можно сделать с готовой песней

Готовую песню вы найдёте в «Галерее», она сохранена как стереозвук WAV 48 кГц. Фильтр Аудио оставляет только аудио. Под плеером карточка песни показывает название, стиль, текст и ноты. Эти кнопки создают другую версию:

КнопкаЧто сохраняетЧто меняет
Новый дубльНоты, текст и стильИсполнение, с новым сидом. Песня заново не планируется
Другой вариант звукаНоты, текст, стиль и исполнениеЗвучание записи. Занимает примерно треть времени, нужного для создания целой песни
Новый стиль для этих нотНотыТекст и стиль. Перед нажатием внесите свои изменения в форму
Сделать каверМотив, который вы слышитеВсё остальное

Нажмите Править ноты, чтобы открыть ноты как текст. После правки нажмите Прослушать, чтобы увидеть обновлённые ноты. Нажмите Отрендерить партитуру, чтобы поставить в очередь песню с вашими правками.

У песен, сделанных до версии 4.16, нет сохранённого плана, нужного этим кнопкам. Их кнопки объясняют, почему эти действия недоступны.

Нажмите Использовать… на карточке песни, чтобы выбрать, что делать дальше: Синхронизация губ заставляет лицо на вашей картинке петь песню; Синхронизация губ с Hailuo H3 делает то же с помощью H3, если он установлен. Можно также выбрать Музыкальное видео или Саундтрек для видео.

Музыкальное видео

Откройте Аудио → Музыкальное видео, чтобы сделать фильм из песни и картинок. Выберите песню, добавьте картинки и отметьте каждую как Певец (показывается поющим), Инструмент или Комната. В поле Стиль опишите, как должен выглядеть каждый кадр.

Нажмите Спланировать видео. Планирование мгновенное и бесплатное. Оно читает бит, создаёт список кадров и открывает его в Storyboard. В Storyboard создайте кадры, затем объедините их с песней, чтобы получился фильм.

Чего ожидать

  • Время. Оценка под Сочинить рассчитана на песню длиной Макс. длина, поэтому большинство песен заканчивается быстрее. На M4 Max «Финал» создаёт трёхминутную песню примерно за 3 минуты; «Черновик» занимает меньше половины этого времени. Первая песня после установки занимает больше времени, потому что модели тоже нужно загрузить.

    Медианное время около 1,5 минуты на M4 Max, 3 минуты на M5 Pro, 5,5 минуты на M1 Max и 6 минут на M4 Pro. Половина песен заканчивается быстрее медианы, половина занимает больше времени. Эти данные взяты из анонимной статистики использования Phosphene; см. тесты скорости.

  • Память. При выбранном 8-bit расход памяти в пике составляет около 11 ГБ, пока пишется песня. На Mac с 16 ГБ перед сочинением закройте другие приложения и вкладки браузера. Для длинных песен при открытых других приложениях мы по-прежнему рекомендуем 24 ГБ или больше.

  • Дубли. Попробуйте две-три версии в режиме «Черновик», а понравившуюся создайте в режиме «Финал». Если мотив песни вам уже нравится, используйте Новый дубль, чтобы получить другое исполнение.

  • Длина. Длину песни определяет ваш текст. Короткий текст даёт короткую песню, даже если для «Макс. длина» задано 6 минут.

Если что-то пошло не так

Что вы видитеЧто делать
«Сочинить» остаётся серойУстановка отсутствует или не завершена. Нажмите Установить музыкальный движок на карточке, чтобы начать или продолжить её
Установка останавливается со строкой FATAL error:Она называет причину: не хватает памяти (16 ГБ), не хватает места на диске (14 ГБ свободно) или нет соединения с GitHub. См. Если установка остановилась
Движок сообщает, что он недоступен, но файлы модели скачаныНажмите Repair the music engine в боковой панели Pinokio. Скачивать файлы модели заново не нужно
Music Studio stopped your song because your Mac was running low on memoryЗакройте другие приложения и вкладки браузера, затем сочиняйте снова. Для этой песни ничего не сохранилось
Песня ждёт с сообщением Waiting for memory (Mac с 24 ГБ или меньше)У вашего Mac слишком мало свободной памяти, чтобы начать песню. Закройте другие приложения, и она запустится сама; через 90 секунд она остановится с понятным сообщением, а не сломается посреди песни
Песня ждёт с сообщением Waiting for the GPUГрафический процессор вашего Mac занят другой задачей. Песня начнётся, когда она закончится. Нажмите Стоп, чтобы отменить ожидание
Песня остановленаЧастично созданная песня не сохраняется. Нажмите Сочинить, чтобы поставить её в очередь снова

Источник: webapp/docs/music.md в открытом репозитории. Проверено для этого сайта перед публикацией. Переведено с английского оригинала. Предложить правку.