帮助文档 / Music Studio
Music Studio:带人声的歌曲
打开音频 → 作曲即可使用 Music Studio。它借助 YuE2 音乐引擎,在你的 Mac 上创作完整的歌曲,人声和乐器都包含在内。你也可以生成不带人声的音乐、为现有歌曲创作新版本,或者把一段录音变成乐谱。
安装音乐引擎
音乐引擎需要单独下载,大小约 11 GB。
- 运行条件:搭载 Apple 芯片、内存 16 GB 或以上的 Mac,并且存放模型的磁盘上有 14 GB 可用空间。在 16 GB 的 Mac 上,作曲前请先关闭其他应用和浏览器标签页。
- 安装方法:打开音频 → 作曲。安装完成之前,表单会一直保持灰色。点击卡片上的安装音乐引擎(YuE2,约 11 GB),或者点击作曲,即可开始下载。卡片上会显示进度。
- 许可:YuE2 在下载或首次使用之前会显示许可界面;每台 Mac 接受一次即可,除非许可发生变化。权重采用 CC BY-NC 4.0(仅限非商业用途),个人创作者可以出售自己制作的歌曲;公司则需要为权重取得许可。
- 如需暂停安装,点击停止。再次开始安装即可继续。你也可以通过 Pinokio 侧边栏里的 Install the music engine,或设置 → 模型来安装。
- 安装完成后立即就能使用表单,不需要重启任何东西。
另有两个可选的附加内容,会在你第一次需要时下载:
- 音乐 LoRA 包(约 300 MB)能改善不带人声的音乐。它还会往人声与风格 LoRA列表里添加声音和风格的附加项。当它能帮上忙时,表单会主动提供这个包。
- 翻唱模型(2.8 GB)是翻唱一首歌和获取曲谱所需要的。
如果更新之后引擎无法正常工作,请点击 Pinokio 侧边栏里的 Repair the music engine。已下载的模型文件会保留。
选择“简单”或“自定义”
用 Music Studio 顶部的开关来决定自己要写多少内容。
- 简单:简要描述你想要的歌曲。例如:“给一位远行朋友的慢节奏钢琴抒情曲,女声低沉温暖,鼓刷伴奏”。Gemma 是一个运行在你 Mac 上的 AI 模型,它会写出风格描述和歌词。歌曲创作之前,两者你都能看到。勾选纯音乐可得到不带人声的曲子。
- 自定义:自己写歌词和风格描述,并可使用下面所有的控件。
写一首歌
在自定义里选择写一首歌,然后:
-
如果想要,输入一个标题。
-
在歌曲主题下,用一两句话描述你的想法、故事或感受。点击写歌词,让 Gemma 据此起草歌词。如果下面的风格已经填写,歌词也会遵循该风格。你可以编辑草稿和它的歌曲段落。
-
在歌词下,选择章节来编辑卡片。可以通过前奏、主歌、预副歌、副歌、桥段、纯音乐或尾奏添加卡片。或者选择文字,在一个框里输入全部内容。把每个段落的名称用方括号单独写成一行,后面跟着它的歌词。段落之间空一行:
[Verse] The station lights are fading Your footsteps find the street [Chorus] Carry the morning home把某个段落的歌词留空,就会得到一段没有人声的部分。
-
在风格里,用平实的语言描述流派、乐器、歌手、语言和速度。例如:English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM。不需要分别填写带标签的字段。
-
点击作曲。你的歌曲会加入与视频相同的队列。
纯音乐
勾选纯音乐可得到完全不带人声的曲子。你的歌词会留在框里,但不会被使用。音乐 LoRA 包提供了一个专用的附加项,可以改善效果。没有它时,引擎只能依靠一句“不要人声”的文字要求。如果想在一首歌中间加入没有人声的段落,请改为把那个段落的歌词留空。
调整歌曲设置
| 控件 | 作用 |
|---|---|
| 曲谱:旋律 + 和弦(默认)、仅旋律、无曲谱 | 选择 YuE2 在创作之前是否先把歌曲规划成乐谱。旋律 + 和弦能得到结构最完整的歌曲 |
| 画质:草稿(8 步)或最终版(32 步,默认) | 用草稿来试创意,它比最终版快好几倍 |
| 最大时长:30 秒到 6 分钟(默认 4:00) | 设定歌曲允许的最长时间。歌曲的实际长度由歌词决定。此设置会截断更长的歌曲,但不会拉长较短的歌曲 |
| 种子 | 用来改变结果的数字。保持 -1 表示随机选择。重复使用同一个种子可以再次得到同一首歌 |
| 生成数量:1 到 8 | 按你的表单设置排入这么多个版本,每个版本使用各自的种子 |
| 人声与风格 LoRA | 选择会改变写法和声音的附加项,并设置每一项的作用强度。如需添加你自己的 .safetensors 文件,请把它放进 LoRA 文件夹的 user/ 子文件夹,它就会出现在这个列表里。选择纯音乐时,这些附加项会暂停 |
| 高级 → 文本引导 | 设定歌曲对你的风格和歌词的遵循程度。默认值为 1.0。数值越高越按字面执行,但可能显得生硬;数值越低变化越多 |
| 高级 → 精度:8-bit(默认)或 bf16 | 选择 bf16 的话,需要多预留约 8 GB 内存 |
翻唱一首歌,或获取它的曲谱
- 选择翻唱一首歌,然后把音频文件拖进源歌曲。选择要保留的内容:旋律 + 和弦会从完整录音中取走曲调和和声;人声旋律只取人声的曲调,配上全新的伴奏;全部还会保留伴奏,读取时间也最长。结果使用你设置的风格和歌词。
- 选择获取曲谱,可以把一段录音变成乐谱,而不创作歌曲。
两者都需要翻唱模型(2.8 GB,只下载一次)。请只翻唱你有权使用的音乐。
完成的歌曲可以做什么
在作品里找到你完成的歌曲,它以 48 kHz 立体声 WAV 音频文件保存。用音频筛选可以只显示音频。播放器下方的歌曲卡片会显示标题、风格、歌词和乐谱。用这些按钮来创作另一个版本:
| 按钮 | 保留 | 改变 |
|---|---|---|
| 新版本 | 乐谱、歌词和风格 | 演绎,使用新的种子。歌曲不会被重新规划 |
| 重新生成声音 | 乐谱、歌词、风格和演绎 | 录音的音色。耗时大约是创作整首歌的三分之一 |
| 给这个曲谱换风格 | 乐谱 | 歌词和风格。点击之前请先在表单里填好你的修改 |
| 翻唱这首歌 | 你听到的曲调 | 其他所有内容 |
点击编辑曲谱,可以把乐谱当作文字打开。编辑之后,点击预览查看更新后的乐谱。点击渲染此曲谱,会把使用你编辑内容的歌曲加入队列。
4.16 版本之前制作的歌曲缺少这些按钮所需的已保存规划。它们的按钮会说明为什么这些操作不可用。
点击歌曲卡片上的使用…,选择接下来要做什么:对口型会让你图片中的人脸唱这首歌;用 Hailuo H3 对口型会在已安装 H3 时用 H3 来做这件事。你也可以选择音乐视频或视频配乐。
音乐视频
打开音频 → 音乐视频,用你的歌曲和图片制作一部影片。选择歌曲,添加你的图片,并把每张标记为歌手(呈现为在演唱)、乐器或场景。在画面风格里描述你想要每个镜头呈现的样子。
点击规划视频。规划是即时且免费的。它会读取节拍,生成一份镜头列表,并在分镜中打开。在分镜里生成各个镜头,然后与歌曲合成,就得到你的影片。
预期表现
-
时间。“作曲”下方的预估假定歌曲有最大时长那么长,所以大多数歌曲会更快完成。在 M4 Max 上,最终版创作一首 3 分钟的歌约需 3 分钟;草稿所需时间不到一半。安装后的第一首歌会更久,因为模型还要先加载。
中位耗时在 M4 Max 上约为 1.5 分钟,在 M5 Pro 上约为 3 分钟,在 M1 Max 上约为 5.5 分钟,在 M4 Pro 上约为 6 分钟。一半的歌曲比中位数完成得更快,另一半更慢。这些时间来自 Phosphene 的匿名使用统计;见速度基准。
-
内存。选择 8-bit 时,歌曲写作期间内存占用峰值约为 11 GB。在 16 GB 的 Mac 上,作曲前请关闭其他应用和浏览器标签页。对于较长的歌曲,如果同时还开着其他应用,我们仍然建议 24 GB 或以上。
-
版本。先在草稿上试两三个版本,再用最终版生成你喜欢的那个。如果你已经喜欢某首歌的曲调,用新版本来获得另一种演绎。
-
长度。歌曲的长度由歌词决定。即使最大时长设为 6 分钟,歌词很短也只会得到一首很短的歌。
出问题时怎么办
| 你看到的情况 | 该怎么做 |
|---|---|
| 作曲一直是灰色 | 安装缺失或未完成。点击卡片上的安装音乐引擎即可开始或继续 |
安装中途停止,并出现一行 FATAL error: | 它会指明原因:内存不足(16 GB)、磁盘空间不足(需要 14 GB 可用)或无法连接 GitHub。见安装中途停止时 |
| 引擎提示不可用,但模型文件已经下载 | 点击 Pinokio 侧边栏里的 Repair the music engine。不需要重新下载模型文件 |
| Music Studio 因为你的 Mac 内存不足而停止了你的歌曲 | 关闭其他应用和浏览器标签页,然后重新作曲。这首歌没有保存任何内容 |
| 歌曲一直显示等待内存(内存 24 GB 或以下的 Mac) | 你的 Mac 可用内存太少,无法开始创作歌曲。退出其他应用后它会自动开始;等待 90 秒后,它会以一条明确的提示停止,而不是在创作中途失败 |
| 歌曲一直显示等待 GPU | 另一项任务正在占用你 Mac 的图形处理器。该任务结束后你的歌曲会自动开始。点击停止可取消等待 |
| 歌曲被停止了 | 不会保存任何不完整的歌曲。点击作曲重新排队 |
来源:webapp/docs/music.md,位于公开仓库。发布前已针对本网站审阅。译自英文原文。建议修改。