ヘルプ / Music Studio
Music Studio:ボーカル入りの楽曲を作る
音声 → 作曲を開くと、Music Studioが使えます。YuE2音楽エンジンを使って、ボーカルも楽器も含んだ完成した曲をMac上で作ります。ボーカルなしの音楽を作ったり、既存の曲の新バージョンを作ったり、録音を楽譜に変換したりすることもできます。
音楽エンジンをインストールする
音楽エンジンは、約11 GBの別ダウンロードです。
- 必要なもの:メモリ16 GB以上のApple Silicon Mac、そしてモデルの保存先ドライブに14 GBの空き容量。16 GBのMacでは、作曲の前にほかのアプリとブラウザのタブを閉じてください。
- 手順:音声 → 作曲を開きます。インストールが終わるまで、フォームはグレーアウトしたままです。カードの音楽エンジンをインストール(YuE2、約11 GB)、または作曲をクリックすると、ダウンロードが始まります。進捗はカードに表示されます。
- ライセンス:YuE2は、ダウンロードまたは初回使用の前にライセンス画面を表示します。ライセンスが変わらない限り、Macごとに1回同意します。ウェイトはCC BY-NC 4.0(非商用利用のみ)で、個人のクリエイターが自分で作った曲を販売することは認められています。企業はウェイトのライセンスが必要です。
- インストールを一時停止するには停止をクリックします。もう一度インストールを始めると再開します。PinokioのサイドバーのInstall the music engine、または設定 → モデルからもインストールできます。
- インストールが終わったら、すぐにフォームを使えます。何かを再起動する必要はありません。
次の2つの追加分は、最初に必要になったときにダウンロードされます。
- 音楽LoRAパック(約300 MB):ボーカルなしの音楽が良くなります。ボイス&スタイルLoRAの一覧に、声とスタイルのアドオンも加わります。役に立つ場面では、フォームがこのパックを案内します。
- カバー用モデル(2.8 GB):曲をカバーとスコアを取得に必要です。
アップデート後にエンジンが動かなくなった場合は、PinokioのサイドバーでRepair the music engineをクリックしてください。ダウンロード済みのモデルファイルは保持されます。
シンプルかカスタムかを選ぶ
Music Studioの上部にあるスイッチで、どこまで自分で書くかを選びます。
- シンプル:作りたい曲を短く説明します。たとえば「a slow piano ballad for a friend moving away, a woman with a low warm voice, brushed drums」のように。Mac上で動くAIモデルのGemmaが、スタイルの説明と歌詞を書きます。曲が作られる前に、その両方を確認できます。ボーカルなしのトラックにするにはインストゥルメンタルにチェックを入れます。
- カスタム:自分で歌詞とスタイルの説明を書き、以下のすべての設定を使えます。
曲を作る
カスタムで曲を作るを選び、次のように進めます。
-
必要ならタイトルを入力します。
-
どんな内容? に、アイデア、ストーリー、気持ちを1〜2文で書きます。歌詞を書くをクリックすると、Gemmaがそれをもとに歌詞を下書きします。下のスタイルが入力されていれば、歌詞もそのスタイルに沿います。下書きと曲のセクションは編集できます。
-
歌詞で、セクションを選ぶとカードを編集できます。イントロ、バース、プリコーラス、サビ、ブリッジ、インストゥルメンタル、アウトロでカードを追加します。またはテキストを選ぶと、1つのボックスにすべてを入力できます。セクション名は、角かっこで囲んで1行にし、その後ろに歌詞を続けます。セクションの間には空行を入れます。
[Verse] The station lights are fading Your footsteps find the street [Chorus] Carry the morning homeボーカルなしの部分にしたいセクションは、歌詞を空のままにします。
-
スタイルに、ジャンル、楽器、歌手、言語、テンポを普通の言葉で書きます。たとえば、English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM。項目ごとに分ける必要はありません。
-
作曲をクリックします。曲は、動画と同じキューに入ります。
インストゥルメンタル
トラック全体をボーカルなしにするには、インストゥルメンタルにチェックを入れます。歌詞はボックスに残りますが、使われません。音楽LoRAパックには、結果を良くする専用のアドオンが入っています。パックがない場合、エンジンは「ボーカルなし」という文章での依頼だけに頼ることになります。曲の途中にボーカルなしの部分を入れたい場合は、代わりにそのセクションの歌詞を空にしてください。
曲の設定を調整する
| 項目 | 内容 |
|---|---|
| スコア:メロディ + コード(デフォルト)、メロディのみ、スコアなし | 曲を作る前に、YuE2が楽譜として曲を設計するかどうかを選びます。メロディ + コードが最も構成のしっかりした曲になります |
| 画質:ドラフト(8ステップ)または最終版(32ステップ、デフォルト) | ドラフトはアイデアを試すのに使います。最終版より数倍速く作れます |
| 最大の長さ:30秒〜6分(デフォルトは4:00) | 作れる曲の最長を設定します。曲の長さは歌詞で決まります。この設定は、長い曲を打ち切りますが、短い曲を引き延ばすことはありません |
| シード | 結果を変えるために使う数値です。-1 のままにするとランダムに選ばれます。同じシードを使うと、同じ曲がもう一度作れます |
| テイク数:1〜8 | フォームの設定から、この数のバージョンをキューに追加します。それぞれ別のシードを使います |
| ボイス&スタイルLoRA | 作詞と音を変えるアドオンを選び、それぞれの強さを設定します。自分の .safetensors ファイルを追加するには、LoRAフォルダの user/ サブフォルダに置きます。すると、この一覧に表示されます。これらのアドオンは、インストゥルメンタルを選んでいる間は一時停止されます |
| 詳細設定 → テキストガイダンス | スタイルと歌詞にどれだけ忠実に従うかを設定します。デフォルトは1.0です。値を高くすると、より文字どおりに従いますが、堅く聞こえることがあります。低くすると、より自由な変化が生まれます |
| 詳細設定 → 精度:8-bit(デフォルト)またはbf16 | bf16を選ぶ場合は、メモリをさらに約8 GB確保してください |
曲をカバーする、またはスコアを取得する
- 曲をカバーを選び、音声ファイルを元の曲にドラッグします。残すものを選びます。メロディ + コードは、完全な録音から曲調とハーモニーを取り出します。歌声のラインは、ボーカルの旋律だけを取り出し、伴奏は新しくなります。すべては、伴奏もそのまま残し、読み取りに最も時間がかかります。結果には、あなたのスタイルと歌詞が使われます。
- スコアを取得を選ぶと、曲を作らずに、録音を楽譜に変換します。
どちらもカバー用モデル(2.8 GB、1回だけダウンロード)が必要です。カバーするのは、利用する権利のある音楽だけにしてください。
完成した曲でできること
完成した曲は、ギャラリーに48 kHzステレオのWAV音声ファイルとして保存されます。音声フィルターを使うと、音声だけを表示できます。プレーヤーの下の曲カードには、タイトル、スタイル、歌詞、楽譜が表示されます。次のボタンで、別のバージョンを作れます。
| ボタン | 保持されるもの | 変わるもの |
|---|---|---|
| 新しいテイク | 楽譜、歌詞、スタイル | 演奏。新しいシードを使います。曲の設計はやり直しません |
| サウンドを作り直す | 楽譜、歌詞、スタイル、演奏 | 録音の音。曲全体を作る時間の約3分の1で済みます |
| このスコアのスタイルを変更 | 楽譜 | 歌詞とスタイル。クリックする前に、フォームに変更内容を入力しておきます |
| カバーする | 聞こえている旋律 | そのほかのすべて |
スコアを編集をクリックすると、楽譜をテキストとして開きます。編集後にプレビューをクリックすると、更新された楽譜を確認できます。このスコアをレンダリングをクリックすると、編集内容を使った曲がキューに追加されます。
バージョン4.16より前に作った曲には、これらのボタンに必要な保存済みの設計情報がありません。その曲では、ボタンにこれらの操作が使えない理由が表示されます。
曲カードの使用… をクリックすると、次に作るものを選べます。リップシンクは、画像の顔にその曲を歌わせます。Hailuo H3でリップシンクは、H3がインストールされていれば、H3で同じことをします。ミュージックビデオや動画のサウンドトラックも選べます。
ミュージックビデオ
音声 → ミュージックビデオを開くと、曲と画像から映像作品を作れます。曲を選び、画像を追加して、それぞれを歌手(歌っている姿で表示)、楽器、部屋のどれかにします。見た目で、各ショットの見た目を説明します。
動画を計画をクリックします。計画は一瞬で終わり、無料です。ビートを読み取り、ショットリストを作って、絵コンテで開きます。絵コンテでショットを作り、曲と組み合わせて作品を仕上げます。
目安
-
時間。作曲の下の見積もりは、最大の長さいっぱいの曲を想定しているため、ほとんどの曲はそれより早く終わります。M4 Maxでは、最終版で3分の曲が約3分で作れ、ドラフトはその半分以下です。インストール後の最初の曲は、モデルの読み込みも必要なため、時間が長くかかります。
中央値は、M4 Maxで約1.5分、M5 Proで3分、M1 Maxで5.5分、M4 Proで6分です。半数の曲は中央値より早く、半数はそれより長くかかります。これらの時間は、Phospheneの匿名の利用カウントによるものです。速度ベンチマークを参照してください。
-
メモリ。8-bitを選んでいる場合、曲を書いている間のメモリ使用量は約11 GBでピークになります。16 GBのMacでは、作曲の前にほかのアプリとブラウザのタブを閉じてください。ほかのアプリを開いたまま長い曲を作るなら、引き続き24 GB以上を推奨します。
-
テイク。ドラフトで2、3バージョンを試し、気に入ったものを最終版で作ります。曲の旋律がすでに気に入っているなら、新しいテイクで別の演奏を作ってください。
-
長さ。曲の長さは歌詞で決まります。最大の長さを6分にしても、歌詞が短ければ曲も短くなります。
うまくいかないとき
| 症状 | 対処 |
|---|---|
| 作曲がグレーアウトしたまま | インストールが未実施か、完了していません。カードの音楽エンジンをインストールをクリックして、開始または再開します |
インストールが FATAL error: の行で止まる | 原因が示されます。メモリ不足(16 GB)、ディスク容量不足(14 GBの空き)、GitHubに接続できない、のいずれかです。インストールが止まったときを参照してください |
| エンジンが使えないと表示されるが、モデルファイルはダウンロード済み | PinokioのサイドバーでRepair the music engineをクリックします。モデルファイルを再ダウンロードする必要はありません |
| Music Studio stopped your song because your Mac was running low on memory | ほかのアプリとブラウザのタブを閉じてから、もう一度作曲してください。この曲については何も保存されていません |
| 曲がWaiting for memoryのまま待機している(24 GB以下のMac) | 曲を開始するための空きメモリが足りません。ほかのアプリを終了すれば自動で始まります。90秒たつと、曲の途中で失敗するのではなく、わかりやすいメッセージとともに停止します |
| 曲がWaiting for the GPUのまま待機している | 別のタスクがMacのグラフィックプロセッサを使っています。そのタスクが終わると曲が始まります。待機を取りやめるには停止をクリックします |
| 曲が停止された | 途中までの曲は保存されません。作曲をクリックして、もう一度キューに追加します |
出典:webapp/docs/music.md(公開リポジトリ)。公開前にこのウェブサイト向けに確認済みです。英語の原文から翻訳しています。編集を提案する。