Pro
DE
AnmeldenKonto Für Mac herunterladen
Für Mac herunterladen

Doku / Musik-Studio

Musik-Studio: Songs mit Gesang

Öffne Audio → Komponieren, um das Musik-Studio zu nutzen. Es erstellt auf deinem Mac komplette Songs mit Gesang und Instrumenten, mit der Musik-Engine YuE2. Du kannst auch Musik ohne Gesang machen, von einem bestehenden Song eine neue Version erstellen oder aus einer Aufnahme Noten machen.

Die Musik-Engine installieren

Die Musik-Engine ist ein eigener Download von etwa 11 GB.

  • Was sie braucht: einen Mac mit Apple Silicon und 16 GB Arbeitsspeicher oder mehr sowie 14 GB frei auf dem Laufwerk, auf dem du deine Modelle speicherst. Schließe auf einem 16-GB-Mac vor dem Komponieren andere Apps und Browser-Tabs.
  • So geht’s: Öffne Audio → Komponieren. Das Formular bleibt ausgegraut, bis die Installation fertig ist. Klicke auf der Karte auf Musik-Engine installieren (YuE2, ~11 GB) oder auf Komponieren, um den Download zu starten. Die Karte zeigt deinen Fortschritt.
  • Lizenz: YuE2 zeigt vor dem Download oder der ersten Nutzung einen Lizenzbildschirm; akzeptiere ihn einmal pro Mac, sofern sich die Lizenz nicht ändert. Die Gewichte stehen unter CC BY-NC 4.0 (nur nicht kommerzielle Nutzung), wobei einzelne Kreative die Songs, die sie machen, verkaufen dürfen; Unternehmen brauchen für die Gewichte eine Lizenz.
  • Um die Installation zu pausieren, klicke auf Stopp. Starte die Installation erneut, um fortzufahren. Du kannst auch über Install the music engine in der Pinokio-Seitenleiste oder über Einstellungen → Modelle installieren.
  • Du kannst das Formular nutzen, sobald die Installation fertig ist. Du musst nichts neu starten.

Zwei optionale Extras werden heruntergeladen, wenn du sie zum ersten Mal brauchst:

  • Das Musik-LoRA-Paket (etwa 300 MB) verbessert Musik ohne Gesang. Es fügt außerdem der Liste Stimm- & Stil-LoRA Stimm- und Stil-Add-ons hinzu. Das Formular bietet das Paket an, wenn es helfen würde.
  • Die Cover-Modelle (2,8 GB) werden für Song covern und Partitur holen gebraucht.

Funktioniert die Engine nach einem Update nicht mehr, klicke in der Pinokio-Seitenleiste auf Repair the music engine. Deine heruntergeladenen Modelldateien bleiben erhalten.

Einfach oder Eigene wählen

Mit dem Schalter oben im Musik-Studio legst du fest, wie viel du selbst schreibst.

  • Einfach: Beschreibe kurz den Song, den du willst. Zum Beispiel: “a slow piano ballad for a friend moving away, a woman with a low warm voice, brushed drums”. Gemma, ein KI-Modell, das auf deinem Mac läuft, schreibt eine Stilbeschreibung und einen Songtext. Du siehst beides, bevor der Song entsteht. Setze ein Häkchen bei Instrumental für einen Track ohne Gesang.
  • Eigene: Schreibe deinen eigenen Songtext und deine eigene Stilbeschreibung, mit Zugriff auf alle Regler unten.

Einen Song schreiben

Wähle in Eigene die Option Song schreiben und dann:

  1. Gib einen Titel ein, wenn du einen möchtest.

  2. Beschreibe unter Worum geht es? deine Idee, Geschichte oder dein Gefühl in ein bis zwei Sätzen. Klicke auf Songtext schreiben, damit Gemma daraus einen Songtext entwirft. Ist unten Stil ausgefüllt, folgt der Songtext auch diesem Stil. Du kannst den Entwurf und seine Songabschnitte bearbeiten.

  3. Wähle unter Songtext Abschnitte, um Karten zu bearbeiten. Füge Karten mit Intro, Strophe, Pre-Chorus, Refrain, Bridge, Instrumental oder Outro hinzu. Oder wähle Text, um alles in ein Feld zu tippen. Setze jeden Abschnittsnamen in eckige Klammern in eine eigene Zeile, gefolgt von seinem Text. Lass zwischen den Abschnitten eine Leerzeile:

    [Verse]
    The station lights are fading
    Your footsteps find the street
    
    [Chorus]
    Carry the morning home

    Lass den Text eines Abschnitts leer, wenn die Passage ohne Gesang sein soll.

  4. Beschreibe unter Stil in einfachen Worten Genre, Instrumente, Sänger, Sprache und Tempo. Zum Beispiel: English, warm piano pop, expressive female voice, acoustic piano, light drums, 88 BPM. Getrennte, beschriftete Felder brauchst du nicht.

  5. Klicke auf Komponieren. Dein Song reiht sich in dieselbe Warteschlange ein wie deine Videos.

Instrumental

Setze ein Häkchen bei Instrumental für einen ganzen Track ohne Gesang. Dein Songtext bleibt im Feld stehen, wird aber nicht verwendet. Das Musik-LoRA-Paket bringt ein eigenes Add-on mit, das die Ergebnisse verbessert. Ohne es verlässt sich die Engine nur auf die schriftliche Bitte um keinen Gesang. Soll eine Passage ohne Gesang mitten in einem Song liegen, lass stattdessen den Text dieses Abschnitts leer.

Die Song-Einstellungen anpassen

ReglerWas er macht
Partitur: Melodie + Akkorde (Standard), Nur Melodie, Keine PartiturLegt fest, ob YuE2 den Song als Noten plant, bevor es ihn erstellt. Melodie + Akkorde ergibt die am besten strukturierten Songs
Qualität: Entwurf (8 Schritte) oder Final (32 Schritte, Standard)Nutze Entwurf, um Ideen auszuprobieren. Er ist mehrfach schneller als Final
Max. Länge: 30 s bis 6 min (Standard 4:00)Legt den längsten erlaubten Song fest. Deine Songtexte bestimmen seine Länge. Diese Einstellung kürzt einen längeren Song, dehnt einen kürzeren aber nicht
SeedDie Zahl, mit der das Ergebnis variiert wird. Lass -1 für eine zufällige Wahl. Verwende einen Seed erneut, um denselben Song noch einmal zu bekommen
Takes: 1 bis 8Reiht so viele Versionen aus deinen Formulareinstellungen ein, jede mit eigenem Seed
Stimm- & Stil-LoRAWähle Add-ons, die Texten und Klang verändern, und lege fest, wie stark jedes wirkt. Um deine eigene .safetensors-Datei hinzuzufügen, lege sie in den Unterordner user/ des LoRA-Ordners. Sie erscheint dann in dieser Liste. Diese Add-ons pausieren, solange Instrumental gewählt ist
Erweitert → Text-GuidanceLegt fest, wie genau der Song deinem Stil und Songtext folgt. Der Standard ist 1,0. Höhere Werte folgen ihnen wörtlicher, können aber steif klingen; niedrigere Werte erlauben mehr Variation
Erweitert → Genauigkeit: 8-Bit (Standard) oder bf16Wählst du bf16, plane etwa 8 GB mehr Speicher ein

Einen Song covern oder seine Partitur holen

  • Wähle Song covern und ziehe dann eine Audiodatei auf Quellsong. Wähle, was erhalten bleiben soll: Melodie + Akkorde übernimmt Melodie und Harmonie aus der ganzen Aufnahme; Die Gesangslinie übernimmt nur die Gesangsmelodie, mit neuer Begleitmusik; Alles behält auch die Begleitmusik und braucht beim Einlesen am längsten. Das Ergebnis nutzt deinen Stil und deinen Songtext.
  • Wähle Partitur holen, um aus einer Aufnahme Noten zu machen, ohne einen Song zu erstellen.

Beides braucht die Cover-Modelle (2,8 GB, einmal heruntergeladen). Covere nur Musik, deren Nutzungsrechte du hast.

Was du mit einem fertigen Song tun kannst

Du findest deinen fertigen Song in der Galerie, gespeichert als 48-kHz-Stereo-WAV-Audiodatei. Mit dem Filter Audio zeigst du nur Audio an. Unter dem Player zeigt die Songkarte Titel, Stil, Songtext und Noten. Mit diesen Schaltflächen erstellst du eine weitere Version:

SchaltflächeBehältÄndert
Neuer TakeDie Noten, den Songtext und den StilDie Darbietung, mit einem neuen Seed. Der Song wird nicht neu geplant
Sound neu würfelnDie Noten, den Songtext, den Stil und die DarbietungDen Klang der Aufnahme. Dauert etwa ein Drittel der Zeit, die ein ganzer Song braucht
Neuer Stil auf dieser PartiturDie NotenDen Songtext und den Stil. Trage vor dem Klicken deine Änderungen ins Formular ein
CovernDie Melodie, die du hörstAlles andere

Klicke auf Partitur bearbeiten, um die Noten als Text zu öffnen. Klicke nach dem Bearbeiten auf Vorschau, um die aktualisierten Noten zu sehen. Klicke auf Diese Partitur rendern, um einen Song mit deinen Änderungen in die Warteschlange zu stellen.

Songs, die vor Version 4.16 entstanden sind, haben den gespeicherten Plan nicht, den diese Schaltflächen brauchen. Ihre Schaltflächen erklären, warum diese Aktionen nicht verfügbar sind.

Klicke auf der Songkarte auf Verwenden …, um zu wählen, was du als Nächstes machst: Lippensynchronisation lässt ein Gesicht in deinem Bild den Song singen; Lippensynchronisation mit Hailuo H3 macht das mit H3, wenn es installiert ist. Du kannst auch Musikvideo oder Soundtrack für ein Video wählen.

Musikvideo

Öffne Audio → Musikvideo, um aus deinem Song und deinen Bildern einen Film zu machen. Wähle den Song, füge deine Bilder hinzu und markiere jedes als Sänger (wird singend gezeigt), Instrument oder Raum. Beschreibe unter Look, wie jede Einstellung aussehen soll.

Klicke auf Video planen. Das Planen ist sofort erledigt und kostenlos. Es liest den Beat, erstellt eine Einstellungsliste und öffnet sie im Storyboard. Erzeuge dort die Einstellungen und kombiniere sie dann mit dem Song zu deinem Film.

Was dich erwartet

  • Zeit. Die Schätzung unter Komponieren geht von einem Song in der Länge von Max. Länge aus, daher sind die meisten Songs früher fertig. Auf einem M4 Max erstellt Final einen 3-Minuten-Song in etwa 3 Minuten; Entwurf braucht weniger als die Hälfte davon. Dein erster Song nach der Installation dauert länger, weil auch die Modelle geladen werden müssen.

    Der Median liegt bei etwa 1,5 Minuten auf einem M4 Max, 3 Minuten auf einem M5 Pro, 5,5 Minuten auf einem M1 Max und 6 Minuten auf einem M4 Pro. Die Hälfte der Songs ist früher als der Median fertig, die andere Hälfte braucht länger. Diese Zeiten stammen aus den anonymen Nutzungszahlen von Phosphene; siehe die Geschwindigkeits-Benchmarks.

  • Speicher. Mit gewähltem 8-Bit erreicht der Speicherverbrauch Spitzen um 11 GB, während dein Song geschrieben wird. Schließe auf einem 16-GB-Mac vor dem Komponieren andere Apps und Browser-Tabs. Für lange Songs bei geöffneten anderen Apps empfehlen wir weiterhin 24 GB oder mehr.

  • Takes. Probiere zwei oder drei Versionen auf Entwurf aus und erstelle dann die, die dir gefällt, auf Final. Gefällt dir die Melodie eines Songs schon, nutze Neuer Take für eine weitere Darbietung.

  • Länge. Deine Songtexte bestimmen die Länge des Songs. Kurze Texte ergeben einen kurzen Song, auch wenn Max. Länge auf 6 Minuten steht.

Wenn etwas schiefgeht

Was du siehstWas zu tun ist
Komponieren bleibt ausgegrautDie Installation fehlt oder ist nicht fertig. Klicke auf der Karte auf Musik-Engine installieren, um sie zu starten oder fortzusetzen
Die Installation stoppt mit einer Zeile FATAL error:Sie nennt die Ursache: zu wenig Arbeitsspeicher (16 GB), zu wenig Speicherplatz (14 GB frei) oder keine Verbindung zu GitHub. Siehe Wenn eine Installation stoppt
Die Engine meldet sich als nicht verfügbar, aber die Modelldateien sind heruntergeladenKlicke in der Pinokio-Seitenleiste auf Repair the music engine. Du musst die Modelldateien nicht erneut herunterladen
Musik-Studio hat deinen Song gestoppt, weil dein Mac wenig Arbeitsspeicher hatteSchließe andere Apps und Browser-Tabs und komponiere dann erneut. Für diesen Song wurde nichts gespeichert
Ein Song wartet mit Warten auf Speicher (Macs mit 24 GB oder weniger)Dein Mac hat zu wenig freien Speicher, um einen Song zu starten. Beende andere Apps, dann startet er von selbst; nach 90 Sekunden stoppt er mit einer verständlichen Meldung, statt mitten im Song zu scheitern
Ein Song wartet mit Warten auf die GPUEine andere Aufgabe nutzt den Grafikprozessor deines Macs. Dein Song startet, wenn sie fertig ist. Klicke auf Stopp, um das Warten abzubrechen
Ein Song wurde gestopptEs wird kein Teil-Song gespeichert. Klicke auf Komponieren, um ihn erneut einzureihen

Quelle: webapp/docs/music.md im öffentlichen Repo. Für diese Website vor der Veröffentlichung geprüft. Aus dem englischen Original übersetzt. Änderung vorschlagen.