Doku / Video
Lippensynchronisation und Audio
Verwende eigene oder stilisierte Charaktere oder deine Selbstdarstellung mit dokumentierter Einwilligung. Jede Darstellung einer anderen erkennbaren Person braucht deren dokumentierte Einwilligung. Halte dich bei allen Referenzbildern, Trainingsdaten, Audiodateien und Ergebnissen an die Richtlinie zur zulässigen Nutzung.
Diese Seite behandelt die Lip-sync im Tab Audio: ein Video, das von einer Tondatei gesteuert wird, die du mitbringst, eine Sprachzeile oder ein Song. Wie du einen Song schreibst, steht unter Musik-Studio. Der Ton steuert das Bild, während es erzeugt wird (er wird nicht hinterher daraufgelegt), sodass sich ein Mund zu den Worten bewegt und die Bewegung der Musik folgt. Aus Text macht er keinen Ton; beschreibe dafür den Sound in einem beliebigen Video-Prompt.
Das ist die Lippensynchronisation von Phosphene: Ein Bild (optional) und ein Stück Audio werden zu einem Clip, dessen Mund dem Track folgt, dieselbe Idee wie ein „sprechendes Foto“ oder das Synchronisieren einer Darbietung auf einen neuen Soundtrack. Es gibt auch einen Chip Lip-sync in der Modusleiste des Tabs Video, der direkt hierher springt.
Eine machen
- Ziehe das Audio hinein: WAV, MP3, M4A oder FLAC. Das Panel liest seine Länge und stellt die Dauer standardmäßig passend dazu ein. Audio, das schon in der Galerie liegt (ein Song, den du komponiert hast, eine Sprachzeile), braucht keinen Weg über den Finder: Verwenden für … auf seiner Karte → Lip-sync.
- Optional: ein Referenzbild, mit dem der Clip beginnt, etwa ein Porträt für einen sprechenden Kopf. Lass es leer für reines Audio-zu-Video. Ein Bild mit geschlossenem Mund und Gesicht nach vorn funktioniert am besten, siehe den Tipp unten.
- Schreibe den Prompt. Verbessern schreibt ihn für das Modell um. Halte ihn kurz (unter etwa 40 Wörtern) und beschreibe die Darbietung (Ausdruck, Gestik, Atmung) statt der Szene oder des Sounds; ein Sync-Satz wird automatisch angehängt.
- Stelle Breite und Höhe ein (Standard 1024×576), Start bei (Sekunden in der Datei, z. B. 30, um den Clip ab 0:30 anzutreiben) und Dauer (1 bis 30 s). Ein Start oder ein Fenster, das über das Ende der Datei hinausläuft, wird vor dem Rendern abgelehnt oder gemeldet: Dieses Stück wäre Stille, und gerade in der Stille friert der Mund ein.
- Stärke der Audio-Konditionierung: Lass sie auf Auto, außer der Mund ist deutlich zu locker oder zu steif. Die beiden Render-Spuren (Q8 / Q4) lesen diese Zahl unterschiedlich, und Auto ist der einzige Wert, der für den Mac, an dem du sitzt, immer stimmt.
- Generieren.
Tipp Wenn sich der Mund nicht bewegt: (1) Beginne mit einem Bild mit geschlossenem Mund und Gesicht nach vorn: Ein Anker mit offenem Mund friert tendenziell offen ein, und das Panel warnt, wenn es einen erkennt; (2) entferne Wörter wie „static“, „holds still“ oder „motionless“ aus dem Prompt: Ein Wort der Ruhe friert die ganze Szene ein, den Mund eingeschlossen; (3) probiere bei einem Song die Option nur Gesang, damit das Modell auf die Stimme hört statt auf den ganzen Mix. Eine große Fläche mit langer Dauer ist ein sehr langes Rendering; der Tab warnt dich und schlägt eine kleinere Größe vor.
Song fortsetzen (im Player des fertigen Clips): startet den nächsten Clip an dem Bild von DIESEM Clip nahe seinem Ende, auf dem der Mund am weitesten geschlossen ist, nicht am buchstäblich letzten Bild, das meist mitten in einer Silbe liegt, wobei Start bei entsprechend vorgerückt wird. So verkettest du einen ganzen Song ohne Sprungschnitt an jeder Verbindung.
Engine. Ist Hailuo H3 installiert, bietet eine Zeile Engine die Wahl zwischen LTX (dein Audio steuert das Bild) und Hailuo H3 (es spielt den Track selbst, Gesicht, Körper und Raum, und behält dein Audio genau so, wie es ist). Siehe Lip-sync bei H3. LTX rendert auf der High-Pipeline (Q8), wenn sie installiert ist, sonst auf der schnellen Q4-Pipeline (die auch auf Macs mit weniger als 64 GB genutzt wird).
Quelle: webapp/docs/audio.md im öffentlichen Repo. Für diese Website vor der Veröffentlichung geprüft. Aus dem englischen Original übersetzt. Änderung vorschlagen.