Pro
DE
AnmeldenKonto Für Mac herunterladen
Für Mac herunterladen

Doku / Video

Zwei Charaktere im Gespräch

Verwende eigene oder stilisierte Charaktere oder deine Selbstdarstellung mit dokumentierter Einwilligung. Jede Darstellung einer anderen erkennbaren Person braucht deren dokumentierte Einwilligung. Halte dich bei allen Referenzbildern, Trainingsdaten, Audiodateien und Ergebnissen an die Richtlinie zur zulässigen Nutzung.

Acht Renderings von „zwei Außerirdischen beim Abendessen“ an einem Tag haben das Panel auf die harte Tour viel gelehrt. Bevor ein neuntes gerendert wird, steht hier, was die eigenen Anleitungen von Lightricks, die Modellkarte von LTX-2, die Community-Workflows und die offenen Issues zu Dialog, mehreren Charakteren und Kontinuität sagen, und das Rezept, das sich daraus ergibt.

1. Lippensynchronisation mit mehreren Gesichtern im Bild ist ein ungelöstes Problem, kein Prompt-Fehler

  • Das ComfyUI-Issue #395 von Lightricks („How to control who is speaking… when there are multiple characters in the image?“) beschreibt genau das, was der Inhaber gehört hat: „Character A or B starts lip syncing randomly to parts of the dialogue… very often they both appear to talk the same words simultaneously.“ Es ist offen, ohne Antwort eines Maintainers.
  • Die Antworten der Community, die funktionieren, haben alle dieselbe Form: ein sprechendes Gesicht pro Generierung (jeden Charakter einzeln rendern und zusammensetzen), Masken mit externem Audio oder vorab aufgenommener Dialog. Im Prompt auf dem Sprecher zu „bestehen“ („the woman in the red dress is talking, the man is silently listening“) hilft manchmal und scheitert oft, was unsere Versionen v2 und v3 gemessen haben.
  • Der Rat der Audio-Anleitung selbst: ein Sprecher pro Zeile, kurze Zeilen, Sprecher und Vortragsweise vor dem Zitat geschrieben („she says in a calm, seasoned voice: ’…’“), etwa 9 s Sprache in natürlichem Tempo, das Wort „lip sync“ im Prompt, ein gut beleuchtetes Gesicht von vorn und „let the face arrive first“: Eine Zeile, die im ersten Bild beginnt, gibt der Synchronisation nichts, woran sie sich festhalten kann.

Also: Eine Unterhaltung wird so geschrieben, dass nur das Gesicht des Sprechers im Bild ist, während eine Zeile läuft. Die Staging-Regel von One Shot im Panel (ein Schlag nennt nur, wer im Bild sein soll) ist dieselbe Idee, nur der falsche Behälter.

2. Der richtige Behälter ist eine Multi-Shot-Generierung, kein One Shot

Das Hauptmerkmal von LTX-2.5 ist natives Multi-Shot: mehrere verbundene Einstellungen mit ausdrücklichen Schnitten in EINEM Prompt und EINER Generierung, wobei das Modell „character identity, environment, lighting and voice“ über die Schnitte hinweg behält, weil es die ganze Sequenz auf einmal durchdenkt. Die Prompt-Anleitung von Lightricks für 2.5:

  • „Use a single continuous take when you want unbroken camera motion, intimate performance, or dialogue that must stay lip-synced in one framing. … When a scene involves dialogue, multiple beats, or precise timing, write it in a screenplay style.“
  • „Prefer 2 to 4 shots in one generation.“ An jedem Schnitt: den Schnitt in Prosa benennen („a hard cut to…“), die neue Einstellung neu etablieren (Maßstab, Winkel, wer im Bild ist, Licht), wiederkehrende Charaktere mit denselben Beschreibungen neu benennen, nie mit einem Pronomen, und sagen, was der Sound tut („the room tone continues across the cut“, „the dialogue drops; only wind remains“).
  • Das Design, die Kleidung und das Licht des Original-Charakters über die Einstellungen hinweg konsistent halten.

Ein Gespräch zwischen zwei Personen ist deshalb Schuss und Gegenschuss innerhalb einer Generierung: eine halbnahe Einstellung von A, die seine Zeile sagt, a hard cut to eine halbnahe Einstellung von B am selben Tisch im selben Licht, die antwortet, der Raumton läuft weiter. Ein Gesicht pro Einstellung, also synchronisiert nichts im Gleichklang; eine Generierung, also ein Tisch, ein Paar, je eine Stimme. Die „zwei verschiedenen Tische, der Charakter ändert sich in der Mitte“ bei der Aufnahme am langen Tisch waren der Preis dafür, drei getrennte Generierungen einer Szene zusammenzunähen, die das Modell nie als Ganzes sehen durfte.

3. Kontinuität über Generierungen hinweg, wenn eine Szene länger dauern muss als eine

  • Community-Workflows zum Verlängern (RuneXX, Kijai, die Extension-Nodes von IAMCCS) geben die letzten ca. 3 Sekunden (73 Bilder) des vorigen Clips als Kontext ein, nicht ein einzelnes Bild, gleichen die Farben des neuen Segments an das alte an, mischen das Audio, halten Segmente bei 10 bis 20 s und rechnen nach etwa 60 s mit Drift. „Incorrect slices can result in weird seam timing, sudden resets, or continuity breaks.“
  • One Shot im Panel gibt EIN Bild weiter. Deshalb stockt jede Verbindung und startet neu (heute Morgen gemessen) und deshalb driftet eine Szene über die Teile hinweg. Die mitgelieferte RetakePipeline.extend_from_video konditioniert auf einen Quellclip; mit einem Ende von 73 Bildern gefüttert, ist das die Methode der Community. Die frühere „Fensterkette“, die zu Brei wurde, nutzte auf Q4 ein Ende von 121 Bildern, ein anderes Experiment.
  • Der mitgelieferte Fork enthält außerdem Prompt Relay (--segment TEXT [LEN]): Die Worte jedes Segments werden innerhalb einer Generierung auf einen Abschnitt der Zeitleiste begrenzt. Es kann einen sichtbaren Mund nicht am Bewegen hindern, aber es kann verhindern, dass die Zeile von Sprecher B in die Sekunden von Sprecher A hineinblutet. Das Panel zeigt es noch nicht an.

4. Das Rezept für die Außerirdischen (und jedes Zwiegespräch)

Eine Generierung pro Wortwechsel, 10 s (241 Bilder) bei Hoch · 720p auf diesem Mac, geschrieben als Multi-Shot-Prompt im Drehbuchstil:

Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.

Die Regeln, die darin stecken: ein Sprecher pro Einstellung und pro Zeile; der Sprecher vor dem Zitat beschrieben, jedes Mal mit denselben Worten; der Schnitt benannt; der Sound über den Schnitt hinweg angegeben; der Satz mit „preserve“; „lip sync“; das Gesicht kommt vor der Zeile. Ein Gespräch von 30 s sind drei solche Generierungen, an Schnitten verbunden (ein Schnitt versteckt eine Naht, ein One Shot nicht), jede beschreibt beide Außerirdischen neu mit denselben Beschreibungen, damit das Modell dasselbe Paar wieder erzeugt. Muss eine Szene eine ununterbrochene Aufnahme von mehr als 10 s sein, verlängere mit einem Ende von 73 Bildern als Kontext, nicht mit einem Bild (§3). Dieser Weg ist im Panel heute noch nicht gebaut.

4b. Zwei Fehler, gemessen an einer Monolog-Aufnahme von 90 s, und ihre Lösungen

  • Stimme über einem geschlossenen Mund am Ende von Teilen und im ersten Bild: Zeilen von 10 bis 14 Wörtern in Schlägen von 5 s. Sprache läuft mit etwa 2,5 Wörtern pro Sekunde, das Audio überlief also den Schlag und wurde an der Teilgrenze abgeschnitten. Lösung: höchstens 7 Wörter pro Schlag, die Stille nach der Zeile mitschreiben, ein stummer Blick vor der ersten Zeile (die eigene Dauerregel des Panels; §4 ging davon schon aus).
  • „Schnitte, überblendet mit einem Überbelichtungseffekt“: Ein Teil aus Bild-zu-Video driftet in sich selbst in der Belichtung (mittlere Luma 137 → 178 über zehn Sekunden), und der nächste Teil gleicht sich ein Bild nach seinem verankerten ersten Bild wieder an (178 → 157), sodass ein Farbabgleich an der Grenze nichts zu korrigieren findet. Lösung: scripts/join_smooth.py --hold-exposure setzt die mittlere Luma jedes Bildes auf die erste Sekunde der Aufnahme fest (über 12 Bilder geglättet), flach bei 159 über dieselben 30 s, die zwischen 126 und 175 schwankten, dazu die Farbüberblendung an der Naht und eine Audio-Überblendung von 120 ms. Gilt nur, wenn das Licht vertragsgemäß konstant ist, was die Lichtsperre eines One Shot sicherstellt; eine Szene, die dunkler werden soll, darf es nicht nutzen.

4c. Ein sprechender Charakter über mehrere Teile: auf einem sprechenden Bild übergeben, die Synchronisation prüfen

  • Ein Folgeteil, der an einem geschlossenen, stummen Mund verankert ist, synchronisiert die nächste Zeile nicht (gemessen: Mundöffnung gegen Stimme r −0.15 / +0.20; der Hinweis der Community zum Verlängern sagt dasselbe). Verankert an einem Bild mitten im Wort, synchronisiert er (+0.47). take_handoff=speech von One Shot kürzt jeden Teil dort, wo seine Zeile endet (take_speech_end, 0,4 s Puffer), und verankert den nächsten Teil dort; der erste Schlag jedes Teils beginnt mit einem stummen Blick, damit die Synchronisation einen Moment zum Einrasten hat.
  • Schon ein erster Teil ist ein Glücksspiel: Gleiche Einstellungen ergaben +0.41 und −0.27 bei zwei Zeilen. Deshalb wird jeder gesprochene Teil gemessen (take_lipsync_score, dasselbe Maß wie scripts/lipsync_check.py) und unter 0.20 einmal neu aufgenommen, mit einem frischen Seed; der bessere Clip bleibt.
  • Eine echte Zeile (höchstens 18 Wörter) pro Teil von 10 s, nie eine Zeile pro Schlag von 5 s; keine Wörter wie Schnitt, Edit, Einstellung oder Szene im Dialog; ein trainierter Original-Charakter rendert auf Q8 Pro.

5. Beweis (gerendert am 2026-09-07, 10 s, Hoch · 720p, Seed 4242)

Der Prompt aus §4, als ein gewöhnlicher Text-zu-Video-Auftrag abgeschickt (keine Aufnahme, keine Übergabe): 0 bis 5 s der große Außerirdische allein am Tisch im Kerzenlicht, der seine Zeile sagt; ein sauberer harter Schnitt bei 5 s; 5 bis 10 s der kleine Außerirdische allein am selben Tisch, der antwortet, hell beleuchtet, mit lesbarem Ausdruck. Ein Gesicht pro Einstellung, ein Raum, ein Paar: das erste Rendering des Tages, bei dem nichts im Gleichklang sprechen konnte und nichts den Tisch wechselte. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.

Quellen

  • Lightricks, LTX-2.5 prompt guide: https://ltx.io/blog/ltx-2-5-prompt-guide
  • Lightricks, Prompting guide for LTX-2: https://ltx.io/blog/prompting-guide-for-ltx-2
  • Lightricks/LTX-2 README und die Modellkarte von LTX-2 (Aufbau, „frame count 8k+1“)
  • Lightricks/ComfyUI-LTXVideo Issue #395 (Lippensynchronisation mit mehreren Charakteren, offen): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
  • RuneXX/LTX-2.3-Workflows Discussions #116 (zwei Charaktere) und #131 (mehrfaches Verlängern: 3 s Kontextbilder, Farbabgleich, Gruppen von 20 s, ca. 60 s bis zum Drift)
  • Kijai/LTXV2_comfy Discussion #36 (jedes Video verlängern: Mindestüberlappung von 73 Bildern)
  • fal.ai, How to use LTX-2.5 (Multi-Shot: den Schnitt benennen, neu etablieren, neu benennen, den Sound angeben; höchstens 3 Einstellungen; das Gesicht vor der Zeile ankommen lassen)
  • ltx23.org, LTX 2.5 release guide (natives Multi-Shot, „Preserve … across every shot“)
  • ltx.io/blog How to add AI voiceovers & dialogue (ein Sprecher pro Zeile, kurze Zeilen)

Quelle: docs/LTX_DIALOGUE.md im öffentlichen Repo. Für diese Website vor der Veröffentlichung geprüft. Aus dem englischen Original übersetzt. Änderung vorschlagen.