Pro
FR
Se connecterCompte Télécharger pour Mac
Télécharger pour Mac

Docs / Vidéo

Deux personnages qui parlent

Utilisez des personnages originaux ou stylisés, ou votre propre représentation avec un consentement documenté. Toute représentation d’une autre personne identifiable exige son consentement documenté. Respectez la Politique d’utilisation acceptable pour toutes les images de référence, les données d’entraînement, les fichiers audio et les créations.

Huit rendus de « deux extraterrestres au dîner » en une seule journée ont appris beaucoup de choses au panneau, et à la dure. Avant de lancer un neuvième rendu, voici ce que disent les guides de Lightricks eux-mêmes, la fiche du modèle LTX-2, les workflows de la communauté et les tickets ouverts sur le dialogue, les personnages multiples et la continuité, ainsi que la recette qui en découle.

1. La synchro labiale avec plusieurs visages dans le cadre est un problème ouvert, pas un bug de prompt

  • Le ticket #395 de ComfyUI chez Lightricks (« How to control who is speaking… when there are multiple characters in the image? ») décrit exactement ce que le propriétaire a entendu : « Character A or B starts lip syncing randomly to parts of the dialogue… very often they both appear to talk the same words simultaneously. » Il est ouvert, sans réponse d’un mainteneur.
  • Les réponses qui marchent dans la communauté ont toutes la même forme : un seul visage qui parle par génération (rendre un personnage à la fois et composer), des masques avec un audio externe, ou des dialogues préenregistrés. « Insister » dans le prompt sur qui parle (« the woman in the red dress is talking, the man is silently listening ») aide parfois et échoue souvent, ce que nos versions v2 et v3 ont mesuré.
  • Le conseil du guide audio lui-même : un seul locuteur par réplique, des répliques courtes, le locuteur et la manière de dire écrits avant la citation (« she says in a calm, seasoned voice: ’…’ »), environ 9 s de parole à un rythme naturel, les mots « lip sync » dans le prompt, un visage de face bien éclairé, et « let the face arrive first » : une réplique qui démarre dès la première image ne donne rien à quoi la synchro puisse s’accrocher.

Donc : une conversation s’écrit de façon que seul le visage du locuteur soit à l’écran pendant qu’une réplique est dite. La règle de mise en scène de One Shot dans le panneau (un moment ne nomme que ceux qui doivent être dans l’image) est la même idée ; c’est simplement le mauvais conteneur.

2. Le bon conteneur est une génération multi-plans, pas un One Shot

La fonction phare de LTX-2.5 est le multi-plans natif : plusieurs plans reliés avec des coupes explicites dans UN SEUL prompt et UNE SEULE génération, le modèle gardant « character identity, environment, lighting and voice » d’une coupe à l’autre parce qu’il raisonne sur toute la séquence à la fois. Le guide de prompts 2.5 de Lightricks :

  • « Use a single continuous take when you want unbroken camera motion, intimate performance, or dialogue that must stay lip-synced in one framing. … When a scene involves dialogue, multiple beats, or precise timing, write it in a screenplay style. »
  • « Prefer 2-4 shots in one generation. » À chaque coupe : nommez le montage en toutes lettres (« a hard cut to… »), réétablissez le nouveau plan (échelle, angle, qui est dans le cadre, lumière), réidentifiez les personnages qui reviennent avec les mêmes descripteurs, jamais avec un pronom, et dites ce que fait le son (« the room tone continues across the cut », « the dialogue drops; only wind remains »).
  • Gardez cohérents d’un plan à l’autre le design, la garde-robe et l’éclairage du personnage original.

Une conversation à deux est donc un champ / contre-champ dans une seule génération : un plan moyen de A qui dit sa réplique, a hard cut to un plan moyen de B à la même table, dans la même lumière, qui répond, l’ambiance sonore se poursuivant. Un visage par plan, donc rien ne se synchronise à l’unisson ; une génération, donc une seule table, un seul duo, une voix chacun. Les « deux tables différentes, le personnage qui change au milieu » de la prise de la longue table ont été le prix à payer pour avoir recousu trois générations séparées d’une scène que le modèle n’avait jamais eu le droit de voir en entier.

3. La continuité d’une génération à l’autre, quand une scène doit durer plus longtemps qu’une génération

  • Les workflows d’extension de la communauté (RuneXX, Kijai, les nœuds d’extension IAMCCS) fournissent comme contexte les ~3 dernières secondes (73 images) du clip précédent, et non une seule image, ajustent la couleur du nouveau segment à l’ancien, fondent l’audio, gardent des segments de 10 à 20 s, et s’attendent à une dérive après ~60 s. « Incorrect slices can result in weird seam timing, sudden resets, or continuity breaks. »
  • Le One Shot du panneau transmet UNE image. C’est pourquoi chaque raccord cale puis repart (mesuré ce matin) et pourquoi une scène dérive d’une partie à l’autre. Le RetakePipeline.extend_from_video embarqué se conditionne sur un clip source ; alimenté avec une fin de 73 images, c’est la méthode de la communauté. La « chaîne de fenêtres » précédente qui a tourné en bouillie utilisait une fin de 121 images sur Q4, une autre expérience.
  • Le fork embarqué contient aussi Prompt Relay (--segment TEXT [LEN]) : les mots de chaque segment sont réservés à une tranche de la timeline dans une seule génération. Il ne peut pas empêcher une bouche visible de bouger, mais il peut éviter que la réplique du locuteur B déborde sur les secondes du locuteur A. Le panneau ne l’expose pas encore.

4. La recette pour les extraterrestres (et pour tout duo)

Une génération par échange, 10 s (241 images) en Haute 720p sur ce Mac, écrite comme un prompt multi-plans de style scénario :

Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.

Les règles qu’elle contient : un locuteur par plan et par réplique ; le locuteur décrit avant la citation, à chaque fois, avec les mêmes mots ; la coupe nommée ; le son de part et d’autre de la coupe indiqué ; la phrase « preserve » ; « lip sync » ; le visage arrive avant la réplique. Une conversation de 30 s, ce sont trois générations de ce type, raccordées sur des coupes (une coupe cache un raccord ; un One Shot ne le peut pas), chacune redécrivant les deux extraterrestres avec les mêmes descripteurs pour que le modèle recrée le même duo. Si une scène doit être une prise continue de plus de 10 s, prolongez avec une fin de 73 images comme contexte, et non une seule image (§3) : ce chemin n’est pas encore construit dans le panneau aujourd’hui.

4b. Deux défauts mesurés sur une prise de monologue de 90 s, et leurs corrections

  • Une voix sur une bouche fermée à la fin des parties et sur la première image : des répliques de 10 à 14 mots dans des moments de 5 s. La parole va à ~2,5 mots/s, donc l’audio dépassait le moment imparti et était coupé à la limite entre les parties. Correction : ≤7 mots par moment, le silence après la réplique écrit, un regard silencieux avant la première réplique (la règle de durée du panneau lui-même ; le §4 la supposait déjà).
  • « Cuts blended with an overexposure effect » : une partie image vers vidéo dérive en exposition en elle-même (luma moyenne 137 → 178 sur dix secondes) et la partie suivante se recale une image après sa première image ancrée (178 → 157), si bien qu’un ajustement de couleur à la limite ne voit rien à corriger. Correction : scripts/join_smooth.py --hold-exposure fixe la luma moyenne de chaque image sur celle de la première seconde de la prise (lissée sur 12 images), soit une valeur plate à 159 sur les mêmes 30 s qui oscillaient entre 126 et 175, plus le fondu de couleur au raccord et un fondu enchaîné audio de 120 ms. Valable seulement quand la lumière est constante par contrat, ce que le verrou de lumière d’un One Shot garantit ; une scène censée s’assombrir ne doit pas l’utiliser.

4c. Un personnage qui parle d’une partie à l’autre : passer le relais sur une image parlante, contrôler la synchro

  • Une partie de continuation ancrée sur une bouche fermée et silencieuse ne synchronisera pas la réplique suivante (mesuré : ouverture de la bouche contre voix r −0,15 / +0,20 ; la note d’extension de la communauté dit la même chose). Ancrée sur une image prise au milieu d’un mot, elle se synchronise (+0,47). Le take_handoff=speech de One Shot coupe chaque partie là où sa réplique se termine (take_speech_end, marge de 0,4 s) et ancre la suivante à cet endroit ; le premier moment de chaque partie s’ouvre sur un regard silencieux pour que la synchro ait un moment pour s’accrocher.
  • Même une première partie est un coup de dé : des réglages identiques ont donné +0,41 et −0,27 sur deux répliques. Donc chaque partie parlée est mesurée (take_lipsync_score, la même mesure que scripts/lipsync_check.py) et refaite une fois sous 0,20 avec une nouvelle seed ; le meilleur clip est conservé.
  • Une vraie réplique (≤18 mots) par partie de 10 s, jamais une réplique par moment de 5 s ; pas de mots de coupe, de montage, de plan ou de scène dans le dialogue ; un personnage original entraîné se rend en Q8 Pro.

5. La preuve (rendue le 2026-09-07, 10 s, Haute 720p, seed 4242)

Le prompt du §4, soumis comme une tâche texte vers vidéo ordinaire (sans prise, sans relais) : de 0 à 5 s le grand extraterrestre seul à la table éclairée aux bougies, disant sa réplique ; une coupe franche nette à 5 s ; de 5 à 10 s le petit extraterrestre seul à la même table qui répond, bien éclairé, l’expression lisible. Un visage par plan, une pièce, un duo : le premier rendu de la journée où rien ne pouvait parler à l’unisson et où rien ne changeait de table. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.

Sources

  • Lightricks, LTX-2.5 prompt guide : https://ltx.io/blog/ltx-2-5-prompt-guide
  • Lightricks, Prompting guide for LTX-2 : https://ltx.io/blog/prompting-guide-for-ltx-2
  • Lightricks/LTX-2 README et la fiche du modèle LTX-2 (structure, « frame count 8k+1 »)
  • Lightricks/ComfyUI-LTXVideo issue #395 (synchro labiale multi-personnages, ouvert) : https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
  • RuneXX/LTX-2.3-Workflows discussions #116 (deux personnages) et #131 (multi-extension : 3 s d’images de contexte, ajustement de couleur, groupes de 20 s, ~60 s avant la dérive)
  • Kijai/LTXV2_comfy discussion #36 (prolonger n’importe quelle vidéo : chevauchement minimal de 73 images)
  • fal.ai, How to use LTX-2.5 (multi-plans : nommer le montage, réétablir, réidentifier, indiquer le son ; ≤3 plans ; laisser le visage arriver avant la réplique)
  • ltx23.org, LTX 2.5 release guide (multi-plans natif, « Preserve … across every shot »)
  • ltx.io/blog How to add AI voiceovers & dialogue (un seul locuteur par réplique, répliques courtes)

Source : docs/LTX_DIALOGUE.md dans le dépôt public. Relu pour ce site avant publication. Traduit de l'original anglais. Suggérer une modification.