Ayuda / Video
Dos personajes conversando
Usa personajes originales o estilizados, o tu propia imagen con consentimiento documentado. Cualquier representación de otra persona identificable requiere su consentimiento documentado. Sigue la Política de uso aceptable para todas las imágenes de referencia, datos de entrenamiento, audios y resultados.
Ocho renders de “dos alienígenas en una cena” en un solo día le enseñaron al panel mucho a las malas. Antes de renderizar un noveno, esto es lo que dicen las propias guías de Lightricks, la ficha del modelo LTX-2, los flujos de trabajo de la comunidad y los problemas abiertos sobre diálogo, varios personajes y continuidad, y la receta que se desprende de ello.
1. La sincronización labial con varios rostros en el encuadre es un problema abierto, no un fallo del prompt
- El issue #395 de ComfyUI de Lightricks (“How to control who is speaking… when there are multiple characters in the image?”) describe exactamente lo que oyó el propietario: “Character A or B starts lip syncing randomly to parts of the dialogue… very often they both appear to talk the same words simultaneously.” Sigue abierto, sin respuesta de los mantenedores.
- Las respuestas que funcionan en la comunidad tienen todas la misma forma: un solo rostro que habla por generación (renderizar un personaje cada vez y componer), máscaras con audio externo, o diálogo pregrabado. “Insistir” en el prompt en quién habla (“the woman in the red dress is talking, the man is silently listening”) ayuda a veces y falla muy a menudo, que es lo que midieron nuestras versiones v2 y v3.
- El consejo de la propia guía de audio: un hablante por línea, líneas cortas, el hablante y la forma de decir escritos antes de la cita (“she says in a calm, seasoned voice: ’…’”), unos 9 s de habla a un ritmo natural, la expresión “lip sync” en el prompt, un rostro de frente y bien iluminado, y “let the face arrive first”: una línea que empieza en el primer fotograma no le da a la sincronización nada a lo que agarrarse.
Por tanto: una conversación se escribe de modo que solo el rostro del hablante esté en pantalla mientras suena una línea. La regla de puesta en escena de One Shot en el panel (un momento nombra solo a quien debe aparecer en la imagen) es la misma idea; simplemente es el contenedor equivocado.
2. El contenedor correcto es una generación de varios planos, no un One Shot
La función estrella de LTX-2.5 es el multiplano nativo: varios planos conectados con cortes explícitos dentro de UN prompt y UNA generación, en la que el modelo conserva “character identity, environment, lighting and voice” a través de los cortes, porque razona sobre toda la secuencia a la vez. La guía de prompts de 2.5 de Lightricks:
- “Use a single continuous take when you want unbroken camera motion, intimate performance, or dialogue that must stay lip-synced in one framing. … When a scene involves dialogue, multiple beats, or precise timing, write it in a screenplay style.”
- “Prefer 2-4 shots in one generation.” En cada corte: nombra el montaje en prosa (“a hard cut to…”), reestablece el plano nuevo (escala, ángulo, quién aparece en el encuadre, luz), reidentifica a los personajes que vuelven con los mismos descriptores, nunca con un pronombre, y di qué hace el sonido (“the room tone continues across the cut”, “the dialogue drops; only wind remains”).
- Mantén coherentes entre planos el diseño, el vestuario y la iluminación del personaje original.
Una conversación entre dos personas es, por tanto, plano / contraplano dentro de una sola generación: un plano medio de A diciendo su línea, a hard cut to un plano medio de B en la misma mesa y con la misma luz respondiendo, y el ambiente de la sala continúa. Un rostro por plano, así que nada se sincroniza al unísono; una generación, así que es una sola mesa, una sola pareja, una voz para cada uno. Las “dos mesas distintas, el personaje cambia a mitad” de la toma de la mesa larga fueron el precio de coser tres generaciones separadas de una escena que al modelo nunca se le permitió ver entera.
3. Continuidad entre generaciones, cuando una escena debe durar más que una
- Los flujos de extensión de la comunidad (RuneXX, Kijai, los nodos de extensión de IAMCCS) pasan como contexto los últimos ~3 segundos (73 fotogramas) del clip anterior, no un solo fotograma, igualan el color del segmento nuevo al del anterior, mezclan el audio, mantienen los segmentos en 10-20 s y esperan una deriva pasados ~60 s. “Incorrect slices can result in weird seam timing, sudden resets, or continuity breaks.”
- El One Shot del panel transmite UN fotograma. Por eso cada unión se detiene y
vuelve a arrancar (medido esta mañana) y por eso una escena se desvía de una parte a otra. El
RetakePipeline.extend_from_videoincorporado condiciona sobre un clip de origen; si se le da una cola de 73 fotogramas, es el método de la comunidad. La anterior “cadena de ventanas” que acabó en papilla usaba una cola de 121 fotogramas en Q4, un experimento distinto. - La bifurcación incorporada también trae Prompt Relay (
--segment TEXT [LEN]): las palabras de cada segmento se restringen a un tramo de la línea de tiempo dentro de una sola generación. No puede impedir que se mueva una boca visible, pero sí evita que la línea del hablante B se cuele en los segundos del hablante A. El panel todavía no lo expone.
4. La receta para los alienígenas (y para cualquier escena de dos)
Una generación por intercambio, de 10 s (241 fotogramas) en Alta 720p en este Mac, escrita como un prompt multiplano en estilo de guion:
Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.
Reglas incorporadas: un hablante por plano y por línea; el hablante descrito antes de la cita, siempre, con las mismas palabras; el corte nombrado; el sonido a través del corte indicado; la frase “preserve”; “lip sync”; el rostro llega antes que la línea. Una conversación de 30 s son tres generaciones así, unidas con cortes (un corte esconde una costura; un One Shot no puede), y cada una vuelve a describir a los dos alienígenas con los mismos descriptores para que el modelo recree la misma pareja. Si una escena debe ser una sola toma continua de más de 10 s, extiéndela con una cola de 73 fotogramas como contexto, no con un fotograma (§3): ese camino hoy no está construido en el panel.
4b. Dos fallos medidos en una toma de monólogo de 90 s, y sus soluciones
- Voz sobre una boca cerrada al final de las partes y en el primer fotograma: líneas de 10 a 14 palabras en momentos de 5 s. El habla va a ~2.5 palabras/s, así que el audio se pasaba del momento y se cortaba en el límite entre partes. Solución: ≤7 palabras por momento, el silencio después de la línea escrito, una mirada en silencio antes de la primera línea (la regla de duración del propio panel; el §4 ya lo daba por supuesto).
- “Cuts blended with an overexposure effect”: una parte de imagen a video se desvía en
exposición dentro de sí misma (luma media 137 → 178 a lo largo de diez segundos) y la siguiente
parte reajusta el nivel un fotograma después de su primer fotograma anclado (178 → 157), así que un ajuste de color
en el límite no ve nada que corregir. Solución:
scripts/join_smooth.py --hold-exposurefija la luma media de cada fotograma a la del primer segundo de la toma (suavizada en 12 fotogramas): plana en 159 a lo largo de los mismos 30 s que oscilaban entre 126 y 175, además del fundido de color en la costura y un fundido cruzado de audio de 120 ms. Válido solo cuando la luz es constante por contrato, algo que la luz fijada de un One Shot garantiza; una escena que debe oscurecerse no debe usarlo.
4c. Un personaje que habla a través de las partes: relevo en un fotograma hablando, y control de la sincronización
- Una parte de continuación anclada en una boca cerrada y en silencio no sincronizará
la línea siguiente (medido: apertura de la boca frente a voz, r −0.15 / +0.20; la nota de
extensión de la comunidad dice lo mismo). Anclada en un fotograma a mitad de palabra, sí se sincroniza
(+0.47). El
take_handoff=speechde One Shot recorta cada parte donde termina su línea (take_speech_end, margen de 0.4 s) y ancla la siguiente ahí; el primer momento de cada parte se abre con una mirada en silencio para que la sincronización tenga un instante para engancharse. - Incluso una primera parte es una tirada de dados: con ajustes idénticos salieron +0.41 y −0.27 en dos
líneas. Por eso cada parte hablada se mide (
take_lipsync_score, la misma medida quescripts/lipsync_check.py) y se repite una vez si queda por debajo de 0.20, con una semilla nueva; se conserva el mejor clip. - Una línea real (≤18 palabras) por parte de 10 s, nunca una línea por momento de 5 s; sin palabras de corte, edición, plano o escena en el diálogo; un personaje original entrenado se renderiza en Q8 Pro.
5. Prueba (renderizada el 2026-09-07, 10 s, Alta 720p, semilla 4242)
El prompt del §4, enviado como un trabajo normal de texto a video (sin toma ni
relevo): de 0 a 5 s, el alienígena alto solo en la mesa a la luz de las velas diciendo su línea;
un corte limpio a los 5 s; de 5 a 10 s, el alienígena bajo solo en la misma mesa
respondiendo, bien iluminado, con la expresión legible. Un rostro por plano, una sala, una
pareja: el primer render del día en el que nada podía hablar al unísono y
nada cambiaba de mesa. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.
Fuentes
- Lightricks, LTX-2.5 prompt guide: https://ltx.io/blog/ltx-2-5-prompt-guide
- Lightricks, Prompting guide for LTX-2: https://ltx.io/blog/prompting-guide-for-ltx-2
- README de Lightricks/LTX-2 y la ficha del modelo LTX-2 (estructura, “frame count 8k+1”)
- Issue #395 de Lightricks/ComfyUI-LTXVideo (sincronización labial con varios personajes, abierto): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
- Discusiones #116 (dos personajes) y #131 (multiextensión: 3 s de fotogramas de contexto, igualación de color, grupos de 20 s, ~60 s antes de la deriva) de RuneXX/LTX-2.3-Workflows
- Discusión #36 de Kijai/LTXV2_comfy (extender cualquier video: solapamiento mínimo de 73 fotogramas)
- fal.ai, How to use LTX-2.5 (multiplano: nombrar el montaje, reestablecer, reidentificar, indicar el sonido; ≤3 planos; dejar que el rostro llegue antes que la línea)
- ltx23.org, LTX 2.5 release guide (multiplano nativo, “Preserve … across every shot”)
- ltx.io/blog How to add AI voiceovers & dialogue (un hablante por línea, líneas cortas)
Fuente: docs/LTX_DIALOGUE.md en el repositorio público. Revisado para este sitio web antes de publicarse. Traducido del original en inglés. Sugerir un cambio.