Docs / Vídeo
Dois personagens conversando
Use personagens originais ou estilizados, ou a sua própria imagem com consentimento documentado. Qualquer representação de outra pessoa identificável exige o consentimento documentado dela. Siga a Política de uso aceitável para todas as imagens de referência, dados de treinamento, áudio e resultados.
Oito renderizações de “dois alienígenas jantando” em um único dia ensinaram ao painel muita coisa do jeito difícil. Antes de renderizar a nona, aqui está o que os guias da própria Lightricks, o model card do LTX-2, os fluxos da comunidade e as issues em aberto dizem sobre diálogo, vários personagens e continuidade, e a receita que sai disso.
1. Sincronização labial com vários rostos em quadro é um problema em aberto, não um bug de prompt
- A issue nº 395 do ComfyUI da Lightricks (“How to control who is speaking… when there are multiple characters in the image?”) descreve exatamente o que o dono ouviu: “Character A or B starts lip syncing randomly to parts of the dialogue… very often they both appear to talk the same words simultaneously.” Ela está aberta, sem resposta dos mantenedores.
- As respostas que funcionam na comunidade têm todas o mesmo formato: um rosto falando por geração (renderizar um personagem por vez e compor), máscaras com áudio externo, ou diálogo pré-gravado. “Insistir” no prompt sobre quem fala (“the woman in the red dress is talking, the man is silently listening”) ajuda às vezes e falha com frequência, que foi o que as nossas v2/v3 mediram.
- O conselho do próprio guia de áudio: um falante por fala, falas curtas, o falante e o jeito de falar escritos antes da citação (“she says in a calm, seasoned voice: ’…’”), cerca de 9 s de fala em ritmo natural, a expressão “lip sync” no prompt, um rosto bem iluminado e de frente, e “let the face arrive first”: uma fala que começa no primeiro quadro não dá à sincronia nada em que se firmar.
Portanto: uma conversa é escrita de modo que só o rosto de quem fala esteja na tela enquanto uma fala toca. A regra de encenação do One Shot no painel (uma batida cita só quem deve aparecer na imagem) é a mesma ideia; só que o recipiente está errado.
2. O recipiente certo é uma geração multiplano, não um one shot
O principal recurso do LTX-2.5 é o multiplano nativo: vários planos conectados, com cortes explícitos dentro de UM prompt e UMA geração, em que o modelo mantém “character identity, environment, lighting and voice” através dos cortes porque raciocina sobre a sequência inteira de uma vez. O guia de prompts do 2.5 da Lightricks diz:
- “Use a single continuous take when you want unbroken camera motion, intimate performance, or dialogue that must stay lip-synced in one framing. … When a scene involves dialogue, multiple beats, or precise timing, write it in a screenplay style.”
- “Prefer 2-4 shots in one generation.” A cada corte: nomeie a edição em prosa (“a hard cut to…”), restabeleça o novo plano (escala, ângulo, quem está em quadro, luz), reidentifique os personagens que voltam com os mesmos descritores, nunca com um pronome, e diga o que o som faz (“the room tone continues across the cut”, “the dialogue drops; only wind remains”).
- Mantenha o design, o figurino e a luz do personagem original consistentes entre os planos.
Uma conversa entre duas pessoas é, portanto, plano / contraplano dentro de uma geração: um plano médio de A dizendo a sua fala, a hard cut to um plano médio de B na mesma mesa, com a mesma luz, respondendo, com o som ambiente continuando. Um rosto por plano, então nada fica em sincronia em uníssono; uma geração, então é uma mesa, um par, uma voz para cada. As “duas mesas diferentes, o personagem muda no meio” do take da mesa longa foram o custo de costurar três gerações separadas de uma cena que o modelo nunca teve permissão de ver inteira.
3. Continuidade entre gerações, quando uma cena precisa durar mais que uma
- Os fluxos de extensão da comunidade (RuneXX, Kijai, os nós de extensão do IAMCCS) alimentam os últimos ~3 segundos (73 quadros) do clipe anterior como contexto, e não um quadro; combinam as cores do novo trecho com as do antigo, misturam o áudio, mantêm trechos de 10 a 20 s e esperam deriva depois de ~60 s. “Incorrect slices can result in weird seam timing, sudden resets, or continuity breaks.”
- O One Shot do painel passa UM quadro. É por isso que toda emenda trava e
recomeça (medido hoje de manhã) e por que uma cena deriva entre as partes. O
RetakePipeline.extend_from_videoembutido condiciona em um clipe de origem; alimentado com uma cauda de 73 quadros, é o método da comunidade. A “cadeia de janelas” anterior, que virou papa, usava uma cauda de 121 quadros no Q4, um experimento diferente. - O fork embutido também traz o Prompt Relay (
--segment TEXT [LEN]): as palavras de cada segmento ficam restritas a uma fatia da linha do tempo dentro de uma geração. Ele não impede que uma boca visível se mexa, mas pode evitar que a fala do falante B invada os segundos do falante A. O painel ainda não o expõe.
4. A receita para os alienígenas (e para qualquer cena de dois)
Uma geração por troca, 10 s (241 quadros) em Alta 720p neste Mac, escrita como um prompt multiplano em estilo de roteiro:
Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.
As regras embutidas nele: um falante por plano e por fala; o falante descrito antes da citação, toda vez, com as mesmas palavras; o corte nomeado; o som através do corte declarado; a frase “preserve”; “lip sync”; o rosto chega antes da fala. Uma conversa de 30 s são três gerações assim, unidas em cortes (um corte esconde uma emenda; um one shot não), cada uma redescrevendo os dois alienígenas com os mesmos descritores para que o modelo recrie o mesmo par. Se uma cena precisa ser um take contínuo com mais de 10 s, estenda com uma cauda de 73 quadros como contexto, não um quadro (§3). Esse caminho ainda não existe no painel hoje.
4b. Duas falhas medidas em um take de monólogo de 90 s, e as correções
- Voz sobre uma boca fechada no fim das partes e no primeiro quadro: falas de 10 a 14 palavras em batidas de 5 s. A fala corre a ~2.5 palavras/s, então o áudio passou da batida e foi cortado no limite da parte. Correção: no máximo 7 palavras por batida, o silêncio depois da fala escrito, um olhar silencioso antes da primeira fala (a regra de duração do próprio painel; o §4 já a pressupunha).
- “Cuts blended with an overexposure effect” (cortes misturados com um efeito de superexposição): uma parte de imagem para vídeo deriva
em exposição dentro dela mesma (luma média 137 → 178 em dez segundos) e a parte seguinte
reajusta o nível um quadro depois do primeiro quadro âncora (178 → 157), então uma combinação de cor na
fronteira não encontra nada para corrigir. Correção:
scripts/join_smooth.py --hold-exposurefixa a luma média de cada quadro à do primeiro segundo do take (suavizada em 12 quadros), ficando constante em 159 nos mesmos 30 s que oscilavam entre 126 e 175, além do fade de cor na emenda e de um crossfade de áudio de 120 ms. Só vale quando a luz é constante por contrato, o que a trava de luz de um one shot garante; uma cena que deve escurecer não pode usá-lo.
4c. Um personagem que fala através das partes: passe o bastão em um quadro falando, controle a sincronia
- Uma parte de continuação ancorada em uma boca fechada e silenciosa não sincroniza
a fala seguinte (medido: abertura da boca vs voz, r −0.15 / +0.20; a nota de
extensão da comunidade diz o mesmo). Ancorada em um quadro do meio de uma palavra, sincroniza
(+0.47). O
take_handoff=speechdo One Shot corta cada parte onde a fala dela termina (take_speech_end, folga de 0.4 s) e ancora a seguinte ali; o primeiro beat de cada parte abre com um olhar silencioso para que a sincronia tenha um momento para se firmar. - Até a primeira parte é um sorteio: ajustes idênticos deram +0.41 e −0.27 em duas
falas. Por isso cada parte falada é medida (
take_lipsync_score, a mesma medida doscripts/lipsync_check.py) e refeita uma vez se der menos de 0.20, com uma seed nova; o melhor clipe é mantido. - Uma fala real (até 18 palavras) por parte de 10 s, nunca uma fala por batida de 5 s; nenhuma palavra de corte/edição/plano/cena no diálogo; um personagem original treinado renderiza no Q8 Pro.
5. Prova (renderizada em 2026-09-07, 10 s, Alta 720p, seed 4242)
O prompt do §4, enviado como um job comum de texto para vídeo (sem take, sem
passagem de bastão): de 0 a 5 s o alienígena alto sozinho na mesa à luz de velas dizendo a sua fala;
um corte seco limpo aos 5 s; de 5 a 10 s o alienígena baixo sozinho na mesma mesa
respondendo, bem iluminado, com a expressão legível. Um rosto por plano, uma sala, um
par: a primeira renderização do dia em que nada podia falar em uníssono e
nada mudou de mesa. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.
Fontes
- Lightricks, LTX-2.5 prompt guide: https://ltx.io/blog/ltx-2-5-prompt-guide
- Lightricks, Prompting guide for LTX-2: https://ltx.io/blog/prompting-guide-for-ltx-2
- README do Lightricks/LTX-2 e o model card do LTX-2 (estrutura, “frame count 8k+1”)
- Issue nº 395 do Lightricks/ComfyUI-LTXVideo (sincronização labial com vários personagens, aberta): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
- Discussões nº 116 (dois personagens) e nº 131 (multiextensão: 3 s de quadros de contexto, combinação de cor, grupos de 20 s, ~60 s até a deriva) do RuneXX/LTX-2.3-Workflows
- Discussão nº 36 do Kijai/LTXV2_comfy (estender qualquer vídeo: sobreposição mínima de 73 quadros)
- fal.ai, How to use LTX-2.5 (multiplano: nomear a edição, restabelecer, reidentificar, declarar o som; até 3 planos; deixar o rosto chegar antes da fala)
- ltx23.org, LTX 2.5 release guide (multiplano nativo, “Preserve … across every shot”)
- ltx.io/blog How to add AI voiceovers & dialogue (um falante por fala, falas curtas)
Fonte: docs/LTX_DIALOGUE.md no repositório público. Revisado para este site antes da publicação. Traduzido do original em inglês. Sugerir uma edição.