Pro
IT
AccediAccount Scarica per Mac
Scarica per Mac

Docs / Video

Due personaggi che parlano

Usa personaggi originali o stilizzati, oppure il tuo autoritratto con un consenso documentato. Qualsiasi raffigurazione di un’altra persona identificabile richiede il suo consenso documentato. Segui la Politica di utilizzo accettabile per tutte le immagini di riferimento, i dati di addestramento, l’audio e i risultati.

Otto render di «due alieni a cena» in un solo giorno hanno insegnato al pannello molte cose nel modo più duro. Prima di farne un nono, ecco cosa dicono le guide di Lightricks stessa, la scheda del modello LTX-2, i workflow della community e i problemi aperti su dialoghi, personaggi multipli e continuità, e la ricetta che ne deriva.

1. La sincronizzazione labiale con più volti in inquadratura è un problema aperto, non un errore del prompt

  • La issue #395 di ComfyUI di Lightricks («Come controllare chi parla… quando ci sono più personaggi nell’immagine?») descrive esattamente ciò che ha sentito il proprietario: «Il personaggio A o B comincia a muovere le labbra a caso su parti del dialogo… molto spesso sembra che dicano entrambi le stesse parole nello stesso momento». È aperta, senza una risposta dei maintainer.
  • Le risposte che funzionano nella community hanno tutte la stessa forma: un solo volto che parla per generazione (fai il render di un personaggio alla volta e poi componi), maschere con audio esterno, oppure dialoghi preregistrati. «Insistere» nel prompt su chi parla («la donna con l’abito rosso sta parlando, l’uomo ascolta in silenzio») a volte aiuta e spesso fallisce, ed è ciò che hanno misurato le nostre v2/v3.
  • Il consiglio della stessa guida all’audio: un solo parlante per battuta, battute brevi, chi parla e come parla scritti prima della citazione («she says in a calm, seasoned voice: ’…’»), circa 9 s di parlato a ritmo naturale, la parola «lip sync» nel prompt, un volto frontale ben illuminato, e «lascia arrivare prima il volto»: una battuta che parte al primo fotogramma non dà alla sincronizzazione nulla a cui agganciarsi.

Quindi: una conversazione si scrive in modo che sullo schermo ci sia solo il volto di chi parla mentre una battuta viene riprodotta. La regola di messa in scena di One Shot del pannello (un momento nomina solo chi deve essere nell’immagine) è la stessa idea; solo che il contenitore è sbagliato.

2. Il contenitore giusto è una generazione multi-inquadratura, non un One Shot

La funzione di punta di LTX-2.5 è il multi-shot nativo: più inquadrature collegate, con tagli espliciti, dentro UN prompt e UNA generazione, con il modello che mantiene «identità del personaggio, ambiente, luce e voce» attraverso i tagli perché ragiona sull’intera sequenza in una volta. La guida ai prompt 2.5 di Lightricks:

  • «Usa un’unica ripresa continua quando vuoi un movimento di camera ininterrotto, una performance intima, o un dialogo che deve restare sincronizzato sulle labbra in un’unica inquadratura. … Quando una scena comprende dialoghi, più momenti o tempi precisi, scrivila nello stile di una sceneggiatura».
  • «Preferisci 2-4 inquadrature in una generazione». A ogni taglio: nomina lo stacco in prosa («a hard cut to…»), ristabilisci la nuova inquadratura (scala, angolazione, chi è nel campo, luce), reidentifica i personaggi che tornano con gli stessi descrittori, mai con un pronome, e di’ cosa fa il suono («the room tone continues across the cut», «the dialogue drops; only wind remains»).
  • Mantieni coerenti tra le inquadrature l’aspetto, i costumi e la luce del personaggio originale.

Una conversazione tra due persone è quindi campo / controcampo dentro una generazione: un piano medio di A che dice la sua battuta, a hard cut to un piano medio di B allo stesso tavolo, con la stessa luce, che risponde, con il room tone che continua. Un volto per inquadratura, quindi niente si sincronizza all’unisono; una generazione, quindi un tavolo, una coppia, una voce ciascuno. I «due tavoli diversi, il personaggio che cambia a metà» della ripresa del lungo tavolo erano il prezzo di aver cucito tre generazioni separate di una scena che al modello non era mai stato permesso di vedere per intero.

3. Continuità tra generazioni, quando una scena deve durare più di una

  • I workflow di estensione della community (RuneXX, Kijai, i nodi di estensione IAMCCS) forniscono come contesto gli ultimi ~3 secondi (73 fotogrammi) della clip precedente, non un solo fotogramma, uniformano il colore del nuovo segmento al vecchio, fondono l’audio, tengono i segmenti tra 10 e 20 s, e prevedono una deriva dopo ~60 s. «Tagli sbagliati possono produrre tempi strani nelle giunzioni, azzeramenti improvvisi o rotture di continuità».
  • One Shot del pannello passa UN fotogramma. Per questo ogni giunzione si blocca e riparte (misurato questa mattina) e per questo una scena deriva da una parte all’altra. Il RetakePipeline.extend_from_video incorporato condiziona su una clip sorgente; alimentato con una coda di 73 fotogrammi, è il metodo della community. La precedente «catena di finestre» che è finita in poltiglia usava una coda di 121 fotogrammi su Q4: un esperimento diverso.
  • Il fork incorporato porta con sé anche Prompt Relay (--segment TEXT [LEN]): le parole di ogni segmento sono vincolate a una fetta della timeline dentro una generazione. Non può impedire a una bocca visibile di muoversi, ma può evitare che la battuta del parlante B sconfini nei secondi del parlante A. Il pannello non lo espone ancora.

4. La ricetta per gli alieni (e per qualsiasi scena a due)

Una generazione per scambio, 10 s (241 fotogrammi) a Alta 720p su questo Mac, scritta come un prompt multi-inquadratura in stile sceneggiatura:

Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.

Le regole racchiuse in esso: un solo parlante per inquadratura e per battuta; il parlante descritto prima della citazione, ogni volta, con le stesse parole; il taglio nominato; il suono attraverso il taglio dichiarato; la frase «preserve»; «lip sync»; il volto arriva prima della battuta. Una conversazione di 30 s sono tre generazioni di questo tipo, unite sui tagli (un taglio nasconde una giunzione; un One Shot no), ciascuna con una nuova descrizione di entrambi gli alieni con gli stessi descrittori, perché il modello ricrei la stessa coppia. Se una scena deve essere un’unica ripresa ininterrotta più lunga di 10 s, estendila con una coda di 73 fotogrammi come contesto, non un fotogramma (§3): oggi questo percorso nel pannello non è ancora costruito.

4b. Due difetti misurati su una ripresa di monologo di 90 s, e le loro correzioni

  • Voce su una bocca chiusa alla fine delle parti e sul primo fotogramma: battute da 10-14 parole in momenti da 5 s. Il parlato va a ~2.5 parole/s, quindi l’audio superava il momento ed è stato tagliato al confine della parte. Correzione: ≤7 parole per momento, il silenzio dopo la battuta scritto, uno sguardo silenzioso prima della prima battuta (la regola della durata del pannello stesso; il §4 la dava già per scontata).
  • «Tagli fusi con un effetto di sovraesposizione»: una parte da immagine a video deriva in esposizione al proprio interno (luma media 137 → 178 in dieci secondi) e la parte successiva riporta il livello un fotogramma dopo il suo primo fotogramma ancorato (178 → 157), così un allineamento del colore al confine non ha nulla da correggere. Correzione: scripts/join_smooth.py --hold-exposure fissa la luma media di ogni fotogramma sul primo secondo della ripresa (attenuata su 12 fotogrammi), piatta a 159 negli stessi 30 s che oscillavano tra 126 e 175, più la dissolvenza di colore alla giunzione e una dissolvenza incrociata audio di 120 ms. Vale solo quando la luce è costante per contratto, cosa che il blocco della luce di un One Shot garantisce; una scena che deve scurirsi non deve usarlo.

4c. Un personaggio che parla attraverso più parti: passa il testimone su un fotogramma parlato, controlla la sincronizzazione

  • Una parte di continuazione ancorata su una bocca chiusa e silenziosa non sincronizza la battuta successiva (misurato: apertura della bocca rispetto alla voce r −0.15 / +0.20; la nota sull’estensione della community dice lo stesso). Ancorata su un fotogramma a metà parola si sincronizza (+0.47). take_handoff=speech di One Shot ritaglia ogni parte dove finisce la sua battuta (take_speech_end, margine di 0.4 s) e ancora lì la parte successiva; il primo momento di ogni parte si apre con uno sguardo silenzioso così la sincronizzazione ha un attimo per agganciarsi.
  • Anche una prima parte è un tiro di dadi: impostazioni identiche hanno dato +0.41 e −0.27 su due battute. Perciò ogni parte parlata viene misurata (take_lipsync_score, la stessa misura di scripts/lipsync_check.py) e rifatta una volta sotto 0.20 con un seed nuovo; si tiene la clip migliore.
  • Una battuta vera (≤18 parole) per ogni parte da 10 s, mai una battuta per ogni momento da 5 s; niente parole come taglio/montaggio/inquadratura/scena nel dialogo; un personaggio originale addestrato fa il render con Q8 Pro.

5. Prova (render del 2026-09-07, 10 s, Alta 720p, seed 4242)

Il prompt del §4, inviato come un normale lavoro da testo a video (senza take, senza passaggio di testimone): 0-5 s l’alieno alto da solo al tavolo illuminato dalle candele che dice la sua battuta; uno stacco netto e pulito a 5 s; 5-10 s l’alieno basso da solo allo stesso tavolo che risponde, ben illuminato, con un’espressione leggibile. Un volto per inquadratura, una stanza, una coppia: il primo render della giornata in cui nulla poteva parlare all’unisono e nulla cambiava tavolo. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.

Fonti

  • Lightricks, LTX-2.5 prompt guide: https://ltx.io/blog/ltx-2-5-prompt-guide
  • Lightricks, Prompting guide for LTX-2: https://ltx.io/blog/prompting-guide-for-ltx-2
  • Lightricks/LTX-2 README e la scheda del modello LTX-2 (struttura, «frame count 8k+1»)
  • Lightricks/ComfyUI-LTXVideo issue #395 (sincronizzazione labiale con più personaggi, aperta): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
  • RuneXX/LTX-2.3-Workflows discussions #116 (doppio personaggio) e #131 (multi-extend: 3 s di fotogrammi di contesto, allineamento del colore, gruppi da 20 s, ~60 s prima della deriva)
  • Kijai/LTXV2_comfy discussion #36 (estendere qualsiasi video: sovrapposizione minima di 73 fotogrammi)
  • fal.ai, How to use LTX-2.5 (multi-shot: nomina lo stacco, ristabilisci, reidentifica, dichiara il suono; ≤3 inquadrature; lascia che il volto arrivi prima della battuta)
  • ltx23.org, LTX 2.5 release guide (multi-shot nativo, «Preserve … across every shot»)
  • ltx.io/blog How to add AI voiceovers & dialogue (un solo parlante per battuta, battute brevi)

Fonte: docs/LTX_DIALOGUE.md nel repository pubblico. Rivisto per questo sito prima della pubblicazione. Tradotto dall'originale inglese. Suggerisci una modifica.