Pro
IT
AccediAccount Scarica per Mac
Scarica per Mac

Docs / Video

Sincronizzazione labiale e audio

Usa personaggi originali o stilizzati, oppure il tuo autoritratto con un consenso documentato. Qualsiasi raffigurazione di un’altra persona identificabile richiede il suo consenso documentato. Segui la Politica di utilizzo accettabile per tutte le immagini di riferimento, i dati di addestramento, l’audio e i risultati.

Questa pagina riguarda la Sincronizzazione labiale della scheda Audio: un video guidato da un file audio che porti tu, una battuta o una canzone. Per scrivere una canzone, vedi Music Studio. Il suono guida l’immagine mentre viene generata (non viene aggiunto dopo), così la bocca si muove sulle parole e il movimento segue la musica. Non crea suono a partire dal testo; per quello, descrivi il suono in un qualsiasi prompt Video.

È la sincronizzazione labiale di Phosphene: un’immagine (facoltativa) e un tratto di audio diventano un’unica clip la cui bocca segue la traccia: la stessa idea di una «foto parlante» o del doppiaggio di un’interpretazione su una nuova colonna sonora. C’è anche un chip Sincronizzazione labiale nella barra delle modalità della scheda Video che porta direttamente qui.

Crearne una

Sincronizzazione labiale: un'immagine e il tuo audio diventano un'unica interpretazione.
  1. Trascina l’Audio: WAV, MP3, M4A o FLAC. Il pannello ne legge la durata e imposta Durata di conseguenza. Per un audio già nella Galleria (una canzone che hai composto, una battuta) non serve passare dal Finder: Usa… sulla sua scheda → Sincronizzazione labiale.
  2. Facoltativo: un’Immagine di riferimento su cui aprire la clip, cioè un ritratto per una testa parlante. Lasciala vuota per un puro da audio a video. Funziona meglio un’immagine a bocca chiusa e di fronte: vedi il suggerimento qui sotto.
  3. Scrivi il prompt. Migliora lo riscrive per il modello. Tienilo breve (sotto le ~40 parole) e descrivi l’interpretazione (espressione, gesto, respiro) più che la scena o il suono: una frase di sincronizzazione viene aggiunta in automatico.
  4. Imposta Larghezza e Altezza (predefinite 1024×576), Inizia da (secondi dall’inizio del file, per esempio 30 per guidare la clip da 0:30) e Durata (1-30 s). Un inizio, o una finestra, che supera la fine del file viene rifiutato o segnalato prima del render: quel tratto sarebbe silenzio, e il silenzio è proprio dove la bocca si blocca.
  5. Intensità del condizionamento audio: lasciala su Auto, a meno che la bocca sia chiaramente troppo sciolta o troppo rigida: le due corsie di render (Q8 / Q4) leggono questo numero in modo diverso, e Auto è l’unico valore sempre corretto per il Mac che stai usando.
  6. Genera.

Suggerimento Se la bocca non si muove: (1) parti da un’immagine a bocca chiusa e di fronte: un punto di ancoraggio a bocca aperta tende a restare bloccato aperto, e il pannello avvisa quando ne rileva uno; (2) togli dal prompt le parole «static» / «holds still» / «motionless»: una parola di immobilità blocca tutta la scena, bocca compresa; (3) per una canzone, prova l’opzione solo voce, così il modello ascolta la voce invece dell’intero mix. Un canvas grande con una durata lunga è un render molto lungo; la scheda ti avvisa e suggerisce una dimensione più piccola.

Continua la canzone (sul player della clip finita): fa partire la clip successiva dal fotogramma a bocca più chiusa di QUESTA clip vicino alla sua fine, non dall’ultimo fotogramma in senso letterale, che di solito è a metà sillaba, con Inizia da avanzato di conseguenza. Concatena così un’intera canzone senza un taglio netto a ogni giunzione.

Motore. Con Hailuo H3 installato, una riga Motore offre LTX (il tuo audio guida l’immagine) oppure Hailuo H3 (esegue la traccia, con volto, corpo e ambiente, e mantiene il tuo audio esattamente com’è). Vedi Sincronizzazione labiale su H3. LTX fa il render con la pipeline Alta (Q8) quando è installata, altrimenti con la pipeline veloce Q4 (che è anche la corsia usata sui Mac sotto i 64 GB).

Fonte: webapp/docs/audio.md nel repository pubblico. Rivisto per questo sito prima della pubblicazione. Tradotto dall'originale inglese. Suggerisci una modifica.