Ayuda / Video
Sincronización labial y audio
Usa personajes originales o estilizados, o tu propia imagen con consentimiento documentado. Cualquier representación de otra persona identificable requiere su consentimiento documentado. Sigue la Política de uso aceptable para todas las imágenes de referencia, datos de entrenamiento, audios y resultados.
Esta página trata la Sincronización labial de la pestaña Audio: un video guiado por un archivo de sonido que tú aportas, una línea de voz o una canción. Para escribir una canción, consulta Music Studio. El sonido guía la imagen mientras se genera (no se superpone después), de modo que la boca se mueve con las palabras y el movimiento sigue la música. No crea sonido a partir de texto; para eso, describe el sonido en cualquier prompt de Video.
Es la sincronización labial de Phosphene: una imagen (opcional) y un tramo de audio se convierten en un clip cuya boca sigue la pista, la misma idea que una “foto que habla” o el doblaje de una interpretación con una banda sonora nueva. También hay un chip Sincronización labial en la barra de modos de la pestaña Video que lleva directo aquí.
Cómo hacer uno
- Suelta el Audio: WAV, MP3, M4A o FLAC. El panel lee su duración y la usa como valor por defecto de Duración. Un audio que ya está en tu Galería (una canción que compusiste, una línea de voz) no necesita pasar por Finder: Usar… en su tarjeta → Sincronización labial.
- Opcional: una Imagen de referencia para abrir el clip con ese fotograma, por ejemplo un retrato para una cabeza que habla. Déjala vacía para audio a video puro. Funciona mejor una imagen de frente y con la boca cerrada; mira el consejo más abajo.
- Escribe el prompt. Mejorar lo reescribe para el modelo. Mantenlo corto (menos de unas 40 palabras) y describe la interpretación (expresión, gesto, respiración) en lugar de la escena o el sonido; se añade una frase de sincronización de forma automática.
- Define Ancho y Altura (por defecto 1024×576), Empezar en (segundos dentro del archivo, por ejemplo 30 para guiar el clip desde el minuto 0:30) y Duración (1 a 30 s). Si el inicio o el tramo se pasa del final del archivo, se rechaza o se avisa antes de renderizar: ese tramo sería silencio, y el silencio es justo donde la boca se congela.
- Intensidad del audio: déjala en Auto a menos que la boca esté claramente demasiado suelta o demasiado rígida. Los dos carriles de render (Q8 / Q4) leen este número de forma distinta, y Auto es el único valor que siempre es correcto para el Mac que usas.
- Generar.
Consejo Si la boca no se mueve: (1) empieza con una imagen de frente y con la boca cerrada; una imagen de partida con la boca abierta tiende a quedarse abierta, y el panel avisa cuando detecta una; (2) quita del prompt las palabras “static”, “holds still” o “motionless”: una palabra de quietud congela toda la escena, boca incluida; (3) si es una canción, prueba la opción de solo voz para que el modelo escuche la voz y no la mezcla completa. Un lienzo grande con una duración larga es un render muy largo; la pestaña te avisa y te sugiere un tamaño menor.
Continuar la canción (en el reproductor del clip terminado): empieza el siguiente clip en el fotograma con la boca más cerrada de ESTE clip cerca de su final, no en el último fotograma literal, que suele estar a mitad de sílaba, y adelanta Empezar en para que coincida. Así encadenas una canción entera sin un salto de montaje en cada unión.
Motor. Con Hailuo H3 instalado, una fila Motor ofrece LTX (tu audio guía la imagen) o Hailuo H3 (interpreta la pista, con rostro, cuerpo y escena, y conserva tu audio exactamente como está). Mira Sincronización labial en H3. LTX renderiza con el pipeline Alto (Q8) cuando está instalado y, si no, con el pipeline rápido Q4 (que también es el carril que se usa en Macs de menos de 64 GB).
Fuente: webapp/docs/audio.md en el repositorio público. Revisado para este sitio web antes de publicarse. Traducido del original en inglés. Sugerir un cambio.