Pro
FR
Se connecterCompte Télécharger pour Mac
Télécharger pour Mac

Docs / Vidéo

Synchronisation labiale et audio

Utilisez des personnages originaux ou stylisés, ou votre propre représentation avec un consentement documenté. Toute représentation d’une autre personne identifiable exige son consentement documenté. Respectez la Politique d’utilisation acceptable pour toutes les images de référence, les données d’entraînement, les fichiers audio et les créations.

Cette page couvre la Synchronisation labiale de l’onglet Audio : une vidéo pilotée par un fichier sonore que vous apportez, une réplique ou une chanson. Pour écrire une chanson, voir Studio musical. Le son oriente l’image pendant qu’elle est générée (il n’est pas posé après coup) : la bouche suit les paroles et le mouvement suit la musique. Cela ne crée pas de son à partir d’un texte ; pour cela, décrivez le son dans n’importe quel prompt Vidéo.

C’est la synchronisation labiale de Phosphene : une image (facultative) et un passage audio deviennent un seul clip dont la bouche suit la piste, selon la même idée qu’une « photo qui parle » ou que le doublage d’une interprétation avec une nouvelle bande-son. Il y a aussi une puce Synchronisation labiale dans la barre de modes de l’onglet Vidéo qui mène directement ici.

En créer une

Synchronisation labiale : une image et votre audio deviennent une seule performance.
  1. Déposez l’Audio (WAV, MP3, M4A ou FLAC). Le panneau lit sa durée et règle la Durée par défaut pour qu’elle corresponde. Un audio déjà dans la Galerie (une chanson que vous avez composée, une réplique) n’a pas besoin de passer par le Finder : Utiliser… sur sa carte → Synchronisation labiale.
  2. Facultatif : une Image de référence pour ouvrir le clip sur cette image, par exemple un portrait pour une tête qui parle. Laissez vide pour de l’audio vers vidéo pur. Une image de face, bouche fermée, fonctionne le mieux : voir l’astuce ci-dessous.
  3. Écrivez le prompt. Améliorer le réécrit pour le modèle. Gardez-le court (moins de ~40 mots) et décrivez la performance (expression, geste, respiration) plutôt que la scène ou le son : une phrase de synchronisation est ajoutée automatiquement.
  4. Réglez Largeur et Hauteur (1024×576 par défaut), Début à (secondes dans le fichier, par exemple 30 pour piloter le clip à partir de 0:30) et Durée (1 à 30 s). Un début ou une fenêtre qui dépasse la fin du fichier est refusé ou signalé avant le rendu : ce passage serait du silence, et le silence est justement l’endroit où la bouche se fige.
  5. Intensité du guidage audio : laissez sur Auto sauf si la bouche est clairement trop lâche ou trop raide. Les deux voies de rendu (Q8 / Q4) lisent ce nombre différemment, et Auto est la seule valeur toujours correcte pour le Mac que vous utilisez.
  6. Générer.

Astuce Si la bouche ne bouge pas : (1) partez d’une image de face, bouche fermée : une ancre à bouche ouverte tend à rester figée ouverte, et le panneau vous avertit quand il en détecte une ; (2) retirez du prompt les mots « static » / « holds still » / « motionless » : un mot d’immobilité fige toute la scène, bouche comprise ; (3) pour une chanson, essayez l’option voix seule pour que le modèle écoute la voix plutôt que le mixage complet. Un grand canevas avec une longue durée donne un rendu très long ; l’onglet vous avertit et suggère une taille plus petite.

Continuer la chanson (sur le lecteur du clip terminé) : démarre le clip suivant sur l’image de CE clip où la bouche est le plus fermée, près de la fin (et non sur la toute dernière image, qui tombe souvent en plein milieu d’une syllabe), avec Début à avancé en conséquence. Enchaînez ainsi toute une chanson sans faux raccord à chaque jonction.

Moteur. Avec Hailuo H3 installé, une rangée Moteur propose LTX (votre audio pilote l’image) ou Hailuo H3 (il joue la piste : visage, corps et décor, et garde votre audio exactement tel quel). Voir Synchronisation labiale sur H3. LTX fait son rendu sur le pipeline Haute (Q8) s’il est installé, sinon sur le pipeline rapide Q4 (aussi la voie utilisée sur les Mac de moins de 64 Go).

Source : webapp/docs/audio.md dans le dépôt public. Relu pour ce site avant publication. Traduit de l'original anglais. Suggérer une modification.