Pro
PT
EntrarConta Baixar para Mac
Baixar para Mac

Docs / Vídeo

Sincronização labial e áudio

Use personagens originais ou estilizados, ou a sua própria imagem com consentimento documentado. Qualquer representação de outra pessoa identificável exige o consentimento documentado dela. Siga a Política de uso aceitável para todas as imagens de referência, dados de treinamento, áudio e resultados.

Esta página trata da Sincronização labial da aba Áudio: um vídeo guiado por um arquivo de som que você traz, como uma fala ou uma música. Para escrever uma música, veja o Estúdio de música. O som conduz a imagem enquanto ela é gerada (não é colocado depois), então a boca se move com as palavras e o movimento acompanha a música. Ele não cria som a partir de texto; para isso, descreva o som em qualquer prompt de Vídeo.

Esta é a sincronização labial do Phosphene: uma imagem (opcional) e um trecho de áudio viram um único clipe cuja boca acompanha a faixa, a mesma ideia de uma “foto que fala” ou da dublagem de uma performance com uma trilha nova. Também há um chip Sincronização labial na barra de modos da aba Vídeo, que leva direto para cá.

Como fazer um

Sincronização labial: uma imagem e o seu áudio viram uma só atuação.
  1. Solte o Áudio: WAV, MP3, M4A ou FLAC. O painel lê a duração e ajusta a Duração para coincidir com ela. Um áudio que já está na Galeria (uma música que você compôs, uma fala) dispensa passar pelo Finder: Usar… no cartão dele → Sincronização labial.
  2. Opcional: uma Imagem de referência para abrir o clipe naquele quadro, como um retrato para um rosto que fala. Deixe vazio para áudio para vídeo puro. Uma imagem de rosto de frente e boca fechada funciona melhor; veja a dica abaixo.
  3. Escreva o prompt. Aprimorar o reescreve para o modelo. Mantenha-o curto (menos de ~40 palavras) e descreva a atuação (expressão, gesto, respiração) em vez da cena ou do som; uma frase de sincronia é acrescentada automaticamente.
  4. Defina a Largura e a Altura (padrão 1024×576), Começar em (segundos dentro do arquivo, por exemplo 30 para conduzir o clipe a partir de 0:30) e a Duração (1 a 30 s). Um início ou uma janela que passa do fim do arquivo é recusado ou avisado antes de renderizar: esse trecho seria silêncio, e o silêncio é justamente onde a boca congela.
  5. Intensidade do condicionamento de áudio: deixe em Auto, a menos que a boca esteja claramente solta ou rígida demais. As duas faixas de renderização (Q8 / Q4) leem esse número de formas diferentes, e o Auto é o único valor que está sempre certo para o Mac que você usa.
  6. Gerar.

Dica Se a boca não se mexe: (1) comece com uma imagem de rosto de frente e boca fechada, pois uma âncora de boca aberta tende a congelar aberta, e o painel avisa quando detecta uma; (2) tire do prompt palavras como “static” / “holds still” / “motionless”, porque uma palavra de imobilidade congela a cena toda, boca incluída; (3) para uma música, tente a opção só vocal, para o modelo ouvir a voz em vez da mixagem completa. Um canvas grande com duração longa é uma renderização muito demorada; a aba avisa e sugere um tamanho menor.

Continuar a música (no player do clipe pronto): começa o próximo clipe no quadro de boca mais fechada perto do fim DESTE clipe, não no último quadro literal, que costuma estar no meio de uma sílaba, com o Começar em avançado para coincidir. Encadeie uma música inteira assim, sem um corte seco em cada emenda.

Motor. Com o Hailuo H3 instalado, uma linha Motor oferece LTX (seu áudio conduz a imagem) ou Hailuo H3 (ele atua a faixa, com rosto, corpo e cenário, e mantém o seu áudio exatamente como está). Veja Sincronização labial no H3. O LTX renderiza no pipeline Alta (Q8) quando ele está instalado e, caso contrário, no pipeline rápido Q4 (que também é a faixa usada em Macs com menos de 64 GB).

Fonte: webapp/docs/audio.md no repositório público. Revisado para este site antes da publicação. Traduzido do original em inglês. Sugerir uma edição.