Pro
RU
ВойтиАккаунт Скачать для Mac
Скачать для Mac

Справка / Видео

Синхронизация губ и звук

Используйте оригинальных или стилизованных персонажей либо своё собственное изображение при наличии документально оформленного согласия. Любое изображение другого узнаваемого человека требует его документально оформленного согласия. Соблюдайте Политику допустимого использования для всех референсных изображений, обучающих данных, аудио и результатов.

Эта страница посвящена Синхронизации губ на вкладке «Аудио»: видео, которым управляет принесённый вами звуковой файл, будь то реплика или песня. Чтобы написать песню, см. Музыкальная студия. Звук направляет картинку в процессе создания (а не накладывается потом), поэтому рот двигается под слова, а движение следует за музыкой. Из текста звук она не делает; для этого опишите звук в любом промпте «Видео».

Это синхронизация губ в Phosphene: картинка (необязательно) и отрезок аудио превращаются в один клип, в котором рот следует за дорожкой. Та же идея, что у «говорящего фото» или озвучки исполнения новой звуковой дорожкой. На панели режимов вкладки «Видео» есть и чип Синхронизация губ, который переносит прямо сюда.

Как сделать

Синхронизация губ: картинка и ваше аудио превращаются в одно исполнение.
  1. Перетащите Аудио: WAV, MP3, M4A или FLAC. Панель считывает его длину и по умолчанию ставит такую же «Длительность». Для аудио, которое уже есть в «Галерее» (песня, которую вы сочинили, или реплика), не нужно идти в Finder: Использовать… на его карточке → Синхронизация губ.
  2. По желанию: Референс, чтобы клип начинался с этого кадра, например портрет для говорящей головы. Оставьте пустым для чистого «аудио в видео». Лучше всего подходит картинка с закрытым ртом и лицом анфас, см. совет ниже.
  3. Напишите промпт. Улучшить переписывает его для модели. Держите его коротким (меньше ~40 слов) и описывайте игру (выражение лица, жесты, дыхание), а не сцену или звук: предложение про синхронизацию добавляется автоматически.
  4. Задайте Ширина и Высота (по умолчанию 1024×576), Начать с (секунды от начала файла, например 30, чтобы вести клип с 0:30) и Длительность (1-30 с). Начало или окно, которое выходит за конец файла, отклоняется или вызывает предупреждение до рендера: на этом участке была бы тишина, а в тишине рот как раз и замирает.
  5. Сила привязки к звуку: оставьте Авто, если только рот явно не слишком расслаблен или не слишком скован. Две линии рендера (Q8 / Q4) читают это число по-разному, и только «Авто» всегда правильно для вашего Mac.
  6. Создать.

Совет. Если рот не двигается: (1) начинайте с картинки с закрытым ртом и лицом анфас: якорь с открытым ртом склонен застывать открытым, и панель предупреждает, когда замечает такой; (2) уберите из промпта слова «static» / «holds still» / «motionless»: слово о неподвижности замораживает всю сцену, включая рот; (3) для песни попробуйте вариант «только вокал», чтобы модель слушала голос, а не полный микс. Большой холст с большой длительностью рендерится очень долго; вкладка предупредит вас и предложит размер поменьше.

Продолжить песню (в плеере готового клипа): начинает следующий клип с кадра с самым закрытым ртом ближе к концу ЭТОГО клипа (не с буквально последнего кадра, который обычно приходится на середину слога), а «Начать с» сдвигается соответственно. Так можно собрать всю песню цепочкой без скачка на каждом стыке.

Движок. Если установлен Hailuo H3, строка Движок предлагает LTX (ваше аудио управляет картинкой) или Hailuo H3 (он сам исполняет дорожку: лицо, тело и обстановка, а ваше аудио остаётся в точности как есть). См. Синхронизация губ в H3. LTX рендерит на конвейере «Высокое» (Q8), если он установлен, иначе на быстром конвейере Q4 (он же используется на Mac с памятью меньше 64 ГБ).

Источник: webapp/docs/audio.md в открытом репозитории. Проверено для этого сайта перед публикацией. Переведено с английского оригинала. Предложить правку.