Pro
RU
ВойтиАккаунт Скачать для Mac
Скачать для Mac

Справка / Видео

Два персонажа разговаривают

Используйте оригинальных или стилизованных персонажей либо своё собственное изображение при наличии документально оформленного согласия. Любое изображение другого узнаваемого человека требует его документально оформленного согласия. Соблюдайте Политику допустимого использования для всех референсных изображений, обучающих данных, аудио и результатов.

Восемь рендеров «двух инопланетян за ужином», сделанных за один день, многому научили панель на горьком опыте. Прежде чем рендерить девятый, вот что говорят о диалоге, нескольких персонажах и непрерывности собственные руководства Lightricks, карточка модели LTX-2, воркфлоу сообщества и открытые задачи, и какой рецепт из этого следует.

1. Синхронизация губ при нескольких лицах в кадре остаётся нерешённой проблемой, а не ошибкой промпта

  • В задаче Lightricks для ComfyUI №395 («Как управлять тем, кто говорит… когда на изображении несколько персонажей?») описано ровно то, что слышал владелец: «Персонаж A или B начинает случайно синхронизировать губы с частями диалога… очень часто оба, кажется, произносят одни и те же слова одновременно». Она открыта, ответа от мейнтейнеров нет.
  • Рабочие ответы сообщества все одной формы: одно говорящее лицо на генерацию (рендерить по одному персонажу и компоновать), маски с внешним аудио или заранее записанный диалог. «Настаивать» в промпте, кто говорит («женщина в красном платье говорит, мужчина молча слушает»), иногда помогает и часто не срабатывает, что и показали наши замеры v2/v3.
  • Собственный совет руководства по аудио: один говорящий на реплику, короткие реплики, говорящий и манера речи записываются перед цитатой («she says in a calm, seasoned voice: ’…’»), около 9 секунд речи в естественном темпе, слова «lip sync» в промпте, хорошо освещённое лицо анфас и «пусть лицо появится первым»: реплика, которая начинается с самого первого кадра, не даёт синхронизации за что зацепиться.

Итог: разговор пишется так, чтобы пока звучит реплика, на экране было только лицо говорящего. Правило раскадровки One Shot в панели (момент называет только тех, кто должен быть в кадре) основано на той же идее; просто контейнер для неё не тот.

2. Правильный контейнер: генерация из нескольких кадров, а не один кадр

Главная новинка LTX-2.5: нативный мультикадр, то есть несколько связанных кадров с явными склейками внутри ОДНОГО промпта и ОДНОЙ генерации. Модель сохраняет «личность персонажа, окружение, свет и голос» через склейки, потому что осмысляет всю последовательность сразу. Руководство Lightricks по промптам для 2.5 говорит:

  • «Используйте один непрерывный дубль, когда нужно непрерывное движение камеры, интимная игра или диалог, который должен оставаться синхронным по губам в одном плане. … Если в сцене диалог, несколько моментов или точный тайминг, пишите её в стиле киносценария».
  • «Лучше 2-4 кадра в одной генерации». На каждой склейке: назовите монтажный переход словами («a hard cut to…»), заново опишите новый кадр (масштаб, ракурс, кто в кадре, свет), возвращающихся персонажей описывайте теми же словами, а не местоимением и укажите, что делает звук («the room tone continues across the cut», «the dialogue drops; only wind remains»).
  • Сохраняйте внешность, костюм и освещение оригинального персонажа одинаковыми во всех кадрах.

Поэтому разговор двух людей строится как кадр / обратный кадр внутри одной генерации: средний план A с его репликой, a hard cut to средний план B за тем же столом при том же свете с ответом, шум помещения продолжается. Одно лицо в каждом кадре, поэтому никто не синхронизирует губы в унисон; одна генерация, поэтому это один стол, одна пара, по одному голосу на каждого. «Два разных стола, персонаж меняется посередине» в дубле с длинным столом стали платой за склейку трёх отдельных генераций сцены, которую модели никогда не позволяли увидеть целиком.

3. Непрерывность между генерациями, когда сцена должна быть длиннее одной

  • Воркфлоу продления из сообщества (RuneXX, Kijai, узлы продления IAMCCS) подают в качестве контекста последние ~3 секунды (73 кадра) предыдущего клипа, а не один кадр, выравнивают цвет нового отрезка по старому, смешивают звук, держат отрезки по 10-20 с и ждут дрейфа после ~60 с. «Неправильные отрезки могут давать странный тайминг шва, внезапные сбросы или разрывы непрерывности».
  • One Shot в панели передаёт ОДИН кадр. Поэтому каждый стык «спотыкается» и начинается заново (измерено сегодня утром), а сцена дрейфует от части к части. Встроенный RetakePipeline.extend_from_video берёт за условие исходный клип; если подать ему хвост из 73 кадров, получится метод сообщества. Прежняя «цепочка окон», которая превратилась в кашу, использовала хвост из 121 кадра на Q4, и это другой эксперимент.
  • Встроенный форк также содержит Prompt Relay (--segment TEXT [LEN]): слова каждого отрезка привязываются к своему участку таймлайна внутри одной генерации. Он не может остановить движение видимого рта, но может не дать реплике говорящего B просочиться в секунды говорящего A. Панель его пока не показывает.

4. Рецепт для инопланетян (и для любой сцены вдвоём)

Одна генерация на обмен репликами, 10 с (241 кадр) на «Высокое · 720p» на этом Mac, написанная как мультикадровый промпт в стиле сценария:

Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.

Заложенные в него правила: один говорящий на кадр и на реплику; говорящий описан перед цитатой каждый раз теми же словами; склейка названа; звук через склейку указан; предложение «preserve»; «lip sync»; лицо появляется раньше реплики. Разговор на 30 с состоит из трёх таких генераций, соединённых на склейках (склейка прячет шов, а one shot не может), и в каждой оба инопланетянина описываются заново теми же словами, чтобы модель воссоздала ту же пару. Если сцена должна быть одним непрерывным дублем длиннее 10 с, продлевайте её, подавая в качестве контекста хвост из 73 кадров, а не один кадр (§3); сегодня в панели этого пути нет.

4b. Две ошибки, измеренные на 90-секундном монологе, и их исправления

  • Голос при закрытом рте в конце частей и на первом кадре: реплики по 10-14 слов в моментах по 5 с. Речь идёт со скоростью около 2.5 слова в секунду, поэтому звук не помещался в момент и обрывался на границе частей. Исправление: не больше 7 слов на момент, тишина после реплики прописана, перед первой репликой молчаливый взгляд (собственное правило панели о длительности; §4 уже его предполагал).
  • «Склейки смешаны с эффектом передержки»: часть «изображение в видео» внутри себя дрейфует по экспозиции (средняя яркость 137 → 178 за десять секунд), а следующая часть выравнивается через один кадр после своего закреплённого первого кадра (178 → 157), поэтому подбор цвета на границе не видит, что исправлять. Исправление: scripts/join_smooth.py --hold-exposure привязывает среднюю яркость каждого кадра к первой секунде дубля (со сглаживанием по 12 кадрам): ровно на 159 на тех же 30 с, где она гуляла от 126 до 175, плюс цветовой переход на шве и 120-миллисекундное перекрытие звука. Подходит только когда свет по условию постоянен, а у one shot с зафиксированным светом это так; сцену, которая должна темнеть, так обрабатывать нельзя.

4c. Говорящий персонаж через части: передавайте на говорящем кадре и проверяйте синхронизацию

  • Часть-продолжение, закреплённая на закрытом молчащем рте, не синхронизирует губы со следующей репликой (измерено: связь открытия рта с голосом r −0.15 / +0.20; примечание сообщества о продлении говорит то же). Если закрепить её на кадре из середины слова, синхронизация есть (+0.47). take_handoff=speech в One Shot обрезает каждую часть там, где заканчивается реплика (take_speech_end, запас 0.4 с), и закрепляет следующую часть именно там; первый момент каждой части начинается с молчаливого взгляда, чтобы у синхронизации было время зацепиться.
  • Даже первая часть может не получиться: одинаковые настройки дали +0.41 и −0.27 на двух репликах. Поэтому каждая говорящая часть измеряется (take_lipsync_score, той же мерой, что и scripts/lipsync_check.py) и переснимается один раз, если оценка ниже 0.20, с новым сидом; остаётся лучший клип.
  • Одна настоящая реплика (до 18 слов) на часть в 10 с, никогда не по реплике на момент в 5 с; в диалоге нет слов про склейку, монтаж, кадр или сцену; обученный оригинальный персонаж рендерится на Q8 Pro.

5. Доказательство (отрендерено 2026-09-07, 10 с, «Высокое · 720p», сид 4242)

Промпт из §4, отправленный как обычная задача «текст в видео» (без дубля, без передачи): 0-5 с высокий инопланетянин один за столом при свечах произносит свою реплику; чистая жёсткая склейка на 5 с; 5-10 с низкий инопланетянин один за тем же столом отвечает, ярко освещён, выражение лица читается. Одно лицо в кадре, одна комната, одна пара: первый рендер за день, где никто не мог говорить в унисон и ничто не меняло столы. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.

Источники

  • Lightricks, LTX-2.5 prompt guide: https://ltx.io/blog/ltx-2-5-prompt-guide
  • Lightricks, Prompting guide for LTX-2: https://ltx.io/blog/prompting-guide-for-ltx-2
  • Lightricks/LTX-2 README и карточка модели LTX-2 (структура, «frame count 8k+1»)
  • Lightricks/ComfyUI-LTXVideo, задача №395 (синхронизация губ у нескольких персонажей, открыта): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
  • RuneXX/LTX-2.3-Workflows, обсуждения №116 (два персонажа) и №131 (многократное продление: 3 с контекстных кадров, подбор цвета, группы по 20 с, ~60 с до дрейфа)
  • Kijai/LTXV2_comfy, обсуждение №36 (продление любого видео: минимальное перекрытие 73 кадра)
  • fal.ai, How to use LTX-2.5 (мультикадр: назвать переход, заново описать кадр, заново назвать персонажей, указать звук; не больше 3 кадров; пусть лицо появится раньше реплики)
  • ltx23.org, LTX 2.5 release guide (нативный мультикадр, «Preserve … across every shot»)
  • ltx.io/blog How to add AI voiceovers & dialogue (один говорящий на реплику, короткие реплики)

Источник: docs/LTX_DIALOGUE.md в открытом репозитории. Проверено для этого сайта перед публикацией. Переведено с английского оригинала. Предложить правку.