帮助文档 / 视频
两个角色对话
请使用原创或风格化的角色,或经有据可查的同意后使用你本人的形象。任何涉及其他可识别真人的描绘,都需要对方有据可查的同意。所有参考图、训练数据、音频和作品,都请遵守可接受使用政策。
一天里八次渲染“两个外星人共进晚餐”,让面板吃了不少苦头才学到很多东西。在渲染第九次之前,这一页整理了 Lightricks 自己的指南、LTX-2 模型卡、社区工作流和未解决的议题,对对白、多个角色和连续性是怎么说的,以及由此得出的做法。
1. 画面里有多张脸时的对口型,是一个未解决的难题,不是提示词的错
- Lightricks 的 ComfyUI issue #395(“How to control who is speaking… when there are multiple characters in the image?”)描述的正是负责人听到的情况: “Character A or B starts lip syncing randomly to parts of the dialogue… very often they both appear to talk the same words simultaneously.” 它至今仍是未解决状态, 维护者也没有回应。
- 社区行之有效的办法,形状都一样:每次生成只有一张说话的脸(每次渲染一个角色,再合成)、 配合外部音频使用遮罩,或使用预先录好的对白。在提示词里“坚持”说明谁在说话 (“穿红裙子的女人在说话,男人在默默倾听”)有时有帮助,更常常失败,这正是我们的 v2 / v3 实测的结果。
- 音频指南自己的建议:每句台词一个说话者,台词要短,在引文之前先写好说话者和说法 (“她用平静、沉稳的声音说:‘…’”),自然语速下约 9 秒的语音,提示词里写上“lip sync”, 光线充足、正对镜头的脸,以及“让脸先出现”:从第一帧就开始的台词,会让同步无处可锁。
所以:对话要这样写:台词播放时,画面里只有说话者的脸。面板的“一镜到底”调度规则 (一个节拍只写应该出现在画面里的人)是同一个思路,只是容器选错了。
2. 正确的容器是多镜头生成,不是一镜到底
LTX-2.5 的主打功能是原生多镜头:在同一个提示词、同一次生成里,用明确的切镜连接多个镜头, 因为模型会通盘考虑整个序列,所以能在切镜之间保持“角色身份、环境、光线和声音”。Lightricks 的 2.5 提示词指南说:
- “Use a single continuous take when you want unbroken camera motion, intimate performance, or dialogue that must stay lip-synced in one framing. … When a scene involves dialogue, multiple beats, or precise timing, write it in a screenplay style.”
- “Prefer 2-4 shots in one generation.”每次切镜时:用文字写出这次剪辑 (“a hard cut to…”),重新交代新镜头(景别、角度、谁在画面里、光线), 用同样的描述重新指认回来的角色,不要用代词,并且说明声音怎么变化 (“the room tone continues across the cut”、“the dialogue drops; only wind remains”)。
- 在各个镜头之间,保持原创角色的设计、服装和光线一致。
所以,两个人的对话就是同一次生成里的正反打:A 说台词的中景,a hard cut to B 在同一张桌子、同样光线下回答的中景,房间的底噪延续下去。每个镜头只有一张脸, 所以不会有人同声对口型;只有一次生成,所以是同一张桌子、同一对人、各自一种声音。 长桌那一次出现的“两张不同的桌子,角色在中途变了”,是把一个场景分成三次独立生成再缝在一起的代价, 而模型从来没被允许看到这个场景的全貌。
3. 一个场景必须超过一次生成时,跨生成的连续性
- 社区的延长工作流(RuneXX、Kijai、IAMCCS 的延长节点)把前一个片段的 最后约 3 秒(73 帧)作为上下文输入,而不是一帧,把新片段与旧片段做颜色匹配, 混合音频,让每段保持 10-20 秒,并预计在约 60 秒之后会漂移。 “Incorrect slices can result in weird seam timing, sudden resets, or continuity breaks.”
- 面板的“一镜到底”只交接一帧。这就是每个衔接处都会停顿再重启
(今天早上实测)、场景在各段之间漂移的原因。内置的
RetakePipeline.extend_from_video以一个源片段为条件;喂给它 73 帧的尾部, 就是社区的方法。之前那个变成一团糊的“窗口链”,在 Q4 上用的是 121 帧的尾部,是另一个实验。 - 内置的分支还带有 Prompt Relay(
--segment TEXT [LEN]):每个 分段的文字,在一次生成里被限定在时间线的某一段上。 它不能阻止一张看得见的嘴动起来,但可以不让说话者 B 的台词渗进说话者 A 的那几秒。 面板目前还没有开放它。
4. 外星人的做法(以及任何双人戏)
每次对话一次生成,在这台 Mac 上用高 720p 生成 10 秒(241 帧),写成 电影剧本风格的多镜头提示词:
Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.
其中包含的规则:每个镜头、每句台词只有一个说话者;说话者在引文之前描述,每次都用同样的词; 写明切镜;写明切镜处的声音;“preserve”那一句;“lip sync”;脸在台词之前出现。 30 秒的对话是三次这样的生成,用切镜拼接起来 (切镜能藏起接缝,一镜到底不能),每次都用同样的描述重新描写两个外星人, 让模型重新造出同一对角色。如果一个场景必须是一个超过 10 秒的不间断镜头, 就用 73 帧的尾部作为上下文来延长,而不是一帧(§3),这条路径目前在面板里还没有做。
4b. 在 90 秒独白镜头上实测到的两个问题,以及修复办法
- 段落结尾和第一帧上,闭着嘴的画外音:5 秒节拍里塞了 10-14 个词的台词。 语速约每秒 2.5 个词,所以音频超出了节拍,在段落边界被截断。修复: 每个节拍 ≤7 个词,写明台词之后的静默,并在第一句台词之前加一个无声的凝视 (面板自己的时长规则;§4 已经默认这样做了)。
- “剪辑处混着一种过曝效果”:图生视频的一段,在自己内部曝光就会漂移
(十秒内平均亮度 137 → 178),下一段在它锚定的第一帧之后一帧就重新调整了亮度
(178 → 157),所以边界处的颜色匹配看不到任何需要修的地方。修复:
scripts/join_smooth.py --hold-exposure把每一帧的平均亮度固定到镜头第一秒的水平 (按 12 帧平滑),在同样的 30 秒里恒定在 159,而原来在 126-175 之间波动, 再加上接缝处的颜色淡入,以及 120 毫秒的音频交叉淡化。只在光线按约定恒定时才有效, 而一镜到底的光线锁定使这一点成立;本来就要变暗的场景不要用它。
4c. 跨段的说话角色:在说话的那一帧衔接,并对同步打分
- 锚定在闭着嘴、没有声音那一帧的后续段,不会为下一句台词对口型
(实测:嘴张开程度与声音的 r 为 −0.15 / +0.20;社区的延长说明也这样说)。
锚定在一个词说到一半的那一帧,就能同步(+0.47)。一镜到底的
take_handoff=speech会在每一段的台词结束处修剪(take_speech_end,留 0.4 秒余量),并把下一段锚定在那里; 每一段的第一个节拍都以一个无声的凝视开始,让同步有一个锁定的时间。 - 即使第一段也要碰运气:相同的设置,在两句台词上分别得到 +0.41 和 −0.27。
所以每个有台词的段落都会被测量(
take_lipsync_score,与scripts/lipsync_check.py是同一个度量),低于 0.20 就用新种子重拍一次,保留更好的那个片段。 - 每个 10 秒的段落只写一句真正的台词(≤18 个词),不要每个 5 秒节拍写一句; 台词里不要有切镜、剪辑、镜头、场景这类词;训练好的原创角色在 Q8 Pro 上渲染。
5. 证明(2026-09-07 渲染,10 秒,高 720p,种子 4242)
§4 的提示词,作为一个普通的文字生视频任务提交(没有 take,没有交接):
0-5 秒,高个子外星人独自在烛光餐桌旁说它的台词;
5 秒处一次干净利落的切镜;5-10 秒,矮个子外星人独自在同一张桌子旁
回答,光线明亮,表情清晰。每个镜头一张脸,一个房间,一对角色:这是这天第一次渲染,
没有任何东西会同声说话,也没有换桌子。mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4。
资料来源
- Lightricks,LTX-2.5 prompt guide:https://ltx.io/blog/ltx-2-5-prompt-guide
- Lightricks,Prompting guide for LTX-2:https://ltx.io/blog/prompting-guide-for-ltx-2
- Lightricks/LTX-2 README 和 LTX-2 模型卡(结构,“frame count 8k+1”)
- Lightricks/ComfyUI-LTXVideo issue #395(多角色对口型,未解决): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
- RuneXX/LTX-2.3-Workflows discussions #116(双角色)和 #131(多次延长: 3 秒上下文帧、颜色匹配、20 秒一组、约 60 秒后漂移)
- Kijai/LTXV2_comfy discussion #36(延长任意视频:最少 73 帧重叠)
- fal.ai,How to use LTX-2.5(多镜头:写出剪辑、重新交代、重新指认、 说明声音;≤3 个镜头;让脸在台词之前出现)
- ltx23.org,LTX 2.5 release guide(原生多镜头,“Preserve … across every shot”)
- ltx.io/blog How to add AI voiceovers & dialogue(每句台词一个说话者,台词要短)
来源:docs/LTX_DIALOGUE.md,位于公开仓库。发布前已针对本网站审阅。译自英文原文。建议修改。