帮助文档 / 视频
运动控制
请使用原创或风格化的角色,或经有据可查的同意后使用你本人的形象。任何涉及其他可识别真人的描绘,都需要对方有据可查的同意。所有参考图、训练数据、音频和作品,都请遵守可接受使用政策。
视频标签页 → 重制 → 运动控制。
你给 Phosphene 一个片段,渲染会复制它的动作、运镜、构图和姿态;你的提示词则在这个结构上绘制全新的主体和全新的场景。例如,借用你自己生成的某个场景里的运镜,把一个原创角色放进全新的风景中。
它用的是官方的 Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control 适配器。它是公开的、无需授权,不需要 Hugging Face 令牌,并由基础安装一并下载(required_files.json → ic_union_control,654,465,352 字节,存入 mlx_models/loras/ic/)。
为什么有这份文档
这个功能早已上线并且运行了好几个月,却有两位老用户像它不存在一样来找我们要:Pinokio 上的 @sohaibpp(“Motion control”),以及 X 上的一位用户,他希望“在界面里提供 IC-LoRA 支持(尤其是 Union Control / Pose / Depth)”,并且正确地指出底层的 ltx-2-mlx 早已支持。
两人对名称的感受没错,对能力的判断却错了。这个模式原来叫“Control”,藏在一个叫“Remix”的分组里,需要多点一次才能看到,而该分组自己的副标题写的是“your media → new video”。屏幕上没有任何一处出现人们在搜索的那些词。这是可发现性的缺陷,不是缺少功能,修复办法就是改文案:
- 重制标签的副标题现在写着“运动控制 · 参考素材 · 色彩”,这是不点击就能看到的唯一重制文字,所以由它来承载可搜索的词;
- 子选项叫“运动控制”,而不是“Control”,它的提示会点出 Union Control 适配器;
- 区块标题写明了适配器,选择器下面的文字说明了这个模式能做什么,以及(见下文)它做不到什么。
使用方法
- 视频标签页 → 重制 → 运动控制。
- 在选择器里选一个控制片段,或者粘贴路径。
- 写一段提示词,描述新的主体和场景。不要写运镜:镜头由控制片段负责,如果提示词也要求运镜,就是对同一个维度下了两条指令。
- 生成。
输出会与控制片段的分辨率和长度一致。它运行的是 Q4 蒸馏版检查点,所以不需要 Q8 包,面板支持的每一档硬件都能使用。
可以给它什么
| 输入 | 能用吗? |
|---|---|
| 普通视频(原始 RGB) | 能,这是常规用法。Union 适配器直接读取原始 RGB,不需要任何预处理。 |
| 你已有的姿态 / 深度 / 边缘 / 分割序列 | 能,而且跟随得更紧。像其他片段一样直接输入即可。 |
| 想把普通视频转换成姿态或深度 | 不能。Phosphene 不带预处理器。这套安装里没有 OpenPose,没有深度估计器,也没有边缘检测,本文档也不承诺会提供。 |
最后一行是对 X 上那条请求的坦诚回答。“Union Control / Pose / Depth”是一个功能加三种输入格式:Phosphene 提供这个功能和其中两种格式,但无法替你生成第三种。
什么样的控制片段效果好
在制作下面的示例时得到的实测经验是:这个模式对结构的传递非常忠实,所以提示词只有在结构留有余地的地方才能发挥作用。
- 效果好:画面内容会随片段变化的镜头,如运镜、拉升镜头、跟拍、大场景、人物在空间中移动。
- 效果差:一个高对比度的主体占满静止的画面。有一张手绘招牌被正对着拍摄,配上“黄铜潜水头盔”的提示词,结果得到的还是那块招牌,只是色调更冷,字母还成了乱码。提示词没有任何可以重绘的东西。
如果渲染结果像是在复述你的源片段,原因就在这里。LTX_CONTROL_REF_STRENGTH(默认 1.0,取值限制在 [0, 1])可以把跟随放松成“受其启发”,目前界面里没有对应的控件。
2.3 通道:如实说明
截至目前,Lightricks 只发布了一个 LTX-2.5 的 IC-LoRA:Pixel Spatial Upscaler,发布于 2026-08-11。没有 2.5 的 Union Control 适配器,所以运动控制是 LTX-2.3 的功能,面板也不假装不是这样。
Phosphene 的默认生成是 LTX-2.5。在 2.5 上,运动控制只做到了一半,而且是难以察觉的那一半:
| LTX-2.3 | LTX-2.5(默认) | |
|---|---|---|
| 动作 / 运镜 / 构图的传递 | 是 | 是:控制片段挂在一个固定的参考潜变量上(跟随强度 1.0 ⇒ mask_value = 0.0),所以无论适配器有没有起作用,结构都会被保留。 |
| 提示词重绘主体 | 是 | 很弱。渲染结果像是对控制片段自身内容的扭曲复述,并带有明显的拖影。 |
2026-08-28 实测,不是推算:同一个 4 秒控制片段(从一张脸拉升到航拍的镜头),同样的提示词,同样的种子 4242,跟随强度 1.0,每一代使用各自的文本编码器。在 2.3 上,提示词生成了要求的盐滩上的僧人。在 2.5 上,生成的是欧洲广场上的一个年轻人,也就是控制片段的主体换了个地点,并且在拉升的中段出现了拖影。
这不是 Ingredients 的那种失败。2.5 上的 Ingredients 毫无作用,所以被拒绝(RenderRefused("ingredients_generation")),因为一张被悄悄忽略的参考图集要白白耗掉约 11 分钟 GPU,还会返回一个毫无关系的片段。运动控制仍然能交付运镜效果,把它拒掉等于从默认通道里拿走一个能用的功能。所以它照常提供,并把提示说明显示在选择器旁边:
ltx_control_full_repaint():判断条件,它是一个单独的函数,放在ltx_generation_serves_ingredients()旁边,因为这两件事会在不同的日子被修好。LTX_CONTROL_GENERATION_NOTE:那句提示,由服务器维护。ltx_tiers_payload()把两者分别以control_full_repaint/control_generation_note的名字一并下发;_paintControlGenNote()把提示放进#controlGenNote,并且只在确实成立的地方显示。
要获得完整重绘:在训练标签页里安装 2.3 包,或者用 LTX_MODEL_VERSION=ltx23 启动面板。等 2.5 的 Union 适配器发布那天,只需要改 ltx_control_full_repaint() 这一行。
它如何运行
mlx_ltx_panel.py,run_job_inner 里的 mode == "control"。结构上与上色(restore)相同,只有一处刻意的不同。
control_video_path
│ ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
│ downscaled to the tier's i2v max side if it exceeds it
▼
job_spec action = "generate_restore"
│ model_dir = Q4 distilled pack (what the adapter was trained against)
│ loras = [union-control @ 1.0] + whatever the form carried
│ video_conditioning = [[control_clip, 1.0]] ← the FOLLOW lever
│ stage1_steps=8, stage2_steps=3 ← two-stage, like Colorize
▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4
跟随杠杆。video_conditioning 的第二个元素是参考强度。VideoConditionByReferenceLatent 以 mask_value = 1.0 - strength 来固定参考潜变量:强度为 1.0 时,控制片段被原样固定,渲染会跟随它的结构;为 0.0 时,它完全可以被去噪,这正是 Ingredients 用来脱离它的参考图集重新构图的做法。运动控制和 Ingredients 是同一条管线,只是同一个旋钮的两个端点。可以用 LTX_CONTROL_REF_STRENGTH 覆盖。
参考图降采样。Union 权重带有 reference_downscale_factor=2,即 IC 编码器自己把参考减半(iclora_utils),所以面板传入的是完整的输出尺寸,和上色的做法一样。
/64 网格。运动控制和上色根据源片段推导画布,而这发生在 make_job 运行之后,所以它们错过了其他每条 LTX 通道都会经历的规整化。它们向下取整到 /32,而两阶段管线自己会对齐到 /64:一个 768×416 的控制片段渲染出来是 768×384,而日志行和附属文件都写着 416,这就是“宽 × 高在说谎”的缺陷,在这里它还把画面在垂直方向压扁了 8%,因为参考图是按我们指定的画布来缩放的。两个分支现在都向下取整到 /64。如果你的控制片段尺寸是 64 的倍数,就完全不会发生任何缩放,这是这个模式上成本最低的画质提升。
实际示例
2026-08-28 在 64 GB 的 M4 Max 上渲染,LTX-2.3 Q4 蒸馏版,跟随强度 1.0,每个 4 秒 / 97 帧约 90 秒。素材是 mlx_outputs/ 里已有的片段;提示词完全没有写运镜,所以输出里的每一个运镜都来自控制片段。
| 输出 | 控制片段 | 提示词(节选) | 它证明了什么 |
|---|---|---|---|
example_control_craneout.mp4 | example_control_craneout_source.mp4(一个 10 秒的 H3 拉升镜头,重新计时为 4 秒,即 2.5 倍速) | “a monk in a saffron robe on a vast white salt flat…” | 一整套拉升的运镜编排(脸 → 街道 → 屋顶 → 云)逐拍转移到了另一个世界。车道的几何形状对应盐滩上的裂纹,屋顶对应灌木丛。 |
example_control_skater.mp4 | example_control_skater_source.mp4 | “a knight in dented plate armour bounds across a moonlit courtyard…” | 在跟拍镜头下,人物的姿态和身体动作(包括跳跃)。 |
example_control_aerial.mp4 | example_control_aerial_source.mp4 | “an endless field of purple lavender under a black storm front…” | 宽阔的移动风景被整体重绘,而运镜得以保留。 |
请把每一对并排播放。逐帧对应正是重点所在。
相关内容
docs/H3_ENGINE.md:另一个视频引擎。- 重制指南:
webapp/docs/remix.md(面板的帮助文档标签页,以及 https://phosphene.video/docs/remix/)。 required_files.json→ic_union_control、ic_ingredients、ic_colorize。
来源:docs/MOTION_CONTROL.md,位于公开仓库。发布前已针对本网站审阅。译自英文原文。建议修改。