Ayuda / Video
Control de movimiento
Usa personajes originales o estilizados, o tu propia imagen con consentimiento documentado. Cualquier representación de otra persona identificable requiere su consentimiento documentado. Cumple la Política de uso aceptable en todas las imágenes de referencia, datos de entrenamiento, audios y resultados.
Pestaña Video → Remix → Control de movimiento.
Le das un clip a Phosphene. El render copia su movimiento, movimiento de cámara, composición y pose; tu prompt pinta un sujeto nuevo y una escena nueva sobre esa estructura. Por ejemplo, reutiliza un movimiento de cámara de tu propia escena generada para situar a un personaje original en un paisaje nuevo.
Es el adaptador oficial Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control.
Es público, no está restringido, no necesita ningún token de Hugging Face
y lo descarga la instalación base (required_files.json → ic_union_control,
654,465,352 bytes en mlx_models/loras/ic/).
Por qué existe este documento
La función se lanzó y funciona desde hace meses, pero dos usuarios de siempre
la pidieron como si no existiera: @sohaibpp en Pinokio (“Motion control”) y
un usuario en X que pedía “IC-LoRA support (especially Union Control / Pose /
Depth) exposed in the UI”, y que señalaba con razón que el ltx-2-mlx subyacente
ya lo admite.
Ambos acertaban con el nombre y se equivocaban con la capacidad. El modo se llamaba “Control”, anidado a un clic dentro de un grupo llamado “Remix” cuya propia línea secundaria decía “your media → new video”. Nada en pantalla contenía las palabras que la gente buscaba. Eso es un defecto de descubribilidad, no una función que falte, y la solución fue el texto:
- la línea secundaria de la píldora Remix ahora dice “motion control · refs · color”, el único texto de Remix visible sin hacer clic, así que lleva las palabras que se buscan;
- el subchip es “Control de movimiento”, no “Control”, y su descripción emergente nombra el adaptador Union Control;
- el encabezado de la sección nombra el adaptador, y el texto bajo el selector explica qué hace el modo y, más abajo, qué no puede hacer.
Cómo usarlo
- Pestaña Video → Remix → Control de movimiento.
- Elige un clip de control en el selector o pega una ruta.
- Escribe un prompt que describa el nuevo sujeto y la escena. No incluyas indicaciones de cámara: la cámara es cosa del clip de control, y un prompt que también pide un movimiento son dos instrucciones para un mismo eje.
- Pulsa Generar.
El resultado coincide con la resolución y la duración del clip de control. Usa el checkpoint Q4 destilado, así que no hace falta el paquete Q8 y funciona en todos los niveles de hardware que sirve el panel.
Qué le puedes dar
| Entrada | ¿Funciona? |
|---|---|
| Un video normal (RGB sin procesar) | Sí: es el camino habitual. El adaptador Union lee RGB sin procesar; no hay que preprocesar nada. |
| Una secuencia de pose / profundidad / canny / segmentación que ya tengas | Sí, y sigue con más fidelidad. Se la das igual que cualquier otro clip. |
| Un video normal que quieres convertir en pose o profundidad | No. Phosphene no incluye ningún preprocesador. No hay OpenPose, ni estimador de profundidad, ni pasada canny en toda esta instalación, y este documento no promete ninguno. |
Esa última fila es la parte honesta de la petición en X. “Union Control / Pose / Depth” es una sola función con tres formatos de entrada: Phosphene ofrece la función y dos de los tres formatos, pero no puede derivarte el tercero.
Qué hace bueno a un clip de control
Lo aprendido midiendo al construir los ejemplos de abajo: el modo transfiere la estructura con tanta fidelidad que el prompt solo tiene margen donde la estructura deja alguno.
- Funciona bien: planos cuyo contenido cambia a lo largo del clip: movimientos de cámara, grúas hacia atrás, travellings, escenas amplias, una figura que se mueve por un espacio.
- Funciona mal: un único sujeto de alto contraste que llena un encuadre estático. Un cartel pintado a mano, filmado de frente y guiado con un prompt de “brass diving helmet”, salió como el mismo cartel en una paleta más fría con letras deformadas. No había nada que el prompt pudiera repintar.
Si el render te sale como una nueva versión de tu original, esa es la razón.
LTX_CONTROL_REF_STRENGTH (por defecto 1.0, limitado a [0, 1]) suaviza el
seguimiento hasta dejarlo en “inspirado en”; hoy no hay control en la interfaz para ello.
El carril 2.3, dicho con claridad
Lightricks ha publicado hasta hoy exactamente un IC-LoRA de LTX-2.5: el Pixel Spatial Upscaler, el 2026-08-11. No existe un adaptador Union Control para 2.5, así que el Control de movimiento es una función de LTX-2.3, y el panel no finge lo contrario.
La generación por defecto de Phosphene es LTX-2.5. En 2.5, el Control de movimiento funciona a medias, y es la mitad que cuesta notar:
| LTX-2.3 | LTX-2.5 (por defecto) | |
|---|---|---|
| Transferencia de movimiento / cámara / composición | Sí | Sí: el clip de control va en un latente de referencia fijado (intensidad de seguimiento 1.0 ⇒ mask_value = 0.0), así que la estructura llega aunque el adaptador no aporte nada. |
| El prompt repinta el sujeto | Sí | Débil. El render sale como una versión deformada del propio contenido del clip de control, con manchas visibles. |
Medido el 2026-08-28, no proyectado: el mismo clip de control de 4 s (una grúa hacia atrás
de un rostro a una vista aérea), el mismo prompt, la misma semilla 4242, seguimiento 1.0, cada
generación con su propio codificador de texto. En 2.3 el prompt produjo el monje en el salar que se pedía.
En 2.5 produjo a un joven en una plaza europea (el sujeto del clip de control, reubicado) y
con manchas por la mitad del movimiento.
Esto no es el fallo de Ingredients. Ingredients en 2.5 es inerte y se
rechaza (RenderRefused("ingredients_generation")), porque una hoja de referencia ignorada
en silencio cuesta unos 11 minutos de GPU y devuelve un clip sin relación. El Control de movimiento
sigue entregando el trabajo de cámara, así que rechazarlo le quitaría al carril por defecto
una función que sí funciona. Se ofrece, con la advertencia
visible junto al selector:
ltx_control_full_repaint(): el predicado, en su propia función junto altx_generation_serves_ingredients()porque se arreglarán en días distintos.LTX_CONTROL_GENERATION_NOTE: la frase, propiedad del servidor.ltx_tiers_payload()envía ambos comocontrol_full_repaint/control_generation_note;_paintControlGenNote()coloca la nota en#controlGenNotey la muestra solo donde es cierta.
Para obtener el repintado completo: instala el paquete 2.3 desde la pestaña Entrenar, o inicia
el panel con LTX_MODEL_VERSION=ltx23. El día que salga un adaptador Union para 2.5,
ltx_control_full_repaint() es la única línea que cambia.
Cómo se ejecuta
mlx_ltx_panel.py, mode == "control" en run_job_inner. Estructuralmente
idéntico a Colorize (restore), con una diferencia deliberada.
control_video_path
│ ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
│ downscaled to the tier's i2v max side if it exceeds it
▼
job_spec action = "generate_restore"
│ model_dir = Q4 distilled pack (what the adapter was trained against)
│ loras = [union-control @ 1.0] + whatever the form carried
│ video_conditioning = [[control_clip, 1.0]] ← the FOLLOW lever
│ stage1_steps=8, stage2_steps=3 ← two-stage, like Colorize
▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4
La palanca de seguimiento. El segundo elemento de video_conditioning es la
intensidad de la referencia. VideoConditionByReferenceLatent mantiene el latente de referencia
con mask_value = 1.0 - strength: con 1.0 el clip de control queda fijado intacto
y el render sigue su estructura; con 0.0 es totalmente reconstruible, que
es lo que usa Ingredients para recomponer alejándose de su hoja de referencia.
Control e Ingredients son la misma canalización con los extremos opuestos de un mismo dial.
Se puede cambiar con LTX_CONTROL_REF_STRENGTH.
Reducción de la referencia. El peso Union lleva
reference_downscale_factor=2 (el codificador IC reduce a la mitad la propia referencia,
iclora_utils), así que el panel le da las dimensiones de salida completas, igual
que Colorize.
La cuadrícula de /64. Control y Colorize derivan su lienzo del clip de origen,
después de que make_job haya corrido, así que se saltaban la normalización que reciben
todos los demás carriles de LTX. Redondeaban hacia abajo a /32 mientras la canalización de dos etapas ajusta a /64
por su cuenta: un clip de control de 768×416 se renderizaba a 768×384 mientras la línea del registro y
el sidecar decían 416, el defecto de “Width × Height LIES”, y aquí además aplastaba
la imagen un 8 % en vertical, porque la referencia se reescala sobre el lienzo que nombramos.
Ahora ambas ramas redondean a /64. Si las dimensiones de tu clip de control son múltiplos de 64,
no se reescala nada, que es la mejora de calidad más barata de este modo.
Ejemplos reales
Renderizados el 2026-08-28 en un M4 Max de 64 GB, LTX-2.3 Q4 destilado, seguimiento 1.0,
unos 90 s cada uno a 4 s / 97 fotogramas. Los orígenes son clips existentes de mlx_outputs/;
los prompts no contienen ninguna indicación de cámara, así que todo movimiento de cámara
del resultado vino del clip de control.
| Resultado | Clip de control | Prompt (abreviado) | Qué demuestra |
|---|---|---|---|
example_control_craneout.mp4 | example_control_craneout_source.mp4 (una grúa hacia atrás de H3 de 10 s, acelerada 2.5× a 4 s) | “a monk in a saffron robe on a vast white salt flat…” | Una coreografía completa de grúa (rostro → calle → tejados → nube) transferida plano a plano a un mundo distinto. La geometría del camino de entrada se convierte en grietas del salar; los tejados, en matas de matorral. |
example_control_skater.mp4 | example_control_skater_source.mp4 | “a knight in dented plate armour bounds across a moonlit courtyard…” | La pose y el movimiento del cuerpo humano, incluido el salto, con una cámara de seguimiento. |
example_control_aerial.mp4 | example_control_aerial_source.mp4 | “an endless field of purple lavender under a black storm front…” | Un paisaje amplio en movimiento repintado por completo mientras se conserva el movimiento. |
Reproduce cada par lado a lado. La correspondencia fotograma a fotograma es lo importante.
Relacionado
docs/H3_ENGINE.md: el otro motor de video.- La guía de Remix:
webapp/docs/remix.md(la pestaña Ayuda del panel y https://phosphene.video/docs/remix/). required_files.json→ic_union_control,ic_ingredients,ic_colorize.
Fuente: docs/MOTION_CONTROL.md en el repositorio público. Revisado para este sitio web antes de publicarse. Traducido del original en inglés. Sugerir un cambio.