Pro
ES
Iniciar sesiónCuenta Descargar para Mac
Descargar para Mac

Ayuda / Video

Control de movimiento

Usa personajes originales o estilizados, o tu propia imagen con consentimiento documentado. Cualquier representación de otra persona identificable requiere su consentimiento documentado. Cumple la Política de uso aceptable en todas las imágenes de referencia, datos de entrenamiento, audios y resultados.

Pestaña Video → Remix → Control de movimiento.

Le das un clip a Phosphene. El render copia su movimiento, movimiento de cámara, composición y pose; tu prompt pinta un sujeto nuevo y una escena nueva sobre esa estructura. Por ejemplo, reutiliza un movimiento de cámara de tu propia escena generada para situar a un personaje original en un paisaje nuevo.

Es el adaptador oficial Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. Es público, no está restringido, no necesita ningún token de Hugging Face y lo descarga la instalación base (required_files.json → ic_union_control, 654,465,352 bytes en mlx_models/loras/ic/).


Por qué existe este documento

La función se lanzó y funciona desde hace meses, pero dos usuarios de siempre la pidieron como si no existiera: @sohaibpp en Pinokio (“Motion control”) y un usuario en X que pedía “IC-LoRA support (especially Union Control / Pose / Depth) exposed in the UI”, y que señalaba con razón que el ltx-2-mlx subyacente ya lo admite.

Ambos acertaban con el nombre y se equivocaban con la capacidad. El modo se llamaba “Control”, anidado a un clic dentro de un grupo llamado “Remix” cuya propia línea secundaria decía “your media → new video”. Nada en pantalla contenía las palabras que la gente buscaba. Eso es un defecto de descubribilidad, no una función que falte, y la solución fue el texto:

  • la línea secundaria de la píldora Remix ahora dice “motion control · refs · color”, el único texto de Remix visible sin hacer clic, así que lleva las palabras que se buscan;
  • el subchip es “Control de movimiento”, no “Control”, y su descripción emergente nombra el adaptador Union Control;
  • el encabezado de la sección nombra el adaptador, y el texto bajo el selector explica qué hace el modo y, más abajo, qué no puede hacer.

Cómo usarlo

  1. Pestaña Video → Remix → Control de movimiento.
  2. Elige un clip de control en el selector o pega una ruta.
  3. Escribe un prompt que describa el nuevo sujeto y la escena. No incluyas indicaciones de cámara: la cámara es cosa del clip de control, y un prompt que también pide un movimiento son dos instrucciones para un mismo eje.
  4. Pulsa Generar.

El resultado coincide con la resolución y la duración del clip de control. Usa el checkpoint Q4 destilado, así que no hace falta el paquete Q8 y funciona en todos los niveles de hardware que sirve el panel.

Qué le puedes dar

Entrada¿Funciona?
Un video normal (RGB sin procesar)Sí: es el camino habitual. El adaptador Union lee RGB sin procesar; no hay que preprocesar nada.
Una secuencia de pose / profundidad / canny / segmentación que ya tengasSí, y sigue con más fidelidad. Se la das igual que cualquier otro clip.
Un video normal que quieres convertir en pose o profundidadNo. Phosphene no incluye ningún preprocesador. No hay OpenPose, ni estimador de profundidad, ni pasada canny en toda esta instalación, y este documento no promete ninguno.

Esa última fila es la parte honesta de la petición en X. “Union Control / Pose / Depth” es una sola función con tres formatos de entrada: Phosphene ofrece la función y dos de los tres formatos, pero no puede derivarte el tercero.

Qué hace bueno a un clip de control

Lo aprendido midiendo al construir los ejemplos de abajo: el modo transfiere la estructura con tanta fidelidad que el prompt solo tiene margen donde la estructura deja alguno.

  • Funciona bien: planos cuyo contenido cambia a lo largo del clip: movimientos de cámara, grúas hacia atrás, travellings, escenas amplias, una figura que se mueve por un espacio.
  • Funciona mal: un único sujeto de alto contraste que llena un encuadre estático. Un cartel pintado a mano, filmado de frente y guiado con un prompt de “brass diving helmet”, salió como el mismo cartel en una paleta más fría con letras deformadas. No había nada que el prompt pudiera repintar.

Si el render te sale como una nueva versión de tu original, esa es la razón. LTX_CONTROL_REF_STRENGTH (por defecto 1.0, limitado a [0, 1]) suaviza el seguimiento hasta dejarlo en “inspirado en”; hoy no hay control en la interfaz para ello.


El carril 2.3, dicho con claridad

Lightricks ha publicado hasta hoy exactamente un IC-LoRA de LTX-2.5: el Pixel Spatial Upscaler, el 2026-08-11. No existe un adaptador Union Control para 2.5, así que el Control de movimiento es una función de LTX-2.3, y el panel no finge lo contrario.

La generación por defecto de Phosphene es LTX-2.5. En 2.5, el Control de movimiento funciona a medias, y es la mitad que cuesta notar:

LTX-2.3LTX-2.5 (por defecto)
Transferencia de movimiento / cámara / composiciónSíSí: el clip de control va en un latente de referencia fijado (intensidad de seguimiento 1.0 ⇒ mask_value = 0.0), así que la estructura llega aunque el adaptador no aporte nada.
El prompt repinta el sujetoSíDébil. El render sale como una versión deformada del propio contenido del clip de control, con manchas visibles.

Medido el 2026-08-28, no proyectado: el mismo clip de control de 4 s (una grúa hacia atrás de un rostro a una vista aérea), el mismo prompt, la misma semilla 4242, seguimiento 1.0, cada generación con su propio codificador de texto. En 2.3 el prompt produjo el monje en el salar que se pedía. En 2.5 produjo a un joven en una plaza europea (el sujeto del clip de control, reubicado) y con manchas por la mitad del movimiento.

Esto no es el fallo de Ingredients. Ingredients en 2.5 es inerte y se rechaza (RenderRefused("ingredients_generation")), porque una hoja de referencia ignorada en silencio cuesta unos 11 minutos de GPU y devuelve un clip sin relación. El Control de movimiento sigue entregando el trabajo de cámara, así que rechazarlo le quitaría al carril por defecto una función que sí funciona. Se ofrece, con la advertencia visible junto al selector:

  • ltx_control_full_repaint(): el predicado, en su propia función junto a ltx_generation_serves_ingredients() porque se arreglarán en días distintos.
  • LTX_CONTROL_GENERATION_NOTE: la frase, propiedad del servidor.
  • ltx_tiers_payload() envía ambos como control_full_repaint / control_generation_note; _paintControlGenNote() coloca la nota en #controlGenNote y la muestra solo donde es cierta.

Para obtener el repintado completo: instala el paquete 2.3 desde la pestaña Entrenar, o inicia el panel con LTX_MODEL_VERSION=ltx23. El día que salga un adaptador Union para 2.5, ltx_control_full_repaint() es la única línea que cambia.


Cómo se ejecuta

mlx_ltx_panel.py, mode == "control" en run_job_inner. Estructuralmente idéntico a Colorize (restore), con una diferencia deliberada.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

La palanca de seguimiento. El segundo elemento de video_conditioning es la intensidad de la referencia. VideoConditionByReferenceLatent mantiene el latente de referencia con mask_value = 1.0 - strength: con 1.0 el clip de control queda fijado intacto y el render sigue su estructura; con 0.0 es totalmente reconstruible, que es lo que usa Ingredients para recomponer alejándose de su hoja de referencia. Control e Ingredients son la misma canalización con los extremos opuestos de un mismo dial. Se puede cambiar con LTX_CONTROL_REF_STRENGTH.

Reducción de la referencia. El peso Union lleva reference_downscale_factor=2 (el codificador IC reduce a la mitad la propia referencia, iclora_utils), así que el panel le da las dimensiones de salida completas, igual que Colorize.

La cuadrícula de /64. Control y Colorize derivan su lienzo del clip de origen, después de que make_job haya corrido, así que se saltaban la normalización que reciben todos los demás carriles de LTX. Redondeaban hacia abajo a /32 mientras la canalización de dos etapas ajusta a /64 por su cuenta: un clip de control de 768×416 se renderizaba a 768×384 mientras la línea del registro y el sidecar decían 416, el defecto de “Width × Height LIES”, y aquí además aplastaba la imagen un 8 % en vertical, porque la referencia se reescala sobre el lienzo que nombramos. Ahora ambas ramas redondean a /64. Si las dimensiones de tu clip de control son múltiplos de 64, no se reescala nada, que es la mejora de calidad más barata de este modo.


Ejemplos reales

Renderizados el 2026-08-28 en un M4 Max de 64 GB, LTX-2.3 Q4 destilado, seguimiento 1.0, unos 90 s cada uno a 4 s / 97 fotogramas. Los orígenes son clips existentes de mlx_outputs/; los prompts no contienen ninguna indicación de cámara, así que todo movimiento de cámara del resultado vino del clip de control.

ResultadoClip de controlPrompt (abreviado)Qué demuestra
example_control_craneout.mp4example_control_craneout_source.mp4 (una grúa hacia atrás de H3 de 10 s, acelerada 2.5× a 4 s)“a monk in a saffron robe on a vast white salt flat…”Una coreografía completa de grúa (rostro → calle → tejados → nube) transferida plano a plano a un mundo distinto. La geometría del camino de entrada se convierte en grietas del salar; los tejados, en matas de matorral.
example_control_skater.mp4example_control_skater_source.mp4“a knight in dented plate armour bounds across a moonlit courtyard…”La pose y el movimiento del cuerpo humano, incluido el salto, con una cámara de seguimiento.
example_control_aerial.mp4example_control_aerial_source.mp4“an endless field of purple lavender under a black storm front…”Un paisaje amplio en movimiento repintado por completo mientras se conserva el movimiento.

Reproduce cada par lado a lado. La correspondencia fotograma a fotograma es lo importante.


  • docs/H3_ENGINE.md: el otro motor de video.
  • La guía de Remix: webapp/docs/remix.md (la pestaña Ayuda del panel y https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

Fuente: docs/MOTION_CONTROL.md en el repositorio público. Revisado para este sitio web antes de publicarse. Traducido del original en inglés. Sugerir un cambio.