Docs / Video
Controllo del movimento
Usa personaggi originali o stilizzati, oppure la tua immagine con un consenso documentato. Qualsiasi raffigurazione di un’altra persona identificabile richiede il suo consenso documentato. Per tutte le immagini di riferimento, i dati di addestramento, l’audio e i risultati segui la Politica di utilizzo accettabile.
Scheda Video → Remix → Controllo del movimento.
Dai a Phosphene una clip. Il render ne copia movimento, movimento di camera, composizione e posa; il tuo prompt dipinge un nuovo soggetto e una nuova scena su quella struttura. Per esempio, riusa un movimento di camera dalla tua scena generata per mettere in scena un personaggio originale in un nuovo paesaggio.
È l’adattatore ufficiale Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control.
È pubblico, senza accesso riservato, non richiede nessun token Hugging Face, e viene
scaricato dall’installazione di base (required_files.json → ic_union_control,
654.465.352 byte in mlx_models/loras/ic/).
Perché esiste questo documento
La funzione è uscita e funziona da mesi, eppure due utenti di lunga data
l’hanno richiesta come se non esistesse: @sohaibpp su Pinokio (“Motion control”) e
un utente su X che chiedeva il “supporto IC-LoRA (in particolare Union Control / Pose /
Depth) esposto nell’interfaccia”, notando correttamente che ltx-2-mlx, il motore sottostante,
lo supporta già.
Entrambi avevano ragione sul nome e torto sulla capacità. La modalità si chiamava “Control”, nascosta a un clic di distanza dentro un gruppo chiamato “Remix” la cui stessa sottoriga diceva “your media → new video”. Nulla sullo schermo conteneva le parole che le persone cercavano. È un difetto di reperibilità, non una funzione mancante, e la soluzione è stata il testo:
- la sottoriga della pillola Remix ora dice “motion control · refs · color”, l’unico testo di Remix visibile senza un clic, quindi porta le parole da cercare;
- il sotto-chip è “Controllo del movimento”, non “Control”, e il suo suggerimento nomina l’adattatore Union Control;
- l’intestazione della sezione nomina l’adattatore, e il testo sotto il selettore dice che cosa fa la modalità e, più sotto, che cosa non può fare.
Come usarlo
- Scheda Video → Remix → Controllo del movimento.
- Scegli una clip di controllo nel selettore, oppure incolla un percorso.
- Scrivi un prompt che descriva il nuovo soggetto e la nuova scena. Lascia fuori le indicazioni di camera: la camera è compito della clip di controllo, e un prompt che chiede anche un movimento è una doppia istruzione per un solo asse.
- Clicca Genera.
Il risultato ha la stessa risoluzione e la stessa durata della clip di controllo. Usa il checkpoint Q4 distilled, quindi non serve il pacchetto Q8 e funziona su ogni livello hardware che il pannello supporta.
Cosa puoi fornirgli
| Ingresso | Funziona? |
|---|---|
| Un video normale (RGB grezzo) | Sì, è il percorso normale. L’adattatore Union legge RGB grezzo; non serve alcuna pre-elaborazione. |
| Una sequenza di pose / profondità / contorni / segmentazione che hai già | Sì, e segue in modo più stretto. Forniscila come qualsiasi altra clip. |
| Un video normale che vuoi trasformare in posa o profondità | No. Phosphene non include nessun preprocessore. In questa installazione non c’è OpenPose, né uno stimatore di profondità, né un passaggio canny, e questo documento non ne promette uno. |
Quest’ultima riga è la metà onesta della richiesta su X. “Union Control / Pose / Depth” è una sola funzione con tre formati di ingresso: Phosphene offre la funzione e due formati su tre, e non può ricavarti il terzo.
Cosa rende buona una clip di controllo
La lezione misurata nel costruire gli esempi qui sotto: la modalità trasferisce la struttura con tanta fedeltà che il prompt ha spazio solo dove la struttura ne lascia.
- Funziona bene: inquadrature il cui contenuto cambia lungo la clip: movimenti di camera, allontanamenti in gru, carrellate, scene ampie, una figura che si muove in uno spazio.
- Funziona male: un singolo soggetto ad alto contrasto che riempie un’inquadratura statica. Un cartello dipinto a mano ripreso di fronte, guidato con un prompt “brass diving helmet”, è tornato come lo stesso cartello in una tavolozza più fredda con scritte illeggibili. Non c’era nulla da ridipingere per il prompt.
Se il render ti torna come una rilettura della tua sorgente, il motivo è questo.
LTX_CONTROL_REF_STRENGTH (predefinito 1.0, limitato a [0, 1]) allenta il
seguire fino a un “ispirato a”; oggi non esiste un controllo nell’interfaccia.
La corsia 2.3, detta come un fatto
Lightricks ha pubblicato finora esattamente un IC-LoRA per LTX-2.5: il Pixel Spatial Upscaler, 2026-08-11. Non esiste un adattatore Union Control per 2.5, quindi il Controllo del movimento è una funzione di LTX-2.3, e il pannello non finge il contrario.
La generazione predefinita di Phosphene è LTX-2.5. Su 2.5, il Controllo del movimento funziona a metà, ed è la metà difficile da notare:
| LTX-2.3 | LTX-2.5 (predefinito) | |
|---|---|---|
| Trasferimento di movimento / camera / composizione | Sì | Sì: la clip di controllo viaggia su un latente di riferimento fissato (intensità di seguito 1.0 ⇒ mask_value = 0.0), quindi la struttura arriva che l’adattatore contribuisca o no. |
| Il prompt ridipinge il soggetto | Sì | Debole. Il render torna come una rilettura deformata del contenuto stesso della clip di controllo, con sbavature visibili. |
Misurato il 2026-08-28, non stimato: la stessa clip di controllo da 4 s (un allontanamento in gru
da un volto a una veduta aerea), lo stesso prompt, lo stesso seed 4242, seguito 1.0, ogni
generazione con il proprio codificatore di testo. Su 2.3 il prompt ha prodotto il monaco sulla
distesa di sale che era stato richiesto. Su 2.5 ha prodotto un giovane in una piazza europea,
cioè il soggetto della clip di controllo, spostato, e sbavato lungo tutta
la fase centrale dell’allontanamento.
Questo non è il difetto di Ingredienti. Ingredienti su 2.5 è inerte ed è
rifiutato (RenderRefused("ingredients_generation")), perché un foglio di riferimento
ignorato in silenzio costa circa 11 minuti di GPU e restituisce una clip senza relazione. Il Controllo del movimento
consegna comunque il lavoro di camera, quindi rifiutarlo toglierebbe una funzione
che funziona alla corsia predefinita. Viene offerto, con l’avvertenza
mostrata accanto al selettore:
ltx_control_full_repaint(): il predicato, una funzione a sé accanto altx_generation_serves_ingredients()perché le due verranno corrette in giorni diversi.LTX_CONTROL_GENERATION_NOTE: la frase, gestita dal server.ltx_tiers_payload()invia entrambi comecontrol_full_repaint/control_generation_note;_paintControlGenNote()colloca la nota in#controlGenNotee la mostra solo dove è vera.
Per ottenere il ridipinto completo: installa il pacchetto 2.3 dalla scheda Addestra, oppure avvia
il pannello con LTX_MODEL_VERSION=ltx23. Il giorno in cui uscirà un adattatore Union per 2.5,
ltx_control_full_repaint() è l’unica riga che cambia.
Come gira
mlx_ltx_panel.py, mode == "control" in run_job_inner. Strutturalmente
identico a Colora (restore), con una differenza voluta.
control_video_path
│ ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
│ downscaled to the tier's i2v max side if it exceeds it
▼
job_spec action = "generate_restore"
│ model_dir = Q4 distilled pack (what the adapter was trained against)
│ loras = [union-control @ 1.0] + whatever the form carried
│ video_conditioning = [[control_clip, 1.0]] ← the FOLLOW lever
│ stage1_steps=8, stage2_steps=3 ← two-stage, like Colorize
▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4
La leva di seguito. Il secondo elemento di video_conditioning è l’intensità
del riferimento. VideoConditionByReferenceLatent tiene il latente di riferimento con
mask_value = 1.0 - strength: a 1.0 la clip di controllo è fissata intatta
e il render ne segue la struttura; a 0.0 è completamente rimovibile dal rumore, ed è
quello che Ingredienti usa per ricomporre lontano dal suo foglio di riferimento.
Controllo e Ingredienti sono la stessa pipeline con i due estremi di un’unica manopola.
Si può modificare con LTX_CONTROL_REF_STRENGTH.
Riduzione del riferimento. Il peso Union porta
reference_downscale_factor=2: l’encoder IC dimezza da solo il riferimento
(iclora_utils), quindi il pannello fornisce le dimensioni di uscita complete, esattamente
come fa Colora.
La griglia /64. Controllo e Colora ricavano la tela dalla clip sorgente,
dopo che make_job è già stato eseguito, quindi hanno saltato la normalizzazione
che ogni altra corsia LTX riceve. Arrotondavano a /32 mentre la pipeline a due fasi si aggancia da sola a /64:
una clip di controllo 768×416 veniva renderizzata a 768×384 mentre la riga di registro
e il file sidecar dicevano entrambi 416. Era il difetto “Larghezza × Altezza MENTE”, e qui schiacciava
anche l’immagine dell’8% in verticale, perché il riferimento viene ridimensionato sulla tela che
indichiamo noi. Ora entrambi i rami arrotondano a /64. Se le dimensioni della tua clip di controllo sono multipli di 64, nulla
viene ridimensionato, ed è il miglioramento di qualità più economico disponibile per questa modalità.
Esempi pratici
Renderizzati il 2026-08-28 su un M4 Max 64 GB, LTX-2.3 Q4 distilled, seguito 1.0,
circa 90 s ciascuno a 4 s / 97 fotogrammi. Le sorgenti sono clip esistenti da mlx_outputs/;
i prompt non contengono alcuna indicazione di camera, quindi ogni movimento di camera
nel risultato è arrivato dalla clip di controllo.
| Risultato | Clip di controllo | Prompt (abbreviato) | Cosa dimostra |
|---|---|---|---|
example_control_craneout.mp4 | example_control_craneout_source.mp4 (un allontanamento in gru H3 di 10 s, riportato a 4 s con velocità 2,5×) | “a monk in a saffron robe on a vast white salt flat…” | Un’intera coreografia di gru, dal volto alla strada ai tetti alle nuvole, trasferita battuta per battuta su un altro mondo. La geometria del vialetto diventa crepe nella distesa di sale; i tetti diventano ciuffi di sterpaglia. |
example_control_skater.mp4 | example_control_skater_source.mp4 | “a knight in dented plate armour bounds across a moonlit courtyard…” | Posa e movimento del corpo umani, salto compreso, con una camera in carrellata. |
example_control_aerial.mp4 | example_control_aerial_source.mp4 | “an endless field of purple lavender under a black storm front…” | Un ampio paesaggio in movimento ridipinto per intero mentre il movimento viene preservato. |
Riproduci ogni coppia affiancata. La corrispondenza fotogramma per fotogramma è il punto.
Correlati
docs/H3_ENGINE.md: l’altro motore video.- La guida di Remix:
webapp/docs/remix.md(la scheda Docs del pannello, e https://phosphene.video/docs/remix/). required_files.json→ic_union_control,ic_ingredients,ic_colorize.
Fonte: docs/MOTION_CONTROL.md nel repository pubblico. Rivisto per questo sito prima della pubblicazione. Tradotto dall'originale inglese. Suggerisci una modifica.