Pro
IT
AccediAccount Scarica per Mac
Scarica per Mac

Docs / Video

Controllo del movimento

Usa personaggi originali o stilizzati, oppure la tua immagine con un consenso documentato. Qualsiasi raffigurazione di un’altra persona identificabile richiede il suo consenso documentato. Per tutte le immagini di riferimento, i dati di addestramento, l’audio e i risultati segui la Politica di utilizzo accettabile.

Scheda Video → Remix → Controllo del movimento.

Dai a Phosphene una clip. Il render ne copia movimento, movimento di camera, composizione e posa; il tuo prompt dipinge un nuovo soggetto e una nuova scena su quella struttura. Per esempio, riusa un movimento di camera dalla tua scena generata per mettere in scena un personaggio originale in un nuovo paesaggio.

È l’adattatore ufficiale Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. È pubblico, senza accesso riservato, non richiede nessun token Hugging Face, e viene scaricato dall’installazione di base (required_files.json → ic_union_control, 654.465.352 byte in mlx_models/loras/ic/).


Perché esiste questo documento

La funzione è uscita e funziona da mesi, eppure due utenti di lunga data l’hanno richiesta come se non esistesse: @sohaibpp su Pinokio (“Motion control”) e un utente su X che chiedeva il “supporto IC-LoRA (in particolare Union Control / Pose / Depth) esposto nell’interfaccia”, notando correttamente che ltx-2-mlx, il motore sottostante, lo supporta già.

Entrambi avevano ragione sul nome e torto sulla capacità. La modalità si chiamava “Control”, nascosta a un clic di distanza dentro un gruppo chiamato “Remix” la cui stessa sottoriga diceva “your media → new video”. Nulla sullo schermo conteneva le parole che le persone cercavano. È un difetto di reperibilità, non una funzione mancante, e la soluzione è stata il testo:

  • la sottoriga della pillola Remix ora dice “motion control · refs · color”, l’unico testo di Remix visibile senza un clic, quindi porta le parole da cercare;
  • il sotto-chip è “Controllo del movimento”, non “Control”, e il suo suggerimento nomina l’adattatore Union Control;
  • l’intestazione della sezione nomina l’adattatore, e il testo sotto il selettore dice che cosa fa la modalità e, più sotto, che cosa non può fare.

Come usarlo

  1. Scheda Video → Remix → Controllo del movimento.
  2. Scegli una clip di controllo nel selettore, oppure incolla un percorso.
  3. Scrivi un prompt che descriva il nuovo soggetto e la nuova scena. Lascia fuori le indicazioni di camera: la camera è compito della clip di controllo, e un prompt che chiede anche un movimento è una doppia istruzione per un solo asse.
  4. Clicca Genera.

Il risultato ha la stessa risoluzione e la stessa durata della clip di controllo. Usa il checkpoint Q4 distilled, quindi non serve il pacchetto Q8 e funziona su ogni livello hardware che il pannello supporta.

Cosa puoi fornirgli

IngressoFunziona?
Un video normale (RGB grezzo)Sì, è il percorso normale. L’adattatore Union legge RGB grezzo; non serve alcuna pre-elaborazione.
Una sequenza di pose / profondità / contorni / segmentazione che hai giàSì, e segue in modo più stretto. Forniscila come qualsiasi altra clip.
Un video normale che vuoi trasformare in posa o profonditàNo. Phosphene non include nessun preprocessore. In questa installazione non c’è OpenPose, né uno stimatore di profondità, né un passaggio canny, e questo documento non ne promette uno.

Quest’ultima riga è la metà onesta della richiesta su X. “Union Control / Pose / Depth” è una sola funzione con tre formati di ingresso: Phosphene offre la funzione e due formati su tre, e non può ricavarti il terzo.

Cosa rende buona una clip di controllo

La lezione misurata nel costruire gli esempi qui sotto: la modalità trasferisce la struttura con tanta fedeltà che il prompt ha spazio solo dove la struttura ne lascia.

  • Funziona bene: inquadrature il cui contenuto cambia lungo la clip: movimenti di camera, allontanamenti in gru, carrellate, scene ampie, una figura che si muove in uno spazio.
  • Funziona male: un singolo soggetto ad alto contrasto che riempie un’inquadratura statica. Un cartello dipinto a mano ripreso di fronte, guidato con un prompt “brass diving helmet”, è tornato come lo stesso cartello in una tavolozza più fredda con scritte illeggibili. Non c’era nulla da ridipingere per il prompt.

Se il render ti torna come una rilettura della tua sorgente, il motivo è questo. LTX_CONTROL_REF_STRENGTH (predefinito 1.0, limitato a [0, 1]) allenta il seguire fino a un “ispirato a”; oggi non esiste un controllo nell’interfaccia.


La corsia 2.3, detta come un fatto

Lightricks ha pubblicato finora esattamente un IC-LoRA per LTX-2.5: il Pixel Spatial Upscaler, 2026-08-11. Non esiste un adattatore Union Control per 2.5, quindi il Controllo del movimento è una funzione di LTX-2.3, e il pannello non finge il contrario.

La generazione predefinita di Phosphene è LTX-2.5. Su 2.5, il Controllo del movimento funziona a metà, ed è la metà difficile da notare:

LTX-2.3LTX-2.5 (predefinito)
Trasferimento di movimento / camera / composizioneSìSì: la clip di controllo viaggia su un latente di riferimento fissato (intensità di seguito 1.0 ⇒ mask_value = 0.0), quindi la struttura arriva che l’adattatore contribuisca o no.
Il prompt ridipinge il soggettoSìDebole. Il render torna come una rilettura deformata del contenuto stesso della clip di controllo, con sbavature visibili.

Misurato il 2026-08-28, non stimato: la stessa clip di controllo da 4 s (un allontanamento in gru da un volto a una veduta aerea), lo stesso prompt, lo stesso seed 4242, seguito 1.0, ogni generazione con il proprio codificatore di testo. Su 2.3 il prompt ha prodotto il monaco sulla distesa di sale che era stato richiesto. Su 2.5 ha prodotto un giovane in una piazza europea, cioè il soggetto della clip di controllo, spostato, e sbavato lungo tutta la fase centrale dell’allontanamento.

Questo non è il difetto di Ingredienti. Ingredienti su 2.5 è inerte ed è rifiutato (RenderRefused("ingredients_generation")), perché un foglio di riferimento ignorato in silenzio costa circa 11 minuti di GPU e restituisce una clip senza relazione. Il Controllo del movimento consegna comunque il lavoro di camera, quindi rifiutarlo toglierebbe una funzione che funziona alla corsia predefinita. Viene offerto, con l’avvertenza mostrata accanto al selettore:

  • ltx_control_full_repaint(): il predicato, una funzione a sé accanto a ltx_generation_serves_ingredients() perché le due verranno corrette in giorni diversi.
  • LTX_CONTROL_GENERATION_NOTE: la frase, gestita dal server.
  • ltx_tiers_payload() invia entrambi come control_full_repaint / control_generation_note; _paintControlGenNote() colloca la nota in #controlGenNote e la mostra solo dove è vera.

Per ottenere il ridipinto completo: installa il pacchetto 2.3 dalla scheda Addestra, oppure avvia il pannello con LTX_MODEL_VERSION=ltx23. Il giorno in cui uscirà un adattatore Union per 2.5, ltx_control_full_repaint() è l’unica riga che cambia.


Come gira

mlx_ltx_panel.py, mode == "control" in run_job_inner. Strutturalmente identico a Colora (restore), con una differenza voluta.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

La leva di seguito. Il secondo elemento di video_conditioning è l’intensità del riferimento. VideoConditionByReferenceLatent tiene il latente di riferimento con mask_value = 1.0 - strength: a 1.0 la clip di controllo è fissata intatta e il render ne segue la struttura; a 0.0 è completamente rimovibile dal rumore, ed è quello che Ingredienti usa per ricomporre lontano dal suo foglio di riferimento. Controllo e Ingredienti sono la stessa pipeline con i due estremi di un’unica manopola. Si può modificare con LTX_CONTROL_REF_STRENGTH.

Riduzione del riferimento. Il peso Union porta reference_downscale_factor=2: l’encoder IC dimezza da solo il riferimento (iclora_utils), quindi il pannello fornisce le dimensioni di uscita complete, esattamente come fa Colora.

La griglia /64. Controllo e Colora ricavano la tela dalla clip sorgente, dopo che make_job è già stato eseguito, quindi hanno saltato la normalizzazione che ogni altra corsia LTX riceve. Arrotondavano a /32 mentre la pipeline a due fasi si aggancia da sola a /64: una clip di controllo 768×416 veniva renderizzata a 768×384 mentre la riga di registro e il file sidecar dicevano entrambi 416. Era il difetto “Larghezza × Altezza MENTE”, e qui schiacciava anche l’immagine dell’8% in verticale, perché il riferimento viene ridimensionato sulla tela che indichiamo noi. Ora entrambi i rami arrotondano a /64. Se le dimensioni della tua clip di controllo sono multipli di 64, nulla viene ridimensionato, ed è il miglioramento di qualità più economico disponibile per questa modalità.


Esempi pratici

Renderizzati il 2026-08-28 su un M4 Max 64 GB, LTX-2.3 Q4 distilled, seguito 1.0, circa 90 s ciascuno a 4 s / 97 fotogrammi. Le sorgenti sono clip esistenti da mlx_outputs/; i prompt non contengono alcuna indicazione di camera, quindi ogni movimento di camera nel risultato è arrivato dalla clip di controllo.

RisultatoClip di controlloPrompt (abbreviato)Cosa dimostra
example_control_craneout.mp4example_control_craneout_source.mp4 (un allontanamento in gru H3 di 10 s, riportato a 4 s con velocità 2,5×)“a monk in a saffron robe on a vast white salt flat…”Un’intera coreografia di gru, dal volto alla strada ai tetti alle nuvole, trasferita battuta per battuta su un altro mondo. La geometria del vialetto diventa crepe nella distesa di sale; i tetti diventano ciuffi di sterpaglia.
example_control_skater.mp4example_control_skater_source.mp4“a knight in dented plate armour bounds across a moonlit courtyard…”Posa e movimento del corpo umani, salto compreso, con una camera in carrellata.
example_control_aerial.mp4example_control_aerial_source.mp4“an endless field of purple lavender under a black storm front…”Un ampio paesaggio in movimento ridipinto per intero mentre il movimento viene preservato.

Riproduci ogni coppia affiancata. La corrispondenza fotogramma per fotogramma è il punto.


  • docs/H3_ENGINE.md: l’altro motore video.
  • La guida di Remix: webapp/docs/remix.md (la scheda Docs del pannello, e https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

Fonte: docs/MOTION_CONTROL.md nel repository pubblico. Rivisto per questo sito prima della pubblicazione. Tradotto dall'originale inglese. Suggerisci una modifica.