Pro
FR
Se connecterCompte Télécharger pour Mac
Télécharger pour Mac

Docs / Vidéo

Contrôle du mouvement

Utilisez des personnages originaux ou stylisés, ou votre propre image avec un consentement documenté. Toute représentation d’une autre personne identifiable exige son consentement documenté. Respectez la Politique d’utilisation acceptable pour toutes les images de référence, les données d’entraînement, les audios et les créations.

Onglet Vidéo → Remix → Contrôle du mouvement.

Vous donnez un clip à Phosphene. Le rendu reprend son mouvement, son déplacement de caméra, sa composition et sa pose ; votre prompt peint un nouveau sujet et une nouvelle scène sur cette structure. Par exemple, réutilisez un mouvement de caméra de votre propre scène générée pour mettre en scène un personnage original dans un nouveau paysage.

C’est l’adaptateur officiel Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. Il est public, sans accès restreint, n’a besoin d’aucun jeton Hugging Face, et il est récupéré par l’installation de base (required_files.json → ic_union_control, 654 465 352 octets dans mlx_models/loras/ic/).


Pourquoi ce document existe

La fonction est livrée et fonctionne depuis des mois, et deux utilisateurs de longue date l’ont réclamée comme si elle n’existait pas : @sohaibpp sur Pinokio (« Motion control »), et un utilisateur sur X qui demandait « IC-LoRA support (especially Union Control / Pose / Depth) exposed in the UI », en notant à juste titre que ltx-2-mlx, en dessous, la prend déjà en charge.

Tous deux avaient raison sur le nom et tort sur la capacité. Le mode s’appelait « Control », niché à un clic dans un groupe nommé « Remix » dont la sous-ligne disait « your media → new video ». Rien à l’écran ne contenait les mots que les gens cherchaient. C’est un défaut de découvrabilité, pas une fonction manquante, et la correction a porté sur le texte :

  • la sous-ligne de la pastille Remix dit maintenant « motion control · refs · color », le seul texte de Remix visible sans clic, donc celui qui porte les mots que l’on cherche ;
  • la sous-puce est « Contrôle du mouvement », et non « Control », et son info-bulle nomme l’adaptateur Union Control ;
  • l’en-tête de section nomme l’adaptateur, et le texte sous le sélecteur dit ce que fait le mode et, plus bas, ce qu’il ne sait pas faire.

Comment l’utiliser

  1. Onglet Vidéo → Remix → Contrôle du mouvement.
  2. Choisissez un clip de contrôle dans le sélecteur, ou collez un chemin.
  3. Écrivez un prompt qui décrit le nouveau sujet et la nouvelle scène. N’y mettez pas de direction de caméra : la caméra est le travail du clip de contrôle, et un prompt qui demande aussi un mouvement donne deux instructions pour un seul axe.
  4. Générez.

Le résultat a la résolution et la durée du clip de contrôle. Il utilise le point de contrôle Q4 distillé : aucun pack Q8 n’est donc nécessaire, et il fonctionne sur tous les paliers matériels que le panneau prend en charge.

Ce que vous pouvez lui donner

EntréeÇa marche ?
Une vidéo ordinaire (RVB brut)Oui : c’est le chemin normal. L’adaptateur Union lit du RVB brut ; rien n’a besoin d’être prétraité.
Une séquence de pose / profondeur / contours / segmentation que vous avez déjàOui, et il la suit de plus près. Donnez-la exactement comme n’importe quel autre clip.
Une vidéo ordinaire que vous voulez transformer en pose ou en profondeurNon. Phosphene ne fournit aucun préprocesseur. Il n’y a ni OpenPose, ni estimateur de profondeur, ni passe de contours dans cette installation, et ce document n’en promet pas.

Cette dernière ligne est la moitié honnête de la demande sur X. « Union Control / Pose / Depth » est une seule fonction et trois formats d’entrée : Phosphene fournit la fonction et deux des trois formats, et ne peut pas dériver le troisième pour vous.

Ce qui fait un bon clip de contrôle

La leçon mesurée en construisant les exemples ci-dessous : le mode transfère la structure si fidèlement que le prompt n’a de place que là où la structure en laisse.

  • Marche bien : les plans dont le contenu change au fil du clip : mouvements de caméra, plongées arrière, travellings, scènes larges, une silhouette qui se déplace dans un espace.
  • Marche mal : un seul sujet très contrasté qui remplit un cadre fixe. Une enseigne peinte à la main, filmée bien en face, pilotée avec un prompt « brass diving helmet », est revenue comme la même enseigne dans une palette plus froide, avec un lettrage brouillé. Il n’y avait rien à repeindre pour le prompt.

Si le rendu revient comme un récit repris de votre source, c’est la raison. LTX_CONTROL_REF_STRENGTH (1.0 par défaut, borné à [0, 1]) assouplit le suivi pour en faire un « inspiré de » ; il n’y a aujourd’hui aucune commande dans l’interface pour cela.


La voie 2.3, énoncée comme un fait

Lightricks n’a publié qu’un seul IC-LoRA LTX-2.5 à ce jour : le Pixel Spatial Upscaler, le 2026-08-11. Il n’existe pas d’adaptateur Union Control 2.5, donc le Contrôle du mouvement est une fonction LTX-2.3, et le panneau ne prétend pas le contraire.

La génération par défaut de Phosphene est LTX-2.5. En 2.5, le Contrôle du mouvement fonctionne à moitié, et c’est la moitié qui est difficile à remarquer :

LTX-2.3LTX-2.5 (par défaut)
Transfert du mouvement / de la caméra / de la compositionOuiOui : le clip de contrôle passe par un latent de référence épinglé (force de suivi 1.0 ⇒ mask_value = 0.0), si bien que la structure arrive que l’adaptateur contribue ou non.
Le prompt repeint le sujetOuiFaible. Le rendu revient comme un récit déformé du contenu propre du clip de contrôle, avec des traînées visibles.

Mesuré le 2026-08-28, pas projeté : même clip de contrôle de 4 s (une plongée arrière d’un visage vers une vue aérienne), même prompt, même seed 4242, suivi 1.0, chaque génération avec son propre encodeur de texte. En 2.3, le prompt a produit le moine sur le désert de sel qui était demandé. En 2.5, il a produit un jeune homme sur une place européenne : le sujet du clip de contrôle, déplacé, et brouillé au milieu de la plongée.

Ce n’est pas l’échec d’Ingrédients. Ingrédients en 2.5 est inerte et est refusé (RenderRefused("ingredients_generation")), parce qu’une planche de référence ignorée en silence coûte environ 11 minutes de GPU et renvoie un clip sans rapport. Le Contrôle du mouvement livre toujours le travail de caméra : le refuser retirerait donc une fonction qui marche de la voie par défaut. Il est proposé, avec l’avertissement affiché à côté du sélecteur :

  • ltx_control_full_repaint() : le prédicat, sa propre fonction à côté de ltx_generation_serves_ingredients() parce que les deux seront corrigés des jours différents.
  • LTX_CONTROL_GENERATION_NOTE : la phrase, gérée par le serveur.
  • ltx_tiers_payload() livre les deux sous les noms control_full_repaint / control_generation_note ; _paintControlGenNote() place la note dans #controlGenNote et ne l’affiche que là où elle est vraie.

Pour obtenir le repeint complet : installez le pack 2.3 depuis l’onglet Entraîner, ou démarrez le panneau avec LTX_MODEL_VERSION=ltx23. Le jour où un adaptateur Union 2.5 sortira, ltx_control_full_repaint() est la seule ligne à changer.


Comment ça tourne

mlx_ltx_panel.py, mode == "control" dans run_job_inner. Structurellement identique à Colorisation (restore), avec une différence délibérée.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

Le levier de suivi. Le second élément de video_conditioning est la force de référence. VideoConditionByReferenceLatent tient le latent de référence avec mask_value = 1.0 - strength : à 1.0, le clip de contrôle est épinglé intact et le rendu suit sa structure ; à 0.0, il est entièrement débruitable, ce qu’utilise Ingrédients pour recomposer loin de sa planche de référence. Contrôle et Ingrédients sont le même pipeline, aux deux bouts d’un même cadran. Remplacez la valeur avec LTX_CONTROL_REF_STRENGTH.

Réduction de la référence. Le poids Union porte reference_downscale_factor=2 : l’encodeur IC divise lui-même la référence par deux (iclora_utils), donc le panneau fournit les dimensions de sortie complètes, exactement comme Colorisation.

La grille /64. Contrôle et Colorisation tirent leur canevas du clip source, après l’exécution de make_job, et ont donc raté la normalisation que reçoit toute autre voie LTX. Ils arrondissaient à /32 alors que le pipeline en deux étapes s’aligne sur /64 de lui-même : un clip de contrôle de 768×416 se rendait en 768×384 alors que la ligne de journal et le fichier annexe disaient tous deux 416 : le défaut « Width × Height LIES », et ici il écrasait aussi l’image de 8 % en hauteur, parce que la référence est redimensionnée sur le canevas que nous nommons. Les deux branches arrondissent maintenant à /64. Si les dimensions de votre clip de contrôle sont des multiples de 64, rien n’est redimensionné du tout, ce qui est le gain de qualité le moins cher de ce mode.


Exemples réalisés

Rendus le 2026-08-28 sur un M4 Max 64 Go, LTX-2.3 Q4 distillé, suivi 1.0, environ 90 s chacun pour 4 s / 97 images. Les sources sont des clips existants de mlx_outputs/ ; les prompts ne contiennent aucune direction de caméra, si bien que chaque mouvement de caméra du résultat vient du clip de contrôle.

RésultatClip de contrôlePrompt (abrégé)Ce que ça prouve
example_control_craneout.mp4example_control_craneout_source.mp4 (une plongée arrière H3 de 10 s, accélérée 2,5× à 4 s)« a monk in a saffron robe on a vast white salt flat… »Une chorégraphie complète de plongée arrière (visage → rue → toits → nuage) transférée temps pour temps sur un autre monde. La géométrie de l’allée devient les fissures du désert de sel ; les toits deviennent des touffes de broussailles.
example_control_skater.mp4example_control_skater_source.mp4« a knight in dented plate armour bounds across a moonlit courtyard… »La pose et le mouvement du corps humain, saut compris, sur un travelling.
example_control_aerial.mp4example_control_aerial_source.mp4« an endless field of purple lavender under a black storm front… »Un large paysage en mouvement entièrement repeint, alors que le mouvement est conservé.

Regardez chaque paire côte à côte. La correspondance image par image est tout l’intérêt.


  • docs/H3_ENGINE.md : l’autre moteur vidéo.
  • Le guide Remix : webapp/docs/remix.md (l’onglet Documentation du panneau, et https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

Source : docs/MOTION_CONTROL.md dans le dépôt public. Relu pour ce site avant publication. Traduit de l'original anglais. Suggérer une modification.