Pro
DE
AnmeldenKonto Für Mac herunterladen
Für Mac herunterladen

Doku / Video

Motion Control

Verwende eigene oder stilisierte Charaktere oder deine eigene Darstellung mit dokumentierter Einwilligung. Jede Darstellung einer anderen erkennbaren Person erfordert deren dokumentierte Einwilligung. Beachte die Richtlinie zur zulässigen Nutzung für alle Referenzbilder, Trainingsdaten, Audiodateien und Ergebnisse.

Tab Video → Remix → Motion Control.

Du gibst Phosphene einen Clip. Das Rendering übernimmt dessen Bewegung, Kamerafahrt, Komposition und Pose; dein Prompt malt ein neues Motiv und eine neue Szene auf diese Struktur. Du kannst zum Beispiel eine Kamerafahrt aus deiner eigenen generierten Szene wiederverwenden, um einen eigenen Charakter in einer neuen Landschaft zu inszenieren.

Das ist der offizielle Adapter Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. Er ist öffentlich, nicht geschützt, braucht kein Hugging-Face-Token und wird von der Basisinstallation geladen (required_files.json → ic_union_control, 654.465.352 Bytes nach mlx_models/loras/ic/).


Warum es dieses Dokument gibt

Die Funktion ist seit Monaten ausgeliefert und funktioniert, und zwei langjährige Nutzer haben danach gefragt, als gäbe es sie nicht: @sohaibpp auf Pinokio (“Motion control”) und ein Nutzer auf X, der nach “IC-LoRA support (especially Union Control / Pose / Depth) exposed in the UI” fragte und zu Recht anmerkte, dass das zugrunde liegende ltx-2-mlx sie bereits unterstützt.

Beide hatten beim Namen recht und bei der Fähigkeit unrecht. Der Modus hieß “Control”, einen Klick tief in einer Gruppe namens “Remix” versteckt, deren eigene Unterzeile “your media → new video” lautete. Nichts auf dem Bildschirm enthielt die Wörter, nach denen jemand suchte. Das ist ein Auffindbarkeitsproblem, keine fehlende Funktion, und die Lösung war der Text:

  • Die Unterzeile der Remix-Pille lautet jetzt “motion control · refs · color”, der einzige Remix-Text, der ohne Klick sichtbar ist, und trägt deshalb die Suchbegriffe;
  • der Unter-Chip heißt “Motion Control”, nicht “Control”, und sein Tooltip nennt den Union-Control-Adapter;
  • die Abschnittsüberschrift nennt den Adapter, und der Text unter der Auswahl sagt, was der Modus kann und, weiter unten, was er nicht kann.

So benutzt du es

  1. Tab Video → Remix → Motion Control.
  2. Wähle in der Auswahl einen Steuerclip oder füge einen Pfad ein.
  3. Schreibe einen Prompt, der das neue Motiv und die neue Szene beschreibt. Lass die Kameraführung weg: Die Kamera ist die Aufgabe des Steuerclips, und ein Prompt, der zusätzlich eine Fahrt verlangt, sind zwei Anweisungen für eine Achse.
  4. Generieren.

Das Ergebnis entspricht Auflösung und Länge des Steuerclips. Es läuft mit dem Q4- distillierten Checkpoint, es ist also kein Q8-Paket nötig, und es funktioniert auf jeder Hardwarestufe, die das Panel bedient.

Was du ihm geben kannst

EingabeFunktioniert?
Ein gewöhnliches Video (rohes RGB)Ja, das ist der normale Weg. Der Union-Adapter liest rohes RGB; nichts muss vorverarbeitet werden.
Eine Sequenz aus Pose, Tiefe, Canny oder Segmentierung, die du schon hastJa, und es folgt ihr genauer. Gib sie genau wie jeden anderen Clip ein.
Ein gewöhnliches Video, das du erst in Pose oder Tiefe umwandeln willstNein. Phosphene liefert keinen Preprozessor mit. In dieser Installation gibt es weder OpenPose noch einen Tiefenschätzer noch einen Canny-Durchgang, und dieses Dokument verspricht auch keinen.

Die letzte Zeile ist die ehrliche Hälfte der Anfrage auf X. “Union Control / Pose / Depth” ist eine Funktion und drei Eingabeformate: Phosphene bietet die Funktion und zwei der drei Formate, kann das dritte aber nicht für dich ableiten.

Was einen guten Steuerclip ausmacht

Die gemessene Erkenntnis beim Bau der Beispiele unten: Der Modus überträgt Struktur so getreu, dass der Prompt nur dort Spielraum bekommt, wo die Struktur welchen lässt.

  • Funktioniert gut: Einstellungen, deren Bildinhalt sich im Clip verändert: Kamerafahrten, Kranfahrten, Verfolgungsfahrten, weite Szenen, eine Figur, die sich durch einen Raum bewegt.
  • Funktioniert schlecht: ein einzelnes, kontrastreiches Motiv, das ein statisches Bild füllt. Ein handgemaltes Schild, frontal aufgenommen und mit einem Prompt zu einem “brass diving helmet” gesteuert, kam als dasselbe Schild in kühlerer Palette mit verzerrter Beschriftung zurück. Es gab nichts, was der Prompt hätte neu malen können.

Kommt das Rendering als Nacherzählung deiner Vorlage zurück, ist das der Grund. LTX_CONTROL_REF_STRENGTH (Standard 1.0, auf [0, 1] begrenzt) lockert das Folgen zu einem “inspiriert von”; dafür gibt es derzeit keinen Regler in der Oberfläche.


Die 2.3-Spur, sachlich dargestellt

Lightricks hat bisher genau ein LTX-2.5-IC-LoRA veröffentlicht, den Pixel Spatial Upscaler, 2026-08-11. Es gibt keinen Union-Control-Adapter für 2.5, daher ist Motion Control eine LTX-2.3-Funktion, und das Panel tut nicht so, als wäre es anders.

Die Standardgenerierung von Phosphene ist LTX-2.5. Unter 2.5 funktioniert Motion Control nur zur Hälfte, und zwar zu der Hälfte, die man schwer bemerkt:

LTX-2.3LTX-2.5 (Standard)
Übertragung von Bewegung / Kamera / KompositionJaJa: Der Steuerclip läuft als festgehaltener Referenz-Latent (Folgestärke 1.0 ⇒ mask_value = 0.0), die Struktur kommt also an, egal ob der Adapter etwas beiträgt.
Prompt malt das Motiv neuJaSchwach. Das Rendering kommt als verzerrte Nacherzählung des eigenen Inhalts des Steuerclips zurück, mit sichtbarem Verschmieren.

Gemessen am 2026-08-28, nicht hochgerechnet: derselbe 4-s-Steuerclip (eine Kranfahrt von einem Gesicht zu einer Luftaufnahme), derselbe Prompt, derselbe Seed 4242, Folgen 1.0, jede Generierung mit ihrem eigenen Text-Encoder. Unter 2.3 lieferte der Prompt den gewünschten Mönch auf der Salzebene. Unter 2.5 lieferte er einen jungen Mann auf einem europäischen Platz, das Motiv des Steuerclips, nur versetzt, und mitten im Zug verschmiert.

Das ist nicht der Ingredients-Fehler. Ingredients ist unter 2.5 wirkungslos und wird verweigert (RenderRefused("ingredients_generation")), weil ein stillschweigend ignoriertes Referenzblatt etwa 11 GPU-Minuten kostet und einen unverwandten Clip zurückgibt. Motion Control liefert die Kameraarbeit weiterhin, sie zu verweigern würde der Standardspur eine funktionierende Funktion wegnehmen. Es wird angeboten, mit dem Hinweis neben der Auswahl:

  • ltx_control_full_repaint(): das Prädikat, eine eigene Funktion neben ltx_generation_serves_ingredients(), weil beide an verschiedenen Tagen behoben werden.
  • LTX_CONTROL_GENERATION_NOTE: der Satz, vom Server verwaltet.
  • ltx_tiers_payload() liefert beide als control_full_repaint / control_generation_note; _paintControlGenNote() setzt den Hinweis in #controlGenNote und zeigt ihn nur dort, wo er zutrifft.

Für das vollständige Neumalen: Installiere das 2.3-Paket im Tab Charakter trainieren oder starte das Panel mit LTX_MODEL_VERSION=ltx23. Am Tag, an dem ein 2.5-Union-Adapter erscheint, ist ltx_control_full_repaint() die eine Zeile, die sich ändert.


Wie es läuft

mlx_ltx_panel.py, mode == "control" in run_job_inner. Im Aufbau identisch mit Kolorieren (restore), mit einem bewussten Unterschied.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

Der Folge-Hebel. Das zweite Element von video_conditioning ist die Referenzstärke. VideoConditionByReferenceLatent hält den Referenz-Latent mit mask_value = 1.0 - strength: Bei 1.0 wird der Steuerclip unberührt festgehalten, und das Rendering folgt seiner Struktur; bei 0.0 ist er vollständig entrauschbar, und genau das nutzt Ingredients, um sich von seinem Referenzblatt weg neu zusammenzusetzen. Control und Ingredients sind dieselbe Pipeline mit den entgegengesetzten Enden eines Reglers. Überschreibe es mit LTX_CONTROL_REF_STRENGTH.

Referenz-Verkleinerung. Das Union-Gewicht trägt reference_downscale_factor=2 (der IC-Encoder halbiert die Referenz selbst, siehe iclora_utils), daher übergibt das Panel die vollen Ausgabemaße, genau wie Colorize.

Das /64-Raster. Control und Colorize leiten ihre Leinwand aus dem Quellclip ab, nachdem make_job gelaufen ist, und verpassten deshalb die Normalisierung, die jede andere LTX-Spur bekommt. Sie rundeten auf /32 ab, während die zweistufige Pipeline von selbst auf /64 einrastet: Ein 768×416-Steuerclip wurde als 768×384 gerendert, während die Logzeile und die Sidecar-Datei beide 416 meldeten, der Fehler “Width × Height LIES”, und hier staucht er das Bild auch noch um 8 % vertikal, weil die Referenz auf die Leinwand skaliert wird, die wir benennen. Beide Zweige runden jetzt auf /64 ab. Sind die Maße deines Steuerclips Vielfache von 64, wird gar nichts skaliert, und das ist der billigste Qualitätsgewinn, den dieser Modus bietet.


Beispiele aus der Praxis

Gerendert am 2026-08-28 auf einem M4 Max mit 64 GB, LTX-2.3 Q4 distilliert, Folgen 1.0, je etwa 90 s bei 4 s / 97 Bildern. Die Quellen sind vorhandene Clips aus mlx_outputs/; die Prompts enthalten keinerlei Kameraführung, jede Kamerabewegung im Ergebnis stammt also vom Steuerclip.

ErgebnisSteuerclipPrompt (gekürzt)Was es beweist
example_control_craneout.mp4example_control_craneout_source.mp4 (eine 10 s lange H3-Kranfahrt, 2,5× auf 4 s umgetaktet)“a monk in a saffron robe on a vast white salt flat…”Eine komplette Kranchoreografie (Gesicht → Straße → Dächer → Wolke) wurde Schlag für Schlag auf eine andere Welt übertragen. Die Geometrie der Einfahrt wird zu Rissen in der Salzebene, die Dächer zu Buschbüscheln.
example_control_skater.mp4example_control_skater_source.mp4“a knight in dented plate armour bounds across a moonlit courtyard…”Menschliche Pose und Körperbewegung, einschließlich des Sprungs, bei einer mitfahrenden Kamera.
example_control_aerial.mp4example_control_aerial_source.mp4“an endless field of purple lavender under a black storm front…”Eine weite, bewegte Landschaft, komplett neu gemalt, während die Bewegung erhalten bleibt.

Spiele jedes Paar nebeneinander ab. Die Übereinstimmung Bild für Bild ist der Punkt.


  • docs/H3_ENGINE.md: die andere Video-Engine.
  • Die Remix-Anleitung: webapp/docs/remix.md (der Tab Dokumentation im Panel und https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

Quelle: docs/MOTION_CONTROL.md im öffentlichen Repo. Für diese Website vor der Veröffentlichung geprüft. Aus dem englischen Original übersetzt. Änderung vorschlagen.