ヘルプ / 動画
モーションコントロール
使えるのは、オリジナルまたはスタイライズされたキャラクター、または本人の同意が記録されている自分自身の姿です。他の特定可能な人物を描く場合は、その人の同意が記録されている必要があります。参照画像、学習データ、音声、出力のすべてについて、利用規定に従ってください。
動画タブ → リミックス → モーションコントロール。
Phospheneにクリップを渡します。レンダリングは、そのクリップの動き、カメラワーク、構図、ポーズをコピーし、あなたのプロンプトが、その構造の上に新しい被写体と新しいシーンを描きます。たとえば、自分で生成したシーンのカメラワークを再利用して、オリジナルのキャラクターを新しい風景の中に配置できます。
これは公式の Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control アダプターです。公開されていてゲートがなく、Hugging Faceのトークンは不要で、基本インストールで取得されます(required_files.json → ic_union_control、654,465,352バイト、mlx_models/loras/ic/ に保存)。
このドキュメントがある理由
この機能は数か月前から公開され、問題なく動いていました。ところが、長く使っているユーザー2人が、まるで存在しない機能のように要望を出してきました。 Pinokioの@sohaibpp(「Motion control」)と、Xで「Union Control / Pose / DepthのIC-LoRAサポートをUIに出してほしい」と書いたユーザーです。後者は、基盤の ltx-2-mlx がすでに対応していることも正しく指摘していました。
どちらも、名前については正しく、機能の有無については間違っていました。このモードは「Control」という名前で、「Remix」というグループの中に1クリック分深く入っており、そのグループの説明文も「your media → new video」でした。画面上のどこにも、みんなが検索する言葉が出ていませんでした。これは機能の欠落ではなく見つけにくさの欠陥で、直したのは文言です。
- リミックスのピルの説明文は、「motion control · refs · color」になりました。これはクリックしなくても見えるリミックスの唯一の文言なので、検索される言葉を載せています。
- サブチップは「Control」ではなく「Motion Control」で、ツールチップにはUnion Controlアダプターの名前が入っています。
- セクションの見出しにアダプター名が入り、ピッカーの下の説明文には、このモードができること、そして下で触れるようにできないことが書かれています。
使い方
- 動画タブ → リミックス → モーションコントロールを選びます。
- ピッカーでコントロールクリップを選ぶか、パスを貼り付けます。
- 新しい被写体とシーンを説明するプロンプトを書きます。カメラの指示は書かないでください。カメラはコントロールクリップの役目で、プロンプトでも動きを頼むと、1つの軸に2つの指示を出すことになります。
- 生成します。
出力はコントロールクリップの解像度と長さに一致します。Q4 distilledのチェックポイントで動くため、Q8パックは不要で、パネルが対応するすべてのハードウェアのティアで動作します。
入力できるもの
| 入力 | 使える? |
|---|---|
| 普通の動画(生のRGB) | 使えます。これが標準の使い方です。Unionアダプターは生のRGBを読み取るので、前処理は不要です。 |
| すでに持っているポーズ / デプス / キャニー / セグメンテーションのシーケンス | 使えます。しかも、より厳密に従います。ほかのクリップと同じように入力します。 |
| 普通の動画をポーズやデプスに変換したい | 使えません。Phospheneには前処理機能が含まれていません。このインストールには、OpenPose、デプス推定、キャニー処理がどこにもなく、このドキュメントも、それを約束するものではありません。 |
最後の行は、Xでの要望への、正直な答えの半分です。「Union Control / Pose / Depth」は、1つの機能と3つの入力形式です。Phospheneは、その機能と、3つのうち2つの形式を提供しますが、残りの1つをあなたの代わりに作り出すことはできません。
よいコントロールクリップとは
下の例を作る中でわかった実測の教訓は、このモードは構造をとても忠実に転写するため、プロンプトが効く余地は、構造が残してくれる部分だけということです。
- うまくいく:クリップの中でフレームの内容が変わっていくショット。カメラの動き、クレーンアウト、トラッキングショット、広いシーン、空間を動く人物。
- うまくいかない:静止したフレームいっぱいに、コントラストの強い被写体が1つあるもの。手描きの看板を真正面から撮ったクリップに「brass diving helmet」のプロンプトを使ったところ、同じ看板が冷たい色調になり、文字が崩れて返ってきました。プロンプトが描き直せるものが何もなかったのです。
レンダリングが元のクリップの焼き直しのように返ってくるなら、これが理由です。LTX_CONTROL_REF_STRENGTH(デフォルトは 1.0、[0, 1] に制限)を下げると、追従がゆるんで「インスパイア」程度になります。現時点では、これを操作するUIはありません。
2.3の系統について、事実として
Lightricksがこれまでに公開したLTX-2.5のIC-LoRAは、ちょうど1つだけです。2026-08-11のPixel Spatial Upscalerです。2.5用のUnion Controlアダプターはないため、モーションコントロールはLTX-2.3の機能で、パネルもそうでないふりはしません。
Phospheneのデフォルトの生成はLTX-2.5です。2.5では、モーションコントロールは半分しか動かず、しかも、その半分は気づきにくいものです。
| LTX-2.3 | LTX-2.5(デフォルト) | |
|---|---|---|
| 動き / カメラ / 構図の転写 | あり | あり:コントロールクリップは固定された参照ラテントで運ばれる(追従強度1.0 ⇒ mask_value = 0.0)ため、アダプターが何も寄与しなくても構造は反映されます。 |
| プロンプトが被写体を描き直す | あり | 弱い。レンダリングは、コントロールクリップ自身の内容をゆがめて語り直したものになり、目に見えるにじみが出ます。 |
これは予測ではなく、2026-08-28に実測したものです。同じ4秒のコントロールクリップ(顔から空撮へのクレーンアウト)、同じプロンプト、同じシード 4242、追従1.0で、それぞれ独自のテキストエンコーダーを使って生成しました。2.3では、プロンプトどおり、塩の平原に立つ僧侶が生成されました。2.5では、ヨーロッパの広場にいる若い男性が生成されました。コントロールクリップの被写体が別の場所に移っただけで、引きの動きの途中ではにじみも出ました。
これはIngredientsの不具合とは別の話です。2.5のIngredientsは機能せず、拒否されます(RenderRefused("ingredients_generation"))。参照シートが黙って無視されると、GPU時間を約11分も使って、無関係なクリップが返ってくるからです。モーションコントロールはカメラワークを届けられるので、拒否してしまうと、デフォルトの系統から動いている機能を奪うことになります。そのため、ピッカーの隣に注意書きを付けて提供しています。
ltx_control_full_repaint():判定条件です。ltx_generation_serves_ingredients()の隣の独立した関数にしているのは、この2つが別々の日に修正されるためです。LTX_CONTROL_GENERATION_NOTE:注意書きの文章で、サーバー側が管理します。ltx_tiers_payload()は、両方をcontrol_full_repaint/control_generation_noteとして渡します。_paintControlGenNote()は、注意書きを#controlGenNoteに入れ、それが当てはまる場面だけに表示します。
完全な描き直しを得るには、学習タブから2.3パックをインストールするか、LTX_MODEL_VERSION=ltx23 でパネルを起動します。2.5用のUnionアダプターが公開された日には、変更するのは ltx_control_full_repaint() の1行だけです。
内部の動き
mlx_ltx_panel.py の run_job_inner 内、mode == "control" です。構造はカラー化(restore)と同じで、意図的な違いが1つあります。
control_video_path
│ ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
│ downscaled to the tier's i2v max side if it exceeds it
▼
job_spec action = "generate_restore"
│ model_dir = Q4 distilled pack (what the adapter was trained against)
│ loras = [union-control @ 1.0] + whatever the form carried
│ video_conditioning = [[control_clip, 1.0]] ← the FOLLOW lever
│ stage1_steps=8, stage2_steps=3 ← two-stage, like Colorize
▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4
追従のレバー。video_conditioning の2番目の要素が、参照の強度です。VideoConditionByReferenceLatent は、参照ラテントを mask_value = 1.0 - strength で保持します。1.0ではコントロールクリップが元のまま固定され、レンダリングはその構造に従います。0.0では完全にノイズ除去の対象になり、Ingredientsはこれを使って、参照シートから離れる方向に再構成します。コントロールとIngredientsは、1つのダイヤルの両端を使う同じパイプラインです。上書きするには LTX_CONTROL_REF_STRENGTH を使います。
参照のダウンスケール。Unionのウェイトは reference_downscale_factor=2 を持っています。IC encoderが参照自体を半分にする(iclora_utils)ので、パネルは、カラー化と同じく、フルの出力サイズを渡します。
/64グリッド。コントロールとカラー化は、make_job が実行されたあとで、元のクリップからキャンバスのサイズを決めるため、ほかのLTXの系統が受けている正規化を通っていませんでした。2段階のパイプラインは自分で/64に合わせるのに、こちらは/32に切り下げていました。768×416のコントロールクリップが768×384でレンダリングされ、ログの行とサイドカーは両方とも416と記録する、という「Width × Height LIES」の不具合です。参照は、私たちが指定したキャンバスにリサイズされるため、画像が縦に8%つぶれる問題もありました。現在は、どちらの経路も/64に切り下げます。コントロールクリップのサイズが64の倍数なら、リサイズはまったく行われません。これは、このモードで最も手軽に得られる画質の改善です。
作例
M4 Max 64 GB、LTX-2.3 Q4 distilled、追従1.0で、2026-08-28にレンダリングしました。4秒 / 97フレームで、それぞれ約90秒です。素材は mlx_outputs/ にある既存のクリップです。プロンプトにはカメラの指示が一切含まれていないので、出力のカメラワークはすべてコントロールクリップから来たものです。
| 出力 | コントロールクリップ | プロンプト(抜粋) | 何が証明されるか |
|---|---|---|---|
example_control_craneout.mp4 | example_control_craneout_source.mp4(H3の10秒のクレーンアウトを2.5倍に速めて4秒にしたもの) | “a monk in a saffron robe on a vast white salt flat…” | 顔 → 街並み → 屋根 → 雲という、クレーンの一連の動きが、まったく別の世界に一拍ずつ転写されました。車道の形は塩原のひび割れに、屋根は低木の茂みに対応しています。 |
example_control_skater.mp4 | example_control_skater_source.mp4 | “a knight in dented plate armour bounds across a moonlit courtyard…” | トラッキングカメラのもとでの、ジャンプを含む人間のポーズと体の動き。 |
example_control_aerial.mp4 | example_control_aerial_source.mp4 | “an endless field of purple lavender under a black storm front…” | 動きを保ったまま、広く動く風景がまるごと描き直されました。 |
それぞれの組を並べて再生してください。フレームごとの対応こそが要点です。
関連
docs/H3_ENGINE.md:もう1つの動画エンジン。- リミックスのガイド:
webapp/docs/remix.md(パネルのヘルプタブ、および https://phosphene.video/docs/remix/)。 required_files.json→ic_union_control、ic_ingredients、ic_colorize。
出典:docs/MOTION_CONTROL.md(公開リポジトリ)。公開前にこのウェブサイト向けに確認済みです。英語の原文から翻訳しています。編集を提案する。