Pro
RU
ВойтиАккаунт Скачать для Mac
Скачать для Mac

Справка / Видео

Управление движением

Используйте оригинальных или стилизованных персонажей либо собственное изображение при наличии документально подтверждённого согласия. Для любого изображения другого узнаваемого человека необходимо его документально подтверждённое согласие. Для всех референсных изображений, обучающих данных, аудио и результатов соблюдайте Политику допустимого использования.

Вкладка «Видео» → Ремикс → Управление движением.

Вы даёте Phosphene клип. Рендер копирует его движение, движение камеры, композицию и позу; ваш промпт рисует нового героя и новую сцену поверх этой структуры. Например, можно взять движение камеры из своей же сгенерированной сцены и поставить оригинального персонажа в новый пейзаж.

Это официальный адаптер Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. Он общедоступный, без закрытого доступа, токен Hugging Face не нужен, и его скачивает базовая установка (required_files.json → ic_union_control, 654,465,352 байта в mlx_models/loras/ic/).


Зачем нужен этот документ

Функция уже вышла и работает несколько месяцев, но двое давних пользователей просили её так, будто её нет: @sohaibpp в Pinokio («Motion control») и пользователь в X, который просил «IC-LoRA support (especially Union Control / Pose / Depth) exposed in the UI» и справедливо заметил, что лежащий в основе ltx-2-mlx её уже поддерживает.

Оба были правы насчёт названия и неправы насчёт возможностей. Режим назывался «Control» и лежал на один щелчок глубже, в группе «Ремикс», подпись которой гласила «ваши материалы → новое видео». На экране не было ни одного из слов, которые кто-либо искал. Это недостаток обнаруживаемости, а не отсутствие функции, и исправить его помогли тексты:

  • подпись кнопки «Ремикс» теперь читается «управление движением · референсы · цвет»: это единственный текст «Ремикса», видимый без щелчка, поэтому в нём есть искомые слова;
  • дополнительная кнопка называется «Управление движением», а не «Control», и её подсказка называет адаптер Union Control;
  • заголовок раздела называет адаптер, а текст под выбором объясняет, что режим делает и, ниже, чего он делать не может.

Как этим пользоваться

  1. Вкладка Видео → Ремикс → Управление движением.
  2. Выберите управляющий клип в списке или вставьте путь.
  3. Напишите промпт, описывающий нового героя и сцену. Указания для камеры не добавляйте: камера это задача управляющего клипа, а промпт, который тоже просит движения камеры, даёт две команды для одной оси.
  4. Создайте.

Результат совпадает с управляющим клипом по разрешению и длине. Он использует дистиллированную контрольную точку Q4, поэтому пакет Q8 не нужен, и режим работает на любом уровне оборудования, который поддерживает панель.

Что можно подать на вход

ВходРаботает?
Обычное видео (сырой RGB)Да: это обычный путь. Адаптер Union читает сырой RGB; ничего заранее обрабатывать не нужно.
Уже готовая последовательность позы, глубины, контуров canny или сегментацииДа, и следует ей ещё строже. Подавайте её так же, как любой другой клип.
Обычное видео, которое нужно превратить в позу или глубинуНет. В Phosphene нет препроцессора. В этой установке нигде нет ни OpenPose, ни оценки глубины, ни прохода canny, и этот документ их не обещает.

Последняя строка: честная половина запроса из X. «Union Control / Pose / Depth»: одна функция и три формата входа: Phosphene предоставляет функцию и два из трёх форматов, а третий получить из видео не может.

Каким должен быть хороший управляющий клип

Урок, который мы вынесли при создании примеров ниже: режим переносит структуру так точно, что у промпта есть простор только там, где структура оставляет место.

  • Хорошо работает: кадры, содержимое которых меняется по ходу клипа: движения камеры, отъезды крана, проезды, общие сцены, фигура, движущаяся по пространству.
  • Плохо работает: один контрастный объект, занимающий неподвижный кадр. Нарисованная от руки вывеска, снятая строго в лоб, с промптом «brass diving helmet» вернулась той же вывеской в более холодной гамме и с искажёнными буквами. Промпту нечего было перерисовывать.

Если рендер возвращается пересказом вашего исходника, причина именно в этом. LTX_CONTROL_REF_STRENGTH (по умолчанию 1.0, ограничено диапазоном [0, 1]) ослабляет следование до «по мотивам»; сейчас элемента интерфейса для него нет.


Линия 2.3, как факт

Lightricks на сегодня опубликовала ровно один IC-LoRA для LTX-2.5: Pixel Spatial Upscaler, 2026-08-11. Адаптера Union Control для 2.5 нет, поэтому Управление движением это функция LTX-2.3, и панель не делает вид, что это не так.

Генерация Phosphene по умолчанию это LTX-2.5. На 2.5 Управление движением работает наполовину, и это та половина, которую трудно заметить:

LTX-2.3LTX-2.5 (по умолчанию)
Перенос движения, камеры и композицииДаДа: управляющий клип идёт как закреплённый опорный латент (сила следования 1.0 ⇒ mask_value = 0.0), поэтому структура переносится независимо от того, вносит ли адаптер что-либо.
Промпт перерисовывает герояДаСлабо. Рендер возвращается искажённым пересказом содержимого самого управляющего клипа с заметным смазыванием.

Измерено 2026-08-28, а не спрогнозировано: один и тот же управляющий клип на 4 с (отъезд крана от лица к виду сверху), тот же промпт, тот же сид 4242, следование 1.0, у каждой генерации свой текстовый кодировщик. На 2.3 промпт дал монаха на соляной равнине, как и просили. На 2.5 он дал молодого человека на европейской площади, то есть героя управляющего клипа, перенесённого в другое место, и смазал середину отъезда.

Это не тот сбой, что у Ingredients. Ingredients на 2.5 бездействует и отклоняется (RenderRefused("ingredients_generation")), потому что молча проигнорированный лист референсов стоит ~11 минут GPU и возвращает посторонний клип. Управление движением по-прежнему передаёт работу камеры, поэтому отклонять его значило бы забрать рабочую функцию у линии по умолчанию. Оно предлагается, а предупреждение показано рядом с выбором:

  • ltx_control_full_repaint(): предикат, отдельная функция рядом с ltx_generation_serves_ingredients(), потому что исправлять их будут в разные дни.
  • LTX_CONTROL_GENERATION_NOTE: фраза, которой владеет сервер.
  • ltx_tiers_payload() отправляет оба как control_full_repaint / control_generation_note; _paintControlGenNote() помещает фразу в #controlGenNote и показывает её только там, где она верна.

Чтобы получить полную перерисовку: установите пакет 2.3 на вкладке Обучение или запустите панель с LTX_MODEL_VERSION=ltx23. В тот день, когда выйдет адаптер Union для 2.5, изменится одна строка: ltx_control_full_repaint().


Как это работает

mlx_ltx_panel.py, mode == "control" в run_job_inner. По структуре совпадает с Colorize (restore) с одним намеренным отличием.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

Рычаг следования. Второй элемент video_conditioning это сила референса. VideoConditionByReferenceLatent держит опорный латент с mask_value = 1.0 - strength: при 1.0 управляющий клип закреплён нетронутым, и рендер следует его структуре; при 0.0 он полностью допускает шумоподавление, и именно так Ingredients перекомпоновывает кадр вдали от своего листа референсов. Управление и Ingredients составляют один конвейер с противоположными концами одной регулировки. Переопределяется через LTX_CONTROL_REF_STRENGTH.

Уменьшение референса. Вес Union несёт reference_downscale_factor=2: кодировщик IC сам вдвое уменьшает референс (iclora_utils), поэтому панель подаёт полные размеры вывода, точно так же, как Colorize.

Сетка /64. Control и Colorize берут размер холста из исходного клипа уже после make_job, поэтому им не доставалась нормализация, которую получают все остальные линии LTX. Они округляли вниз до /32, а двухэтапный конвейер сам привязывается к /64: управляющий клип 768×416 рендерился как 768×384, при этом и строка журнала, и сопроводительный файл сообщали 416. Это дефект «ширина × высота ЛЖЁТ», и здесь он ещё и сплющивал картинку по вертикали на 8%, потому что референс масштабируется под названный нами холст. Теперь обе ветки округляют до /64. Если размеры вашего управляющего клипа кратны 64, ничто не масштабируется вообще, а это самый дешёвый выигрыш в качестве, доступный в этом режиме.


Примеры

Отрендерено 2026-08-28 на M4 Max 64 ГБ, LTX-2.3 Q4 distilled, следование 1.0, ~90 с на каждый при 4 с / 97 кадров. Исходники это существующие клипы из mlx_outputs/; в промптах вообще нет указаний для камеры, поэтому каждое движение камеры в результате пришло из управляющего клипа.

РезультатУправляющий клипПромпт (сокращённо)Что это доказывает
example_control_craneout.mp4example_control_craneout_source.mp4 (10-секундный отъезд крана H3, ускоренный в 2,5 раза до 4 с)«a monk in a saffron robe on a vast white salt flat…»Вся хореография крана (лицо → улица → крыши → облако) перенесена такт в такт на другой мир. Геометрия подъездной дороги превращается в трещины соляной равнины; крыши превращаются в пучки кустарника.
example_control_skater.mp4example_control_skater_source.mp4«a knight in dented plate armour bounds across a moonlit courtyard…»Поза и движения тела человека, включая прыжок, при сопровождающей камере.
example_control_aerial.mp4example_control_aerial_source.mp4«an endless field of purple lavender under a black storm front…»Широкий движущийся пейзаж, целиком перерисованный с сохранением движения.

Воспроизведите каждую пару рядом. Соответствие кадр в кадр и есть главное.


  • docs/H3_ENGINE.md: другой видеодвижок.
  • Руководство по «Ремиксу»: webapp/docs/remix.md (вкладка «Документация» панели и https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

Источник: docs/MOTION_CONTROL.md в открытом репозитории. Проверено для этого сайта перед публикацией. Переведено с английского оригинала. Предложить правку.