Pro
한국어
로그인계정 Mac용 다운로드
Mac용 다운로드

문서 / 영상

모션 컨트롤

오리지널 캐릭터나 스타일화된 캐릭터, 또는 문서로 동의를 남긴 본인의 모습을 사용하세요. 다른 식별 가능한 사람을 묘사하려면 그 사람의 문서화된 동의가 필요해요. 모든 참조 이미지, 학습 데이터, 오디오, 결과물은 이용 정책을 따라야 해요.

영상 탭 → 리믹스 → 모션 컨트롤.

Phosphene에 클립을 하나 주면, 렌더링은 그 클립의 모션, 카메라 움직임, 구도, 포즈를 그대로 따라 해요. 프롬프트로는 그 구조 위에 새 피사체와 새 장면을 그려 넣어요. 예를 들어 내가 만든 장면의 카메라 움직임을 그대로 가져와 새로운 풍경 속에 오리지널 캐릭터를 세울 수 있어요.

이 기능은 공식 Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control 어댑터를 써요. 공개되어 있고, 접근 제한이 없고, Hugging Face 토큰이 필요 없고, 기본 설치에서 받아 와요(required_files.json → ic_union_control, 654,465,352 바이트, mlx_models/loras/ic/에 저장돼요).


이 문서가 있는 이유

이 기능은 몇 달 전에 출시되어 잘 작동하고 있었는데, 오래 쓴 사용자 두 명이 마치 없는 기능인 것처럼 요청했어요. Pinokio의 @sohaibpp(“Motion control”)와, X에서 “IC-LoRA 지원(특히 Union Control / Pose / Depth)을 UI에 노출해 달라”고 쓴 사용자예요. 이 사용자는 내부의 ltx-2-mlx가 이미 지원한다는 점도 정확히 짚었어요.

두 사람 모두 이름은 맞췄지만 기능이 있다는 점은 몰랐어요. 이 모드는 “Control”이라는 이름으로, 부제가 “your media → new video”인 “Remix”라는 그룹 안에 한 번 더 들어가야 나왔어요. 화면 어디에도 사람들이 검색하는 단어가 없었어요. 기능이 빠진 것이 아니라 발견하기 어려운 결함이었고, 해결책은 문구였어요.

  • 리믹스 알약의 부제가 이제 “motion control · refs · color”예요. 클릭하지 않고 보이는 리믹스 텍스트는 이것뿐이라서, 검색할 만한 단어를 담았어요.
  • 하위 칩은 “Control”이 아니라 “모션 컨트롤”이고, 툴팁에 Union Control 어댑터 이름이 나와요.
  • 섹션 머리글에 어댑터 이름이 나오고, 선택기 아래의 설명이 이 모드가 하는 일과, 아래에서 설명하는 하지 못하는 일을 알려 줘요.

사용 방법

  1. 영상 탭 → 리믹스 → 모션 컨트롤.
  2. 선택기에서 컨트롤 클립을 고르거나 경로를 붙여넣어요.
  3. 새 피사체와 장면을 설명하는 프롬프트를 써요. 카메라 지시는 넣지 마세요. 카메라는 컨트롤 클립이 맡고, 프롬프트에서 움직임까지 요청하면 한 축에 지시가 둘이 돼요.
  4. 생성을 눌러요.

출력은 컨트롤 클립의 해상도와 길이에 맞춰져요. Q4 distilled 체크포인트로 실행하므로 Q8 팩이 필요 없고, 패널이 지원하는 모든 하드웨어 등급에서 작동해요.

넣을 수 있는 입력

입력작동하나요?
평범한 영상(원본 RGB)네. 이것이 일반적인 방법이에요. Union 어댑터는 원본 RGB를 읽으므로 미리 처리할 필요가 없어요.
이미 가지고 있는 포즈 / 깊이 / canny / 세그멘테이션 시퀀스네. 더 촘촘하게 따라가요. 다른 클립과 똑같이 넣으면 돼요.
포즈나 깊이로 바꾸고 싶은 평범한 영상아니요. Phosphene에는 전처리기가 없어요. 이 설치에는 OpenPose도, 깊이 추정기도, canny 처리도 없고, 이 문서는 그런 것을 약속하지 않아요.

마지막 줄이 X 요청에 대한 솔직한 답이에요. “Union Control / Pose / Depth”는 기능 하나와 입력 형식 셋이에요. Phosphene은 그 기능과 형식 중 둘을 지원하지만, 나머지 하나를 대신 만들어 주지는 못해요.

좋은 컨트롤 클립의 조건

아래 예제를 만들면서 실제로 확인한 사실이에요. 이 모드는 구조를 아주 충실하게 옮기기 때문에, 프롬프트는 구조가 남겨 둔 여지만큼만 반영돼요.

  • 잘 되는 경우: 클립 안에서 프레임의 내용이 바뀌는 샷이에요. 카메라 이동, 크레인 아웃, 트래킹 샷, 와이드 장면, 공간 속을 움직이는 인물이 좋아요.
  • 잘 안 되는 경우: 고정된 프레임을 가득 채운 대비가 강한 피사체 하나예요. 손으로 칠한 간판을 정면에서 찍은 클립에 “brass diving helmet” 프롬프트를 줬더니, 더 차가운 색감에 글자가 뭉개진 같은 간판이 나왔어요. 프롬프트가 다시 칠할 것이 없었어요.

렌더링이 원본을 다시 이야기한 것처럼 나온다면 이 때문이에요. LTX_CONTROL_REF_STRENGTH(기본값 1.0, [0, 1]로 제한)는 따라가는 정도를 “영감을 받은” 수준으로 느슨하게 만들어요. 지금은 UI에서 조절하는 컨트롤이 없어요.


2.3 레인, 있는 그대로

Lightricks는 지금까지 LTX-2.5 IC-LoRA를 딱 하나 공개했어요. 2026-08-11의 Pixel Spatial Upscaler예요. 2.5용 Union Control 어댑터는 없으므로 모션 컨트롤은 LTX-2.3 기능이고, 패널도 그렇지 않은 척하지 않아요.

Phosphene의 기본 생성은 LTX-2.5예요. 2.5에서 모션 컨트롤은 절반만 작동하는데, 눈치채기 어려운 쪽이 그 절반이에요.

LTX-2.3LTX-2.5(기본)
모션 / 카메라 / 구도 전달네네. 컨트롤 클립이 고정된 참조 잠재(latent)로 들어가므로(따라가는 강도 1.0 ⇒ mask_value = 0.0), 어댑터가 아무것도 하지 않아도 구조는 그대로 옮겨져요.
프롬프트가 피사체를 다시 칠함네약해요. 컨트롤 클립 자체의 내용을 뒤틀어 다시 이야기한 듯한 결과가 나오고, 번짐이 눈에 띄어요.

2026-08-28에 측정했어요. 예상이 아니에요. 같은 4초 컨트롤 클립(얼굴에서 항공 샷으로 빠지는 크레인 아웃), 같은 프롬프트, 같은 시드 4242, 따라가는 강도 1.0이고, 각각 자기 텍스트 인코더로 생성했어요. 2.3에서는 프롬프트대로 소금 평원 위의 승려가 나왔어요. 2.5에서는 유럽의 광장에 서 있는 청년이 나왔어요. 컨트롤 클립의 피사체가 자리만 옮긴 것이고, 당기는 구간 한가운데에서는 번졌어요.

이것은 Ingredients의 실패와 달라요. 2.5의 Ingredients는 작동하지 않고 거부돼요(RenderRefused("ingredients_generation")). 조용히 무시되는 참조 시트 때문에 GPU 시간 약 11분을 쓰고 관련 없는 클립을 받는 일을 막기 위해서예요. 모션 컨트롤은 여전히 카메라 워크를 제공하므로, 거부하면 기본 레인에서 쓸 수 있는 기능을 빼앗는 셈이에요. 그래서 선택기 옆에 주의 문구를 보여 주면서 제공해요.

  • ltx_control_full_repaint(): 판단 함수예요. ltx_generation_serves_ingredients() 옆에 따로 둔 이유는 둘이 다른 날 고쳐질 것이기 때문이에요.
  • LTX_CONTROL_GENERATION_NOTE: 문구예요. 서버가 관리해요.
  • ltx_tiers_payload()가 둘 다 control_full_repaint / control_generation_note로 전달하고, _paintControlGenNote()가 #controlGenNote에 문구를 넣어 사실일 때만 보여 줘요.

완전한 다시 칠하기를 쓰려면 학습 탭에서 2.3 팩을 설치하거나, LTX_MODEL_VERSION=ltx23으로 패널을 시작하세요. 2.5용 Union 어댑터가 나오는 날에는 ltx_control_full_repaint() 한 줄만 바뀌어요.


실행 방식

mlx_ltx_panel.py의 run_job_inner에서 mode == "control"이에요. 구조는 Colorize(restore)와 같고, 의도적인 차이가 하나 있어요.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

따라가는 레버. video_conditioning의 두 번째 요소가 참조 강도예요. VideoConditionByReferenceLatent는 참조 잠재를 mask_value = 1.0 - strength로 고정해요. 1.0이면 컨트롤 클립이 원본 그대로 고정되어 렌더링이 그 구조를 따라가고, 0.0이면 완전히 노이즈 제거 대상이 돼요. Ingredients가 참조 시트에서 벗어나 다시 구성하는 데 쓰는 값이 이쪽이에요. 컨트롤과 Ingredients는 같은 파이프라인이고 한 다이얼의 양 끝이에요. LTX_CONTROL_REF_STRENGTH로 바꿀 수 있어요.

참조 다운스케일. Union 가중치에는 reference_downscale_factor=2가 들어 있어요. IC 인코더가 참조를 직접 절반으로 줄이므로(iclora_utils) 패널은 Colorize와 똑같이 전체 출력 크기를 넣어요.

/64 그리드. 컨트롤과 Colorize는 make_job이 실행된 뒤에 원본 클립에서 캔버스를 계산하기 때문에, 다른 모든 LTX 레인이 받는 정규화를 놓쳤어요. /32로 내림하는데 2단계 파이프라인은 스스로 /64로 맞추는 바람에, 768×416 컨트롤 클립이 768×384로 렌더링되었는데 로그 줄과 사이드카에는 모두 416으로 적혀 있었어요. “너비 × 높이가 거짓말을 하는” 결함이에요. 이 경우 우리가 지정한 캔버스에 참조를 맞춰 넣기 때문에 화면이 세로로 8% 찌그러지기까지 했어요. 이제 두 분기 모두 /64로 내림해요. 컨트롤 클립의 크기가 64의 배수이면 아무것도 리사이즈되지 않아요. 이 모드에서 가장 손쉽게 화질을 지키는 방법이에요.


작업 예제

2026-08-28에 M4 Max 64 GB, LTX-2.3 Q4 distilled, 따라가는 강도 1.0으로 렌더링했고, 4초 / 97프레임에서 각각 약 90초가 걸렸어요. 원본은 mlx_outputs/에 있는 기존 클립이고, 프롬프트에는 카메라 지시를 전혀 넣지 않았기 때문에 출력의 카메라 움직임은 모두 컨트롤 클립에서 왔어요.

출력컨트롤 클립프롬프트(요약)증명하는 것
example_control_craneout.mp4example_control_craneout_source.mp4(10초 H3 크레인 아웃, 2.5배 속도로 4초로 압축)“a monk in a saffron robe on a vast white salt flat…”얼굴 → 거리 → 지붕 → 구름으로 이어지는 크레인 연출 전체가 다른 세계로 박자 하나까지 그대로 옮겨졌어요. 진입로의 기하는 소금 평원의 갈라진 틈에, 지붕은 덤불 다발에 대응해요.
example_control_skater.mp4example_control_skater_source.mp4“a knight in dented plate armour bounds across a moonlit courtyard…”점프를 포함한 사람의 포즈와 몸 동작이 트래킹 카메라에서 그대로 옮겨졌어요.
example_control_aerial.mp4example_control_aerial_source.mp4“an endless field of purple lavender under a black storm front…”움직이는 넓은 풍경이 통째로 다시 칠해지는 동안 카메라 움직임은 유지돼요.

각 쌍을 나란히 재생해 보세요. 프레임마다 대응된다는 점이 핵심이에요.


  • docs/H3_ENGINE.md: 또 다른 영상 엔진이에요.
  • 리믹스 가이드: webapp/docs/remix.md(패널의 문서 탭과 https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

출처: docs/MOTION_CONTROL.md (공개 저장소). 공개 전에 이 웹사이트용으로 검토했어요. 영어 원문에서 번역했어요. 수정 제안하기.