Docs / Vídeo
Controle de movimento
Use personagens originais ou estilizados, ou a sua própria imagem com consentimento documentado. Qualquer representação de outra pessoa identificável exige o consentimento documentado dela. Siga a Política de Uso Aceitável para todas as imagens de referência, dados de treino, áudios e resultados.
Aba Vídeo → Remix → Controle de movimento.
Você dá um clipe ao Phosphene. A renderização copia o movimento, o movimento de câmera, a composição e a pose dele; o seu prompt pinta um novo assunto e uma nova cena sobre essa estrutura. Por exemplo, reutilize um movimento de câmera de uma cena que você mesmo gerou para encenar um personagem original em uma paisagem nova.
Este é o adaptador oficial Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. Ele é público, sem acesso restrito, não exige nenhum token do Hugging Face e é baixado pela instalação base (required_files.json → ic_union_control, 654.465.352 bytes em mlx_models/loras/ic/).
Por que este documento existe
O recurso já foi lançado e funciona há meses, e dois usuários antigos pediram por ele como se não existisse: @sohaibpp no Pinokio (“Motion control”) e um usuário no X pedindo “IC-LoRA support (especially Union Control / Pose / Depth) exposed in the UI”, observando corretamente que o ltx-2-mlx por baixo já o suporta.
Os dois acertaram no nome e erraram sobre a capacidade. O modo se chamava “Control”, aninhado a um clique de distância dentro de um grupo chamado “Remix”, cuja própria linha de apoio dizia “your media → new video”. Nada na tela continha as palavras que alguém estava procurando. Isso é um defeito de descoberta, não um recurso que faltava, e a correção foi no texto:
- a linha de apoio do botão Remix agora diz “controle de movimento · refs · cor”, o único texto do Remix visível sem um clique, então ele carrega as palavras pesquisáveis;
- o subchip é “Controle de movimento”, não “Controle”, e a dica dele cita o adaptador Union Control;
- o título da seção cita o adaptador, e o texto sob o seletor diz o que o modo faz e, mais abaixo, o que ele não consegue fazer.
Como usar
- Aba Vídeo → Remix → Controle de movimento.
- Escolha um clipe de controle no seletor, ou cole um caminho.
- Escreva um prompt que descreva o novo assunto e a nova cena. Deixe a direção de câmera de fora: a câmera é trabalho do clipe de controle, e um prompt que também pede um movimento são duas instruções para um único eixo.
- Gere.
O resultado tem a resolução e a duração do clipe de controle. Ele roda o checkpoint Q4 destilado, então nenhum pacote Q8 é necessário e funciona em todos os níveis de hardware que o painel atende.
O que você pode usar como entrada
| Entrada | Funciona? |
|---|---|
| Um vídeo comum (RGB bruto) | Sim, é o caminho normal. O adaptador Union lê RGB bruto; nada precisa ser pré-processado. |
| Uma sequência de pose / profundidade / canny / segmentação que você já tem | Sim, e segue mais de perto. Use-a exatamente como qualquer outro clipe. |
| Um vídeo comum que você quer transformar em pose ou profundidade | Não. O Phosphene não traz nenhum pré-processador. Não há OpenPose, nem estimador de profundidade, nem passada de canny em lugar nenhum desta instalação, e este documento não promete nenhum. |
Essa última linha é a metade honesta do pedido no X. “Union Control / Pose / Depth” é um recurso e três formatos de entrada: o Phosphene oferece o recurso e dois dos três formatos, e não consegue derivar o terceiro para você.
O que faz um bom clipe de controle
A lição medida ao construir os exemplos abaixo: o modo transfere a estrutura com tanta fidelidade que o prompt só ganha espaço onde a estrutura deixa algum.
- Funciona bem: planos cujo conteúdo muda ao longo do clipe, como movimentos de câmera, crane-outs, travellings, cenas abertas, uma figura se movendo por um espaço.
- Funciona mal: um único assunto de alto contraste que preenche um quadro estático. Uma placa pintada à mão filmada de frente, conduzida com um prompt de “brass diving helmet”, voltou como a mesma placa em uma paleta mais fria, com as letras distorcidas. Não havia nada para o prompt repintar.
Se a renderização está voltando como um reconto da sua origem, é por esse motivo. LTX_CONTROL_REF_STRENGTH (padrão 1.0, limitado a [0, 1]) afrouxa o seguimento para algo “inspirado em”; hoje não há nenhum controle para ele na interface.
A linha 2.3, dita como fato
A Lightricks publicou exatamente uma IC-LoRA do LTX-2.5 até hoje: o Pixel Spatial Upscaler, em 2026-08-11. Não existe um adaptador Union Control do 2.5, então o Controle de movimento é um recurso do LTX-2.3, e o painel não finge o contrário.
A geração padrão do Phosphene é o LTX-2.5. No 2.5, o Controle de movimento funciona pela metade, e é a metade difícil de perceber:
| LTX-2.3 | LTX-2.5 (padrão) | |
|---|---|---|
| Transferência de movimento / câmera / composição | Sim | Sim: o clipe de controle vai em um latente de referência fixado (força de seguimento 1.0 ⇒ mask_value = 0.0), então a estrutura chega com ou sem contribuição do adaptador. |
| O prompt repinta o assunto | Sim | Fraco. A renderização volta como um reconto distorcido do próprio conteúdo do clipe de controle, com borrões visíveis. |
Medido em 2026-08-28, não projetado: o mesmo clipe de controle de 4 s (um crane-out de um rosto até uma vista aérea), o mesmo prompt, a mesma seed 4242, seguimento 1.0, cada geração com o próprio codificador de texto. No 2.3, o prompt produziu o monge no salar que foi pedido. No 2.5, produziu um rapaz em uma praça europeia, o assunto do clipe de controle, só que transferido de lugar, e borrado no meio do movimento de afastamento.
Isto não é a falha do Ingredientes. O Ingredientes no 2.5 é inerte e é recusado (RenderRefused("ingredients_generation")), porque uma folha de referência ignorada em silêncio custa ~11 minutos de GPU e devolve um clipe sem relação. O Controle de movimento ainda entrega o trabalho de câmera, então recusá-lo tiraria um recurso funcional da linha padrão. Ele é oferecido, com o aviso mostrado ao lado do seletor:
ltx_control_full_repaint(): o predicado, em uma função própria ao lado deltx_generation_serves_ingredients(), porque as duas serão corrigidas em dias diferentes.LTX_CONTROL_GENERATION_NOTE: a frase, de responsabilidade do servidor.ltx_tiers_payload()envia as duas comocontrol_full_repaint/control_generation_note;_paintControlGenNote()coloca o aviso em#controlGenNotee o mostra somente onde ele é verdadeiro.
Para obter a repintura completa: instale o pacote 2.3 pela aba Treinar, ou inicie o painel com LTX_MODEL_VERSION=ltx23. No dia em que um adaptador Union do 2.5 for lançado, ltx_control_full_repaint() é a única linha que muda.
Como funciona por dentro
mlx_ltx_panel.py, mode == "control" em run_job_inner. Estruturalmente idêntico ao Colorir (restore), com uma diferença deliberada.
control_video_path
│ ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
│ downscaled to the tier's i2v max side if it exceeds it
▼
job_spec action = "generate_restore"
│ model_dir = Q4 distilled pack (what the adapter was trained against)
│ loras = [union-control @ 1.0] + whatever the form carried
│ video_conditioning = [[control_clip, 1.0]] ← the FOLLOW lever
│ stage1_steps=8, stage2_steps=3 ← two-stage, like Colorize
▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4
A alavanca de seguimento. O segundo elemento de video_conditioning é a força da referência. VideoConditionByReferenceLatent mantém o latente de referência com mask_value = 1.0 - strength: em 1.0, o clipe de controle fica fixado e intacto e a renderização segue a estrutura dele; em 0.0, ele fica totalmente livre para ser reduzido a ruído, que é o que o Ingredientes usa para recompor longe da sua folha de referência. Controle e Ingredientes são o mesmo pipeline, nas duas pontas de um mesmo botão. Substitua com LTX_CONTROL_REF_STRENGTH.
Redução da referência. O peso Union carrega reference_downscale_factor=2 (o codificador IC reduz a referência à metade por conta própria, em iclora_utils), então o painel entrega as dimensões completas de saída, exatamente como o Colorir faz.
A grade de /64. O Controle e o Colorir derivam o canvas do clipe de origem, depois que make_job já rodou, então perderam a normalização que todas as outras linhas do LTX recebem. Eles arredondavam para baixo para /32, enquanto o pipeline de dois estágios ajusta sozinho para /64: um clipe de controle de 768×416 era renderizado em 768×384, enquanto a linha do log e o sidecar diziam 416. Era o defeito “Width × Height LIES”, e aqui ele também achatava a imagem 8% na vertical, porque a referência é redimensionada para o canvas que nós nomeamos. Os dois ramos agora arredondam para /64. Se as dimensões do seu clipe de controle são múltiplos de 64, nada é redimensionado, que é o ganho de qualidade mais barato disponível neste modo.
Exemplos práticos
Renderizados em 2026-08-28 em um M4 Max de 64 GB, LTX-2.3 Q4 destilado, seguimento 1.0, ~90 s cada, com 4 s / 97 quadros. As origens são clipes existentes de mlx_outputs/; os prompts não têm nenhuma direção de câmera, então todo movimento de câmera do resultado veio do clipe de controle.
| Resultado | Clipe de controle | Prompt (resumido) | O que prova |
|---|---|---|---|
example_control_craneout.mp4 | example_control_craneout_source.mp4 (um crane-out de 10 s do H3, reacelerado 2,5× para 4 s) | “a monk in a saffron robe on a vast white salt flat…” | Uma coreografia de crane completa (rosto → rua → telhados → nuvem) transferida batida por batida para outro mundo. A geometria da entrada de garagem vira rachaduras no salar; os telhados viram tufos de mato. |
example_control_skater.mp4 | example_control_skater_source.mp4 | “a knight in dented plate armour bounds across a moonlit courtyard…” | Pose e movimento do corpo humano, inclusive o salto, com uma câmera de acompanhamento. |
example_control_aerial.mp4 | example_control_aerial_source.mp4 | “an endless field of purple lavender under a black storm front…” | Uma paisagem ampla em movimento repintada por inteiro, com o movimento preservado. |
Reproduza cada par lado a lado. A correspondência quadro a quadro é o ponto.
Relacionados
docs/H3_ENGINE.md: o outro motor de vídeo.- O guia do Remix:
webapp/docs/remix.md(a aba Documentação do painel, e https://phosphene.video/docs/remix/). required_files.json→ic_union_control,ic_ingredients,ic_colorize.
Fonte: docs/MOTION_CONTROL.md no repositório público. Revisado para este site antes da publicação. Traduzido do original em inglês. Sugerir uma edição.