Pro
PT
EntrarConta Baixar para Mac
Baixar para Mac

Docs / Vídeo

Controle de movimento

Use personagens originais ou estilizados, ou a sua própria imagem com consentimento documentado. Qualquer representação de outra pessoa identificável exige o consentimento documentado dela. Siga a Política de Uso Aceitável para todas as imagens de referência, dados de treino, áudios e resultados.

Aba Vídeo → Remix → Controle de movimento.

Você dá um clipe ao Phosphene. A renderização copia o movimento, o movimento de câmera, a composição e a pose dele; o seu prompt pinta um novo assunto e uma nova cena sobre essa estrutura. Por exemplo, reutilize um movimento de câmera de uma cena que você mesmo gerou para encenar um personagem original em uma paisagem nova.

Este é o adaptador oficial Lightricks/LTX-2.3-22b-IC-LoRA-Union-Control. Ele é público, sem acesso restrito, não exige nenhum token do Hugging Face e é baixado pela instalação base (required_files.json → ic_union_control, 654.465.352 bytes em mlx_models/loras/ic/).


Por que este documento existe

O recurso já foi lançado e funciona há meses, e dois usuários antigos pediram por ele como se não existisse: @sohaibpp no Pinokio (“Motion control”) e um usuário no X pedindo “IC-LoRA support (especially Union Control / Pose / Depth) exposed in the UI”, observando corretamente que o ltx-2-mlx por baixo já o suporta.

Os dois acertaram no nome e erraram sobre a capacidade. O modo se chamava “Control”, aninhado a um clique de distância dentro de um grupo chamado “Remix”, cuja própria linha de apoio dizia “your media → new video”. Nada na tela continha as palavras que alguém estava procurando. Isso é um defeito de descoberta, não um recurso que faltava, e a correção foi no texto:

  • a linha de apoio do botão Remix agora diz “controle de movimento · refs · cor”, o único texto do Remix visível sem um clique, então ele carrega as palavras pesquisáveis;
  • o subchip é “Controle de movimento”, não “Controle”, e a dica dele cita o adaptador Union Control;
  • o título da seção cita o adaptador, e o texto sob o seletor diz o que o modo faz e, mais abaixo, o que ele não consegue fazer.

Como usar

  1. Aba Vídeo → Remix → Controle de movimento.
  2. Escolha um clipe de controle no seletor, ou cole um caminho.
  3. Escreva um prompt que descreva o novo assunto e a nova cena. Deixe a direção de câmera de fora: a câmera é trabalho do clipe de controle, e um prompt que também pede um movimento são duas instruções para um único eixo.
  4. Gere.

O resultado tem a resolução e a duração do clipe de controle. Ele roda o checkpoint Q4 destilado, então nenhum pacote Q8 é necessário e funciona em todos os níveis de hardware que o painel atende.

O que você pode usar como entrada

EntradaFunciona?
Um vídeo comum (RGB bruto)Sim, é o caminho normal. O adaptador Union lê RGB bruto; nada precisa ser pré-processado.
Uma sequência de pose / profundidade / canny / segmentação que você já temSim, e segue mais de perto. Use-a exatamente como qualquer outro clipe.
Um vídeo comum que você quer transformar em pose ou profundidadeNão. O Phosphene não traz nenhum pré-processador. Não há OpenPose, nem estimador de profundidade, nem passada de canny em lugar nenhum desta instalação, e este documento não promete nenhum.

Essa última linha é a metade honesta do pedido no X. “Union Control / Pose / Depth” é um recurso e três formatos de entrada: o Phosphene oferece o recurso e dois dos três formatos, e não consegue derivar o terceiro para você.

O que faz um bom clipe de controle

A lição medida ao construir os exemplos abaixo: o modo transfere a estrutura com tanta fidelidade que o prompt só ganha espaço onde a estrutura deixa algum.

  • Funciona bem: planos cujo conteúdo muda ao longo do clipe, como movimentos de câmera, crane-outs, travellings, cenas abertas, uma figura se movendo por um espaço.
  • Funciona mal: um único assunto de alto contraste que preenche um quadro estático. Uma placa pintada à mão filmada de frente, conduzida com um prompt de “brass diving helmet”, voltou como a mesma placa em uma paleta mais fria, com as letras distorcidas. Não havia nada para o prompt repintar.

Se a renderização está voltando como um reconto da sua origem, é por esse motivo. LTX_CONTROL_REF_STRENGTH (padrão 1.0, limitado a [0, 1]) afrouxa o seguimento para algo “inspirado em”; hoje não há nenhum controle para ele na interface.


A linha 2.3, dita como fato

A Lightricks publicou exatamente uma IC-LoRA do LTX-2.5 até hoje: o Pixel Spatial Upscaler, em 2026-08-11. Não existe um adaptador Union Control do 2.5, então o Controle de movimento é um recurso do LTX-2.3, e o painel não finge o contrário.

A geração padrão do Phosphene é o LTX-2.5. No 2.5, o Controle de movimento funciona pela metade, e é a metade difícil de perceber:

LTX-2.3LTX-2.5 (padrão)
Transferência de movimento / câmera / composiçãoSimSim: o clipe de controle vai em um latente de referência fixado (força de seguimento 1.0 ⇒ mask_value = 0.0), então a estrutura chega com ou sem contribuição do adaptador.
O prompt repinta o assuntoSimFraco. A renderização volta como um reconto distorcido do próprio conteúdo do clipe de controle, com borrões visíveis.

Medido em 2026-08-28, não projetado: o mesmo clipe de controle de 4 s (um crane-out de um rosto até uma vista aérea), o mesmo prompt, a mesma seed 4242, seguimento 1.0, cada geração com o próprio codificador de texto. No 2.3, o prompt produziu o monge no salar que foi pedido. No 2.5, produziu um rapaz em uma praça europeia, o assunto do clipe de controle, só que transferido de lugar, e borrado no meio do movimento de afastamento.

Isto não é a falha do Ingredientes. O Ingredientes no 2.5 é inerte e é recusado (RenderRefused("ingredients_generation")), porque uma folha de referência ignorada em silêncio custa ~11 minutos de GPU e devolve um clipe sem relação. O Controle de movimento ainda entrega o trabalho de câmera, então recusá-lo tiraria um recurso funcional da linha padrão. Ele é oferecido, com o aviso mostrado ao lado do seletor:

  • ltx_control_full_repaint(): o predicado, em uma função própria ao lado de ltx_generation_serves_ingredients(), porque as duas serão corrigidas em dias diferentes.
  • LTX_CONTROL_GENERATION_NOTE: a frase, de responsabilidade do servidor.
  • ltx_tiers_payload() envia as duas como control_full_repaint / control_generation_note; _paintControlGenNote() coloca o aviso em #controlGenNote e o mostra somente onde ele é verdadeiro.

Para obter a repintura completa: instale o pacote 2.3 pela aba Treinar, ou inicie o painel com LTX_MODEL_VERSION=ltx23. No dia em que um adaptador Union do 2.5 for lançado, ltx_control_full_repaint() é a única linha que muda.


Como funciona por dentro

mlx_ltx_panel.py, mode == "control" em run_job_inner. Estruturalmente idêntico ao Colorir (restore), com uma diferença deliberada.

control_video_path
      │  ffprobe dims → floored to the engine's /64 grid; frames to 8k+1
      │  downscaled to the tier's i2v max side if it exceeds it
      ▼
job_spec  action = "generate_restore"
      │   model_dir            = Q4 distilled pack   (what the adapter was trained against)
      │   loras                = [union-control @ 1.0]  + whatever the form carried
      │   video_conditioning   = [[control_clip, 1.0]]   ← the FOLLOW lever
      │   stage1_steps=8, stage2_steps=3                 ← two-stage, like Colorize
      ▼
HELPER.run → ICLoraPipeline → mlx_outputs/<source>_control_<stamp>.mp4

A alavanca de seguimento. O segundo elemento de video_conditioning é a força da referência. VideoConditionByReferenceLatent mantém o latente de referência com mask_value = 1.0 - strength: em 1.0, o clipe de controle fica fixado e intacto e a renderização segue a estrutura dele; em 0.0, ele fica totalmente livre para ser reduzido a ruído, que é o que o Ingredientes usa para recompor longe da sua folha de referência. Controle e Ingredientes são o mesmo pipeline, nas duas pontas de um mesmo botão. Substitua com LTX_CONTROL_REF_STRENGTH.

Redução da referência. O peso Union carrega reference_downscale_factor=2 (o codificador IC reduz a referência à metade por conta própria, em iclora_utils), então o painel entrega as dimensões completas de saída, exatamente como o Colorir faz.

A grade de /64. O Controle e o Colorir derivam o canvas do clipe de origem, depois que make_job já rodou, então perderam a normalização que todas as outras linhas do LTX recebem. Eles arredondavam para baixo para /32, enquanto o pipeline de dois estágios ajusta sozinho para /64: um clipe de controle de 768×416 era renderizado em 768×384, enquanto a linha do log e o sidecar diziam 416. Era o defeito “Width × Height LIES”, e aqui ele também achatava a imagem 8% na vertical, porque a referência é redimensionada para o canvas que nós nomeamos. Os dois ramos agora arredondam para /64. Se as dimensões do seu clipe de controle são múltiplos de 64, nada é redimensionado, que é o ganho de qualidade mais barato disponível neste modo.


Exemplos práticos

Renderizados em 2026-08-28 em um M4 Max de 64 GB, LTX-2.3 Q4 destilado, seguimento 1.0, ~90 s cada, com 4 s / 97 quadros. As origens são clipes existentes de mlx_outputs/; os prompts não têm nenhuma direção de câmera, então todo movimento de câmera do resultado veio do clipe de controle.

ResultadoClipe de controlePrompt (resumido)O que prova
example_control_craneout.mp4example_control_craneout_source.mp4 (um crane-out de 10 s do H3, reacelerado 2,5× para 4 s)“a monk in a saffron robe on a vast white salt flat…”Uma coreografia de crane completa (rosto → rua → telhados → nuvem) transferida batida por batida para outro mundo. A geometria da entrada de garagem vira rachaduras no salar; os telhados viram tufos de mato.
example_control_skater.mp4example_control_skater_source.mp4“a knight in dented plate armour bounds across a moonlit courtyard…”Pose e movimento do corpo humano, inclusive o salto, com uma câmera de acompanhamento.
example_control_aerial.mp4example_control_aerial_source.mp4“an endless field of purple lavender under a black storm front…”Uma paisagem ampla em movimento repintada por inteiro, com o movimento preservado.

Reproduza cada par lado a lado. A correspondência quadro a quadro é o ponto.


  • docs/H3_ENGINE.md: o outro motor de vídeo.
  • O guia do Remix: webapp/docs/remix.md (a aba Documentação do painel, e https://phosphene.video/docs/remix/).
  • required_files.json → ic_union_control, ic_ingredients, ic_colorize.

Fonte: docs/MOTION_CONTROL.md no repositório público. Revisado para este site antes da publicação. Traduzido do original em inglês. Sugerir uma edição.