Pro
한국어
로그인계정 Mac용 다운로드
Mac용 다운로드

문서 / 영상

대화하는 두 캐릭터

오리지널 캐릭터나 스타일화된 캐릭터, 또는 문서로 동의를 남긴 본인의 모습을 사용하세요. 다른 식별 가능한 사람을 묘사하려면 그 사람의 문서화된 동의가 필요해요. 모든 참조 이미지, 학습 데이터, 오디오, 결과물은 이용 정책을 따라야 해요.

하루 동안 “저녁 식사 중인 외계인 둘”을 여덟 번 렌더링하면서 패널은 많은 것을 어렵게 배웠어요. 아홉 번째를 렌더링하기 전에, Lightricks의 공식 가이드, LTX-2 모델 카드, 커뮤니티 워크플로, 열린 이슈가 대화, 여러 캐릭터, 연속성에 대해 무엇을 말하는지, 그리고 거기서 나온 레시피를 정리했어요.

1. 화면에 얼굴이 여럿일 때의 립싱크는 프롬프트 버그가 아니라 풀리지 않은 문제예요

  • Lightricks의 ComfyUI 이슈 #395(“How to control who is speaking… when there are multiple characters in the image?”)는 사용자가 겪은 바로 그 문제를 설명해요. “Character A or B starts lip syncing randomly to parts of the dialogue… very often they both appear to talk the same words simultaneously.” 이 이슈는 열려 있고 메인테이너의 답변도 없어요.
  • 커뮤니티가 내놓은 해법은 모두 같은 모양이에요. 생성 한 번에 말하는 얼굴은 하나만(캐릭터를 한 명씩 렌더링한 뒤 합성), 외부 오디오와 마스크 사용, 또는 미리 녹음한 대사예요. 프롬프트에서 누가 말하는지를 “강조”하는 것 (“빨간 드레스의 여자가 말하고, 남자는 조용히 듣고 있다”)은 가끔 도움이 되지만 자주 실패해요. 우리 v2/v3의 측정 결과도 그랬어요.
  • 오디오 가이드가 직접 하는 조언은 이래요. 대사 한 줄에 화자 한 명, 짧은 줄, 인용문 앞에 화자와 말투를 쓰기 (“she says in a calm, seasoned voice: ’…’”), 자연스러운 속도로 약 9초의 말, 프롬프트에 “lip sync”라는 단어, 조명이 좋은 정면 얼굴, 그리고 “얼굴이 먼저 도착하게 하라”. 첫 프레임부터 시작하는 대사는 싱크가 붙잡을 곳이 없어요.

그러므로 대화는 대사가 나오는 동안에는 화자의 얼굴만 화면에 있도록 써야 해요. 패널의 One Shot 연출 규칙(장면에는 화면에 있어야 할 사람만 언급한다)도 같은 발상이에요. 다만 담는 그릇이 맞지 않을 뿐이에요.

2. 알맞은 그릇은 One Shot이 아니라 멀티샷 생성이에요

LTX-2.5의 대표 기능은 네이티브 멀티샷이에요. 프롬프트 하나, 생성 한 번 안에 명시적인 컷으로 이어진 여러 샷이 들어가고, 모델이 시퀀스 전체를 한꺼번에 추론하기 때문에 컷을 넘어서도 “character identity, environment, lighting and voice”를 유지해요. Lightricks의 2.5 프롬프트 가이드는 이렇게 말해요.

  • “Use a single continuous take when you want unbroken camera motion, intimate performance, or dialogue that must stay lip-synced in one framing. … When a scene involves dialogue, multiple beats, or precise timing, write it in a screenplay style.”
  • “Prefer 2-4 shots in one generation.” 컷마다 편집을 글로 명시하고 (“a hard cut to…”), 새 샷을 다시 설정하고(크기, 각도, 프레임 속 인물, 조명), 다시 나오는 캐릭터는 대명사가 아니라 같은 묘사로 다시 지정하고, 사운드가 어떻게 되는지 쓰세요(“the room tone continues across the cut”, “the dialogue drops; only wind remains”).
  • 샷이 바뀌어도 오리지널 캐릭터의 디자인, 의상, 조명을 일관되게 유지하세요.

그러므로 두 사람의 대화는 생성 한 번 안의 샷 / 리버스 샷이에요. A가 대사를 말하는 미디엄 샷, 같은 테이블에 같은 조명으로 앉아 대답하는 B의 미디엄 샷으로 하드 컷하고, 룸 톤은 이어져요. 샷마다 얼굴은 하나뿐이라서 아무도 동시에 입을 맞추지 않고, 생성은 한 번뿐이라서 테이블도, 두 사람도, 각자의 목소리도 하나예요. 긴 테이블 테이크에서 생긴 “서로 다른 두 테이블, 중간에 바뀌는 캐릭터”는 모델이 전체를 보지 못하게 한 채 장면을 별개의 생성 세 번으로 이어 붙인 대가였어요.

3. 장면이 한 번의 생성보다 길어야 할 때, 생성 사이의 연속성

  • 커뮤니티의 확장 워크플로(RuneXX, Kijai, IAMCCS 확장 노드)는 이전 클립의 마지막 약 3초(73프레임)를 프레임 하나가 아니라 컨텍스트로 넣고, 새 구간을 이전 구간에 맞춰 색을 보정하고, 오디오를 섞고, 구간을 10-20초로 유지하며, 약 60초가 지나면 흔들림이 생긴다고 예상해요. “Incorrect slices can result in weird seam timing, sudden resets, or continuity breaks.”
  • 패널의 One Shot은 프레임 하나를 넘겨요. 그래서 이음새마다 멈췄다가 다시 시작하고(오늘 아침에 측정했어요), 장면이 파트를 거치며 흔들려요. 번들된 RetakePipeline.extend_from_video는 원본 클립을 조건으로 쓰는데, 73프레임의 끝부분을 넣으면 커뮤니티 방식 그대로예요. 뭉개졌던 앞선 “구간 체인”은 Q4에서 121프레임 끝부분을 썼어요. 다른 실험이었어요.
  • 번들된 포크에는 Prompt Relay(--segment TEXT [LEN])도 있어요. 생성 하나 안에서 각 구간의 글이 타임라인의 한 조각으로 제한돼요. 보이는 입이 움직이는 것은 막을 수 없지만, 화자 B의 대사가 화자 A의 시간으로 번지는 것은 막을 수 있어요. 패널은 아직 이 기능을 노출하지 않아요.

4. 외계인(그리고 모든 투샷)을 위한 레시피

교환 한 번에 생성 한 번, 이 Mac의 High 720p에서 10초(241프레임)로, 스크린플레이 방식의 멀티샷 프롬프트로 써요.

Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.

여기에 담긴 규칙: 샷마다, 대사마다 화자는 한 명. 화자는 인용문 앞에 매번 같은 말로 묘사한다. 컷을 명시한다. 컷을 넘는 사운드를 적는다. “preserve” 문장. “lip sync”. 대사 전에 얼굴이 먼저 도착한다. 30초 분량의 대화는 이런 생성 세 번을 컷에서 이어 붙여 만들어요 (컷은 이음새를 감추지만 One Shot은 그럴 수 없어요). 각 생성이 두 외계인을 같은 묘사로 다시 설명하기 때문에 모델이 같은 한 쌍을 다시 만들어 내요. 한 장면이 10초보다 길게 끊김 없는 테이크여야 한다면, 프레임 하나가 아니라 73프레임의 끝부분을 컨텍스트로 삼아 연장하세요(§3). 이 경로는 지금 패널에 구현되어 있지 않아요.

4b. 90초 독백 테이크에서 측정한 두 가지 결함과 해결책

  • 파트의 끝과 첫 프레임에서 입은 닫혀 있는데 목소리가 나오는 문제: 5초 장면에 10-14단어짜리 대사를 넣었어요. 말은 초당 약 2.5단어라서 오디오가 장면을 넘쳤고 파트 경계에서 잘렸어요. 해결: 장면당 7단어 이하, 대사 뒤의 침묵을 글로 쓰기, 첫 대사 전에 말없이 바라보는 순간 넣기(패널 자체의 길이 규칙이에요. §4는 이미 이를 전제했어요).
  • “과다 노출 효과로 섞이는 컷”: 이미지 투 비디오 파트는 안에서 노출이 달라져요(10초 동안 평균 휘도 137 → 178). 다음 파트는 고정된 첫 프레임에서 한 프레임 뒤에 다시 레벨을 맞추기 때문에(178 → 157), 경계에서 색을 맞춰도 고칠 것이 보이지 않아요. 해결: scripts/join_smooth.py --hold-exposure가 모든 프레임의 평균 휘도를 테이크의 첫 1초로 고정해요(12프레임에 걸쳐 평활화). 126-175 사이를 오가던 같은 30초 구간이 159로 평평해지고, 여기에 이음새 색 페이드와 120ms 오디오 크로스페이드가 더해져요. 조명이 계약상 일정할 때만 유효하고, One Shot의 조명 고정이 그것을 보장해요. 점점 어두워져야 하는 장면에는 쓰면 안 돼요.

4c. 파트를 넘나드는 말하는 캐릭터: 말하는 프레임에서 넘기고, 싱크를 검문하세요

  • 닫힌 채 소리 없는 입에 고정한 이어지는 파트는 다음 대사를 립싱크하지 않아요(측정: 입 벌림과 목소리의 상관 r −0.15 / +0.20. 커뮤니티의 확장 노트도 같은 말을 해요). 말하는 도중의 프레임에 고정하면 싱크가 맞아요(+0.47). One Shot의 take_handoff=speech는 각 파트를 대사가 끝나는 곳에서 잘라(take_speech_end, 0.4초 여유) 다음 파트를 거기에 고정하고, 각 파트의 첫 장면은 싱크가 자리 잡을 시간을 주도록 말없이 바라보는 순간으로 시작해요.
  • 첫 파트조차 운이에요. 같은 설정으로 두 대사에서 +0.41과 −0.27이 나왔어요. 그래서 대사가 있는 파트는 모두 측정하고 (take_lipsync_score, scripts/lipsync_check.py와 같은 측정이에요), 0.20 미만이면 새 시드로 한 번 다시 찍어서 더 나은 클립을 남겨요.
  • 10초 파트 하나에 실제 대사 한 줄(18단어 이하)만 넣고, 5초 장면마다 한 줄씩 넣지 마세요. 대사에는 컷, 편집, 샷, 장면 같은 단어를 쓰지 마세요. 학습한 오리지널 캐릭터는 Q8 Pro로 렌더링해요.

5. 증거(2026-09-07 렌더링, 10초, High 720p, 시드 4242)

§4의 프롬프트를 일반 텍스트 투 비디오 작업 하나로 제출했어요(테이크도 핸드오프도 없음). 0-5초에는 키 큰 외계인이 촛불이 켜진 테이블에 혼자 앉아 대사를 하고, 5초에 깨끗한 하드 컷이 들어가고, 5-10초에는 키 작은 외계인이 같은 테이블에 혼자 앉아 밝은 조명 아래 표정이 읽히는 채로 대답해요. 샷마다 얼굴 하나, 방 하나, 한 쌍. 그날 처음으로 아무도 동시에 말할 수 없었고 테이블이 바뀌지도 않은 렌더링이에요. mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4.

출처

  • Lightricks, LTX-2.5 prompt guide, https://ltx.io/blog/ltx-2-5-prompt-guide
  • Lightricks, Prompting guide for LTX-2, https://ltx.io/blog/prompting-guide-for-ltx-2
  • Lightricks/LTX-2 README and the LTX-2 model card (structure, “frame count 8k+1”)
  • Lightricks/ComfyUI-LTXVideo issue #395 (multi-character lip-sync, open): https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
  • RuneXX/LTX-2.3-Workflows discussions #116 (dual character) and #131 (multi-extend: 3 s of context frames, colour match, 20 s groups, ~60 s before drift)
  • Kijai/LTXV2_comfy discussion #36 (extend any video: 73-frame minimum overlap)
  • fal.ai, How to use LTX-2.5 (multi-shot: name the edit, re-establish, re-identify, state the sound; ≤3 shots; let the face arrive before the line)
  • ltx23.org, LTX 2.5 release guide (native multi-shot, “Preserve … across every shot”)
  • ltx.io/blog How to add AI voiceovers & dialogue (one speaker per line, short lines)

출처: docs/LTX_DIALOGUE.md (공개 저장소). 공개 전에 이 웹사이트용으로 검토했어요. 영어 원문에서 번역했어요. 수정 제안하기.