ヘルプ / 動画
2人の会話シーン
オリジナルまたはスタイライズしたキャラクター、あるいは同意を文書で得た自分自身の姿を使ってください。実在する他人とわかる描写には、その人の同意を文書で得る必要があります。参照画像、学習データ、音声、生成物のすべてについて、利用規約(Acceptable Use Policy)に従ってください。
「ディナーの席の2人のエイリアン」を1日で8回レンダリングして、パネルはたくさんのことを痛い目に遭いながら学びました。9回目を回す前に、対話、複数のキャラクター、連続性についてLightricks自身のガイド、LTX-2のモデルカード、コミュニティのワークフロー、未解決のissueが何と言っているかをまとめます。そこから導かれるレシピもあわせて紹介します。
1. 複数の顔が映るリップシンクは、プロンプトの不具合ではなく未解決の問題
- LightricksのComfyUIのissue #395(「画像に複数のキャラクターがいるとき、誰が話しているかをどう制御するか」)は、オーナーが耳にしたことをそのまま説明しています。「キャラクターAかBが、セリフの一部にランダムに口を合わせ始める。2人とも同じ言葉を同時にしゃべっているように見えることが非常に多い」。このissueは未解決で、メンテナーからの回答もありません。
- コミュニティで実際に使える答えは、どれも同じ形をしています。1回の生成につき、話す顔は1つ(キャラクターを1人ずつレンダリングして合成する)、外部の音声を使ったマスク、あるいは録音済みのセリフです。プロンプトで誰が話すかを「念押し」すること(“the woman in the red dress is talking, the man is silently listening”)は、効くこともありますが、効かないことのほうが多く、これは私たちのv2とv3の計測でも確かめられました。
- オーディオガイド自身のアドバイスは次のとおりです。1行につき話す人は1人、セリフは短く、引用の前に話し手と話し方を書く(“she says in a calm, seasoned voice: ’…’”)、自然なペースで約9秒分の話し言葉、プロンプトに”lip sync”の語を入れる、明るくて正面を向いた顔にする、そして「顔を先に出す」。1フレーム目から始まるセリフでは、同期が合わせる手がかりがありません。
つまり会話は、セリフが流れているあいだ、話し手の顔だけが画面にいるように書きます。パネルのワンショットのステージングのルール(ビートには、画面にいるべき人だけを書く)も同じ考え方ですが、入れ物が合っていません。
2. 正しい入れ物は、ワンショットではなくマルチショットの生成
LTX-2.5の目玉機能はネイティブのマルチショットです。1つのプロンプト、1回の生成の中に、明示的なカットで結ばれた複数のショットを入れられます。モデルはシーケンス全体をまとめて考えるので、カットをまたいでも「キャラクターの同一性、環境、照明、声」を保ちます。Lightricksの2.5プロンプトガイドには次のようにあります。
- 「途切れないカメラの動き、親密な演技、1つのフレームの中で口を合わせ続けたい対話を撮るときは、1回の連続テイクを使います。(中略)シーンに対話、複数のビート、正確なタイミングが含まれる場合は、脚本のスタイルで書きます」。
- 「1回の生成に2〜4ショットを入れるのがおすすめです」。カットごとに、編集を文章で名指しし(“a hard cut to…”)、新しいショットを立て直し(スケール、アングル、フレームにいる人、光)、戻ってくるキャラクターは代名詞ではなく同じ記述で呼び直し、サウンドがどうなるかを書きます(“the room tone continues across the cut”、“the dialogue drops; only wind remains”)。
- ショットをまたいで、オリジナルキャラクターのデザイン、衣装、照明を一貫させます。
したがって、2人の会話は1回の生成の中の切り返しショットになります。Aがセリフを言うミディアムショット、a hard cut to、同じテーブルで同じ光の中にいるBが答えるミディアムショット、そのあいだルームトーンは続きます。ショットごとに顔は1つなので、ユニゾンで口が動くことはありません。生成は1回なので、テーブルは1つ、2人は同じ2人、声もそれぞれ1つです。長いテーブルのテイクで起きた「テーブルが2つあって、途中でキャラクターが変わる」という問題は、モデルが全体を見ることを許されなかったシーンを、3回の別々の生成でつなぎ合わせた代償でした。
3. 1つのシーンが1回の生成より長くなるときの連続性
- コミュニティの延長ワークフロー(RuneXX、Kijai、IAMCCSの延長ノード)は、直前のクリップの最後の約3秒(73フレーム)を、1フレームではなくコンテキストとして渡します。新しいセグメントの色を前のものに合わせ、音声をブレンドし、セグメントは10〜20秒に保ち、約60秒を過ぎるとずれが出ると見込みます。「誤ったスライスは、奇妙なつなぎ目のタイミング、突然のリセット、連続性の断絶につながることがあります」。
- パネルのワンショットが引き継ぐのは1フレームだけです。だからこそ、つなぎ目のたびに止まって再スタートし(今朝計測しました)、シーンがパートをまたいでずれていきます。組み込み済みの
RetakePipeline.extend_from_videoは、元のクリップを条件にします。73フレームの終端を渡せば、コミュニティの方式になります。以前のドロドロに崩れた「ウィンドウ連鎖」は、Q4で121フレームの終端を使ったもので、別の実験でした。 - 組み込み済みのフォークにはPrompt Relay(
--segment TEXT [LEN])も入っています。セグメントごとの言葉を、1回の生成の中でタイムラインの一部分に割り当てます。見えている口が動くのは止められませんが、話し手Bのセリフが話し手Aの秒数に漏れ出すのは防げます。パネルにはまだ公開されていません。
4. エイリアンのレシピ(2人のやりとりすべてに使えます)
やりとり1回につき生成を1回、このMacでHigh 720p、10秒(241フレーム)で、脚本スタイルのマルチショットのプロンプトとして書きます。
Night, a candle-lit dining room. A medium shot of a tall thin alien in a deep
violet robe, pale grey-green skin, seated at a small round table, warm
candlelight on its face, alone in frame. It looks up and says slowly, in a deep
resonant voice: "The humans split the atom before they learned to share bread."
A hard cut to a medium shot, same table, same candlelight, of a short round
alien in a plain grey robe, darker olive skin, wide head, alone in frame; the
room tone continues across the cut. It answers quickly, in a thin high voice:
"Every species we ever watched said that about its neighbours." Preserve both
aliens' faces, robes and the candlelit room across every shot. Lip sync.
これに組み込まれているルール:ショットごと、セリフごとに話し手は1人。引用の前に、毎回同じ言葉で話し手を描写する。カットを名指しする。カットをまたぐサウンドを書く。“preserve”の文。“lip sync”。セリフの前に顔が現れる。30秒の会話なら、このような生成を3回行い、カットでつなぎます(カットはつなぎ目を隠しますが、ワンショットは隠せません)。それぞれの生成で、2体のエイリアンを同じ記述で描き直して、モデルが同じ2人を再現できるようにします。シーンを10秒より長く途切れなしの1テイクにしなければならない場合は、1フレームではなく73フレームの終端をコンテキストにして延長します(§3)。この経路は、今のパネルにはまだありません。
4b. 90秒のモノローグのテイクで計測した2つの不具合と、その対策
- パートの終わりと最初のフレームでの閉じた口の上の声:5秒のビートに10〜14語のセリフを入れていました。話す速さは約2.5語/秒なので、音声がビートをはみ出し、パートの境目で切れていました。対策:1ビートあたり7語以下、セリフのあとの沈黙を書く、最初のセリフの前に黙って見回す間を置く(パネル自身の長さのルールで、§4はすでにこれを前提にしていました)。
- 「カットが露出オーバーのエフェクトでぼやけてつながる」:画像から動画のパートは、その内部で露出がずれていき(10秒間で平均輝度が137から178へ)、次のパートは固定された最初のフレームの1フレーム後にレベルが戻ります(178から157へ)。そのため、境目での色合わせでは直すべきものが見つかりません。対策:
scripts/join_smooth.py --hold-exposureが、全フレームの平均輝度をテイクの最初の1秒に固定します(12フレームで平滑化)。126〜175で揺れていた同じ30秒が、159で平らになりました。さらに、つなぎ目での色のフェードと、120 msのオーディオクロスフェードも入ります。光が契約上一定であるときにだけ有効で、ワンショットの光の固定がそれを満たします。暗くなっていくシーンでは使ってはいけません。
4c. パートをまたいで話し続けるキャラクター:話している瞬間のフレームで引き継ぎ、同期を検査する
- 閉じて黙った口のフレームを起点にした続きのパートは、次のセリフに口を合わせません(計測:口の開きと声の相関r −0.15 / +0.20。コミュニティの延長メモも同じことを述べています)。単語の途中のフレームを起点にすると同期します(+0.47)。ワンショットの
take_handoff=speechは、各パートをそのセリフが終わる場所で切り(take_speech_end、0.4秒の余白)、次のパートをそこから始めます。各パートの最初のビートは黙って見回す間から始まり、同期が合うための猶予が生まれます。 - 最初のパートでさえ運次第です。まったく同じ設定で、2つのセリフが+0.41と−0.27になりました。そのため、話すパートはすべて計測され(
take_lipsync_score、scripts/lipsync_check.pyと同じ指標)、0.20を下回ると新しいシードで1回だけやり直し、良いほうのクリップが残ります。 - 10秒のパートにつき、実際のセリフは1つ(18語以内)、5秒のビートごとに1つ置くことはしません。セリフの中には、カット、編集、ショット、シーンといった語を入れません。学習したオリジナルのキャラクターはQ8 Proでレンダリングします。
5. 実証(2026-09-07にレンダリング、10秒、High 720p、シード4242)
§4のプロンプトを、1本の通常のテキストから動画のジョブとして送信しました(テイクも引き継ぎもなし)。0〜5秒では、背の高いエイリアンがキャンドルの灯るテーブルに1人で座り、セリフを言います。5秒できれいなハードカット。5〜10秒では、背の低いエイリアンが同じテーブルに1人でいて、明るく照らされ、表情が読み取れる状態で答えます。ショットごとに顔は1つ、部屋は1つ、2人は同じ2人です。ユニゾンで口が動くこともなく、テーブルが変わることもない、この日初めてのレンダリングになりました。mlx_outputs/ltx_multishot_dialogue_aliens_10s_high720p.mp4。
出典
- Lightricks, LTX-2.5 prompt guide https://ltx.io/blog/ltx-2-5-prompt-guide
- Lightricks, Prompting guide for LTX-2 https://ltx.io/blog/prompting-guide-for-ltx-2
- Lightricks/LTX-2のREADMEとLTX-2のモデルカード(構造、「フレーム数 8k+1」)
- Lightricks/ComfyUI-LTXVideoのissue #395(複数キャラクターのリップシンク、未解決) https://github.com/Lightricks/ComfyUI-LTXVideo/issues/395
- RuneXX/LTX-2.3-Workflowsのdiscussions #116(2人のキャラクター)と#131(マルチ延長:3秒のコンテキストフレーム、色合わせ、20秒のグループ、ずれが出るまで約60秒)
- Kijai/LTXV2_comfyのdiscussion #36(あらゆる動画を延長:最低73フレームの重なり)
- fal.ai, How to use LTX-2.5(マルチショット:編集を名指しする、立て直す、呼び直す、サウンドを書く。3ショット以内。セリフの前に顔を出す)
- ltx23.org, LTX 2.5 release guide(ネイティブのマルチショット、“Preserve … across every shot”)
- ltx.io/blogのHow to add AI voiceovers & dialogue(1行につき話し手は1人、セリフは短く)
出典:docs/LTX_DIALOGUE.md(公開リポジトリ)。公開前にこのウェブサイト向けに確認済みです。英語の原文から翻訳しています。編集を提案する。