ヘルプ / 動画
動画
オリジナルまたはスタイライズしたキャラクター、あるいは同意を文書で得た自分自身の姿を使ってください。実在する他人とわかる描写には、その人の同意を文書で得る必要があります。参照画像、学習データ、音声、生成物のすべてについて、利用規約(Acceptable Use Policy)に従ってください。
動画タブは、プロンプト(そして、お好みで画像やクリップ)から、音付きの動画を作ります。モードを選び、プロンプトを書き、画質と長さを選んで、生成を押します(プロンプト欄では⌘⏎)。
モード
フォームの上に並んでいるチップです。それぞれ、何を入力に使うかが書かれています。
| モード | 入力 | 得られるもの |
|---|---|---|
| テキスト | プロンプト | 言葉だけから作るクリップ |
| キャラクター | 学習したキャラクター + プロンプト | 新しいショットに登場するオリジナルのキャラクター(LTXのみ)。キャラクターを使うをご覧ください |
| 画像 | 参照画像 + プロンプト | 画像から始まる、または画像をヒントにしたクリップ |
| 開始・終了フレーム(FFLF) | 開始フレームと終了フレーム | 一方からもう一方へ移り変わるクリップ |
| キーフレーム | 3〜8枚のフレーム | 各フレームを順に通るクリップ |
| 延長 | クリップ | そのクリップの後ろまたは前に続く映像 |
| 音を追加 | クリップ | 同じ映像に、新しく作ったサウンドを付けたもの(Hailuo H3のみ) |
| リップシンク | 画像とあなたの音声 | あなたのトラックを演じるオリジナルのキャラクター。音声が開きます |
| リミックス | 手持ちのメディア | Ingredients、モーションコントロール、カラー化、アップスケール&フェイス修正。リミックスをご覧ください |
Hailuo H3でレンダリングできるのは、テキスト、画像、開始・終了フレーム、キーフレーム、延長、音を追加、リップシンクです。キャラクターとリミックスはLTX専用です。H3でできることをご覧ください。
画像:アンカーかインスパイアか
PNG、JPG、WEBPを参照画像にドロップします。画像は中央を基準に、レンダリングサイズに合わせてトリミングされます。LTX-2.5では参照の用途の行が表示されます。
- アンカー:この画像を動かす。画像が1フレーム目になり、クリップがそれを動かします。
- インスパイア:画像から新しいショットを作る。キャラクターや雰囲気を新しいシーンに引き継ぎ、1フレーム目に画像が現れることはありません。「このキャラクターで、新しいシーン」に向いています。
Hailuo H3では、画像は常に最初のフレームになります。
FFLFとキーフレーム
- FFLF:開始フレーム(フレーム0)がクリップの始まりで、その形が出力サイズを決めます。終了フレーム(最後のフレーム)がクリップの終わりです。終わりをクローズアップにすると、クリップ全体でキャラクターの一貫性を保ちやすくなります。
- キーフレーム:キーフレーム3個からキーフレーム8個までを選びます。開始と終了は固定で、そのほかは途中のビートになります。
- どちらもLTXのHighアドオン(Q8モデル)が必要で、画質は自動的にHighになります。ない場合は、生成を押すとその旨とインストール先が表示されます。
延長
元の動画を選び、延長する長さ(秒)(0.5〜10、デフォルトは2)と方向(後ろに追加か前に追加)を設定します。延長には専用の2つの画質があります。
- Q8 ドラフト:12ステップ。64 GBのMacでも安全です。
- Q8 Pro:30ステップ。96 GB以上が必要です。
Macにそれだけのメモリがない限り、Q8 ドラフトのままにしてください。
Hailuo H3では、延長で最大15秒まで追加でき、クリップのサウンドも引き継がれます。H3での延長をご覧ください。
プロンプトを書く
シーンとサウンドの両方を書いてください。サウンドは映像と一緒に生成されるので、サウンドの記述がないプロンプトでは、ほとんど無音の仕上がりになります。
- 強化(LTX)は、モデルが学習した書き方にプロンプトを書き直します。LoRAがオンのときは、LoRAのメモを読み、トリガーワードを残します。
- 音楽なしにすると、BGMなしで、声、サウンド、環境音だけを生成します。
除外ボックス
除外 + を押すと2つ目のボックスが開き、モデルに作ってほしくないものを書けます。たとえばぼやけた手、歪んだ指、崩れた文字などです。
効くとき 除外が効くのは、High、High · 720p、延長、FFLF / キーフレーム、音声です。Quick、Balanced、Standardはガイダンスなしで動くため、除外は無視されます。Hailuo H3には除外ボックスがありません。避けたいことは、H3が頼んでいないのに足してしまうもの(カメラのぶれと画面上の文字)に限って、プロンプトの中で普通の文として書いてください。
LTXの画質と長さ
各画質チップには、サイズと、このMacでの目安が表示されます。このMacで動かせない場合は利用不可と表示されるか、必要なダウンロードが示されます。
| 画質 | サイズ | 内容 |
|---|---|---|
| Quick | 640×448 | ショットを最速で確認できます |
| Balanced | 1024×576 | ほとんどの動画が見られるサイズの16:9。デフォルトです |
| Standard | 1280×704 | 高速レーンで扱える最大のキャンバスです。大きくなりますが、細部が増えるわけではありません |
| High | 1024×576 | 最初のパスの上に、2回目のより大きなパスを重ねます。ディテールがシャープになり、動きも安定しますが、待ち時間は約2倍になります |
| High · 720p | 1280×704 | 720pでのHighパス。LTXで最も細部が出ます。計測したピークは49.7 GBなので、64 GBのMacが必要です |
Quick、Balanced、Standardは高速(蒸留)モデルで動きます。HighとHigh · 720pにはHighアドオン(Q8モデル)が必要です。
長さ:3秒、5秒(デフォルト)、7秒、10秒、そしてQuickでのみ選べる20秒です。
長いLTXクリップは、レンダリングの最後で使うメモリが3分の1少なくなりました(5.0.25)。レンダリングの最後の工程、つまり完成したショットをフレームに変える段階で、メモリがピークになります。32 GBを超えるMacでは、5秒より長いLTXクリップについて、この工程を128フレームずつのまとまりで行うようになりました。10秒のクリップで計測すると、1024×576では20 GBが約12.7 GBに、720pでは30 GBが19 GBになり、時間も同じで見た目の違いもありません。32 GB以下のMacはもともとまとまりごとに処理していたので、変わりません。
高速な画質では、スピードの行に調整済みと高速ドラフトがあります。高速ドラフトは、より速いスケジュールで、テイクの内容が変わります。HighにはSTG(ディテールガイダンス)のスライダーがあります。
学習したキャラクターを選ぶと、チップはQ8 ドラフト(704×384)とQ8 Pro(1024×576、最高の同一性)になり、LTX-2.5ではHighとHigh · 720pも加わります。学習したキャラクターはQ8 Proで最も安定します。
LTXのスライディングウィンドウ
1回のパスより長いクリップでは、詳細設定 → 長いクリップ → ウィンドウで、一連の処理としてレンダリングします。最初のパスを1回行い、あとのウィンドウごとに延長を1回ずつ行い、それぞれが前のウィンドウの残した終わりの部分から続きます。これにはHighアドオン(Q8モデル)と、延長に対応したMacが必要です。
ウィンドウごとのプロンプト。 ウィンドウ1は常に上のメインのプロンプトで、専用のボックスはありません。以降のウィンドウには、それぞれ時間付きのラベルが付いたボックス(「ウィンドウ2 · 0:05〜0:09」)が表示され、実際のレンダリングスケジュールから作られます。空欄のボックスは、直前の瞬間をそのまま保ちます。それぞれに、次の動きのビートを書いてください。先頭には動きを置きます(LTXは、プロンプトの最初に挙げられたものをレンダリングします)。不変条件、つまりウィンドウ間で変えたくないもの(フレームに誰がいるか、光、レンズ、場所)は、ボックスの下の欄に書くと、以降のすべてのウィンドウに自動で再投入されます。
これはH3のウィンドウごとのプロンプトに当たるLTX版です。1つのパスにつき1つのプロンプトを書き、動きが繰り返されないようにする考え方は同じですが、エンジンが違い、ボックスの配置も違います。ウィンドウの数と実際のタイミングが、固定の5秒グリッドではなくLTX自身のウィンドウプランナーで決まるためです。
Hailuo H3の画質と長さ
H3には専用のページがあります。Hailuo H3 動画エンジンをご覧ください。要点は次のとおりです。
| 画質 | サイズ | 備考 |
|---|---|---|
| ドラフト | 640×384 | ざっと確認するための画質です。顔や細部がはっきり出るのはStandardとHighからです |
| 高速HD | 640×384 → 1280×768 | まず高速ドラフトを作り、そのクリップ自身からアップスケール&フェイス修正でシャープにします |
| Standard | 768×448 | 主力の画質です |
| High | 1024×576 | 本当の16:9で、おすすめの納品サイズです |
| ネイティブ | 1344×768 | H3が作れる最も細かい画質です。常に高画質でレンダリングされ、待ち時間は長めです |
長さ:3秒、5秒(1回のパスで作れる最長)、5秒のウィンドウをつないだ10秒と15秒、そして10秒(1パス)(つなぎ目のない1ショット、高画質のみ)です。目安の時間はどれくらいかかるかにあります。
スピードとステップ数
- スピード:⚡ 高速 / ✦ 高画質。高速は3ステップのパスで、ずっと速い代わりに少しやわらかい仕上がりです。180 MBのアダプターをインストールすると(高速側のインストール (180 MB))、これがデフォルトになります。高画質は、そのサイズでのフルレンダリングで、顔がいちばんシャープです。ネイティブと10秒(1パス)は常に高画質でレンダリングされます。
- ステップ数:自動 / 12 / 16 / 20は、高画質のときだけ表示されます。ステップを増やすほど待ち時間は長くなります(20は公式のリファレンスレシピで、自動の約2.4倍です)。
- ランナーのアダプター枠が1つしかないH3のインストールでは、アダプターの行で、その枠をターボとマイ LoRAのどちらに使うかを選びます。両方を同時に動かすことはできません。H3でのLoRAをご覧ください。
ウィンドウごとのプロンプト
10秒または15秒のH3クリップでは、5秒のウィンドウごとに同じプロンプトが渡されるため、動きが繰り返されることがあります。ウィンドウごとのプロンプトを開き、ウィンドウごとに1行をオンにしてください。10秒ならボックスが2つ、15秒なら3つ表示されます。空のボックスにはメインのプロンプトが使われます。
H3の最初のフレームと向き
画像モードはH3でも使えます。画像が最初のフレームになります。向きの行(サイズチップの隣にあります)で、同じコストのままキャンバスを縦長にできます。
エンジンの比較
| LTX | Hailuo H3 | |
|---|---|---|
| モード | 動画のすべてのモード、リミックス、リップシンク | テキスト、画像、開始・終了フレーム、キーフレーム、延長、音を追加、リップシンク |
| サウンド | 映像と一緒に生成 | 映像、セリフ、サウンドを一緒に生成 |
| キャラクターとLoRA | 学習したキャラクター、LoRAのスタック | H3専用のLoRAライブラリ |
| 除外ボックス | Highとガイダンス付きのモードで使える | なし。プロンプトの中で伝えます |
| 最長のクリップ | 20秒(Quick)、それ以外は10秒 | 15秒、ウィンドウをつないで作成 |
| メモリ | ティアのダイアログ(ヘルスチップ → ティア)で、このMacで動かせる画質がわかります | 16 GB以上(下記参照) |
H3とメモリ。フルのH3エンジンには60 GBが必要です。16 GB以上のMacでは、H3はコンパクトなQ8エンジンで動きます。これはPinokioのPhospheneサイドバーにあるInstall Hailuo H3でローカルにビルドされます(約5分、約22 GB、追加のダウンロードなし)。設定のHailuo H3 モデルで、自動、フル、コンパクトから選べます。16 GB未満ではH3は提供されないので、LTXでレンダリングしてください。16 GB以上ならドラフトとStandardのクリップが作れ、18 GB以上ならHighも作れます。サウンドのクリーンアップとつないだクリップには36 GBが必要です。H3のインストールとトラブルシューティングをご覧ください。
LTXとメモリ:16〜24 GBのMacでメモリ使用量を削減(5.0.20)。 48 GB未満では、LTXはより小さいサイズでレンダリングし、24 GB以下のMacでは自動的に低メモリのパスを使います。16 GBのMacでは、クリップのメモリのピークは約5.7 GB、LoRAを使うと約6.7 GBです。生成されるフレームは以前と同じです。
アップスケールと書き出し
レンダリングのあと、クリップはトリミングなしでサイズを変更できます。
Hailuo H3の場合(レンダリング後 → アップスケール):
- ネイティブ:レンダリングしたままのサイズ。
- 720pフィット / 1080pフィット:フレームを埋めるように拡大します。16:9に近いキャンバス(H3のドラフトとStandard、LTXのStandard)は、黒帯が入る代わりに端の数ピクセルが切り取られます。16:9から大きく離れたもの(正方形、横長に縦長を入れるなど)には、引き続き余白が付きます。720pフィットがデフォルトです。
サイズの下にあるドラフトのあとにアップスケール&フェイス修正も実行は、任意の項目で、デフォルトではオフです。チェックを入れると、ドラフトはレンダリングしたままの状態で出力され、2つ目のジョブがLTX-2.5で2倍のサイズに再レンダリングします。元のディテールを整え、音声は保持され、補正したクリップはドラフトの隣に保存されます。0.3 GBのアップスケールアダプターが必要で、モデルのウィンドウからダウンロードします。所要時間は、ドラフトのときとほぼ同じだけ、もう一度かかります。
LTXの場合(レンダリング後 → 書き出し):720pフィット(デフォルト)、ネイティブ、または2×です。ネイティブ以外では、方法で高速(一瞬)かシャープ(よりシャープなアップスケーラー、+30〜90秒)を選びます。
完成したクリップは、あとからアップスケール&フェイス修正にかけることもできます。プレイヤー上のアクションオーバーレイでワンクリックです。
そのほかのコントロール
- シード:
-1はランダムです。同じシードを使うと、プロンプトを変えても同じテイクが得られます。 - LoRA:アドオンの選択です。LoRAをご覧ください。
- 向き(LTX):16:9、9:16、1:1、4:5です。
- 詳細設定:幅 × 高さ、長さ、フレーム数です。
- レンダリング後:書き出し / アップスケールと、終わったらファイルを開くです。
- ⊞ バッチ:たくさんのプロンプトを貼り付けて、すべてキューに入れます。
- 非表示(プレイヤーのツールバーの目のアイコン):クリップをギャラリーから隠します。トーストに元に戻すが表示されます。ギャラリーの絞り込み行にある非表示 (N) チップで、隠したものがすべて見られるので、間違えて隠したクリップもワンクリックで戻せます。
出典:webapp/docs/video.md(公開リポジトリ)。公開前にこのウェブサイト向けに確認済みです。英語の原文から翻訳しています。編集を提案する。