Pro
日本語
サインインアカウント Mac版をダウンロード
Mac版をダウンロード

ヘルプ / 動画

リップシンクと音声

オリジナルまたはスタイライズしたキャラクター、あるいは同意を文書で得た自分自身の姿を使ってください。実在する他人とわかる描写には、その人の同意を文書で得る必要があります。参照画像、学習データ、音声、生成物のすべてについて、利用規約(Acceptable Use Policy)に従ってください。

このページでは、音声タブのリップシンクを説明します。持ち込んだサウンドファイル(セリフや曲)に動かされる動画です。曲を作りたい場合は、Music Studioをご覧ください。サウンドは、動画の生成中に映像を導きます(あとから重ねるのではありません)。そのため、口は言葉に合わせて動き、動きは音楽に従います。テキストからサウンドを作ることはしません。それには、動画のプロンプトにサウンドを書いてください。

これがPhospheneのリップシンクです。画像(任意)と音声の一区間から、口がトラックに合わせて動くクリップを1本作ります。「しゃべる写真」や、パフォーマンスを新しいサウンドトラックに吹き替える処理と同じ考え方です。動画タブのモードバーにもリップシンクチップがあり、ここへ直接移動できます。

作り方

リップシンク:画像と音声がひとつの演技になります。
  1. 音声をドロップします。WAV、MP3、M4A、FLACが使えます。パネルが長さを読み取り、長さをそれに合わせます。ギャラリーにすでにある音声(作曲した曲、セリフの音声)は、Finderを経由する必要がありません。そのカードの使用… → リップシンクを選んでください。
  2. 任意:参照画像を入れると、そのフレームからクリップが始まります。しゃべる顔なら、ポートレートです。空のままなら、純粋な音声から動画を作ります。口を閉じた、正面を向いた画像が最もうまくいきます。下のヒントをご覧ください。
  3. プロンプトを書きます。強化が、モデル向けに書き直します。短く(約40語以内)、シーンやサウンドではなく、演技(表情、身振り、呼吸)を説明してください。同期を指示する1文は自動で付け足されます。
  4. 幅と高さ(デフォルトは1024×576)、開始位置(ファイルの何秒目からか。たとえば30なら0:30からクリップを動かします)、長さ(1〜30秒)を設定します。開始位置や区間がファイルの終わりを超える場合は、レンダリングの前に拒否されるか警告されます。その部分は無音になり、無音こそ口が固まる場所だからです。
  5. 音声への追従の強さ:口が明らかに緩すぎる、または硬すぎるのでなければ、自動のままにしてください。2つのレンダリングレーン(Q8 / Q4)はこの数値を違う読み方をするので、今使っているMacに常に正しい値は自動だけです。
  6. 生成。

ヒント 口が動かないときは、(1) 口を閉じた、正面を向いた画像から始めてください。口を開いた画像は開いたまま固まりやすく、パネルは検出すると警告します。(2) プロンプトから「static」「holds still」「motionless」のような言葉を取り除いてください。静止を表す語は、口を含めてシーン全体を固めます。(3) 曲の場合は、ボーカルのみのオプションを試してください。モデルがミックス全体ではなく、声に耳を傾けるようになります。大きなキャンバスに長い長さを組み合わせると、非常に長いレンダリングになります。タブが警告し、より小さいサイズを提案します。

曲の続きを作成(完成したクリップのプレイヤーにあります):このクリップの終盤で最も口が閉じているフレームから、次のクリップを始めます。文字どおりの最後のフレームではありません。そこは多くの場合、音節の途中だからです。開始位置もそれに合わせて進みます。この方法で、曲全体を、つなぎ目ごとのジャンプカットなしでつなげられます。

エンジン。Hailuo H3をインストールしてあると、エンジンの行にLTX(あなたの音声が映像を導きます)とHailuo H3(トラックを演じます。顔、体、部屋まで、そしてあなたの音声はそのまま保たれます)が表示されます。H3でのリップシンクをご覧ください。LTXは、インストールされていればHigh(Q8)パイプラインで、そうでなければ高速なQ4パイプラインでレンダリングします(64 GB未満のMacで使われるレーンも、これです)。

出典:webapp/docs/audio.md(公開リポジトリ)。公開前にこのウェブサイト向けに確認済みです。英語の原文から翻訳しています。編集を提案する。