帮助文档 / 视频
对口型和音频
请使用原创或风格化的角色,或经有据可查的同意后使用你本人的形象。任何涉及其他可识别真人的描绘,都需要对方有据可查的同意。所有参考图、训练数据、音频和作品,都请遵守可接受使用政策。
这一页介绍“音频”标签页里的对口型:由你带来的声音文件驱动的视频,可以是一句人声,也可以是一首歌。要写歌,请看 Music Studio。声音在生成画面的过程中就在引导它(不是事后叠上去的),所以嘴会跟着歌词动,动作也会跟着音乐走。它不会由文字生成声音;要做那样的事,请在任何视频提示词里描述声音。
这就是 Phosphene 的对口型:一张图片(可选)加一段音频,变成一个嘴跟着音轨动的片段,和“会说话的照片”或给表演配上新配乐是同一个思路。视频标签页的模式栏上也有一个对口型选项,可以直接跳到这里。
制作一个
- 拖入音频,支持 WAV、MP3、M4A 或 FLAC。面板会读取它的长度,并把“时长”默认设为与之相同。已经在“作品”里的音频(你作曲的歌、一句人声)不用再去访达里找:在它的卡片上点使用… → 对口型。
- 可选:一张参考图,让片段从这一帧开始,比如给会说话的头像用的人像。留空就是纯音频到视频。闭嘴、正对镜头的图片效果最好,见下面的提示。
- 写提示词。优化会为模型改写它。请保持简短(约 40 个词以内),描述表演(表情、手势、呼吸),而不是场景或声音,系统会自动附加一句同步用语。
- 设置宽度和高度(默认 1024×576)、起始位置(文件中的秒数,比如 30 就从 0:30 开始驱动片段)和时长(1-30 秒)。起始位置或窗口超出文件末尾时,渲染前会被拒绝或给出警告:那一段会是静音,而静音正是嘴停住的地方。
- 音频引导强度:除非嘴明显太松或太僵,否则保持自动。两条渲染通道(Q8 / Q4)对这个数字的理解不同,只有“自动”始终适合你用的这台 Mac。
- 点生成。
提示 如果嘴不动:(1) 从一张闭嘴、正对镜头的图片开始,张着嘴的锚定图往往会一直张着,面板检测到这种情况时会警告;(2) 把提示词里的“静止”、“保持不动”、“一动不动”这类说法删掉,表示静止的词会让整个场景都冻住,嘴也不例外;(3) 如果是歌曲,试试仅人声的选项,让模型听人声而不是完整混音。大画布加长时长会渲染很久,标签页会警告你,并建议用更小的尺寸。
继续这首歌(在已完成片段的播放器上):下一个片段会从这个片段结尾附近嘴最闭合的那一帧开始,而不是真正的最后一帧,那一帧通常在一个音节中间,“起始位置”也会相应往后推。这样可以把整首歌串起来,每个衔接处都没有跳切。
引擎。安装了 Hailuo H3 后,会有一行引擎,可选 LTX(你的音频驱动画面)或 Hailuo H3(它来表演这段音轨,包括面部、身体和房间,并让你的音频保持原样)。见 H3 上的对口型。LTX 在已安装“高”(Q8)管线时用它渲染,否则用快速的 Q4 管线(64 GB 以下的 Mac 也用这条通道)。
来源:webapp/docs/audio.md,位于公开仓库。发布前已针对本网站审阅。译自英文原文。建议修改。