Pro
한국어
로그인계정 Mac용 다운로드
Mac용 다운로드

문서 / 영상

립싱크와 오디오

오리지널 캐릭터나 스타일화된 캐릭터, 또는 문서로 동의를 남긴 본인의 모습을 사용하세요. 다른 식별 가능한 사람을 묘사하려면 그 사람의 문서화된 동의가 필요해요. 모든 참조 이미지, 학습 데이터, 오디오, 결과물은 이용 정책을 따라야 해요.

이 페이지는 오디오 탭의 립싱크를 다뤄요. 대사나 노래처럼 내가 가져온 사운드 파일이 이끄는 영상을 만드는 기능이에요. 노래를 직접 쓰고 싶다면 뮤직 스튜디오를 보세요. 사운드는 영상을 생성하는 동안 화면을 이끌기 때문에(나중에 덧입히는 게 아니에요) 입이 가사에 맞춰 움직이고 동작이 음악을 따라가요. 텍스트로 사운드를 만들어 주지는 않아요. 그럴 때는 아무 영상 프롬프트에나 원하는 소리를 적으세요.

사진(선택)과 오디오 한 구간으로 입이 트랙을 따라 움직이는 클립 하나를 만드는 Phosphene의 립싱크예요. “말하는 사진”이나 연기를 새 사운드트랙에 맞춰 더빙하는 것과 같은 발상이에요. 영상 탭의 모드 바에도 이곳으로 바로 이동하는 립싱크 칩이 있어요.

만드는 방법

립싱크: 사진과 내 오디오가 하나의 연기가 돼요.
  1. 오디오를 올리세요. WAV, MP3, M4A, FLAC을 쓸 수 있어요. 패널이 길이를 읽어서 길이 기본값을 거기에 맞춰요. 갤러리에 이미 있는 오디오(작곡한 노래, 대사)는 Finder를 거칠 필요 없이 카드의 사용… → 립싱크로 보내세요.
  2. 선택 사항: 참조 이미지를 넣으면 클립이 그 프레임에서 시작해요. 말하는 얼굴이라면 인물 사진을 쓰세요. 비워 두면 순수한 오디오 투 비디오가 돼요. 입을 다문 정면 사진이 가장 좋아요. 아래 팁을 참고하세요.
  3. 프롬프트를 쓰세요. 향상은 모델에 맞게 프롬프트를 다시 써 줘요. 짧게(약 40단어 이내) 쓰고, 장면이나 소리보다는 연기(표정, 몸짓, 호흡)를 묘사하세요. 싱크 문장은 자동으로 덧붙여져요.
  4. 너비와 높이(기본 1024×576), 시작 위치(파일 안의 초 단위 위치예요. 예를 들어 30이면 0:30부터 클립을 이끌어요), 길이(1-30초)를 정하세요. 시작 위치나 구간이 파일 끝을 넘으면 렌더링 전에 거부되거나 경고가 나와요. 그 구간은 무음이 되고, 입이 굳는 건 바로 무음일 때예요.
  5. 오디오 조건 강도: 입이 확실히 너무 헐겁거나 뻣뻣하지 않다면 자동으로 두세요. 두 렌더링 경로(Q8 / Q4)는 이 숫자를 서로 다르게 해석하는데, 지금 쓰는 Mac에서 늘 맞는 값은 자동뿐이에요.
  6. 생성을 누르세요.

팁 입이 움직이지 않는다면 이렇게 해 보세요. (1) 입을 다문 정면 사진으로 시작하세요. 입을 벌린 기준 이미지는 벌린 채 굳기 쉬워서, 패널이 그런 사진을 감지하면 경고해요. (2) 프롬프트에서 “static”, “holds still”, “motionless” 같은 표현을 빼세요. 정지를 뜻하는 말은 입을 포함한 장면 전체를 굳게 해요. (3) 노래라면 보컬만 쓰는 옵션을 시도해 보세요. 모델이 전체 믹스 대신 목소리를 듣게 돼요. 큰 캔버스에 긴 길이를 고르면 렌더링이 아주 오래 걸려요. 탭이 경고하고 더 작은 크기를 제안해요.

노래 이어 가기(완성된 클립의 플레이어에서): 이 클립 끝부근에서 입이 가장 많이 닫힌 프레임에서 다음 클립을 시작해요. 실제 마지막 프레임은 대개 음절 중간이라서 쓰지 않아요. 시작 위치도 그에 맞춰 앞으로 이동해요. 이렇게 연결하면 노래 전체를 이음새마다 점프 컷 없이 이을 수 있어요.

엔진. Hailuo H3가 설치되어 있으면 엔진 행에서 LTX(내 오디오가 화면을 이끌어요)와 Hailuo H3(트랙을 얼굴, 몸짓, 공간까지 연기하고 내 오디오는 그대로 유지해요) 중에서 고를 수 있어요. H3의 립싱크를 보세요. LTX는 High(Q8) 파이프라인이 설치되어 있으면 그것으로, 아니면 빠른 Q4 파이프라인으로 렌더링해요(64GB 미만 Mac에서도 이 경로를 써요).

출처: webapp/docs/audio.md (공개 저장소). 공개 전에 이 웹사이트용으로 검토했어요. 영어 원문에서 번역했어요. 수정 제안하기.