Справка / Видео
Видео
Используйте оригинальных или стилизованных персонажей либо своё собственное изображение при наличии документально оформленного согласия. Любое изображение другого узнаваемого человека требует его документально оформленного согласия. Соблюдайте Политику допустимого использования для всех референсных изображений, обучающих данных, аудио и результатов.
Вкладка «Видео» превращает промпт, а при желании ещё и изображение или клип, в видео со звуком. Выберите режим, напишите промпт, задайте «Качество» и «Длина» и нажмите Создать (⌘⏎ из поля промпта).
Режимы
Это чипы в верхней части формы. Каждый показывает, что ему нужно на входе.
| Режим | Что принимает | Что вы получите |
|---|---|---|
| Текст | промпт | клип только из слов |
| Персонаж | обученный персонаж и промпт | ваш оригинальный персонаж в новом кадре (только LTX). См. Как использовать персонажа |
| Изображение | референсное изображение и промпт | клип, который начинается с вашей картинки или вдохновлён ею |
| Начальный и конечный кадры (FFLF) | начальный и конечный кадры | клип, который плавно переходит от одного к другому |
| Ключевые кадры | 3-8 кадров | клип, который проходит через каждый из них |
| Продлить | клип | продолжение этого клипа вперёд или назад |
| Добавить звук | клип | та же картинка с новым звуком, созданным специально для неё (только Hailuo H3) |
| Синхронизация губ | картинка и ваше аудио | оригинальный персонаж, который исполняет вашу дорожку; открывает вкладку Аудио |
| Ремикс | ваши собственные медиафайлы | Ингредиенты, Управление движением, Раскрасить, Апскейл и Исправление лица, см. Ремикс |
Hailuo H3 рендерит режимы «Текст», «Изображение», «Начальный и конечный кадры», «Ключевые кадры», «Продлить», «Добавить звук» и «Синхронизация губ». Персонаж и Ремикс работают только в LTX. См. что умеет H3.
Изображение: «Закрепить» или «Вдохновение»
Перетащите PNG, JPG или WEBP в Референс: оно обрезается по размеру рендера. В LTX-2.5 появляется строка Использование референсов:
- Закрепить: анимировать это изображение. Ваша картинка становится первым кадром, а клип приводит её в движение.
- Вдохновение: новый кадр на её основе. Клип переносит персонажа или образ в новую сцену, и вашей картинки в первом кадре вы не увидите. Хорошо подходит для задач вроде «этот персонаж, новая сцена».
В Hailuo H3 изображение всегда служит первым кадром.
FFLF и «Ключевые кадры»
- FFLF: Начальный кадр (кадр 0) открывает клип, и его форма задаёт размер результата; Конечный кадр (последний кадр) закрывает его. Крупный план в конце помогает сохранить единство персонажа на протяжении клипа.
- Ключевые кадры: выберите от 3 ключевых кадра до 8 ключевых кадров. Начальный и конечный кадры фиксированы, остальные становятся промежуточными моментами.
- Для обоих нужен дополнительный пакет LTX «Высокое» (модель Q8), и они сами выбирают высокое качество. Если пакета нет, «Создать» сообщает об этом и подсказывает, где его установить.
Продлить
Выберите Исходное видео, задайте Продлить на (секунд) (от 0.5 до 10, по умолчанию 2) и Направление («После» или «До»). У режима «Продлить» два собственных варианта качества:
- Q8 Черновик: 12 шагов, безопасно на Mac с 64 ГБ.
- Q8 Pro: 30 шагов, нужно 96 ГБ или больше.
Если у Mac нет столько памяти, оставайтесь на «Q8 Черновик».
В Hailuo H3 режим «Продлить» добавляет до 15 секунд и переносит дальше звук клипа, см. Продлить в H3.
Как писать промпт
Описывайте сцену и звук. Звук создаётся вместе с картинкой; если в промпте нет звука, результат получается почти беззвучным.
- Улучшить (LTX) переписывает ваш промпт в стиле, на котором обучена модель. Если включены LoRA, оно читает их заметки и сохраняет их ключевые слова.
- Без музыки просит голос, звуки и атмосферу без музыкальной партитуры.
Поле «Исключить»
Исключить + открывает второе поле для того, чего модель делать не должна: размытые руки, искажённые пальцы, перекошенный текст.
Когда это работает. «Исключить» действует на Высокое, Высокое · 720p, Продлить, FFLF / Ключевые кадры и Аудио. Быстрое, Сбалансированное и Стандартное работают без такого управления и игнорируют это поле. В Hailuo H3 поля «Исключить» нет: запреты пишите в промпте обычными предложениями, и только про то, что H3 добавляет без просьбы: дрейф камеры и текст на экране.
Качество и длина в LTX
На каждом чипе «Качество» указаны размер и оценка для этого Mac. Чип показывает недоступно, если этот Mac его не потянет, или называет загрузку, которая нужна.
| Качество | Размер | Что это |
|---|---|---|
| Быстрое | 640×448 | самый быстрый взгляд на кадр |
| Сбалансированное | 1024×576 | 16:9 в том размере, в котором обычно смотрят; по умолчанию |
| Стандартное | 1280×704 | самый большой холст, который тянет быстрая линия: больше, но не детальнее |
| Высокое | 1024×576 | второй, более крупный проход поверх первого: чётче детали и ровнее движение, ожидание примерно вдвое дольше |
| Высокое · 720p | 1280×704 | проход «Высокое» в 720p, максимум деталей, который делает LTX; измеренный пик 49.7 ГБ, поэтому нужен Mac с 64 ГБ |
«Быстрое», «Сбалансированное» и «Стандартное» работают на быстрой (дистиллированной) модели; «Высокое» и «Высокое · 720p» требуют дополнительный пакет «Высокое» (модель Q8).
Длина: 3 с, 5 с (по умолчанию), 7 с, 10 с и 20 с, которая доступна только в режиме «Быстрое».
Длинные клипы LTX в конце рендера используют на треть меньше памяти (5.0.25). Пик памяти приходится на последний шаг рендера, когда готовый кадр превращается в кадры видео. На Mac с памятью больше 32 ГБ клип LTX длиннее 5 секунд теперь делает это частями по 128 кадров. Замеры на 10-секундных клипах: около 12.7 ГБ вместо 20 ГБ при 1024×576 и 19 ГБ вместо 30 ГБ при 720p, за то же время и без видимой разницы. Mac с 32 ГБ или меньше и раньше работали частями, для них ничего не изменилось.
На быстрых вариантах качества строка Скорость предлагает Настроенное или Быстрый черновик: более быстрое расписание, которое меняет результат. У «Высокое» есть ползунок STG: управление деталями.
Если выбран обученный персонаж, чипы меняются на Q8 Черновик (704×384), Q8 Pro (1024×576, лучшая узнаваемость) и, в LTX-2.5, «Высокое» и «Высокое · 720p». Обученные персонажи стабильнее всего на «Q8 Pro».
Скользящие окна в LTX
Для клипа длиннее одного прохода Дополнительно → Длинные клипы → Окна рендерит его как последовательность: один первый проход, а затем по одному продлению на каждое следующее окно, и каждое продолжает сохранённый хвост предыдущего. Для этого нужен дополнительный пакет «Высокое» (модель Q8) и Mac, который поддерживает «Продлить».
Промпты для окон. Окно 1 всегда использует главный промпт выше: отдельного поля для него нет. Каждое следующее окно получает своё поле с подписью и временем («Окно 2 · 0:05-0:09»), построенное по реальному расписанию рендера; пустое поле держит предыдущий момент. В каждом напишите следующий этап действия, начиная с движения (LTX рендерит то, что названо в промпте первым). Неизменное, то есть то, что не должно меняться между окнами (кто в кадре, свет, объектив, место), пишется в поле под этими полями и автоматически повторяется в каждом следующем окне.
Это аналог промптов для окон в H3: идея та же (по одному промпту на проход, чтобы действие не повторялось), но движок другой и поля устроены иначе, потому что число окон и их реальное время определяет собственный планировщик окон LTX, а не фиксированная 5-секундная сетка.
Качество и длина в Hailuo H3
У H3 своя страница: Видеодвижок Hailuo H3. Коротко:
| Качество | Размер | Заметки |
|---|---|---|
| Черновик | 640×384 | быстрый взгляд: лица и мелкие детали проявляются только на «Стандартное» и «Высокое» |
| Быстрое HD | 640×384 → 1280×768 | быстрый черновик, затем «Апскейл и Исправление лица» уточняет его по самому клипу |
| Стандартное | 768×448 | рабочая лошадка |
| Высокое | 1024×576 | настоящий 16:9, рекомендуемый размер для выдачи |
| Нативный | 1344×768 | максимум деталей, который может H3; всегда рендерится на «Лучшее», ожидание долгое |
Длина: 3 с, 5 с (самый длинный одиночный проход), 10 с и 15 с из склеенных 5-секундных окон, а также 10 с за один проход (один кадр без склейки, только «Лучшее»). Типичное время приведено в разделе Сколько это занимает.
Скорость и шаги
- Скорость: ⚡ Быстро / ✦ Лучшее. «Быстро» делает 3-шаговый проход: намного быстрее и чуть мягче; он включается по умолчанию, как только установлен адаптер на 180 МБ (Установить (180 МБ) в половине «Быстро»). «Лучшее»: полный рендер для этого размера с самыми чёткими лицами. «Нативный» и «10 с за один проход» всегда рендерятся на «Лучшее».
- Шаги: Авто / 12 / 16 / 20 показываются только на «Лучшее». Больше шагов означает более долгое ожидание (20 соответствует официальному эталонному рецепту и занимает примерно в 2.4 раза больше времени, чем «Авто»).
- В установках H3, где у раннера единственный слот адаптера, строка Адаптер спрашивает, отдать этот слот Турбо или Моя LoRA: вместе они работать не могут. См. LoRA в H3.
Промпты для окон
Для клипа H3 на 10 или 15 с каждое 5-секундное окно получает один и тот же промпт, из-за чего действие может повторяться. Откройте Промпты для окон и включите Одна строка на окно: для 10 с появятся два поля, для 15 с три. Пустое поле использует главный промпт.
Первый кадр и ориентация в H3
Режим «Изображение» работает и в H3: картинка становится первым кадром. Строка Ориентация (на верхнем уровне, рядом с чипами размера) переводит холст в Вертикальная при той же стоимости.
Движки рядом
| LTX | Hailuo H3 | |
|---|---|---|
| Режимы | все режимы «Видео», «Ремикс», «Синхронизация губ» | Текст, Изображение, Начальный и конечный кадры, Ключевые кадры, Продлить, Добавить звук, Синхронизация губ |
| Звук | вместе с картинкой | видео, диалог и звук создаются вместе |
| Персонажи и LoRA | обученные персонажи, наборы LoRA | собственная библиотека LoRA для H3 |
| Поле «Исключить» | на «Высокое» и в режимах с управлением | нет, пишите это в промпте |
| Самый длинный клип | 20 с («Быстрое»), иначе 10 с | 15 с, склеенные окна |
| Память | диалог «Уровень» (индикатор состояния → Уровень) показывает, какие варианты качества тянет этот Mac | 16 ГБ или больше (см. ниже) |
H3 и память. Для полного движка H3 нужно 60 ГБ. Начиная с 16 ГБ H3 работает на компактном движке Q8, который собирается локально кнопкой Install Hailuo H3 на боковой панели Phosphene в Pinokio (около 5 минут, ~22 ГБ, без дополнительной загрузки). В Настройках Модель Hailuo H3 выбирается из вариантов «Автоматически», «Полная» и «Компактная». Меньше 16 ГБ H3 не предлагается, рендерите в LTX. С 16 ГБ вы делаете клипы «Черновик» и «Стандартное», с 18 ГБ ещё и «Высокое»; «Очистить звук» и склеенным клипам нужно 36 ГБ. См. Установка H3 и Устранение неполадок.
LTX и память: меньше памяти на Mac с 16-24 ГБ (5.0.20). Ниже 48 ГБ LTX рендерит в меньших размерах, а Mac с 24 ГБ или меньше автоматически используют режим с низким расходом памяти. На Mac с 16 ГБ клип достигает пика примерно 5.7 ГБ памяти, с LoRA примерно 6.7 ГБ. Кадры получаются такими же, как раньше.
Увеличение и экспорт
После рендера клип можно изменить в размере без обрезки.
В Hailuo H3 (в разделе После рендера → Увеличить разрешение):
- Нативный: как отрендерено.
- под 720p / под 1080p: масштабирование до заполнения кадра. Холст, близкий к 16:9 (H3 «Черновик» и «Стандартное», LTX «Стандартное»), теряет несколько пикселей по краям вместо чёрных полос; холст, далёкий от него (квадрат, вертикаль в горизонтали), по-прежнему дополняется полосами. По умолчанию выбрано «под 720p». Под размерами находится необязательный переключатель Также запустить «Апскейл и Исправление лица» после черновика, по умолчанию выключенный. Если он включён, черновик выдаётся как есть, а вторая задача заново рендерит его в двукратном размере в LTX-2.5, уточняя детали исходника и сохраняя звук; исправленный клип появится рядом с черновиком. Для него нужен адаптер «Увеличить разрешение» на 0.3 ГБ, который загружается в окне «Модели», и он занимает ещё примерно столько же времени, сколько черновик.
В LTX (в разделе После рендера → Экспорт): под 720p (по умолчанию), Нативный или 2×. Если выбрано не «Нативный», Метод предлагает Быстро (мгновенно) или Резко (более резкий апскейлер, +30-90 с).
Любой готовый клип можно позже пропустить через Апскейл и Исправление лица одним щелчком на плеере, в его панели действий.
Другие настройки
- Сид:
-1означает случайный; используйте тот же сид, чтобы получить тот же дубль при изменённом промпте. - LoRA: выбор дополнений. См. LoRA.
- Ориентация (LTX): 16:9, 9:16, 1:1 или 4:5.
- Дополнительно: ширина × высота, длительность и число кадров.
- После рендера: «Экспорт» / «Увеличить разрешение» и Открыть файл по готовности.
- ⊞ Пакет: вставьте много промптов и поставьте их все в очередь.
- Скрыть (значок глаза на панели плеера): убирает клип из галереи, а во всплывающем сообщении есть Отменить. Чип Скрыто (N) в строке фильтров «Галереи» показывает всё скрытое, так что клип, скрытый по ошибке, возвращается одним щелчком.
Источник: webapp/docs/video.md в открытом репозитории. Проверено для этого сайта перед публикацией. Переведено с английского оригинала. Предложить правку.