Говорящее фото: видео с синхронизацией губ из портрета

Дайте Rigel портрет и текст — и он сгенерирует говорящее видео с реалистичной синхронизацией губ: человек на фото будто произносит ваши слова, а мимика следует за подачей.

Видео с говорящей головой — самый востребованный формат в соцсетях, и обычно для него нужны камера, подготовка и запас на пересъёмки. Для говорящего фото нужны один портрет и фраза, которую вы хотите услышать.

Как это работает

  1. Загрузите портрет. Анфас, резкий, с хорошо видимыми ртом и подбородком.
  2. Добавьте текст. Напишите, что должно прозвучать, на том же шаге, где описываете сцену.
  3. Сгенерируйте. Rigel создаст клип на 5–30 секунд с синхронизацией губ, мимикой и движением головы, следующими за подачей.

Описание сцены и добавление текста перед генерацией

Результат сохраняется в галерею в вертикальном или квадратном формате, так что он сразу идёт в Reels, Shorts, TikTok или Stories без промежуточных шагов.

Как написать текст, который зацепит

  • Пишите для слуха, а не для страницы. Короткие фразы. Разговорные обороты. Одна мысль на предложение.
  • Ставьте хук в начало. Зрители в соцсетях решают за первые полторы секунды; самая сильная фраза должна идти первой.
  • Укладывайтесь в длину клипа. Примерно 15–70 слов помещаются в генерацию на 5–30 секунд в естественном темпе. Если втиснуть больше, подача станет торопливой, а синхронизация губ — менее снисходительной.
  • Добавьте указания по подаче в промпт сцены. «Спокойно, без лишней энергии, лёгкая улыбка, говорит в камеру» меняет игру, а не только слова.

Каким должен быть хороший исходный портрет

Главный рычаг качества — фото. Лицо достаточно крупное в кадре, ровный свет на лице, рот ничем не закрыт, голова примерно повёрнута к камере. Профиль, солнцезащитные очки, руки у рта, жёсткая тень на челюсти и обрезки низкого разрешения — постоянные причины слабых движений губ.

Если ваш лучший исходник — Live Photo, а не обычный снимок, этот путь описан в разделе «Live Photo в видео». Общий процесс «из снимка в клип» — на странице «Фото в видео».

Для чего это использовать

  • Контент для блогеров — неделя постов с говорящей головой из одной фотосессии, без пересъёмок.
  • Озвучка персонажей — дайте вымышленному персонажу голос на протяжении целой серии эпизодов.
  • Варианты для продуктов и рекламы — протестируйте пять разных хуков с одним и тем же ведущим и посмотрите, какой удерживает внимание.
  • Объясняющие ролики — короткий устный ответ с лицом, который в соцсетях стабильно работает лучше текста.

Для более длинных роликов сгенерируйте несколько говорящих сцен и соберите их вместе, как описано в разделе «Длинное ИИ-видео».

Честные пределы

Синхронизация губ в моделях этого поколения хороша, но не идеальна. Это заметно на быстрой речи, сильном акценте, экстремальных ракурсах и очень коротких гласных. Мелкие детали вокруг зубов могут размываться на крупных планах. Практическое решение то же, что и в настоящем продакшне: выберите лучший дубль, сократите реплику и снимите — в данном случае подберите — более чистый кадр.

И правило, которое не относится к технике: загружайте только те лица, которые вы вправе использовать. Говорящее фото человека, который никогда не соглашался произносить эти слова, — это и есть злоупотребление этой функцией, и никакой промпт не делает его допустимым.

С чего начать

Rigel можно бесплатно скачать на iOS 16.6+ и Android, стартовые кредиты включены, так что первое говорящее фото ничего не стоит. Пакеты кредитов и подписка доступны в приложении; каждая генерация показывает стоимость в кредитах до подтверждения.

Частые вопросы

Что нужно, чтобы фото заговорило?
Один портрет с чётким лицом, смотрящим в камеру, и слова, которые должны прозвучать. Текст добавляется на том же шаге, где вы описываете сцену, после чего запускаете генерацию.
Какой длины может быть текст?
Столько, сколько помещается в клип на 5–30 секунд, — примерно 15–70 слов в естественном темпе речи. Длинные сообщения лучше разбить на несколько сцен.
Работает ли это на других языках, кроме английского?
Поддержка языков для синхронизации губ постепенно расширяется. Сегодня самый надёжный вариант — английский; если на вашем языке движения губ получаются слабыми, обычно помогают короткие предложения и более медленный темп.
Можно ли использовать фото другого человека?
Только с его разрешения. Заставить человека будто бы говорить то, чего он никогда не говорил, — очевидный способ злоупотребить этой функцией, и ответственность за согласие владельца загружаемого лица лежит на вас.
Почему рот иногда выглядит неправильно?
Обычно дело в исходном фото. Профиль, частично закрытый рот, густая тень на нижней части лица, солнцезащитные очки и очень мелкие лица уменьшают объём информации, с которой работает модель.