«ГигаЧат» Сбера научился генерировать видео со звуком

В «ГигаЧате» от Сбера появилась генерация видео со звуком: ролик может сопровождаться речью, музыкой и шумами окружения. Функция работает на модели Kandinsky 6.0 Video, а длина видео со звуком пока ограничена пятью секундами.

Что умеет Kandinsky 6.0 Video

Новая возможность опирается на модель Kandinsky 6.0 Video, которую разработал Сбер. Она синхронизирует изображение и аудио: речь совпадает с движением губ персонажей, а музыка и звуки окружения — с тем, что происходит в кадре.

Модель способна озвучивать сцены разными типами звуков. Среди примеров из описания:

• диалоги персонажей;
• шум шагов;
• ветер;
• движение автомобилей;
• другие звуковые эффекты.

Как создать ролик

Для генерации достаточно описать сцену текстом. Альтернативный вариант — загрузить исходный кадр и указать, какие звуки должны его сопровождать.

Если звук не нужен, ролик можно создать без него. То есть аудиодорожка остаётся опцией, а не обязательным элементом.

Качество и ограничения

Нейросеть выдаёт видео в разрешении до Full HD. В «ГигаЧате» доступны варианты SD, HD и Full HD — выбор зависит от того, какое качество и какая скорость генерации нужны.

Главное ограничение сейчас — длительность: ролик со звуком может быть не длиннее пяти секунд.

Разработчики также улучшили передачу физики и движения объектов. По данным Сбера, люди, животные и техника выглядят естественнее, особенно в динамичных сценах.

Коротко

• Возможность генерации видео со звуком появилась в «ГигаЧате».
• За создание видео отвечает модель Kandinsky 6.0 Video, разработанная Сбером.
• Ролик можно создать по текстовому описанию сцены или по загруженному исходному кадру.
• Видео генерируется в разрешении до Full HD.
• В «ГигаЧате» можно выбрать SD, HD или Full HD.
• Максимальная продолжительность ролика со звуком — пять секунд.

Что это значит для бизнеса

Короткие видео со звуком удобно тестировать в рекламе и соцсетях: лимит в пять секунд подходит для тизеров, сторис-форматов и быстрых креативов. Можно быстро проверять гипотезы по сценариям, не запуская полноценное продакшн-видео. Но перед публикацией стоит оценивать качество генерации и помнить про ограничение по длительности.

Частые вопросы

Какая максимальная длина видео со звуком в «ГигаЧате»?

Пять секунд.

В каком разрешении генерируется видео?

До Full HD; в «ГигаЧате» можно выбрать SD, HD или Full HD.

Можно ли сделать ролик без звука?

Да, ролик можно создать без звукового сопровождения.

Источники

iXBT