ГигаЧат теперь можно использовать для генерации видео со звуком

Пользователи ГигаЧата c сегодняшнего дня могут создавать видео с речью, музыкой и звуками окружения. Это стало возможным благодаря новой модели Kandinsky 6.0 Video, которая генерирует ролики с синхронным звуком. Об этом «ВЕДам» рассказали в пресс-службе Сбера.

Модель состоит из двух модулей — для видео и звука. Звуковой модуль обучили более чем на 20 млн видео со звуком. Команда отбирала ролики только с чистым звуком, а также видео, где говорящие сняты крупным планом — для точной синхронизации речи и мимики.

Изображение сгенерировано нейросетью

Изображение сгенерировано нейросетью

Чтобы получить ролик с озвучкой, достаточно описать сцену текстом или загрузить первый кадр и добавить описание звукового ряда. Максимальная длительность видео со звуком — пять секунд, со временем разработчики планируют ее увеличить.

Модель одновременно «видит» и «слышит» то, что генерирует, поэтому диалоги, эффекты и музыка синхронизированы с картинкой, а губы героя двигаются вместе с речью. Если звук не нужен, можно попросить нейросеть создать видео без него. Когда модель не знает, как выглядит объект из запроса, она ищет референсы и генерирует точный результат, утверждают разработчики.

Конец новости

#Жизнь

На форуме в ВШЭ обсудили цифровую грамотность госслужащих

На форуме в ВШЭ обсудили цифровую грамотность госслужащих

#Жизнь

Треть россиян управляют бюджетом интуитивно

Треть россиян управляют бюджетом интуитивно

#Тренды

Какие книги читают и покупают прямо сейчас?

Какие книги читают и покупают прямо сейчас?

#Жизнь

Итоги пресс-конференции Путина

Итоги пресс-конференции Путина

#Деньги

Россияне рассказали, как часто им финансово везет

Россияне рассказали, как часто им финансово везет

#Тренды

Россиянки назвали самых привлекательных книжных героев

Россиянки назвали самых привлекательных книжных героев

ГигаЧат теперь можно использовать для генерации видео | ВЕДЫ