Об этом «ВЕДам» сообщили в пресс-службе Сбербанка. Разработка была представлена на престижной ИИ-конференции ICML, а ее код выложен в открытый доступ на платформе по ИИ Hugging Face.
Технология работает в двух режимах. В первом адаптер подключается к готовой нейросети для сглаживания движений без изменения характера сцены. Во втором режиме происходит совместное дообучение, что меняет саму физику кадра и позволяет генерировать сложные процессы, которые раньше базовым моделям не давались.
Сгенерировано нейросетью
Точный контроль времени помогает быстрее создавать реалистичные рекламные, кино- и пользовательские ролики со строгим темпом под музыку и монтаж.
Эффективность подхода доказали на модели Kandinsky 5.0 Video Lite. В ходе тестов на динамичных видео с людьми и природой обновленная версия показала рост метрик. Естественность движений в кадре возросла на 29%, визуальное качество улучшилось на 8%, а точность соответствия видео исходному текстовому запросу увеличилась на 19%, утверждают разработчики.
