Для обучения системы исследователи использовали массив из 40 тысяч видеороликов с разнообразными показателями частоты кадров. Модель научили различать реальную скорость событий и искусственно ускоренные или замедленные записи. В итоге получилась компактная надстройка, состоящая из двух блоков: один отвечает за частоту кадров, второй — за плавность динамики в каждой отдельной сцене. Вес модуля составляет менее 1% от объема базовой нейросети, что делает его удобным для интеграции в готовые решения.
Сбер научил нейросети Kandinsky управлять темпом видео
Разработчики Kandinsky представили надстройку Time Adapter, которая решает проблему неестественной скорости и хаотичной динамики в генеративном видео. Новый модуль позволяет нейросети не просто следовать текстовым подсказкам, а понимать физику процессов, самостоятельно задавая корректный ритм движений в кадре независимо от того, что именно происходит на экране.
Система поддерживает два режима работы: подключение к уже обученной модели или совместное обучение с нуля. Второй вариант позволяет нейросети осваивать сложные физические процессы, которые ранее были ей недоступны. Тесты обновленной версии Kandinsky 5.0 Video Lite показали, что естественность движений в сценах с людьми и природными явлениями возросла на 29%. По словам CTO Kandinsky Дениса Димитрова, это важный шаг к созданию полноценных моделей мира, которые не полагаются на заученные шаблоны. Технологию уже представили на конференции ICML, а исходный код опубликовали в открытом доступе по лицензии MIT.
Комментарии (0)
Пока нет комментариев. Будьте первым!