В последние годы разработка моделей диффузии видео на основе текста привела к новому уровню реализма генерации в области редактирования видео. Однако эти модели ограничены генерированием видео только на основе текста и не могут выполнять редактирование существующих видео с сохранением атрибутов исходного видео. Для решения этой проблемы была разработана новая система Dreamix, предназначенная для редактирования видео общего назначения.
Пример работы. Здесь Dreamix попросили поменять обезьянку на медведя:
Dreamix адаптирует текстово-видеомодели для редактирования видео путем повреждения исходного видео с сильным уменьшением масштаба и добавлением шума, а затем обрабатывает его с помощью модели диффузии видео. Текстовая подсказка направляет модель на переосмысление деталей, которые соответствуют текстовой подсказке, сохраняя при этом атрибуты исходного видео. В отличие от наивного решения по точной настройке модели на входном видео, которое ограничивает изменение движения, Dreamix предлагает смешанную задачу, включающую точную настройку на неупорядоченном наборе кадров видео. Это позволяет сохранить внешний вид видео при редактировании его движения.
Помимо редактирования видео, Dreamix также предлагает новую структуру для анимации изображений. Дублируя входной кадр и преобразуя его с помощью перспективных преобразований, можно синтезировать грубое видео с некоторым движением камеры. Затем видео можно отредактировать с помощью видеоредактора Dreamix, чтобы изменить его внешний вид и движение с помощью текстовой подсказки. Кроме того, при точной настройке модели на коллекции изображений с одним и тем же объектом можно создавать видео, управляемое объектом.
Результаты работы системы Dreamix впечатляют. В приведенных примерах личность объекта хорошо сохраняется во время редактирования видео. Фреймворк может добавить движение к статичному видео, наполнить стакан кофе, создавая при этом движение камеры, создать таймлапс растущего растения и изменить пейзаж в соответствии с подсказкой, сохраняя при этом идентичность объекта. Все эти результаты достигаются путем тонкой настройки на небольшой коллекции из 10-20 изображений объекта.
В заключение, Dreamix — это новый метод общего редактирования видео, использующий модели диффузии текста в видео. Он работает путем повреждения исходного видео и выравнивания его с текстовой подсказкой с помощью моделей диффузии видео. Система предлагает новую методику повышения достоверности видео с помощью смешанной тонкой настройки и может использоваться в качестве общей системы редактирования изображений, сначала преобразуя входное изображение в унифицированный видеоформат, а затем редактируя его с помощью редактора Dreamix. Для получения более подробной информации читателям предлагается обратиться к дополнительному документу.
Узнать подробности можно здесь и из видео ниже: