NeurIPS 2023｜有效提高视频编辑一致性！美图&国科大联合提出基于文生图模型的新方法 EI2

AIGC动态欢迎阅读

原标题：NeurIPS 2023｜有效提高视频编辑一致性！美图&国科大联合提出基于文生图模型的新方法 EI2
关键字：时序,模块,模型,语义,视频
文章来源：AI科技评论
内容字数：5815字

内容摘要：

美图影像研究院（MT Lab）与中国科学院大学突破性地提出基于文生图模型的视频生成新方法EI2，用于提高视频编辑过程中的语义和内容两方面的一致性。
该论文从理论角度分析和论证视频编辑过中出现的不一致的问题，主要由引入的时序信息学习模块使特征空间出现协变量偏移造成，并针对性地设计了新的网络模块进行解决以生成高质量的编辑结果。目前，该论文已被机器学习顶会之一NeurIPS 2023接收。1背景作为当前炙手可热的前沿技术之一，生成式AI被广泛应用于各类视觉合成任务，尤其是在图像生成和编辑领域获得了令人赞叹的生成效果。
对比静态图像，视频拥有更丰富的动态变化和语义信息，而现有的视觉生成任务主要基于变分自编码器（VAE）和生成对抗网络（GAN），但通常会受限于特定场景和数据，很难提供普适的解决方案。
因此，近年来基于扩散模型（Diffusion Models）在分布式学习上表现出的卓越能力，扩散模型也开始被拓展到视频领域，并在视频生成与编辑领域展现出了巨大的潜力。
在研究初期，基于扩散模型的视频生成和编辑任务利用文本-视频数据集直接训练文生视频模型以达到目标。然而，由于缺少高质量的视频数据，这类

原文链接：NeurIPS 2023｜有效提高视频编辑一致性！美图&国科大联合提出基于文生图模型的新方法 EI2

联系作者

文章来源：AI科技评论
作者微信：aitechtalk
作者简介：雷峰网旗下AI新媒体。聚焦AI前沿研究，关注AI工程落地。