UniEdit – 免训练调优的统一视频编辑框架

UniEdit是一款由浙江大学、微软研究院和北京大学的研究团队共同开发的前沿视频编辑框架。它的核心优势在于允许用户无需进行模型微调，即可对视频的运动和外观进行灵活编辑。UniEdit能够同时处理视频的时间维度（例如动作变化）和空间维度（如风格化、物体替换、背景调整）等编辑任务。

UniEdit是什么

UniEdit是由浙江大学、微软研究院和北京大学的研究人员推出的一个创新的视频编辑框架，允许用户在不需要进行模型微调的情况下，对视频的运动和外观进行编辑。该框架的核心优势在于能够同时处理视频的时间维度（如动作变化）和空间维度（如风格化、物体替换、背景修改）的编辑任务。

UniEdit的官网入口

• 官方项目主页：https://jianhongbai.github.io/UniEdit/
• arXiv研究论文：https://arxiv.org/abs/2402.13185
• GitHub代码库：https://github.com/JianhongBai/UniEdit（源代码待上线）

UniEdit的主要功能

• 对象动作编辑：用户可以利用文本指令，调整视频中对象的动作。例如，可以将浣熊弹吉他的动作修改为吃苹果或招手。
• 视频风格化处理：UniEdit支持风格迁移，用户通过文本描述可改变视频的视觉风格，而不需改变内容本身，比如将视频转化为油画风格。
• 背景替换：用户可以随意更换视频中的背景，将人物置于全然不同的场景中。
• 物体替换：UniEdit支持替换视频中的静态或动态物体，包括刚性与非刚性物体。
• 无需模型微调：UniEdit简化了模型的使用，用户可快速上手进行视频编辑，无需额外的训练或微调。

UniEdit的应用场景

UniEdit适用于多种场景，包括但不限于影视制作、短视频创作、广告宣传以及社交媒体内容生成。无论是专业视频编辑还是个人创作，UniEdit都能提供便捷高效的解决方案。

常见问题

1. UniEdit是否需要复杂的技术背景才能使用？
不需要，UniEdit设计用户友好，普通用户也能轻松上手。

2. UniEdit支持哪些视频格式？
UniEdit支持多种常见的视频格式，用户可以方便地导入和编辑视频。

3. UniEdit的编辑效果是否可预览？
是的，用户可以在编辑过程中实时预览效果，以便进行调整。

UniEdit的工作原理

1. 反演处理（Inversion）：UniEdit首先对输入的视频进行反演处理，将其转换为随机噪声表示。该过程利用预训练的扩散视频生成模型，经过去噪步骤逐渐恢复视频的原始状态。
2. 生成编辑路径：在反演处理的基础上，UniEdit使用预训练的UNet模型进行去噪，以生成编辑后的视频，确保内容符合用户的编辑意图。
3. 辅助重建分支：UniEdit引入辅助重建分支，以保留源视频的非编辑内容，在给定源视频文本提示的条件下进行去噪，重建原始视频帧。
4. 辅助运动参考分支：为了实现运动编辑，UniEdit设计辅助运动参考分支，在目标文本提示下生成运动特征，并注入主编辑路径中引导视频运动变化。
5. 内容保留与运动注入：UniEdit通过替换空间自注意力层的值特征保留源视频内容，同时在时间自注意力层中注入运动特征，以实现运动编辑。
6. 空间结构控制：在外观编辑中，UniEdit通过替换主编辑路径中的空间自注意力层的查询和键特征，保持源视频的空间结构，确保物体的布局和位置不变。
7. 文本引导编辑：用户通过提供文本描述指导编辑过程，UniEdit将这些描述转化为编辑的指导信号，以实现预期效果。