无需训练、即插即用，新算法大幅增强视频生成质量｜NUS＆上海AI Lab&UT Austin

还兼容多个主流视频生成模型

原标题：无需训练、即插即用，新算法大幅增强视频生成质量｜NUS＆上海AI Lab&UT Austin
文章来源：量子位
内容字数：4925字

Enhance-A-Video：无需训练，即插即用地提升AI视频生成质量

近日，新加坡国立大学、上海AI实验室和德克萨斯大学奥斯汀分校的研究团队发布了一种全新的视频生成增强算法——Enhance-A-Video。该算法无需额外模型训练，即可显著提升现有视频生成模型的质量，在细节表现、时序连贯性等方面取得了显著进展。其核心在于通过调整时间注意力层的关键参数，在几乎不增加推理负担的情况下，大幅提升视频生成效果。

1. 背景：AI视频生成技术的挑战

随着Diffusion Transformer (DiT) 等技术的快速发展，AI 视频生成能力日益增强。然而，现有方法仍存在一些问题，例如：时序不连贯、细节模糊、画面抖动等，这些都严重影响了生成视频的质量和观感。Enhance-A-Video 正是为了解决这些问题而诞生的。

2. Enhance-A-Video的核心原理

Enhance-A-Video 的核心思想在于优化时间注意力机制。研究人员发现，在 DiT 模型中，时间注意力的分布存在差异，部分层的跨帧注意力强度低于单帧自注意力，导致帧间信息传递不足。因此，他们提出通过调整一个关键参数——增强温度参数——来优化时间注意力的分布，从而提升视频质量。

该方法类似于大语言模型中温度系数的调节机制，通过调整参数来平衡一致性和多样性。在 Enhance-A-Video 中，调整增强温度参数可以控制帧间相关性强度，从而提高视频的连贯性和细节表现。

3. 方法概述：高效、无需训练的动态增强方案

Enhance-A-Video 的实现过程包括以下步骤：

1. 在时间注意力层添加一个并行分支，计算时间注意力分布图。
2. 从时间注意力分布图中提取跨帧强度 (CFI)。
3. 引入增强温度参数，将其与 CFI 的乘积作为增强模块的输出系数，动态调整时间注意力层输出的特征增强强度。

整个过程无需对原始模型进行重新训练，实现了高效、即插即用的增强效果。

4. 实验结果与应用

实验结果表明，Enhance-A-Video 在多个主流视频生成模型（如 CogVideoX-2B、OpenSora-V1.2 和 HunyuanVideo）上都取得了显著的性能提升，尤其在对比度、清晰度和细节真实性方面表现突出。该算法已被集成到多个推理框架中，如 ComfyUI-Hunyuan 和 ComfyUI-LTX，并得到了社区的广泛认可。

5. 未来研究方向

研究团队计划进一步改进 Enhance-A-Video，包括：

1. 研究自动调节增强温度参数的机制。
2. 扩展算法的适用性，使其能够适配更大规模的模型和多模态场景。
3. 构建更完善的视频生成质量评价体系。

总而言之，Enhance-A-Video 为 AI 视频生成技术的质量提升提供了新的思路和方法，其高效、通用、无需训练的特点使其具有广泛的应用前景。

联系作者

文章来源：量子位
作者微信：
作者简介：追踪人工智能新趋势，关注科技行业新突破