视频版IC-Light来了！Light-A-Video提出渐进式光照融合，免训练一键视频重打光

在没有任何训练或优化的情况下，生成高质量、时序一致的重打光视频。

原标题：视频版IC-Light来了！Light-A-Video提出渐进式光照融合，免训练一键视频重打光
文章来源：机器之心
内容字数：4197字

Light-A-Video：无需训练的视频重打光技术突破

机器之心AIxiv专栏报道了上海交通大学、中国科学技术大学和上海人工智能实验室联合研发的Light-A-Video技术，该技术实现了无需训练的视频重打光，解决了传统方法训练成本高和数据稀缺的难题。

1. 技术核心：零样本视频重打光

Light-A-Video 利用预训练的图像重打光模型（如IC-Light）和视频扩散模型（如AnimateDiff和CogVideoX），结合创新的Consistent Light Attention (CLA)模块和Progressive Light Fusion (PLF)策略，实现了对视频序列的零样本光照控制。无需任何训练，即可生成高质量、时序一致的重打光视频。

2. 关键模块：CLA和PLF

CLA模块通过增强跨帧交互，稳定背景光源的生成，减少闪烁问题。它采用双重注意力融合策略，保留原始帧的高频细节，并通过时间维度的平均处理减少光照源的高频抖动。

PLF策略基于光传输理论的光照线性融合特性，通过逐步混合重打光外观和原始视频外观，确保时间连贯性。在视频扩散模型的去噪过程中，PLF逐步引导视频向目标光照方向过渡，实现平滑的光照过渡。

3. Light-A-Video的整体架构

Light-A-Video的架构包含以下步骤：1. 利用视频扩散模型对原始视频加噪；2. 利用IC-Light进行逐帧重打光，并使用CLA模块稳定背景光源；3. 使用PLF策略逐步融合重打光目标和原始视频细节，最终生成时序稳定、光照一致的重打光视频。

4. 实验结果与优势

在DAVIS和Pixabay数据集上的实验结果表明，Light-A-Video在多个评估指标上优于现有方法，尤其在动作保留方面表现出色。此外，它支持对完整视频或仅前景序列进行重打光，并能生成与文字描述相符的背景，兼容多种视频生成框架。

5. 未来展望

未来研究将关注动态光照条件下的处理，进一步提升视频重打光的灵活性与适应性，扩展其应用范围。

6. 总结

Light-A-Video 作为首个无需训练的视频重打光模型，其高效性、稳定性和广泛的适用性，为视频编辑领域带来了突破性的进展，为视频内容创作提供了更多可能性。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台