RelightVid

RelightVid – 上海 AI Lab联合复旦等高校推出的视频重照明模型

RelightVid是什么

RelightVid是由上海AI实验室、复旦大学、上海交通大学、浙江大学、斯坦福大学和香港中文大合开发的一款视频重照明工具。它采用时序一致性扩散模型，能够依据文本提示、背景视频或HDR环境贴图对视频进行细致且一致的场景编辑。此技术支持全场景重照明以及前景保留重照明，旨在为视频编辑和创作带来新的可能性。

RelightVid的主要功能

• 文本驱动重照明：根据用户提供的文本描述，调整视频中的光照效果，例如“阳光透过树叶，形成斑驳光影”或“柔和的晨光，金色时刻”。
• 背景视频驱动重照明：利用背景视频作为光源条件，动态调整前景对象的光照，使其与背景光照保持一致。
• HDR环境贴图驱动重照明：通过HDR环境贴图精确控制光照，实现高质量的重照明效果。
• 全场景重照明：对整个场景中的前景和背景进行重照明，使其与设定的光照条件相匹配。
• 前景保留重照明：在重照明前景的同时，保持背景不变，适用于需要突出前景对象的场合。

RelightVid的技术原理

• 扩散模型扩展：RelightVid以预训练的图像重照明扩散模型（如IC-Light）为基础，扩展其架构以支持视频输入，并引入时序层以捕捉帧间的时间依赖性，从而确保重照明的时序一致性。
• 多模态条件联合训练：该模型能够同时使用背景视频、文本提示和HDR环境贴图作为输入条件，通过编码器将这些条件嵌入模型中，并利用交叉注意力机制实现协同编辑。
• 光照不变集成（Illumination-Invariant Ensemble，IIE）：通过亮度增强输入视频并平均预测噪声，提升模型在不同光照条件下的鲁棒性，避免反照率的变化影响效果。
• 数据增强管道（LightAtlas）：结合真实视频和3D渲染数据生成高质量的重照明数据对，为模型提供丰富的光照先验知识，增强其对复杂光照场景的适应能力。

RelightVid的项目地址

• 项目官网：https://aleafy.github.io/relightvid/
• GitHub仓库：https://github.com/Aleafy/RelightVid
• arXiv技术论文：https://arxiv.org/pdf/2501.16330
• 在线体验Demo：https://huggingface.co/spaces/aleafy/RelightVid

RelightVid的应用场景

• 影视制作：在电影或电视剧制作中，调整场景的光照效果，满足不同剧情需求或导演的艺术构想，避免重新拍摄。
• 游戏开发：在游戏中动态调整场景光照，增强玩家的沉浸感和视觉效果，以适应不同的时间和天气条件。
• 增强现实（AR）：在AR应用中实时调整虚拟元素的光照，使其与现实环境的光照相一致，提升用户体验。
• 视频广告与营销：为广告视频快速生成多种光照风格，以满足不同品牌或活动的宣传需求，提高视觉吸引力。
• 视频内容创作：帮助视频博主或内容创作者轻松改变视频的光照氛围，如模拟不同天气或时间的场景，丰富创作内容。

常见问题

• RelightVid支持哪些视频格式？：RelightVid支持多种常见的视频格式，包括MP4、AVI等。
• 如何使用RelightVid进行视频重照明？：用户可以通过上传视频、输入文本提示或选择背景视频/HDR环境贴图来实现重照明效果。
• 是否需要专业技能才能使用RelightVid？：RelightVid设计为用户友好，即使是非专业用户也能轻松上手。
• 重照明效果可以实时预览吗？：是的，用户可以在调整设置时实时预览重照明效果。