AIGC动态欢迎阅读
原标题:「花果山名场面」有了高清画质版,NTU提出视频超分框架Upscale-A-Video
关键字:时间,视频,模型,纹理,卷积
文章来源:机器之心
内容字数:3519字
内容摘要:
机器之心报道
机器之心编辑部扩散模型在图像生成方面取得了显著的成功,但由于对输出保真度和时间一致性的高要求,将这些模型应用于视频超分辨率仍然具有挑战性,特别是其固有的随机性使这变得复杂。
来自南洋理工大学 S-Lab 的研究团队提出了一种用于视频超分的文本指导(text-guided)潜在扩散框架 ——Upscale-A-Video。该框架通过两个关键机制确保时间一致性:在局部,它将时间层集成到 U-Net 和 VAE-Decoder 中,保持短序列的一致性;在全局范围内,无需训练,就引入了流指导(flow-guided)循环潜在传播模块,通过在整个序列中传播和融合潜在来增强整体视频的稳定性。论文地址:https://arxiv.org/abs/2312.06640
得益于扩散范式,Upscale-A-Video 还提供了很大的灵活性,允许文本 prompt 指导纹理创建,并且可调节噪声水平以平衡恢复(restoration)和生成,从而实现保真度和质量之间的权衡。
实验结果表明,Upscale-A-Video 在合成和现实世界基准上都超越了现有方法,展示了令人印象深刻的视觉真实感和时
原文链接:「花果山名场面」有了高清画质版,NTU提出视频超分框架Upscale-A-Video
联系作者
文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...