「花果山名场面」有了高清画质版，NTU提出视频超分框架Upscale-A-Video

AIGC动态欢迎阅读

原标题：「花果山名场面」有了高清画质版，NTU提出视频超分框架Upscale-A-Video
关键字：时间,视频,模型,纹理,卷积
文章来源：机器之心
内容字数：3519字

内容摘要：

机器之心报道
机器之心编辑部扩散模型在图像生成方面取得了显著的成功，但由于对输出保真度和时间一致性的高要求，将这些模型应用于视频超分辨率仍然具有挑战性，特别是其固有的随机性使这变得复杂。
来自南洋理工大学 S-Lab 的研究团队提出了一种用于视频超分的文本指导（text-guided）潜在扩散框架 ——Upscale-A-Video。该框架通过两个关键机制确保时间一致性：在局部，它将时间层集成到 U-Net 和 VAE-Decoder 中，保持短序列的一致性；在全局范围内，无需训练，就引入了流指导（flow-guided）循环潜在传播模块，通过在整个序列中传播和融合潜在来增强整体视频的稳定性。论文地址：https://arxiv.org/abs/2312.06640
得益于扩散范式，Upscale-A-Video 还提供了很大的灵活性，允许文本 prompt 指导纹理创建，并且可调节噪声水平以平衡恢复（restoration）和生成，从而实现保真度和质量之间的权衡。
实验结果表明，Upscale-A-Video 在合成和现实世界基准上都超越了现有方法，展示了令人印象深刻的视觉真实感和时

原文链接：「花果山名场面」有了高清画质版，NTU提出视频超分框架Upscale-A-Video