ECCV 2024收录！旷视提出无需训练的更高分辨率图像生成框架HiDiffusion | 一作、高级研究员张慎主讲预告

AIGC动态欢迎阅读

原标题：ECCV 2024收录！旷视提出无需训练的更高分辨率图像生成框架HiDiffusion | 一作、高级研究员张慎主讲预告
关键字：图像,分辨率,框架,问题,模型
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

在图像生成领域，高分辨率图像的生成一直是一个具有挑战性的工作。Stable Diffusion等强大的预训练扩散模型目前可以生成1024×1024像素的高质量图像。但生成更高分辨率的图像（2K-4K）会遇到不合理的重复物体问题，并且生成时间成倍增加。
为解决这些问题，旷视研究院高级研究员张慎等研究人员提出了一个无需训练的更高分辨率图像生成框架 HiDiffusion。该框架通过动态调整特征图大小来解决重复物体问题，同时改进自注意力机制实现推理速度的提升。相关论文为《HiDiffusion: Unlocking higher-resolution creativity and efficiency in pretrained diffusion models》，已收录于ECCV 2024。HiDiffusion框架主要由两部分组成：分辨率感知U-Net（RAU-Net）和改进的移动窗口多头自注意力 (MSW-MSA)。
RAU-Net通过动态调整特征图的大小来解决高分辨率图像生成中的对象重复问题。这种调整是为了匹配U-Net深层块中卷积的感受野，从而确保在生成更高分辨率图像时不会发生特征

原文链接：ECCV 2024收录！旷视提出无需训练的更高分辨率图像生成框架HiDiffusion | 一作、高级研究员张慎主讲预告