无需训练，这个新方法实现了生成图像尺寸、分辨率

无需训练，这个新方法实现了生成图像尺寸、分辨率自由

AIGC动态欢迎阅读

原标题：无需训练，这个新方法实现了生成图像尺寸、分辨率
关键字：卷积,图像,分辨率,模型,结构
文章来源：机器之心
内容字数：6035字

内容摘要：

机器之心专栏
机器之心编辑部近日，来自香港中文大学 – 商汤科技联合实验室等机构的研究者们提出了FouriScale，该方法在利用预训练扩散模型生成高分辨率图像方面取得了显著提升。近期，扩散模型凭借其出色的性能已超越 GAN 和自回归模型，成为生成式模型的主流选择。基于扩散模型的文本到图像生成模型（如 SD、SDXL、Midjourney 和 Imagen）展现了生成高质量图像的惊人能力。通常，这些模型在特定分辨率下进行训练，以确保在现有硬件上实现高效处理和稳定的模型训练。图 1 : 采用不同方法在 SDXL 1.0 下生成 2048×2048 图像的对比。[1]
然而，当这些预训练的扩散模型在超出训练分辨率时生成图像，通常会出现模式重复和严重的人工伪影（artifacts）问题，如图 1 最左侧所示。
为了解决这一问题，来自香港中文大学 – 商汤科技联合实验室等机构的研究者们在一篇论文中深入研究了扩散模型中常用的 UNet 结构的卷积层，并从频域分析的角度提出了 FouriScale, 如图 2 所示。图 2 FouriScale 的流程（橙色线）示意图，目的是保证跨分辨率的一致性。

原文链接：无需训练，这个新方法实现了生成图像尺寸、分辨率