HYPIR

HYPIR – 中国科学院团队推出的图像复原大模型

HYPIR 是一款由中国科学院深圳先进技术研究院数字所董超研究员团队研发的先进图像复原大模型。它巧妙地利用扩散模型生成的分数先验，并结合对抗生成网络，实现了高效且高质量的图像复原，支持个性化文本引导，能快速修复老照片、提升图像分辨率，并保持文字和细节的清晰度。

什么是HYPIR？

HYPIR，全称 Harnessing Diffusion-Yielded Score Priors for Image Restoration（利用扩散模型生成的分数先验进行图像复原），是由中国科学院深圳先进技术研究院数字所董超研究员团队倾力打造的尖端图像复原模型。它巧妙融合了扩散模型所产生的分数先验与对抗生成网络的优势，从而实现了高效且高质量的图像复原。HYPIR 具备个性化文本引导功能，用户可根据自身需求，通过输入文本描述来定制复原效果，例如调整图像风格、细节等。该模型在诸多方面表现卓越，包括极速复原能力、超高分辨率生成、文字保真度以及纹理锐度调整等。它能够迅速修复老照片，提升图像分辨率，同时确保文字和细节的清晰度。

HYPIR的核心功能

极速复原： HYPIR 具备出色的快速图像复原能力，能够在短时间内完成高分辨率图像的复原任务。例如，在单张显卡上，仅需 1.7 秒即可完成一张 1024×1024 分辨率图像的复原，速度比传统方法提升了数十倍。
个性化复原： HYPIR 提供了基于文本引导的图像复原功能。用户可以通过输入文本描述来定制复原效果，从而满足个性化需求，如指定复原后的图像风格、细节等。
老照片修复： HYPIR 在修复低质量老照片方面表现出色，能够恢复其原始细节和色彩。它能够有效去除噪声、修复划痕和模糊，使老照片焕然一新。
超高分辨率生成： HYPIR 支持生成高达 8K 分辨率的图像。在复原过程中，它能够保持图像的细节和清晰度，生成高质量的超高分辨率图像。
文字保真： HYPIR 在复原过程中能够保持文字的清晰度和完整性。无论是简单的标识还是复杂的文档，HYPIR 都能精准地还原其原始形态，确保图像中的文字清晰可读。
纹理锐度调整： HYPIR 允许用户根据需要调整图像的纹理细节。用户可以通过简单的参数设置来增强或减弱图像的纹理锐度，从而达到理想的复原效果。
生成保真度权衡： HYPIR 允许用户在生成质量和保真度之间进行灵活调整。用户可以根据具体需求，选择更注重生成效果还是保真度，以实现最佳的复原效果。

HYPIR的技术亮点

预训练扩散模型初始化复原网络： HYPIR 采用预训练的扩散模型来初始化复原网络。关键在于，扩散模型已被训练用于学习不同噪声水平下的分数场（即退化图像的对数概率密度的梯度），使得内化的先验知识非常接近理想的复原操作。这种方法使得复原网络的初始输出分布更接近自然图像分布，确保对抗训练的梯度保持较小且数值稳定。良好的初始化几乎涵盖了所有数据模式，防止训练出现模式坍塌，并且比从头训练更快地收敛到高保真的结果。
单步对抗生成模型训练： HYPIR 摒弃了传统的迭代式扩散模型训练方法，转而采用单步的对抗生成模型训练。它不依赖于扩散模型蒸馏、ControlNet适配器或多步推理过程，在训练和推理速度上比基于扩散模型的方法快了一个数量级以上。实验数据显示，在单张显卡上，HYPIR 仅需 1.7 秒即可完成一张 1024×1024 分辨率图像的复原，相比现有的图像复原方法，速度提升数十倍。