SUPIR

SUPIR是一种创新的图像修复和画质提升技术，采用了先进的生成模型StableDiffusion-XL（SDXL）和模型扩展方法，通过深度学习和多模态技术，实现对低质量图像的高效恢复。它支持用户通过文本提示对修复过程进行精细控制，能够根据需求调整图像的纹理和场景内容。

SUPIR是什么

SUPIR（Scaling-UP Image Restoration）是一项前沿的图像修复及画质提升解决方案，利用大规模的生成模型StableDiffusion-XL（SDXL）以及模型扩展技术，结合深度学习和多模态方法，将低质量图像恢复至高质量的状态。该技术允许用户通过文本提示进行精确的图像恢复控制，可以根据用户的需求调整图像的细节，如物体的纹理和场景的语义内容。SUPIR的开发团队包括来自中国科学院深圳先进技术研究院、上海AI实验室、悉尼大学、香港理工大学、腾讯ARC实验室和香港中文大学的专家。

SUPIR的官网入口

• 官方项目主页：https://supir.xpixel.group/
• GitHub源码库：https://github.com/Fanghua-Yu/SUPIR
• arXiv研究论文：https://arxiv.org/abs/2401.13627

SUPIR的主要功能

• 高质量图像修复：SUPIR可以将低质量图像恢复到接近原始状态的高质量版本，能够处理因压缩、噪声、模糊等原因造成的图像退化。
• 多种图像修复支持：SUPIR能够有效修复多种类型的退化图像，包括风景、人脸、动物、游戏画面、老电影及老照片，增强图像细节，恢复清晰度与真实感，使图像焕然一新。
• 文本提示引导：SUPIR允许用户通过文本提示指导图像修复，可以指定具体的恢复方面，如修复模糊的特定物体、改变物体的材质或根据语义需求调整恢复效果。
• 负质量提示：SUPIR通过负质量提示提升图像感知质量，用户可以告诉模型哪些特征是不希望出现的（如“油画效果、卡通化、模糊、杂乱、低质量”等），从而提升图像整体质量。

SUPIR的工作原理

1. 生成性先验：SUPIR依托StableDiffusion-XL（SDXL）作为其生成性先验，这是一个包含26亿参数的预训练图像生成模型，负责指导图像生成和恢复过程。
2. 数据集与文本注释：研究团队构建了包含2000万张高分辨率、高质量图像的数据集，并为每张图像提供详细的文字描述，以帮助模型更好地理解和恢复图像。
3. 适配器设计：为了有效应用SDXL模型，研究人员开发并训练了一个超过6亿参数的适配器，该适配器识别低质量图像中的内容，并在像素级别上精细调整生成过程。
   
4. 文本提示控制：SUPIR根据用户提供的文本提示来指导图像恢复，提示可以是关于图像内容的具体描述或关于期望图像质量的高级语义描述。
5. 负质量提示与训练样本：SUPIR通过引入负质量提示帮助模型理解不希望出现的图像特征，研究者利用SDXL生成符合负质量提示的图像，并将其纳入训练数据，以确保模型学习这些负质量概念。
6. 恢复引导采样：为了防止生成过程中出现的图像失真，SUPIR采用了一种新颖的恢复引导采样方法，在扩散过程中选择性地引导预测结果接近低质量图像，以保持恢复的一致性。
7. 模型训练与采样设置：SUPIR在训练过程中使用合成退化模型，并在64个Nvidia A6000 GPU上进行了为期10天的训练，测试时能够处理1024×1024像素的图像。

SUPIR的应用场景

• 老照片修复：SUPIR可用于修复老化、损坏或褪色的老照片，重现其原始色彩和细节，帮助珍贵记忆得以保存与传承。
• 模糊图像增强：对于因手抖、对焦错误或运动模糊导致的照片，SUPIR能够通过先进算法提升图像清晰度，使模糊的图像变得更加锐利。
• 噪点去除：在高ISO或低光照条件下拍摄的照片常常伴有噪点，SUPIR能有效地识别并去除这些噪点，同时保留重要的图像细节。
• 色彩校正与增强：SUPIR能够识别和修正色彩失真问题，如过度饱和或色彩偏差，使图像的色彩更加真实生动。