扩散模型新突破！无需微调，就能高效稳定移除目标物体

该研究已被AAAI 2025录为oral论文。

原标题：扩散模型新突破！无需微调，就能高效稳定移除目标物体
文章来源：机器之心
内容字数：12478字

Attentive Eraser: 一种无需微调的扩散模型目标移除方法

本文介绍了一种名为 Attentive Eraser 的新方法，它能够在无需微调预训练扩散模型的情况下，有效地从图像中移除目标对象。该方法已发表在 AAAI 2025 并被选为 Oral Presentation。

1. 背景与挑战

扩散模型在图像生成领域取得了显著进展，但将其应用于图像目标移除任务仍面临挑战。现有方法常出现残影、伪影等问题，难以实现与背景的自然融合。即使是经过微调的模型，例如 SD-inpainting，其性能也不够稳定。

2. Attentive Eraser 的核心创新

Attentive Eraser 提出了一种无需微调的解决方案，主要包含两个关键部分：

1. 注意力激活和抑制 (AAS)： 通过修改预训练扩散模型的自注意力机制，增强模型对背景的注意力，同时降低对前景目标的注意力。此外，还引入了相似性抑制 (SS) 来解决自注意力机制对相似物体的过度关注问题。
2. 自注意力重定向引导 (SARG)： 利用 AAS 修改后的自注意力机制，引导逆向扩散采样过程，从而更有效地移除目标并生成与背景自然融合的内容。

AAS 通过调整自注意力权重，增加前景区域对背景的注意力（注意力激活），同时减少前景区域对自身以及背景区域对前景的注意力（注意力抑制）。 SS 则通过降低相似性矩阵方差来抑制对相似物体的关注。

3. 实验结果与分析

实验结果表明，Attentive Eraser 在多种预训练扩散模型上均表现出色，甚至优于基于微调的方法。其优势体现在：

1. 更高的稳定性： 在不同随机种子下，Attentive Eraser 能生成一致的结果，而其他方法则表现出较大的波动。
2. 更有效的目标移除： 在 CLIP Score 指标上与领先方法 LAMA 达到相当水平，并在某些场景下表现更好。
3. 更好的局部图像质量： Local-FID 指标显示 Attentive Eraser 生成的内容与真实图像分布更接近。
4. 更高的用户偏好： 用户研究表明 Attentive Eraser 更受用户青睐。
5. 更强的鲁棒性和可扩展性： 对不同精细度的掩码和不同类型的扩散模型（包括生成动漫图像的模型）均表现良好。

4. 结论

Attentive Eraser 提出了一种简单有效且无需微调的扩散模型目标移除方法。其在稳定性、有效性和可扩展性方面均展现出优异的性能，为图像编辑领域提供了新的思路。

论文链接：https://arxiv.org/pdf/2412.12974

Github 地址：https://github.com/Anonym0u3/AttentiveEraser

ModelScope Demo: https://www.modelscope.cn/studios/Anonymou3/AttentiveEraser

Hugging Face Demo: https://huggingface.co/spaces/nuwandaa/AttentiveEraser

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台