DesignEdit

DesignEdit是一个由微软亚洲研究院与北京大学研发的AI图像编辑框架，具有极高的空间感知能力，能够实现精准的图像处理。该框架引入了设计领域的图层概念，结合多层潜在分解与融合技术，无需额外训练即可进行各种复杂的图像编辑任务。

DesignEdit是什么

DesignEdit是由微软亚洲研究院与北京大学的研究团队联合开发的AI图像编辑框架，利用设计领域的图层概念，并采用了多层潜在分解和融合技术，能够在无需额外训练的情况下，进行高精度的空间感知图像编辑与处理。通过关键掩码自注意力机制和伪影抑制方案，DesignEdit能够灵活处理图像中的各个对象，执行如移动、调整大小和移除等复杂操作。

DesignEdit的官网入口

• 官方项目主页：https://design-edit.github.io/
• arXiv研究论文：https://arxiv.org/abs/2403.14487
• GitHub源码库：https://github.com/design-edit/DesignEdit
• Hugging Face Demo：https://huggingface.co/spaces/YuhuiYuan/DesignEdit

DesignEdit的主要功能

• 对象移除：用户可以从图像中精准移除一个或多个对象。DesignEdit通过多层潜在分解技术，独立处理每个对象，移除后可自然修复背景。
• 对象移动：框架允许用户将图像中的对象移动到新的位置，确保在调整过程中与周围环境保持和谐。
• 对象调整大小和翻转：DesignEdit支持对图像中的对象进行缩放和翻转操作，用户可自由改变对象的尺寸或方向，而不会影响其他部分。
• 相机视角调整：通过模拟相机的平移和缩放，DesignEdit允许用户调整图像的构图，仿佛通过镜头观察时进行的视角变换。
• 跨图像组合：该功能支持将不同图像中的元素组合，实现全新图像的创作，特别适用于创意工作。
• 设计图像编辑：专门针对设计图像和海报，DesignEdit能够处理文本、装饰及其他设计元素的编辑，满足设计图像的特定需求。

DesignEdit的工作原理

DesignEdit的运作基于两个核心任务的结合：多层潜在分解与多层潜在融合。

1. 多层潜在分解：
   • 概念：DesignEdit将源图像的潜在表示划分为多个层次，每个层次代表不同的对象或背景部分。
   • 关键掩码自注意力机制：为确保编辑特定区域而不破坏其他部分，DesignEdit引入了关键掩码自注意力机制，允许模型在处理时忽略或修改掩码区域内的像素，同时保留周围上下文信息。
   • 背景修复：在对象移除后，DesignEdit利用自注意力机制填补背景空白，确保图像连贯自然。
2. 多层潜在融合：
   • 指令引导的融合：在分解后，DesignEdit依据用户的编辑指令，将多个编辑后的潜在表示层融合到新画布上，按特定层次顺序和布局进行。
   • 伪影抑制：为提高编辑质量，DesignEdit在潜在空间中应用伪影抑制方案，以减少视觉瑕疵，使图像更自然真实。
   • 和谐化处理：融合过程中，DesignEdit通过去噪步骤优化边缘整合和界面平滑过渡。

整个编辑过程无需额外训练，DesignEdit利用先进的深度学习模型，如GPT-4V，辅助生成精确的编辑指令和布局安排，从而实现高效且准确的图像编辑。