Add-it：英伟达推出无需训练的智能图像编辑工具，实现一键式创作与灵活调整

Add-it是什么

Add-it是NVIDIA推出的一项创新图像编辑技术，无需任何训练即可根据文本指令在图像中添加对象。这项技术依托于扩展的扩散模型注意力机制，巧妙整合了场景图像、文本提示和生成图像的信息，确保实现结构的一致性和对象的自然放置。Add-it在真实和生成图像的插入基准测试中表现卓越，优于传统的监督学习方法，并且在超过80%的案例中更受用户青睐。

Add-it的主要功能

• 对象插入：能够根据文本指令，毫无缝隙地将新对象融入图像中。
• 保持结构一致性：在添加新对象的同时，确保原始场景的结构不变。
• 自然融合效果：确保新添加的对象与现有场景完美融合，视觉上协调一致。
• 无需训练过程：不需要针对特定任务的微调或训练，使用起来更加便捷。
• 卓越的性能表现：在多个基准测试中，Add-it取得了领先的结果，包括新构建的“Additing Affordance Benchmark”。
• 逐步图像生成：通过逐步生成图像，使最终结果更好地符合用户在每一步的偏好。
• 非真实感图像处理能力：支持处理非真实感图像，如卡通风格或艺术风格的图像。

Add-it的技术原理

• 结构转移技术：将源图像的结构特征注入目标图像，以保持场景的一致性。
• 扩展自注意力机制：利用扩展的自注意力机制，使目标图像能够从文本提示和源图像中提取关键信息，并进行加权处理，以实现更精确的对象放置。
• 主题引导的潜在混合：采用主题引导的潜在混合技术，保留源图像的细腻细节，如纹理和阴影，确保新对象的自然融合。
• 加权扩展注意力机制：基于加权机制，保证在整合信息时，不同来源的信息得到适当重视，从而实现更加自然的对象放置。
• 无需额外训练：通过预训练的扩散模型，无需额外的训练步骤即可实现高质量的图像编辑。

Add-it的项目地址

• 项目官网：research.nvidia.com/labs/par/addit
• GitHub仓库：https://github.com/NVlabs/addit
• arXiv技术论文：https://arxiv.org/pdf/2411.07232

Add-it的应用场景

• 广告与营销：在广告图像中添加产品或品牌元素，以创造更具吸引力的广告素材。
• 内容创作：艺术家和设计师能够迅速将构思中的对象或场景融入现有艺术作品中。
• 电影与游戏制作：在电影或游戏的背景中添加虚拟角色或物体，增强视觉效果。
• 新闻媒体：在新闻报道中，能够添加或替换图像中的特定元素。
• 社交媒体：用户可以在社交媒体上分享的图片中添加文本描述的对象，以增加互动性和趣味性。

常见问题

• Add-it是否需要特定的训练？不需要，Add-it使用预训练模型，无需额外训练。
• 我可以在任何类型的图像上使用Add-it吗？是的，Add-it支持处理各种风格的图像，包括非真实感图像。
• 使用Add-it是否复杂？Add-it设计简洁，用户只需提供文本指令，即可轻松完成图像编辑。
• Add-it的性能如何？在多项基准测试中，Add-it的表现优于传统监督学习方法。