GroundingBooth – Adobe联合多所高校推出主题和文本到图像的定制框架

GroundingBooth 是一个创新的文本到图像定制框架，由华盛顿大学圣路易斯分校、Adobe和普渡大学的研究团队联合开发。该框架利用文本-图像对齐模块和遮罩交叉注意力层，实现前景和背景对象的精准空间对齐。GroundingBooth 能够生成符合用户个性化需求的图像，确保布局、身份保留和文本-图像一致性，支持多主题定制，且在复杂场景中保持高精度。它是首个实现主题驱动的前景生成与文本驱动的背景生成相结合的系统，为高度个性化的视觉内容创作开启了新机遇。

GroundingBooth是什么

GroundingBooth 是一款先进的文本到图像定制框架，由华盛顿大学圣路易斯分校、Adobe和普渡大学的研究团队共同研发。该框架通过文本-图像对齐模块和遮罩交叉注意力层，实现前景与背景对象之间的高精度空间对齐。它能够生成符合用户需求的个性化图像，支持多主题定制，并在复杂场景中保持高准确性，是视觉内容创作的新工具。

GroundingBooth的主要功能

• 单主题定制：根据用户提供的文本描述和单个主题图像生成匹配的定制图像。
• 多主题与文本实体联合定制：支持同时定制多个主题和文本实体，生成包含多个对象和文本描述的复杂图像。
• 空间对齐：确保生成图像中的对象空间位置与输入布局一致。
• 身份保留：在图像生成过程中保持主题的身份特征。
• 文本-图像对齐：确保生成图像内容与文本描述相符。

GroundingBooth的技术原理

• 特征提取：利用 CLIP 文本编码器和 DINOv2 图像编码器提取文本和图像的特征嵌入。
• 接地模块：通过位置编码将文本和图像特征与输入布局信息结合，生成接地标记。
• 遮罩交叉注意力层：在 U-Net 的每个 Transformer 块中使用遮罩交叉注意力层，精确控制前景和背景特征的融合。
• 精确布局控制：利用遮罩交叉注意力层在训练和推理阶段实现图像中对象大小和位置的精确控制。
• 模型训练：模型在训练阶段学习如何根据文本描述和参考对象生成准确的图像布局。
• 模型推理：在推理阶段，模型处理多个参考对象，通过复制的遮罩交叉注意力层实现多主题定制。
• 避免上下文混合：区分主题驱动的前景生成与文本驱动的背景生成，避免生成过程中的上下文混淆。

GroundingBooth的项目地址

• 项目官网：groundingbooth.github.io
• arXiv技术论文：https://arxiv.org/pdf/2409.08520v1

GroundingBooth的应用场景

• 个性化商品定制：用户可以根据自己的喜好生成定制化商品图像，如个性化的 T 恤、杯子、手机壳等，印有特定图案或文字。
• 艺术创作：艺术家和设计师利用 GroundingBooth 创建具有特定风格和元素的艺术作品。
• 游戏设计：游戏开发者可快速生成个性化角色、场景或物品。
• 广告与营销：营销人员可以创建与广告文案相匹配的定制图像，提升广告的吸引力。
• 社交媒体内容制作：用户可在社交媒体上分享与特定话题或活动相关的定制图像。
• 教育与培训材料：教育者生成具有特定信息和布局的教学图像，提高学习材料的吸引力和有效性。

常见问题

• GroundingBooth的使用难度大吗？：GroundingBooth 设计为用户友好，提供简单的接口，用户可轻松上手。
• 生成的图像质量如何？：得益于其先进的对齐技术，GroundingBooth 能够生成高质量的图像，满足个性化需求。
• 是否支持多语言文本描述？：是的，GroundingBooth 支持多种语言的文本描述，方便全球用户使用。