BAG

BAG – 港中文联合腾讯推出的3D可穿戴资产生成技术

BAG是什么

BAG（Body-Aligned 3D Wearable Asset Generation）是一项由香港中文大学与腾讯共同研发的先进3D可穿戴资产生成技术。该技术巧妙结合了多视图图像扩散模型和控制网络（ControlNet），通过分析人体的形状与姿态信息，自动生成完美契合人体的3D可穿戴资产，如服装和配饰。BAG的核心在于利用多视图生成器与3D扩散模型。首先，通过多视图图像扩散模型生成与人体对齐的多视图图像，接着将这些图像输入3D扩散模型，转化为3D资产。经过物理模拟与优化，生成的资产能够自然而然地贴合人体，避免穿透问题。

BAG的主要功能

• 多视图图像生成：基于人体形状与姿态信息，利用多视图图像扩散模型生成与人体完美对齐的多视图图像。
• 3D资产生成：将生成的多视图图像输入3D扩散模型，创造出高质量的3D服装与配饰。
• 多样化与个性化：支持从单一资产到多个组件的生成，满足不同场景下的多样化需求。
• 高效适配：快速生成与多种人体模型相适配的资产，适用于虚拟服装试穿、游戏开发、虚拟现实（VR）和增强现实（AR）等领域。

BAG的技术原理

• 视图图像扩散模型：BAG首先构建了一个扩散模型，能够将单一图像转化为一致的多视图图像，并在大规模的Objaverse数据集上进行训练，确保多样性与泛化能力。通过控制网络（ControlNet），模型能够生成与人体对齐的多视图图像，控制信号利用目标人体的多视图2D投影，其中像素值表示规范化空间中的人体表面XYZ坐标。
• 3D形状生成：生成的多视图图像被输入本地的3D扩散模型中，以生成资产的3D形状。通过多视图轮廓监督恢复相似变换（Sim3），确保生成的3D资产与人体模型在空间上完美对齐。
• 物理模拟与优化：为确保生成的3D资产能够自然贴合人体，BAG采用物理模拟技术来解决资产与身体之间的穿透问题。通过代理网格保留资产的基本几何形状，作为布料模拟的代表，最终实现无穿透的完美对齐。

BAG的项目地址

• 项目官网：https://bag-3d.github.io/
• arXiv技术论文：https://arxiv.org/pdf/2501.16177

BAG的应用场景

• 虚拟服装试穿：BAG能够根据用户的身体模型迅速生成适合的3D服装和配饰，用户可以在虚拟环境中实时试穿不同风格的服装，提升购物体验，减少因尺码不合适引起的退货率。
• 游戏开发：在游戏开发中，BAG可为游戏角色提供多样化的服装与配饰，支持个性化定制，丰富玩家的角色体验。
• 虚拟现实（VR）和增强现实（AR）：BAG生成的3D资产可以无缝集成到VR和AR应用中，为用户提供沉浸式的服装试穿与设计体验，可以在虚拟展厅中试穿多种风格的服装。
• 时尚设计：设计师可以利用BAG快速生成与迭代3D服装模型，加快设计流程，并在虚拟环境中预览设计效果，降低设计成本。

常见问题

• BAG如何确保生成资产的质量？：BAG利用多视图图像和3D扩散模型，结合物理模拟技术，确保生成的3D资产不仅美观，而且在物理上与人体模型自然贴合。
• 该技术适用于哪些领域？：BAG广泛应用于虚拟服装试穿、游戏开发、虚拟现实（VR）和增强现实（AR）、以及时尚设计等多个领域。
• 如何访问BAG的更多信息？：您可以访问BAG的官方网站以及相关技术论文，获取更多详细信息。