Direct3D-S2

Direct3D-S2 – 南大联合复旦等高校推出的高分辨率3D生成框架

Direct3D-S2 是学、DreamTech、复旦大学和牛津大学的研究团队联合开发的一种高分辨率 3D 生成框架。它利用稀疏体积表示和创新的空间稀疏注意力（SSA）机制，显著提升了扩散变换器（DiT）的计算效率，并有效降低了训练成本。该框架采用全端到端的稀疏 SDF 变分自编码器（SS-VAE），具备对称的编码器-解码器结构，支持多分辨率训练。通过使用 8 个 GPU，Direct3D-S2 可在 1024³ 的分辨率下进行高效训练，超越现有方法，为高分辨率 3D 内容创作提供了强有力的技术支持。

Direct3D-S2是什么

Direct3D-S2 是一款先进的高分辨率 3D 生成框架，由学、DreamTech、复旦大学和牛津大学的研究人员共同研发。该框架基于稀疏体积表示和创新的空间稀疏注意力机制，显著提升了扩散变换器的计算效率，并降低了训练成本。其全端到端的稀疏 SDF 变分自编码器采用对称编码器-解码器结构，支持多分辨率训练，并能够在1024³分辨率下仅使用8个GPU进行训练。Direct3D-S2 在生成质量和效率方面均优于现有方法，为高分辨率 3D 内容的创作提供了强大的技术支持。

Direct3D-S2的主要功能

• 高分辨率3D形状生成：能够从图像生成高分辨率的3D形状，支持分辨率高达1024³，生成的模型展现出精细的几何细节和卓越的视觉效果。
• 高效的训练与推理：显著提高了扩散变换器的计算效率，降低了训练成本。在1024³分辨率下，仅需8个GPU即可完成训练。
• 图像条件的3D生成：支持基于输入图像的条件生成，能够生成与输入图像相符的3D模型。

Direct3D-S2的技术原理

• 空间稀疏注意力（SSA）机制：通过将输入token按3D坐标分块，利用稀疏3D卷积及池化操作提取块级全局信息，从而减少token数量并提升计算效率。该机制根据压缩模块的注意力分数，选择重要的块进行细粒度特征提取，进一步优化计算资源的使用。通过局部窗口操作注入局部特征以增强局部特征的交互，提高生成质量。最终，通过预测的门控分数聚合三个模块的输出，生成最终的注意力结果。
• 稀疏SDF变分自编码器（SS-VAE）：结合稀疏3D卷积网络与Transformer网络，将高分辨率的稀疏SDF体积编码为稀疏潜在表示，并通过解码器重建SDF体积。在训练过程中，随机采样不同分辨率的SDF体积，从而提高模型对不同分辨率数据的适应能力，增强训练效率和泛化能力。
• 图像条件的扩散变换器（SS-DiT）：从输入图像中提取稀疏前景token，减少背景token的干扰，从而提升生成的3D模型与输入图像的一致性。基于条件流匹配训练模型，预测从噪声样本到数据分布的速度场，实现在高效的3D形状生成。

Direct3D-S2的项目地址

• 项目官网：https://nju-3dv.github.io/projects/Direct3D-S2/
• GitHub仓库：https://github.com/DreamTechAI/Direct3D-S2
• arXiv技术论文：https://arxiv.org/pdf/2505.17412
• 在线体验Demo：https://huggingface.co/spaces/wushuang98/Direct3D-S2

Direct3D-S2的应用场景

• 虚拟现实（VR）和增强现实（AR）：用于构建逼真的3D环境，创建个性化3D角色，融合现实场景以进行教育和文化遗产保护。
• 游戏开发：能够快速生成高质量的3D游戏资产，实现实时的3D内容生成，根据玩家的输入生成定制化内容。
• 产品设计和原型制作：快速生成产品的3D模型，进行虚拟展示，满足个性化设计需求。
• 影视和动画制作：生成高质量的3D动画角色，创建虚拟场景，制作复杂的3D特效。
• 教育和培训：创建虚拟实验室，生成3D教学模型，以支持虚拟职业培训。

常见问题

• Direct3D-S2是否支持多种平台？：是的，Direct3D-S2可以在多个平台上运行，适用于不同的开发环境。
• 如何获取Direct3D-S2的使用权限？：用户可以通过访问项目官网和GitHub仓库获取相关信息和使用权限。
• Direct3D-S2的学习曲线如何？：Direct3D-S2提供了详细的文档和示例，用户可以通过这些资源快速上手。