Edify 3D：革新3D生成技术助力创意无限可能

Edify 3D 是 NVIDIA 推出的创新性3D资产生成解决方案，可以通过文本提示或参考图像迅速合成高质量的3D模型。该系统能够在短短两分钟内生成具有精细几何形状、清晰拓扑结构及高分辨率纹理的3D资产，广泛应用于视频游戏设计、扩展现实（XR）、模拟训练等多个领域。

Edify 3D是什么

Edify 3D 是 NVIDIA 开发的一种先进的3D资产生成工具，可以通过输入的文本描述或参考图像快速生成高质量的3D模型。该技术结合了多视图扩散模型和基于Transformer的重建模型，大幅提升了3D内容制作的效率与可扩展性。在不超过两分钟的时间内，Edify 3D能够生成细致的几何形状、清晰的拓扑结构，以及具有4K分辨率的纹理和基于物理的渲染（PBR）材质，满足各类快速生产的需求。

Edify 3D的主要功能

• 文本转3D生成：通过文本描述生成详细的3D资产，具备精细的几何形状和高分辨率纹理。
• 图像转3D生成：从参考图像中自动识别并生成相应的3D模型。
• 快速生成：在两分钟内高效生成高质量的3D资产，满足快速开发需求。
• 高分辨率纹理：支持生成高达4K分辨率的纹理，确保视觉效果的出色。
• PBR材质支持：生成的3D资产具有基于物理的渲染材质，在不同光照条件下保持真实感。
• UV贴图和材质图：生成的资产附带有序的UV贴图和材质图，便于后续的编辑与渲染。

Edify 3D的技术原理

• 多视图扩散模型：使用多视图扩散模型合成对象的RGB外观及表面法线图像，处理文本提示和相机姿态，从多个视角合成对象外观。
• 基于Transformer的重建模型：利用合成的多视图RGB和表面法线图像，通过Transformer模型预测3D形状的几何、纹理和材质。
• 跨视图注意力机制：多视图扩散模型扩展自注意层，跨不同视点进行注意力分配，以提高视点一致性。
• 高分辨率上采样：通过上采样ControlNet提升多视图RGB图像的分辨率，并对纹理和表面法线进行条件化处理。
• PBR渲染：在生成过程中运用基于物理的渲染技术，确保材质和光照效果的真实。
• 网格后处理：生成的3D网格经过后处理，包括重新拓扑为四边形网格和UV映射生成，满足艺术和设计需求。

Edify 3D的项目地址

• 项目官网：research.nvidia.com/labs/dir/edify-3d
• arXiv技术论文：https://arxiv.org/pdf/2411.07135

Edify 3D的应用场景

• 视频游戏设计：游戏开发者能够快速生成中世纪城堡的3D模型，包括城墙、塔楼及其内部结构，以及相应的纹理和材质，为即将推出的策略游戏做好素材准备。
• 扩展现实（XR）：虚拟现实体验设计师可创建逼真的海底世界，包含各种海洋生物和珊瑚礁，为潜水爱好者提供沉浸式的虚拟潜水体验。
• 电影和视频制作：电影制作团队能够生成未来城市的3D场景，用于科幻电影中的关键追逐戏，展现摩天大楼、飞行汽车和异形植物等元素。
• 模拟和训练：军事训练模拟器中，生成复杂的城市环境和战场地形，供士兵进行战术训练和实战模拟。
• 建筑和城市规划：城市规划师依据最新城市设计草案，快速生成3D城市模型，涵盖新的住宅区、商业中心及公园，以便进行公众展示和反馈收集。

常见问题

• Edify 3D的使用难度如何？：Edify 3D的用户界面友好，适合各类用户，甚至是非专业人士也能快速上手。
• 生成的3D资产可以导出到哪些格式？：生成的3D资产支持多种格式导出，便于与其他软件进行兼容。
• 是否需要高性能计算设备？：虽然推荐使用高性能计算设备来获得最佳效果，但Edify 3D也可在较为普通的设备上运行。