Hi3DGen

Hi3DGen – 港中文、字节、清华联合推出的3D几何生成框架

Hi3DGen是什么

Hi3DGen 是由香港中文大学（深圳）、字节跳动和清华大学的研究人员联手开发的一款高保真3D几何生成框架。该系统能够从2D图像转换为高质量的3D模型，利用法线图作为中间表示，Hi3DGen 在生成丰富几何细节方面表现出色，远超现有技术。其框架包括三个核心组件：图像法线估计器、法线到几何的学习方法以及3D数据合成管道。

Hi3DGen的主要功能

• 高保真3D模型生成：将2D图像转化为细节丰富的3D几何模型。
• 图像法线估计：通过噪声注入和双流训练，解耦低频与高频图像模式，实现稳定且清晰的法线估计。
• 法线到几何学习：基于法线图的正则化技术，提升3D几何生成的保真度。
• 3D数据合成：构建高质量的3D数据集，以支持模型的训练。

Hi3DGen的技术原理

• 图像法线估计器：该组件通过噪声注入和双流训练，分离图像的低频和高频模式。低频模式负责整体形状和结构，而高频模式则聚焦于细节和纹理，从而生成可泛化、稳定且清晰的法线图，为后续3D几何生成提供高质量的中间表示。
• 法线到几何学习方法：利用法线图作为正则化手段，对潜在扩散模型进行训练，增强3D几何生成的细节保留。
• 3D数据合成管道：通过合成高质量的3D数据集，支持模型学习2D图像与3D几何之间的映射关系。
• 两阶段生成过程：Hi3DGen 采用两阶段生成策略：
  • 第一阶段：基础多视角生成：使用预训练的视频扩散模型，依据额外的相机姿态进行微调，将单视角图像转换为低分辨率的3D感知序列图像（轨道视频）。
  • 第二阶段：3D感知多视角细化：输入第一阶段生成的低分辨率多视角图像到3D感知视频到视频细化器，进一步提升图像的分辨率与纹理细节。
• 3D高斯散射（3DGS）：从生成的高分辨率多视角图像中学习隐式3D模型，并通过3DGS渲染额外的插值视图。
• 基于SDF的重建：利用基于SDF（Signed Distance Function）的重建技术，从增强的密集视图中提取高质量的3D网格。

Hi3DGen的项目地址

• 项目官网：https://stable-x.github.io/Hi3DGen/
• Github仓库：https://github.com/Stable-X/Hi3DGen

Hi3DGen的应用场景

• 游戏开发：能够快速生成高质量的3D游戏资产，涵盖角色、道具及场景等。
• 影视制作：用于创建逼真的3D特效和动画，有效节省传统建模所需的时间和成本。
• 3D可视化：支持从不同视角查看和分析3D模型，适用于建筑设计和工业设计等领域。
• 虚拟摄影：生成多角度的高质量图像，用于在线展示和市场营销。
• 文物保护：从文物单张照片重建3D模型，以实现数字化保存和研究。
• 医学成像：从医学图像（如X光、CT）生成3D模型，辅助临床诊断和治疗。

常见问题

• Hi3DGen的使用条件是什么？：需要具备基本的图像处理和机器学习知识，以便有效使用该框架进行3D模型生成。
• 生成的3D模型质量如何？：Hi3DGen 采用先进的算法，能够生成高保真度和细节丰富的3D模型，适合多种应用场景。
• 是否支持大规模数据集的训练？：是的，Hi3DGen 提供了构建高质量3D数据集的支持，适合大规模训练需求。
• 如何获取技术支持？：可以通过项目官网或Github仓库提交问题，团队会提供相应的技术支持。