GeneMAN：创新3D人体模型创建框架助力精准数字化人体重建

GeneMAN是一款由上海AI实验室、北京大学、南洋理工大学和上海交通大学联合开发的3D人形创建框架，能够从单张图片中生成高保真的3D人体模型。该框架不依赖传统的参数化人体模型，而是利用大量高质量的人类数据集，包括3D扫描、多视角视频、单张照片和合成数据，来训练人类特定的2D和3D先验模型。

GeneMAN是什么

GeneMAN是一个先进的3D人形创建框架，由上海AI实验室与多所顶尖高校联合研发。它的主要功能是从一张普通的图片中生成高保真的3D人体模型。该框架通过结合多种高质量的数据集，包括3D扫描、多视角视频以及单张照片，训练出人类特定的2D和3D先验模型。GeneMAN采用几何初始化、雕刻流程和多空间纹理细化技术，实现了从自然环境的图像中提取高质量3D人体模型的能力，能够适应不同的人体比例、姿势和服装。

GeneMAN的主要功能

处理多样化的人体比例：无论是全身、半身还是特写，GeneMAN均能生成相应的3D模型。
适应不同的服装和姿势：能够处理多种服装设计和各种姿势，包括自然姿势及常见物品的使用。
处理野外图像：特别擅长处理自然环境下的图像，这些图像通常包含复杂背景和多变的光照条件。
生成高质量的纹理：通过多空间纹理细化流程，GeneMAN能够生成与输入图像细节一致的高质量3D人体纹理。

GeneMAN的技术原理

2D和3D人类先验模型训练：
- 文本到图像扩散模型：用于生成2D人类先验的训练模型。
- 视图条件扩散模型：用于生成3D人类先验的训练模型。
几何初始化与雕刻流程：
- 无模板几何初始化：采用NeRF（神经辐射场）技术生成无模板的3D几何形状。
- 结合先验与损失：利用GeneMAN的2D和3D先验及结构化差异损失（SDS损失）来引导几何初始化。
- 参考损失：确保生成的3D模型与输入图像的对齐。
- 高分辨率细化：将NeRF生成的模型转换为DMTet（深度多面体网格），进行高分辨率的几何细化。
多空间纹理细化流程：
- 粗纹理生成：通过多视图纹理技术生成初步纹理。
- 潜在空间细化：在潜在空间中对纹理进行迭代细化。
- 像素空间细化：利用优化UV图在像素空间中获得细致纹理，基于2D先验的ControlNet进行优化。