TANGLED

TANGLED – 上海科大联合华中科大等推出的3D发型生成方法

TANGLED是什么

TANGLED是由上海科技大学、Deemos Technology和华中科技大学共同研发的一种创新型3D发型生成技术，能够从各种风格和角度的图像中生成高质量的3D发丝。该技术通过三个核心步骤实现：首先，利用多样性的MultiHair数据集提供丰富的发型样本；其次，借助多视图线稿的扩散框架，通过线稿特征的交叉注意力机制捕捉发型的拓扑结构；最后，采用参数化后处理模块修复复杂发型（如辫子）的细节。TANGLED不仅提升了发型的真实感和多样性，还支持文化包容性数字角色的创建，为动画和增强现实等领域开辟了新的应用可能。

TANGLED

TANGLED的主要功能

多样化发型生成：能够处理各种复杂发型，包括辫子、卷发和传统发型等。
支持多视图输入：接受单视图或多视图图像作为输入，灵活应对不同需求。
灵活的输入风格：支持多种输入形式，如照片、手绘草图、卡通和油画，满足不同应用场景的需求。
文化包容性：特别关注那些未被充分代表的发型纹理（如卷曲和辫子），致力于生成具有文化意义的发型。
高效集成：生成的3D发型可以直接嵌入现有的计算机图形流程中，如Blender和Unreal Engine。

TANGLED的技术原理

NeuraPressMultiHair数据集：包含457种多样化的发型，标注了74个属性，重点关注复杂和具有文化意义的发型。数据集通过多视图渲染和线稿提取增强多样性，同时用GPT-4生成详细的文本标注。
扩散框架：基于多视图线稿的扩散模型，线稿特征用于捕捉发型的拓扑结构（如发丝密度和分界线）。通过DINOv2提取线稿特征，并利用交叉注意力机制将其整合到扩散模型中，随机混合不同视角的线稿特征，提高模型对多种输入风格和视角的适应性。
参数化后处理模块：针对复杂发型（如辫子）设计的参数化建模和修复技术。利用Frenet-Serret框架生成辫子的几何结构，并基于注意力机制自然融入发型中。同时，应用Laplacian平滑技术减少高频噪声，确保发型的几何连贯性和视觉效果。