TaoAvatar

TaoAvatar – 阿里推出的实时高清3D全身对话数字人技术

TaoAvatar是一款由阿里巴巴集团研究团队开发的高保真、轻量级3D全身对话虚拟人技术。借助先进的3D高斯溅射技术，TaoAvatar能够生成极具真实性的3D全身虚拟形象，支持高分辨率渲染并具备低存储需求。这项技术可在多种移动设备和增强现实（AR）设备上以每秒90帧的高帧率实时运行，通过语音、面部表情、手势和身体姿态等多种信号实现自然的口型、表情和动作同步。

TaoAvatar是什么

TaoAvatar是由阿里巴巴集团研究团队推出的创新技术，旨在提供高保真的3D全身虚拟人体验。它基于3D高斯溅射技术，能够生成高度真实的虚拟形象，并支持在多种设备上实时渲染，适应低存储需求的特点，使其在实际应用中更加灵活和高效。

TaoAvatar的主要功能

• 高保真全身动态虚拟形象生成：能够从多个视角的图像序列中生成逼真的3D全身虚拟形象，支持对姿态、手势及表情的精细控制。
• 实时渲染与低存储需求：在各种移动和AR设备上以90FPS高帧率实时运行，并支持高分辨率渲染，同时保持较低的存储需求。
• 多信号驱动：通过语音、表情、手势和身体姿势等多种信号驱动，实现口型、表情和动作的自然同步，提升交互体验。
• 轻量级架构：将复杂的非刚性变形“烘焙”到轻量级的MLP网络中，结合混合形状补偿细节，大幅提高运行效率。

TaoAvatar的技术原理

• 3D高斯溅射（3DGS）技术：3DGS利用3D高斯函数表示场景中的点，并将其投影到2D图像平面进行渲染。每个3D高斯由位置、协方差、颜色和透明度等参数描述。通过结构光技术从多视角图像中估计3D点云，并将每个点转化为高斯函数，借助随机梯度下降进行训练。
• 姿态依赖非刚性变形处理：TaoAvatar将复杂的非刚性变形分解为刚性和形状变形两个部分，通过知识蒸馏技术将形状变形“烘焙”到轻量级的MLP网络中，以高效处理复杂的姿态依赖非刚性变形，同时保持虚拟形象的真实感和可控性。
• 可学习的高斯混合形状：TaoAvatar通过引入可学习的高斯混合形状，进一步增强虚拟形象的外观细节。神经网络训练不同姿态和表情下的高斯混合形状参数，使虚拟形象在各种姿态和表情下保持极高的真实感。
• 实时渲染与优化：采用多种优化技术如GPU加速、减少不必要的计算和优化模型结构等，TaoAvatar实现高质量的实时渲染，在高分辨率显示设备如Apple Vision Pro上保持每秒90帧的流畅运行。

TaoAvatar的项目地址

• 项目官网：https://pixelai-team.github.io/TaoAvatar/
• arXiv技术论文：https://arxiv.org/pdf/2503.17032

TaoAvatar的应用场景

• 电子商务直播：通过创建真实感十足的虚拟主播，提高用户体验并降低人力成本。
• 全息通信：在远程通信中生成逼真的虚拟形象，增强用户的沉浸感。
• 虚拟会议：参与者可使用个性化的虚拟形象进行交流，提升互动性。
• 在线教育：借助虚拟人进行在线课程教学，增加趣味性和参与感。
• 虚拟娱乐：在游戏和虚拟现实应用中创建个性化的虚拟角色，丰富用户体验。

常见问题

• TaoAvatar可以在哪些设备上使用？：TaoAvatar支持多种移动设备和AR设备。
• 它的运行效率如何？：TaoAvatar能够以90FPS的高帧率进行实时渲染，并且具有低存储需求。
• 如何实现虚拟形象的自然同步？：TaoAvatar通过多种信号驱动，包括语音、面部表情和手势等，实现自然的口型、表情和动作同步。
• 使用TaoAvatar的主要优势是什么？：其高保真度、实时渲染和低存储需求使其在多种应用场景中具有广泛的适用性。