ExAvatar

ExAvatar是什么

ExAvatar是由DGIST与Meta公司的Codec Avatars Lab共同研发的3D数字形象生成模型。该技术能够通过简短的视频捕捉人像，并将其转化为逼真的3D数字形象。用户只需使用手机进行扫描，便可快速捕捉全身的动作与表情，生成高质量的3D模型。ExAvatar结合了SMPL-X模型与3D高斯技术，实现高质量的动态渲染，支持全身动画，减少伪影，提供自然流畅的体验，广泛适用于动画、游戏及VR/AR等多个领域，简化了3D角色创建的过程，拓展了应用场景。

ExAvatar的主要功能

• 全身3D驱动：支持全身的动作及表情动画制作，涵盖身体、手部及面部的动态表现。
• 混合表示法：结合3D高斯技术与表面网格，提升几何形状与外观的一致性，减少动画中的伪影。
• 便捷捕捉：用户可通过手机扫描快速生成3D头像，操作简便。
• 高质量渲染：采用先进算法实现动态效果与视觉表现的高质量渲染。
• 技术优化：通过SMPL-X模型与多层感知器（MLP）处理，优化手部及面部的表现力与自然度。

ExAvatar的技术原理

• SMPL-X全身参数化网格模型：ExAvatar采用SMPL-X模型以捕捉人体的姿态与动作，能够精确模拟人体的各种姿势。
• 3D高斯溅射技术（3DGS）：此技术增强了渲染的真实感与效率，通过模拟光线在表面上的散射，使得3D模型显得更加真实。
• 混合表示法：结合3D高斯与表面网格，确保在不同姿势下的几何形状与外观一致，有效减少新姿势可能出现的伪影。
• 多层感知器（MLP）：处理每个高斯特征，提取关键信息，并将这些信息与标准网格结合，形成可在标准空间中动画化的3D头像。
• 线性混合插值（LBS）算法：用于动画处理，使ExAvatar能够生成平滑且自然的动作过渡。
• 关节偏移量与面部偏移量：在训练ExAvatar之前，研究团队对身体、手部和面部进行了共同配准，并引入这些偏移量，以优化手部骨骼长度与面部区域形状，提升头像的表现能力与自然度。
• 基于连接的正则化器：减少新表情与姿势的伪影，通过预定义的连接性，确保3D高斯与SMPL-X的网格拓扑结构相一致。

ExAvatar的项目地址

• GitHub仓库：https://mks0601.github.io/ExAvatar/
• arXiv技术论文：https://arxiv.org/pdf/2407.21686

ExAvatar的应用场景

• 3D动画制作：动画师可借助ExAvatar快速创建生动的3D角色，用于动画电影、电视剧或短片制作。
• 游戏开发：游戏开发者能够运用ExAvatar技术为游戏角色设计动态的全身动作与表情，提升游戏的沉浸体验。
• 虚拟现实（VR）：在VR环境中，用户可利用ExAvatar生成个人化的3D形象，享受沉浸式体验。
• 增强现实（AR）：ExAvatar可应用于AR场景，例如社交媒体、广告或教育软件中，以增强互动性。
• 电影特效：特效师能够运用ExAvatar技术捕捉演员的动作与表情，用于后期特效制作。