AnimaX

AnimaX – 北航联合清华等推出的3D动画生成框架

AnimaX 是一款由北京航空航天大学、清华大学、香港大学等院校联合推出的前沿 3D 动画生成框架，它巧妙地融合了视频扩散模型的动作先验与基于骨骼的动画结构。凭借将视频中的动作知识有效迁移到 3D 领域的卓越能力，AnimaX 能够支持拥有任意骨骼结构的多样化关节网格。

AnimaX：开启 3D 动画新纪元

AnimaX，这款由国内顶尖学府倾力打造的 3D 动画生成框架，正在引领行业变革。它以视频扩散模型的强大动作先验为基石，结合基于骨骼的动画结构，实现了视频动作知识向 3D 领域的无缝迁移。这款框架能够兼容各种骨骼结构，支持多样化的关节网格，为 3D 动画的创作提供了无限可能。AnimaX 采用独特的多视图、多帧 2D 姿态图来表征 3D 动作，并结合联合视频姿态扩散模型，融合共享位置编码和模态感知嵌入，确保视频与姿态序列的时空同步，从而生成高质量的 3D 动画。经过在包含 16 万个绑定序列的大规模数据集上的精心训练，AnimaX 在泛化能力、动作逼真度和生成效率方面均表现出色，为类别无关的 3D 动画提供了可扩展的解决方案。

AnimaX 的核心功能

骨骼结构定制：AnimaX 能够完美适配各种 3D 模型，无论是人类、动物还是家具，只要拥有不同的骨骼拓扑结构，都能轻松驾驭。
文本驱动的动画创作：只需通过简单的文本描述，用户即可轻松定义动画内容，AnimaX 将根据文本提示生成相应的动画序列。
多视角呈现一致性：生成的动画在多个视角下均保持高度一致，确保从不同角度观察时，动画的连贯性和真实感得以完美呈现。
高效的动画生成：AnimaX 采用前馈式方法，能够在极短的时间内生成高质量的 3D 动画，大幅提升动画制作效率。

AnimaX 的技术解析

联合视频姿态扩散模型：AnimaX 通过将 3D 动作转化为多视图、多帧的 2D 姿态图，并利用视频扩散模型的强大动作先验，保证了与 3D 骨骼动画的完美兼容性。联合视频姿态扩散模型使 AnimaX 能够同步生成视频及其对应的 2D 姿态序列，这种联合生成策略确保了视频和姿态之间的高度时空对齐。
共享位置编码与模态感知嵌入：为了确保视频和姿态序列之间的时空同步，AnimaX 引入了共享位置编码，帮助模型更好地理解和对齐不同模态（RGB 视频和姿态图）中的空间信息。模态感知嵌入则用于区分不同模态的数据，确保模型能够正确处理 RGB 视频和姿态图之间的差异。
多视角一致性保障：AnimaX 采用多视图注意力机制和相机条件嵌入，保证生成的视频在多个视角下保持一致。这种设计使模型能够学习不同视角之间的空间对应关系，从而生成一致的多视图视频。
3D 动作重建与动画：通过三角测量方法，AnimaX 将生成的多视图姿态序列转化为 3D 关节位置。随后，利用逆向学将 3D 关节位置转换为关节角度，驱动 3D 模型的动画。
大规模数据集的支撑：AnimaX 在一个精心策划的、包含 16 万个绑定序列的大规模数据集上进行了训练。该数据集涵盖了包括人类、动物、家具等多种类别，确保模型具备出色的泛化能力。