HY-Motion 1.0

HY-Motion 1.0 – 腾讯混元开源的文本到3D动作生成大模型

HY-Motion 1.0，亦称混元Motion 1.0，是腾讯混元团队献出的一项突破性成果。这是一款拥有十亿参数级别的、能够将文本转化为三维动作的强大AI模型。它巧妙地融合了Diffusion Transformer（DiT）架构以及流匹配机制，仅凭一句简短的自然语言指令，便能创造出逼真、连贯且富于变化的3D角色骨骼动画。

HY-Motion 1.0 究竟是什么？

HY-Motion 1.0（混元Motion 1.0）是腾讯混元团队开源的一个具有里程碑意义的十亿参数级文本到3D动作生成大模型。该模型巧妙地结合了Diffusion Transformer（DiT）架构与流匹配机制，能够根据一句自然的语言描述，生成高保真、流畅且多样的3D角色骨骼动画。为了达到卓越的性能，该模型采用了全阶段的训练策略：首先，在超过3000小时的海量多样化动作数据上进行预训练，以建立广泛的动作理解基础；接着，在400小时的精选高质量数据上进行精细微调，以提升动作的精度和细节；最后，通过强化学习，结合人类反馈和奖励模型进行深度优化，确保生成动作的自然性和指令的准确遵循。HY-Motion 1.0的能力覆盖了6大类别、超过200种的丰富动作，其输出格式为SMPL-H骨骼，能够灵活支持原子动作、动作序列组合以及并发动作的生成。在各项性能评测中，其指令遵循能力高达78.6%，动作质量平均得分达到3.43分（满分为5分），全面超越了MoMask、DART等同类开源基线模型。

HY-Motion 1.0 的核心功能亮点

文本指令驱动的动作生成：通过日常语言的描述，模型能够高效地转化为高质量的3D骨骼动画，实现了文本到动作的无缝对接。
动作类型的广泛覆盖：模型集成了6大类、逾200种的动作，涵盖了从基础移动、体育竞技到社交互动、游戏角色动作等，足以应对各种应用场景的需求。
卓越的动作输出品质：以SMPL-H骨骼格式输出，生成的动画不仅流畅自然，而且细节丰富，能够满足高标准动画制作的要求。
与主流3D工具的无缝集成：该模型可直接与Blender、Unity、Unreal Engine等主流3D软件兼容，极大地简化了用户的工作流程。
多样的输出模式选择：支持单个动作、动作序列组合以及多个动作同时进行的生成，为用户提供了极大的灵活性，以应对不同复杂度的动画创作挑战。
开放共享与便捷使用：提供完整的推理代码、预训练模型权重及详尽的使用文档，支持多种操作系统，使得用户能够轻松上手并投入使用。

HY-Motion 1.0 的技术精髓剖析

先进的Diffusion Transformer架构：模型采用了前沿的Diffusion Transformer（DiT）架构，并巧妙地融入了流匹配机制，从而高效地将文本信息转化为精美的3D骨骼动画。
分阶段的精细化训练策略：为实现高性能，模型经历了三个关键训练阶段：首先，利用超3000小时的多样化动作数据进行预训练，以构建全面的动作知识库；其次，在400小时的精选优质数据上进行微调，以雕琢动作的精确性；最后，通过强化学习，结合人类的反馈和奖励模型进行优化，确保生成动作的自然度和准确性。
流匹配机制的应用：该机制使得模型在捕捉动作数据的连续性和动态变化方面表现出色，从而生成更为流畅自然的动画效果。
多模态信息的深度融合：模型实现了文本与动作模态的深度整合。通过文本编码器将文字描述转化为特征向量，再与动作生成器协同工作，精准地实现文本驱动的动作生成。
强化学习的优化加持：引入强化学习框架，并结合人类的评价和奖励模型，对生成的动作进行智能评估和迭代优化，显著提升了模型的动作生成质量和指令的响应精准度。