Wan-Animate-2

Wan-Animate-2 – 万相团队开源的新一代角色动画模型

万相团队近期正式发布了新一代角色动画模型——Wan-Animate-2。作为对前代架构的深度重构与升级，该模型彻底告别了对显式骨架及辅助姿态提取网络的依赖，转而采用端到端的双分支 Diffusion Transformer（DiT）架构，实现了从参考视频中直接提取先验的突破性进展。此外，该模型还引入了文本驱动的视角控制功能，并提供了能够达到 24 fps 的实时流式生成方案。

Wan-Animate-2 的核心功能亮点：

• 动作复刻与迁移：用户仅需提供一张参考图与一段驱动视频，模型便能精准捕捉驱动素材中的动作韵律与镜头语言，并将其完美复刻至参考角色身上。
• 端到端生成架构：通过重构的 DiT 架构直接处理驱动视频，省去了繁琐的中间提取环节，在提升动作保真度的同时，有效强化了角色身份的连贯性。
• 强身份一致性保障：系统通过将参考图像与参考视频的特征标识（token）融入注意力计算机制，极大地改善了以往模型中常见的“动作虽到位但面部崩坏”的痛点。
• 文本规范化引导：推理前，官方建议利用大语言模型生成统一范式的提示词，重点描述人物外貌与背景环境，过滤掉动作与情绪描述，从而确保生成结果的稳定性。
• 视角灵活控制：支持通过文本指令解耦输出相机的视角与驱动视频的视角，满足用户在同一动作序列下生成不同机位镜头的需求。
• 多样化推理模式：提供适合高质量产出的 Base 模式（默认 40 步推理），以及面向低延迟需求、仅需 10 步推理的蒸馏模式。
• 实时流式前瞻：基于 Wan-Animate-2-Lite 论文方案，通过自引导蒸馏与分块反传技术，大幅压缩延迟，为实时数字人应用开启了可能。
• 便捷的工程化体验：支持本地 Gradio 交互界面，模型权重已上线 HuggingFace 与 ModelScope 等主流平台，且已兼容 Diffusers 源码部署。

模型使用指南：

• 硬件配置建议：官方推荐环境为 8×A800 显卡以支持 720P 高清生成，也验证过 2×A800 运行 480P 的可行性，消费级单卡环境目前尚难覆盖。
• 环境初始化：在 Python 3.11 环境下，安装相应的 PyTorch、Flash-Attention 以及依赖库，并通过 editable 模式安装项目包。
• 权重获取：开发者可通过 HuggingFace 或 ModelScope 的命令行工具，将预训练模型下载至本地指定目录。
• 推理执行：首先利用 LLM 生成符合规范的 Prompt，随后调用推理脚本，传入参考图、驱动视频及相应的配置文件即可启动任务。
• 进阶配置：若 GPU 资源与官方默认配置存在差异，需手动调整 YAML 文件中的并行参数，以规避显存溢出或性能瓶颈。

核心优势总结：

• 精度与一致性并重：去除了中间层提取器，减少了误差传播，显著提升了动作还原度。
• 工程化落地导向：通过范式化的提示词引导，降低了复杂动作生成的随机性。
• 轻量化潜力巨大：蒸馏版本与 Lite 架构为低延迟、实时化交互应用铺平了道路。
• 开源协议友好：基于 Apache-2.0 协议发布，有利于开发者进行二次深度开发与集成。

应用领域前瞻：

• 实时数字人互动：凭借低延迟特性，适用于虚拟主播、互动直播等对响应速度要求极高的场景。
• 影视工业化替身：助力短剧拍摄或内容创作，通过真人表演驱动虚拟形象，大幅降低动捕与后期制作成本。
• 创意视觉二创：广泛应用于舞蹈翻跳、风格化 MV 制作，通过视角控制实现多机位剪辑效果。
• 电商商业展示：为虚拟模特或品牌 IP 形象提供标准化的动作展示方案，提升品牌数字资产的传播效率。
• 游戏原型开发：协助策划团队快速验证角色动作节奏与镜头设计，优化前期预演工作流。

项目相关资源：

• 官方主页：https://humanaigc.github.io/wan-animate-2
• 代码仓库：https://github.com/Wan-Video/Wan-Animate-2
• 模型中心：https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-2-14B
• 学术论文：https://arxiv.org/pdf/2608.06009
• 在线演示：https://www.modelscope.cn/studios/Wan-AI/Wan2.2-Animate

竞品维度对比：