Wan-Streamer

Wan-Streamer – 阿里开源的实时全双工多模态基础模型

Wan-Streamer：颠覆式实时多模态交互新标杆

由阿里巴巴达摩院精心打造的 Wan-Streamer，正以其性的全双工实时多模态基础模型，重新定义人机交互的可能性。这款创新产品巧妙地融合了文本、音频和视频的输入输出，通过一套统一的因果 Transformer 架构，将它们整合成一条流畅的因果序列。其核心亮点在于实现了亚秒级的实时双向视频交互，模型响应延迟低至惊人的 200 毫秒，为用户带来前所未有的流畅体验。

Wan-Streamer 的核心能力

• 逼真的实时音视频对话：用户可以与 AI 数字人进行身临其境的视频通话，AI 不仅能实时回应语音，更能同步展现生动的面部表情，带来高度拟人化的互动。
• 无缝的全双工交互：Wan-Streamer 支持用户随时打断对话，AI 也能主动发起提问，这种的交流模式使得人机对话如同与真人交流般自然流畅。
• 深度多模态理解：它能够同时接收并精准理解用户输入的视频画面、语音以及文字信息，实现对复杂情境的全面把握。
• 高效的流式分片生成：采用 160 毫秒的短时流式分片技术，Wan-Streamer 能够在接收信息的同时即刻生成反馈，无需等待完整的输入帧，极大提升了响应速度。
• 出色的长时序一致性：通过全局 KV 上下文缓存机制，模型能够确保在长时间的对话过程中，人物形象和语气始终保持稳定和统一，避免了信息漂移的问题。

Wan-Streamer 的技术精髓

• 统一的单 Transformer 流式架构：它将用户输入的视频、声音、文字与 AI 生成的语音、表情、字幕巧妙地编织成一条因果 Token 流。文本以自回归方式预测，而音视频则通过条件流匹配实现联合生成。
• 严谨的全因果技术栈设计：从编码器、解码器到 VAE 再到注意力层，所有组件都严格遵循因果约束，仅利用历史时序信息预测下一个单元。核心的因果注意力机制确保了未来 Token 不会被当前预测所“看到”。
• 高效的三段式训练流程：首先，通过多任务预训练混合图文语音对话数据进行基础能力构建；接着，进行全双工微调，学习倾听和插话等复杂交互行为；最后，通过流式蒸馏，将大型教师模型的强大能力轻量化，并采用滚动自策略进行优化。
• Thinker-Performer 双 GPU 推理架构：Thinker 模块负责处理用户音视频的编码和上下文更新，而 Performer 模块则专注于流匹配、音视频去噪及生成。两者协同工作，共享上下文信息，实现高效并行推理。

Wan-Streamer 的核心竞争力

• 极致的低延迟体验：模型侧 200 毫秒的响应速度，加上端到端仅 550 毫秒的总延迟，远超行业内普遍超过 1 秒的水平，带来了无与伦比的实时交互感受。
• 端到端的集成化解决方案：通过单一模型即可完成感知、理解到生成的全流程，彻底摆脱了对 ASR、LLM、TTS、渲染等多个模块拼接的依赖。
• 真正意义上的全双工实时交互：支持对话中的实时打断和插话，交互的自然度和流畅度堪比真人对话。
• 精准的音视频同步生成：语音与面部动作通过模型内在的同步约束进行生成，无需后期对齐和修复，确保了口型的零错位。
• 持久的长对话稳定性：得益于全局 KV 上下文的强大支持，模型能够保证在长时间交流中，人物的容貌和语气始终保持高度一致，不会出现漂移。

Wan-Streamer 的应用前景广阔

• 虚拟客服的智能化升级：在银行、电商等领域，Wan-Streamer 可提供面对面、实时响应的视频咨询服务，显著提升用户体验。
• 直播互动的全新维度：AI 主播能够实时回应观众的弹幕和语音提问，极大地增强直播间的互动性和吸引力。
• 沉浸式的 AI 陪伴体验：情感陪伴数字人通过实时视频，为用户提供深度、个性化的情感支持。
• 游戏 NPC 的性进化：交互式游戏角色能够与玩家进行实时的视频对话，极大地增强游戏的沉浸感和真实感。
• 在线教育的个性化辅导：AI 虚拟教师能够进行实时的视频答疑和个性化辅导，为学生提供更高效的学习支持。