MoWorld

MoWorld – 魔芯科技推出的全球首个高帧率交互式世界模型

MoWorld,一项由魔芯科技倾力打造的创新技术,标志着全球首个高帧率交互式世界模型的诞生。该模型深度融合了纯国产华为昇腾 NPU 的全栈优化能力,实现了高达 50 FPS 的实时推理速度,并且在成本上实现了惊人的 70% 降幅,远低于传统 GPU 的部署成本。

MoWorld 究竟是什么?

MoWorld 是魔芯科技研发的一款性产品,它颠覆了传统世界模型的生成方式。凭借对华为昇腾 NPU 的深度原生优化,MoWorld 能够以每秒 50 帧的惊人速度进行实时推理,将过去耗时且非实时的世界模型生成过程,转变为流畅、交互式的体验。该模型具备精准的相机轨迹控制能力和强大的 4D 空间感知能力,能够生成长时程、空间一致性极佳的城市、室内及驾驶等宏大场景视频。MoWorld 的应用前景广阔,涵盖影视内容预演、实时云游戏、具身智能仿真、自动驾驶技术以及 3D 场景重建等多个领域。

MoWorld 的核心亮点

  • 疾速实时交互体验:MoWorld 的实时推理能力最高可达 50 FPS,将世界模型从静态生成推向了动态交互的新纪元。
  • 沉浸式 4D 世界建模:模型巧妙地整合了精确的相机轨迹与丰富的空间几何信息,构建出具备深度空间感知能力的 4D 动态世界模拟。
  • 持久的空间一致性:在诸如城市、高速公路、甚至是广袤的沙漠等宏大鸟瞰场景下,MoWorld 能够保持建筑布局、道路走向以及远景细节的稳定,确保不同视角下的几何关系始终如一,避免了漂移现象。
  • 协同的相机与剧情控制:MoWorld 支持导演级的镜头与叙事的联动控制,生成的视频可以直接用于 3DGS 场景重建和影视内容预演流程。
  • 低成本的国产化部署:得益于华为昇腾 NPU 的全栈原生优化,推理成本相比 GPU 降低了 70%,首次证明了国产算力完全有能力支撑大规模世界模型的实时部署。
  • 广泛场景的泛化生成:训练数据的丰富性涵盖了真实世界与虚拟世界,赋予了模型卓越的跨域泛化能力。

MoWorld 的技术基石

  • 精良的数据引擎:模型训练数据覆盖真实与虚拟世界,通过对 3D 几何一致性、轨迹精度、多视图稳定性等多维度指标的严格筛选,构建出高质量的训练资产。
  • 强大的预训练能力:采用超密集注意力并行与输入 Token 并行技术,支持长达 2 分钟的基础模型训练。
  • 高效的蒸馏优化:将模型压缩至 4 步即可完成实时推理的自回归学生模型。通过引入全局锚点与相机稳定一致性的 Memory 机制,跳过了教师轨迹采样初始化的繁琐步骤,显著降低了蒸馏成本。
  • 精密的实时推理:在推理阶段,MoWorld 采用了三层协同优化策略:流水线层(条件编码复用、按需模块加载)、并行层(多 NPU 环形通信、分层序列并行)以及算子层(混合精度动态量化、HBM 高效注意力前端)。

如何体验 MoWorld?

MoWorld 目前处于早期发布阶段,模型的权重、代码以及在线服务即将向公众开放。

MoWorld 的突出优势

  • 全球首创的 Flash World Model:MoWorld 独创了超高帧率交互式世界模型的概念,实现了高达 50 FPS 的实时推理,将世界模型从非实时生成带入了实时交互的新时代。
  • 纯国产 NPU 的全栈原生支持:MoWorld 首次在华为昇腾 NPU 上实现了从预训练、自回归蒸馏到实时推理的完整技术链路,有力证明了国产算力在支撑大规模世界模型训练与部署方面的能力。
  • 推理成本大幅降低 70%:通过 NPU 的极致优化,MoWorld 的部署成本相较于 GPU 显著降低,使得高帧率世界模型具备了前所未有的规模化落地经济可行性。
  • 卓越效果与低成本的完美平衡:MoWorld 采用 14B 参数 MoE 架构,在画质、空间一致性以及时序稳定性方面达到了行业顶尖水平。即使在宏大的鸟瞰场景下,依然能保持建筑、道路和远景结构的精确性。
  • 长时程的空间一致性保障:通过引入全局锚点与相机稳定 Memory 机制,MoWorld 即使在经历高空俯冲、快速拉升等大幅度镜头时,其跨视角几何关系依然能保持高度稳定,避免了画面漂移。
  • 相机与剧情的深度融合控制:MoWorld 支持精确的相机轨迹与叙事的协同控制,生成的视频可直接用于 3DGS 场景重建,有效打通了影视预演、具身仿真以及数字孪生等应用场景的闭环。

MoWorld 的项目资源

  • 官方网站:https://moxin-tech.github.io/moworld/
  • 技术白皮书:https://moxin-tech.github.io/moworld/MoWorld.pdf

MoWorld 与同类竞品的比较

对比维度MoWorld(魔芯科技)HY World 1.5(腾讯混元)
核心定位高帧率 Flash World Model,实时交互式世界模拟开源实时世界模型框架,流式交互探索
实时帧率最高 50 FPS24 FPS 流式生成
模型架构14B 参数 MoE(混合专家)未公开具体参数规模
硬件平台纯国产华为昇腾 NPU,全栈原生优化主要基于 NVIDIA GPU 生态
推理成本较 GPU 降低 70%标准 GPU 部署成本
空间一致性全局锚点 + 相机稳定 Memory 机制,大尺度场景跨视角几何稳定Memory Reconstitution 机制,动态重建历史上下文防止几何漂移
控制精度精确相机轨迹 + 4D 空间感知,支持导演级镜头3D 相机姿态 + 离散命令双动作表示,支持键盘鼠标控制
视角支持侧重相机轨迹控制,适用于影视预演与重建支持第一人称与第三人称视角切换

MoWorld 的多元化应用场景

  • 影视制作与镜头预演:创作者可以将更多精力投入到角色表演和镜头语言设计上,有效规避背景漂移、视角跳变以及场景身份不一致等问题。
  • 实时云游戏与交互内容:用户可以通过连续的相机控制,实时探索生成的虚拟世界,获得低延迟的漫游、镜头操控以及沉浸式交互体验。
  • 室内场景重建与数字孪生:利用 MoWorld 生成的高精度、高稳定性和空间一致性视频,可以高效完成室内场景的 3D 重建,直接输出数字场景资产。
  • 具身智能仿真:高帧率的 Flash World Model 为机器人系统提供了前所未有的环境感知和决策速度,为具身智能的实时物理交互模拟提供了强大支撑。
  • 自动驾驶训练与验证:通过实时生成多样化的驾驶场景(包括城市、高速公路和沙漠等),MoWorld 能够加速自动驾驶算法在动态、大尺度环境中的迭代和安全性验证过程。
阅读原文
© 版权声明

相关文章

AI聚合视觉工厂

暂无评论

暂无评论...