Matrix -Game3.5

Matrix -Game3.5 – 昆仑万维开源的实时流式交互世界模型

Matrix-Game 3.5：昆仑万维黎曼动力团队匠心打造的革新性实时交互世界模型

Matrix-Game 3.5，由昆仑万维黎曼动力团队倾力研发并开源，它标志着实时流式交互世界模型领域的一大飞跃。该模型巧妙融合了 Patch Memory 与 Warped PRoPE 技术，在三维空间维度上实现了卓越的长期记忆能力与严谨的几何一致性建模，为我们描绘了一个栩栩如生、动态可塑的虚拟世界。

Matrix-Game 3.5 究竟是什么？

Matrix-Game 3.5 并非仅仅是一个简单的模型，它是一个由昆仑万维黎曼动力团队开源的、具备实时流式交互特性的世界模型。其核心技术在于运用 Patch Memory 和 Warped PRoPE，从而在三维空间上构建出强大的长期记忆和高度几何一致的模拟能力。令人惊叹的是，该模型能够在单张显卡上实现 720P 分辨率、20 帧每秒的实时生成，并拥有分钟级别的场景回溯功能，更能实时响应键盘鼠标的操控。Matrix-Game 3.5 的目标远不止于游戏引擎，它致力于成为通用物理世界模拟的基石，为机器人训练、自动驾驶仿真以及具身智能的研究提供坚实的开源基础设施。

Matrix-Game 3.5 的核心亮点

• Patch Memory：突破性的长期记忆技术：该模型将历史画面精细切割成三维空间坐标下的图像块（Patch），并依据空间位置进行检索与重组。这一创新有效地解决了物体重现时出现的“鬼影”以及场景漂移的问题，使得物体重现的得分指标显著提升，超越了以往行业设定的 0.6 上限。
• PRoPE + Warped RoPE：精准的几何编码：通过将相机投影矩阵巧妙地编码进 Transformer 的时空位置表示中，模型能够深度感知相机的旋转、平移以及投影关系，从而实现对视角控制的精妙把握和几何层面的高度一致性。
• 动静解耦的记忆机制：静态场景的记忆由 Patch Memory 精心维护，而动态的对象则通过轻量级的 Reference Token 来保持其身份的性，有效避免了移动物体对记忆的干扰，杜绝了重影现象的发生。
• 实时流式生成体验：通过精妙的蒸馏技术，模型将采样步数压缩至仅 3 步。结合分块因果推理、KV Cache、INT8 量化以及 VAE 结构化剪枝等一系列优化手段，实现了单卡 GPU 下 720P/20FPS 的流畅实时生成。
• 全自动化的数据管线：项目构建了 Unreal-Gen（虚幻引擎）、AAA 游戏管线以及互联网视频管线这三大类数据系统，产出了超过 500 万份高质量视频切片和 1 万余小时的训练数据，覆盖了 1200 多个各具特色的游戏场景。
• NPC 交互与开放世界泛化能力：模型支持通过文本指令驱动的世界生成，能够灵活控制角色动作，并实现多智能体协同的复杂交互。

Matrix-Game 3.5 的技术精髓

• 统一的几何感知记忆框架：PRoPE 技术将相机位姿转化为相对位置编码，无需引入额外的可学习参数。而 Warped RoPE 则能够动态计算历史 Patch 在当前视角下的时空坐标，确保了记忆复用过程中的坐标精准对齐。
• 渐进式蒸馏的艺术：模型采用了分两阶段的蒸馏策略，将双向 DiT 模型转化为高效的因果生成器。首先，利用 Perceptual Flow Matching 获得高质量的、步数极少的因果初始化；随后，在自回归轨迹上通过 Self-Rollout DMD（分布匹配蒸馏）进行训练。辅以条件课程的学习，逐步实现了无分类器引导、相机控制以及记忆条件生成等复杂能力的蒸馏。
• 轻量化且可插拔的架构设计：项目的核心交互功能，如 PRoPE、Patch Memory 和动静解耦，均在不增加额外参数的前提下实现，采用了模块化插件的形式，能够便捷地适配市面上各种主流的视频基础模型。

想要深入了解并参与到 AI 开源项目交流中？请关注我们的微信公众号，回复“开源”即可加入AI开源项目交流群。

如何上手 Matrix-Game 3.5

• 获取模型：您可以通过 GitHub（https://github.com/Riemann-Dynamics/Matrix-Game-3.5）或 HuggingFace 平台轻松下载模型权重和推理代码。
• 环境部署：准备一张支持 CUDA 的 GPU 显卡，按照说明安装必要的依赖库，即可加载模型进行使用。
• 输入控制：您可以通过键盘 WASD 进行移动，鼠标控制视角，或者输入文本指令、定义相机轨迹来驱动交互世界的生成。
• 实时交互体验：模型将以 20FPS 的速度持续输出后续帧，支持分钟级别的连续探索，并且在整个过程中保持场景的一致性，带来无缝的交互体验。

Matrix-Game 3.5 的卓越之处

• 长时序一致性新标杆：Matrix-Game 3.5 首次在开源解决方案中系统性地攻克了世界模型在分钟级记忆上的瓶颈，即使镜头反复穿梭，场景中的元素也能保持绝对的一致性。
• 实时可玩性：它将一个静态的离线视频生成器，升级为一个可供玩家实时操控的鲜活世界，支持键盘鼠标的即时互动，延迟极低，达到了可玩级别。
• 开放的生态系统：项目的核心架构全部开源，在 GitHub 和 HuggingFace 上均可查阅。其创新成果已获得 DiT 作者谢赛宁团队（Solaris）、NVIDIA 以及 Adobe 等业界翘楚的引用，成为重要的基准。
• 零参数增量的设计理念：该模型在不增加模型参数量、不破坏原始视频分布的前提下，保留了基础模型固有的开放内容生成能力，实现了高效与创新的完美结合。

Matrix-Game 3.5 的项目入口

• 官方网站：https://matrix-game-v3-5.github.io/
• GitHub 仓库：https://github.com/Riemann-Dynamics/Matrix-Game-3.5
• HuggingFace 模型库：https://huggingface.co/RiemannDynamics/Matrix-Game-3.5-Base
• 技术论文：https://matrix-game-v3-5.github.io/paper/Matrix-Game-3.5.pdf

Matrix-Game 3.5 与同类竞品的深度对比

Matrix-Game 3.5 的广泛应用前景

• AI 驱动的游戏引擎：有望取代传统游戏引擎，实时生成可交互的开放世界，大幅降低 3A 级游戏的开发成本。
• 机器人虚拟训练平台：为人形机器人或机械臂提供逼真的虚拟训练环境，支持低成本、大规模的场景试错以及复杂长时序任务的规划。
• 自动驾驶仿真领域：构建具备真实物理规则的交通场景数字孪生，为端到端驾驶策略的训练提供强大支持。
• 具身智能研究的沃土：为具身 Agent 提供高度交互的物理世界模拟环境，促进动作与状态的联合训练。
• XR/元宇宙内容创作新纪元：能够实时生成沉浸式的虚拟空间，赋能用户探索与内容创作，开启全新的元宇宙体验。