Matrix-Game

Matrix-Game – 昆仑万维开源的工业界首个空间智能大模型

Matrix-Game是什么

Matrix-Game是由昆仑万维开源的工业界首个超10B参数的空间智能大模型，属于Matrix-Zero世界模型中的一款可交互视频生成大模型。该模型采用了两阶段训练策略，能够根据用户输入生成连贯且可控的互动视频。其优势包括细致的用户交互控制、高保真的视觉效果与物理一致性，以及多场景的泛化能力，广泛应用于虚拟游戏世界的构建、影视制作及元宇宙内容的生成，为通用虚拟世界的基础设施树立了新的标杆。

Matrix-Game的主要功能

• 可控视频生成：用户只需通过简单的键盘指令和鼠标操作即可探索和操控，甚至创造出细节丰富、符合物理规律的虚拟世界。
• 多场景泛化：具备对多种Minecraft游戏场景（如森林、沙滩、沙漠、冰川等）的泛化能力，并有潜力扩展至非Minecraft游戏环境。
• 自回归式长视频生成：支持自回归方式生成长视频，确保动作和视角之间的平滑衔接，实现时间一致性与环境适应性。
• 系统化评估：提出统一的GameWorld Score标准，从视觉质量、时序质量、动作可控性及物理规则理解四个维度全面评估模型性能。

Matrix-Game的技术原理

• 两阶段训练策略：利用大规模无标签的Minecraft游戏视频数据进行预训练，使模型学习环境的基本特征和动态规律。随后，使用带有键盘与鼠标控制信号的可控视频数据进行细粒度训练，使模型能够根据用户输入生成相应的交互视频。
• 图像到世界建模：通过单张参考图像作为生成交互视频的起点，依赖视觉信号建模空间几何、物体及其物理交互，而不依赖语言提示。
• 自回归式视频生成：支持自回归生成长视频，每次使用前一视频片段的最后几帧作为上下文，逐段生成以确保时间上的连贯性，训练过程中引入随机扰动和Classifier-free guidance策略，减轻时序漂移和误差累积。
• 可控交互设计：通过离散token表达键盘动作，连续token表达视角移动，结合GameFactory的控制模块，采用多模态Diffusion Transformer架构，提升对控制信号的响应能力。

Matrix-Game的项目地址

• 项目官网：https://matrix-game-homepage.github.io/
• GitHub仓库：https://github.com/SkyworkAI/Matrix-Game
• HuggingFace模型库：https://huggingface.co/Skywork/Matrix-Game
• 技术论文：https://github.com/SkyworkAI/Matrix-Game

Matrix-Game的应用场景

• 虚拟游戏开发：快速生成多样化的游戏地图和动态交互环境，提升开发效率并增强玩家的沉浸感。
• 影视与元宇宙：生成高保真的动态场景，支持沉浸式体验的开发，助力创意内容的快速生成。
• 具身智能训练：提供丰富多样的虚拟环境，为具身智能体的训练数据提供支持，提升其任务执行能力。
• 教育与培训：创建虚拟教学和职业技能培训环境，帮助学生和学员更好地理解和实践所学知识。
• 创意内容生成：为创意视频制作和虚拟场景设计提供丰富素材，支持快速实现创意构思。

常见问题

• Matrix-Game的主要优势是什么？ Matrix-Game具有细粒度的用户交互控制、高保真视觉效果和多场景泛化能力，是虚拟世界构建的理想工具。
• 如何获取Matrix-Game的最新信息？ 您可以访问项目官网和GitHub仓库获取最新的更新和文档。
• Matrix-Game适合哪些用户使用？ 该模型适合游戏开发者、影视制作人、教育工作者以及任何需要生成虚拟内容的创作者。
• 可以在什么平台上使用Matrix-Game？ Matrix-Game可在支持Python环境的平台上使用，具体要求可参考GitHub仓库的说明。