在人工智能飞速发展的今天，虚拟世界与现实世界的融合愈发紧密。昆仑万维开源的Matrix-Game项目，作为工业界首个10B+空间智能大模型，凭借其强大的交互式视频生成能力，为虚拟游戏、影视制作以及元宇宙等领域带来了全新的技术突破。
一、项目概述
Matrix-Game是由昆仑万维开源的工业界首个17B参数交互式世界基础模型，专注于可控游戏世界的生成。该项目采用两阶段训练策略，基于大规模无标签Minecraft游戏视频数据进行预训练，以学习环境的基本特征和动态规律；随后利用带有键盘与鼠标控制信号的Minecraft与Unreal可控视频数据进行细粒度的可控训练，使模型能够根据用户输入生成相应的交互式视频。Matrix-Game不仅具备细粒度用户交互控制、高保真视觉与物理一致性和多场景泛化能力等优势，还提出了统一的GameWorld Score标准，从视觉质量、时序质量、动作可控性与物理规则理解四个维度全面量化模型性能，为虚拟游戏世界搭建、影视与元宇宙内容生产等领域树立了全新的标杆。
（一）两阶段训练策略
Matrix-Game的训练过程分为两个阶段。在第一阶段，模型使用大规模无标签的Minecraft游戏视频数据进行预训练，目的是让模型学习环境的基本特征和动态规律。这一阶段的训练使模型能够对虚拟世界的视觉和物理特性有一个初步的理解。第二阶段则是细粒度的可控训练，使用带有键盘与鼠标控制信号的Minecraft与Unreal可控视频数据。通过这种方式，模型能够根据用户的输入生成相应的交互式视频，实现用户对虚拟世界的实时控制。
（二）图像到世界建模
Matrix-Game采用单张参考图像作为生成交互式视频的起点，不依赖语言提示，而是基于视觉信号建模空间几何、物体运动及其物理交互。这种方法使得模型能够从一个简单的图像出发，生成一个具有丰富细节和物理规则合理的虚拟世界。
（三）自回归式视频生成
为了支持长视频生成，Matrix-Game采用了自回归式视频生成策略。每次生成时，模型会使用前一视频片段的最后几帧作为运动上下文，逐段递进生成，从而确保时间上的连贯性。在训练过程中，引入随机扰动、随机删除及Classifier-free guidance策略，以缓解时序漂移和误差累积，进一步提升生成视频的质量和稳定性。
（四）可控交互设计
Matrix-Game通过离散token表达键盘动作，用连续token表达视角移动动作，并基于GameFactory的控制模块，融入多模态Diffusion Transformer架构。同时，利用Classifier-free guidance策略提升对控制信号的鲁棒响应能力，使得用户能够通过简单的键盘指令和鼠标移动等操作，自由探索、操控甚至创造出细节丰富、物理规则合理的虚拟世界。
三、主要功能
（一）可控视频生成
Matrix-Game允许用户基于简单的键盘指令、鼠标移动等操作，自由探索、操控甚至创造出细节丰富、物理规则合理的虚拟世界。这种高度的交互性为用户提供了前所未有的虚拟世界体验。
（二）多场景泛化
Matrix-Game具备对多种Minecraft游戏场景（如森林、沙滩、沙漠、冰川等）的泛化能力，并且有潜力泛化到非Minecraft游戏环境。这意味着该模型不仅能够生成多样化的Minecraft场景，还可以扩展到其他类型的虚拟世界，具有广泛的应用前景。
（三）自回归式长视频生成
Matrix-Game支持自回归式的长视频生成，能够实现动作与视角之间的丝滑衔接，确保时间一致性与环境适应性。这一功能使得生成的视频不仅在视觉上连贯，而且在物理规则和场景逻辑上也保持一致，为用户提供了更加真实和沉浸式的体验。
（四）系统化评估
Matrix-Game提出了统一的GameWorld Score标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度全面量化模型性能。这种系统化的评估方法为模型的优化和改进提供了明确的方向，同时也为研究人员和开发者提供了一个标准化的性能衡量标准。
四、应用场景
（一）虚拟游戏开发
Matrix-Game能够快速生成多样化游戏地图和动态交互环境，显著提升开发效率和玩家沉浸感。开发者可以利用该模型快速搭建虚拟游戏世界的基础框架，然后在此基础上进行进一步的优化和扩展，从而缩短游戏开发周期，降低开发成本。
（二）影视与元宇宙
在影视制作和元宇宙内容生产领域，Matrix-Game可以生成高保真的动态场景，支持沉浸式体验开发，助力创意内容的快速生成。通过Matrix-Game生成的虚拟场景，影视制作团队可以快速预览和调整场景布局，提高制作效率；元宇宙开发者则可以利用该模型构建丰富多样的虚拟空间，为用户提供更加沉浸式的体验。
（三）具身智能训练
Matrix-Game为具身智能体的训练提供了多样化的虚拟环境，增强了具身智能体的任务执行能力。通过在这些虚拟环境中进行训练，具身智能体可以学习到更多复杂的任务和技能，从而更好地适应现实世界中的各种场景和任务。
（四）教育与培训
Matrix-Game还可以创建虚拟教学和职业技能培训环境，帮助学生和学员更好地理解和实践。例如，在建筑、工程、医学等领域，通过Matrix-Game生成的虚拟场景，学生可以在虚拟环境中进行实践操作，加深对理论知识的理解和掌握，提高实践能力和技能水平。
（五）创意内容生成
对于创意视频制作和虚拟场景设计，Matrix-Game提供了丰富的素材，支持快速实现创意想法。设计师和创作者可以利用该模型快速生成各种虚拟场景和动态效果，激发创意灵感，提高创作效率。
五、快速使用
（一）环境准备
在开始使用Matrix-Game之前，需要确保已经安装了以下依赖环境：
– Python：推荐使用Python 3.8及以上版本。
– GPU：建议使用NVIDIA A100/H100等高性能GPU，单次推理需要≥80GB的GPU显存。
– 依赖库：安装项目所需的Python依赖库。
（二）安装步骤
1. 克隆项目代码
git clone https://github.com/SkyworkAI/Matrix-Game.gitcd Matrix-Game
2. 安装依赖
pip install -r requirements.txt此外，还需要安装`apex`和`FlashAttention-3`，这两个库是项目运行的依赖项。
3. 运行推理
bash run_inference.sh运行推理脚本后，模型将根据预设的输入生成交互式视频。
（三）注意事项
– 硬件要求：由于Matrix-Game模型参数量较大，对硬件资源要求较高。建议使用高性能GPU进行推理，以确保模型能够正常运行。
– 数据准备：如果需要对模型进行微调或扩展，需要准备相应的训练数据。Matrix-Game提供了大规模的Minecraft视频数据集，可以作为训练的基础数据。
– 性能优化：在实际使用过程中，可以根据具体需求对模型进行优化，例如调整推理参数、优化模型结构等，以提高模型的性能和效率。
六、结语
Matrix-Game作为昆仑万维开源的工业界首个17B参数交互式世界基础模型，凭借其强大的交互式视频生成能力、多场景泛化能力和系统化的评估标准，为虚拟游戏、影视制作、元宇宙等领域带来了全新的技术突破。希望Matrix-Game能够为AI大模型领域的技术探索者提供更多的灵感和参考，推动虚拟世界与现实世界的深度融合与发展。
七、项目地址
项目官网：https://matrix-game-homepage.github.io/
GitHub仓库：https://github.com/SkyworkAI/Matrix-Game
模型仓库：https://huggingface.co/Skywork/Matrix-Game
（文：小兵的AI视界）