
Skywork AI 团队近日发布重磅技术报告,宣布在**交互式世界模型(Interactive World Models)**领域取得里程碑式突破。
其最新研发的 Matrix-Game 3.0 系统,首次在 720p 高清分辨率下实现了 40 FPS 的实时视频生成速度。更重要的是,该模型成功攻克了 AI 视频生成中长期存在的“长效记忆”缺失难题,为构建高保真、可交互的虚拟世界奠定了基础。
🚀 核心进化:彻底终结 AI 视频的“失忆”顽疾
在处理长序列互动时,传统 AI 模型常因缺乏有效记忆导致空间错乱或风格漂移。Matrix-Game 3.0 通过以下核心技术打破了这一瓶颈:
相机感知记忆检索机制:系统能根据当前的相机姿态,精准检索并对齐历史画面。
统一自注意力架构:将远期记忆、近期历史与当前预测帧置于同一空间进行联合建模。
实测表现:即使在长达数分钟的复杂交互中,系统依然能保持极高的时空一致性。这意味着当用户在虚拟场景中“故地重游”时,场景细节与最初生成的画面能够实现高度吻合。
🏭 工业级数据引擎:海量 3A 级数据注入
为了让 AI 深刻理解真实世界的物理逻辑,研发团队构建了一套规模庞大的“数据工厂”,为模型提供了高质量的养分:
Unreal-Gen 平台:利用 UE5 引擎全自动生成包含超过 1 亿种角色组合的电影级交互视频。
3A 大作自动化采集:从《赛博朋克 2077》、《侠盗猎车手 5》等顶级游戏中大规模录制交互数据。
多维实景补充:整合了超过 10,000 个真实世界的 4K 序列,涵盖航拍、城市及室内等多样化场景。
⚡ 性能革命:深度“瘦身”实现极速响应
为了满足实时交互对超低延迟的苛刻要求,Matrix-Game 3.0 在推理架构上进行了极致优化:
VAE 解码器剪枝:剪枝率高达 75%,使解码速度直接提升 5 倍以上。
多段自回归蒸馏:在保证画质的前提下,大幅压低了计算开销。
INT8 量化技术:确保模型在 5B 参数规模下,依然能在商用硬件上流畅运行。
🌐 未来愿景:从“片段生成”到“世界构建”
除了 5B 版本,团队还展示了参数规模达 28B 的 MoE(混合专家)模型。随着参数量的提升,AI 在动态模拟、场景过渡以及通用泛化能力上展现出更强的生命力。
行业意义: Matrix-Game 3.0 的问世,不仅是技术的跃迁,更为机器人仿真训练、XR(扩展现实)以及下一代沉浸式娱乐提供了核心技术底座。这标志着 AI 已正式从“生成短视频片段”进化到了**“实时构建可交互数字宇宙”**的新阶段。