全球首款 !中国团队把游戏世界模型塞进一

全球首款 !中国团队把游戏世界模型塞进一

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

与此同时,全球首款 !中国团队把游戏世界模型塞进一张5090,还开源了

给视频模型套上Harness

量子位 | 公众号QbitAI

不er,印象中非常吃算力的「游戏世界模型」,居然就这样被塞进一张RTX 5090里了?!而且身上还挂着两个十分诱人的标签:

就在刚刚,昆仑万维旗下Skywork AI发布

Matrix-Game 4.0

「全球首款可在单张消费级显卡上实时运行的游戏世界模型」

快速翻到Demo,坦白讲480p的画质确实还有提升空间,但再看几秒:

值得一提的是,以前常见的游戏世界模型Demo,是玩家按一下方向键,模型接着往前生成画面。世界能逛,场景会动,但底下究竟有没有一套真正运行的游戏,不太好说。但Matrix-Game 4.0已经不太一样了。玩家中弹,先掉的是盾牌耐久;盾碎了,才开始扣血;等血量归零,游戏真就结束了。视频地址:https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

需要注意的是,好家伙,原来不只是画面在动,背后的游戏逻辑也跟着跑起来了啊。更离谱的是,这一整套没躺在什么豪华算力集群里。就一张RTX 5090。按下键,不到0.15秒画面就有反应;一秒能跑60帧;整套系统占用显存峰值约18.5GiB

让Coding Agent动动游戏代码,原本的计时赛,转眼就能变成拦截目标车辆的追击战。视频地址:https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

在这里要特别说明一下,一张卡,托起一局由AI实时画出来、又按代码规则运行的游戏。给视频模型套上Harness

其实,这一次,Matrix-Game 4.0没走寻常路。团队给出的核心判断是:

与其让视频模型隐式记忆世界,不如让游戏引擎显式维护世界。以谷歌Genie为代表的路线,率先让玩家走进AI实时生成的世界,走到哪里,模型就把画面生成到哪里。但世界能逛,不等于游戏能玩。画面偶尔多一棵树、少一扇窗,顶多让人出戏。可要是NPC的位置、玩家的血量、任务的输赢也由模型临场发挥,那还玩啥啊??这样一来比画面穿帮更麻烦的,其实是规则脱缰。在团队看来,现阶段的视频生成更像一种「符际翻译」,负责把文字、动作和场景信息转成连续画面。「画」这件事,视频模型确实擅长。可过去常见的路线,偏要让它既记住整个世界,又算清游戏规则,还得不停往下生成画面。好家伙,一个模型直接身兼数职,短时间还能撑住,时间一长你懂的。。。所以到了Matrix-Game 4.0,团队干脆把活儿拆开:

游戏引擎负责把游戏跑对,视频模型负责把画面画好

这么一拆,世界状态就不再藏在模型生成的像素里,而改由代码明确记录。即使视觉生成偶尔出现偏差,也不会直接改写玩家血量、道具归属和任务进度等。「给视频模型套上Harness」

1、玩家先用自然语言说出想法,Coding Agent负责把它写成游戏代码;

2、游戏引擎当「裁判」,负责维护世界状态、执行游戏规则,并画出1份不会乱的结构草图;

大家要留意了:3、视频模型则当「画师」,照着草图实时生成最终画面。说白了就是,该确定的交给代码,该发挥的交给AI。至于这套分工效果如何,直接看Demo。最开始,引擎输出的还是一片由方块、骨架和简单地形组成的结构画面

看着多少有点「毛坯房」的意思。但人物在哪、道具在哪、谁在移动,已经交代得明明白白。等视频模型接手,城堡、草地、材质和光影被实时补齐,刚才还是3D草模,转眼就成了完整的游戏画面。视频地址:https://mp.weixin.qq.com/s/dOIA_LEFwE_A3tUTwQwEyA

画得出来是一方面,底下的规则也真在跑。就拿盾牌来说,玩家拾取后,引擎会把它正式写进游戏状态。中弹时先扣盾牌耐久,盾牌失效后再扣角色血量;等血量归零,游戏结束。

作者 AI采集