

LeCun 10亿押注的方向,全球领先视觉大模型团队早已布局
”隐空间世界模型很难,但我们一定要做“
量子位 | 公众号 QbitAI
Yann LeCun押注的世界模型路线,一匹深圳黑马也已提前落子。
——Grounding DINO、DINO-X——的那支团队。
他们并不满足于「看见世界」,而是正努力把AI进一步推向「预见未来」的能力边界。
要知道,LeCun为了这条技术路线,离开Meta、创办AMI Labs,完成10.3亿美元融资,创下欧洲史上最大种子轮纪录。
不同于主流世界模型预测下一帧画面长什么样,
要求AI在更抽象的表征空间里,学习动作和世界状态变化之间的因果规律。
5月15日,在2026全球人工智能终端展暨第七届深圳国际人工智能展览会举办的「AGI前夜:大模型的觉醒时刻」论坛上,视启未来
,更是在主题演讲中直言:
做世界模型很难,做隐空间世界模型更难,
隐空间世界模型为什么是更难的那条路?难在哪里?
「隐空间世界模型很难,但我们一定要做」
随着人工智能加速从数字世界走向物理世界,智能体面临的核心任务已经变了。
不仅要「看见」,而且要「预见」——理解因果关系,把握时空动态,在稀疏反馈与复杂约束下完成规划、决策与学习。
强化学习提供了从交互经验中学习的基本范式。看大语言模型这边,从ChatGPT应用强化学习,到o系列模型以及coding能力的突破,本质上都是一系列强化学习算法应用的突破。
但物理世界的样本效率低、安全约束严、交互成本高、环境不可重置,单纯依赖在线试错的方法,难以扩展到真实场景。
真正的智能,不能只停留在「看到当前状态就输出动作」的层面
如果没有对未来状态的预想、对行动后果的预判,智能体就无法在物理世界中持续展开决策链条,也难以真正进入现实环境。
这正是世界模型的意义所在:让AI从经验数据中学习动作、状态与结果之间的因果关系,在行动前先「想象」下一步可能发生什么,为强化学习提供可扩展的内部预演空间。
在张磊看来,当前各种世界模型路线都在不同方向上推进得很快。但对于机器人和物理智能而言,一个核心挑战仍然存在:
模型学到的究竟是像素级相关性,还是可用于规划和控制的物理规律与因果关系?
模型在像素层面学习,很容易被纹理、光照、背景等细节干扰,学习效率低下,不利于学习真实的因果关系和物理规律。
「在输入空间做预测是糟糕的」
隐空间世界模型的出发点
Latent表征的价值在于,它可以把高维、冗余的视觉输入压缩成更抽象的状态表示,过滤掉大量与决策无关的像素细节,把学习重点放到更本质的变化规律上。
可以说,表征学习是世界模型中最为核心的问题。
换句话说,隐空间世界模型不执着于「未来画面长什么样」,而更关注「世界状态如何演化」,因此更适合学习物理规律和因果关系。
但视启发现,现有的隐空间方案还差了关键的一步。
大多数latent表征虽然脱离了像素,却并不真正「理解物体」。
如果模型不知道场景里哪些是独立物体、物体之间是什么关系、哪些变化来自视角、哪些变化来自交互,那么它要直接在隐空间中学习物理规律,难度仍然非常高。
物理规律本质上并不作用在像素上,而是作用在物体、结构和关系上
我们这里也做了张图,方便大家理解:
张磊认为,latent表征必须具备理解物体的能力,才能更好地学习物理规律。
把物体理解能力引入latent表征学习中
,通过2D感知、3D表征、分割和语义理解,让latent表征具备「世界由哪些物体构成、它们处于什么空间位置、具有什么语义属性」的基础认知,再进一步学习动作驱动下的状态转移和物理演化。
通过引入物体理解的结构信息,模型可以更高效地对数据进行压缩,从海量数据中学到内在的、更为本质的规律。
这样,模型学习的不再是黑盒式表征,而是一个更具对象性、空间性和物理性的结构化latent世界。
