全球首个!银河通用新框架仅需人类视频即可部署,特斯拉蚌埠住了

如果我们把机器人想象成一个已然出师的厨师,从出厂那天起,它就拥有从预训练阶段学来的扎实的基本功。现在顾客走进后厨,希望厨师做一道没做过的菜,还给它看了教学视频。

但机器人不一样,它面对的是比文本更复杂的物理世界,任意一次误判都有可能损坏抓取对象。想让机器人像大模型一样在部署时进化,行业内一直没有人做到。

示意图

这一步是机器人的出厂设置,团队借助成对采集的人类和机器人演示数据,通过Key-Value向量对自适应记忆,实现人类视觉线索与机器人行为的对齐。

通常一般的机器厨师会逐帧模仿学习,但WAM‑TTT不一样,它会先把顾客的要求写到一张便签上,然后调用自己已有的厨艺,再照着便签把菜做出来。

需要注意的是,在WAM-TTT整套流程中,WAM的主体权重全程保持冻结,不会随着学习过程更新,所有学习操作都只在前面提及的记忆模块中完成。

示意图

内部由视频专家和动作专家两部分组成,前者负责理解当前画面里发生了什么,后者负责生成对应的机器人动作。二者之间再通过联合注意力维系通信。

更麻烦的是,客户每换一个新的部署点位,都得重新采集训练数据、重新适配模型。整套流程下来又贵又慢,具身智能压根无法规模化落地。

不过这里的学习,学的不是具体动作,不是要机器人看一遍视频就学会一个新技能,WAM‑TTT重在让机器人消化理解当前任务。

WAM‑TTT无需重新预训练,也无需大量机器人轨迹数据和人类动作标注,就能让机器人在部署阶段快速适应新场景、新任务。

它会让机器人先利用人类示范视频充分了解场景信息,再把这些信息写入临时记忆,然后结合原先已有的动作能力完成任务。

要说这两年,大智能模型最重要的变化之一,就是越来越不依赖预训练一锤定音,部分能力开始留到模型推理时刻再兑现。

OpenAI o1如此,DeepSeek-R1也是如此。模型推理性能提升,靠的是在应用过程中的持续自我提升。

视频链接:https://mp.weixin.qq.com/s/Lwo6w_HjR3cYM7ZxbZahXQ

将Test-Time Training(TTT)范式从NLP和大语言模型,迁移至物理世界的机器人控制。

一个机器人在训练场里学会了搬箱子,精度、成功率都拉满。可一旦换个环境或者换批箱子,它就立刻摆手不会。

的TTT轻量化框架,低成本且泛化能力强,首次系统性破解了跨场景、高效、规模化部署这道行业难题。

(World-Action Model Test-Time Training)。

具体来看,相当于教会厨师怎么读懂顾客的便签,以后碰到新视频,就能自动理解付诸行动。

这张便签,就是WAM‑TTT的核心机制,一块独立的小型参数存储单元

全球首创!银河通用新框架仅需人类视频即可部署,Tesla蚌埠住了

同一项技能,预训练时精通,部署时失灵,这就是学术界常说的

要知道,现阶段整个具身智能行业内都受限于同一核心痛点。

(World Action Model,WAM)。

具体来说,WAM‑TTT的底座是一个预预训练好的

业内人士普遍认为,这一进展将对行业产生深远影响。

Meta-Training(离线元训练)阶段:

这样既能适应新环境,也能保证原先能力不丢失,

自此,具身智能得以开启属于自己的后训练时代。

Test-Time(线上测试时训练)阶段:

面向具身智能大模型的测试时后预训练框架

需要说明的是,WAM‑TTT要解决的就是这个问题。

fast-weight memory

量子位 | 公众号 QbitAI

听起来有些抽象,那我们不妨用一个

整理编辑:硅基前哨

作者 AI采集