全球首个「具身原生」预训练模型发布，从物理世界出发为机器人造大脑！
开源第四弹：LingBot-VA 2.0
量子位 | 公众号 QbitAI
终于，那句用来教育年轻人的经典嗑，也是用到机器人身上了：
因为一个靠谱的机器人啊，它不能只是看到什么就做什么，现在还得学会
眼睛是看到了当下的这一帧，但脑子应该在盘算几步之后的画面了。
这个事儿在具身智能圈有个专门的名字，叫做
（Video-Action）模型。
咱们先来感受一下这个feel：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
从视频中我们不难看出，桌上的冰球不仅速度快，轨迹还在不断变化，如果机器人只靠”看到哪打到哪”的反应式操作，大概率要被KO掉的。
正确的解法，应该是模型一边盯着球的运动轨迹，一边提前预判几步之后球会跑到哪，然后提前调整身位、伸拍。
这就是“预判式控制”和“反应式控制”的本质区别。
不过啊，就在今天，VA这件事儿本身也要变了。
因为从现在起，VA模型不仅要“眼光放长远”，还得从娘胎里就是具身的！
LingBot-VA 2.0
从架构，到数据，再到训练目标，第一天起就是为机器人量身定制的。
除此之外，其它亮点还包括：
双臂任务成功率93.6%
单GPU推理150Hz
因果DiT+稀疏MoE主干
和前几天蚂蚁灵波三连弹开源+发布一样，LingBot-VA 2.0一经发布，同样引发了不小的热议，网友们纷纷表示：
机器人技术正在迈入一个新时代。
天生“预言家”的机器人
看完上面这段冰球对战之后，有小伙伴可能会好奇了：LingBot-VA 2.0的这种预判能力，扛不扛得住更复杂的真实任务？
研究团队在真实机器人身上还做了几组不同维度的测试，可以看出VA模型会先在脑子里做预判，把动作建立在对物理动态的预测之上。
面对一张东西摆得乱七八糟的桌子，机器人要先看懂桌上有哪些物体，哪些应该被移动，移动到哪里。
我们来看下LingBot-VA 2.0的表现：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
这项任务背后考验的，是模型对长时间跨度任务的状态维持能力；若是记性不好的话，机器人很可能收拾到一半就忘了自己刚刚收拾到了哪一步。
LingBot-VA 2.0的高维planner面对任务会首先做一个任务拆解，比如左臂负责收拾垃圾归位，右臂把笔和鼠标等文具复位，双臂并行推进还要避免空间冲突。
视频预测分支天然携带时序状态记忆，每一步操作后的桌面新状态都在模型预测范围内，不会出现“断片”返工。
语义视觉-动作分词器让视觉latent同时对齐语义信息，物体类别与目标位置的理解在长序列中保持稳定。
从最终效果看，机器人顺利完成了全桌面整理，说明LingBot-VA 2.0完全可以应对更接近真实生活的长程操作。
这次任务的场景更接近工厂、仓储里的真实作业。
物体在传送带上持续移动，机器人要抓的不是一个静止的目标，而是一个正在移动的目标。
这就要求动作的时间节奏必须和物体的运动节奏严丝合缝地对上，早一点或晚一点，抓取动作都可能扑空。
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
这个任务考验的是机器人对连续运动场景的时间对齐能力。
同样的，LingBot-VA 2.0加持的机器人依旧成功完成了传送带抓取，动作和移动目标实现了同步。
传统工业方案依赖外部传感器（光电开关、编码器）做触发同步，纯视觉方案则需要模型自己算准时间。产线节拍固定，机器人不仅要抓得到，还要跟得上整体节拍，不能成为产能瓶颈。
LingBot-VA 2.0把物体正在移动这件事直接纳入动作决策，不只是识别当前位置，而是预测抓取动作完成瞬间物体的所在位置，把动作执行的时间开销提前算进去。
比起前两组，这一组的挑战换了个方向。
不比抓得准不准，看得是抓得够不够轻：
https://mp.weixin.qq.com/s/BbgMERwM08nKqwv2ydcxHA
我们都知道薯片是又薄又脆的，所以机器人既要精确把握夹爪和薯片之间的相对位置，做到细粒度的视觉伺服，又不能一使劲就把薯片捏碎。
这就对模型保留局部视觉细节的能力提出了很高要求。
从演示结果看，机器人完成了对薯片这类薄片物体的抓取，过程里既要保持视觉上的精细判断，也要控制动作幅度和力度。
虽然这三组任务分别对应的是长程记忆、时间对齐、精细操作三个不同维度。