< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
英伟达机器人开源撞上Fable 5.2发布！Jim Fan：不是寒冬是夏天
henry 发自 凹非寺
其实，量子位 | 公众号 QbitAI
全体起立！时隔1年半，英伟达的新一代机器人基础模型终于来了！刚刚，在今年奥斯汀举行的CoRL大会上，英伟达GEAR领导朱玉可和Jim Fan，搬出了新一代世界动作模型——
在这里要特别说明一下，在时长1分半的官方demo中，GR00T 2能够拿剪刀裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花。看下来，几乎是样样全能。从双手精细操作到全身移动，模型的任务范围几乎覆盖了机器人能力的各个方向。而且，据朱玉可透露，GR00T2的模型、数据、仿真环境和数据采集硬件也将陆续开源。目前，10万小时的人类数据已经率先开放。咱一人来一句英伟达nb，不过分吧？GR00T 2：扩展机器人基础模型的泛化、灵巧性与适应能力
作为一款世界动作模型，GR00T2能够同时预测未来画面与机器人动作。行为训练时，它把“世界将如何变化”和“机器人应当如何行动”放在一起学习。发布会上，Jim Fan将其定位为一个反应够快、能够本地运行，同时既轻易通过示范教会，也容易被推理模型引导的System 1（快系统）物理技能模型。而放回GR00T 2内部，这就是朱玉可在推特上说的Xadapt跨本体适配。简单来说，过去要教会一台机器人完成新任务，往往需要针对它的身体形态和控制方式，重新采集一批机器人示范数据。X-Adapt则试图打破这层限制，
其实，人类或手持设备示范过的技能，不妨直接迁移给没有练过这项任务的机器人。具体来看，英伟达展示了三条路径。从人类示范迁移到机器人。研究人员佩戴动捕设备，示范如何放置、润湿滤纸。随后，双五指手Dexter就能完成同一任务。整个过程中，没有采集该任务的机器人遥操作示范。仅凭人类示范，Dexter在20次试验中的成功率就达到65%。2、从手持夹爪迁移到机械臂。研究人员使用手持UMI夹爪，示范如何组装玩具自卸卡车。模型学习后，再将这项技能迁移到YAM机械臂上。尽管UMI与YAM的夹爪形态不同，YAM仍能端到端完成最长约四分钟的组装任务，成功率达到60%。同样的迁移路径，还被用于传送带分拣与抛掷、操作板拆解等任务。3、从可穿戴外骨骼迁移到机器人灵巧手。研究人员戴上DexUMI手部外骨骼，示范制作香蕉酸奶、舀取麦片。模型利用这些数据微调后，机器人就能接手完成早餐任务，同样不应该额外采集这项任务的机器人遥操作示范。总结来看，这三条路径指向同一个变化：
同一项技能，不必总是在每一种机器人上重新示范一遍。当然，跨本体迁移并不意味着完全不需要机器人数据。在人类动捕和UMI路径中，目标机器人仍会提供与具体任务无关的数据，让模型熟悉自身的身体结构、活动方式和控制好空间。新任务的示范，则可以来自更比较容易采集的人类操作。这也是GR00T2技术报告所强调的方向，
扩展机器人基础模型的泛化、灵巧性与适应能力。迁移之外，GR00T 2也展示了通过少量机器人示范提高执行精度的能力。在另一组Dexter-50评测中，模型的零样本平均成功率为40%；每项任务提供一次示范后，成功率提高到71%；提供五次示范后，则达到95%。更关键的是，这5次示范合计不足三分钟。随后，只需要在单张RTX5090上进行约30分钟的LoRA微调，就能得到适配对应任务的模型。在实际调用方面，英伟达也紧跟潮流，开放了WAM API。通过API，推理模型可以负责拆解任务、检查执行进度，再将具体的物理技能交给GR00T2执行。换句话说，GR00T2不仅能够自己完成技能，还能成为上层智能体调用的物理执行模块。那么，问题来了：英伟达，你咋这么nb？40 万小时人类视频，怎么变成机器人的动手能力？咱一个1个来说。X-Adapt背后，首先是一座数据金字塔。GR00T2的预训练混合了3类数据：
402,730小时人类第一视角视频；
10,184小时手持UMI演示，覆盖2,897项任务；
需要提醒大家的是，这里要强调的是：23,500小时机器人遥操作数据。不难看出，人类视频的规模远大于另外两类。这意味着，机器人的学习材料不再局限于人工遥操作采集的动作轨迹，而是进一步扩展到大量真实的人类活动：
人怎样拿起工具、移动物体、完成装配，以及1次动作之后，周围场景会发生怎样的变化。UMI和可穿戴设备负责补充更直接的操作轨迹，机器人遥操作数据则帮助模型学习不同身体对应的运动与控制好方式。