用世界模型给VLA当教练,原力灵机发布DW0.5,把RL搬进

具体而言,DW0.5以Video Expert、Action Expert、Value Expert三大专家模块组成表现水平链路。Video Expert与Action Expert共同服务动作后果预演,Value Expert负责价值评估与反馈构造。

真机一次rollout需要占用机器人、场地和人工,一次动作失败可能直接让任务中断;人工反馈虽然更接近真实判断,但难以高频覆盖每个中间状态;仿真环境成本确实低很多,但现实中的接触、遮挡、反光、形变和不确定性又很难被完整复刻。

示意图

综合来看,用真实Rollout数据校准世界模型,世界智能模型支持低成本大规模的环境与数据集生产,新的policy再回到真实环境验证和收集数据。

不光能做出机械臂正常作业的视频,就算参考错误动作,也能还原任务失败的场景,以此支撑DFOL2.0框架的在线强化学习模型训练。

这个月,原力灵机发布了旗下首款具身世界AI模型DW0.5,并将它接入世界模型驱动的具身智能后训练框架DFOL2.0。

示意图

它接收的信号不像代码那样有一个编译器就能判定,它们模糊、昂贵,而且每一次真机试错都意味着真金白银的人力和硬件损耗。

但很快,大家发现这个技术存在物理理解缺失、泛化性能极弱、长时序与规划能力不足等等问题,做不到“一家独大”包打天下。

“这套基模支持多模态输入,包括任务指令、图片和视频,还能选定机器人类型。我们可以凭借历史动作,预测后续视频状态。”

VLA需要一个介于真机、人工反馈和传统仿真之间的训练环境。最好它足够便宜、能支持高频探索,还更接近真实操作过程。

你要解决什么问题,挑选对应的方法去解决它,而不是说我是什么方法的、什么流派的,为此来证明只有我才是标新立异的。

DW0.5就承担了原力灵机VLAAI模型(DM0.5)后训练中的Learned Environment的角色。

VLA先给出候选动作,DW0.5在虚拟环境中预演未来,判断成功、失败与偏离风险,再把可用反馈送回强化学习。

不难看出,代码Agent可以自动执行、自动验证、自动反馈。写了代码跑一下就知道对不对,奖励信号非常清晰明确。

他介绍道,DW0.5用上万小时真机、多视角数据完成联合预训练,仿真性能很强,能生成各类画面。

在部分世界模型里,动作信息只是一个附带的条件输入。但DW0.5把动作当成结构性的强先验。

据介绍,按其披露的数据,这套流程可让后训练中真机数据需求骤降60%,整体训练成本下降40%。

DW0.5把action当作视频生成的一等条件,通过结构化的帧级对齐强制绑定。

这给后模型训练(Post-training)阶段的自反馈闭环提供了完美条件。

我觉得特别愚蠢的一件事情是在「技术路线」上给自己贴标签。这件事情是特别蠢的。

它面对的物理世界比代码Agent面对的世界复杂多了,而且很难得到即刻验证。

DW0.5能预测动作执行后的未来状态,甚至生成失败轨迹,并对任务进度打分。

他介绍,大约今年过年前,原力灵机意识到可将世界模型作为后训练的一部分。

它必须知道“机械臂在往这个方向移动”,才能预测出物理上合理的后续画面。

从行业角度来看,用世界模型给VLA当教练,原力灵机发布DW0.5,把RL搬进虚拟世界

,它的目标是让机器人在不同环境、不同物体和不同失败条件下持续变强。

从行业角度来看,代码Agent这两年为何进步飞快,成为AI界的宗门大师兄?

想了解DW0.5,咱们先来看清它解决了什么样的行业内问题。

但世界模型似乎也不是灵丹妙药(至少目前来看是这样的)……

DW0.5作为一个高保真仿真器,把强化学习搬进虚拟世界。

DW0.5三大专家模块重构仿真逻辑,全方位提升泛化能力

这也不行那也不行,具身智能,你到底要怎样啊??

基于这个现实,原力灵机从技术侧提出了判断:

从行业角度来看,设计一:Action是强先验,而不是软提示

得益于这玩意儿自己个儿就超!闭!环!的!

这个时候,原力灵机相关负责人站出来表态:

越来越多的企业开始在这一领域布局加码。

后来,世界模型又成了行业里的新宠儿。

后训练优化中真机数据需求骤降60%

量子位 | 公众号 QbitAI

具身智能目前就缺少这种“神助”。

具身智能行业内急需低成本反馈闭环

整理编辑:硅基前哨

作者 AI采集