刚刚，全球首个具身专属的MoE视频模型，开源了！
视频生成的下一站，或是机器人大脑
量子位 | 公众号 QbitAI
话不多说，直接来看生成的效果：
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q
LingBot-Video
视频基础模型、视频物理引擎。
或许有小伙伴要问了，像刚才视频里的机器人切西红柿、吸床单和收纳口红，目前很多视频生成的AI不也能搞出来吗？
但既然说了LingBot-Video是具身版的专属视频模型，那说明它从架构、数据到训练目标全链路都是为机器人、人形智能体量身打造的。
但到了LingBot-Video这里，重中之重，变成了
除此之外 ，LingBot-Video的亮点还包括：
架构上采用MoE，让模型容量和推理成本更好平衡；
30B参数，推理时仅激活3B；
数据上引入超70000小时具身相关视频，让模型学习机器人操作、导航、第一视角等场景；
训练上加入多维奖励系统，把物理合理性、任务完成度纳入优化目标。
已在RBench上超越业内通用视频生成标杆模型。
LingBot-Video一经开源，同样也是引发了网友们不小的热议，他们直呼：
它的功能远不止于生成视频，如此大规模的训练，让模型对现实世界中的互动有了更深刻的理解。
为什么机器人需要自己的视频模型？
对于这个问题，答案其实蛮现实且刚需的。
通用视频模型的训练目标，主要围绕视觉质量、语义对齐、运动连贯展开。人看视频时，也更容易被画质、光影、构图、风格打动。
但机器人看世界的方式却截然不同。
它不只是看见一个杯子，还要判断自己伸手过去以后，杯子会怎么动；看见一条路，还要判断从这里走过去，会不会撞到障碍……
所以，我们可以认为内容视频和具身视频其实是
通用模型里偶尔出现的穿模、物体凭空消失、动作违背惯性，对短视频创作来说可能只是瑕疵。观众看一眼，最多吐槽一句“AI味有点重”。
但如果把这些错误视频拿去训练机器人，那问题可就大了。
因为这就相当于在教机器人一套错误的世界规律，它们会误认为手可以穿过物体、杯子可以无缘无故复原、液体可以悬在空中……
所以LingBot-Video生成的视频，就是要让机器人的大脑学会真真实实的物理规律。
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q
视频中，机械臂在产线上对零件进行抓取、放置、定位，有的还涉及焊接、加工这样的动作。但重点在于末端执行器、工件、工作台之间的相对关系能不能在连续帧里保持稳定。
这对应的正是机器人真正需要学习的能力，包括看懂物体，靠近物体，作用于物体，然后预测物体状态的变化。
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q
一个是第一视角滑雪镜头，从雪坡向前冲下，雪雾、坡面、身体姿态都在快速变化；另一个画面里，人形机器人则在雪道上和滑雪者并行绕旗门前进。
这类场景考验的，便是机器人对于空间的理解、运动的预测和动态环境的建模等能力。
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q
排球场上，机器人起跳、挥臂、击球，球沿着空中轨迹飞出；足球场上，机器人完成摆腿、触球、射门，球和身体动作之间有明确对应关系。
这就有点接近我们人类期待的具身智能所拥有的灵活的运动能力。
（LingBot-Video完整能力视频如下）
https://mp.weixin.qq.com/s/shwkij9ul5GpCBfNYMxU7Q
在看完效果之后，那么接下来的问题就是：
LingBot-Video是怎么做到的？
30B的大脑，仅3B出手
要让视频模型更懂机器人，第一步是
从此次团队发布的技术报告来看，较为吸睛一点便是引入了
为啥要这么做？打个比方。
传统Dense模型更像一个大办公室，每来一个任务，所有人都要一起上场。好处是稳，坏处是贵。模型越大，每次调用成本越高。
而MoE则像一个大型专家库，任务来了，不用所有专家都出手，只叫最相关的一组专家来处理。
LingBot-Video的体量共计30B参数，但正因引入了MoE，单次生成大约激活3B参数参与计算。
由此，不仅计算成本变得更低，扩展方式也从直接堆参数变成了按需激活。