SimFoundry还能在保持物体功能和Affordance不变的前提下，自动更换物体、调整场景落子，甚至生成新的操作任务。也就是说，一段真实视频，不再只能得到一个仿真场景，而是能够自动扩展出
（注：数字孪生（Digital Twin）是对真实场景的精确复刻；数字表亲（Digital Cousins）则保持场景的功能和交互方式不变，但会对物体、谋划或任务进行合理变化。）
简单来说，Real-to-Sim希望利用3D重建和生成AI模型，将真实世界快速转换成适配物理交互的仿真就绪（Sim-ready）环境，从而大幅降低人工搭建仿真场景的成本。
系统输入一段普通RGB视频后，首先利用深度估计恢复三维点云，再借助视觉语言模型（VLM）和SAM 3等分割大模型，将场景中的物体逐个识别、分割出来。
借助自动化数据集生成技术，可以以极低的人力成本合成大量多样、高质量的训练语料数据，不断升级机器人在真实世界中的泛化能力。
每提取一个物体，就利用图像修复（Inpainting）将其从画面中移除，继续寻找下一个目标，直到完成整个场景解析。
一直以来，机器人策略的学习过程一直高度依赖真实世界数据集，而真实机器人采集训练数据不仅昂贵、耗时，还很难规模化。
虽然仿真能够提供近乎无限的数据，但搭建一个具备真实几何、物理属性和交互能力的仿真环境，本身仍然需要大量人工建模。
但问题在于，已有的Real-to-Sim方案往往只能解决其中一个环节：有的擅长重建3D场景，却无法生成训练数据；
由此，SimFoundry不仅可以在仿真里学习过程机器人，还能较为可靠地预测不同机器人策略在现实中的真实表现。
与此同时，越来越多研究也发现，只要仿真环境足够逼真，其评测结果与真实世界的机器人表现往往具有很强的一致性。
基于此，SimFoundry 的思路就是把场景构建、数据生成、策略评测和策略训练串成了一条完整流水线。
自动扩展物体、场景和任务三个层面的数字表亲（Digital Cousins），持续生成预训练数据；
SimFoundry只需一段真实世界视频，就能自动生成一个可以交互、训练、评测的机器人仿真环境。
利用这些仿真环境同时完成策略评测和策略训练，形成从真实世界到仿真、再回到真实世界的完整闭环。
Extraction（提取）→Generation（生成）→Augmentation（增强）
即便大模型模型训练完成，真机测试同样受到场景有限、测试成本高等因素的制约。
另一方面，有的能够进行策略评测，却依赖大量人工配置，也难以扩展到丰富的场景和任务。
为了达成这一目标，SimFoundry设计了一套三阶段Pipeline。
从行业角度来看，李飞飞署名具身新论文：Sim2Real烧不起，Real2Sim量大管饱
，在多步操作、双臂协作、带关节物体操作等多个任务上完成真实世界迁移。
更进一步，在SimFoundry生成的数据上训练出的策略，还能够
还在聊Sim2Real？现在机器人圈更火的是Real2Sim！
值得一提的是，自动重建可交互、可仿真的数字孪生（Digital Twin）；
整个SimFoundry的流程并不复杂，可以概括成三个阶段：
先理解真实世界，再搭建数字世界，最后批量创造新的数字世界
第一步：Extraction（提取）——理解真实场景。
第二步：Generation（生成）——搭建数字孪生。
不难看出，从目前的发展态势来看，该领域还有巨大的增长空间。
从目前的发展态势来看，该领域还有巨大的增长空间。
作为训练和评估机器人策略的一种可扩展替代方案。
SimFoundry 的核心贡献，在于打通了
有行业分析指出，等机构联合发布全新Real2Sim系统——
伴随技术不断成熟，商业化落地进程也在加快。
场景生成、数据生成、策略评测和策略训练
而且可不光是3D场景重建这么简单。
的整个Real-to-Sim闭环。
量子位 | 公众号 QbitAI
逐渐成为具身智能领域的热门方向。
整理编辑：硅基前哨