< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
让机器人学会“预判接触”：它石智航牵头四大顶尖机构发布TacForeSight，破解精细操作难题
量子位 | 公众号 QbitAI
机器人已经学会看见世界，也开始学会摸到世界。
但对于真实接触操作而言，仅仅感知当前状态远远不够，机器人还需要
预测物理世界接下来会如何变化
擦拭、插接、拧紧，这些人类几乎凭感觉就能完成的动作，对机器人来说却并非易事：
接触力度会变化，物体位置会偏移，反馈慢一步，就可能打滑、卡住或丢失。
联合新加坡国立大学、上海交通大学、中科院自动化所、复旦大学发布论文“TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation”。
，首次将腕部力觉作为未来触觉状态的先导信号，用于预测短时接触演化，并将预测结果引入机器人动作生成过程。
论文链接：https://arxiv.org/pdf/2606.11184
项目主页：https://tacforesight.github.io/ProjectPage/
视频链接：https://www.youtube.com/watch?v=ZY2xBTaR6ek
这意味着机器人不再只是依赖触觉反馈进行事后修正，而是能够提前理解接触变化、预测接触变化，并在物理世界发生变化之前主动调整动作。
从Reactive Feedback（反应式反馈，即触碰之后才产生反馈）到Proactive Foresight（主动式预见，即在接触之前就预判将要发生什么），从“摸到世界”到“预感世界”，TacForeSight为接触智能提供了一种更接近人类操作逻辑的新范式。
领域的又一项关键进展。
今年3月，它石智航发布
OmniVTA视触觉操作框架和OmniViTac大规模视触觉数据集
，帮助机器人通过视觉与触觉理解真实接触。
此次TacForeSight，则进一步补上了“提前预判”的能力，让机器人不只是“看见”和“摸到”，还能提前判断接触变化。
为什么机器人需要“预判接触”？
当前，行业多数接触操作方法虽然融合了视觉、触觉和力觉等传感器，但本质上仍偏向“看到问题后再反应”。
然而，接触并不是一个静态状态，而是随时间连续演化的动态过程。
这点在执行精细操作时的弊端尤其明显，一旦反馈滞后，就容易出现卡顿、错位甚至任务失败。例如：
擦拭时，接触压力会随着物体表面高度变化而改变；
刷卡时，卡片姿态和轨道约束会持续影响滑动状态；
插接与锁紧任务中，微小的位置偏差就可能导致卡滞、滑脱或接触丢失。
机器人如果只依赖当前时刻的触觉反馈，往往已经慢了一步。
TacForeSight的核心洞察正在于此：
力觉与触觉并不是重复信息，而是具有“时间先后关系”的信息。
以人类操作为例，在擦拭、刷卡、插接等过程中，手腕往往会先感知整体受力趋势，指尖随后感知局部接触细节，人也正是依靠这种连续反馈与提前判断，完成动态调整。
△腕部力觉与双指触觉在接触转变中的互补关系
从“反应式反馈”到“主动式预判”
基于这一核心观点，团队并未停留在力觉与触觉信息的简单融合，而是进一步利用力觉信号预测未来可能发生的触觉变化，打造了TacForeSight 的核心模块Force-Guided Tactile World Model，即
不同于直接重建高维触觉图像的传统思路，TacForceWM将双指触觉场编码为紧凑的触觉潜变量，并利用高频腕部力/力矩信号预测短时未来的触觉演化。
介绍显示，该框架由两个耦合阶段组成：
第一阶段通过力条件触觉世界模型预测触觉动态；
第二阶段将预测到的触觉动态作为接触先验，用于轻量级动作策略生成。
这种设计避免了高维触觉生成带来的计算开销，同时保留了关键接触动态信息，使触觉世界模型能够真正进入实时控制闭环。
“当前接触如何演化为未来接触”
因此，机器人不再只是知道自己此刻摸到了什么，而是开始预测接下来将会摸到什么。
△TacForeSight网络架构图
在获得未来触觉预测之后，TacForeSight进一步提出Predictive Tactile-Conditioned Policy，将未来触觉作为动作生成的前瞻性接触先验。
通过Cross-Attention机制，策略显式建模当前接触状态与未来接触趋势之间的关系，使机器人在生成动作时不仅考虑“现在的接触”，也考虑“即将发生的接触变化”。
同时，触觉驱动的自适应门控机制会根据任务阶段动态调整视觉与触觉的权重：
在接触密集阶段，策略更依赖触觉进行精细控制；
在远离接触阶段，则更多依赖视觉提供全局信息。
论文摘要也明确提到，该方法通过
实现高效实时推理，适用于高频机器人操作控制。
真机验证各项性能优异，实时推理逼近人类速度