近期北京邮电大学方斌教授团队联合清华大学、意大利比萨圣安娜大学、英国伦敦国王学院和德国汉堡大学发布了基于掌状视触觉传感器的柔性接触仿真与操作学习，为基于视触觉传感器的柔性操作提供了新的思路。相关工作发表在机器人、自动化领域JCR Q1期刊IEEE Transactions on Automation Science and Engineering。
研究背景：
可变形物体操控是机器人领域一个经典且极具挑战性的任务。相较于刚性物体，可变性物体具复杂的变形特性（包括弹性变形、塑性变形和弹塑性变形），大量的自由度 (DOF) 需要复杂的建模方法，这使该问题更加复杂。同时，可变形物体广泛存在于医院、工业和家庭环境中。因此，可变形物体操控在机器人技术发展中发挥着至关重要的作用。
为此，本文开发了一款可变形物体与基于视觉的触觉传感器之间的软接触模拟器，该模拟器能够模拟视触觉传感器与弹性、塑性以及弹塑性物体之间的接触变形。在此模拟器的基础上，本文提出了基于视触觉传感器的可变形物体操控基准，包括可迁移的观测值、任务和专家演示系统。最后，本文搭建了相应的实验平台，完成了相关任务的Sim-to-real实验和鲁棒性实验，实现了对可变性物体的操控。
图1 总览图
TIRgel视触觉传感器：
本文意在利用视触觉传感器作为末端执行器操作物体的同时观察物体变形状态。TIRgel系列视触觉传感器的基本原理是全内反射，当折射光的入射角超过临界角（由介质的折射率定义）时，光的传播满足全内反(TIR)的条件。光与介质接触后发生散射并被相机捕捉，最近以图像的形式呈现。接着，本文从视触觉图像中分割出按压区域并作为观察值。
图2 视触觉传感器及现实中观察值获取示意图
软接触仿真：
本文利用移动物质点二乘法（MLS-MPM）来模拟视触觉传感器弹性体与可变性物体之间的接触变形。MLS-MPM利用粒子来表示物体，粒子的运动可以模拟弹性体和物体的接触变形。每个粒子都包含物体的信息，例如质量、速度和变形。此外，仿真环境中存在一个固定的虚拟网格，粒子与附近的网格节点交换信息。由于粒子和网格的使用，MLS-MPM 可以同时利用基于粒子和网格仿真方法的优势。它包含五个步骤：初始化、粒子到网格、网格计算、网格到粒子和更新粒子状态。这包含了信息交换、变形模拟和物体运动的整个过程。
图3 软接触仿真及仿真中观察值获取示意图
操作学习：
本文使用TD3完成将弹塑性物体从正方体揉搓成圆柱体和球体两个任务的操作控制。模型在仿真中完成训练并借助视触觉传感器迁移到现实。为了平衡探索和训练效率，本文使用了专家演示系统且合并了TD3和专家演示的loss。
图4 操作任务设置及专家演示系统
实验结果：
软接触仿真：本文分别使用水+沙子来模拟塑性物体、硅胶来模拟弹性物体、橡皮泥来模拟弹塑性物体。结果如图5所示，对于沙子而言，其在挤压下发生自上而下的变形；对于硅胶而言，其在挤压下仅发生了微小的变形；对于橡皮泥而言，其在挤压下发生了大幅度的变形。
图5软接触仿真结果
训练结果：本文在仿真中完成了对应模型的训练，基于专家演示的强化学习系统能够在先验知识的基础上进行探索，从而获得更高的奖励。
Sim-to-real迁移：本文搭建了对应的机器人平台，通过对齐观察值将在仿真中训练的模型迁移到了现实，完成了对应系统的验证。
论文链接：
Sun Y, Zhang S, Chen Z, Fang B, et al. Soft Contact Simulation and Manipulation Learning of Deformable Objects with Vision-based Tactile Sensor [J]. IEEE Transactions on Automation Science and Engineering, 2025. https://doi.org/10.1109/TASE.2025.3582341
来源：CAAI认知系统与信息处理专委会
（文：机器人大讲堂）