他山科技开源触觉模拟仿真,引领机器人触觉技术迭代方向

他山科技成功开发出国内首个基于真实电容式触觉传感器产品的仿真模型,并联合生态合作伙伴灵巧智能推出了基于MuJoCo 环境的触觉传感器仿真及DexHand021 灵巧手的触觉协同训练框架。
https://github.com/TashanTec/TactiSim

其中触觉传感器仿真模型基于他山科技的量产触觉传感器产品TS-F-A,可以在MuJoCo平台上自由集成进用户的具身智能体、灵巧手或其他末端执行器,从而轻松获取与实际产品同维度的触觉信息,实现从接触仿真到触觉模态模型训练的全流程优化,缩小Sim2Real鸿沟,推动触觉传感器价值的充分发挥,有效降低依赖真实场景的数据采集成本,为机器人交互能力的进化最终实现大规模落地提供强大助力。

他山科技触觉模拟仿真模型

触觉仿真模型的挑战


当前,机器人在执行复杂任务时,因缺乏精准触觉感知,常面临抓取不稳定、操作失误等问题,这使其在精密装配、物体操控及与环境交互等场景中的表现大打折扣。触觉模拟仿真技术能够提前在虚拟环境中构建触觉模型、模拟触觉交互并进行算法训练,从而为机器人触觉感知能力的提升提供关键支持,对拓展机器人应用领域、增强其自主性和智能化水平具有不可或缺的作用。

触觉传感器在仿真环境的建模及突破 Sim2Real 鸿沟方面面临诸多挑战,如接触复杂物理过程建模、传感器工艺噪声干扰以及高质量触觉数据集匮乏弹性体形变的高精度模拟、材料特性影响等,这些因素共同导致了触觉仿真技术发展相对滞后。他山科技在多个方面均做了探索并取得了显著进展。

技术创新与路径优化

他山科技在AI触觉感知领域深耕多年,基于自研的底层类脑触感芯片、触觉传感器及算法的技术积累,已与包括人形机器人、灵巧手和机械臂等多家具身智能产业链公司建立了紧密合作,是唯一可提供自研底层芯片+触觉传感器+相关算法模型的公司。此次瞄准行业痛点问题,凭借在触觉感知领域的多年积累,组织专家进行技术攻关。

在精准物理特性还原方面,他山科技通过将手-物接触摩擦视为多尺度连续可微的动态过程,结合动力学方程组求解和实际数据标定,还原机器人触觉传感器与环境物体接触时的物理特性,提高了触觉模拟与实际应用的一致性,为生成真实可靠的触觉信号提供了坚实的基础。

在仿真模型中,他山科技整合了接近觉、压力、切向力等多维度传感器数据,数据维度与实际产品保持完全一致。运用时序滤波及机器学习算法,对原始数据进行高效处理与分析,基础的预处理方法也与实际产品保持一致,保障实际-虚拟双向的算法迁移。

在仿真模型的参数优化与轻量化上,模型需要突破材质、摩擦系数等感知执行边界的限制,以适应更广泛的应用场景。他山科技基于自己的触觉传感器产品,已经建立起企业的大规模实采触觉数据集。通过这一数据集构建在标准场景下的触觉感知预测模型,并与动力学求解的结果相融合,进一步改善了一致性,确保模型在处理大量参数时仍能保持高效性和准确性。

应用价值与开源合作


他山科技的触觉模拟仿真技术可以支持用户几乎零成本地引入触觉感知训练自己的模型。可以在工业和服务机器人领域得到广泛应用。在工业领域,该技术将提升机器人的操作精度和灵活性,降低生产误差和次品率。在服务领域,使机器人能够更自然地与人类互动,提供高质量的服务。

本次推出的仿真模型,提供完善的Python接口和调用示例。可在Python环境下安装MuJoCo库后,按照示例在模型中添加传感器仿真模组,设置用户自定义触觉传感器,通过调用传感器回调函数,即可查看仿真触觉传感器的数据输出,并与实际产品采集数据配合使用训练模型。

他山科技始终致力于机器人触觉仿真领域的创新,努力为国内机器人触觉感知技术的发展注入新的活力。在触觉仿真领域仍然有大量的工作要做,从触觉感知方面推动具身智能的交互能力,推动具身智能的大面积应用仍然任重道远,公司将继续携手全球生态伙伴,稳步推进研究工作,助力机器人触觉感知技术的发展。期待与各方共同构建开放、共享的创新平台,加速模型的迭代升级,拓展应用场景,推动机器人技术在各行业的广泛应用与普及,迈向机器人触觉感知的新时代。

他山科技将该机器人触觉模拟仿真模型在GitHub 平台开源,诚邀全球生态伙伴共同参与训练与优化,构建充满活力的机器人触觉技术生态。

我们欢迎全球范围内的生态伙伴共同参与本平台的训练与优化,贡献各自的技术力量和创意。如果您在使用过程中发现任何问题或有任何建议,欢迎点击下面的阅读原文,与我们联系。

欢迎登录:https://github.com/TashanTec/TactiSim

附:安装指南
1、安装:在开始使用本平台之前,请确保您的系统满足以下要求并按照步骤进行安装。
环境要求
操作系统:Windows 或 Linux
Python 版本:3.8 或以上
安装步骤
python环境MuJoCo安装:pip install mujoco==3.2.3


查看模型:在终端或命令提示符中运行以下命令,查看通用触觉传感器模组的模型:
python-m mujoco.viewer–mjcf=./mujoco_model/TS-F-A.xml
这将启动MuJoCo 观察器,您可以在其中查看通用触觉传感器模组的模型,观察其外观。


 查看带触觉的灵巧手模型:
python-m 
mujoco.viewer–mjcf=./mujoco_model/DexHand.xml
这将启动MuJoCo 观察器,显示带触觉的灵巧手模型,您可以观察及控制其各个关节运动和触觉传感器的布局。

2、调用传感器回调函数 :为了使模型能够准确地模拟触觉传感器的数据输出,您需要调用传感器回调函数。根据您的操作系统,分别使用以下文件:
Windows :mjcb_sensor\win\TSensor.pyd
Linux :mjcb_sensor\linux\TSensor.so
请将相应的文件放置在您的项目目录中,并确保其路径正确。

3、测试通用触觉模组:运行以下命令,对通用触觉模组进行测试:
python module_test.py
该测试脚本将模拟触觉传感器在不同接触情况下的数据输出,并验证模型的准确性和稳定性。
测试灵巧手五指握抓:运行以下命令,进行灵巧手五指握抓的测试:
python dexhand_grab.py
该测试脚本将模拟灵巧手进行物体的抓取和握持操作,展示其触觉感知能力在实际操作中的应用。

来源:他山科技


(文:机器人大讲堂)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往