[智能应用]斯坦福开源方案让机械手拥有人类手感 [复制链接]

数据是具身智能的燃料。然而生活中随处会用到的力信息的采集，却是现有诸多大规模数采系统普遍面临的一大难点。传统的力传感器（Force-torque sensor）昂贵，沉重且脆弱，动辄上万元成本的设备在遇到冲击时极易永久损坏；更灵活的触觉传感器（Tactile Sensor）仍不成熟，短暂的使用寿命和校准的困难都极大限制了其应用规模。
为了解决力反馈的难题，斯坦福大学团队开发了名为 UMI-FT 的系统，他们在手持式数采设备 UMI 的每个手指上安装了一个硬币大小的六维力觉传感器 -- CoinFT。它能感知到每个手指受到的全部六个方向的力和力矩。这个传感器只有 2 克重，当机器人拿着灯泡去找插座的时候，它能实时感受到自己手指所受到的所有力，轻了它就加把劲，重了它就松一点，几乎能够像人手一样细腻。CoinFT 能够像传统工业力传感器一样进行标准化校准，并且能够安全承受很大的冲击力而不损坏。
论文作者侯一凡告诉 DeepTech，这套方案的意义在于让带力反馈的大规模数据采集变得容易实现。以前的大规模数据采集基本只记录位置信息和视觉信息，力觉因为成本和技术难度很难规模化。UMI-FT 提供了一个低成本、高一致性、可规模化的力觉数据采集方案，为训练具备柔顺操作能力的机器人策略铺平了道路。
这个系统的核心是一个叫做 CoinFT 的微型传感器，直径 20 毫米，厚度只有 3 毫米。其内部结构由几层带椭圆支柱的介电材料组成，受到压力时电容会发生变化。还有一个五层的神经网络把这些电容值换算成为力和力矩，校准后的精度非常高，力的误差在 0.15 到 0.58 牛之间，力矩误差在 17 到 231 毫牛米之间。相比之下，传统工业使用的六轴力觉传感器又大又贵，一个就要几万块钱，而且特别娇气一不小心就会被摔坏。而 CoinFT 成本只有 10 美元，既耐摔又耐撞。
而前面提到的 UMI-FT 系统不仅是增加了传感器，还把苹果手机绑在了机器人的手上。手机负责提供 RGB 摄像头、超广角摄像头、深度摄像头和姿态数据，刷新率从 10 到 60 赫兹不等。指尖的力觉传感器以 360 赫兹的速度进行超快采样，所有数据都会被记录下来。训练时，研究团队采集了 200 到 630 组不等的人类演示数据，每组数据都包含了图像、深度、姿态和每个手指的六维力觉信息。然后，他们使用这些数据训练了一个自适应柔顺策略模型（ACP）。这个模型会输出机器人的目标位置、虚拟目标位置、刚度矩阵、抓握力和夹爪宽度。底层有两个控制器在同时工作，腕部柔顺控制器根据两个手指传来的力和力矩，调整机器人手臂的位置和姿态，抓握力控制器则负责调节手指夹紧的力度。
在潜在应用场景上：在工厂里，机器人可以插拔精密的电子连接器，或者装配带有卡扣的塑料件；在医疗领域，手术机器人可以感知缝合伤口时手术针刺穿组织的阻力变化，操作更加安全；在家庭服务中，机器人可以帮你拧开瓶盖、打鸡蛋和擦桌子。
总的来说，本次成果等于给机器人装上了一层皮肤，让机器人拥有了触觉，让它能够感知自己用了多大力气，以及外界给了它多少的反作用力。目前，研究团队已经把这套系统的硬件设计和软件代码全部开源。任何实验室或者机器人爱好者，都可以用几千块的成本复制一套用来训练自己的机器人。

UMI-FT系统：为机器人开启触觉新时代
数据采集困境与力反馈难题
在具身智能领域，数据是推动其发展的关键燃料，然而力信息采集却成为诸多大规模数采系统面临的普遍难点。传统力传感器存在明显缺陷，昂贵、沉重且脆弱，动辄上万元的成本，在遭遇冲击时极易永久损坏，这使得其在大规模应用中受到极大限制。而更灵活的触觉传感器尚不成熟，短暂的使用寿命和校准困难等问题，进一步阻碍了其应用规模的扩大。力觉信息采集的成本和技术难度，导致以往大规模数据采集主要集中于位置信息和视觉信息，力觉数据难以实现规模化采集。
UMI-FT系统与CoinFT传感器的创新突破
CoinFT传感器：小而强的力觉感知核心
斯坦福大学团队开发的UMI-FT系统为解决力反馈难题带来了新希望。该系统的核心是名为CoinFT的微型传感器，其具有诸多显著优势。它直径仅20毫米，厚度3毫米，重量只有2克，小巧轻便。内部结构由几层带椭圆支柱的介电材料组成，受压力时电容会发生变化，再通过一个五层的神经网络将电容值换算为力和力矩，校准后精度极高，力的误差在0.15到0.58牛之间，力矩误差在17到231毫牛米之间。与传统工业使用的六轴力觉传感器相比，CoinFT成本仅10美元，且耐摔耐撞，能够安全承受很大冲击力而不损坏，大大降低了成本和使用风险。
UMI-FT系统：多数据融合的采集方案
UMI-FT系统并非仅增加传感器，还创新性地将苹果手机绑在机器人手上。手机提供RGB摄像头、超广角摄像头、深度摄像头和姿态数据，刷新率在10到60赫兹不等；指尖的力觉传感器则以360赫兹的速度进行超快采样，所有数据都会被详细记录。这种多数据融合的采集方式，为机器人提供了丰富的环境感知信息，使其能够更全面地了解周围环境和自身操作状态。
训练模型与控制机制：实现柔顺操作的关键
自适应柔顺策略模型（ACP）
研究团队采集了200到630组不等的人类演示数据，每组数据包含图像、深度、姿态和每个手指的六维力觉信息，利用这些数据训练出自适应柔顺策略模型（ACP）。该模型能够输出机器人的目标位置、虚拟目标位置、刚度矩阵、抓握力和夹爪宽度等关键参数，为机器人的操作提供了精准的指导。
双控制器协同工作
底层有两个控制器同时发挥作用。腕部柔顺控制器根据两个手指传来的力和力矩，实时调整机器人手臂的位置和姿态，确保操作的准确性；抓握力控制器则负责调节手指夹紧的力度，避免因用力过大或过小而影响操作效果。这种双控制器协同工作的机制，使机器人能够实现柔顺操作，几乎能够像人手一样细腻地感知和响应外界力。
潜在应用场景：广泛而实用
UMI-FT系统的应用场景十分广泛。在工厂中，机器人可以凭借其精准的力觉感知，插拔精密的电子连接器，或者装配带有卡扣的塑料件，提高生产效率和产品质量；在医疗领域，手术机器人能够感知缝合伤口时手术针刺穿组织的阻力变化，操作更加安全可靠，为患者带来更好的治疗效果；在家庭服务方面，机器人可以轻松完成拧开瓶盖、打鸡蛋和擦桌子等日常任务，为人们的生活提供便利。
开源成果：推动行业发展的助力
研究团队将UMI-FT系统的硬件设计和软件代码全部开源，这一举措具有重大意义。任何实验室或者机器人爱好者，只需花费几千块的成本，就可以复制一套用于训练自己的机器人。这不仅降低了机器人研发的门槛，促进了技术的交流与共享，还将吸引更多的人参与到机器人技术的研究和创新中来，推动整个具身智能行业的快速发展。

斯坦福大学团队开发的UMI-FT系统，通过创新的CoinFT传感器、多数据融合的采集方案、精准的训练模型和双控制器协同工作机制，为机器人赋予了触觉，使其能够感知自身用力大小和外界反作用力。其广泛的应用场景和开源成果，将为具身智能领域带来新的发展机遇，开启机器人触觉新时代。

斯坦福开源方案让机械手拥有人类手感：UMI-FT系统详解
斯坦福大学团队近期开源了UMI-FT系统，通过创新的低成本传感器技术，解决了机器人触觉感知的难题，让机械手具备类似人类的细腻手感。以下是核心亮点：

1. 硬币大小的六维力觉传感器：CoinFT
成本极低：每个传感器仅需约10美元，整体系统成本控制在百元级别，远低于传统工业级力传感器。
高精度感知：能实时感知手指受到的六个方向的力和力矩，精度媲美专业设备，可精准控制抓取力度，比如拧灯泡、插插座时自动调节力道。
耐用性强：仅重2克，可承受较大冲击力，适合复杂场景下的长期使用
。
2. 开源与标准化
项目已开源，开发者可直接获取硬件设计、传感器校准方案及软件代码，降低了机器人触觉感知的技术门槛。
传感器支持标准化校准，方便集成到不同机械手或机器人平台，推动具身智能的普及
。
3. 应用场景广泛
该技术可应用于工业机器人（如精密装配）、服务机器人（如家政、医疗护理）及科研领域，为机器人赋予更自然、安全的操作能力。