机器人触觉的爆发前夜：五大技术路线、数据困局与模型之争

文 | 硅谷101 文 | 硅谷101 你敢让机器人给你按摩吗？

在今年的WAIC上，我们体验了一把之后，发现居然还挺舒服的。而这台按摩的机器人，很大的不同在于，它搭载了触觉传感器。

黄仁勋说，“触觉”是具身智能的最后一块拼图，真是如此吗？机器人有了触觉后，真的能更强大吗？干活会更聪明吗？如果答案是肯定的，那么为什么目前大多数机器人都还没有触觉？

市场上有哪些路线与冲突呢？这期视频，跟我们一起走进实验室，去看看触觉传感器的前线研究。也来聊聊，如今机器人的触觉，发展到什么程度了。第一个问题是，机器人为什么需要触觉呢？

我们不妨先看一个案例。在一堆花生中，有几个是假的，如果只能看，不能摸，人是非常难分辨出来的。而搭载了触觉传感器的机器手，却能将假花生都挑出来。只要能上手摸，人也能很快分辨出来。

因为假花生是石头做的，表面更冰凉、更光滑，重量更重，还是实心的，摇起来没有真花生中果粒的振动感。这就是触觉的重要性，因为现实中有很多任务，无法单纯的通过视觉来完成。李智强Eric一目科技创始人兼CEO行业里做过一些实验，比如把正常人的手打一些麻药，让触觉感知神经短暂麻醉后，人手对于一些操作就会失灵，包括拧东西、抓握甚至系扣子等。

李智强Eric 一目科技创始人兼CEO 行业里做过一些实验，比如把正常人的手打一些麻药，让触觉感知神经短暂麻醉后，人手对于一些操作就会失灵，包括拧东西、抓握甚至系扣子等。你可能会疑惑，一些没有触觉的机器人，不是在很多任务上的成功率都很高了吗？但业内人士指出，成功率高，并不等于可用性强。

于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人只用视觉时，机器人可以放慢速度，每次微调1毫米，不断尝试后总能完成任务。所以如果只看成功率，这其实是个伪命题。在这种情况下，力非常重要。例如，握东西要多紧、两个物体是否咬合，拧螺丝时不能等到螺丝拧花才意识到力过大。

做柔性操作时，每根线的软硬度和材质也都很重要。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 只用视觉时，机器人可以放慢速度，每次微调1毫米，不断尝试后总能完成任务。所以如果只看成功率，这其实是个伪命题。

在这种情况下，力非常重要。例如，握东西要多紧、两个物体是否咬合，拧螺丝时不能等到螺丝拧花才意识到力过大。做柔性操作时，每根线的软硬度和材质也都很重要。触觉到底是什么呢？它听起来是一种感觉，但我们把它拆开看，会发现它包含两种不同维度的信息：一类是对“力”本身的感知，另一类是对“形态学”的感知。

其中，力的感知还分为静态力和动态力。静态力，是抓握物品时，手指持续施加的压力，它告诉你：捏得够紧吗？物体有多硬？动态力，是物体滑动时产生的高频信号，它告诉你：是不是要掉了？

摩擦力够不够？而形态学的感知，就是对不同材料的分辨，比如通过触摸分辨苹果和橘子，就得判断表面是光滑还是粗糙，摩擦时的振动频率等等。这么多复杂的维度，放在机器身上该如何识别呢？▍五种路径 目前市面上的方案主要有五种：压阻式、压电式、电容式、光学式和磁感应。

第一种是压阻式，这是最传统、最成熟的一条路线，材料受力后发生形变，电阻值发生变化，通过测量电阻变化来反推压力，常用的电子秤就是这个原理。它最大的优势是成熟、便宜、技术门槛低，但是它只能测垂直方向上的力，而且会随着温度、湿度产生漂移。第二种是压电式，一些特殊材料，比如石英、PZT陶瓷受力时，内部正负电荷中心发生偏移，从而产生电压信号，就像打火机的放电器。

它最大的特点是，只对变化的力敏感，就是你按下去的一瞬间，它会产生一个电压信号，但如果你一直按着不动，信号会慢慢衰减到零，松开的时候，又会产生一个反向的电压信号。所以压电式非常适合检测振动、冲击这类高频动态信号，却难以测量静态力。前面两种都是直接把“力”转化成“电信号”，后面三种则是把“力”转为了“形变量”，然后测形变程度。

这样做的一大好处就是，不再只局限在垂直方向，而是能检测出三维的力。电容式的原理就是平行板电容器，当材料受力时，弹性材料会形变 ，比如按下去的时候，上下两层更近了，电容变大，此时就能测量垂直方向的力；或者滑动的时候，板面积变化，电容也变化，能感受到平面上的力。它的优点是灵敏度极高、响应速度快，而且成本相对较低，但问题在于动态范围有限，同时容易受到电磁干扰。

第四种是光学式，也叫视触觉。它是在传感器最上层覆盖一层柔性材料，接触到物体时会产生形变，材料背面有照明层，而藏在最底下的摄像头会实时检测材料的状态，通过算法反算出形变量，再换算成力的分布，因此这是一种可以同时解算接触形貌和接触力的传感器。这是目前行业最热门的方式，也是精度最高的方式，但成本较高。

第五种是磁感应，这种方式结构和光学式类似，只是表面的弹性材料加入了磁性颗粒，去掉了中间的照明层，底部的摄像头变成了磁传感器，这样表面弹性体变化时，磁场也变化，底部传感器捕捉变化后，反算出形变量，同样能推算出三维力。但磁感应容易受电磁干扰，周围的磁场环境会影响精度，而且分辨率有限。还有一些其他不太常用的方式，比如磁流体、超声等我们就不详细说明了。

以上不同方式各有优劣，我们访谈嘉宾认为，对于机器人的触觉来说，多传感器结合或许是更好的方案。▍多传感器结合 我们除了手指外，其他每一寸肌肤，都是有感知的，如果机器人想做到人类的水平，是不是也需要全身布满触觉呢？但如果全身都用最好的技术，那成本就很难控制了，而且不同部位的要求不一样，同一种技术路径也难以适用全身。

比如指尖的精度要求非常高，使用光学式的方案就能达到更高分辨率，但如果是手掌、手臂等其他部位，精度要求没那么高时，用昂贵的光学式就不划算了。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人手掌、手臂等部位的面积也比较大，比如我们考虑视触觉方案，光学模块的设计就会非常的困难，但是如果我们使用压阻式或电容式，它就比较容易覆盖这么大的面积。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 手掌、手臂等部位的面积也比较大，比如我们考虑视触觉方案，光学模块的设计就会非常的困难，但是如果我们使用压阻式或电容式，它就比较容易覆盖这么大的面积。在一些比较简单的应用场景下，也可以选择精度不那么高的路径。

比如我们在WAIC展会上，就看到一些采用电容式的触觉传感器，已经被批量用于工厂的产品分拣与检测，原因就在于成本相对较低，与精度最高的光学式相比，采购价只有四分之一到二分之一。而且，即使是同一个部位，未来也有机会融合多种技术，但前提是技术足够成熟。

于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人电容式灵敏度很高，但问题在于，材料被压紧后，对力的感知范围会非常有限。但是压阻是一种，必须硬碰硬的一种技术。因此，两种技术结合是一个可行的方案，但制造工艺、良率和量产能力能否跟上需求，仍是问题。

现阶段，大家还在尽力完善单一技术路线的缺陷。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 电容式灵敏度很高，但问题在于，材料被压紧后，对力的感知范围会非常有限。但是压阻是一种，必须硬碰硬的一种技术。

因此，两种技术结合是一个可行的方案，但制造工艺、良率和量产能力能否跟上需求，仍是问题。现阶段，大家还在尽力完善单一技术路线的缺陷。除了力的感知，广义的触觉还包括振动、材质感知等等，这就得依靠其他传感器来补足。

比如人类想分辨丝绸和棉布时，会通过触摸加滑动的方式来产生振动，来感知材质的细粒度，到了机器人身上该怎么做呢？于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人我们会加入加速度计或麦克风这种传感器，能够更有效地捕捉到高频振动产生的信号。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 我们会加入加速度计或麦克风这种传感器，能够更有效地捕捉到高频振动产生的信号。所以完整的触觉方案，不是只选一种技术路线就完事了。目前行业里最前沿、精度最高的，就是光学式，我们的访谈嘉宾Eric所创办的公司一目科技，也是选择了这个方向，接下来，我们就走进他的实验室，探究下光学式的原理。

2000年前后，一批研究人员开始尝试一个大胆的想法：触觉，能不能也像视觉一样，被摄像头“看见”？其中最具代表性的探索之一，是来自MIT教授Edward Adelson领导的团队，他们在2009年提出了GelSight，让机器人第一次拥有了类似“视觉”的触觉能力。光学式最显著的优势是分辨率高，甚至已经超过了人类。

李智强Eric一目科技创始人兼CEO人的一个指尖大约1平方厘米，上面布了3000个触觉的感知点。每一个点下面有四个不同的nerve（神经元），就相当于12000个不同的神经元在去做感知。而我们的传感器现在可以做到24万个点，已经超过人了。

李智强Eric 一目科技创始人兼CEO 人的一个指尖大约1平方厘米，上面布了3000个触觉的感知点。每一个点下面有四个不同的nerve（神经元），就相当于12000个不同的神经元在去做感知。而我们的传感器现在可以做到24万个点，已经超过人了。

但是呢，代价也不小，接下来我们从材料、结构、算法、成本四个方面详细说说。▍材料 首先是材料，有三大要求： 第一是特别软，业内称为“杨氏模量”低，这样才能通过细致的形变，精确反映物体硬度和力度； 第二得耐磨，不然日常执行任务久了，就会出现性能漂移或者破损； 第三要尽量薄，才能尽可能缩小整个传感器尺寸，扩大应用场景。而这三点却天然对立，无法同时满足。

李智强Eric一目科技创始人兼CEO我们一直说这是个“不可能三角”，但我们只能找平衡，或者找一些新的方法，能不能把某些的变量给的约束条件去掉或者减弱。李智强Eric 一目科技创始人兼CEO 我们一直说这是个“不可能三角”，但我们只能找平衡，或者找一些新的方法，能不能把某些的变量给的约束条件去掉或者减弱。接下来，我们到材料实验室看看新材料的研发过程。

材料工程师一目科技这里是我们做配方研究的实验台，大部分原材料都是液态的，种类很多。我们把不同原材料混合，使成型后的材料达到目标性能。材料工程师 一目科技 这里是我们做配方研究的实验台，大部分原材料都是液态的，种类很多。

我们把不同原材料混合，使成型后的材料达到目标性能。陈茜硅谷101联合创始人这个事情的难点在于什么？是不同配方的比例吗？陈茜 硅谷101联合创始人 这个事情的难点在于什么？

是不同配方的比例吗？李智强Eric一目科技创始人兼CEO不仅仅是配方，我们从底层化学基底、单体到配方都需要研究。李智强Eric 一目科技创始人兼CEO 不仅仅是配方，我们从底层化学基底、单体到配方都需要研究。Eric告诉我们，现在行业出现一种很有意思的材料，叫“可恢复性材料”，就像人一样，就算不小心划破了，过段时间就能自愈。

李智强Eric一目科技创始人兼CEO材料的恢复性一般来自一些特殊官能团。有些分子键断裂后还能恢复，我们在设计配方时要保留这种特殊的官能团。这是我们研发的一种新材料，触感与人的皮肤很接近，而且非常柔软，像婴儿的皮肤，不会造成伤害。

李智强Eric 一目科技创始人兼CEO 材料的恢复性一般来自一些特殊官能团。有些分子键断裂后还能恢复，我们在设计配方时要保留这种特殊的官能团。这是我们研发的一种新材料，触感与人的皮肤很接近，而且非常柔软，像婴儿的皮肤，不会造成伤害。

▍结构 而在结构方面，手指肯定是越小越灵活，这就要求触觉传感器也尽可能做得小。测试工程师一目科技我们的产品体积是最小的，厚度和SIM卡的大小基本一致，大概不到16毫米。测试工程师 一目科技 我们的产品体积是最小的，厚度和SIM卡的大小基本一致，大概不到16毫米。

陈茜硅谷101联合创始人为什么做得薄是一个技术领先的事情？陈茜 硅谷101联合创始人 为什么做得薄是一个技术领先的事情？李智强Eric一目科技创始人兼CEO光触觉它背后是需要有感光的芯片或者摄像头，但是为了把整个视场都能看到，相当于微距摄影，它需要有一定距离，这个距离就是它的最底层的物理的制约因素。

李智强Eric 一目科技创始人兼CEO 光触觉它背后是需要有感光的芯片或者摄像头，但是为了把整个视场都能看到，相当于微距摄影，它需要有一定距离，这个距离就是它的最底层的物理的制约因素。要做得小，一方面就是前面提到的材料要尽可能薄，另一方面得从摄像头上下功夫，尽可能降低摄像头的对焦距离，同时还要扩大视场角（FOV），来覆盖更多感应区域。

李智强Eric一目科技创始人兼CEO我们通过自研的一些超表面和芯片的技术，能够压缩它的视距，不再用一些传统的lens（透镜）的方式去做。李智强Eric 一目科技创始人兼CEO 我们通过自研的一些超表面和芯片的技术，能够压缩它的视距，不再用一些传统的lens（透镜）的方式去做。在结构上，照明层的光路设计也是一大难点。

因为手指的形态不是完全平面的结构，左右两边有些弯曲的弧度，这就需要精细设置照明灯珠的排布，保证不同位置照明的一致性。李智强Eric一目科技创始人兼CEO照射的光路有很多讲究，我们要做大量的仿真，也叫光追踪，去观察每一个光子的传播路径。在设计时就要考虑，既要覆盖广，达到270度，又要保证精度和轨迹可预测，否则光和光之间会互相打架，产生串扰。

李智强Eric 一目科技创始人兼CEO 照射的光路有很多讲究，我们要做大量的仿真，也叫光追踪，去观察每一个光子的传播路径。在设计时就要考虑，既要覆盖广，达到270度，又要保证精度和轨迹可预测，否则光和光之间会互相打架，产生串扰。

光学工程师一目科技这是一台BSDF测试装置，用于我们不同产品的，表面材料的光学特性的测量，可以将测得的光学特性输入到仿真模拟中，使我们的仿真更加的准确。之前如果买一套这种专业的一点设备要百万级，而这个是我们自己搭的，而且精度各方面挺好的。

光学工程师 一目科技 这是一台BSDF测试装置，用于我们不同产品的，表面材料的光学特性的测量，可以将测得的光学特性输入到仿真模拟中，使我们的仿真更加的准确。之前如果买一套这种专业的一点设备要百万级，而这个是我们自己搭的，而且精度各方面挺好的。另外，照明的灯珠，在市场上有两种方案，一种是单色，另一种是多色，之所以这么做的原因，就要说到第三点：算法。

▍算法 光学式具体是怎么识别触觉的呢？主要有三种方式。第一种是标记点法。在皮肤层上，会印很多微小的标记点，摄像头跟踪这些点的位移变化，来计算皮肤层的形变。

优点是算法简单、制造容易，但缺点是精度上限很低。李智强Eric一目科技创始人兼CEOMarker（标记点）的数量顶多就几十个，这就是resolution（分辨率）的上限了，顶多中间做一些插值，但这都不是真值，所以它的问题就在于，相对来说精度低一些。

李智强Eric 一目科技创始人兼CEO Marker（标记点）的数量顶多就几十个，这就是resolution（分辨率）的上限了，顶多中间做一些插值，但这都不是真值，所以它的问题就在于，相对来说精度低一些。第二种是纹理分析法。皮肤表面不再需要规则的点阵，而是随机喷涂的细小颗粒，或者利用材料本身自带的不规则纹理。

受力时，摄像头通过追踪光影纹理的流动来计算形变。它的优点在于硬件制造简单，因为不需要做标记点了。大家手里的光学鼠标，原理就是简化版的纹理分析法，为什么是简化版呢？

因为鼠标检测的是二维平面上的变化，而触觉传感器需要检测的是三维，这也是它的缺点所在：算法复杂，计算量更大，相对的响应延迟也较高。前面两种算法主要关心的是亮度、对比度这些信息，所以用单色照明方案就够了，而第三种光度立体法，就必须用多色光了。这种方式不需要任何标记点和纹理，皮肤比较均匀，照明层用红绿蓝三种颜色的光，从不同方向打光。

发生形变时，由于皮肤表面凹凸变化，不同颜色光线打到同一个点的距离不同，相机捕捉到的就不再是均匀的颜色，算法会分析图像中每个像素点的RGB颜色值，来计算形变。李智强Eric一目科技创始人兼CEO第三种方案兼顾了前两者的优缺点，是比较好的折中方案。

制造方面也没有那么复杂，但是它在解算的时候，通过预训练的一些模型，就可以快速地去做分析，所以它算力要求比第一种大，比第二种小，精度也是比较优的。李智强Eric 一目科技创始人兼CEO 第三种方案兼顾了前两者的优缺点，是比较好的折中方案。

制造方面也没有那么复杂，但是它在解算的时候，通过预训练的一些模型，就可以快速地去做分析，所以它算力要求比第一种大，比第二种小，精度也是比较优的。▍成本 光学式的第四个挑战，就在于成本。通过前面的解析，相信大家也能看出来它的结构有多复杂，相应地成本也更高。

陈天一一目科技联合创始人兼执行副总裁目前单指的单价还是千元级的，可能会比别的技术路线稍微贵一些。随着量的上升，我们也看到了把整个的成本降到小几百的可能性。陈天一 一目科技联合创始人兼执行副总裁 目前单指的单价还是千元级的，可能会比别的技术路线稍微贵一些。

随着量的上升，我们也看到了把整个的成本降到小几百的可能性。而且不光是制造本身，后续的算法、算力要求也更高。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人视触觉现在之所以比较流行，是因为大家发现，可以比较好地用视觉的模型直接处理。

但它的问题是，这个视觉的模型一般都会比较大，所以对于算力的要求更高。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 视触觉现在之所以比较流行，是因为大家发现，可以比较好地用视觉的模型直接处理。但它的问题是，这个视觉的模型一般都会比较大，所以对于算力的要求更高。

当然，高成本也对应着高上限，在实验室里，我们也看到了直观的对比。一个没有触觉的灵巧手，在没有视觉的辅助下，夹起薯片时，因为掌握不好力度，很容易就夹飞了。而带有视触觉的夹爪，不仅可以轻轻夹起薯片，当从它手中抽离时，它还会感知到轻微的晃动和摩擦，慢慢卸力。

还有更好玩的，就是夹树叶。相比薯片，树叶缺少了刚性，稍微多一点力就会发生形变，但我们看到，夹爪依然能精准感知到，树叶发生微小形变后，因弹性而对两边释放的微小力。不过业内人士认为，现阶段更应该优先考虑的不是成本，而是验证路径的可行性。所以接下来，我们先来说说应用路上的第一道障碍，也就是数据采集。

机器人最稀缺的，就是训练数据，而到了触觉领域，已经不仅仅是“少”了。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人现在触觉可用的数据基本为0。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 现在触觉可用的数据基本为0。

李智强Eric一目科技创始人兼CEO高保真的传感器之前是缺失的，我们通过传统的一些方法，采集来的数据跟人不太接近，且没有那么高保真的能力。李智强Eric 一目科技创始人兼CEO 高保真的传感器之前是缺失的，我们通过传统的一些方法，采集来的数据跟人不太接近，且没有那么高保真的能力。

对于“触觉”这种强调实感的维度，普通的视频、文字等互联网数据，无法反映出“力”的大小和方向的，所以这个领域尤其强调真机数据。但真机数据在获取上，存在着三大难点。▍真机采集三大难题 我们再来做个简单的小实验哈，我们戴上这个很厚的手套，然后试图拿起一块豆腐，真的很难掌控力度，要么就是它会滑下去，要么可能稍微一用力，它就破了。

最主要的原因，就是厚重的手套完全屏蔽了触觉，无法判断豆腐和手指之间的摩擦力够不够、是不是快掉下去了，以及豆腐的形变程度、是不是快破了，这也是触觉数据采集时要面临的最大悖论。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人采集人的触觉，也就意味着需要在人手和物体之间做一个隔离，那在某种程度上我们屏蔽了人自己的触觉。

如果人手被传感器覆盖，导致人本身的触觉没有办法被有效的利用，操作者的手变笨了，demonstration（示范）质量会下降，训练出来的数据结果，就没有办法让机器人能具有像人一样的灵巧的能力。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 采集人的触觉，也就意味着需要在人手和物体之间做一个隔离，那在某种程度上我们屏蔽了人自己的触觉。

如果人手被传感器覆盖，导致人本身的触觉没有办法被有效的利用，操作者的手变笨了，demonstration（示范）质量会下降，训练出来的数据结果，就没有办法让机器人能具有像人一样的灵巧的能力。我们看到一目科技的数采设备，把整个传感器放到了手指前面，操作起来就像用筷子一样。

李智强Eric一目科技创始人兼CEO我认为它确实跟真实世界有gap（差距），通过一些算法能把它回退回来，可以去做一些gap的弥补，但是我不可否认它跟人是不一样的。李智强Eric 一目科技创始人兼CEO 我认为它确实跟真实世界有gap（差距），通过一些算法能把它回退回来，可以去做一些gap的弥补，但是我不可否认它跟人是不一样的。

所以最大的问题就是：要采集触觉，就得先屏蔽触觉，但是屏蔽触觉后，又难以采集触觉。而且采集设备本身也比较复杂，一定程度上，也会影响采集员的操作。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人其实大多数的数采设备都非常的笨重，尺寸大、穿戴比较麻烦，都会在某种程度上影响操作员采集数据本身的一些行为。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 其实大多数的数采设备都非常的笨重，尺寸大、穿戴比较麻烦，都会在某种程度上影响操作员采集数据本身的一些行为。要解决这个问题，一方面需要行业做出更薄的传感器，尽可能减少对采集员触觉的屏蔽。

李智强Eric一目科技创始人兼CEO我们下一代的触觉传感器是超薄型的，只有3毫米，不需要戴一个非常复杂的手套，只在某些关键的地方贴一些触觉点。李智强Eric 一目科技创始人兼CEO 我们下一代的触觉传感器是超薄型的，只有3毫米，不需要戴一个非常复杂的手套，只在某些关键的地方贴一些触觉点。

另一方面，行业需要设计出更舒适、更符合人体工学的采集设备，而这需要的多学科领域交叉。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人人体工学设计与设计一个触觉传感器、灵巧手是完全不相干的东西，这是我觉得接下来一年非常重要的一个课题。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 人体工学设计与设计一个触觉传感器、灵巧手是完全不相干的东西，这是我觉得接下来一年非常重要的一个课题。行业里也有一些对采集员影响较小的织物采集手套，但这就牵扯到第二个问题：数据密度不够。

于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人最好的织物触觉手套，一只手也就500个点，我如果想把这个数据应用在，比如传感器上，那gap（差距）还是挺大的。如果我穿戴着这个手套，去抓一个M2的螺钉，其实就只有一个点接触，是没有办法去检测到这个螺丝的方向或者大小的。即使模型再强，也没有办法去有效地让它学习到这样的一些信息。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 最好的织物触觉手套，一只手也就500个点，我如果想把这个数据应用在，比如传感器上，那gap（差距）还是挺大的。如果我穿戴着这个手套，去抓一个M2的螺钉，其实就只有一个点接触，是没有办法去检测到这个螺丝的方向或者大小的。即使模型再强，也没有办法去有效地让它学习到这样的一些信息。

于弢团队和MIT去年合作了一个项目，用这类手套采集触觉数据。结果发现，大部分有效数据都是，用整个手掌抓取一个较大的东西，因为这种任务对密度的要求最低，一旦涉及到精细操作，数据就失效了。行业面临的第三个问题是，由于触觉还是非常早期的行业，各家公司的数据采集格式不统一，难以形成大规模训练集。

比如有的采集设备是两指的，就只适合用在工业场景的机器夹爪上，不适用于灵巧手的训练。李智强Eric一目科技创始人兼CEO目前在数据的存储和对齐方面，我觉得做的不够好。它们之间的一致性好不好？触觉和其他模态的对齐好不好？

比如同时采了触觉、视觉、本体信息，那这些模态是不是能从时间轴，到数据本身的对齐的能力做得更好？这块也是缺失的，或者做得不够好。李智强Eric 一目科技创始人兼CEO 目前在数据的存储和对齐方面，我觉得做的不够好。

它们之间的一致性好不好？触觉和其他模态的对齐好不好？比如同时采了触觉、视觉、本体信息，那这些模态是不是能从时间轴，到数据本身的对齐的能力做得更好？这块也是缺失的，或者做得不够好。

于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人硬件现在是相对不成熟的，不同的技术、传感的方式、数采设备、数据的格式、数据的形态都不一样，算法没有办法演进，因为数据的量上不去。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 硬件现在是相对不成熟的，不同的技术、传感的方式、数采设备、数据的格式、数据的形态都不一样，算法没有办法演进，因为数据的量上不去。设备不够成熟，就采不到高质量数据，然后训练不出好模型，就没人愿意投资这个领域，这将是一个恶性循环。既然真机采集这么难，那如何才能规模化呢？

这就得用到仿真合成了。▍仿真合成的原理与局限 仿真是在虚拟的环境中，模拟真实场景，可以同时、批量采集不同的数据。到了这一步，就不得不说到大家比较熟悉的英伟达了，这条是老黄重点押注的路线，他们为此也搭建了非常完善的框架Isaac Lab。

实际训练时，触觉公司会利用各种公有的模型，并对不同的模型加入一些真实的物理特性，比如一个螺母，它就是刚性的、比较重、表面光滑，或者是一个毛线球，它有多软、多重、表面粗糙程度如何等等。同时还要在系统里输入触觉传感器的特征，比如表面的弹性体的物理特征、手指内的光源分布等等。

有了这些数据后，就可以在系统内模拟触觉传感器接触到不同物体时表面的形变程度、光路变化，推算出最终采集到的数据。仿真的结果，还会和现实表现做对比，通过数据标定来进一步修正。机械工程师一目科技图中展示了某一确定条件下的实际图像采集结果，蓝色的点代表仿真的形变，红色的点代表标定。

我们展示的这部分修正是在解算层面，最后做一个映射的矩阵去修正输出，后续也会在模型输入的层面去做修正。机械工程师 一目科技 图中展示了某一确定条件下的实际图像采集结果，蓝色的点代表仿真的形变，红色的点代表标定。我们展示的这部分修正是在解算层面，最后做一个映射的矩阵去修正输出，后续也会在模型输入的层面去做修正。

今年五月，有一篇名为《Tabero》的论文还提出了一种方法，那就是复用已有机器人数据，把这些轨迹重新放入Isaac Lab中，并加入触觉传感器模拟，最终生成完整的“视觉-触觉-语言-动作”数据。这其中最大的难点是：计算量太大了。

AI工程师一目科技如果用有限元的方法精细计算弹性体的变形，一帧可能就需要一个小时，这对于需要快速实时的获取数据而言，是不能接受的。AI工程师 一目科技 如果用有限元的方法精细计算弹性体的变形，一帧可能就需要一个小时，这对于需要快速实时的获取数据而言，是不能接受的。所以学术界提出了很多简化的计算方式。

比如英伟达在2025年发布的《TacSL》论文，就介绍了一种用于视触觉的仿真方式。它的核心思路是：用软接触模型代替有限元计算。所谓软接触，就是把物体和皮肤都当作刚体处理，但它们之间可以“互相穿透”，接触的力越大，穿透的越多，这样算出来的形变虽然不是最精确的，但也能大致模拟，而且在计算速度上更快。

但不可否认，仿真和现实之间，永远会有差距。Eric告诉我们，他们仿真的准确率，大概在90%以上，而其中10%的差距主要在于柔性物体的模拟，这也是目前的挑战所在。李智强Eric一目科技创始人兼CEO针对柔性物体，我们也可以去补充一些后训练数据，比如我们已经有一个80分的模型了，我再加一点点后训练，很快就可以到90分以上。

李智强Eric 一目科技创始人兼CEO 针对柔性物体，我们也可以去补充一些后训练数据，比如我们已经有一个80分的模型了，我再加一点点后训练，很快就可以到90分以上。这个思路和《TacSL》论文的策略是一致的。《

TacSL》在训练策略时做了两件事：一是随机化物理参数，让策略适应不同的刚度、阻尼；二是在触觉图像上，做大量的数据增强，让策略对摄像头差异、光照变化鲁棒。这样，他们在真机上实现了零样本迁移，在插拔销钉任务上，TacSL在真机上达到了82.7%的成功率。所以仿真意义，更多是作为真机数据的补充，两者需要搭配训练。

李智强Eric一目科技创始人兼CEO真实的数据多一点，还是仿真的数据多一点，每家可能不太一样，我们的判断可能至少1:1，甚至1:1以上，在短期之内仿真可能会占多数。李智强Eric 一目科技创始人兼CEO 真实的数据多一点，还是仿真的数据多一点，每家可能不太一样，我们的判断可能至少1:1，甚至1:1以上，在短期之内仿真可能会占多数。

那到底需要多少数据，才能训练出较好的模型呢？在这点上，业内人士给出的答案比我们想得更乐观点。▍数据量要多少 柯丽一鸣Physical Intelligence研究员什么时候我们收集到100万小时，等同于一个人一生的物理经验的数据，我觉得我们才开始后面的探索。

柯丽一鸣 Physical Intelligence研究员 什么时候我们收集到100万小时，等同于一个人一生的物理经验的数据，我觉得我们才开始后面的探索。这是我们访谈做具身模型的人时，Physical Intelligence的嘉宾Kay她给我们的答案，但到了触觉领域，数据量却只要十分之一。

于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人训练一个带有触觉的基础模型，所需要的数据，应该是要远低于基于视觉的基础模型。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 训练一个带有触觉的基础模型，所需要的数据，应该是要远低于基于视觉的基础模型。

李智强Eric一目科技创始人兼CEO当你有超过10万小时的数据，你会发现它逐渐就开始有一定的泛化能力。李智强Eric 一目科技创始人兼CEO 当你有超过10万小时的数据，你会发现它逐渐就开始有一定的泛化能力。

这背后的原因其实不难理解。因为机器人的行为模型，其实包含了大量操作的“过程”信息，比如转身、伸手、移动等，并不是说这些信息不重要，但真正对训练有效的部分，往往是那些“拿起”、“放下”等等关键的操作。而对触觉数据来说，平时在没有操作时，输入的信息基本为零，相当于这10万小时已经减掉了无效操作的部分。

说完数据采集，我们再来聊聊触觉的第二个障碍：算法模型的应用。有意思的是，如果直接把触觉信号输入到行为模型中，机器人任务的成功率反而会下降，这是为什么呢？

▍应用挑战 今年6月，伯克利、英伟达、斯坦福集结了李飞飞、Jim Fan等众多知名学者，联合发布了一篇名为《T-Rex》的论文，其中一项实验结果表明：如果把触觉信号，直接输入到π0.5的模型中，各项任务的成功率反而下降了。这反映出一个问题，加了一个模态，不等于模型表现就变好，所以如何利用触觉信号，就是目前最大的挑战。

李智强Eric一目科技创始人兼CEO我觉得最大挑战是，大家对于触觉这个模态还是比较陌生，以及它真的怎么融入到我们模型训练里边，大家还没有一个完整跑通cycle（闭环）的SOTA（最先进的）模型出来。

李智强Eric 一目科技创始人兼CEO 我觉得最大挑战是，大家对于触觉这个模态还是比较陌生，以及它真的怎么融入到我们模型训练里边，大家还没有一个完整跑通cycle（闭环）的SOTA（最先进的）模型出来。我们先来简单说说，此前触觉应用的三大挑战。第一个问题是，触觉没法用规则定义。

一个东西到底是软还是硬、是脆还是弹，超过多大的力会破坏物品、物品能不能被破坏，我们没法单纯地设置一个数值、写一个规则，这样在执行任务时，模型会难以判断。比如，拿起纸杯这件事，力气小点能拿起，稍微再夹紧点、杯子有点形变，也可以接受，但到了鸡蛋上，就绝不能让蛋壳有形变。第二个问题是，触觉信号维度太多，直接输入到模型中反而成为了噪声。

我们前面说过，触觉包含了纵向的压力、横向剪切力和摩擦力、还有表面材质感知的温度、振动、音频等等数据，这些数据不加处理地输入到大脑中，模型将难以分解。第三个问题是，触觉和其他模态的频率不匹配。触觉信号天然是高频的，而视觉语言模型通常运行在低频率，这就意味着两者难以直接结合，会出现计算资源浪费、反应速度慢、触觉噪声干扰高层规划等问题。

到了今年，由于AI的进步，业界看到了触觉应用的范式。▍模型算法 于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人之所以触觉最近两年开始火，并不是因为触觉这个技术本身这两年才存在，而是在很久以来大家并不知道怎么样去用触觉。像最近的这些AI算法的演化和端到端模型的实现，对于触觉的利用是非常大的促进。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 之所以触觉最近两年开始火，并不是因为触觉这个技术本身这两年才存在，而是在很久以来大家并不知道怎么样去用触觉。像最近的这些AI算法的演化和端到端模型的实现，对于触觉的利用是非常大的促进。端到端就是直接把信号输入给神经网络，让模型自己学习，不需要人为定义规则，这就解决了第一个挑战。

第二个挑战的解决思路，就是利用编码器（Encoder），前置处理触觉信号，将这些数据打包后输出完整的语义理解。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人用self-supervised learning（自监督学习）的方式，去训练编码器，可以很容易的把不同类型的触觉的模态，甚至视觉结合在一起。

然后利用现有的一些，比较常见的注意力机制，就可以比较好地去抓取，不同模态的触觉之间的相互的关系。从模型训练的角度，这能比较有效地把这样的信息，集成到更大的一个backbone（主干网络）里面。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 用self-supervised learning（自监督学习）的方式，去训练编码器，可以很容易的把不同类型的触觉的模态，甚至视觉结合在一起。然后利用现有的一些，比较常见的注意力机制，就可以比较好地去抓取，不同模态的触觉之间的相互的关系。

从模型训练的角度，这能比较有效地把这样的信息，集成到更大的一个backbone（主干网络）里面。李智强Eric一目科技创始人兼CEO我们叫tactile Transformer encoder（触觉Transformer编码器），通过编码器对它进行一个语义理解，比如说“到底是软的硬的？有没有摩擦？形态上像什么？”

等等。做完编码之后，再进到backbone（主干网络）的大模型里面去做判断。李智强Eric 一目科技创始人兼CEO 我们叫tactile Transformer encoder（触觉Transformer编码器），通过编码器对它进行一个语义理解，比如说“到底是软的硬的？有没有摩擦？形态上像什么？”

等等。做完编码之后，再进到backbone（主干网络）的大模型里面去做判断。再来说说如何解决频率不匹配的问题，在《T-Rex》论文中，就提出了MoT的方式。这个MoT架构，借鉴了MoE的思想，由不同专家处理不同类型的信息，为此构建3个不同的专家（Expert）。

Latent Expert（潜在专家），负责处理视觉和语言观察，预测未来的视觉表征，提供“上下文理解”，这是慢速的、认知层面的。Action Expert（动作专家），负责根据视觉语言上下文生成动作序列，比如往哪里走、手臂大概怎么摆等，但它输出的只是粗略的动作，最具创新的是第三个专家。

Tactile Expert（触觉专家），它就像机器人的反射系统，在动作执行过程中，通过实时触觉反馈，对力度、角度和接触状态进行快速修正。听上去好像也不算什么创新，毕竟MoE架构早就有了，只是额外设置了个触觉专家而已。但这套系统最重要的思想，在于“异步执行”。

意思是在推理时，动作专家生成动作规划，同时触觉专家以更高的频率独立运行，不断对动作进行修正。这样机器人在利用触觉时，可以复用已经算好的上下文缓存，只进行快速的触觉推理，这样既保留了大模型的理解能力，又获得了类似人类触觉反射的快速响应能力。

这也类似我们之前聊基础模型的双系统架构：System 2负责慢思考、长程规划，System 1负责快反应、本能动作，而触觉也不例外。李智强Eric一目科技创始人兼CEO我们觉得它应该是两个可以打通的不同的系统，就比如触觉在边缘端，应该有一个快速响应机制，例如接触之后就应该立刻做出动作。

同时我觉得触觉信息也应该能回到大脑去，对相对长程的过程里，做一定决策的影响，但是它就偏reasoning（推理）。李智强Eric 一目科技创始人兼CEO 我们觉得它应该是两个可以打通的不同的系统，就比如触觉在边缘端，应该有一个快速响应机制，例如接触之后就应该立刻做出动作。

同时我觉得触觉信息也应该能回到大脑去，对相对长程的过程里，做一定决策的影响，但是它就偏reasoning（推理）。我们在访谈过程中，也发现了业界的一点分歧，那就是触觉模型，是单独训练，还是要结合摄像头、激光雷达等其他传感器来一起训练呢？Eric认为，触觉模型可以单独训练，这样才能更好地平衡权重，就像《T-Rex》这篇论文的思路。

李智强Eric一目科技创始人兼CEO我们会更倾向于触觉模态的单独训练。因为触觉模态本身的语义理解，就可以完成一定的闭环，当它的语义理解结束之后，再和其他的模态进行融合，让大脑去判断会更好。因为它每一个模块可以去单独地去做训练、测试、闭环，同时这些模块可以即插即用地，插入不同的系统里面做应用。

它还能跟其他模态更好对齐，不然眉毛胡子一把抓，都混在一起。模态之间的数据怎么去平衡，是个挺难的问题。李智强Eric 一目科技创始人兼CEO 我们会更倾向于触觉模态的单独训练。

因为触觉模态本身的语义理解，就可以完成一定的闭环，当它的语义理解结束之后，再和其他的模态进行融合，让大脑去判断会更好。因为它每一个模块可以去单独地去做训练、测试、闭环，同时这些模块可以即插即用地，插入不同的系统里面做应用。它还能跟其他模态更好对齐，不然眉毛胡子一把抓，都混在一起。

模态之间的数据怎么去平衡，是个挺难的问题。来自北美的于弢认为，两者必须要同时进行，这样才能判断每个“力”在空间中的分布，让模型更好的理解：“我是拿了什么东西，才会有这样的感知”。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人视觉是全局的，而触觉是非常局部的事情。

我的手的形态动的时候，同一个传感器对应的在空间上的分布是不一样的，当大家做视觉和触觉的模态融合的时候，并不是一个简单的latent space representation（表征空间）。当然你在同一个embodiment（载体），做同样一件事情的时候，是可以的，但一旦这样做完之后的transfer（迁移）非常难。

比如像哥大李昀烛老师，是把这种触觉的力的分布，结合到三维点云上。也就是说这个力，并不只是一个力，而是它在这个空间中的力的分布。在这种情况下，是需要力的触觉和视觉的结合。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 视觉是全局的，而触觉是非常局部的事情。我的手的形态动的时候，同一个传感器对应的在空间上的分布是不一样的，当大家做视觉和触觉的模态融合的时候，并不是一个简单的latent space representation（表征空间）。

当然你在同一个embodiment（载体），做同样一件事情的时候，是可以的，但一旦这样做完之后的transfer（迁移）非常难。比如像哥大李昀烛老师，是把这种触觉的力的分布，结合到三维点云上。也就是说这个力，并不只是一个力，而是它在这个空间中的力的分布。

在这种情况下，是需要力的触觉和视觉的结合。于弢的思路，也对应着我们前面提到的《Tabero》这篇论文。他认为触觉应该参与到高层决策中，理解“轻一点”和“重一点”的语义。

简单来说，《Tabero》主打前置的“语义力控”，而《T-Rex》是执行过程时的“高频修正”。由于触觉这个行业目前处于非常早期的阶段，多条路线同时探索，没有绝对的优劣之分，我们只是向大家展示不同路径。最后，我们来说说触觉的第三个障碍，规模化。

量产的最大的难题，就在于性能的一致性。于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人在2026年维也纳举行的ICRA（国际机器人与自动化会议）上，我们亲手测试了很多公司的触觉传感器是否一致，大多数产品还做不到。

于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 在2026年维也纳举行的ICRA（国际机器人与自动化会议）上，我们亲手测试了很多公司的触觉传感器是否一致，大多数产品还做不到。因为手指的调整动作都是非常微小的，在做精密操作时，输出的力稍微有点偏差，就可能导致任务失败。

而触觉传感器又太精密了，但凡表面的弹性体厚度相差太大、弹性系数不一致、传感器间距不同，都会导致参数偏差，算法就难以计算出正确的数值。接下来，我们就去一目科技的试产车间看看，他们是如何验证新工艺的。第一步，是先把凝胶材料放到模具内固化，作为手指的表面弹性体，这一步得注意，不能有任何灰尘和气泡。

这一步需要在提供局部100级超洁净空间的超净工作台操作，会更有利于凝胶制备。制备完成后，还得先检验是否合格。工作人员会通过拍摄，来视觉筛选掉内部有气泡、杂质的情况，并且所有的数据会经过上位机的判断，再筛选一次。

最后就是将其他地方制备的零部件，集中到一条产线上进行组装。生产工程师一目科技刚才看到的材料会在这里进行分布组装，从第一个粘接工位，到预总装工位，其中包括壳体、灯带、相机、芯片等各个零部件的精密组装。触觉传感器会在总装前的预检测工位，进行成像的检测。

电脑里显示的画面，展示了触觉传感器的精密的动态，属于力学的反馈，同时其中包含了很多AI算法。生产工程师 一目科技 刚才看到的材料会在这里进行分布组装，从第一个粘接工位，到预总装工位，其中包括壳体、灯带、相机、芯片等各个零部件的精密组装。触觉传感器会在总装前的预检测工位，进行成像的检测。

电脑里显示的画面，展示了触觉传感器的精密的动态，属于力学的反馈，同时其中包含了很多AI算法。当然，每个批次的试产样品还得经过自动化测试，用来验证工艺参数的稳定性。目前在试产阶段，很多步骤依然依赖手工操作，因为触觉传感器是一个比较新品类，现成的标准化自动化设备暂时还没统一。

陈天一一目科技联合创始人兼执行副总裁触觉的量产不是脱离了上下游自己去生产，比如数采或是灵巧手的上下游，有不同的协议、不同的接口，对于手的适配要求也不同，所以量产还是要跟着需求，有一些定制化的操作。

陈天一 一目科技联合创始人兼执行副总裁 触觉的量产不是脱离了上下游自己去生产，比如数采或是灵巧手的上下游，有不同的协议、不同的接口，对于手的适配要求也不同，所以量产还是要跟着需求，有一些定制化的操作。一方面是自动化量产线稳定交付标准品，另一方面是试产线承接定制化需求和新工艺验证，两条线协同运转，正是这个行业走向成熟的标志。

而到了2026这个时间点，我们访谈的几乎所有嘉宾都表示，触觉已经处于爆发前夜了。陈天一一目科技联合创始人兼执行副总裁我们看到今年整个需求有一个大幅度的上涨，大家慢慢认识到了，触觉的数据，对于物理AI训出更好的模型来说，是非常非常重要的。今年，灵巧手、上下游、包括具身的整机，都在去拼命的去做、拼命的出货，自然也会带动整个触觉传感行业更加成熟。

陈天一 一目科技联合创始人兼执行副总裁 我们看到今年整个需求有一个大幅度的上涨，大家慢慢认识到了，触觉的数据，对于物理AI训出更好的模型来说，是非常非常重要的。今年，灵巧手、上下游、包括具身的整机，都在去拼命的去做、拼命的出货，自然也会带动整个触觉传感行业更加成熟。

在今年的WAIC展会上，我们也在一目科技的展台，看到了某大型汽车电池装配工厂，将他们的触觉传感器搭载到了机械臂上，实现了工业级的应用。市场工程师一目科技不同的电池包的形态变化，如果依赖传统的自动化，纯去做每次的预编程和大量的开发，无法适应产线的频繁调度和变化的过程。所以基于触觉，就得到了一些柔性装配的能力。

市场工程师 一目科技 不同的电池包的形态变化，如果依赖传统的自动化，纯去做每次的预编程和大量的开发，无法适应产线的频繁调度和变化的过程。所以基于触觉，就得到了一些柔性装配的能力。未来，还将应用到实验室里，做更多精密操作的项目。

市场工程师一目科技比如说像滴管，去做精准的取液，要恰好把它控制到毫克级的精准程度。有了触觉的精准反馈，可以实现对于滴管施加的力形变的精准控制。市场工程师 一目科技 比如说像滴管，去做精准的取液，要恰好把它控制到毫克级的精准程度。

有了触觉的精准反馈，可以实现对于滴管施加的力形变的精准控制。根据美国银行的预测，到2030年，人形机器人的出货量将达到120万台，假设都装配了触觉传感器，每个机器人10根手指，那么触觉的市场需求将提升到千万级别。

于弢亚德诺半导体（美国）人工智能总监/灵巧AI负责人如果2030年的时候是量产，我们倒推一年，或者一年半到两年的研发、测试的周期，那也就是说下一年要开始上量。于弢 亚德诺半导体（美国）人工智能总监/灵巧AI负责人 如果2030年的时候是量产，我们倒推一年，或者一年半到两年的研发、测试的周期，那也就是说下一年要开始上量。

李智强Eric一目科技创始人兼CEO触觉的下一个里程碑节点，我觉得就今年或者明年年初。李智强Eric 一目科技创始人兼CEO 触觉的下一个里程碑节点，我觉得就今年或者明年年初。李智强Eric一目科技创始人兼CEO人类的婴幼儿刚出生之后，第一个会的其实并不是看和听，小朋友都是靠触觉摸这个世界，甚至可能用舔、用舌头，这才是我们人类对于这个世界的第一语言。

李智强Eric 一目科技创始人兼CEO 人类的婴幼儿刚出生之后，第一个会的其实并不是看和听，小朋友都是靠触觉摸这个世界，甚至可能用舔、用舌头，这才是我们人类对于这个世界的第一语言。Adelson也提到启发GelSight的灵感，是源于观察小孩时，发现触摸对他们更有吸引力。

确实，人类小孩刚出生时，他不会说话、不会走路、连看都看不太清楚，想感知世界，只能伸手去摸，摸妈妈的脸、摸床单的材质、摸脚趾头的形状。而今天，我们正在教机器人做同样的事情，让它摸花生、摸树叶、摸鸡蛋等等，每摸一次，对物理世界的理解就多一点。

或许很多年后，机器人走进了我们的生活，那时我们回望，可能会发现，转折点就在触觉普及时，因为那一刻，机器人才开始真正的理解了世界。