触觉传感器是机器人系统的重要组成部分，虽然与视觉相比触觉具有较小的感知面积，但却可以提供机器人与物体交互过程中更加真实的物理信息。

视觉触觉传感是一种分辨率高、成本低的触觉感知技术，被广泛应用于分类、抓取、操作等领域中。近期，清华大学深圳国际研究生院丁文伯团队在多年触觉传感器研究的基础上从信号处理的领域对视触觉传感器进行了全面梳理，相关文章以“When Vision Meets Touch: A Contemporary Review for Visuotactile Sensors from the Signal Processing Perspective”为题发表在信号处理领域顶级期刊IEEE Journal of Selected Topics in Signal Processing (J-STSP,中科院1区Top)。

文章第一作者为清华大学博士生李寿杰，通讯作者为清华大学副教授丁文伯，合作者包括了清华大学王子涵博士，新加坡国立大学吴昌盛助理教授，清华大学李翔副教授，伦敦国王学院罗山副教授，北京邮电大学方斌教授，清华大学孙富春教授，清华大学张晓平教授。

虽然之前人们已经对视触觉传感器做过梳理，但很少有人讨论信号处理方法对视触觉传感器的意义。巧妙的硬件设计固然重要，但只有采用合适的信号处理方法，才能充分发挥感知系统的潜力。因此，丁文伯团队从信号处理方法的角度对视触觉传感器进行了全面梳理，并展望了视触觉传感器未来可能的研究方向。

触觉传感器与光学硬件之间的发展趋势

随着人工智能的快速发展，机器人开始被用于执行一些复杂、精细的任务，例如工业装配、人机协作和外科手术等。要完成这些任务，机器人不仅要获取致动器与环境之间的接触力，还要获取手部终端工具的位置，这在很大程度上依赖于触觉传感器的分辨率和精度。为了提高机器人的触觉感知能力，人们基于不同的原理设计了大量传感器，例如压电式、电容式、电感式等。然而，这些传感器受制于复杂的制造工艺和昂贵的数据采集电路，以低成本高效率的方式实现高分辨率和大规模触觉感知具有挑战性，视触觉感知技术的出现则很好的解决了分辨率与成本之间存在的问题。

硬件设计

硬件是算法的基础，为了更加全面的展示视触觉感知技术，研究团队从硬件设计出发，对当前主流的视触觉传感器进行了归纳整理，并从感知皮肤、照明系统、成像系统三个方面分析了不同硬件方案的优点和不足。

感知皮肤是视觉触觉传感器的核心部件，它能够通过与物体接触时的形变或颜色来获取物体的力、温度和纹理等信息。照明系统可以通过特定的光线来增强了传感器的三维几何表现力。视觉系统作为信号收集单元，通过光学成像捕捉感知皮肤产生的形变和颜色信息。视觉传感器的结构决定了其功能。为了满足不同场景的应用需求，研究人员设计了各种各样的传感器，主流视触觉传感器简介如下表：

……完整表格请阅读原文

信号处理方法

与传统的电子皮肤不同，视触觉传感器获取的是二维图像信号，因此通过图像处理算法可以获取更加丰富的触觉信息。在本文中，丁文伯团队将视触觉传感器的信号处理分成了6个方向：Contact area segmentation、3D reconstruction、Force perception、Slip detection、Mapping and localization、Sim2Real，并对每个方向的数据处理方法进行了详细的分析和介绍：

信号处理相关方向

应用

视触觉传感器的应用非常广泛。结合先进的信号处理算法，视触觉传感器依靠其大检测面积和高分辨率的特点，可以完成许多具有挑战性的任务，如织物分类、形状分类、孔内插钉等。为了更加清晰的认识到视触觉传感器的应用价值，研究人员从分类、抓取、操作三个角度对视触觉传感器的应用方向进行了整理。

从上到下分别是：分类、抓取、操作方向的应用

未来展望

成像以及计算机视觉技术的进步推动了视触觉传感器发展，但目前视触觉传感器领域还存在一些问题亟待解决。丁文伯团队从硬件和算法两个方面对视触觉传感器当前存在的问题以及未来可能的研究方向进行了归纳整理，主要的方向包含多模态感知，尺寸优化，柔性革新，灵敏度提升，光场控制，多传感器融合，闭环控制框架，触觉重建与定位，标准化与商业化等方向。