一种多模态信息融合感知的视触觉传感器

本发明涉及触觉传感器领域，具体涉及一种多模态信息融合感知的视触觉传感器。

背景技术：

1、触觉传感器是一种能够感知物体表面接触力和形状等信息的传感器。它可以通过测量物体表面的微小形变或应变来感知接触力，并将这些信息转化为数字信号输出。触觉传感器可以应用于机器人系统中，帮助机器人感知和理解周围环境，从而更好地执行任务，例如，通过感知物体表面的形状和纹理等信息，机器人可以识别和分类不同的物体；通过感知物体表面的接触力和形状等信息，机器人可以更好地控制抓取和操作物体的力度和姿态；通过感知周围环境的形状和硬度等信息，机器人可以更好地感知和理解周围环境，从而更好地进行导航和避障。触觉传感器在机器人系统中的应用越来越广泛，可以帮助机器人更好地感知和理解周围环境，从而更好地执行任务。

2、视触觉传感器是一种能够将视觉图像转化为触觉信息的传感器，可以感知物体表面的形状和纹理等信息，同时测量交互中的接触力。相比于传统的触觉传感器，视觉触觉传感器具有诸多优势，例如更高的精度和分辨率、更广泛的应用场景、更好的适应性和灵活性等。视觉触觉传感器具有广泛的应用前景，可以帮助机器人更好地感知和理解周围环境，从而更好地执行任务。

3、但是，现有的视触觉传感器仍然存在一些缺陷和不足，主要表现在以下几个方面：一是对多模态信息的感知能力有限，视触觉传感器接收到的信息远比传统的触觉传感器更丰富，但目前对其多模态信息感知的研究仍存在一定的局限性，大多数研究都集中在获取接触力和接触表面三维形状上；其次是稳定性方面存在一定问题，大多数方法通过在弹性体表面布置标记点来估计接触中的多维力，但随着硅胶暴露在环境中逐渐老化，这种方法的精度会逐渐下降；三是算法和处理能力需要进一步提高，视触觉传感器的输入是图像信息，这就需要对大量的数据进行处理和分析，目前，视觉触觉传感器的算法和处理能力仍有待进一步提高，以满足更高的应用需求。

4、综上所述，本领域仍需要对视触觉传感器进行研究和改进，使视觉触觉传感器在机器人系统中发挥更加重要的作用，帮助机器人更好地感知和理解周围环境，从而更好地执行任务。

技术实现思路

1、针对目前视触觉传感器存在的不足和缺点，本发明的目的在于设计一种能够进行多模态信息融合感知的视触觉传感器，其可通过实时控制传感器内的光照条件，从而感知所接触表面的三维形状、颜色和纹理等信息。

2、本发明提出的视触觉传感器包括弹性体、透明支撑板、外壳、摄像头、光源、多维力传感模块和控制电路。所述弹性体与透明支撑板相粘合，且弹性体向上，固定在外壳顶部；所述摄像头安装在外壳底部中央，且指向顶部的弹性体；所述光源布置在透明支撑板周围及底部，且避开了摄像头的视场范围以防止对其成像产生影响；所述多维力传感模块布置在透明支撑板周围；所述控制电路安装在传感器外部，通过软排线与传感器连接。

3、所述的弹性体包含透明弹性体层和弹性反射层，透明弹性体一侧与所述透明支撑板一侧相粘合，弹性反射层位于传感器顶部，是与物体进行接触的部分；透明弹性体采用邵氏硬度15a的双组分硅胶按1:1比例混合后，在硅胶模具中静置24小时后制得；弹性反射层为采用同样的双组分硅胶并与色膏混合后固化得到的半透明薄层。

4、所述外壳由3d打印制成，用于安装所述的弹性体、摄像头和光源。

5、所述光源为所述摄像头的成像提供结构化的照明，包括第一光源、第二光源和柔光板，第一光源布置在透明支撑板周围，采用发光二极管按红色、蓝色、绿色光的顺序环绕布置；第二光源安装在透明支撑板的底部，为白色的发光二极管；柔光板安装在第一光源发光二极管的表面，用于柔化发光二极管产生的光线。第一光源和第二光源交替发光，达到实时改变传感器内照明条件的目的，当采用第一光源进行照明时，可以通过光度立体视觉的方法对所接触的表面进行三维重建，当采用第二光源进行照明时，白色光将穿过半透明的所述弹性反射层并反射回来，使摄像头获得接触表面的颜色信息。

6、所述多维力传感模块为一个柔性电路板，柔性电路板上焊有多个压电薄膜，通过弯折所述柔性电路板，使压电薄膜被布置在所述透明支撑板的周围，使传感器可以感知接触中所产生的正压力和切向力等。

7、所述控制电路包括stm32芯片以及一系列外围接口电路，通过输出不同占空比的pwm信号来控制所述光源的明暗程度及亮灭。

8、与现有技术相比，本发明的优点在于：

9、(1)本发明的视触觉传感器能够通过实时改变传感器内的光照条件，来同时获得接触表面的三维形状、纹理和颜色信息。

10、(2)本发明采用布置在透明支撑板周围的压电薄膜来感知接触中的多维力，相比于采用在弹性体上布置标记点的方法，本发明可以避免弹性体性能变化所导致的测量精度偏差。

11、(3)本发明采用两种不同结构的光源和半透明的弹性反射层相配合，使传感器可以获得接触接触表面的颜色信息。

12、(4)本发明采用双组分硅胶与色膏混合的方法制得弹性反射层，且弹性反射层直接进行与环境的交互，使传感器表面具备耐用性，并兼具对接触物体表面纹理和三维形状的高分辨率。

技术特征：

1.一种多模态信息融合感知的视触觉传感器，其特征在于，包括弹性体、透明支撑板、外壳、摄像头、光源、多维力传感模块和控制电路；

2.根据权利要求1所述的多模态信息融合感知的视触觉传感器，其特征在于，所述弹性体包含透明弹性体层和弹性反射层，所述透明弹性体层的一侧与所述透明支撑板一侧相粘合，所述透明弹性体层的另一侧与所述弹性反射层连接，所述弹性反射层位于传感器顶部。

3.根据权利要求1所述的多模态信息融合感知的视触觉传感器，其特征在于，所述光源为所述摄像头的成像提供结构化的照明，包括第一光源、第二光源和柔光板；

4.根据权利要求1所述的多模态信息融合感知的视触觉传感器，其特征在于，所述多维力传感模块为一个柔性电路板，柔性电路板上焊有多个压电薄膜，通过弯折所述柔性电路板，使压电薄膜被布置在所述透明支撑板的周围。

5.根据权利要求1所述的多模态信息融合感知的视触觉传感器，其特征在于，所述控制电路包括stm32芯片以及一系列外围接口电路，通过输出不同占空比的pwm信号来控制所述光源的明暗程度及亮灭。

技术总结
本发明公开了一种能够进行多模态信息融合感知的视触觉传感器，包括弹性体、透明支撑板、外壳、摄像头、光源、多维力传感模块和控制电路。所述弹性体与透明支撑板相粘合，且弹性体向上，固定在外壳顶部；所述摄像头安装在外壳底部中央，且指向顶部的弹性体；所述光源布置在透明支撑板周围及底部，且避开了摄像头的视场范围以防止对其成像产生影响；所述多维力传感模块布置在透明支撑板周围；所述控制电路安装在传感器外部，通过软排线与传感器连接。本发明通过实时控制传感器内的光照条件，从而感知所接触表面的三维形状、颜色和纹理等信息。

技术研发人员：杨凯宇,施怡潇,孟海良,鲍官军
受保护的技术使用者：浙江工业大学
技术研发日：
技术公布日：2024/1/14