基于视觉—触觉多特征感知的水下嵌结物回收与分类系统

本发明属于水下机器人智能识别领域，尤其涉及一种基于视觉—触觉多特征感知的水下嵌结物回收与分类系统。

背景技术：

1、随着社会的发展和海洋的探索，水底垃圾、海底矿物、水下水产等嵌结物的智能抓取需求越来越高。相关技术的发展对环境、经济、民生有着巨大的意义。但目前水下嵌结物抓取工作的识别系统依赖于视觉识别，难以满足恶劣的水下工况。

技术实现思路

1、发明目的：为了解决上述问题，利用触觉信息纠正视觉偏差，提出一种视觉—触觉多特征感知的识别系统和方法，并应用于水下嵌结物回收与分类工程中。

2、技术方案：基于视觉—触觉多特征感知的水下嵌结物回收与分类系统由柔性机械爪、分类舱、主控制计算机、水下摄像头组成，可安装在水下嵌结物采集机器人上，以辅助完成水下嵌结物的识别、回收、分类过程。其中柔性机械爪、水下摄像头与主控制计算机通过线缆相连，并分别与水下嵌结物采集机器人供电系统联通，柔性机械爪可将不同种类的嵌结物放入对应的分类舱内。

3、进一步的，所述的柔性机械爪由操控臂、柔性夹、触觉传感器阵列组成，其中操控臂由控制头、控制龙骨、紧固螺栓组成，控制同用于传输控制信号和触觉特征信号，并控制控制龙骨执行抓紧和放松工作，紧固螺栓则用于紧固柔性夹，柔性夹嵌套在控制龙骨上并通过紧固螺栓二次加固连接。触觉传感器阵列黏附在柔性夹的内侧的防水耐腐柔性膜内层，包含有硬度传感器、压力传感器、纹理传感器、光纤，硬度传感器、压力传感器、纹理传感器交替阵列，并由光纤连通。其中硬度传感器、压力传感器、纹理传感器基本组成为上层电极层、触觉芯片层、下层电极层、粘贴层组成，其中上层电极层、下层电极层为柔性电极，用于传输触觉芯片层接触嵌结物产生的电信号，粘贴层用于为上层电极层、触觉芯片层、下层电极层提供黏附平面，并可黏附在柔性夹的内侧的防水耐腐柔性膜内层，触觉芯片层根据不同的信息获取需求，分别对应硬度芯片层、压力芯片层和纹理芯片层。

4、进一步的，所述的传输系统由触觉传感器阵列、usb阵列、usb集成器、主控制计算机和光纤若干组成，触觉传感器阵列用于获取嵌结物各接触点的触觉特征信息，由光纤通过usb阵列输送，并由usb集成器集中嵌结物各接触点的触觉特征信息通过光纤传递给主控制计算机以梳理并获得嵌结物各接触点的触觉特征信息，避免信息混杂。

5、一种基于视觉—触觉多特征感知的水下嵌结物回收与分类方法的步骤包含：

6、a1.水下摄像头拍摄目标嵌结物并将图像信息传给主控制计算机；

7、a2.主控制计算机对目标嵌结物图像进行预处理；

8、a3.主控制计算机提取图像特征；

9、a4.主控制计算机进行图像特征匹配，确定置信度；

10、a5.主控制计算机判断图像置信度a是否处于置信区间；

11、a5.1当单片判断图像置信度a未处于置信区间，则进入下一个目标嵌结物抓取工作流程，从步骤a1开始循环；

12、a5.2当主控制计算机判断图像置信度a处于置信区间，进入步骤a6；

13、a6.主控制计算机控制柔性机械爪抓取目标嵌结物；

14、a7.压力传感器将压力信息持续传递给主控制计算机；

15、a8.主控制计算机判断压力值是否大于或等于接触压力；

16、a8.1当主控制计算机判断压力值小于接触压力，从步骤a6开始循环；

17、a8.2当主控制计算机判断压力值大于或等于接触压力，进入步骤a9；

18、a9.触觉传感器阵列获取目标嵌结物的硬度、纹理信息，并传递给主控制计算机；

19、a10.主控制计算机提取目标嵌结物的硬度、纹理信息特征；

20、a11.主控制计算机进行目标硬度、纹理信息特征匹配；

21、a12.主控制计算机判断触觉置信度b是否处于置信区间；

22、a12.1当主控制计算机判断触觉置信度b未处于置信区间，则丢弃抓获嵌结物，进入下一个目标嵌结物抓取工作流程，从步骤a1开始循环；

23、a12.2当主控制计算机判断触觉置信度b处于置信区间，进入步骤a13；

24、a13.主控制计算机计算综合置信度c＝a·a+b·b(a,b为权重系数，a+b＝1)；

25、a14.主控制计算机判断综合置信度c是否处于置信区间；

26、a14.1当主控制计算机判断综合置信度c未处于置信区间，则丢弃抓获嵌结物，进入下一个目标嵌结物抓取工作流程，从步骤a1开始循环；

27、a14.2当主控制计算机判断综合置信度c处于置信区间，进入步骤a15；

28、a15.主控制计算机确定嵌结物种类，并控制机械手将目标嵌结物送入对应分类舱；

29、a16主控制计算机是否收到停止嵌结物回收工作指令；

30、a16.1当主控制计算机未收到停止嵌结物回收工作指令，则进入下一个目标嵌结物抓取工作流程，从步骤a1开始循环；

31、a16.2当主控制计算机收到停止嵌结物回收工作指令，进入步骤a17；

32、a17.主控制计算机控制水下嵌结物抓取机器人返航。

33、进一步的，所述a2.主控制计算机对目标嵌结物图像进行预处理。为了提高图像质量、减少噪声和增强目标特征，首先通过调整图像的白平衡来校正颜色偏移，使得图像更加真实。然后使用直方图均衡化和滤波器等技术，增强图像的对比度，去除图像中的噪声，使得目标更加清晰可见。最终根据水下环境特点，使用拉普拉斯增强算法增强图像细节特征。

34、进一步的，所述的a3.主控制计算机提取图像特征。步骤a1受到水下环境的影响，水下光线的散射和吸收对特征提取造成巨大的挑战。为了提高水下图像目标检测和识别的准确率，采用surf算法可以检测出关键点和对应的局部描述符，以使系统获得速度快和抗噪性能好的优点。

35、进一步的，所述的a4.主控制计算机进行图像特征匹配，确定置信度。将卷积神经网络模型(cnn)加载到系统中，并将提取的特征输入到神经网络模型中，通过模型学习特征之间的相似性，采用传统的最近邻搜索(nearest neighbor search)的匹配方法，根据特征相似性计算得到匹配结果，以确定图像置信度。

36、进一步的，所述的a8.主控制计算机判断压力值是否大于或等于接触压力。将柔性机械爪上的压力传感器与嵌结物相接触，实时采集接触压力数据，并将这些压力数据从模拟信号转化为数字信号入到单片机中，提取出特定时间段内的平均压力值，然后与实验测得的标准接触压力进行比较。当压力值大于接触压力则表明柔性机械爪与嵌结物成功接触，所测触觉数据真实合理。

37、进一步的，所述的a13.主控制计算机计算综合置信度c＝a·a+b·b(a,b为权重系数，a+b＝1)。对机械爪上每个触觉传感器进行数据采集和归一化处理，将数据映射到相同的范围内，以确保不同传感器的数据具有可比性。根据传感器的重要性和可靠性，为每个传感器分配一个权重。权重可以根据不同工况通过专家经验、实验分析或其他可行的方法来确定。较为重要和可靠的传感器应分配较高的权重，而较为不确定或不可靠的传感器则可以分配较低的权重。最终将其与对应的权重进行相乘得到综合置信度。

38、进一步的，所述的a15.主控制计算机确定嵌结物种类，并控制机械手将目标嵌结物送入对应分类舱。通过a14进行综合置信度判断，并通过综合置信度数值对嵌结物种类进行判定，从而将嵌结物放入对应的分类舱当中。

39、有益效果：本专利实现水下恶劣工况下嵌结物(矿石、垃圾、水产等)识别分类，提高了工作效率。