一种基于宽度学习的船体锈蚀线检测识别方法与流程

本发明涉及一种基于宽度学习的船体锈蚀线检测识别方法，属于图像处理。

背景技术：

1、船舶除锈工作是船舶的修理和保养过程中至关重要的操作工序，定期对船舶进行除锈可以有效避免船舶外板长时间在高温、高盐环境中作业从而腐蚀钢板。舷顶列板通常采用高强度钢材制造，具有较大的截面面积和厚度，能够承受船舶在航行中的荷载和外界环境的影响，起到加强船舷结构、提高船体刚度和抗弯强度的作用。舷侧外板则负责承受船舶在水中的浮力和波浪荷载，同时起到防水和保护船体结构的作用。舷侧外板通常由船体结构钢材制成，具有较高的强度和耐腐蚀性能，能够保证船体的结构完整性和航行安全。以往该项工作的主要方式为人工手持喷枪喷砂作业，这严重污染海洋、岸基生态环境，危害工人的身体健康，因此有必要设计一种基于宽度学习的船体锈蚀线检测识别方法，应用于爬壁机器人代替人工进行锈蚀检测。

2、目前，船体大型爬壁机器人搭载水射流喷枪和真空回收清洗器，工人在地面对机器人进行远程操控，一定程度上全面解放了工人的高空作业风险，改善了船厂工作环境，是一种船舶与海洋大型大表面装备涂装制造领域前景广阔的工业机器人新技术。但是现有的船体除锈爬壁机器人尚未实现自主除锈作业，仍需工人肉眼识别锈迹，再通过控制台对除锈爬壁机器人进行操作，对大型船体壁面的作业局限性较大，存在工人高空作业的问题,安全无法得到有效保障，安全事故屡次发生，因此急需给除锈爬壁机器人进行锈蚀线检测功能升级，避免工人发生安全事故。与深度学习相比，宽度学习并不会增加网络的层数，而是加入隐藏层节点，使网络朝着“宽度”的方向构建，并且速度更快，准确性更高。因此本发明采用宽度学习模型，采用k-means对宽度学习的输入集进行特征提取，从而对船体舷侧板锈蚀线进行图像识别，判断船体表面是否含有锈蚀痕迹；同时提供了一种带有船体锈蚀线检测识别模块的爬壁机器人，该机器人可在船体表面移动，并对船体锈蚀线进行检测识别。

3、现有的专利提及的关于宽度学习的应用与钢板锈蚀检测方法均未设计至船舶大型钢制表面的锈蚀检测，如cn109522838a提供了一种基于宽度学习的安全帽图像识别算法，但该发明主要使用宽度学习模型进行安全帽图像识别，未涉及船舶表面锈蚀检测；如cn109886059a提供了一种基于宽度学习的qr码图像检测方法，未对船舶外板钢制表面锈蚀线进行区分；如cn115994889a提供了一种锈蚀检测模型构建方法及锈蚀检测方法，主要针对海上金属钢架结构，未涉及宽度学习模型与钢制大表面锈蚀检测，使用场合受限。

4、1.“一种基于宽度学习的安全帽图像识别算法”，专利号cn109522838a。该发明公开了一种基于改进yolov5的表面缺陷检测方法，基于yolov5s神经网络模型结构进行改进，在原有backbone主干网络部分尾部增添使用了c3str模块，通过c3str模块对缺陷特征进行捕获强化，从而提取出更加丰富的图像缺陷特征，但该发明未对多种喷漆进行区分，对船舶大型钢制表面的适用性较差。

5、2.“锈蚀检测模型构建方法及锈蚀检测方法”，专利号cn115994889a。该发明公开了提供了一种锈蚀检测模型构建方法及锈蚀检测方法。其中，锈蚀检测模型构建方法，包括：获取模型训练数据，模型训练数据中包括多个金属设备图像，各金属设备图像中标注有锈蚀区；基于模型训练数据，对u2net网络模型进行模型训练，得到锈蚀检测模型，u2net网络模型的顶层由编码器和解码器构成u型网络结构，编码器和解码器分别由多层swintransformer单元构成u型网络结构。主要针对海上金属钢架结构，未涉及钢制大表面锈蚀检测，使用场合受限。

6、3.“一种钢材表面锈蚀检测处理装置”，专利号cn217654974u。该发明公开了一种钢材表面锈蚀检测处理装置，包括底板，所述底板的顶部一侧外壁设置有承接板，且承接板的两侧外壁分别开有滑槽，两个滑槽内滑动连接有同一个滑板，承接板的四角分别设置有限位块，底板的顶部两侧分别设置有u型支架，且u型支架的底部中间外壁设置有滑移机构，滑板与滑槽形成滑动配合，滑移机构的移动端与滑板的顶部相连接，且滑板的两侧设置有锈蚀检测仪，且u型支架的顶部中间外壁设置有驱动件，驱动件与滑移机构转动连接，但未具体描述检测的原理。

技术实现思路

1、针对上述现有技术存在的问题，本发明提供一种基于宽度学习的船体锈蚀线检测识别方法，从而能够快速有效地判断船体表面是否含有锈蚀痕迹。

2、为了实现上述目的，本发明采用的技术方案是：一种基于宽度学习的船体锈蚀线检测识别方法，包括以下步骤：

3、步骤s1:获取待检测船体表面照片作为原始图像；

4、步骤s2:采用自适应阈值二值化的图像处理方法对原始图像进行预处理；

5、步骤s3:利用船体锈蚀线阴影图像特征，在预处理过的图像中利用k-means对船体舷侧板锈蚀阴影图像特征进行特征提取；

6、步骤s4:将特征提取后的图像作为输入集对宽度学习模型进行训练，构建船体锈蚀线检测识别模型；

7、步骤s5:采用所述船体锈蚀线检测识别模型，判断待检测图像中是否包含锈蚀线；

8、步骤s6:通过过渡帧检验识别模型识别动态采集图像过程中的过渡帧图像，对锈蚀线定义图像与除锈作业后图像进行区分，避免重复识别。

9、进一步的，所述步骤s2采用自适应阈值二值化的图像处理方法对原始图像进行预处理具体包括以下步骤：

10、步骤s21：将原始图像进行灰度化处理；

11、步骤s22：采用自适应阈值，对灰度化图像进行二值化处理；

12、步骤s23：对二值化图像采用高斯滤波，并进行去噪点处理。

13、进一步的，所述步骤s3中利用k-means对船体舷侧板锈蚀阴影图像特征进行特征提取，具体包括以下步骤：

14、步骤s31:设置3个关键帧，分别为k1、k2、k3,k1为初始关键帧，l1是k1和k2间的特征点，l2是k1和k3间的特征点；

15、步骤s32:设k1为全局坐标系，分别计算k1与k2间和k1与k3间的相对位姿；

16、步骤s33:基于本质矩阵e，得到k3相对于k1的旋转矩阵r与平移矩阵t；

17、步骤s34：利用k3的相机位姿和对应的特征点与k2对应的特征，得到k2的相机位姿；

18、步骤s35：在3个关键帧中，构建重复采集误差，模型如下式所示；

19、

20、式中，rk和tk分别为第k帧图像对应的相机旋转矩阵和平移矩阵，xi为对应的特征图像坐标；xk,i为第k帧图像中的第i个特征点坐标。

21、进一步的，所述步骤s4具体步骤为：

22、步骤s41:将特征提取后的图像作为宽度学习模型的原始输入集x∈rn×m；

23、为原始输入集映射的多个特征节点，其中是wej随即权重，βej是偏差，是映射函数，n组特征节点可表示为zn≡[z1,…,zn]；

24、hp＝ξp(znwhp+βhp),p＝1,…,m为增强节点，其中：ξ是激励函数，whp是随机权重，βhp是偏差，m组增强节点表示为hm≡[h1,…,hm]；

25、网络输出结结果为其中，wnm＝[zn|hm]+y为宽度结构连接权重，[zn|hm]+是[zn|hm]的伪逆运算，记a＝[zn|hm]；

26、步骤s42:由最小二乘法可得最优连接权重:

27、其中λ表示惩罚因子。

28、进一步的，所述步骤s6中过渡帧检验识别模型满足如下式所示；

29、

30、

31、

32、

33、

34、

35、

36、

37、其中：ω表示舷顶列板曲率系数；μ表示舷侧外板曲率；fq和fq-1表示第q和q-1帧图像；是第q帧的平均值，代表了亮度信息；是第q帧的标准偏差，表示对比度信息；表示两个相邻帧之间的协方差，它反映了结构信息的相似新；当基于宽度学习模型的船体锈蚀线检验优化模型获得的概率和结构相似性指标同时大于各自设定阈值时，判定为非过渡帧；否则为过渡帧。

38、一种采用基于宽度学习的船提锈蚀线检测识别方法的检测识别机器人，包括爬壁机器人本体、与所述爬壁机器人通信连接的视觉巡航摄像头以及与所述爬壁机器人通信连接的锈迹识别摄像头；

39、所述爬壁机器人吸附在船体钢制表面进行移动，同时具备基础越障、避障功能；所述视觉巡航摄像头用于控制爬壁机器人运动轨迹，使其能够在船舶外板按照既定路线移动；所述锈迹识别摄像头用于对船体舷侧板锈蚀线进行检测识别，并形成记忆存储在爬壁机器人的内置sd卡中；该锈迹识别模块能够区分船舶外板表面的不同颜色的油漆，通常情况下最外层为红色油漆，第二层为白色油漆，最里面的为钢板。

40、本发明的有益效果是：该方法实现了基于宽度学习的船体锈蚀线检测识别，在相似领域适用性好，在保证实时性的前提下，提供了准确检测识别船体修饰先的方法与系统。