一种用于桥梁爬索机器人的深度学习缺陷检测方法与流程

本发明属桥梁检测机器人领域，具体来说，涉及一种用于桥梁爬索机器人的深度学习缺陷检测方法。

背景技术：

1、大型拉索桥梁的拉索不但会长期承受各种动静载的负荷，还会受到风雨、污染空气的侵蚀，再加上材料的自然老化失效，拉索表面保护层极易遭到破坏。一旦保护层出现缺损，内部的钢丝直接暴露在复杂的自然环境当中，就极易出现腐蚀和断裂，最终使拉索失效造成经济损失和安全事故。传统的人工检测法效率差、准确率低，且拉索一般位于高空，采用人力检测存在较大的安全隐患。因此，对于一种能够实现自动化、安全化和精确化的检测方法是必然的要求。

2、为解决上述问题，近年来国内外的检测公司、科研机构也对爬索机器人展开许多的研究，机器人搭载的检测装置会随着机器人的运动对整条拉索进行检测或图像采集，避免了人工拉索检测过程中存在的安全性差、效率低、精度低等问题。然而，现存的机器视觉检测方法通常采用单一的图像处理技术，或是追求实时性、高效率而采用较低复杂度的传统图像处理技术，导致缺陷的检测精度较低，且无法辨别缺陷种类以致不能针对缺陷选择合适的修复方法。

3、目前拉索机器人的自动化拉索缺陷识别与检测依旧是机器人现场实施与应用过程中的难点。拉索表面缺陷检测依旧存在不准确、精度不高、实时性不好的问题。随着人工智能发展，深度学习方法在桥梁拉索表面缺陷检测中的使用可以极大提升检测机器人缺陷检测的准确性和速度，也极大促进检测机器人智能化发展。

4、其中提升深度学习网络模型的速度、准确性是工业应用与实施的关键点，相对于复杂多阶的神经网络,数据处理步骤多，输出数据的上传时效也慢，例如专利号为cn202010873554.8采用的多阶mask r-cnn模型，由于网络模型层数多、处理步骤多，在输出数据的速度上较慢，实时性较差，影响效率。

技术实现思路

1、本发明公开了一种用于桥梁爬索机器人的深度学习缺陷检测方法，解决拉索表面缺陷的识别不准确、精度不高、速度慢、分类不清的问题，同时结合爬索机器人实现对拉索缺陷的实时缺陷检测与分类。

2、一种用于桥梁爬索机器人的深度学习缺陷检测方法，所述方法通过以下装置实现，所述装置包括四台检测摄像机、桥梁爬索机器人、四路图像分割器、无线图传发射器、无线图传接收器、视频采集卡、远程主机，四台检测摄像机安装在桥梁爬索机器人周向四等分位置捕获拉索表面图像，检测摄像机通过信号接口连接无线图传发射器，远程识别主机通过usb连接视频采集卡，视频采集卡通过信号接口连接无线图传接收器，该方法通过爬壁机器人获取实时拉索表面图像并通过远程主机进行执行深度学习算法实现拉索表面缺陷的实时检测与分类，具体步骤如下：

3、步骤(1)：爬索机器人安装到桥梁拉索上，接收远程主机的运动控制命令在拉索上运行或停止；

4、步骤(2)：桥梁检测机器人通过四个检测摄像机采集拉索表面一周范围的原始图像，通过四路图像分割器合成为一张图像通过无线图传发射器发送；

5、步骤(3)：无线图传接收器接收桥梁爬索机器人采集到的原始图像，并通过视频采集卡与远程主机连接，远程主机读取采集到的拉索表面图像；

6、步骤(4)：远程主机设定改进型yolov3深度学习模型参数，载入已经预先训练的权重文件，并载入一张采集到的拉索表面图像；

7、步骤(5)：设置拉索表面图片像素为416×416像素，图像被送入darknet53网络进行卷积运算与特征提取，获得208×208像素、104×104像素、52×52像素、26×26像素、13×13像素五种不同尺度的降维特征图；

8、步骤(6)：通过fpn网络进行不同尺度的特征融合，获得三种尺寸的特种图，尺寸分别为(13，13，1024)，(26，26，256)，(52，52，128)；分别代表特种图的高度、宽度和深度；

9、步骤(7)：根据拉索表面缺陷情况，设置缺陷识别类别为四类，这四类包括划痕、刮伤、开裂和污迹，通过yolo head网络输出三个尺寸的预测图像用来检验和预测大、中、小三种尺寸的目标，三个图像尺寸分别为：(13，13，27)，(26，26，27)，(52，52，27)；

10、步骤(8)：通过深度学习模型拉索表面缺陷预测图像，预测图像信息包括缺陷类别、预测框、缺陷概率，并在预测图像中通过不同颜色显示；

11、步骤(9)：远程主机输出并保存原始图像、预测图像、缺陷信息；其中缺陷信息包括缺陷类别和缺陷概率，返回步骤(1)进行下个拉索位置的表面图像采集与识别。

12、进一步的，所述步骤(4)中改进型yolov3通过把网络模型中batch normalization层合并到卷积层来提高运行速度，并将cbam注意力机制增加到darknet53网络中来提高拉索表面缺陷识别的准确性。

13、进一步的，所述步骤(4)中预先训练的权重文件是通过对深度学习模型预先训练获得的，模型训练的具体过程为：

14、步骤(401)：通过桥梁爬索机器人运行在拉索上，并通过上述四个检测摄像机、远程主机捕获不同桥梁、不同位置和不同缺陷的2800张拉索表面图像；

15、步骤(402)：使用labelme标注软件对2800张拉索表面图像进行标注，输出保护位置信息、类别信息的xml标注文件，生成数据集；

16、步骤(403)：通过图像平移、图像旋转、镜像、添加噪声、亮度变换方法对数据集图像进行数据增强，获取14000张图像的数据集；

17、步骤(404)：对获得的数据集进行分类，其中12600张图像作为训练集，1400张图像作为测试集；

18、步骤(405)：冻结主干特征提取网络，设定深度学习模型的初始学习率为0.001，batch_size值为8，对后部其他网络进行500次的迭代训练；

19、步骤(406)：解冻主干特征提取网络，设定深度学习模型的学习率为0.0001，batch_size值为4，对深度学学习网络进行1000次的迭代训练，训练阶段的损失函数公式为：

20、loss＝lbox+lobj+lcls

21、其中lbox为预测框x、y、w、h坐标的误差，lobj为目标置信度误差、lcls为分类误差；

22、步骤(407)：完成设定的训练次数后，确保损失函数loss足够小，保存输出权重文件，用作爬索机器人检测使用。

23、与现有技术相比，本发明的有益效果：

24、(1)使用改进的yolov3深度学习模型，相对传统的图像处理方法，可以有效提升检测机器人对桥梁拉索表面检测的准确性，并且完成缺陷类别的分类。

25、(2)通过远程主机对高空运行的桥梁爬壁机器人采集的图像进行实时的识别与分类，可代替原有的人工检测方法，提升检测作业效率。

26、(3)检测机器人使用该方法可以快速完成桥梁拉索检测作业，可以保存桥梁拉索的原始图像以及缺陷的识别图像，便于后续桥梁的安全型维护与检修。

27、(4)本发明通过采用单阶段网络模型，可以实现快速实时的缺陷识别与显示(大约为40张/秒)，