基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质

本发明属于混凝土结构病害检测，具体涉及基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质。

背景技术：

1、高速公路的维护是确保道路安全的一项重要的日常工作，裂缝是影响道路质量的主要因素之一。目前进行高速公路巡检的方法主要分为人工巡检和半自动巡检。人工巡检是通过公路巡检的技术人员进行现场勘测，人为的衡量道路裂缝的严重程度和手工记录计算，这种方法效率低，存在安全隐患，时间成本和人力成本高，且易受工作人员主观判断的影响，没有统一的标准；半自动巡检的方式是在巡检车上安装自动检测系统，将拍摄的道路画面实时传回到车端服务器，通过图像算法识别道路病害。但这种方法一方面无法克服如行道树倾倒、道路防护栏破损影响正常通行的问题，另一方面车载巡检系统安装在车上，视野受限，限制了巡检的效率，且由于视角原因，无法对裂缝的严重程度进行准确的识别。

技术实现思路

1、本发明要解决的问题是基于现有高速公路裂缝巡检技术的准确性不高，提出一种基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质。

2、为实现上述目的，本发明通过以下技术方案实现：

3、一种基于无人机的高速公路混凝土路面裂缝检测方法，包括如下步骤：

4、s1、设定无人机的飞行路线与高度，对高速公路混凝土路面裂缝进行数据采集；

5、s2、将步骤s1采集的高速公路混凝土路面裂缝数据通过labelimg工具进行裂缝类别标注，裂缝类别为横向裂缝、纵向裂缝、龟裂和块状裂缝，将标注后的高速公路混凝土路面裂缝数据分为训练集、验证集和测试集；

6、s3、改进yolov5网络模型构建高速公路混凝土路面裂缝检测网络模型；

7、进一步的，步骤s3的具体实现方法包括如下步骤：

8、s3.1、输入层input：在输入层通过数据加载器传输每批训练数据，传入到神经网络中首先进行尺寸归一化处理，然后使用mosaic将选定的一张图与其他随机三张图进行拼接处理；

9、s3.2、主干网络部分backbone：使用swin transformer作为主干网络，主要由w-msa结构和sw-msa结构组成，w-msa结构用于在特征窗口内部的patch之间进行相互学习，sw-msa结构用于各层窗口与窗口之间的特征学习；

10、s3.3、连接网络部分neck：使用bifpn重复加权双向特征金字塔网络进行加权融合，加权方法如下，

11、

12、其中，ii为第i级的输入，wi为当前学习的级别第i级的权重值，i为当前学习的级别，ε为一个小数用于防止分母为0，wj为学习后的级别第j级的权重值，j为学习后的级别，o为加权融合的特征；

13、以bifpn的第四级特征融合进行描述，计算公式为：

14、

15、

16、其中，c表示用于特征处理的卷积运算，r表示用于匹配不同分辨率特征层的上采样或下采样操作，为自上而下路径上的级别4处的中间特征，为自上而下路径上的级别4处的中间特征，分别表示级别3与级别4的的输出特征，p4in、p5in为级别4与级别5的输入特征，wi'为自上而下路径上的中间权重；

17、s3.4、最终检测部分head：在特征图上应用锚定框对特征图网格化预测，设定nms置信度参数，将检测到的目标置信度高于设置的阈值保留，并生成带有类概率的最终输出向量，不同缩放尺度的head分别用来检测大中小物体；

18、s4、将步骤s2得到的训练集、验证集和测试集输入步骤s3构建的高速公路混凝土路面裂缝检测网络模型，得到训练好的高速公路混凝土路面裂缝检测网络模型；

19、s5、无人机设定路线或者通过遥控器远程操控飞行，进行高速公路巡检，将无人机拍摄的高速公路混凝土路面裂缝图像传输到步骤s4训练好的高速公路混凝土路面裂缝检测网络模型中，进行实现检测。

20、进一步的，步骤s1中无人机的飞行高度根据相机成像原理及几何图形相似原理进行计算，计算公式为

21、

22、其中，h为无人机的飞行高度，fr为相机传感器真实焦距，dw为图像覆盖地面的真实宽度，sw为为真实传感器宽度。

23、进一步的，步骤s2中按照8：1：1的比例将标注后的高速公路混凝土路面裂缝数据分为训练集、验证集和测试集。

24、进一步的，步骤s4的具体实现方法包括如下步骤：

25、s4.1、图像通过第一个cbs模块，cbs模块由conv+batchnorm+silu组成，通道数设置为16，输出大小为320的第0层特征图；

26、s4.2、步骤s4.1得到的第0层特征图通过cbs、c3、c3str模块进行深层下采样特征提取，得到深层特征图；

27、s4.3、步骤s4.2提取到的深层特征图经过sppf模块进行池化、融合，得到主干网络输出特征图；

28、s4.4、将步骤s4.3得到的主干网络输出特征图进行上采样操作，将不同层的特征图按加权进行特征融合，对于大物体在下采样时不易丢失信息，其预测来自第10层与第21层的特征图融合，对于小物体随着卷积层深度的增加存在像素信息丢失的情况，其预测来自第4层与第15层的特征图融合，得到特征融合后的特征图；

29、s4.5、将步骤s4.4得到的特征融合后的特征图上应用锚定框对特征融合后的特征图网格化预测，预测结果与标签数据比较得出损失函数，损失函数loss的计算公式为：

30、loss＝分类损失cls_loss+定位损失box_loss+置信度损失obj_loss

31、根据损失函数进行反向传输对权重参数和阈值进行调整，设定nms置信度参数，将检测到的目标置信度高于设置的阈值保留，并生成带有类概率的最终输出向量。

32、进一步的，步骤s5的具体实现方法包括如下步骤：

33、s5.1、无人机设定路线或人为通过遥控器远程操控飞行，进行高速公路巡检，拍摄高速公路混凝土路面裂缝图像传到训练好的高速公路混凝土路面裂缝检测网络模型中；

34、s5.2、首先对高速公路混凝土路面裂缝图像进行归一化处理，统一图像输入大小，并传入到主干网络部分backbone中，经过swin transformer网络均等分割为多个窗口，在同层的窗口之间、以及不同层的窗口之间充分学习图像特征；

35、s5.3、主干网络部分backbone提取的网络特征传递到neck的bifpn网络中进行多次多层级加权特征融合，将强语义信息与强位置信息融合，对检测到的目标对象进行分类与定位；

36、s5.4、无人机按路线规划返回降落点。

37、电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种基于无人机的高速公路混凝土路面裂缝检测方法的步骤。

38、计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于无人机的高速公路混凝土路面裂缝检测方法。

39、本发明的有益效果为：

40、本发明所述的一种基于无人机的高速公路混凝土路面裂缝检测方法，yolov5神经网络模型：yolov5是神经网络算法中的一种速度快且精度高的one-stage目标检测模型，包括输入层、隐藏层和输出层，网络训练过程是“前向传播+反向反馈”的过程，在反馈的过程中根据损失函数不管迭代更新网络参数，使得网络预测与样本标签距离最小。

41、本发明所述的一种基于无人机的高速公路混凝土路面裂缝检测方法，为科学评定公路技术状况和服务水平，促进公路技术状况检测和评定工作的科学化、规范化和制度化制定公路技术状况评定标准，其中从裂缝宽度对裂缝严重程度评定标准如表1所示：

42、表1路面裂缝评定标注

43、

44、本发明所述的一种基于无人机的高速公路混凝土路面裂缝检测方法，针对的检测对象为破损程度为轻度及以上的裂缝。

45、本发明所述的一种基于无人机的高速公路混凝土路面裂缝检测方法，无人机代替人工或巡检车对高速公路进行巡检，节约了人力和物力，降低了日常巡检成本，提高了巡检的速度；yolov5模型本身具有结构精简，检测速度快、精度高的突出优势，基于yolov5神经网络模型针对高速公路裂缝小的特点进行优化，提高模型对裂缝检测的精度和速度；检测人员可以实时查看高速公路的路面裂缝及其他情况。

46、本发明所述的一种基于无人机的高速公路混凝土路面裂缝检测方法，提出的一种新型且先进的全自动检测方式，将无人机与优化的神经网络算法yolov5结合，实现实时的精准检测，克服了之前方法的不足，在巡检的质量、效率与成本上都有较大的改善。