一种全景影像中路面表观病害自动检测方法与流程

本发明涉及一种全景影像中路面表观病害自动检测方法，属于道路病害检测。

背景技术：

1、公路在现代交通运输中起着重要作用，但公路路面病害是一个普遍存在的问题，影响交通安全和舒适性，增加了维护和修复成本。目前，公路表观病害的巡检主要依靠人工巡检和激光雷达专用监测车两种方式。然而，这些方式都存在一些局限性，如纯人工上报耗时耗力且存在安全隐患，激光雷达专用监测车造价昂贵，需要专业人员操作，低速行驶状态下影响日常交通。

2、随着相机、智能手机的普及，基于图像的方法被广泛运用，但路面与病害之间对比度较低、病害大小不规则和形状随机、图像中存在阴影，因此开发一种高效的基于视觉的路面病害自动检测方法一直具有挑战性。

3、目前基于图像的路面病害检测方法可分为手动特征提取和自动特征提取方法。手动特征提取的方法主要包括阈值分割、边缘检测、区域生长算法，在病害图像局部信息的检测中，通常会使用各种滤波器，如形态学滤波、统计滤波、中值滤波等。手动特征提取的方法需要人为选定阈值，模型泛化能力差，难以实现自动化检测。近年来随着机器学习的发展，采用人工智能技术对路面病害进行高效、自动化特征提取和数字化分析成为道路养护新趋势。

技术实现思路

1、为了解决现有技术的不足，本发明提供一种基于深度学习的全景影像中路面表观病害自动检测方法，通过新的标注准则和基于anchor-free的方法，实现了路面表观病害的准确检测，该方法具有应对路面病害尺寸不规则性和形状随机性的优势，可以应用于城市道路、高速公路以及国省道的路面表观病害检测。

2、本发明采用以下技术方案：

3、一种全景影像中路面表观病害自动检测方法，包括如下步骤：

4、s1：从道路真实场景获得路面图像；

5、s2：筛选步骤s1获得的影像，挑选出含有病害的数据，使用专业标注软件labelimg进行标注，形成道路病害数据集；

6、s3：将数据集进行数据增强，并划分道路病害数据集，将数据集划分为训练集、验证集、测试集，划分比例为8:1:1，将划分好的数据集导入改进的yolov5网络模型进行训练；

7、s4：训练结束后保留最好模型，用于预测路面数据，输出道路病害数据并统计病害信息。

8、优选的，步骤s1的具体步骤如下：

9、使用移动测量设备采集不同天气、不同时间、不同交通状况下的道路全景影像，并对获取的全景图像进行裁剪，只保留路面部分。

10、优选的，步骤s2的具体步骤如下：

11、s21：挑选步骤s11得到的图像构建含有道路病害的数据集；

12、s22：将所得道路真实图像使用专业标注工具labelimg进行逐张标注，标注完每张图像对应一个xml文件，使用labelimg分别在道路病害在对应病害位置进行标注，主要标注4种病害分别为：裂缝(crack)、坑槽(pit)、龟裂(chap)、剥落(spalling)；

13、s23：使用正交骨架线法统计裂缝、龟裂平均像素宽度作为数据集所用的裂缝平均宽度，将一条裂缝分成多个对象实例进行标注，要求每个标注框的中心点与裂缝的距离不超过5个裂缝平均宽度(以标注框中心点作为圆心，5个平均裂缝宽度作为半径进行做圆，圆内存在裂缝，则说明标注框的中心点与裂缝的距离不超过5个平均裂缝宽度)，对标注框的大小和长宽比进行限制，要求长宽比不大于4且最长边不大于四分之一图像大小。

14、优选的，步骤s23中，统计裂缝、龟裂平均像素宽度的具体步骤为：

15、首先，随机挑选含有道路病害的数据集的1/10，使用labelme标注软件对裂缝、龟裂进行像素级别的标注，标注为json格式，并将图像二值化处理，转为黑白二值图像，用0像素值代表背景，用255像素值代表裂缝，将裂缝、龟裂区域和背景区域分开；

16、然后，对每个二值化的图像应用正交骨架线法，得到裂缝、龟裂区域的拓扑骨架；对每条骨架线，计算其与其两侧边缘的最短距离，作为该骨架线上每个像素点的宽度；

17、接着，对每张图像，计算所有骨架线上所有像素点的宽度之和，并除以像素点的个数，得到该图像的平均像素宽度；

18、最后，对所有图像，计算所有图像的平均像素宽度之和，并除以图像的个数，得到数据集所用的裂缝平均宽度。

19、优选的，步骤s23中，判断每个标注框的中心点与裂缝的距离是否超过5个裂缝平均宽度的过程为：

20、首先，计算标注框的中心点，即标注框的左上角和右下角的坐标的平均值；

21、然后，以标注框中心点为圆心，5个裂缝平均宽度为半径，画一个圆，检查圆内是否有裂缝区域，如果有，则说明标注框的中心点与裂缝的距离不超过5个裂缝平均宽度，否则，说明标注框的中心点与裂缝的距离超过了5个裂缝平均宽度。

22、本发明对裂缝进行了更细致的标注，要求每个标注框的中心点与裂缝的距离不超过5个裂缝平均宽度，并对标注框的大小和长宽比进行了限制，从而提高了裂缝检测的准确性和一致性。

23、优选的，步骤s3的具体步骤如下：

24、s31：对标注后的图像进行数据增强，包括对图像进行亮度变换、色彩空间调整、mosaic增强、自适应锚框计算、图像缩放等处理手段；

25、不同的数据增强方法可能会对不同的目标检测模型产生不同的影响，因此需要根据具体的任务和模型来选择合适的数据增强方法。本发明的数据增强：病害区域裁剪与融合，与现有的目标合成方法不同的是，本发明只裁剪和融合病害区域，而不是整个目标，这样可以更好地保留道路的结构和纹理信息，从而提高模型对病害的检测能力。

26、病害区域裁剪与融合：对图像进行病害区域的裁剪与融合，即从一个图像中随机地裁剪出一个或多个病害区域，然后将其随机地放置到另一个图像中，从而生成新的图像，可以更好地保留道路的结构和纹理信息，从而提高模型对病害的检测能力。

27、实现步骤如下：

28、首先，对每张病害图像进行像素级别标注并生成病害二值图，将病害区域和背景区域分开；

29、然后，对每个二值化图像应用连通域分析，得到每个病害区域的位置和大小；

30、接着，从每个二值化图像中随机地选择一个或多个病害区域，根据其位置和大小，在原图像中裁剪出相应的病害区域，并保存其标注框的信息；

31、然后，从另一个二值化图像中随机地选择一个或多个位置，根据其大小，在原图像中融合相应的病害区域，并更新其标注框的信息；

32、最后，将融合后的图像和标注框的信息保存为新的数据样本。

33、s32：通过随机调整亮度至原亮度的0.35-1.2倍，随机平移(最大平移量至标注框边界处)、随机旋转(旋转角度范围为-15°至+15°)、水平镜像翻转并矫正标注框坐标的方式对得到的已标注后的所有样本图像进行增广；

34、s33：添加图像总数的四分之一到五分之一的含有阴影、车辆等复杂场景下的无病害图像作为负样本，负样本要求是在识别过程中易错识别的影像和背景影像，提高了模型对复杂背景下病害检测的鲁棒性；

35、s34：改进的yolov5网络模型由四部分组成：输入端、主干网络backbone、颈部网络neck和头部结构head，将改进的yolov5网络模型的回归阶段(回归阶段是指模型在特征图上的每个位置预测目标的边界框的过程，通常使用回归损失函数来衡量预测边框与真实框之间的差异；回归阶段与分类阶段相对应，分类阶段是指模型在特征图上的每个位置预测目标的类别概率的过程，通常使用分类损失函数来衡量预测类别与真实类别之间的差异)修改为anchor-free结构，新的头部结构head共有三个输出分支：类别输出分支classification、回归输出分支regression、中心点输出分支center-ness，其中类别输出分支classification在对输入图像进行卷积、采样计算处理后的输出图，即特征图上的每个位置都会进行一次类别预测，即判断该位置是否存在裂缝；回归输出分支regression在特征图上的每个位置都会进行四个距离参数的预测，即预测该位置与标注框中心点远近程度，四个距离参数是指l*、t*、r*、b*，l*、t*、r*、b*分别指映射坐标到与其相关联真实框的左边、上边、右边、下边四条边的距离，映射坐标是指特征图上的每个位置对应到原始图像上的坐标；中心点输出分支center-ness在特征图上的每个位置进行一个归一化参数预测，反映了该位置距离目标中心的远近程度，预测值域在[0,1]之间，距离中心越近center-ness越接近1；center-ness定义如式(1)：

36、

37、由于特征图的尺寸通常比原始图像小，所以需要进行一个缩放和偏移的操作，才能找到对应的坐标，设特征图ni上的某一空间位置为a(x，y)，其中，x和y是映射坐标，按照当前层级的下采样数si可得其在输入图像上对应感受野区域的中心坐标a`＝si/2+xsi，si/2+ysi；如果a`落在了真实标注框g内，则将a看做训练阶段的正样本，反之，则全部视为负样本点；

38、s35：根据电脑配置设置超参数；超参数是指在模型训练之前需要人为设定的参数，例如学习率、批量大小、优化器等；不同的电脑配置可能会影响超参数的选择，例如内存大小、显存大小、cpu核数等。一般来说，超参数的设置需要根据实验效果进行调整，没有一个固定的标准，但是可以参考一些经验或者使用一些自动化的方法来寻找合适的超参数。下面介绍一些常见的超参数和可能的取值范围：

39、学习率：控制模型参数更新的速度，过大可能导致震荡或者不收敛，过小可能导致收敛速度慢或者陷入局部最优。一般可以从一个较大的值开始，逐渐减小，或者使用一些自适应的学习率调整策略，例如余弦退火、指数衰减等，常见的取值范围是[1e-5,1e-1]。

40、批量大小：控制每次输入模型的样本数量，过大可能导致内存不足或者泛化能力下降，过小可能导致梯度方差大或者收敛速度慢。一般可以根据电脑配置选择一个合适的值，或者使用一些自适应的批量大小调整策略，例如渐进式批量大小增加等，常见的取值范围是[16,256]。

41、优化器：控制模型参数更新的算法，不同的优化器可能有不同的收敛速度和稳定性。一般可以选择一些常用的优化器，例如sgd、adam、rmsprop等，并根据实验效果进行调整。不同的优化器可能还有一些其他的超参数，例如动量、权重衰减等，也需要根据实验效果进行调整。

42、s36：模型通过不断迭代计算预测边框与真实框之间的损失，并按照损失值反向传播梯度来更新模型，直至参数减少并收敛至一个取值区间，对应回归阶段的三个损失函数；

43、预测边框是指模型在特征图上的每个位置输出的四个距离参数，可以用来计算边框的中心点和宽高，真实框是指图像中目标的真实位置和大小，通常由人工标注或者其他方法获取。步骤s2中采用labelimg标注的标注框就是真实框。模型通过不断迭代计算预测边框与真实框之间的损失，就是要让预测边框尽可能地接近真实框，从而提高检测的准确性。

44、参数即需要学习的权重和偏置，决定了模型的表达能力和泛化能力，参数通过损失函数的反向传播梯度来更新，目的是要找到一个最优的参数值，使得损失函数达到最小。

45、回归阶段的三个损失函数由分类损失lcls、定位损失lreg、center-ness损失lcen构成，定义如式(2)：

46、

47、其中，px,y表示在特征图(x,y)点处预测的每个类别的score，即该位置属于某个类别的概率，它是由模型的分类分支输出的一个向量，长度等于类别数，通过softmax函数归一化得到；tx,y表示在特征图(x,y)点处预测的目标边界框信息；sx,y表示在特征图(x,y)点处预测的center-ness，即该位置距离目标中心的相对距离。它是由模型的center-ness分支输出的一个标量，范围在[0,1]之间，通过sigmoid函数归一化得到；npos表示正样本的数量，即特征图上所有被匹配为正样本的位置的个数；lcls表示分类损失，即预测类别与真实类别之间的差异；表示在特征图(x,y)点对应的真实类别标签；表示当特征图(x,y)点被匹配为正样本时为1，否则为0；lreg表示定位损失，即预测边框与真实框之间的差异，使用了iou loss函数，可以有效地提高边框的定位精度；表示在特征图(x,y)点对应的真实目标边界框信息；lcen表示center-ness损失，即预测center-ness与真实center-ness之间的差异；表示在特征图(x,y)点对应的真实center-ness，表示在特征图(x,y)点对应的真实center-ness，即该位置与其相关联的真实框中心点的相对距离，范围在[0,1]之间，由式(1)计算得到。

48、s37：采用梯度下降法进行训练，计算网络更新后的参数，即权重值和偏重值，当损失函数中的loss值不在变化或达到最大迭代次数，停止训练，保存模型参数。

49、本发明的改进的yolov5网络模型的改进点在于，其一，使用了fcos的回归策略，即不使用锚框，而是直接预测目标与特征图上每个位置的四条边的距离，从而提高了回归精度和效率，其二，创新的数据增强：病害区域裁剪与融合，与现有的目标合成方法不同的是，它只裁剪和融合病害区域，而不是整个目标，这样可以更好地保留道路的结构和纹理信息，从而提高模型对病害的检测能力。

50、改进的yolov5网络模型的组成以及训练至收敛的过程如下：

51、模型由三个部分组成：backbone、neck和head。backbone用于提取图像特征，neck用于融合不同层次的特征，head用于输出预测结果。

52、head有三个分支：classification、regression和center-ness。classification分支用于预测每个位置的类别概率，regression分支用于预测每个位置与真实框的四条边的距离，center-ness分支用于预测每个位置与目标中心的相对距离。

53、模型的输入是一张图像，输出是三个分支的预测结果。每个分支的输出是一个列表，包含不同尺度的特征图。

54、模型的训练过程如下：

55、首先，将输入图像通过backbone和neck得到不同尺度的特征图；

56、然后，将每个尺度的特征图通过head得到对应尺度的预测结果；

57、接着，根据真实标注，对每个尺度的预测结果进行正负样本的匹配，以及真实框和真实center-ness的计算；

58、然后，根据匹配结果，计算每个尺度的分类损失、回归损失和center-ness损失，并将它们相加得到总损失；

59、最后，根据总损失，使用梯度下降法更新模型参数，并重复上述过程，直到损失不再变化或达到最大迭代次数为止。

60、优选的，步骤s4的具体步骤如下：

61、s41：将所得道路真实图像进行预处理，统一大小为2048*1024；

62、s42：将步骤s41得到的图像输入改进的yolov5网络模型进行预测，输出得到道路病害且附带标签，通过图像的位置信息可准确得到道路位置；图像的位置信息可以通过图像的元数据(metadata)体现出来，例如图像的拍摄时间、地点、方向、经纬度等。

63、s43：统计各类病害数量。

64、本发明用于解决路面表观病害检测中尺寸不规则性和形状随机性带来的挑战。首先，提出了新的标注准则，通过控制标注框宽高比和标注框中心距离病害中心点距离，实现了路面表观病害的标注。然后，引入基于anchor-free的方法，替代了yolov5网络模型中的anchor选取，解决了yolov5网络模型中anchor选取不合理导致的性能衰减问题，提高了检测精度。本发明在城市道路表观病害检测领域具有重要应用价值，可应用于制定合理的养护方案和保障道路安全。

65、本发明未详尽之处，均可参见现有技术。

66、本发明的有益效果为：

67、与现有技术相比，本发明提出了一种新的路面表观病害标注方法，通过在yolov5中引入anchor-free机制，解决了现有技术中路面病害尺寸不规则性和形状随机性的问题，从而改善了细长目标和小目标在图像识别中的识别效果。

68、改进后的yolov5网络模型相较于其前身，在保持同样高的检测精度的情况下，检测速度更快，能够在更短的时间内完成目标检测任务。此外，对于道路场景中的小目标检测能力得到了提升，提供了更高的检测精度。

69、改进后的yolov5网络模型具有更好的泛化能力，采用了数据增强方法和网络结构的改进，能够更好地适应不同场景下的目标检测任务。同时，由于网络结构的优化和精简，模型体积也比其前身更小，使得在移动设备上运行时更加轻便。此外，改进后的yolov5网络模型还支持多种硬件平台和框架，使得训练和部署更加易于进行，应用范围更广泛。

70、综上，本发明可以在保持或提高检测精度的同时，降低计算复杂度和内存占用，从而提高检测速度和资源利用率。本发明增加了目标的多样性和背景的复杂性，从而提高模型的泛化能力和鲁棒性，同时，也可以减少数据集的标注成本和时间，从而提高数据集的质量和效率。