一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统

本发明属于目标检测领域，尤其涉及一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、道路桥梁的表面由于直接接触车辆荷载，病害出现更加频繁。车辆荷载引起路基路面等形变产生的剥落、车辙、横向裂缝、纵向裂缝、坑槽、松散、沉陷等缺陷对行车舒适性、交通安全等均会造成不利影响，其中裂缝是最为常见的病害，且作为评价路面质量最为重要参数之一，是大部分病害初期表现形式，因此，对道路裂缝的及时检测至关重要。

3、传统的人工检测方法，主要依靠道路养护人员进行实地勘探测量和评价分析，这种方法耗时较长、准确性较差、且易受人为因素的干扰。近年来，伴随着计算机处理能力的不断提升以及深度学习和人工智能的崛起，开始使用深度学习技术来进行道路裂缝检测。

4、基于目标检测的道路裂缝检测算法一直是该领域的研究热点。目标检测算法按照识别阶段分为两类，一阶段检测网络和两阶段检测网络，两阶段检测网络的代表性算法有mask r-cnn和faster r-cnn等，两阶段模型的候选区域过多，导致计算量大，检测速度慢。一阶段检测网络以ssd和yolo系列为代表，yolov8为yolo系列最新版本，相比于其他早期版本性能有所提升。两阶段检测算法涉及大量的参数和计算，使得检测速度受到严重限制。

5、公开号为cn116402750a的发明，将形态学运算与yolov5相结合，共同进行道路裂缝检测。通过形态学运算提取裂缝特征，选用yolov5网络进行模型训练，将原始裂缝图像经过形态学运算裂缝特征处理后，作为yolov5模型的输入进行目标检测，有效提高了检测精度，降低了漏检和误检率。

6、公开号为cn117078591a的发明，对yolov8网络进行改进，改进的yolov8s网络在yolov8s网络的backbone 网络和neck网络中添加协调注意力机制层ca，并在原yolov8s网络的neck网络中添加p2ca模块，使用改进的yolov8网络进行道路裂缝检测有效提高了检测精度。

7、发明人发现，上述方案虽然提升了裂缝检测的精度，但是模型参数量与计算量较大，无法实现边缘设备的部署，也未考虑到细小裂缝的检测问题。

8、相关文献“基于改进yolov8的嵌入式道路裂缝检测算法”提出一种改进yolov8轻量化算法，使用部分卷积设计了faster block结构，用以替换yolov8 c2f模块中的bottleneck结构，在yolov8主干网络中的每个c2f-faster模块之后接一个se通道注意力层，进一步提高检测的精度，尽管所提模型有一定的轻量化，但在轻量化和精度之间没有很好的权衡。

9、综上，现有的基于深度学习的道路裂缝检测方法效果不佳，主要有以下不足：(1)没有考虑复杂背景条件以及裂缝的大小尺度不一的问题。(2)不能利用轻量化的模型进行高精度的裂缝检测。

技术实现思路

1、为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种自适应裂缝尺寸的轻量化道路裂缝检测方法及系统，其在保证轻量化模型的基础上提升多种尺度大小的裂缝检测的准确率。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种自适应裂缝尺寸的轻量化道路裂缝检测方法，包括如下步骤：

4、获取道路裂缝图像数据；

5、结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

6、其中，所述道路裂缝检测模型的构建过程包括：

7、对道路裂缝图像数据特征提取时，在yolov8n模型中空间金字塔模块上一层的c2f模块中，引入带有选择性内核卷积注意力机制的c2f_sk模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；

8、对包含不同尺度裂缝信息的特征图进行融合，将yolov8n模型中neck部分的标准卷积替换为轻量化卷积gsconv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。

9、进一步地，所述c2f_sk模块首先经过第一卷积，第一卷积的输出经过通道分割split操作之后，沿通道维度分成两部分，每部分的操作如下：第一部分不进行任何操作，直接作为结果之一，后续进行concat，第二部分作为输入，依次经过n个sk_bottleneck模块，每个bottleneck模块包含第二卷积和第三卷积，在第二卷积和第三卷积的残差连接之后加入sk注意力机制，组成sk-bottleneck，最后将两部分的结果concat。

10、进一步地，所述引入带有选择性内核卷积注意力机制的c2f_sk模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图，包括：

11、带有选择性内核卷积注意力机制的c2f_sk模块通过三个算子split、fuse和select来实现根据裂缝图像的大小动态选择卷积核的大小；

12、通过split算子对特征图进行多分支分离卷积，各分支使用不同的卷积核进行特征提取得到多个分支的特征图提取结果；

13、通过fuse算子将多个分支的特征图提取结果相加；

14、通过select算子将多个分支的特征图相加的结果乘以多分支提取的特征图结果，得到最终的特征图。

15、进一步地，所述轻量化卷积gsconv包括标准卷积、深度可分离卷积、concat模块和通道重排模块；

16、将通过标准卷积获取的特征图和通过深度可分离卷积得到的通道分离的特征图使用concat模块拼接得到第一特征图；

17、基于第一特征图，通过通道重排模块，进行通道重排操作，让之前标准卷积和深度可分离卷积对应通道数挨在一起，增加不同通道之间的信息交流，得到第二特征图。

18、进一步地，道路裂缝检测模型训练时，将ciou损失函数替换为inner-ciou损失函数，通过inner-ciou损失函数，使用辅助边界框来进行计算，使用比例因子比例控制来生成不同尺度的辅助边界框来计算损失。

19、进一步地，所述inner-ciou损失函数的计算过程为：

20、计算ground truth框的辅助计算框的上下左右边界；

21、计算预测框的辅助计算框的边界；

22、分别计算预测框和ground truth框的辅助框的交集面积和并集面积；

23、利用交集面积inter和并集面积union计算inner-ciou。

24、进一步地，获取道路裂缝图像数据后，对道路裂缝图像数据进行预处理，包括图像的标注和图像的增强。

25、进一步地，所述道路裂缝图像数据包括横向裂缝、纵向裂缝、斜向裂缝、鳄鱼裂缝、修补及坑洞六种道路裂缝病害图像。

26、进一步地，所述方法还包括对训练后的道路裂缝检测模型进行性能评估，使用各类别的准确率、召回率、平均准确率均值以及模型参数量、fps指标进行评估。

27、本发明的第二个方面提供一种自适应裂缝尺寸的轻量化道路裂缝检测系统，包括：

28、图像获取模块，被配置为：获取道路裂缝图像数据；

29、裂缝检测模块，被配置为：结合道路裂缝图像数据和训练后的道路裂缝检测模型对道路裂缝进行检测，得到裂缝检测结果；

30、其中，所述道路裂缝检测模型的构建过程包括：

31、对道路裂缝图像数据特征提取时，在yolov8n模型中空间金字塔模块上一层的c2f模块中，引入带有选择性内核卷积注意力机制的c2f_sk模块，根据特征图中裂缝的大小动态选择卷积核的大小，自适应调整感受野大小，提取包括不同裂缝的信息的特征图；

32、对包含不同尺度裂缝信息的特征图进行融合，将yolov8n模型中neck部分的标准卷积替换为轻量化卷积gsconv，将获得的通道分离的特征图，通过通道重排操作，融合不同通道之间的裂缝特征信息。

33、与现有技术相比，本发明的有益效果是：

34、1、针对裂缝图像数据集中的裂缝尺度大小不一，仅使用单一的感受野提取特征，造成检测精度低的问题，本发明引入的融合注意力机制的c2f_sk作用在特征图之上，具体来说将带有sk注意力机制的sk_bottleneck来替换yolov8n中c2f模块中的bottleneck，构成新的c2f_sk模块，其中的sk模块可以根据输入特征图中的裂缝大小自适应的调整其感受野，通过获取特征图中的可用注意力信息，使得网络更加关注具有重要信息地特征，更加适用于目标尺寸不均匀的复杂道路场景，从而提高检测精度，达到更好的任务效果，传递更加丰富的梯度流信息。

35、2、针对裂缝检测需要具有实时性的需求，在yolov8n网络的neck部分用轻量级的gsconv代替标准卷积，加强网络特征融合的能力，降低了计算和网络结构的复杂性，但保持了足够的准确性，加快了推理速度。

36、3、本发明采用inner-ciou loss作为目标框回归损失函数，由于inner-ciou loss从重叠面积、中心点距离和长宽比三个角度进行衡量，使得对中心点偏移和比例变化损失更敏感，更好地处理重叠目标和尺度变化，减少锚框数量，提升网络运行速度，inner-ciou替换原yolov8n中用于计算回归损失的ciou，可以获得更快的收敛速度和更准确的回归结果。

37、与现有的道路缺陷检测模型相比，本发明最后训练出来的模型在保证轻量化的同时，具有更快的速度，更高的裂缝检测精度和更多的裂缝检测类别；完全满足实时检测的要求；具有可移植性和扩展性，更容易与硬件设备结合。

38、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。