一种道路损伤检测方法及系统

本发明涉及图像检测，具体涉及一种道路损伤检测方法及系统。

背景技术：

1、目前道路损伤的检测方式主要分为传统的数字图像处理和机器学习的方法。使用传统的数字图像处理方式，如小波变换、阈值分割、边缘检测等来检测道路损伤可能会因大量不确定的环境因素（如大雾、光线等）使得检测精度大大降低。

2、为了解决这些问题，学者尝试使用机器学习的方法来对道路损伤进行检测，如提出的一种基于随即结构森林的用于道路损伤检测的全新框架以及提出的用来检测道路损伤的两种基于区域剖析和正交轴特征笛卡尔剖析的新特征提取方法。近年来，机器学习中的深度学习方法以其卓越的表现在各个行业中都非常受到重视。许多学者尝试使用基于深度学习的方法来对道路损伤进行检测如一种用于道路损伤检测的全新网络架构。

3、目前基于深度学习的目标检测方法主要分为两阶段目标检测方法和一阶段目标检测方法。其中两阶段目标检测方法的代表主要有r-cnn、fast r-cnn、faster r-cnn等，两阶段目标检测方法虽然在精度上可能存在优势，但是对于道路损伤检测这一实时性要求较高的领域，可能在检测速度上有所欠缺；一阶段目标检测方法的代表主要有ssd、yolo系列、retinanet等，一阶段目标检测方法在检测精度与检测速度上均有着不错的表现，能够很好地符合道路损伤检测任务的实时性要求。

4、然而道路损伤检测任务通常存在随着车辆行驶中距离道路损伤区域的远近产生的道路损伤区域在视野中的覆盖范围变化等问题，现有的检测方法中单一的感受野无法很好地去应对以上情况等原因，从而导致像素灰度值接近道路损伤处的灰度值，降低了损伤模型检测时的准确性。

技术实现思路

1、针对现有技术中单一的感受野无法很好地解决道路危害在视野中的覆盖区域会随着车辆行驶过程中距离的远近而不断发生变化的问题，降低了损伤模型检测时的准确性的不足，本发明提出一种道路损伤检测方法及系统，从而解决现有技术中单一的感受野无法很好地解决道路危害在视野中的覆盖区域会随着车辆行驶过程中距离的远近而不断发生变化，降低了损伤模型检测时的准确性的问题。

2、一种道路损伤检测方法，包括：

3、获取待检测道路的图像数据；

4、基于yolox网络架构，以多尺度通道混洗融合卷积msfconv为基础构建多尺度通道混洗融合管道msftube模块，以msftube模块为基础搭建msflayer模块，采用msflayer模块代替csplayer模块，msftube模块替换csplayer模块中的bottleneck模块，以深度可分离通道混洗卷积dsfconv搭建出具有多尺度提取能力的msfhead；进而构建出msf-yolo道路损伤检测模型；

5、将待检测道路的图像数据输入所述msf-yolo道路损伤检测模型中，通过msftube模块提取不同大小感受野以及多通道信息交互的特征层；

6、通过msflayer模块对msftube模块提取到的特征层进行特征融合，获得具有多尺度跨通道交互信息的特征层；

7、将具有多尺度跨通道交互信息的特征层输入msfhead，提取出图像特征图；

8、根据图像特征图获得待检测道路损伤的检测图像。

9、进一步地，所述通过msftube模块提取不同大小感受野以及多通道信息交互的特征层包括两种处理过程：保持其自身原有的特征信息；或通过msfconv获取具有不同大小感受野以及通道信息充分交互的特征层，并通过一个baseconv整合各感受野的信息。

10、进一步地，所述通过msfconv获取具有不同大小感受野以及通道信息充分交互的特征层，其包括以下步骤：

11、通过1×1卷积聚合通道信息并调整通道数；

12、使用3×3卷积核大小的卷积提取特征；

13、将提取的特征通过3×3卷积核大小dilation为2的卷积进行特征提取；

14、将提取到的特征送入3×3卷积核大小dilation为3的卷积进行特征提取。

15、进一步地，还包括在提取不同大小感受野的过程中加入残差策略，对持续叠加的多重感受野分别分配四个参数权重w1，w2，w3，w4，通过concat函数对多重感受野进行融合并且通过channel shuffle操作来使各个不同的感受野充分交互特征信息。

16、进一步地，所述通过msftube模块提取不同大小感受野以及多通道信息交互的特征层，其具体过程表示为：

17、

18、

19、

20、

21、

22、

23、

24、

25、其中，表示输入特征层，、、、表示msfconv中四种不同尺度大小的特征信息，为不同尺度大小的特征信息通过channel shuffle fusion操作后打破不同尺度间信息鸿沟的新特征层，分别为1×1卷积层，以及代表卷积空洞率{1，2，3}时的3×3卷积层，表示channel shuffle操作，表示5个用于自适应通道交互信息的权重参数，表示经过1×1卷积层整合特征信息后的特征层，表示经过channel shuffle操作后的具有不同于之前的通道交互信息的新特征层，表示具有多尺度跨通道交互特性的全新特征层。

26、进一步地，所述msftube模块提取到的特征层输入msflayer模块中分为两条路线进行，分别为做残差结构保持原始信息，或经过n个msftube模块提取特征，并将提取到的特征层经过channel shuffle操作得到新特征层。

27、进一步地，所述通过msflayer模块对msftube模块提取到的特征层进行特征融合，其包括将原始特征层与经过n个msftube模块提取的特征层相加融合，或将原始特征层与经过n个msftube模块提取的特征层再经过channel shuffle操作后的新特征层进行跨通道相加融合。

28、进一步地，所述msfhead通过将neck层输出的特征层分两条路线进行特征融合，分别完成特征的分类预测；其两条特征融合路线包括：

29、所述msfhead通过dsfconv将原始特征层与进行dwconv操作后的特征层进行相加融合；

30、或将所述进行dwconv操作后的特征层通过channel shuffle操作得到新特征层，将原始特征层与新特征层相接融合。

31、进一步地，所述道路损伤的类别包括纵向裂缝、横向裂缝、龟裂、坑洞、十字路口模糊、白线模糊以及井盖七种类别。

32、进一步地，一种道路损伤检测系统，包括：

33、采集模块，用于获取待检测道路的图像数据；

34、模型构建模块，用于基于yolox网络架构，以多尺度通道混洗融合卷积msfconv为基础构建多尺度通道混洗融合管道msftube模块，以msftube模块为基础搭建msflayer模块，以能够同时表征原通道间关联信息与跨通道交互信息的深度可分离通道混洗卷积dsfconv提出具有多尺度提取能力的msfhead；进而构建出msf-yolo道路损伤检测模型；

35、第一特征提取模块，用于将待检测道路的图像数据输入所述msf-yolo道路损伤检测模型中，通过msftube模块提取不同大小感受野以及多通道信息交互的特征层；

36、特征融合模块，用于通过msflayer模块对msftube模块提取到的特征层进行特征融合，获得具有多尺度跨通道交互信息的特征层；

37、第二特征提取模块，用于将具有多尺度跨通道交互信息的特征层输入msfhead，提取出图像特征图；

38、检测模块，用于根据图像特征图获得待检测道路损伤的检测图像。

39、本发明提供了一种道路损伤检测方法及系统，具备以下有益效果：

40、本发明基于yolox网络架构，以多尺度通道交互的思想设计出msfconv，msfconv可以减轻道路危害区域尺度大小变化对网络的影响，并减轻了不同尺度大小的特征之间的信息鸿沟；同时以msfconv为基础设计msftube，改变了以往的bottleneck特征提取形式，以直筒状的特征提取方式保护了丰富的通道信息，并使得提取到的特征能够与原始信息进行更多通道层面的信息交互；以msftube为基础搭建msflayer，抛弃传统先降维再提取特征这一可能会损害通道间关联信息的模式，采用不降维的方式提取特征，并通过通道交互信息自适应来赋予网络更多可调节的通道间关联信息，并提出了一种能同时表征原通道间关联信息与跨通道交互信息的深度可分离卷积dsfconv，并且以dsfconv为基础设计了一种具有多尺度特征提取能力的msfhead，提高了模型检测的准确性，从而减少因道路危害所造成的事故，提高驾驶安全性。