一种基于特征协同的道路早期病害视觉检测方法及系统与流程

本发明涉及道路早期病害视觉检测，特别是涉及一种基于特征协同的道路早期病害视觉检测方法及系统。

背景技术：

1、本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

2、道路病害检测已经成为公路管理部门的核心业务，但现有的检测理论与关键技术仍难以满足精细化的检测需求。针对传统的人工检测存在的成本高、效率低、安全性差、主观性强等问题，研究者们提出了多种无损检测方法，包括超声波检测、激光检测、探地雷达检测、红外检测等。由于在可视化、溯源性等方面的优势，基于计算机视觉的道路病害检测在理论研究与实际应用方面均取得了一定的进展。

3、但目前的道路早期病害检测和研究主要集中在路面视觉检测上。然而，许多病害并不会直接在路面上显示出来，初期形成的裂缝、变形等问题更多隐藏在路基内部，导致这些潜在问题在路面上表现出来之前就已经严重影响了道路的结构健康状况。例如，在改扩建高速公路场景中，新旧路基下地基的固结度不同，受路基填料自重等因素影响，不可避免地会出现新旧路基差异化沉降，导致路面结构开裂。这些潜在病害很难通过常规的路面图像进行监测和识别，因此需要结合路基探地雷达图像和路面工业相机图像，以全面、准确地评估道路的病害状况。

4、在当前道路病害视觉检测系统中，路基和路面图像分析系统分别用于完成路基病害和路面病害的检测任务，但相应的图像采集和分析系统却缺乏协同和交互，检测任务也大都是独立进行。现有道路病害视觉检测系统大多分别对路基和路面病害图像进行分析，数据综合利用率低，难以实现不同模态数据的信息互补，导致现有检测技术在不同环境因素下的检测性能差异较大。检测模型碎片化问题严重，难以挖掘不同检测任务在特征形态、发生机理等方面的关联性，导致检测系统的综合性能有待提高。如何充分挖掘路基和路面两种图像间的互补属性并充分利用它们的优势是解决上述问题的有效途径。

5、由于各种因素，可能会出现道路病害在路基和路面上的位置存在偏差的情况。例如，路基下方的地基问题、地下水位、气候变化等都可能导致路面和路基的不均匀下沉或隆起，都可能使道路病害在路基和路面上的位置发生偏差。如何进行图像预处理，来保证路基图像和路面图像特征融合的顺利进行，也是道路病害检测的关键问题。

6、申请号为201710430770.3，发明名称为“一种多功能的道路ct综合检测车”的发明专利，提供了一种多功能的道路ct综合检测车,能集道路表面视觉检测、激光检测、探地雷达检测、光照度检测、摩擦系数检测于一体，实现无损、高效、连续检测。但这种道路病害检测方法没有将道路表面和道路内部的状况进行综合考虑，数据之间缺乏协同和交互。

技术实现思路

1、为了解决现有技术的不足，本发明提供了一种基于特征协同的道路早期病害视觉检测方法及系统；本方法利用探地雷达和工业相机分别采集路基和路面病害图像，通过编码器、gps系统和显著性检测算法使探地雷达和工业相机二者采集到的图像保持时空对应关系；利用图像对齐技术保证路基图像和路面图像中的道路病害在图像中的相同位置；利用共享编码网络同时提取路基和路面病害图像特征，并通过交互自适应相关运算协同使用路基特征和路面特征，实现路基与路面图像特征的交互协同与信息互补，得到互补融合特征；将融合特征输入到特征解码网络，输出道路病害检测结果。

2、一方面，提供了一种基于特征协同的道路早期病害视觉检测方法；

3、一种基于特征协同的道路早期病害视觉检测方法，包括：

4、获取待检测路面图像和待检测路基图像；所述待检测路基图像是待检测路面图像采集位置处的路基图像；

5、将待检测路面图像和待检测路基图像进行图像对齐处理，以保证道路病害在待检测路面图像和待检测路基图像中的空间位置是对应的；

6、将对齐后的待检测路面图像和对齐后的待检测路基图像，均输入到训练后的道路早期病害视觉检测模型中，输出道路早期病害分类标签；

7、其中，训练后的道路早期病害视觉检测模型，用于对待检测路面图像和待检测路基图像分别进行特征提取，将提取的路面特征和路基特征进行特征融合得到融合特征；将融合特征进行分类，得到分类标签。

8、另一方面，提供了一种基于特征协同的道路早期病害视觉检测系统；

9、一种基于特征协同的道路早期病害视觉检测系统，包括：

10、获取模块，其被配置为：获取待检测路面图像和待检测路基图像；所述待检测路基图像是待检测路面图像采集位置处的路基图像；

11、对齐模块，其被配置为：将待检测路面图像和待检测路基图像进行图像对齐处理，以保证道路病害在待检测路面图像和待检测路基图像中的空间位置是对应的；

12、输出模块，其被配置为：将对齐后的待检测路面图像和对齐后的待检测路基图像，均输入到训练后的道路早期病害视觉检测模型中，输出道路早期病害分类标签；

13、其中，训练后的道路早期病害视觉检测模型，用于对待检测路面图像和待检测路基图像分别进行特征提取，将提取的路面特征和路基特征进行特征融合得到融合特征；将融合特征进行分类，得到分类标签。

14、再一方面，还提供了一种电子设备，包括：

15、存储器，用于非暂时性存储计算机可读指令；以及

16、处理器，用于运行所述计算机可读指令，

17、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

18、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

19、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

20、上述技术方案具有如下优点或有益效果：

21、(1)许多早期道路病害在路面上表现不明显，但会在路基中先显现出来。路基中的问题如果得不到及时发现和解决，可能会导致较严重的后果，如路基沉陷、路面坑洼等，甚至可能引发交通事故。本发明提出的路基路面图像特征融合方法可以增加道路病害检测的灵敏度和鲁棒性，对于解决道路早期病害在路面上不明显的问题具有重要的意义和价值。这样的融合分析可以帮助道路维护人员更早地识别并解决潜在问题，有助于提前采取预防性维护措施，延长道路寿命，减少维护成本，确保道路的安全性和可靠性。

22、(2)本发明首次提出了将路面rgb图像和时空对应的路基探地雷达图像进行特征融合来对道路病害进行识别的思路，并提供了一种可能的具体实现方法。

23、(3)本发明针对图像特征融合过程中可能出现的情况，即道路病害在路基和路面上的位置不对应的情况，提出了一套完整的图像预处理方法。首先，在连续的探地雷达图像上利用显著性检测算法裁剪得到路基图像，图像能够保证包含与路面图像相同的道路病害。然后通过图像对齐的方法，使包含同一病害的路基路面图像尽可能地一致(图像大小一致、病害在图像中的位置一致)。