一种基于目标先验的道床裂缝检测方法与流程

本发明涉及轨道交通病害检测，具体涉及一种基于目标先验的道床裂缝检测方法。

背景技术：

1、随着城市轨道交通的快速发展，轨道道床裂缝作为铁路轨道的重要病害，已成为铁路巡检的重点检测对象。但目前主要的研究都是基于传统的图像处理算法在灰度进行的裂缝检测,传统算法是针对同一种背景纹理和同一种材质进行的裂缝检测，无法适应复杂的线路条件，或是利用cnn卷积神经网络对在灰度图像上裂缝样本进行采集训练，之后对采集的裂缝数据进行切片，依次输入分类模型判断是否存在裂缝。

2、针对实际应用的轨道线路，所采集的图像中，包含了轨枕、扣件、钢轨、线缆、水沟、信号设备等对象，这些对象的边界与道床裂缝存在极大相似性，传统的图像边缘检测方法很难将其区分。因此，现有道床裂缝检测算法，只能在只包含平坦道床区域的图像中进行检测，无法在实际应用的线路上检测。近期，新提出的基于cnn的裂缝检测方法(ieeetransactions on image processing (volume:28,issue:3,march 2019)deepcrack:learning hierarchical convolutional features for crack detection)，也普遍针对混凝土、路面等简单场景，未见到针对地铁等复杂场景道床裂缝检测的方法。基于cnn的裂缝检测方法在实际应用中，还存在如下问题：

3、1)需要大量的裂缝样本图像，用于训练cnn卷积神经网络模型；

4、2)cnn卷积神经网络模型运行复杂度高、计算效率低，难以满足大批量数据检测需求。

5、针对上述问题，本发明提供一种基于目标先验的道床裂缝检测方法，该方法具有更强的环境适用性，可消除地铁环境下，道床区域复杂组件(轨枕、线缆、水沟、信号设备)等道床裂缝检测效果的干扰，并通过两级检测框架，有效提升检测效率。

技术实现思路

1、为了解决传统方法检测鲁棒性较低和深度学习病害样本量大、检测效率低等问题，本发明提出了一种基于目标先验的轨道道床裂缝检测方法，该方法针对城市地铁线路的复杂情况，先进行非裂缝区域检测，在剩余的区域中，进行疑似裂缝区域检测后，再通过疑似裂缝区域采样，用分类方法判断疑似裂缝区域是否未真实病害，可有效提升算法的准确性和稳定性，并大幅提升检测效率。

2、本发明采用的技术方案为：

3、一种基于目标先验的道床裂缝检测方法，包含以下步骤：

4、s1：采用视觉测量设备获取轨道图像；

5、s2：采用目标检测方法对轨道图像进行不易出现道床裂缝的区域检测，并将检出区域标记为非裂缝区域；

6、s3：对轨道图像中非裂缝区域外对应的图像进行图像梯度增强；

7、s4：在梯度增强后的图像上进行疑似裂缝区域检测，得到疑似裂缝区域；

8、s5：根据疑似裂缝区域位置信息，在原图像上进行疑似裂缝区域稠密采样，得到稠密采样图像块；

9、s6：采用图像分类方法，判断稠密采样图像块是否为真实裂缝病害；

10、s7:将真实裂缝病害对应的疑似裂缝区域进行区域连接，统计裂缝数量、长度和最大宽度。

11、所述视觉测量设备为线阵摄像机，用于获取轨道灰度图像。

12、所述不易出现道床裂缝的区域，包含但不限于钢轨、扣件、轨枕、线缆、水沟、信号设备、减振筒和水沟盖板。

13、所述图像梯度增强方法是：

14、s3-1：对原始图像去除椒盐噪声干扰；

15、s3-2：对原始图像进行傅里叶变换得到频域图像，对频域图像进行高斯滤波，将高频区域进行平滑，之后对高斯滤波后的频域图像进行傅里叶逆变换，得到平滑后空域图像；

16、s3-3:将原始图像与平滑后空域图像相减，得到梯度增强图像；

17、上述去除椒盐噪声的方法是中值滤波或开关中值滤波方法。

18、进一步地，在梯度增强图像上进行疑似裂缝区域检测的方法是：采用不同尺度的线滤波器检测不同粗细的裂缝，得到疑似裂缝区域r1；采用阈值分割方法找出强梯度区域r2；合并r1和r2得到r3,对r3进行骨架提取，得到r4、作为疑似裂缝区域。

19、所述疑似裂缝图像采样方法是：

20、s5-1:设置m*n的矩形采样窗口，以p个像素为步长，遍历区域r4；

21、s5-2:在遍历过程中,提取采样窗口中原始图像中像素作为疑似裂缝区域稠密采样图像块。

22、进一步地，前述疑似裂缝图像采样方法存在这样的问题：裂缝主方向是任意的，使裂缝样本分布空间散度变大，需要更好的、大量的裂缝样本用于训练疑似裂缝图像分类器。为解决该问题，一种更优的疑似裂缝图像采样方法是：

23、s5-1:设置m*n的矩形采样窗口，以p个像素为步长，遍历区域r4；

24、s5-2:在遍历过程中,在采样窗口内估计区域r的主方向e,旋转采样窗口、使其与主方向e对齐，在新采样窗口位置内，通过图像插值采样原始图像中像素构成稠密采样图像块。

25、这样做的好处是：使疑似裂缝图像中的边缘在水平方向上近似对齐，减小了裂缝图像在特征空间中的分布散度，有利于降低裂缝分类器的复杂度，提升裂缝分类器判断的精度和速度。

26、所述用于统计裂缝数量、长度和最大宽度参数的方法是：将裂缝区域连接，采用blob分析方法，计算裂缝数量；度量每一个裂缝的起点到终点的曼哈顿距离作为裂缝长度；从裂缝起点到终点进行遍历，取与局部主方向垂直方向上的最大宽度作为裂缝最大宽度。

27、所述目标检测方法包含基于hog+svm的目标检测或基于深度学习的目标检测方法，其中，基于深度学习的目标检测方法的模型包含：fasterrcnn深度学习目标检测网络模型或yolov5目标检测网络模型；

28、所述图像分类方法包含基于gmm或knn或src或svm或决策树或随机森林或深度学习分类，其中，深度学习分类方法的模型包含：resnet深度学习分类网络模型或mobilenetv3分类网络模型。

29、进一步地，所述视觉测量设备为3d相机，用于获取像素级对齐的轨道表面灰度图像和深度图像；在灰度图像和/或深度图像上进行不易出现道床裂缝的区域检测；在灰度图像采用梯度增强、线滤波器滤波和阈值分割方法进行疑似裂缝区域检测；在深度图像上采用图像差分、blob分析方法进行疑似裂缝区域检测，将两种图像检测的疑似裂缝区域合并作为最终的疑似裂缝区域。同时在灰度图像、深度图像上进行疑似裂缝区域稠密采样，并对两种图像的稠密采样图像块进行图像分类，用于判定疑似裂缝区域是否为真实病害。

30、本发明有益效果：

31、1、采用目标先验信息，提前进行非裂缝区域检测，在剩余区域中进行裂缝检测，可有效降低检测错误率

32、如图1所示，在地铁线路等场景中，道床图像包含钢轨、轨枕、扣件、线缆、信号设备、水沟等。这些对象的边缘，在获取的图像中容易产生疑似裂缝，给裂缝检测带来干扰。因此，对这些区域先进行目标检测，把这些不会出现裂缝的区域标记出来，剩下的区域就是我们进行道床裂缝检测的候选区域，在这些区域中，是容易产生真实裂缝的。通过这样的目标先验策略，可以有效降低实际应用场景，比如地铁，非裂缝区域对道床裂缝检测的干扰。

33、虽然，我们也可以通过位置先验等信息，初步判定那里是道床，将该道床作为裂缝检测候选区域。但是，真实的场景中，在根据位置信息判断的道床区域中，还存在线缆、信号设备，这些对象的边缘也容易被误判道床裂缝，因此，将钢轨、轨枕、扣件、线缆、水沟、信号设备等道床上附属设备通过目标检测的方式进行事先检测和定位，是可以有效消除这些影响的，相比直接利用位置先验的道床裂缝检测候选区域定位方法，具有更高鲁棒性。

34、2、采用两级检测方法，兼顾了检测准确性和速度

35、在确定了裂缝候选检测区域后(即图像中，非裂缝检测区域的剩余区域)，通过梯度增强、线滤波器滤波、阈值分割方法，快速确定疑似裂缝区域，对疑似裂缝区域进行分类二次判断。相比基于cnn的裂缝检测方法(比如deepcrack)，计算速度更快，相比传统基于边缘的裂缝检测方法，具有更高准确性。相较于专利cn201910065861.0、cn201710025361.5和cn201710495290.5的轨道或道路裂缝检测方法，本发明采用了检测先验的技术，预先检测出图像上的待检区域，规避干扰，提高检测的准确性。

36、3、采用方向对齐的疑似裂缝图像采样方法，降低了裂缝图像特征空间分布散度，可进一步提升疑似裂缝图像分类精度

37、在疑似裂缝图像分类阶段，本发明提出的裂缝方向对齐采样方法，将所有的裂缝，沿裂缝方向进行对齐采样，使采样图像中，裂缝方向对齐，可有效降低裂缝样本在特征空间中分布散度，有利用降低疑似裂缝图像分类器的复杂度，提升疑似裂缝图像分类效果。

38、如图2、3所示，当采用常规采样方法时，获取的裂缝图像采样图像块中，裂缝的方向是任意的，从特征子空间维度来看，这种方式采样的裂缝图像块在特征空间中的分布散度较大，不利于分类器模型对其进行建模，进而需要更复杂的分类器；当采用本发明提出的裂缝方向对齐采样方法后，获取的裂缝图像块中裂缝方向是沿竖直或水平对齐的(图3中给出的为水平方向对齐)，从特征子空间维度来看，这种方式相比图2所示的采样方法，分布散度更小，更有利于分类器对其进行建模。

39、针对该问题，我们也进行了实际测试，构建了一个包含1000个裂缝样本、 1000个非裂缝样本的训练数据集；当采用常规方法进行采样时，cnn分类器的分类正确率为90％；当采用裂缝方向对齐的采样方法时，cnn分类器的分类正确率为98％。

40、4、基于灰度图像和深度图像进行道床裂缝检测，可进一步提升检测精度

41、与现有方法采用灰度图像进行道床裂缝检测不同，本发明还提出采用3d相机，获取像素级对齐的灰度图像和深度图像，在深度图像中，道床组件(比如钢轨、扣件、轨枕、信号设备、水沟、线缆等)更容易识别，因此，在深度图像上执行非裂缝区域检测，可进一步提升检测精度，降低道床组件对裂缝检测的干扰，提升检测精度。