一种基于深度学习的钢轨表面缺陷检测方法

本发明属于钢轨检测，具体涉一种基于深度学习的钢轨表面缺陷检测方法。

背景技术：

1、随着铁路网络布局的推进和高铁技术的快速发展，钢轨故障诊断维系列车安全运行的重要保障，根据相关安全统计数据显示，钢轨表面缺陷引发的列车安全事故约占所有事故原因的30％[1]。因此，为保障列车的行车安全，对钢轨表面缺陷进行准确、动态的检测已成为铁路发展迫切需要解决的问题，并具有重要的实际应用价值及研究意义。

2、列车运行中，钢轨受到轮轨的挤压、冲击、磨损等接触应力和自然风化的影响，其健康状态和质量不断恶化，从而在表面形成裂纹、塌陷、剥离、磨损、疤痕等缺陷，随着时间的推移，这些缺陷将进一步恶化钢轨造成断轨，从而引发铁路脱轨安全事故。因此，钢轨缺陷的多样性和动态性给轨道检查技术带来了巨大的挑战。

3、1、目前，铁路轨检主要采用物理性的检测方法，主要包括超声波法、电涡流法、磁粉法等，传统的检测方法需要依靠人工操作，且耗费时间、劳动强度高、效率低，同时会给检查人员带来未知的安全隐患。

4、2、近年来，机器视觉以速度快、精度高、可靠性强等优点，被用于表面缺陷识别算。目前研究者faghih-roohis设计了3层卷积层和最大池化层的卷积神经网络结构，提升了缺陷的检测速度，模型区分正常和有表面缺陷的钢轨的准确率可达到92.00％，但只对缺陷进行了检测，没有进行分类。

5、3、研究这袁小翠对otsu方法进行改进，以目标出现的概率为权重，对类间方差的目标方差加权，使分割阈值靠近单模直方图的左边缘和双模直方图的谷底，缺陷检测率和误检率分别达到93％和6.4％，但是该图像分割算法分割出缺陷太费时，满足不了实时性。

6、4、研究者shangl采用基于inception-v3结构的卷积神经网络来区分正常和有缺陷的钢轨图像，模型结构简单，处理速度更快，在测试集上实现了92.08％的识别准确率，但该方法只对疤痕缺陷有效。

7、5、研究者如kumar等对钢轨缺陷图像特征进行分析，通过图像滤波的方式去除干扰噪声，再进行网络训练，提高了表面缺陷的检测效果，但其中的图像增强算法不具有普适性，且图像处理费时。

8、6、研究者韩强等提出一种多层级特征融合的钢轨表面伤损检测方法，融合多个层级不同感受野的图像特征进行目标检测，提升了检测结果的准确性，还降低了对小面积伤损区域的漏检率，但该方法检测的缺陷种类太少，不适用于钢轨的所有缺陷。

9、以上研究更多的关注缺陷的检测，没有对缺陷进行分类识别，且存在图像识别方法不具有普适性、图像处理太费时、满足不了钢轨缺陷检测的实时性等问题。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于深度学习的钢轨表面缺陷检测方法，该方法针对钢轨缺陷边缘不明显、尺寸小、纹理干扰等问题，依次进行钢轨区域提取、改进retinex图像增强、背景建模差分和阈值分割，得到缺陷的分割图。对于缺陷的分类，引入res2net和cbam注意力机制，增大感受野和小目标位置权重，在panet结构中去掉自下而上的路径增强结构，减少参数冗余，提高小目标的特征提取能力。

2、为了达到解决上述技术问题的技术效果，本发明是通过以下技术方案实现的：

3、一种基于深度学习的钢轨表面缺陷检测方法，包括如下步骤：

4、1、首先对钢轨区域进行提取，再通过改进retinex图像增强算法进行图像处理，最后通过背景建模差分和阈值分割得到缺陷的分割图；

5、2、再基于上述算法引入res2net和cbam注意力机制，对于缺陷分隔图进行分类输出，从而得到最终的钢轨缺陷特征图；

6、进一步地，所述钢轨区域提取时，首先采用列直方图最小值法从原始轨道图像中分割出钢轨区域；

7、进一步地，所述改进retinex图像增强算法为多尺度retinex(msr)算法，增强多尺度加权平均得到，其表达式如下：

8、

9、其中，n为总尺度数，一般取3，wn为尺度系数，且满足gn(x,y)表示尺度个数为n的高斯函数。

10、再对量化方式msr算法中引入均值和均方差，加入控制图像动态参数调节对比度，其公式如下：

11、

12、其中，d为图像的动态调节参数，μ、mse分别为log[rmsr(x,y)]中r、g、b各通道数的均值和均方差，value为log[rmsr(x,y)]的值；

13、进一步地，所述背景建模差分先以钢轨为基准建立背景模型：

14、im(x)＝mean(iy(x))

15、式中im(x表示第x列图像背景建模，mean(·)为均值函数；再钢轨图像与背景模型图像相减，得到差分图像：

16、

17、式中，i0(x,y)为原图，im(x,y)为建模背景图；

18、进一步地，所述阈值分割先定义niblack阈值：

19、th＝μδi+c·δδi

20、式中μδi和δδi分别为δi(x,y的均值和方差，控制因子c为常数，由于差分图像具有零均值的特性，简化后为：

21、th＝c·δδi

22、当c＝3时，根据得到的阈值th对图像进行分割处理；

23、进一步地，所述res2net是在原有的残差单元结构中增加小的残差块，同时增加了每一层网络的感受野大小；

24、进一步地，所述cbam注意力机制是将钢轨缺陷特征图使用卷积后，再经过激活函数等变换来生成注意力模板，最终使用原特征图与得到的注意力模板作积，得到钢轨缺陷特征图。

25、本发明的有益效果是：

26、1、本发明针对钢轨缺陷边缘不明显、尺寸小、纹理干扰等问题，依次进行钢轨区域提取、改进retinex图像增强、背景建模差分和阈值分割，得到缺陷的分割图。对于缺陷的分类，引入res2net和cbam注意力机制，增大感受野和小目标位置权重，在panet结构中去掉自下而上的路径增强结构，减少参数冗余，提高小目标的特征提取能力。实验结果表明，钢轨缺陷检测平均准确率达到92.68％，召回率达到92.33％，检测速度达到每张图片0.068s。将改进方法与主流目标检测算法fasterrcnn、ssd、yolov3和yolov4对比，结果表明改进yolov4模型在钢轨缺陷检测中的f1值达到0.925，明显优于其他几种主流算法，能够很好地应用于轨道缺陷检测项目中。

27、2、本发明在图像处理部分，首先对采集到的图像进行钢轨区域提取，然后用改进retinex算法增强缺陷边缘信息，再采用背景建模差分法去除背景干扰，最后采用自适应阈值分割法提取出缺陷。改进的retinex算法和背景建模差分法参数很少，处理简单，对缺陷的检测速度影响很小，有利于提升检测时的缺陷召回率。在深度学习方面，首先通过引入cbam注意力机制，增强对缺陷的目标检测能力；再将网络种的resnet残差网络替换成res2net，提高特征的感受野的同时融合多尺度特征；最后在原有特征层的基础上新增一个目标检测层，继续融合浅层特征和深层特征，增大特征检测尺度。尽管增加新的特征检测层会导致网络结构参数量的增加，但去掉panet中小目标发挥有限的自下而上的路径增强结构来减少参数冗余，整体上只比yolov4增加13ms，十分接近yolov4的检测速度。改进后的结构不仅继承了原有结构的特征融合效果，而且能在降低网络参数的同时获取更浅层的特征，提高小目标的特征提取能力。

28、3、本发明改进yolov4目标检测算法对钢轨缺陷实现了高效准确的检测，其中裂纹、疤痕、磨损、剥落4种缺陷的识别精度分别达到了94.8％、94.0％、89.7％、92.2％。其准确率，召回率均高于其他主流目标检测算法。本文提出的检测算法在保证高检测精度的同时保证了检测速度，更适用于执行钢轨表面伤损检测任务。