一种轨道表面缺陷检测方法、电子设备及存储介质与流程

本发明属于轨道交通，具体涉及一种基于深度学习的轨道表面缺陷检测方法。

背景技术：

1、轨道作为铁路关键基础设施，保障轨道处于良好使用状态对铁路安全运行至关重要。由于铁路车辆密度不断增加，以及列车运行速度不断提升，列车轮对与钢轨之间相互作用，使得钢轨表面缺陷问题逐渐显现，包括裂纹以及掉块等问题。人工巡检的方式最大的问题在于巡检人员劳动强度大。近年来，机器视觉和ai等邻域的研究不断发展，许多基于机器视觉的检测算法应运而生，尤其是在卷积神经网路提出后，研究者开始将其运用到目标检测与识别等领域。基于机器视觉的缺陷检测具有免接触、耗时短、不受主观因素等优势，降低雇佣大量人员的成本，保障检测人员的安全，增加检测精度，避免误检与漏检。

2、yolov7结构由主干网络、特征融合网络和预测网络三部分组成。为了提高深层网络的稳定性和学习能力，在yolov7中引入扩展的高效聚合网络(extended efficientlayer aggregation networks,e-elae)，同时采用一种复合模型的缩放方法，使模型参数量、计算量、推理速度和精度达到最佳平衡。此外，通过重参数化策略使模型极大地丰富了训练资源，让网络获得了更多特征信息、更高精度和更快的推理速度。虽然yolov7是一种高效、准确的目标检测算法，但在小目标检测方面存在着一定的挑战，因为小目标在图像中所占的像素点很少，很容易被忽略或误判为噪声或背景。因此，为了提高yolov7在小目标检测方面的性能，需要对其进行改进。

技术实现思路

1、针对yolov7应用于轨道表面缺陷存在的问题，本发明所要解决的技术问题就是提供一种基于深度学习的轨道表面缺陷检测方法、电子设备及存储介质，提高深度学习技术应用于轨道表面缺陷的效率和精度。

2、为解决上述技术问题，本发明采用如下技术方案：

3、一方面，提供了一种基于深度学习的轨道表面缺陷检测方法，包括如下步骤：

4、步骤s1：获取轨道中产生缺陷的图像和无缺陷图像；

5、步骤s2：将步骤s1中的原始图像划分为训练和测试图像并分别进行预处理，获得用于训练和测试的数据集：

6、步骤s3：利用步骤s2获得的数据集对rep-yolo模型进行训练，训练结束后对模型进行评估和参数调整，得到最优的rep-yolo模型；

7、所述rep-yolo模型包括特征提取骨干网络、空洞空间卷积池化金字塔结构、渐近特征金字塔网络和多分类器模块，特征提取骨干网络采用repghost结构作为主要特征提取模块；特征提取骨干网络输出的三层特征图由空洞空间卷积池化金字塔结构进行处理，再传入到渐近特征金字塔网络；特征提取骨干网输出的三层特征层作为渐近特征金字塔网络的输入层；渐近特征金字塔网络设有特征融合模块，特征融合模块首先融合两个相邻的低层级特征，并逐渐将高层级特征纳入融合过程中；多分类器模块接收渐近特征金字塔网络输出的三层特征图，对特征图进行最后的分类与定位；

8、步骤s4：将测试的轨道图像输入到步骤s3获得的最优rep-yolo模型，模型输出目标物体的位置、目标物体的类别以及目标物体的置信度。

9、优选的，对数据进行预处理，去除数据中的脏数据，人工标注后对数据集进行数据增强扩充得到样本集，然后样本集再划分为训练集和测试集，且比例为8.5：1.5；最后利用划分后的样本集对rep-yolo模型进行训练。

10、优选的，步骤s3中的模型训练包括如下步骤：

11、s51：将网络anchor的像素面积设置为{12,16,19,36,40,28,36,75,76,55,72,146,142,110,192,243,459,401}；

12、s52：使用repghost结构作为特征提取骨干网络的主要特征提取模块；

13、s53:特征提取骨干网络输出最底层的特征图作为空洞空间卷积池化金字塔结构的输入；

14、s54：将特征提取骨干网络输出的三层特征层作为渐近特征金字塔网络的输入层，融合两个相邻的低层级特征，并逐渐将高层级特征纳入融合过程中；

15、s53：将底层特征图和高层特征图语义信息结合起来，创建自左而右的特征图block；

16、s54：检测一张图像中的多个预测框，同一预测框的多个预测结果只取置信度分数最高的那个预测结果。

17、优选的，骨干网络中由设计的repghost结构作为主要提取模块，该模块输入端进入三个分支，卷积核为1的普通卷积、ghostconv卷积和一个残差边分别进行归一化，将三分支逐通道相加之后进行激活层。

18、优选的，特征提取骨干网络输出三层特征图，空洞空间卷积池化金字塔结构将特征提取骨干网络输出的第三层20*20的特征图经过空洞卷积rate为5、9、13的卷积层以及一层卷积核为1和卷积核为3的池化层，将通过空洞卷积、普通卷积和池化层的五层特征图进行拼接，进行一次卷积核为1的卷积操作，从而达到减少通道数，再传入到渐近特征金字塔网络。

19、优选的，所述渐近特征金字塔网络对特征图的处理步骤为：对特征提取骨干网络生成的从浅到深的三层特征层c1、c2和c3，进行1*1卷积运算生成c1_0、c2_0和c3_0，将c2_0进行下采样与c3_0进入asf-1生成特征图c3_1，再进行一次repghost结构形成c3_2，将c3_0进行邻近插值为2的上采样，与c2_0进入asf-1生成特征图c2_1，进行一次repghost结构结构形成c2_2；然后对c1_0和c2_2下采样操作，同c3_2进入asf-2结构，接着同样进行一次repghost结构生成有效特征p3,c1_0下采样和c3_2进行邻近插值为2的上采样，同c2_2进入asf-2模块之后进行repghost，形成有效特征图p2,接着将c3_2进行邻近插值为4的上采样和c2_2邻近插值为2的上采样，得到同c1_0同样尺寸的特征图与c1_0进入asf-2结构，同样进行一次repghost结构生成有效特征图p1；最后将三层特征图传入多分类器模块。

20、优选的，输入多分类器模块的三层特征图分别为80x80特征图p3、20x20特征图p5、40x40特征图p4，80x80特征图p3所用的anchor的像素面积设置为{12,16,19,36,40,28}；20x20特征图p5所用的anchor的像素面积设置为{142,110,192,243,459,401}，40x40特征图p4所用的anchor的像素面积设置为{36,75,76,55,72,146}。

21、优选的，所述表面缺陷包括擦伤、硌伤、直尖轨裂纹、侧磨、鱼鳞，对于缺陷分类和定位，模型计算平均精度map作为评估指标，利用训练好的轨道缺陷检测模型测试轨道缺陷图像，若模型的map≥90％，则认定模型能够对轨道缺陷进行精确检测，否则需要对模型进行优化微调；和/或，模型参数调整包括增加训练样本数量、修改学习率、迭代次数。

22、另外一方面，提供了一种电子设备，所述电子设备包括：

23、存储器，所述存储器存储有多条指令；

24、处理器，所述处理器从所述存储器中加载指令，以执行所述的检测方法中的步骤。

25、此外，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被电子设备执行时实现所述的检测方法中的步骤。

26、本发明采用上述技术方案，具有如下有益效果：

27、(1)本发明骨干网络中由设计的repghost结构作为主要特征提取模块，不仅增强网络特征提取能力，并且大大减少了参数量。

28、(2)本发明使用空洞空间卷积池化金字塔网络结构，不仅有效避免了对图像区域裁剪、缩放操作导致的图像失真等问题，解决了卷积神经网络对图相关重复特征提取的问题，大大提高了产生候选框的速度，而且增强了检测轨道上较小目标的能力。

29、(3)本发明将渐近特征金字塔网络作为整体网络的颈部部分，解决传统方法自顶向下和自底向上的特征金字塔网络存在特征信息的丢失或退化问题，尤其是在非相邻层级的特征融合上，可通过支持非相邻层级的直接交互来解决信息的丢失或退化问题。它首先融合两个相邻的低层级特征，并逐渐将高层级特征纳入融合过程中。这种方法有助于避免非相邻层级之间的较大语义差距。

30、(4)本发明可以检测的表面缺陷包括擦伤、硌伤、直尖轨裂纹、波磨、焊接接头低塌、侧磨、鱼鳞，解决了传统算法只能检测特定缺陷的问题，节约了人工成本。

31、(5)实验结果表明，本发明检测方法可以达到94.58％的准确率，本发明实现对轨道钢轨表面缺陷检测进行识别和定位，不仅节约企业人工成本，也大幅度提高表面缺陷检测的效率。

32、本发明采用的具体技术方案及其带来的有益效果将会在下面的具体实施方式中结合附图中予以详细的揭露。