一种基于深度学习的高铁接触网防风拉线故障检测方法与流程

本发明涉及高速铁路接触网故障检测技术领域，具体为一种基于深度学习的高铁接触网防风拉线故障检测方法。

背景技术：

电气化铁路是铁路快速发展的重要标志之一。在铁路发展过程中，重载和高速技术的应用加速了铁路电气化的发展过程。相比于其他系统，弓网系统长期处于露天环境之下，并且机车存在力学和电气等对之间的关系对弓网产生影响，导致接触网和受电弓故障概率相对比其他系统要高，并且不良状态发生比较频繁且复杂。当弓网系统发生故障或存在故障隐患是，将会对人身安全和国家财产造成危害。因此，为了保证机车接受电流的稳定性，其状态监测和故障检测发挥着重要的作用。在电气化铁路的整个运行系统中，接触网悬挂装置很容易发生故障。沿铁路干线架设的接触网为受电弓提供高压的电流，使得电力机车具有足够的动力，接触网性能的好坏将直接影响电力机车受流质量，进一步影响电力机车运行的速度和安全。

在高铁接触网支撑与悬挂装置中，防风拉线用于正线限位定位器处，本零件将定位器与定位管相连，起防风作用。原铁道部颁布的4c系统技术规范，包含对接触网的悬挂部分、腕臂部分的高清晰视频监测，涉及基于数字图像处理技术对接触网支撑及悬挂装置中零部件的故障检测。

高铁接触网支撑及悬挂结构中涉及46种零部件的检测，分为abc三类，其中a类故障最为严重。零部件在支撑与悬挂结构中分布较为分散，零部件的大小和结构多不相同。摄像机拍摄时，会有一定的光照和角度的影响。深度学习方法应用遍及人工智能各个领域，对于不同环境复杂背景下的检测有着良好的效果。由于现场采集的接触网支撑及悬挂装置图像普遍较复杂，采用图像处理技术对像防风拉线这样微小部件进行故障检测存在较大的难度，目前此方面的研究极少见相关报道。

技术实现要素：

针对上述问题，本发明的目的在于提供一种能够有效减少人工识别的巨大工作量，实现现场图像的自动分析，具有较高的识别准确性的基于深度学习的高铁接触网防风拉线故障检测方法。技术方案如下：

一种基于深度学习的高铁接触网防风拉线故障检测方法，包括以下步骤：

步骤a：对高速铁路接触网支撑及悬挂装置进行图像采集；

步骤b：对采集的图像进行筛选，建立关于高铁接触网防风拉线样本库，样本库里包括防风拉线的位置坐标及类别；

步骤c：搭建基于faster-rcnn算法的深度卷积神经网络，训练网络防风拉线定位检测的模型，实现防风拉线的识别与定位，从高铁接触网全局图像中截取防风拉线零部件；

步骤d：在提取的防风拉线零部件中，标注防风拉线故障类型：缺失、断裂、松脱；

步骤e：通过仿射变换进行图像配准，以消除或减小目标的位置关系及噪声引起的畸变，通过图像形态学运算和防风拉线曲率判断实现高铁接触网防风拉线的故障检测。

进一步的，所述实现防风拉线的识别与定位的具体步骤包括：

step1：将采集到的接触网支撑悬挂装置图像输入所述深度卷积神经网络中，采用5个可共享的卷积层提取特征；

step2：在conv1的图片周围补充像素，所得的卷积图像大小为：

s＝(a-b+pad)/c+1

其中，s为卷积得到图像大小，a为卷积层中输入图片尺寸，b为卷积滤波器大小，pad为填充的像素，c为步长；

step3：对卷积得到的结果进行下采样以降低网络参数选择复杂度；

step4：对conv2、conv3、conv4和conv5做step2和step3的操作，前一层的输出作为下一层的输入；

step5：最后取conv5的输出的特征向量输入到区域建议网络搭建候选区域网络，第五个共享的卷积层输出的卷积特征映射上滑动小网络，每个滑动窗口有三种尺度和长宽比，产生9个anchor，映射到一个低维向量上；

step6：采用候选区域网络的输出层作为roi生成网络的输入，将输入的候选区域特征图统一下采样的特征图再传入全连接层；

step7：cnn分类识别：将得到的roi输入cnn分类网络，经过两个全连接层，即分类层和回归层，分别用于分类和边框回归；通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。

本发明的有益效果是：

1)本发明直接通过深度学习的方法对高铁接触网防风拉线部件的状态进行检测，给出客观、真实、准确的检测分析结果，克服了传统人工检测方法的缺陷；为高铁接触网支撑及悬挂装置零部件故障检测提供一种较好的思路；

2)本发明根据深度学习的特征提取与分类特点，巧妙地卷积神经网络，对防风拉线的识别定位简单、有效；

3)本发明的方法能有效地针对接触网防风拉线不良状态进行检测，正确检测率较高，简化了故障检测的难度，并首次为接触网防风拉线部件的不良状态检测提出了一种解决方法。

附图说明

图1为本发明现场采集图像中的高铁接触网支撑装置全局图像。

图2为本发明中高铁接触网防风拉线样本库示意图。

图3为本发明所用神经网络基本框架。

图4为本发明卷积神经网络提取特征的卷积示意图。

图5为fasterr-cnn算法中候选区域网络。

图6为本发明在不同样本数量、不同迭代次数下的训练损失曲线。

图7为本发明高铁接触网支撑装置防风拉线识别结果示意图。

图8为本发明高铁接触网支撑装置防风拉线图像配准结果图。

图9为本发明高铁接触网支撑装置防风拉线形态学运算结果图。

图10为本发明高铁接触网支撑装置防风拉线精确筛选结果图。

图11为本发明高铁接触网支撑装置防风拉线故障识别示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。本发明提供了一种基于深度学习的高铁接触网防风拉线部件不良状态检测方法，实现了防风拉线定位的准确性和三类不同故障的检测。利用基于候选区域的深度卷积神经网络对待检测目标进行特征学习和目标分类，实现防风拉线部件的定位提取；并通过仿射变换、形态学运算实现不良状态的检测。可减少人工识别的巨大工作量，实现现场图像的自动分析，具有较高的识别准确性。

一种基于深度学习定位的高铁接触网防风拉线不良状态检测方法，实现防风拉线的准确定位和防风拉线缺失、断裂及松脱故障的检测，其具体的工作步骤包括：

a、专用综合列检车在一定运行速度下，对高速铁路接触网支撑及悬挂装置进行成像；将上行和下行的高清图像分别存储在两个图像库中；

b、对采集的图像进行筛选，建立关于高铁接触网防风拉线的样本库。样本库里需要包括对所在位置的坐标记录及类别。

c、利用搭建基于faster-rcnn算法的深度卷积神经网络，训练网络防风拉线定位检测的模型。

d、对定位得到的等电位线利用投射变换、形态学运算等实现防风拉线缺失、断裂及松脱故障的检测

网络采用5个可共享的卷积层用以提取特征，faster-rcnn算法主要分为三个部分：候选区域网络，reigonofinterest(roi)生成，cnn分类。防风拉线具体定位实现过程如下：

step1：将采集到的接触网支撑悬挂装置图像输入所述深度卷积神经网络中，采用5个可共享的卷积层提取特征。接触网成像检测车采集的接触网支撑悬挂装置图像大小为2048×2048。

step2：在矩阵计算中卷积核都是4维的，第一层的卷积核维度是7×7×3×96。conv1得到的结果是110×110×96。为了能够一系列的操作，要进行填充操作，在图片的周围补充像素得到的卷积图像大小计算如下式所示：

s＝(a-b+pad)/c+1

其中，s为卷积得到图像大小，a为卷积层中输入图片尺寸，b为卷积滤波器大小，pad为填充的像素，c为步长。

step3：为了降低网络参数选择复杂度，对卷积得到的结果进行下采样，得到pool1，池化核大小是3×3，根据计算池化后图片维度是55×55×96。

step4：类似操作重复层conv2、conv3、conv4和conv5，前一层的输出作为下一层的输入。

step5：最后取conv5的输出的特征向量输入到区域建议网络搭建候选区域网络，第五个共享的卷积层输出的卷积特征映射上滑动小网络，每个滑动窗口有三种尺度和长宽比，产生9个anchor，映射到一个低维向量上。因此每张输入图片最终会产生大概约约2000个候选区域。

step6：采用候选区域网络的输出层作为roi(regionofinterest感兴趣区域)生成网络的输入。将输入的候选区域特征图统一下采样的特征图再传入全连接层。

step7：cnn分类识别。将得到的roi输入cnn分类网络，经过两个全连接层，即分类层和回归层，分别用于分类和边框回归。通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。

基于深度学习实现防风拉线的识别与定位，从高铁接触网全局图像中截取防风拉线零部件，通过仿射变换进行图像配准，以消除或减小目标的位置关系及噪声引起的畸变；然后通过图像形态学运算、防风拉线曲率实现防风拉线不良状态的检测。仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或仿射映射由非奇异的线性变换接上平移变换组成。典型的仿射变换主要有以下几种：

1)旋转变换。目标图形围绕原点逆时针旋转θ弧度，变换矩阵为：

2)缩放变换。将每一点的横坐标放大(缩小)至sx倍，纵坐标放大(缩小)至sy倍，变换矩阵为：

3)平移变换。将每一点移动到(x+tx,y+ty)，变换矩阵为：

膨胀、腐蚀是形态学最基本的运算，对其进行组合可得到开运算、闭运算，以及更高级的图像形态学梯度算子。在图像处理过程中，可以利用开运算、闭运算来去除噪声或连接目标，从而达到恢复图像的目的。一般情况下，利用开运算可以消除散点和“毛刺”，即对图像进行平滑。而闭运算在选择适当的结构元素后则可以将两个邻近的分离目标进行连接。

图1为4c检测车现场采集图像中的高铁接触网支撑装置全局图像。零部件数量种类众多，且接触网图像在夜间拍摄时，容易受到光斑，拍摄角度等的干扰。并且在检测车获取的接触网支撑装置图像中，由于防风拉线目标较小，故障特征不明显，因此需要训练一个基于深度卷积神经网络的模型，完成防风拉线部件的识别工作。图2为建立防风拉线识别的样本库。样本库的建立是手工框出接触网支撑装置图像中防风拉线检测目标零部件，在建立样本库的时候，保留零部件的坐标信息，并人工标记该框的类别，将其样本库设为标准的voc2007格式。

本发明将防风拉线的不良状态识别分成了两个阶段，第一阶段，在拍摄到的接触网支持装置图像中识别到防风拉线零部件。第二阶段，再定位到的防风拉线部件基础上识别不良状态。第一个阶段采用基于faster-rcnn的深度学习目标检测算法。该算法以zf网络为基础，共享5层卷积层，如图3所示。本算法提取图片特征如图4所示，训练每一个卷积滤波器，让这些滤波器组对特定的模式有高的激活，以达到卷积神经网络的分类/检测等目的。如图5所示，在zf网络的第五个卷积层进行候选区域的提取，将第五个卷积层的特征图作为候选区域网络的输入，在该卷积层特征图映射上滑动小网络，映射到低维向量上，每个滑动窗口有三种尺度和长宽比，每个滑动窗口产生9个anchor，对应在卷积层特征图中找到对应的位置，作为候选网络。采用候选区域网络的输出层作为roi生成网络的输入。将输入的候选区域特征图统一下采样的特征图再传入全连接层，通过丢弃部分网络参数的方法消除过拟合，输出目标包围框的坐标和大小和目标类别。将训练样本输入到搭建好的网络，完成模型的训练。训练模型的过程中，采用多任务损失函数，通过计算目标分类和位置损失，结合反向传播算法、随机梯度下降等方法，定位完成阶段模型的训练，总结来说分为以下几步：

step1：对整张图片输进cnn，得到卷积特征图；

step2：卷积特征输入到rpn，得到候选框的特征信息；

step3：对候选框中提取出的特征，使用分类器判别是否属于一个特定类；

step4：对于属于某一特征的候选框，用回归器进一步调整其位置，生成分类器模型。

在神经网络训练过程中，迭代输出log信息中，一般包括，迭代次数，训练损失代价，测试损失代价，测试精度等。通过绘制训练曲线图6所示，不同训练图像数目训练损失代价下降幅度不同，并且都随迭代次数增加而不断下降。

将待检测图像输入训练的模型，经过第一阶段，提取接触网支持装置图像中的防风拉线零部件，检测结果如图7所示。将提取得到的防风拉线零部件图像，通过透视变换对图像进行配准，利用边界相关运算建立仿射变换模型，如图8所示。膨胀是将与目标物体接触的背景点都合并到物体中，使目标边界向外扩张的过程，腐蚀是在结构元素约束下消除部分边界点，使目标边界向内收缩的过程。对上述得到的图8实施闭运算、开运算、开运算操作，消去除防风拉线以外的噪声，如图9所示。对二值图像进行区域提取，并计算区域特征参数，随后筛选连通域图像，根据颜色统计初步筛选得到图10。当高度覆盖图像的95％时，说明存在吊弦。在得到的连通域图像吊弦做水平投影，如图11所示，并计算曲率，当曲率大于等于0.3则拉线弯曲，松脱不受力。