一种基于关键点检测的弓网运行状况在线检测方法与流程

1.本发明属于铁路列车智能运维弓网运行状况在线检测技术领域，具体涉及一种基于关键点检测的弓网运行状况在线检测方法。


背景技术：

2.受电弓和接触网是电气化铁路供电的主要设备。目前，铁路列车的高速化和重载化给供电系统提出了更严格的要求。确保弓网系统有平稳良好的接触状态是维持良好的弓网关系动态特性并保障不间断供电和高速列车安全稳定运行的重要前提。在铁路日常运营维护中，常用的弓网运行状况检测是通过对一些主要的接触网静态参数进行测量，包括接触线高度、拉出值、定位管坡度、支柱位置等。其中，导高和拉出值是评价弓网系统中最重要的评估指标。导高是接触线距离铁轨平面的垂直高度，若接触导线高度过高则会使受电弓频繁离线产生电弧烧损接触线和受电弓，若过低会危及人员和超限货物的安全。拉出值是接触线相对于铁轨中心向外拉出的距离，其设计是为了使电力机车在运行时使受电弓与接触导线在一定范围内均匀摩擦，使受电弓滑板磨耗均匀，延长使用寿命，若拉出值过小会加大受电弓滑板的局部磨耗，过大会导致刮弓、断线等事故。因此，不仅在日常停车运维中需要检测这些静态参数，在运行过程中在线测量动态导高和拉出值更能确保电气化区段接触网安全、高质量的运行。因此，列车弓网运行状况的实时在线检测具有十分重要的意义。
3.导高和拉出值的测量都是在准确定位接触点的前提下实现的。目前非接触式的检测方式是通过安装在车顶的单目相机实现在线弓网运行状况的监控和记录功能，不能满足智能运维的要求。而且上述方法对于弓网接触点的检测停留在单线模式上，但实际的运行会涉及频繁的换线、双支线接触等现场复杂情况，给弓网运行状况在线检测提出了新的挑战。从三维重建精度的角度看，目前没有相关对弓网接触点重建精度评估的方法，从而无法判断导高或拉出值等参数的精度。因此，高精度的参数测量也是本发明研究的重点。
4.基于边缘检测的图像处理方法提取接触线和受电弓的边缘，其边缘直线的交点定义为弓网接触点。大量的背景边缘杂线干扰使这种基于边缘检测的定位方式在复杂背景下并不鲁棒。
5.基于先跟踪再定位的模式实现自动化的弓网接触点定位。这种模式首先采用模板匹配提取受电弓和接触线的边缘，其交点区域即为跟踪的初始区域，再通过kcf跟踪持续定位每一帧的接触区域，最后通过角点检测实现接触点的定位。该方法的亮点在于速度快(大于200fps)，但模板匹配涉及的参数调整多，难以满足全天候长时接触点的定位要求。


技术实现要素：

6.为解决现有技术中存在的技术问题，本发明的目的在于提供一种基于关键点检测的弓网运行状况在线检测方法，用于解决铁路正线上的高速导高和拉出值测量。
7.为实现上述目的，达到上述技术效果，本发明采用的技术方案为：
8.一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：
9.将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x
2d
,y
2d
,z
2d
)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x
3d
,y
3d
,z
3d
)，其中，z
3d
记为动态导高，三维接触点的x
3d
与受电弓中心点重建后的差记为动态拉出值。
10.进一步的，分别在左、右图像中得到二维左右角点具体包括：
11.1)将列车同一时刻的左、右图像输入至训练好的高精度的2d关键点定位网络；
12.所述2d关键点定位网络包括骨干网络resnet18、三个反卷积层deconv1、deconv2、deconv3以及未经过预训练的若干个辅助特征增强模块，辅助特征增强模块位于骨干网络resnet18的layer1之后；
13.2)通过2d关键点定位网络分别对左、右图像进行特征提取，通过辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
14.进一步的，所述辅助特征增强模块共有三个，分别为anlayer1、anlayer2、anlayer3，anlayer1的输入为layer1的输出，anlayer2和layer3的输入均为从0开始的anlayer1的特征和预训练的layer2的特征的拼接，同时具备中级和高级特征，anlayer3和layer4的输入均为anlayer2的特征和预训练的layer3的特征的相加，layer4的输出为反卷积层deconv1、deconv2、deconv3。
15.进一步的，步骤2)，所述包围框的参数包括：目标热图、宽高、框中心的偏移量；所述关键点的参数包括：关键点热图、关键点连接热图、关键点偏移量。
16.进一步的，采用wingloss分别对包围框的框中心的偏移量和关键点偏移量进行回归，wingloss的公式为：
[0017][0018]
其中，ω＝2，ε＝2。
[0019]
进一步的，采用改进的l
bbox
函数对包围框的宽高进行回归，公式如下：
[0020][0021]
其中a
p
，a
gt
分别为预测框与真值框的面积；预测框与真值框的最小凸集为面积为ac；cw，ch分别为最小凸集的包围框的宽、高，ρ代表两个值的欧氏距离，ρ2(w，w
gt
)代表当前回归得到的宽度与真值宽度欧氏距离的平方，ρ2(h，h
gt
)代表当前回归得到的高度与真值高度欧氏距离的平方。
[0022]
进一步的，所述包围框的loss函数包括：高精度的包围框回归和高精度的关键点回归，总体损失函数为：
[0023]
loss＝(l
hm
+l
bbox
+l
offset
)+(l
hm-hp
+l
hp
+l
hp-offset
)
[0024]
其中，l
bbox
为包围框的宽高的回归损失函数，l
offset
为包围框的框中心的偏移量的回归损失函数；l
hm-hp
+l
hp
+l
hp-offset
分别表示关键点热图、像素级关键点、关键点偏移量的回归。
[0025]
本发明公开了一种基于关键点检测的弓网运行状况在线检测系统，包括：
[0026]
双目相机，所述双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像；
[0027]
关键点检测模块，被配置为利用2d关键点定位网络提取双目相机采集得到的图像中的二维左右角点；
[0028]
所述2d关键点定位网络，用于提取高铁列车受电弓与接触线相交的接触角点，包括骨干网络resnet18、deconv1、deconv2、deconv3三个反卷积层以及未经过预训练的三个辅助特征增强模块anlayer1、anlayer2、anlayer3，通过anlayer1、anlayer2、anlayer3提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
[0029]
本发明还公开了一种电子设备，包括：
[0030]
处理器；
[0031]
存储器，所述存储器用来存储处理器可执行的指令；
[0032]
所述处理器被配置为执行所述指令以实现如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
[0033]
本发明还公开了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
[0034]
与现有技术相比，本发明的有益效果为：
[0035]
本发明公开了一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x
2d
,y
2d
,z
2d
)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x
3d
,y
3d
,z
3d
)，其中，z
3d
记为动态导高，三维接触点的x
3d
与受电弓中心点重建后的差记为动态拉出值。本发明提供的一种基于关键点检测的弓网运行状况在线检测方法，用于解决铁路正线上的高速导高拉出值测量，能实现各种复杂换线模式下的高精度弓网接触角点定位，能实现双支线等模式下导高、拉出值的测量以及异常接触报警。
附图说明
[0036]
图1为本发明的关键点定位网络框架图；
[0037]
图2为本发明的三维重建方法的双目立体视觉示意图。
具体实施方式
[0038]
下面结合对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0039]
以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
[0040]
实施例1
[0041]
如图1-2所示，一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：
[0042]
先将双目相机安装于列车顶部，双目相机朝向受电弓网的监测区域，双目相机分为左相机和右相机且两者间距尽量大，但公共视场必须包含完整的受电弓与接触区域；
[0043]
随后，将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像，随后分别在左、右图像中得到二维左右角点，分别求出左图像和右图像中各自对应的左右角点的中点，坐标记为(x
2d
,y
2d
,z
2d
)；将左右角点的中点记为接触点在图像上的投影点，从而将左、右图像中的接触点投影点采用三维重建方法(首先利用张正友标定方法对双目相机标定得到双目相机的内参以及右相机相对于左相机的旋转矩阵r和平移矩阵t)进行三维重建得到三维接触点，坐标记为(x
3d
,y
3d
,z
3d
)，其中，z
3d
记为动态导高，三维接触点的x
3d
与受电弓中心点重建后的差记为动态拉出值。
[0044]
三维重建方法，包括以下步骤：在得到左右相机拍摄的图像中二维角点坐标后，利用双目立体视觉原理重建三维点在世界坐标系中的坐标，如图2所示；
[0045]
设左相机o-xyz位于世界坐标系原点且无旋转，图像坐标系为o
l-x
lyl
，有效焦距为f
l
；右相机坐标系为o
r-xryrzr，图像坐标系为o
r-xryr，相机透视变换模型为：
[0046][0047][0048]
左相机坐标系和右相机坐标系的关系由旋转矩阵r和平移向量t表示为：
[0049][0050]
三维点坐标计算如下：
[0051][0052]
三维重建方法采用现有技术即可。
[0053]
左右图像中的二维左右角点采用以下步骤得到：
[0054]
设计一个高精度的2d关键点定位网络即an-centernet亚像素关键点检测模型，用于提取高铁列车受电弓与接触线相交的接触角点：
[0055]
an-centernet亚像素关键点检测模型包括骨干网络resnet18、三个反卷积层(deconv1、deconv2、deconv3)以及未经过预训练的三个辅助特征增强模块(anlayer1、anlayer2、anlayer3)，而上述的每一个结构都是由若干卷积层、反卷积层组成；
[0056]
目前先进的增强特征的方式多采用多分支空洞卷积搭配瓶颈设计来扩大特征层的感受野并降低新加入模块的参数量，或者利用通道注意力和空间注意力来模拟人类视觉对目标的聚焦，但诸如此类的模块改进给内存运算增加了很大的负担，因为其加入了大量的像素级操作和不同的分支再整合连接的操作，进而降低了网络的推理速度，即使这些网络都拥有非常低的参数量。我们知道，cudnn加速运算对3*3的卷积处理速度非常快，因此为了不引入多余复杂瓶颈分支和注意力机制等操作，本发明由三个极简的conv3*3卷积特征抽取模块来提取骨干网络resnet18中的特征，这些特征将分别与原有resnet中layer2、layer3和layer4层的特征进行简单的相加，这种特征的叠加方式可以融合预训练的特征和从0开始训练的特征的优点。
[0057]
anlayer1的输入为layer1的输出，anlayer2接收的输入为从0开始训练的anlayer1的特征和预训练的layer2的特征的拼接，不仅anlayer2的输入将两者有效的融合，layer3输入也由单一的前向传递layer2特征变为了预训练的layer2特征与从0开始训练的anlayer1的叠加，layer4的输出为反卷积deconv1、deconv2、deconv3。这种极简的辅助网络的设计主要是弥补resnet中残差模块对于低级、中级、高级语义信息的理解能力。我们认为，高级特征的高效表达来源于多级特征的融合。例如layer2包含了两个残差模块，其输出的特征可以理解为较强程度的中级特征。anlayer1用3*3的卷积对低层语义信息进行程度稍弱的提取，从而使得layer3和anlayer2的输入同时具备了中级特征和低级特征，进而提高了特征的表达能力；
[0058]
通过2d关键点定位网络输出反卷积deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
[0059]
卷积(convolution)层：卷积神经网络中用于提取特征的层，用于对高维数据进行低维特征提取，分为卷积操作、激活(activation)操作、池化(pooling)操作三部分。其中，进行卷积操作时，使用预先经过训练学习得到的卷积核进行特征提取，进行激活操作时，使用激活函数(activation function)对卷积得到的特征图进行激活处理，常用的激活函数包括线性整流(rectified linear unit，relu)函数、s型(sigmoid)函数和双曲正切(tanh)函数。经过卷积激活层之后，通过池化操作降低卷积激活输出的特征向量(即缩小特征图的
尺寸)，同时改善过拟合问题。常用的池化方式包括平均池化(mean-pooling)、最大池化(max-pooling)和随机池化(stochastic-pooling)；
[0060]
反卷积(deconvolution)层：与卷积层的作用相反，反卷积层用于将低维特征映射成高维输出。本发明中，反卷积层是用于对特征向量进行上采样的层，即用于增大特征图的尺寸；
[0061]
拼接：指将两张同尺寸的多通道特征图进行融合过程，其中，拼接后特征图的通道数等于拼接两张特征图的通道数之和；
[0062]
残差层：一种通过残差网络(residual network，resnet)结构进行特征提取的层结构，本发明中，我们选用resnet18进行骨干网络特征提取，用于对受电弓图像进行特征提取，确定弓网接触区域的关键点。
[0063]
本发明为提高亚像素级关键点定位精度，改进了关键点回归的损失函数，具体包括：
[0064]
本步骤的任务主要包括两个部分：包围框相关参数的回归、关键点相关参数的回归。其中，包围框的参数是anchor-free方法的3个部分：目标热图、宽高、框中心的偏移量；关键点则需要更精细的回归，包括：关键点热图、关键点连接热图、关键点偏移量。以下分两步介绍loss的改进策略：
[0065]
包围框(接触区域)的loss：
[0066]
目标热图仍沿用centernet中原始的focal loss，因其在一定程度上解决了正负样本不均衡的问题。对于包围框的中心关键点检测，需要更精细的回归，因为后续接触关键点的偏移量回归是在该中心点的基础上计算的。在人脸关键点回归任务中，每个关键点的回归难度不一样，在训练初期，所有的点误差都很大，训练到中后期时，大部分点都已经基本准确，但是还不够准，误差较小。为回归得更准，就必须放大它的损失。l1 loss对于较大误差比较敏感，但是对较小误差则比较不敏感，而导致关键点无法得到精细结果，因此考虑加重对中小误差的关注，故本发明采用wingloss回归包围框框中心的偏移量代替l1 loss。具体公式如下：
[0067][0068]
其中，ω＝2，ε＝2。
[0069]
对于包围框的宽高，原始的centernet采用l1 loss对其数值进行回归，不仅缺少位置信息，还极大的引入了人工标注的误差。本发明采用改进的l
bbox
对包围框位置进行回归。在网络输出的宽高w，h的基础上，结合输出的热图和偏移量，初步解码出预测框的信息，再通过计算其与真值框的损失函数，可以达到更精确的回归包围框的目的。我们不仅用giou来得到两个框之间的位置信息，也同样加入了对预测框宽高的aspect loss l
w&h
。
[0070]
完整的函数公式如下：
[0071][0072]
其中，a
p
、a
gt
分别为预测框与真值框的面积；预测框与真值框的最小凸集为面积为ac；cw，ch为最小凸集的包围框宽高，即ρ代表两个值的欧氏距离；ρ2(w，w
gt
)代表当前回归得到的宽度与真值宽度欧氏距离的平方，ρ2(h，h
gt
)代表当前回归得到的高度与真值高度欧氏距离的平方；通过增加对宽高的loss函数l
w&h
最小化了目标框和锚框的宽度和高度之间的差异，从而导致更快的收敛速度和更好的定位结果。我们设计的l
bbox
不仅发挥了iouloss在位置回归上的优势，还没有丢弃w&h的数值信息。
[0073]
包围框的loss函数主要包括两个部分：高精度的包围框回归和高精度的关键点回归。准确的包围框回归能给所求关键点回归提供良好的包围框中心点坐标，在关键点回归的过程中，其偏移量是该点距离包围框中心的偏移。总体损失函数为：
[0074]
loss＝(l
hm
+l
bbox
+l
offset
)+(l
hm-hp
+l
hp
+l
hp-offset
)
[0075]
其中，l
bbox
为包围框的宽高的回归损失函数，l
offset
为包围框的框中心的偏移量的回归损失函数；l
hm-hp
+l
hp
+l
hp-affset
分别表示关键点热图、像素级关键点、关键点偏移量的回归。其中，l
hm-hp
和l
hp
都是沿用focal loss，l
hp-offset
沿用wingloss。
[0076]
本发明还公开了一种基于关键点检测的弓网运行状况在线检测系统，包括：
[0077]
双目相机，双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，双目相机分为左相机和右相机且两者间距尽量大，但公共视场必须包含完整的受电弓与接触区域，位于弓网左侧的相机采集得到左图像，位于受弓网右侧的相机采集得到右图像；
[0078]
关键点检测模块，被配置为利用2d关键点定位网络提取双目相机采集得到的图像中的二维左右角点；
[0079]
2d关键点定位网络即an-centernet亚像素关键点检测模型，用于提取高铁列车受电弓与接触线相交的接触角点：an-centernet亚像素关键点检测模型包括骨干网络resnet18、三个反卷积层(deconv1、deconv2、deconv3)以及未经过预训练的三个辅助特征增强模块(anlayer1、anlayer2、anlayer3)，而上述的每一个结构都是由若干卷积层、反卷积层组成，通过三个辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积deconv1、deconv2、deconv3，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
[0080]
本发明还公开了一种电子设备，包括：
[0081]
处理器；
[0082]
存储器，存储器用来存储处理器可执行的指令；
[0083]
处理器被配置为执行所述指令以实现如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
[0084]
本发明还公开了一种存储介质，当存储介质中的指令由电子设备的处理器执行
时，使得电子设备能够执行如上所述的一种基于关键点检测的弓网运行状况在线检测方法。
[0085]
本发明未具体描述的部分或结构采用现有技术或现有产品即可，在此不做赘述。
[0086]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。