一种基于结构推理网络的高铁接触网多种零部件定位方法与流程

本发明涉及图像识别技术领域，具体为一种基于结构推理网络的高铁接触网多种零部件定位方法。

背景技术：

接触网支持及悬挂装置担负着支撑接触网的重要任务，其装置状态的好坏影响着整个悬挂系统的稳定性，从而影响接触线的性能；故障时可能导致接触线与受电弓不能良好接触，影响受流质量；其中承力索底座工作环境恶劣、频繁剧烈震动、沿路人烟稀少、维护难度大、是支撑悬挂系统薄弱的环节之一；目前，接触网支撑悬挂装置的状态检测以人工检测为主，效率低；目前基于图像处理的接触网支撑及悬挂装置检测已有部分研究，传统图像处理方面多为单一零部件定位，例如：张桂南提出使用harris角点检测与谱聚类实现了绝缘子的抗旋转匹配；韩烨提出利用待分析接触网支撑悬挂装置图像和标准旋转双耳图像之间的局部特征点匹配，实现旋转双耳的定位与提取；深度学习方面虽可实现多目标定位且效果提升但扔有缺点；例如钟俊平分别使用了三种深度学习模型对高铁接触网12类零部件进行了同时定位；但是实验结果表明不同零部件之间的巨多种严重影响了检测结果。通过分析以上文献，高铁接触网例如具有固定结构、其他零部件相对位置关系较为固定的特点未被利用，因此本发明增加了对高铁接触网固定结构特点的使用，提高检测效果。

技术实现要素：

针对上述问题，本发明的目的在于提供一种针对多种接触网零部件，定位准确率高、检测时间短的基于结构推理网络的高铁接触网多种零部件定位方法。技术方案如下：

一种基于结构推理网络的高铁接触网多种零部件定位方法，包括以下步骤：

步骤1：获取高铁接触网零部件图像数据集，根据高铁接触网零部件相对位置关系的固定结构，分析出设计结构推理网络进行检测的可行性；

步骤2：根据步骤1的分析结论，设计结构推理网络：

s1：缩放输入高铁接触网零部件图像及标注信息至统一大小；

s2：将输入图像传入特征提取网络中，通过对图像进行多层卷积计算进行特征提取；

s3：将特征提取网络输出的最后一张特征图输入到区域建议网络中，生成可能存在零部件的建议区域；

s4：提取所述最后一张特征图的所有建议区域中心点，生成节点信息；

s5：将图节点信息输入感兴趣区域池化层，再传入全连接层生成节点特征向量；

s6：将s2中特征提取网络输出的最后一张特征图输入感兴趣区域池化层再到全连接层，生成一维向量即场景特征向量；

s7：将s4中生成的节点信息提取边界信息生成边界特征向量；

s8：将节点特征向量、场景特征向量和边界特征向量分别输入到门控循环单元模块中；

s9：最后将s8的输出通过softmax分类器和smoothl1回归器得到零部件类别和坐标；

步骤3：将步骤1得到的高铁接触网零部件图像数据集输入推理网络中进行分类训练，输入新图片得到其定位信息。

进一步的，所述步骤s4中生成节点信息的过程如下：

s41：遍历所述最后一张特征图所有建议区域，每个建议区域为已知左上角坐标(x1,y1)和右下角坐标(x2,y2)的矩形框；

s42：计算节点信息，即矩形框中心点(xmid,ymid)，计算公式如下：

更进一步的，所述步骤s6中生成场景特征向量的过程如下：

s61：将由卷积神经网络构成的特征提取网络输出的特征图输入感兴趣区域池化层，将不同大小的感兴趣区域转换为固定大小并为接下来的全连接层固定输入大小；

s62：全连接层得到固定的输入大小后经过与输入大小相同的卷积核卷积后，得到场景特征向量。

更进一步的，所述步骤s7中生成边界特征向量的过程如下：

s71：遍历所述最后一张特征图所有的n个节点信息，连接所有节点生成边；

s72：选择第i个节点并计算其与第j个节点之间的边；边的信息包括第i个节点的坐标(xi,yi)以及该节点到第j节点(xj,yj)的角度θij及距离lij，计算公式如下：

s73：由n个节点得到2n个边界，每个边界特征向量为(xi,yi,θij,lij)。

更进一步的，所述门控循环单元模块包括更新门和重置门，更新门控制前一时刻的状态信息被带入到当前状态中的程度；重置门控制前一状态有多少信息被写入到当前的候选集上。

更进一步的，所述高铁接触网零部件图像数据集为：高铁检测车天窗拍摄收集的图像通过人工标记的方式生成含有零部件位置及种类信息的xml文件。

更进一步的，所述softmax分类器公式如下：

其中，l为损失值，t为类别集合，sj为全连接网络输入的置信度，ti为正确标签值；

所述smoothl1回归器公式如下：

其中，smoothl1为回归器输出损失值，x为预测值与目标值之间的距离。

本发明的有益效果是：本发明可用于高铁接触网的多种零部件中，根据高铁接触网零部件相对位置固定的特点，结合分类神经网络和定位神经网络，提高了多种接触网零部件的定位准确率；缩短了检测时间，降低了故障检测的难度，针对性的解决高铁接触网的安全运营问题。

附图说明

图1为本发明基于结构推理网络的高铁接触网多种零部件定位方法的流程图。

图2为本发明中门控循环单元示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细说明。如图1和图2所示，一种高铁接触网多种零部件检测方法，包括以下步骤：

步骤1：获取高铁接触网零部件图像数据集，观察高铁接触网零部件具有相对位置关系的固定结构，确定可以设计结构推理网络进行检测；高铁接触网零部件图像数据集为高铁检测车天窗拍摄收集的图像，并通过人工标记的方式生成含有零部件位置及种类信息的xml文件。

步骤2：根据步骤1的分析结论，设计结构推理网络：

s1：缩放输入图像及标注信息至统一大小。

s2：将输入图像传入特征提取网络中，通过对图像进行多层卷积计算进行特征提取。

s3：将特征提取网络输出的最后一张特征图输入到区域建议网络(regionproposalnetwork,rpn)中，生成可能存在零部件的建议区域。

s4：提取该张图片的所有建议区域中心点，生成节点信息。

生成节点信息的过程如下：

s41：遍历该张图片所有建议区域，每个建议区域为已知左上角坐标(x1,y1)和右下角坐标(x2,y2)的矩形框；

s42：计算节点信息即为矩形框中心点(xmid,ymid)，计算公式如下：

s5：将图节点信息输入感兴趣区域(regionofinterest,roi)池化层，再传入全连接层生成节点特征向量。

s6：将s2特征提取网络输出的最后一张特征图输入感兴趣区域池化层再到全连接层，生成一维向量即场景特征向量。

生成场景特征向量的过程如下：

s61：将由卷积神经网络构成的特征提取网络输出的特征图输入感兴趣区域池化层，其作用为将不同大小的感兴趣区域转换为固定大小并为接下来的全连接层固定输入大小；

s62：全连接层得到固定的输入大小后经过与输入大小相同的卷积核卷积后，得到场景特征向量。

s7：将s4生成的节点特征向量提取边界信息生成边界特征向量。

生成边界特征向量的过程如下：

s71：遍历该张图片所有节点信息，连接所有节点生成边；

s72：选择第i个节点并计算其与第j个节点之间的边；边的信息包括第i个节点的坐标(xi,yi)以及该节点到第j节点的角度θij及距离lij，计算公式如下：

s73：最后由n个节点得到2n个边界，每个边界特征向量为(xi,yi,θij,lij)。

s8：将节点特征向量、场景特征向量和边界特征向量分别输入到门控循环单元(gatedrecurrentunit,gru)单元模块中。

门控循环单元由更新门和重置门组成，更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选集上，重置门越小，前一状态的信息被写入的越少。这样就可以通过两个门控函数将重要特征保留下来，实现对高铁接触网结构及相对位置的记忆。

s9：最后将s8的输出通过softmax分类器和smoothl1回归器得到零部件类别和坐标。

其中，softmax分类器公式如下：

其中，l为损失值，t为类别集合，sj为全连接网络输入的置信度，ti为正确标签值；

所述smoothl1回归器公式如下：

其中，smoothl1为回归器输出损失值，x为预测值与目标值之间的距离。

步骤3：将步骤1得到的高铁接触网数据集，输入推理网络中进行分类训练，在输入一张新图片之后即可得到其定位信息。

本发明通过深度学习方法应用到高铁接触网的多种零部件中，结合高铁接触网零部件相对位置较为固定的特点，将门控循环单元和定位神经网络相结合，利用图理论提高了多种的接触网零部件的定位准确率，有效的缩短检测时间，降低了故障检测的难度，能较针对性的解决高铁接触网的安全运营问题。