高铁接触网开口销缺陷的智能检测方法与流程

1.本发明属于高铁技术领域，涉及对高铁接触网开口销缺陷的识别技术，尤其涉及一种高铁接触网开口销缺陷的智能检测方法及系统。


背景技术：

2.我国的高铁运营里程逐年增加，高铁在运行过程中，通过接触网来实时供电，所以接触网也会收到高铁列车带来的冲击和振动，这就导致接触网可能因冲击振动而受损，所以及时发现接触网受损，并且及时予以修补完善才能保证高铁长时间持续运行，而高铁路线极长，及时发现接触网中的损坏部位是一件很困难的工作，为此，人们通过多种途径从各个角度来解决这一关键问题。
3.我国构建了高铁供电安全检测监测系统(6c系统)，而利用非接触式检测设备对接触网悬挂系统零部件状态检测是其中重要的组成部分。
4.针对接触网上不同部位可能出现的缺陷，都有着对应的不同的检测方案，针对接触网比较容易出现的开口销缺失或破损等缺陷，也有着不同的处理方案，但是目前的处理方案准确率偏低，处理效果还有待提高。
5.本发明人在深度学习技术的基础上，研究高铁接触网开口销缺陷的智能检测方法，以期待设计出一种能够解决上述问题的方法及系统。


技术实现要素：

6.为了克服上述问题，本发明人进行了锐意研究，提出一种高铁接触网开口销缺陷的智能检测方法及系统，其中，首先获取含有高铁接触网开口销缺陷的样本和高铁接触网开口销正常的样本组成的数据集，并按比例将该数据集划分为训练集和测试集；然后使用pytorch深度学习框架，搭建识别网络模型；再通过模型训练系统训练所述识别网络模型，通过模型测试系统测试训练后的识别网络模型，从而使得识别网络模型能够识别高铁接触网开口销缺陷；最后调取实时的高铁接触网图像，截取出其中包含斜腕臂及其下方结构的子图像，通过识别网络模型进行识别并获得识别结果，进而抓取包含开口销缺陷的高铁接触网图像，从而完成本发明。
7.本发明的目的在于提供一种高铁接触网开口销缺陷的智能检测方法，该方法包括以下步骤：步骤1，获取含有高铁接触网开口销缺陷的样本和高铁接触网开口销正常的样本组成的数据集，并按比例将该数据集划分为训练集和测试集；步骤2，使用pytorch深度学习框架，搭建识别网络模型；步骤3，通过模型训练系统训练所述识别网络模型，通过模型测试系统测试训练后的识别网络模型，从而使得识别网络模型能够识别高铁接触网开口销缺陷；步骤4，调取实时的高铁接触网图像，截取出其中包含斜腕臂及其下方结构的子图像，通过识别网络模型进行识别并获得识别结果，进而抓取包含开口销缺陷的高铁接触网
图像。
8.其中，步骤1包括如下子步骤：子步骤1-1，获取通过摄像机拍摄的多幅包含高铁接触网的高清图像，且该高清图像来自拍摄角度不同的至少两台摄像机；子步骤1-2，将采集到的数据图像截取为子图像，所述子图像中仅保留原图像的斜腕臂及其下方结构；子步骤1-3，将子图像分为含有高铁接触网开口销缺陷的样本和高铁接触网开口销正常的样本，并分别进行标记；子步骤1-4，将标记后的样本按比例随机分为训练数据集和测试数据集，其中，在训练数据集中，高铁接触网开口销正常的样本和含有高铁接触网开口销缺陷的样本的比例为50:1；在测试数据集中，高铁接触网开口销正常的样本和含有高铁接触网开口销缺陷的样本的比例为100: 1。
9.其中，所述高铁接触网开口销缺陷包括开口销缺失、开口销缺掰开角度异常和开口销外观状态异常。
10.其中，在步骤2中，所述识别网络模型依次包括卷积层、下采样层、交替排布层和分类层；其中，所述卷积层的卷积核大小为5x5，步距为2；所述下采样层为步距为2的最大池化下采样层；交替排布层是指9个dense模块和8个过渡层交替排布。
11.其中，所述dense模块由多个dense层堆叠而成，优选地，所述9个dense模块包括dense模块一、dense模块二、dense模块三、dense模块、dense模块五、dense模块六、dense模块七、dense模块八和dense模块九；其中，所述dense模块一包括3层dense层；dense模块二包括4层dense层；dense模块三包括5层dense层；dense模块四包括7层dense层；dense模块五包括7层dense层；dense模块六包括8层dense层；dense模块七包括6层dense层；dense模块八包括4层dense层；dense模块九包括3层dense层；优选地，所述dense层由bn层，relu层，逐点卷积层，bn层，sigmod层，第一逐通道卷积层，bn层，第二逐通道卷积层，逐点卷积层顺次堆叠而成；其中，所述逐点卷积层即为pointwise convolution，其卷积核大小为2x2、步距为1；所述第一逐通道卷积层的卷积核大小为2x2、步距为1；所述第二逐通道卷积层的卷积核大小为3x3、步距为1。
12.其中，在所述dense模块中，第层的输出特征矩阵公式如下：
其中，其中，表示第层的输出；表示第层的dense层的bn层、relu层、sigmod层、逐点卷积层、逐通道卷积的总的运算；表示dense模块中，第层之前所有dense层输出特征矩阵的合并。
13.其中，所述过渡层包括bn层，relu层，卷积核大小为1x1、步距为1的卷积层，和过滤器大小为3x3、步距为2的平均池化下采样层；通过将所述过渡层在dense模块和dense模块中间，来调整输出特征矩阵的宽高和深度；优选地，其中，通过设置该卷积核为1x1、步距为1的卷积层，来调整特征矩阵的深度；通过设置该过滤器大小为3x3、步距为2的平均池化下采样层，来调整输出特征矩阵的宽和高。
14.其中，所述步骤s2中，所述分类层包括bn层，过滤器大小为6x6、步距为1的平均池化下采样层和全连接层。
15.其中，在步骤3中，所述模型训练系统包括数据预处理模块、损失函数模块、训练模块、训练日志存储模块；其中，在所述预处理模块中，采用中值滤波的方法去除训练集中图像的噪点和测试集中图像的噪点；再将图像缩放为宽256像素、高256像素；最后将读取的图像数据转化为pytorch中的张量格式；通过所述损失函数模块评价识别网络模型预测输出与输入图像真实标签之间的一致性，并在一致性达到99%以上情况时认为该识别网络模型获得识别高铁接触网开口销缺陷的能力。
16.本发明还提供一种高铁接触网开口销缺陷的智能检测系统，其用于实施上文所述的高铁接触网开口销缺陷的智能检测方法。
17.根据本发明提供的高铁接触网开口销缺陷的智能检测方法及系统，具有以下有益效果：（1）根据本发明提供的高铁接触网开口销缺陷的智能检测方法及系统，通过采用改进的dense模块复用特征数据，提高了识别的准确性，使得该方法及系统能够有效地识别出开口销缺陷。
18.（2）根据本发明提供的高铁接触网开口销缺陷的智能检测方法及系统，能够实时的检测和捕捉高铁接触网开口销缺陷，从而实现实时检测发现，以便于及时对缺陷位置进行修补，避免引起更大的损失。
附图说明
19.图1示出本发明一种优选实施方式中高铁接触网开口销缺陷的智能检测方法的整体逻辑图；图2示出高铁接触网开口销正缺失时的示意图；
图3示出高铁接触网开口销未掰开时的示意图。
具体实施方式
20.下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
21.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
22.根据本发明提供的高铁接触网开口销缺陷的智能检测方法，如图1所示，该方法包括以下步骤：步骤1，获取含有高铁接触网开口销缺陷的样本和高铁接触网开口销正常的样本组成的数据集，并按比例将该数据集划分为训练集和测试集；优选地，步骤1包括如下子步骤：子步骤1-1，获取通过摄像机拍摄的多幅包含高铁接触网的高清图像，且该高清图像来自拍摄角度不同的至少两台摄像机；一般的获得方法为，将至少两个摄像机布置在移动设备上，该移动设备能够沿着高铁线路运行，可以是普通高铁列车，也可以是专用设备，从而能够实时拍摄接触网，优选地，所述两个摄像机朝向不同方位，从而使其能够从两个角度拍摄接触网，优选为相反的两个方向；在该子步骤1-1中，需要至少获得一万张图像；在该移动设备沿着高铁轨道移动时，保持速度一致，并且尽快调节摄像机的焦距，尽量保持焦距不变，从而使得获得的图像清晰度和大小一直，方便后续处理；另外，为了使得数据充分，需要在至少两个高铁线路上分别拍摄取样。
23.子步骤1-2，将采集到的数据图像截取为子图像，所述子图像中仅保留原图像的斜腕臂及其下方结构。本技术人发现，在高铁接触网上，在每个斜腕臂下方都设置有至少3个螺栓连接结构，并且都附带有开口销，并且所述斜腕臂的识别技术比较简单且已经足够成熟，能够快速准确地识别斜腕臂，在此基础上，能够快速准确地获知每张接触网图像中的斜腕臂，从而可以对包含斜腕臂的图像进行截取，截取到包含完整斜腕臂的正方形子图像，该图像中即可包含斜腕臂及其下方结构，也包含所需要检测的开口销，通过该子步骤能够极大地缩减后续图像处理的工作量，能够快速形成针对开口销缺陷检测的数据库。
24.子步骤1-3，将子图像分为含有高铁接触网开口销缺陷的样本和高铁接触网开口销正常的样本，并分别进行标记；其中，本技术中所述高铁接触网开口销缺陷包括开口销缺失如图2中所示，开口销缺掰开角度异常及开口销外观状态异常；所述掰开角度达到120度左右属于正常状况，掰开角度过大或者过小都属于异常状况，接触销未掰开，也属于掰开角度异常的情况，如图3中所示；所述外观状态异常是指开口销的两条金属丝长短不同，一般是由于部分损伤或者被切断等情况引起的。
25.在该子步骤的标记的过程中，通过人工逐一观察图像中的开口销位置，判断是否存在开口销缺失、掰开角度异常或者开口销外观状态异常等缺陷，并对该图像进行标注。
26.子步骤1-4，将标记后的样本按比例随机分为训练数据集和测试数据集，其中，在训练数据集中，高铁接触网开口销正常的样本和含有高铁接触网开口销缺陷的样本的比例
为50:1；在测试数据集中，高铁接触网开口销正常的样本和含有高铁接触网开口销缺陷的样本的比例为100: 1。
27.步骤2，使用pytorch深度学习框架，搭建识别网络模型；优选地，在步骤2中，所述识别网络模型依次包括卷积层、下采样层、交替排布层和分类层；其中，所述卷积层的卷积核大小为5x5，步距为2；所述下采样层为步距为2的最大池化下采样层；交替排布层是指9个dense模块和8个过渡层交替排布。
28.在dense模块中，dense层会连接前面所有层作为输入，这可以实现特征重用，提升效率。
29.在一个优选的实施方式中，所述dense模块由多个dense层堆叠而成，具体来说，所述9个dense模块包括dense模块一、dense模块二、dense模块三、dense模块四、dense模块五、dense模块六、dense模块七、dense模块八和dense模块九；其中，所述dense模块一包括3层dense层；dense模块二包括4层dense层；dense模块三包括5层dense层；dense模块四包括7层dense层；dense模块五包括7层dense层；dense模块六包括8层dense层；dense模块七包括6层dense层；dense模块八包括4层dense层；dense模块九包括3层dense层。优选地，dense层数可以自由组合，通过不同的数量组合对比选取此组合，识别精度和运算效率有较好的综合表现；优选地，所述dense层由bn层，relu层，逐点卷积层，bn层，sigmod层，第一逐通道卷积层，bn层，第二逐通道卷积层，逐点卷积层顺次堆叠而成；其中，所述逐点卷积层即为pointwise convolution，其卷积核大小为2x2、步距为1；所述第一逐通道卷积层的卷积核大小为2x2、步距为1；所述第二逐通道卷积层的卷积核大小为3x3、步距为1。
30.所述逐点卷积层和逐通道卷积层组合可以极大减少运算量和参数数量，提高算法效率，使用bn层将输入满足均值为0，方差为1的正态分布，从而可以加速训练；sigmod层即为sigmod函数层，通过该sigmod层来进行二分类。
31.更优选地，在所述逐通道卷积层中，一个卷积核负责一个通道，一个通道只被一个卷积核卷积，卷积后的特征图数量与输入层的通道数相同，可以减少运算量和参数数量。
32.bn是batch normalization,通过bn使得特征图满足均值为0，方差为1的分布规律，本技术的方案中，通过设置bn层能够加速网络的收敛并提升准确率。
33.relu是xavier glorot等人在2009年论文deep sparse rectifier neural networks提出的，训练完毕的神经网络具有一定的稀疏性，有更快的训练速度，可以缩短训练周期；
relu激活函数为：在一个优选的实施方式中，在所述dense模块中，第层的输出特征矩阵公式如下：其中，表示第层的输出；表示第层的dense层的bn层、relu层、sigmod层、逐点卷积层、逐通道卷积的总的运算；表示dense模块中，第层之前所有dense层输出特征矩阵的合并。
34.在一个优选的实施方式中，所述过渡层包括bn层，relu层，卷积核大小为1x1、步距为1的卷积层，和过滤器大小为3x3、步距为2的平均池化下采样层；通过将所述过渡层设置在dense模块和dense模块中间，来调整输出特征矩阵的宽高和深度；优选地，其中，通过设置该卷积核为1x1、步距为1的卷积层，来调整特征矩阵的深度，防止输出通道个数过多；通过设置该过滤器大小为3x3、步距为2的平均池化下采样层，来调整输出特征矩阵的宽和高，对特征进行压缩、简化网络复杂度、减少计算量、减少内存消耗。
35.在一个优选的实施方式中，所述步骤s2中，所述的分类层包括顺次相连的bn层，过滤器大小为6x6、步距为1的平均池化下采样层和全连接层，将前置网络提取到的分布式特征表示映射到样本标记空间；所述全连接层是指全连接层指的是层中的每个节点都会连接它下一层的所有节点的层。
36.步骤3，通过模型训练系统训练所述识别网络模型，通过模型测试系统测试训练后的识别网络模型，从而使得识别网络模型能够识别高铁接触网开口销缺陷；优选地，在步骤3中，所述模型训练系统包括数据预处理模块、损失函数模块、训练模块、训练日志存储模块；其中，在所述预处理模块中，采用中值滤波的方法去除训练集中图像的噪点和测试集中图像的噪点；再将图像缩放为宽256像素、高256像素；最后将读取的图像数据转化为pytorch中的张量格式；所述中值滤波方法中的窗口大小为3x3；通过所述损失函数模块评价识别网络模型预测输出与输入图像真实标签之间的一致性，并在一致性达到99%以上情况时认为该识别网络模型获得识别高铁接触网开口销缺陷的能力；损失函数为：其中，表示预测值，表示神经元的实际输出；在所述训练模块中采用端到端训练方式进行训练，其中的训练优化器为rmsprop优化器；所述的端到端训练即输入子图像输出识别结果的训练方式；所述rmsprop优化器的学习率设为10-5
；
所述训练日志存储模块,用于记录训练过程中损失值，准确率、权重文件保存路径等信息；在具体的训练测试过程中，将张量格式输入到识别网络模型，正向传播过程中就能得到一个输出值，然后将输出值与期望的输出值对比就能得到一个误差值，然后计算每个节点的偏导数就能得到每个节点的误差梯度，将得到的损失值，反向应用到损失梯度上，从而实现误差的反向传播；通过所述模型测试系统检测训练后的识别网络模型作用于测试集的识别精度检测过程包括，将测试数据集的样本输入到识别网络模型，得到预测的结果与样本真实值对比，得到识别精度，当精度大于上一次训练的网络模型权重时，保存本次的训练权重；当测试识别精度超过30次不再提高时，结束训练过程。
37.步骤4，调取实时的高铁接触网图像，截取出其中包含斜腕臂及其下方结构的子图像，通过识别网络模型进行识别并获得识别结果，进而抓取包含开口销缺陷的高铁接触网图像。
38.其中，所述子图像为正方形图像，该正方形图像包含完整的斜腕臂结构。
39.优选地，在获得高铁接触网图像以后，首先将其输入到斜腕臂识别模块中，识别并锁定接触网图像中的斜腕臂，从而获知斜腕臂的长度，并将斜腕臂放置在正方形选框的中部，最后截取该正方形选框，从而获得包含斜腕臂及其下方结构的子图像，由于斜腕臂下方存在至少3个开口销，通过上述方法能够快速准确地识别斜腕臂下方的开口销缺陷。
40.本发明还提供一种高铁接触网开口销缺陷的智能检测系统，其用于实施所述的高铁接触网开口销缺陷的智能检测方法，具体来说，该系统包括前处理模块和识别网络模型，所述前处理模块用于处理拍摄获得的包括接触网的图像照片，首先识别出图像中的斜腕臂，再据此截取正方形的子图像，子图像中斜腕臂完整地位于子图像中部，该子图像中也会包含斜腕臂下方的连接机构，从而能够判断连接机构上的开口销是否存在缺陷。
41.所述识别网络模型能够识别子图像中开口销的缺陷，并予以标注。所述识别网络模型包括依次包括卷积层、下采样层、交替排布层和分类层；其中，所述卷积层的卷积核大小为5x5，步距为2；所述下采样层为步距为2的最大池化下采样层；交替排布层是指9个dense模块和8个过渡层交替排布；所述dense模块由多个dense层堆叠而成，优选地，所述9个dense模块包括dense模块一、dense模块二、dense模块三、dense模块、dense模块五、dense模块六、dense模块七、dense模块八和dense模块九；其中，所述dense模块一包括3层dense层；dense模块二包括4层dense层；dense模块三包括5层dense层；dense模块四包括7层dense层；dense模块五包括7层dense层；dense模块六包括8层dense层；dense模块七包括6层dense层；dense模块八包括4层dense层；
dense模块九包括3层dense层；优选地，所述dense层由bn层，relu层，逐点卷积层，bn层，sigmod层，第一逐通道卷积层，bn层，第二逐通道卷积层，逐点卷积层顺次堆叠而成；其中，所述逐点卷积层即为pointwise convolution，其卷积核大小为2x2、步距为1；所述第一逐通道卷积层的卷积核大小为2x2、步距为1；所述第二逐通道卷积层的卷积核大小为3x3、步距为1。
实施例
42.步骤1，调取京沪高铁沿线的接触网照片1.2万张，从中挑选出含有高铁接触网开口销缺陷的图像照片110张；将采集到的数据图像截取为正方形的子图像，所述子图像中仅保留原图像的斜腕臂及其下方结构；将子图像分为含有高铁接触网开口销缺陷的样本和高铁接触网开口销正常的样本，再据此设置训练数据集和测试数据集；在训练数据集中，高铁接触网开口销正常的样本和含有高铁接触网开口销缺陷的样本的比例为50:1；在测试数据集中，高铁接触网开口销正常的样本和含有高铁接触网开口销缺陷的样本的比例为100: 1。
43.步骤2，使用pytorch深度学习框架，搭建识别网络模型；所述识别网络模型依次包括卷积层、下采样层、交替排布层和分类层；其中，所述卷积层的卷积核大小为5x5，步距为2；所述下采样层为步距为2的最大池化下采样层；交替排布层是指9个dense模块和8个过渡层交替排布；其中，所述9个dense模块包括dense模块一、dense模块二、dense模块三、dense模块、dense模块五、dense模块六、dense模块七、dense模块八和dense模块九；其中，所述dense模块一包括3层dense层；dense模块二包括4层dense层；dense模块三包括5层dense层；dense模块四包括7层dense层；dense模块五包括7层dense层；dense模块六包括8层dense层；dense模块七包括6层dense层；dense模块八包括4层dense层；dense模块九包括3层dense层；所述dense层由bn层，relu层，逐点卷积层，bn层，sigmod层，第一逐通道卷积层，bn层，第二逐通道卷积层，逐点卷积层顺次堆叠而成；其中，所述逐点卷积层的卷积核大小为2x2、步距为1；所述第一逐通道卷积层的卷积核大小为2x2、步距为1；所述第二逐通道卷积层的卷积核大小为3x3、步距为1。
44.步骤3，通过模型训练系统训练所述识别网络模型，通过模型测试系统测试训练后的识别网络模型，从而使得识别网络模型能够识别高铁接触网开口销缺陷；
其中，采用中值滤波的方法去除训练集中图像的噪点和测试集中图像的噪点；再将图像缩放为宽256像素、高256像素；最后将读取的图像数据转化为pytorch中的张量格式；所述中值滤波方法中的窗口大小为3x3；通过所述损失函数模块评价识别网络模型预测输出与输入图像真实标签之间的一致性，并在一致性达到99%以上情况时认为该识别网络模型获得识别高铁接触网开口销缺陷的能力；损失函数为：训练优化器为rmsprop优化器。
45.步骤4，调取实时的高铁接触网图像50张，截取出其中包含斜腕臂及其下方结构的子图像，通过识别网络模型进行识别并获得识别结果，进而抓取出其中包含的3张开口销缺陷的高铁接触网图像。
46.步骤5，由专家逐一观看步骤4中调取的50张高铁接触网图像，发现存在开口销缺陷的为3张，与步骤4给出的结果一致；步骤6，重复10次步骤4和步骤5，得出步骤4中识别高铁接触网开口销缺陷准确率在99.9%以上。
47.以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。