铁路货车制动梁安全链脱落故障图像识别方法及系统与流程

1.本发明涉及货车制动梁安全链脱落故障图像识别方法及系统。


背景技术：

2.列车制动系统是列车的重要组成部分，其性能的好坏和制动能力的大小直接涉及列车能否安全运行。制动梁是铁道车辆上最重要的部件之一，它的损伤故障对行车安全影响极大。在列车运行过程中，制动梁承受较大的交变载荷及冲击力，制动时承受制动力以及车轮对闸瓦的反作用力，受力状况较为恶劣。制动梁安全链与梁体的连接是由一个整体的安全链卡子和一条眼环螺栓紧固在一起。当制动梁安全链发生脱落故障，这不但会失去对制动梁体的固定作用，也会由于安全链与梁体直接摩擦造成梁体局部磨耗，给货车的运行带来安全隐患。现采用的人工逐张看图的检车作业方式，存在受人员素质、责任心影响，错漏检问题时有发生，作业质量难以保证，以及人工成本巨大、效率低下等问题。
3.所以针对制动梁安全链脱落故障的自动化检测具有重要意义。通过结合图像处理和深度学习技术，实现故障自动识别和报警，有效提高检车作业质量和效率。


技术实现要素：

4.本发明的目的是为了解决现有目标检测方法中铁路货车制动梁安全链位于制动梁后方，存在较为明显的遮挡和重叠，导致检测精度低的问题，而提出铁路货车制动梁安全链脱落故障图像识别方法及系统。
5.铁路货车制动梁安全链脱落故障图像识别方法具体过程为：
6.建立原始样本图像数据集；
7.所述图像为铁路货车制动梁安全链图像；
8.基于原始样本图像数据集对网络模型进行训练，直至模型收敛，获得训练好的网络模型；具体过程为：
9.网络结构为ssd网络；
10.训练过程采用改进的repulsion loss损失函数以及diou-nms非极大值抑制方法去除重复框；
11.改进的repulsion loss损失函数具体为：
12.repulsion loss由三个损失项构成；
13.l＝l
attr
+αl
repgt
+βl
repbox
14.第一项l
attr
为预测框与真实目标框所产生的损失值；
15.第二项l
repgt
是预测框与周围真实目标框所产生的损失值；
16.第三项l
repbox
是预测框和其他真实目标的预测框所产生的损失值；
17.α、β表示权重；
18.对第二项中周围真实目标框进行改进，改进后的周围真实目标框选取方式用下式表示：
[0019][0020]
其中d表示默认框，表示周围真实目标框，表示与默认框匹配的真实目标框，g表示真实目标框，表示除去本身要回归目标的真实框外的其他真实目标框；
[0021]
基于获得的训练好的网络模型对待测图像进行故障识别。
[0022]
优选地，建立原始样本图像数据集；具体过程为：
[0023]
一、获取铁路货车线阵图像；
[0024]
二、基于铁路货车线阵图像，获取铁路货车制动梁安全链部件粗定位图像；
[0025]
三、对铁路货车制动梁安全链部件粗定位图像进行数据集扩增；
[0026]
四、基于扩增后数据集，建立原始样本图像数据集。
[0027]
优选地，一中获取铁路货车线阵图像；具体过程为：
[0028]
分别在货车轨道底部搭建高清设备，对通过的货车进行拍摄，获取货车底部的图像。
[0029]
优选地，二中基于铁路货车线阵图像，获取铁路货车制动梁安全链部件粗定位图像；具体过程为：
[0030]
根据货车轴距信息、转向架类型信息对货车底部的图像中的制动梁安全链位置进行粗定位，获取部件粗定位图像。
[0031]
优选地，三中对铁路货车制动梁安全链部件粗定位图像进行数据集扩增；具体过程为：
[0032]
扩增形式包括图像的旋转、平移、缩放、镜像操作，每种操作都是在随机条件下进行的。
[0033]
优选地，四中基于扩增后数据集，建立原始样本图像数据集；具体过程为：
[0034]
原始样本图像数据集包括：部件粗定位图像集与标记信息集；
[0035]
部件粗定位图像集与标记信息数据集之间是一一对应的，即每个部件粗定位图像对应一个标记数据。
[0036]
优选地，diou-nms非极大值抑制方法具体过程为：
[0037]
假设ssd网络模型的一个默认框集为b，默认框集b对应的类别置信度得分集为s，对于得分最高的预测框m，将第i个默认框的分类得分进行更新：
[0038][0039]
其中，si表示分类得分，si∈s；ε表示nms阈值，r
diou
(m,bi)表示得分最高的预测框中心点与第i个默认框中心点之间的距离，bi表示第i个默认框，iou表示默认框与得分最高的预测框之间的重叠度。
[0040]
优选地，基于获得的训练好的网络模型对待测图像进行故障识别；具体过程为：
[0041]
步骤六一：部件粗定位：
[0042]
根据转向架类型信息及部件所在区域的先验知识，取出包含部件的子区域图像；
[0043]
步骤六二：故障判定：
[0044]
将子区域图像输入训练好的模型，完成子区域图像中的制动梁安全链部件检测，判定是否存在故障，若是，执行步骤六三；若否，继续检测下一张图像；
[0045]
步骤六三：上传报警：
[0046]
根据故障信息，将故障位置和故障类别生成报文，并上传至报警平台。
[0047]
优选地，权重α、β取值均为0.5。
[0048]
基于铁路货车制动梁安全链脱落故障图像识别系统用于执行基于深度学习的铁路货车制动梁安全链脱落故障图像识别方法。
[0049]
本发明的有益效果：
[0050]
与其他货车部件的目标检测相比，制动梁安全链位于制动梁后方，存在较为明显的遮挡。其中遮挡存在两种情况：一种是由于制动梁的遮挡导致安全链显示不完整的情况，这会使得深度学习检测模型学习不到完整的特征进而导致误检；另一种是由于链条的柔性特征，这会使得不同节的链条堆叠在一起，检测模型无法分辨而导致漏检。本专利从损失函数的角度出发，采用一种改进的repulsion loss损失函数以及diou-nms非极大值抑制方法去除重复框，解决由于遮挡、重叠情况引起的制动梁安全链检测精度低的问题。
[0051]
本发明基于与默认框匹配的真实目标框进行选取周围真实目标框。以真实目标框为标准，计算它与周围的其他真实目标框的iou，具有最大iou的选为周围真实目标框，这种不依靠预测框进行选取的策略，即使出现了预测框偏差很大的情况，也不会影响训练收敛，使得算法更加鲁棒。
[0052]
本发明采用diou-nms非极大值抑制方法，在抑制准则中不仅对重叠区域进行分析，而且还计算两个检测框之间的中心点距离，有效地避免了遮挡和重叠情况下目标检测精度低的问题，本发明可以有效提升遮挡、重叠情况下目标检测的精度。
[0053]
本发明利用在货车轨道底部的高清成像设备，对高速运动的货车进行拍摄，获取货车底部的高清图像。根据轴距信息和转向架类型等先验知识，获取包含部件的粗定位图像。对图像进行收集、整理以及数据扩增获取训练图像样本集。根据故障类型搭建合适的深度神经网络，并进行多次训练直至模型收敛，获得相应参数。在识别阶段，加载参数，并将拍摄到的图像输入网络得到预测结果，根据预测结果判断是否为故障，如果是故障则对故障区域进行报警。
[0054]
本发明将自动识别技术引入货车故障检测，实现故障自动识别及报警，人工只需对报警结果进行确认，有效节约人力成本，提高作业质量和作业效率。将深度学习算法应用到制动梁安全链脱落故障自动识别中，相较传统的机器视觉检测方法具有更高的准确性、稳定性。
附图说明
[0055]
图1为本发明模型训练流程图；
[0056]
图2为ssd网络结构图；
[0057]
图3为故障判定流程图。
具体实施方式
[0058]
需要特别说明的是，在不冲突的情况下，本技术公开的各个实施方式之间可以相互组合。
[0059]
具体实施方式一：结合图1、图3说明本实施方式，本实施方式铁路货车连接拉杆折断故障识别方法具体过程为：
[0060]
建立原始样本图像数据集；
[0061]
所述图像为铁路货车制动梁安全链图像；
[0062]
基于原始样本图像数据集对网络模型进行训练，直至模型收敛，获得训练好的网络模型；具体过程为：
[0063]
网络结构为ssd网络；
[0064]
训练过程采用改进的repulsion loss损失函数以及diou-nms非极大值抑制方法去除重复框；
[0065]
改进的repulsion loss损失函数具体为：
[0066]
repulsion loss由三个损失项构成；
[0067]
l＝l
attr
+αl
repgt
+βl
repbox
[0068]
第一项l
attr
为预测框与真实目标框所产生的损失值；
[0069]
第二项l
repgt
是预测框与周围真实目标框(即除了匹配的真实目标框外，与预测框iou最大的真实目标框)所产生的损失值；
[0070]
第三项l
repbox
是预测框和其他真实目标的预测框所产生的损失值；
[0071]
α、β表示权重；
[0072]
对第二项中周围真实目标框进行改进，改进后的周围真实目标框选取方式用下式表示：
[0073][0074]
其中d表示默认框，表示周围真实目标框，表示与默认框匹配的真实目标框，g表示真实目标框，表示除去本身要回归目标的真实框外的其他真实目标框；
[0075]
基于获得的训练好的网络模型对待测图像进行故障识别。
[0076]
在训练数据集建立完成后，选用深度学习目标检测算法对制动梁安全链部件进行检测，模型训练流程如图1所示。
[0077]
与其他货车部件的目标检测相比，制动梁安全链位于制动梁后方，存在较为明显的遮挡。其中遮挡存在两种情况：一种是由于制动梁的遮挡导致安全链显示不完整的情况，这会使得深度学习检测模型学习不到完整的特征进而导致误检；另一种是由于链条的柔性特征，这会使得不同节的链条堆叠在一起，检测模型无法分辨而导致漏检。本专利从损失函数的角度出发，采用一种改进的repulsion loss损失函数以及diou-nms非极大值抑制方法去除重复框，解决由于遮挡情况引起的制动梁安全链检测效果差的问题。
[0078]
1.ssd目标检测算法
[0079]
目前常用的目标检测算法包括faster r-cnn和yolo，其中faster r-cnn摈弃了之前目标检测生成候选区域的方法，通过rpn网络生成候选区域进行检测，使得其检测精度很高，但是速度较慢。yolo则直接通过回归得出目标位置并判定其类别，将检测任务转变成回归任务。少了候选区域的生成过程，直接一步就获得目标边框位置和类别预测，大大加快了检测速度，然而相对地检测精度又变差了。
[0080]
本发明采用目标检测算法ssd，它综合了yolo和faste r-cnn的优点，使得算法在保持高精度的同时，速度也达到了实时检测的要求。
[0081]
图2是ssd的网络结构，其主要包括三部分：基础网络、特征提取网络、检测网络；
[0082]
(1)基础网络：原文中的基础网络是用vgg16搭建而成，作者将原来vgg16中的fc6，fc7全连接层分别用卷积核为3
×3×
1024和1
×1×
1024的卷积层代替，因为全连接的结构会破坏特征的位置信息；
[0083]
(2)特征提取网络：将上述修改后的vgg16中的conv7_2卷积特征图后通过1
×
1，3
×
3的卷积组合分别生成conv8_2、conv9_2、conv10_2、conv11_2这4个特征图，和conv4_3、conv7特征图构成了ssd的特征金字塔，生成特征图的网络即为特征提取网络。一般的检测算法都是用一张特征图进行检测，ssd采用了6张特征图。
[0084]
(3)检测网络：特征提取网络总共生成了6张特征图，检测网络对每一张特征图再分别采用两个并列的3
×
3卷积核进行卷积，生成一张每个特征点代表一个坐标值的坐标偏置图和一张每个特征点代表某个类别预测得分的类别置信度图。
[0085]
2.repulsion loss设计原理
[0086]
repulsion loss的解决思路是设计一种全新的损失函数，其包括两个部分：一部分是使得预测框更接近真实目标框的吸引项，另一部分是使得预测框尽可能远离周围其他真实目标框和其他预测框的排斥项。这种设置能使得预测框在训练当中能够逐渐向匹配的真实目标靠近，并且避免因为进入到错误的目标区域而被非极大抑制滤除。
[0087]
3.repulsion loss函数定义
[0088]
repulsion loss由三个损失项构成；
[0089]
l＝l
attr
+αl
repgt
+βl
repbox
[0090]
(1)attr loss
[0091]
第一项l
attr
为预测框与真实目标框所产生的损失值，当预测框和真实目标框离得越远，损失值就会越大，它使得预测框和匹配的真实目标框尽可能接近。
[0092][0093][0094]
其中p是默认框，p
+
为所有正样本集合，是与默认框拥有最大iou的真实目标框，b
p
是从p回归得到的预测框，attr loss采用smooth
l1
计算距离。
[0095]
(2)repgt loss
[0096]
第二项l
repgt
是预测框与周围真实目标框(即除了匹配的真实目标框外，与默认框
iou最大的真实目标框)所产生的损失值，预测框与周围真实目标框靠得越近则损失值越大，它使得预测框尽可能远离周围的真实目标框。
[0097][0098][0099][0100]
其中是默认框p除了匹配的真实目标框之外，具有最大iou的真实目标框，repgt loss采用smooth
ln
计算距离。
[0101]
(3)repbox loss
[0102]
第三项l
repbox
是预测框和其他真实目标的预测框所产生的损失值，预测框如果越靠近其他真实目标的预测框，则损失值越大，它使得预测框相互之间尽可能远离。
[0103][0104]
其中预测框和其他目标的预测框的iou越大，损失也越大，因此可以有效防止两个预测框因为靠的太近而被非极大抑制过滤掉，进而减少漏检。
[0105]
4.repulsion loss在ssd上的实现细节及其改进
[0106]
与r-cnn系列算法中普遍使用的通过候选区域进行分类和回归的方法不同，ssd采用的是默认框的方式进行分类和回归，所以在repulsion loss的实现细节上也存在着很多不同。
[0107]
repulsion loss相对于ssd原来的多任务损失函数主要增加了repgt loss和repbox loss两种损失。其中repgt loss的存在使得预测框尽量远离匹配目标附近的真实目标框，因为原文中repulsion loss的实现是基于默认框的，选取的是除了与默认框匹配的真实目标框以外iou最大的周围真实目标框，具体选取方法如式所示。
[0108][0109]
其中p为默认框，g为真实目标框，是默认框p除了匹配的真实目标框之外，具有最大iou的真实目标框。是与默认框p拥有最大iou的真实目标框。
[0110]
但是对于ssd来说，它没有默认框，取而代之的是默认框。而默认框是基于特征图选取的一系列位置固定的框，它如果和真实目标框匹配的话就会被选为正样本，然后基于
这些正样本默认框进行分类和回归。但是这种方案也会存在一个问题，因为网络在训练的开始阶段，其权重是随机初始化的，所以预测框一开始可能会偏离得比较大，导致预测框下一步的定位难以预测，进而影响训练的收敛甚至检测性能。
[0111]
为了解决这个问题，本专利提出的一个改进方案就是，基于默认框匹配的真实目标框进行选取周围真实目标框。以真实目标框为标准，计算它与周围的其他真实目标框的iou，具有最大iou的选为周围真实目标框，这种不依靠预测框进行选取的策略，即使出现了预测框偏差很大的情况，也不会影响训练收敛，使得算法更加鲁棒。改进后的周围真实目标框选取方式可以用下式表示。
[0112][0113]
其中d表示默认框，表示周围真实目标框，表示与默认框匹配的真实目标框，g表示真实目标框；
[0114]
对于repbox loss，它的作用是使预测不同目标的预测框相互远离。但是在实现的时候，如果两个预测框靠的太近的话，repbox loss的设计机制会导致两个预测框离开对方真实目标框的范围，这样就使得预测框定位产生偏差。为解决这个问题，我们通过设置一个重叠阈值，即允许预测框和周围目标真实框存在一定的交集，只有超过这个阈值的重叠才会计算repbox loss。
[0115]
5.diou-nms非极大值抑制方法
[0116]
nms是抑制非极大值元素的方法总称，用来去除相邻的重复检测框，留下最精准的检测框。在传统的nms中，利用定义的iou来抑制重复检测框，但由于是仅对重叠区域进行分析，因此当检测目标存在遮挡和重叠情况时，容易发生不符合预期的抑制效果，将原本需要检测的目标过滤掉，造成目标漏检的情况发生。为解决这个问题，本发明采用diou-nms非极大值抑制方法，在抑制准则中不仅对重叠区域进行分析，而且还计算两个检测框之间的中心点距离，有效地避免了遮挡和重叠情况下目标漏检的问题。
[0117]
假设模型的一个默认框集为b，其对应的类别置信度集为s，对于得分最高的预测框m，将分类得分进行更新：
[0118][0119]
其中，si是分类得分，ε是nms阈值，r
diou
(m,bi)是得分最高的预测框与第i个默认框之间的中心点距离，bi是第i个默认框；
[0120]
对于两个中心点较远的矩形框，有可能位于不同的目标上，因此不进行滤除。通过同时分析两个矩形框的iou以及中心点之间的距离来进行检测框去除，可以有效提升遮挡、重叠情况下目标检测的精度。
[0121]
具体实施方式二：本实施方式与具体实施方式一不同的是，建立原始样本图像数据集；具体过程为：
[0122]
一、获取铁路货车线阵图像；
[0123]
二、基于铁路货车线阵图像，获取铁路货车制动梁安全链部件粗定位图像；
[0124]
三、对铁路货车制动梁安全链部件粗定位图像进行数据集扩增；
[0125]
四、基于扩增后数据集，建立原始样本图像数据集。
[0126]
其它步骤及参数与具体实施方式一相同。
[0127]
具体实施方式三：本实施方式与具体实施方式一或二不同的是，一中获取铁路货车线阵图像；具体过程为：
[0128]
分别在货车轨道底部搭建高清设备，对通过的货车进行拍摄，获取货车底部的图像。
[0129]
采用线扫描，可实现图像无缝拼接，生成视野大、精度高的二维图像。
[0130]
其它步骤及参数与具体实施方式一相同。
[0131]
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，二中基于铁路货车线阵图像，获取铁路货车制动梁安全链部件粗定位图像；具体过程为：
[0132]
根据货车轴距信息、转向架类型信息对货车底部的图像中的制动梁安全链位置进行粗定位，获取部件粗定位图像。
[0133]
从底部大图中截取包含部件的局部区域图像，可有效减少故障识别所需时间、提升识别准确率。
[0134]
其它步骤及参数与具体实施方式一至三之一相同。
[0135]
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，三中对铁路货车制动梁安全链部件粗定位图像进行数据集扩增；具体过程为：
[0136]
样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。
[0137]
扩增形式包括图像的旋转、平移、缩放、镜像操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
[0138]
由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。
[0139]
在训练图像数据集的搜集的过程中，要保证多样性，尽量搜集其在各种条件、不同站点的图像。
[0140]
其它步骤及参数与具体实施方式一至四之一相同。
[0141]
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，四中基于扩增后数据集，建立原始样本图像数据集；具体过程为：
[0142]
原始样本图像数据集包括：部件粗定位图像集与标记信息集；标记信息故障位置和故障类别；
[0143]
原图像集为设备拍摄的包含制动梁安全链部件的粗定位图像；
[0144]
标记信息集为包含部件的矩形子区域信息，通过人工标记的方式获取；
[0145]
部件粗定位图像集与标记信息数据集之间是一一对应的，即每个部件粗定位图像对应一个标记数据。
[0146]
其它步骤及参数与具体实施方式一至五之一相同。
[0147]
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，diou-nms非极大值抑制方法具体过程为：
[0148]
假设ssd网络模型的一个默认框集为b，默认框集b对应的类别置信度得分集为s，
对于得分最高的预测框m，将第i个默认框的分类得分进行更新：
[0149][0150]
其中，si表示分类得分，si∈s；ε表示nms阈值，r
diou
(m,bi)表示得分最高的预测框中心点与第i个默认框中心点之间的距离，bi表示第i个默认框，iou表示默认框与得分最高的预测框之间的重叠度。
[0151]
其它步骤及参数与具体实施方式一至六之一相同。
[0152]
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，基于获得的训练好的网络模型对待测图像进行故障识别；具体过程为：
[0153]
步骤六一：部件粗定位：
[0154]
根据转向架类型信息及部件所在区域的先验知识，取出包含部件的子区域图像；
[0155]
步骤六二：故障判定：
[0156]
将子区域图像输入训练好的模型，完成子区域图像中的制动梁安全链部件检测，对部件位置和形态进行逻辑分析，判定是否存在故障，若是，执行步骤六三；若否，继续检测下一张图像；
[0157]
步骤六三：上传报警：
[0158]
根据故障信息，将故障位置和故障类别生成报文，并上传至报警平台。
[0159]
其它步骤及参数与具体实施方式一至七之一相同。
[0160]
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，权重α、β取值均为0.5。
[0161]
其它步骤及参数与具体实施方式一至八之一相同。
[0162]
具体实施方式十：本实施方式铁路货车制动梁安全链脱落故障图像识别系统用于执行基于深度学习的铁路货车连接拉杆折断故障识别方法。
[0163]
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。