一种钩提杆复位弹簧丢失和折断检测方法及系统与流程

1.本发明涉及一种列车部件故障检测方法和系统，具体设计利用神经网络判断钩提杆复位弹簧故障的方法和系统。


背景技术：

2.钩提杆复位弹簧是列车安全制动装置中重要的部分，能保证列车告诉运转下安全运行，对货车进行自动化故障检测具有重要意义，然而通常钩提杆复位弹簧丢失或者钩提杆复位弹簧折断，由于轴链、车梯等部件的遮挡肉眼一般很难发现故障。
3.长期以来，车辆段采用人工查看图像的方法对货运列车进行全车检查，一直存在高成本、低效率等问题。同时采用人工查看图像工作枯燥、易受时间和环境的影响效率较低，会出现遗漏部件、误报等情况，难以保障准确率。


技术实现要素：

4.本发明的目的是为了克服现有采用人工对钩提杆复位弹簧进行检查准确率低的问题，提供了一种钩提杆复位弹簧丢失和折断检测方法及系统。
5.本发明提供一种钩提杆复位弹簧丢失和折断检测方法，具体步骤如下：
6.步骤一、获取列车图像，并从列车图像中截取得到包含待检测部件的特征子图；待检测部件包括钩提杆、钩提杆复位弹簧和弹簧座中的至少一种；
7.步骤二、识别特征子图中的各待检测部件并标记；
8.步骤三、利用定位模型检测得到特征子图中各待检测部件的位置坐标信息；
9.步骤四、利用各待检测部件的位置坐标信息判断是否存在钩提杆复位弹簧；
10.如果不存在钩提杆复位弹簧，则判断钩提杆复位弹簧丢失，执行步骤六；否则执行步骤五；
11.步骤五、利用各待检测部件的位置坐标信息计算得到钩提杆复位弹簧与钩提杆之间的第一距离，以及钩提杆复位弹簧与弹簧座之间的第二距离，并判断第一距离和第二距离是否小于等于设定的距离阈值；
12.如果第一距离和第二距离均小于等于设定的距离阈值，则判断钩提杆复位弹簧无故障；
13.如果第一距离大于设定的距离阈值，则判断钩提杆弹簧在钩提杆侧处折断，并执行步骤六；
14.如果第二距离大于设定的距离阈值，则判断钩提杆弹簧在弹簧座侧处折断，并执行步骤六；
15.步骤六、输出对应的故障信息；
16.故障信息包括钩提杆复位弹簧丢失、钩提杆弹簧在弹簧座侧处折断和钩提杆弹簧在钩提杆侧处折断。
17.其中，步骤一中，利用轴距信息截取得到包含待检测部件的特征子图。
18.其中，步骤二中，定位模型的训练步骤如下：
19.步骤二一、对数据集中的训练图片进行截取得到训练子图，并对训练子图中的待检测部件分别进行标记；训练子图中均包含三类待检测部件；
20.步骤二二、利用训练子图对初始的ssd网络进行训练并检测，得到训练好的ssd网络。
21.其中，步骤一还包括：
22.对待检测部件的特征子图进行清晰度评价，并过滤掉清晰度不足的特征子图；
23.清晰度指标小于设定清晰度阈值为清晰度不足。
24.其中，步骤二还包括：
25.对特征子图进行扩增；
26.扩增的方法包括对列车图像进行翻转、几何变换和/或使用增强数据进行泛化；
27.翻转包括90
°
随机旋转、水平翻转和垂直翻转；几何变换包括弹性变换、透视变换、分段仿射变换和枕形失真。
28.本发明还提供一种钩提杆复位弹簧丢失和折断检测系统，包括：
29.图像采集模块，用于获取列车图像，并从列车图像中截取得到包含待检测部件的特征子图并发送至特征标记模块；待检测部件包括钩提杆、钩提杆复位弹簧和弹簧座中的至少一种；
30.特征子图标记模块，用于识别特征子图中的各待检测部件并标记，并发送至定位模块；
31.定位模块，用于利用定位模型检测得到特征子图中各待检测部件的位置坐标信息，并发送至钩提杆复位弹簧丢失判断模块；
32.钩提杆复位弹簧丢失判断模块，用于利用各待检测部件的位置坐标信息判断是否存在钩提杆复位弹簧；
33.如果不存在钩提杆复位弹簧，则判断钩提杆复位弹簧丢失，发送至报障模块；否则发送至钩提杆复位弹簧折断判断模块；
34.钩提杆复位弹簧折断判断模块，用于利用各待检测部件的位置坐标信息计算得到钩提杆复位弹簧与钩提杆之间的第一距离，以及钩提杆复位弹簧与弹簧座之间的第二距离，并判断第一距离和第二距离是否小于等于设定的距离阈值；
35.如果第一距离和第二距离均小于等于设定的距离阈值，则判断钩提杆复位弹簧无故障；
36.如果第一距离大于设定的距离阈值，则判断钩提杆弹簧在钩提杆侧处折断，并发送至报障模块；
37.如果第二距离大于设定的距离阈值，则判断钩提杆弹簧在弹簧座侧处折断，并发送至报障模块；
38.报障模块，用于输出对应的故障信息；
39.故障信息包括钩提杆复位弹簧丢失、钩提杆弹簧在弹簧座侧处折断和钩提杆弹簧在钩提杆侧处折断。
40.其中，图像采集模块包括特征子图截取模块；
41.特征子图截取模块，用于利用轴距信息截取得到包含待检测部件的特征子图。
42.其中，特征子图标记模块包括：
43.训练子图截取标记模块，用于对数据集中的训练图片进行截取得到训练子图，并对训练子图中的待检测部件分别进行标记，并发送至网络训练模块；
44.训练子图中均包含三类待检测部件；
45.网络训练模块，用于利用训练子图对初始的ssd网络进行训练并检测，得到训练好的ssd网络。
46.其中，图像采集模块还包括清晰度评价模块：
47.清晰度评价模块，用于对待检测部件的特征子图进行清晰度评价，并过滤掉清晰度不足的特征子图；
48.清晰度指标小于设定清晰度阈值为清晰度不足。
49.其中，特征子图标记模块还包括图像扩增模块：
50.图像扩增模块，用于对特征子图进行扩增；
51.扩增的方法包括对列车图像进行翻转、几何变换和/或使用增强数据进行泛化；
52.翻转包括90
°
随机旋转、水平翻转和垂直翻转；几何变换包括弹性变换、透视变换、分段仿射变换和枕形失真。
53.本发明的有益效果是：
54.1、将钩提杆复位弹簧丢失与折断的现有问题，转化为综合特征即判断钩提杆复位弹簧是否存在，钩提杆复位弹簧与钩提杆和弹簧座的距离这两个判断条件，既解决了现有钩提杆复位弹簧被其他部件遮挡的问题，也提高了识别的精度；
55.2、利用图像自动识别的方法替代人工检测，可以解决人工检查长时间重复看图的疲劳问题，对于同种故障统一标准，提高了部件的检测效率和准确率。
附图说明
56.图1为截取的包括待检测部件的特征子图的示意图；
57.图2为钩提杆复位弹簧的正常形态示意图；
58.图3为钩提杆复位弹簧丢失形态示意图；
59.图4为钩提杆复位弹簧折断与钩提杆存在距离的示意图；
60.图5为钩提杆复位弹簧折断与弹簧座存在距离的示意图。
具体实施方式
61.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
63.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
64.具体实施方式一，本实施方式的一种钩提杆复位弹簧丢失和折断检测方法，具体步骤如下：
65.步骤一、获取列车图像，并从列车图像中截取得到包含待检测部件的特征子图；待检测部件包括钩提杆、钩提杆复位弹簧和弹簧座中的至少一种；
66.步骤二、识别特征子图中的各待检测部件并标记；
67.步骤三、利用定位模型检测得到特征子图中各待检测部件的位置坐标信息；
68.步骤四、利用各待检测部件的位置坐标信息判断是否存在钩提杆复位弹簧；
69.如果不存在钩提杆复位弹簧，则判断钩提杆复位弹簧丢失，执行步骤六；否则执行步骤五；
70.步骤五、利用各待检测部件的位置坐标信息计算得到钩提杆复位弹簧与钩提杆之间的第一距离，以及钩提杆复位弹簧与弹簧座之间的第二距离，并判断第一距离和第二距离是否小于等于设定的距离阈值；
71.如果第一距离和第二距离均小于等于设定的距离阈值，则判断钩提杆复位弹簧无故障；
72.如果第一距离大于设定的距离阈值，则判断钩提杆弹簧在钩提杆侧处折断，并执行步骤六；
73.如果第二距离大于设定的距离阈值，则判断钩提杆弹簧在弹簧座侧处折断，并执行步骤六；
74.步骤六、输出对应的故障信息；
75.故障信息包括钩提杆复位弹簧丢失、钩提杆弹簧在弹簧座侧处折断和钩提杆弹簧在钩提杆侧处折断。
76.最佳实施例，本实施例是对实施方式一的进一步说明，本实施例的步骤一中，利用轴距信息截取得到包含待检测部件的特征子图。
77.最佳实施例，本实施例是对实施方式一的进一步说明，本实施例的步骤二中，定位模型的训练步骤如下：
78.步骤二一、对数据集中的训练图片进行截取得到训练子图，并对训练子图中的待检测部件分别进行标记；训练子图中均包含三类待检测部件；
79.步骤二二、利用训练子图对初始的ssd网络进行训练并检测，得到训练好的ssd网络。
80.最佳实施例，本实施例是对实施方式一的进一步说明，本实施例的步骤一还包括：
81.对待检测部件的特征子图进行清晰度评价，并过滤掉清晰度不足的特征子图；
82.清晰度指标小于设定清晰度阈值为清晰度不足。
83.最佳实施例，本实施例是对实施方式一的进一步说明，本实施例的步骤二还包括：
84.对特征子图进行扩增；
85.扩增的方法包括对列车图像进行翻转、几何变换和/或使用增强数据进行泛化；
86.翻转包括90
°
随机旋转、水平翻转和垂直翻转；几何变换包括弹性变换、透视变换、分段仿射变换和枕形失真。
87.具体实施方式二，本实施方式的一种钩提杆复位弹簧丢失和折断检测系统，包括：
88.图像采集模块，用于获取列车图像，并从列车图像中截取得到包含待检测部件的特征子图并发送至特征标记模块；待检测部件包括钩提杆、钩提杆复位弹簧和弹簧座中的至少一种；
89.特征子图标记模块，用于识别特征子图中的各待检测部件并标记，并发送至定位模块；
90.定位模块，用于利用定位模型检测得到特征子图中各待检测部件的位置坐标信息，并发送至钩提杆复位弹簧丢失判断模块；
91.钩提杆复位弹簧丢失判断模块，用于利用各待检测部件的位置坐标信息判断是否存在钩提杆复位弹簧；
92.如果不存在钩提杆复位弹簧，则判断钩提杆复位弹簧丢失，发送至报障模块；否则发送至钩提杆复位弹簧折断判断模块；
93.钩提杆复位弹簧折断判断模块，用于利用各待检测部件的位置坐标信息计算得到钩提杆复位弹簧与钩提杆之间的第一距离，以及钩提杆复位弹簧与弹簧座之间的第二距离，并判断第一距离和第二距离是否小于等于设定的距离阈值；
94.如果第一距离和第二距离均小于等于设定的距离阈值，则判断钩提杆复位弹簧无故障；
95.如果第一距离大于设定的距离阈值，则判断钩提杆弹簧在钩提杆侧处折断，并发送至报障模块；
96.如果第二距离大于设定的距离阈值，则判断钩提杆弹簧在弹簧座侧处折断，并发送至报障模块；
97.报障模块，用于输出对应的故障信息；
98.故障信息包括钩提杆复位弹簧丢失、钩提杆弹簧在弹簧座侧处折断和钩提杆弹簧在钩提杆侧处折断。
99.最佳实施例，本实施例是对实施方式二的进一步说明，本实施例中，图像采集模块包括特征子图截取模块；
100.特征子图截取模块，用于利用轴距信息截取得到包含待检测部件的特征子图。
101.最佳实施例，本实施例是对实施方式二的进一步说明，本实施例中，特征子图标记模块包括：
102.训练子图截取标记模块，用于对数据集中的训练图片进行截取得到训练子图，并对训练子图中的待检测部件分别进行标记，并发送至网络训练模块；
103.训练子图中均包含三类待检测部件；
104.网络训练模块，用于利用训练子图对初始的ssd网络进行训练并检测，得到训练好的ssd网络。
105.最佳实施例，本实施例是对实施方式二的进一步说明，本实施例中，图像采集模块还包括清晰度评价模块：
106.清晰度评价模块，用于对待检测部件的特征子图进行清晰度评价，并过滤掉清晰度不足的特征子图；
107.清晰度指标小于设定清晰度阈值为清晰度不足。
108.最佳实施例，本实施例是对实施方式二的进一步说明，本实施例中，特征子图标记模块还包括图像扩增模块：
109.图像扩增模块，用于对特征子图进行扩增；
110.扩增的方法包括对列车图像进行翻转、几何变换和/或使用增强数据进行泛化；
111.翻转包括90
°
随机旋转、水平翻转和垂直翻转；几何变换包括弹性变换、透视变换、分段仿射变换和枕形失真。
112.具体地，钩提杆复位弹簧是列车安全制动装置中重要的组成部分，能够保证列车在告诉运转下安全运行，对列车进行自动化故障检测具有十分重要的意义。钩提杆复位弹簧属于难判故障，是需要在转化为综合特征即判断钩提杆复位弹簧是否存在，首先对整张工位图进行处理，根据待检测部件的位置先验信息(或轴距信息)获取待检测区域部分如图1所示。
113.钩提杆复位弹簧与钩提杆和弹簧座的距离这两个判断条件，图2为钩提杆复位弹簧的正常形态，图3为钩提杆复位弹簧丢失形态，图4为钩提杆复位弹簧折断与钩提杆存在距离，图5为钩提杆复位弹簧折断与弹簧座存在距离。所以我们首先通过检测钩提杆复位弹簧是否存在判断是否存在钩提杆复位弹簧丢失的故障信息，其次当钩提杆复位弹簧存在时根据钩提杆复位弹簧与钩提杆和弹簧座之间的距离判断是否存在折断故障。
114.一、原始图像
115.在固定的探测站点搭建高速成像设备，获取货运列车各部位的高清线阵灰度图像，收集不同时间段不同环境下的图像，获取较多的样本数据量，并保证图像数据中存在各种自然环境干扰下的图片，例如雨雪天气、光线干扰强弱的天气等，从而确保图像数据的多样性。
116.二、数据标记
117.对于根据零部件位置先验数据信息获取部件所在区域的图像进行标注，并采用ssd检测网络进行训练，标记三类，一类为钩提杆、一类为钩提杆复位弹簧、一类为弹簧座，如图5所示。其中左侧框为钩提杆、中间框为钩提杆复位弹簧、右侧框为弹簧座。通过训练的ssd网络获取钩提杆、钩提杆复位弹簧、弹簧座等部件，有效的提高了后续故障检测的精度和速度。
118.本步骤中对ssd网络的训练，是通过实现整理的数据集(和后续用于实际检测的列车图像不同)，该数据集中包括实现采集的训练图片，该训练图片中均包括钩提杆、钩提杆复位弹簧和弹簧座，以能够作为训练集对ssd网络进行训练，和作为验证集对ssd网络进行验证。
119.三、数据图片扩增
120.由于列车车速、室外阳光和天气变化等干扰因素影响，行驶中的货车面阵图像经常存在亮度不同、对比度不同、图片拉伸等问题。为了更好的提高图片的分辨率增强待检测部件的识别效果，对图片进行90度随机旋转，使用水平、垂直翻转等方式进行扩增。同时进行复杂的几何变换，包括弹性变换、透视变换、分段仿射变换、枕形失真，使用损失较小的增强数据进行泛化，以防止有用图像信息丢失。在丰富训练样本的同时，提高了检测模型的鲁棒性。
121.四、根据部件位置信息获取待检测部件图片
122.钩提杆复位弹簧与车钩类型相关，同一种车钩类型对应的钩提杆复位弹簧的结构形态也是相同的，可以参考轴距信息以及零部件位置先验数据信息，获取包含待检测部位的子图。
123.五、网络介绍及优化
124.本发明采用faster rcnn网络作为检测网络，faster rcnn由区域建议网络(rpn)和目标检测网络fast rcnn组成。其工作流程大致分为以下几个步骤：使用cnn提取输入图像的特征得到feature map；通过rpn网络从feature map得到候选框rois，并对其进行二分类，判别候选框内容是前景还是背景，并抛弃背景候选框留下前景候选框，通过回归微调前景的bbox与标记的gt接近；roi pooling得到等size的feature，再送入多分类器；通过多分类器对候选框进行分类，即gt有几类，就会分成相应的类别；最后进行bbox回归。
125.其中在rpn网络输入cnn得到的feature map时候，rpn使用3*3的滑动窗口得到对应原图的候选框，即feature map上的每一个点，都可以映射到原图的一个区域。对feature map每个点对应原图的区域进行不同形状大小的变换，得到不同大小的检测框(anchor box)，随后为了使得覆盖范围更广、检测的物体更多，进行不同尺度检测框变换，这样对于feature map上的每一个点都有对应数量的检测框(anchor box)，随后再将anchor box送入二分类层，进行回归调整box大小使得与标记的gt接近。
126.由于待检测图像中的响度具有很高的分辨率，通过rpn网络中使用滑动窗口进行候选框选择，对检测框(anchor box)尺度变换扩增、回归调整的过程中会导致计算量过于庞大，计算速度较慢。为提升计算速度缩短检测时间提高更高效率对rpn网络进行优化。在滑动窗口操作计算时，将注意力计算限制到不重叠的局部窗口，同时还对图像进行分层特征图操作，进而提高效率。
127.分层特征图，首先在feature map从每个连续层生成的中间张量，即从一层到下一层合并出来的特征图，并有效的减少了特征图的空间维度，对图片进行下采样。
128.构建了4个stage，每个stage中都是类似的重复单元。通过patch partition将输入图片hxwx3划分为不重合的patch集合，其中每个patch尺寸为4x4，那么每个patch的特征维度为4x4x3＝48，patch块的数量为h/4xw/4；
129.stage1：先通过一个linear embedding将输划分后的patch特征维度变成c，然后送入transformer block；
130.stage2-stage4操作相同，先通过一个patch merging，将输入按照2x2的相邻patches合并，这样子patch块的数量就变成了h/8xw/8，特征维度就变成了4c，这个地方文章写的不清楚，猜测是跟stage1一样使用linear embedding将4c压缩成2c(通过一个全连接层再调整通道维度为原来的两倍)，然后送入transformer block。方便图像层级构建，并且能够适应多尺度检测输入检测网络。
131.这是两个连续的swin transformer block。一个swin transformer block由一个带两层mlp的shifted window based msa组成。在每个msa模块和每个mlp之前使用layernorm(ln)层，并在每个msa和mlp之后使用残差连接。
132.通过修改滑动窗口检测方式，避免了rpn网络中多余的图片扩增减少计算时间进而加快网络的训练速度，节省训练时间。
133.六、模型预测
134.根据部件位置先验信息截取所含待检测部件的子图，采用图像处理的方法，将其中图像较为模糊的图像过滤掉，将清晰带有钩提杆复位弹簧的目标图片输入到定位网络中，进行定位检测。
135.统计输入的每张图像中，确定钩提杆复位弹簧与钩提杆和弹簧座之间的距离，并
设置阈值进行判断。
136.当输入的图片中未检测到弹簧或当钩提杆复位弹簧与钩提杆和弹簧座之间的距离大于设定的阈值时，生成相应的故障码，将钩提杆复位弹簧丢失和钩提杆复位弹簧折断的相关故障纤细，上传到报警平台。
137.总结：利用固定设备搭载面阵相机，对高速运动的机车进行拍摄，拍摄机车的底部图像。根据轴距定位信息和部件位置的先验信息，将钩提杆复位弹簧故障问题的综合特征转化为钩提杆复位弹簧与钩提杆和弹簧座的距离判断。在线阵图像大图中首先根据部件位置的先验信息获取待检测区域图像，其次在区域图像中使用改进的faster rcnn检测模型获取钩提杆复位弹簧、钩提杆、弹簧座部件位置坐标信息，最终根据位置坐标信息计算钩提杆复位弹簧与钩提杆和弹簧座的距离判断图片是否为故障图像，如果是则对故障区域进行报警。
138.虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。