闸调器调整螺杆圆销和圆销开口销丢失检测方法与流程

本发明涉及一种闸调器调整螺杆圆销和圆销开口销丢失检测方法，属于铁路货车故障检测。

背景技术：

1、相比于传统的采用人工查图的铁路货车故障检测方法，基于深度学习的自动化故障检测的方法能够显著的提升检测的效率，降低成本，同时还能避免由于检车人员疲劳造成的漏检、误检现象。但由于闸调器调整螺杆圆销和圆销开口销丢失位于列车底部，圆销图像目标较小且存在模糊，开口销目标的形态存在多样性，采用传统的mask r-cnn深度学习分割网络进行故障检测的准确程度较低。

技术实现思路

1、针对传统的mask r-cnn深度学习分割网络进行闸调器调整螺杆圆销和圆销开口销丢失检测的准确程度较低的问题，本发明提供一种闸调器调整螺杆圆销和圆销开口销丢失检测方法。

2、本发明的一种闸调器调整螺杆圆销和圆销开口销丢失检测方法，包括：

3、s1、获取过车的铁路货车底部的图像，截取闸调器控制杆圆销和圆销开口销图像，

4、s2、将截取的图像送入故障检测模型中，故障检测模型输出检测结果；

5、故障检测模型为mask r-cnn网络模型，mask r-cnn网络模型的骨干网络为resnet50；

6、故障检测模型训练的方法包括：

7、s21、建立无标签的铁路货车不同部件、不同纹理、不同尺度的图像作为预训练集，对预训练集进行数据增强，使预训练集中的每张图像生成正样本对(xi,xj)和负样本zk；

8、s22、将xi和xj分别输入至两个骨干网络encoder中，两个骨干网络encoder各自提取出特征，并分别输入至一个mlp网络中，两个mlp网络输出的zi和zj；两个骨干网络encoder具有相同的架构，其中第一个骨干网络encoder采用反向传播来更新参数，第二个骨干网络encoder根据第一个骨干网络encoder的参数采用动量方法更新参数；两个骨干网络encoder均为resnet50；

9、s23、根据两个mlp网络输出的zi和zj及负样本zk，计算损失函数，调整第一个骨干网络encoder的权重；

10、s24、对闸调器调整螺杆圆销和圆销开口销部分进行标记，并进行数据扩增，获得实例分割有标签样本数据集；

11、s25、采用s21至s23对故障检测模型中的resnet50预训练完成后，将骨干网络encoder作为故障检测模型中的resnet50，再采用实例分割有标签样本数据集对故障检测模型进行训练；

12、s3、如果检测结果中没有检测到闸调器控制杆圆销和圆销开口销，则图像为故障图像，故障报警，否则，无故障。

13、作为优选，每个mlp网络为按顺序连接的线性层linear、批归一化bn、激活函数relu、线性层linear、批归一化bn、激活函数relu、线性层linear组成。

14、作为优选，s24中进行数据扩增的方法包括：

15、方法1、对圆销开口销图像先进行拉普拉斯梯度计算，对满足梯度要求的图像采用概率方法进行高斯模糊；

16、方法2、复制圆销开口销图像到新场景下；

17、方法3、利用方法1和方法2获得的图像随机进行图像亮度调整、自适应直方图均衡概念化和加噪操作。

18、作为优选，s24还包括，对数据扩增后的实例分割有标签样本数据集进行筛选：

19、如果在实例分割有标签样本数据集中某个样本的分割目标预测框置信度小于0.5，则删除该样本；

20、如果在实例分割有标签样本数据集中某个样本的分割目标预测框置信度不小于0.5，且无真值文件，则添加标记信息；

21、如果在实例分割有标签样本数据集中某个样本的分割目标预测框与真值框的iou大于设定阈值，但是类别不一致，则修正标记信息；

22、如果在实例分割有标签样本数据集中某个样本没分割出目标，但是存在标记信息，判断标记信息是否合理，如果不合理则删除该样本。

23、作为优选，采用分段数据扩增的方法，训练过程中，第1至第18轮使用扩增后的实例分割有标签样本数据集，第19轮至第20轮，使用扩增前的实例分割有标签样本数据集。

24、作为优选，s21中，获取过车图像，根据轴距信息和部件的先验信息，收集铁路货车不同部件、不同纹理、不同尺度的图像组成预训练集，不同部件包括弹簧、螺栓、螺母、链条、缸体、拉杆、管体、圆销、开口销；不同尺度包括1024*1024，1024*512，512*512，256*512，512*256，256*256。

25、作为优选，mask r-cnn网络模型的特征金字塔为pan-fpn网络，resnet50包括依次连接的4组残差单元，截取的图像送入第1组残差单元,后3组残差单元输出的c2特征图、c3特征图、c4特征图输入至pan-fpn网络；

26、pan-fpn网络包括1号上采样模块、1号连接单元c、1号c4f单元、2号上采样单元、2号连接单元c、2号c4f单元、1号cbs单元、3号连接单元c、3号c4f单元、2号cbs单元、4号连接单元c和4号c4f单元；

27、c4特征图同时输入至1号上采样单元和4号连接单元；1号上采样单元的输出和c3特征图输入至1号连接单元进行连接，1号连接单元的输出输入至1号c4f单元，1号c4f单元的输出同时输入至2号上采样单元和3号连接单元，2号上采样单元的输出与c2特征图输入至2号连接单元进行连接，2号连接单元的输出输入至2号c4f单元，2号c4f单元输出特征p2，同时将特征p2输入至1号cbs单元，1号cbs单元的输出输入至3号连接单元，3号连接单元的输出输入至3号c4f单元，c4f单元输出特征p3，同时将特征p3输入至2号cbs单元，2号cbs单元的输出输入至4号连接单元，4号连接单元的输出输入至4号c4f单元，4号c4f单元输出特征p4；

28、c4f单元是将输入的特征图按照通道分成4通道，把第1个通道经过一个bottleneck操作，把第2个通道分别经过1个bottleneck操作和2个bottleneck操作，把第3个通道分别经过1个bottleneck操作、2个bottleneck操作和3个bottleneck操作，把经过bottleneck操作之后的所有通道和第4个通道连接一起，再经过一个cbs操作，获得c4f单元的输出；

29、cbs单元是conv-bn-silu组合操作。

30、作为优选，mask r-cnn网络模型的优化器为adamw，adamw是将adam优化器加上正则，其中初始学习率为0.001，权重衰减系数为0.005，并采用分段的cosine lr的方法更新学习率的训练，在前60％采用固定的学习率，后40％采用余弦退火的方式进行学习率的更新。

31、本发明的有益效果，本技术采用货车特有的部件数据和对比自监督方法训练预训练权重，使mask r-cnn骨干网络针对不同纹理，不同尺度的货车部件的特征提取能力更强，更有利于后续下游分割任务提高精度。本发明改进了mask r-cnn网络模型中的fpn，用改进的pan-fpn替换传统的fpn，并加入分离通道操作，增加梯度回流，进而提升网络的性能。本发明采用了针对开口销货车的图像扩增优化方法，由于复制实例和高斯模糊扩增后的一些情况与真实预测存在偏差，因此采用分段扩增方法，相比较与全程复制实例和高斯模糊有一定的新性能提升。数据扩增联合标签样本数据集优化策略更有利于性能提升。本发明mask r-cnn网络模型中的优化器更换为adamw，并采用分段的cosine lr的方法更新学习率的训练，进而提升精度。