一种货车副风缸脱落故障识别方法与流程

本发明属于故障图像识别领域，具体涉及基于深度学习的货车副风缸脱落故障图像识别方法。

背景技术：

铁路货车在运行中，由于运行速度的不断提高，载重量的不断增大，副风缸的吊架可能会发生变形，螺栓螺母松动，最后导致吊架螺栓螺母丢失或者副风缸脱落故障。副风缸脱落故障容易导致制动管系泄漏或折断，当螺栓螺母丢失时，副风缸缸体脱落，严重危及行车安全。传统的副风缸脱落故障检测方法通过人工查看铁路货车过车图像识别图像中的故障，检测准确率以及效率低，若能采用图像自动识别的方式对副风缸脱落故障进行检测，则能够及时准确的将故障检测出来，保障货车行车安全，避免造成重大铁路交通事故，使国家和人民的财产受到损失。

技术实现要素：

本发明的目的是为解决现有人工故障检测方法所存在的故障检测准确率以及效率低的问题，而提出一种货车副风缸脱落故障识别方法。

本发明为解决上述技术问题所采取的技术方案是：

一种货车副风缸脱落故障识别方法，该方法包括以下步骤：

步骤一、建立样本数据集，样本数据集包括副风缸定位数据集和副风缸检测数据集；

步骤二、建立副风缸定位网络模型，将副风缸定位数据集输入副风缸定位网络模型进行训练，得到训练好的副风缸定位网络模型；

步骤三、建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；

步骤四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。

可选的，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程包括：

将不同条件下拍摄的不同车型的含有副风缸的粗定位图像作为原始图像集；

构建副风缸定位数据集：对于原始图像集中的原始图像，标记副风缸所在区域的矩形框，获得副风缸定位的数据集；

构建副风缸检测数据集：对于原始图像集中的原始图像，标记固定副风缸的螺栓和缸体位置的矩形框，标记主要分为四类：螺栓、螺栓丢失、缸体正常和缸体脱落，然后获得副风缸检测数据集。

可选的，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程还包括：

分别对副风缸定位数据集和副风缸检测数据集进行数据集扩增：对原始图像进行旋转、平移、缩放、镜像和亮度调整。

可选的，步骤二中建立的副风缸定位网络模型的具体结构包括：

特征提取层和识别分类层；

其中特征提取层为resnet50的前49层卷积层；

识别分类层包括类别预测和位置预测两个分支。

可选的，类别预测包括6个卷积层，分别为第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层，第十一卷积层连接nms层；

位置预测包括6个卷积层，分别为第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层，第十七卷积层连接nms层。

可选的，第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层的输入和输出尺寸相同。

可选的，步骤三中建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；具体过程为：

副风缸故障检测网络模型的具体结构包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、rpn层、roipooling层、全连接层；

图像输入副风缸故障检测网络模型的输入层，经过输入层输入到第一卷积层进行特征图提取，对第一卷积层输出图像进行0.5倍的上采样，采样结果输入到第二卷积层进行特征图提取，对第二卷积层输出图像进行0.5倍的上采样，采样结果输入到第三卷积层进行特征图提取，对第三卷积层输出图像进行0.5倍的上采样，采样结果输入到第四卷积层进行特征图提取，第四卷积层输出图像输入到第五卷积层进行特征图提取；

对第五卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m5；对第四卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m4；对第三卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m3；对第二卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m2；

对特征图m5进行2倍上采样，采样结果输入到特征图m4，对特征图m4进行2倍上采样，采样结果输入到特征图m3，对特征图m3进行2倍上采样，采样结果输入到特征图m2；

对m5进行3*3的卷积得到特征图p5；对输入采样结果的特征图m4进行3*3的卷积得到特征图p4；对输入采样结果的特征图m3进行3*3的卷积得到特征图p3；对输入采样结果的特征图m2进行3*3的卷积得到特征图p2；

对特征图p5进行0.5倍的上采样得到特征图p6；

将特征图p2、特征图p3、特征图p4、特征图p5、特征图p6输入rpn网络得到候选区域，提取候选区域的特征图做为roipooling层的输入，经过roipooling层输出最终的特征图，进行全连接操作分别进行分类和边框回归；

利用分类和边框回归的结果，调整副风缸故障检测网络模型的参数，获得训练好的副风缸故障检测网络模型。

可选的，特征图p2、特征图p3、特征图p4、特征图p5、特征图p6应用单尺度候选区域，p2、p3、p4、p5、p6对应候选区域尺度分别为32*32、64*64、128*128、256*256、512*512，每个尺度使用1:3、1、3:1三种比例。

可选的，步骤四中利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别；具体过程为：

步骤四一、在货车轨道周围搭建成像设备，获取货车图像；

步骤四二、将获取的货车图像输入到副风缸定位网络模型中进行副风缸的定位，输出副风缸所在区域的矩形框子图；

步骤四三、将副风缸所在区域的矩形框子图缩放至512*256后，输入到副风缸故障检测网络模型中进行检测，分别对副风缸的缸体和螺栓进行检测；

若同时检测到螺栓丢失和缸体倾斜，则认为该副风缸脱落，将该副风缸位置信息进行上报；

若不能同时检测到螺栓丢失和缸体倾斜，则继续处理下一张图像。

本发明的有益效果是：

本发明在货车轨道周围搭建高清成像设备，当车通过设备后，获取高清图像。采用深度学习网络对车中间部的副风缸进行定位。定位到副风缸后，分别运用深度学习分割网络和检测网络对副风缸进行分割和检测，判断其是否发生脱落。对脱落的副风缸进行上传报警，由相关工作人员对结果进行相应的处理，保证列车的行车安全。

1、采用图像自动识别的方式对故障进行检测，一方面相较于人工检修可提高检测效率和稳定性，另一方面随着深度学习和人工智能技术的不断成熟，可以提高检测的准确率。

2、针对较小的目标检测，本发明选择resnet结合特征金字塔实现一种多尺度目标特征提取网络，再对不同尺度的特征进行融合，提升检测效果。

附图说明

图1为本发明流程图；

图2为本发明faster-rcnn整体网络结构图；

图3为resnet-fpn结构图；

图4为故障识别流程图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：结合图1说明本实施方式，本实施方式一种货车副风缸脱落故障识别方法包括以下步骤：

步骤一、建立样本数据集，样本数据集包括副风缸定位数据集和副风缸检测数据集；

步骤二、建立副风缸定位网络模型，将副风缸定位数据集输入副风缸定位网络模型进行训练，得到训练好的副风缸定位网络模型；

步骤三、建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；

步骤四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。

具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程包括：

通过货车轨道周围搭建的高清成像设备，获取货车的高清图像；由于不同车型副风缸的形态位置不固定，需要取含有副风缸的车体部分图像进行定位，将定位的副风缸进一步手动标记固定副风缸的螺栓位置的矩形框和缸体；由于不同站点的拍摄条件不同，设备拍摄的图像存在差异，相机可能受到雨水、泥渍等自然条件影响，导致获取的副风缸图像也存在差异。为了保证数据集的多样性，需要将各站点在不同条件下拍摄的不同车型的副风缸图像全部采集。

将不同条件下拍摄的不同车型的含有副风缸的粗定位图像作为原始图像集；

构建副风缸定位数据集：对于原始图像集中的原始图像，标记副风缸所在区域的矩形框，获得副风缸定位的数据集；

构建副风缸检测数据集：对于原始图像集中的原始图像，标记固定副风缸的螺栓和缸体位置的矩形框，标记主要分为四类：螺栓、螺栓丢失、缸体正常和缸体脱落，然后获得副风缸检测数据集。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤一中建立样本数据集，包括副风缸定位数据集和副风缸检测数据集；具体过程还包括：

分别对副风缸定位数据集和副风缸检测数据集进行数据集扩增：对原始图像进行旋转、平移、缩放、镜像和亮度调整。

提高算法的稳定性和适用性。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤二中建立的副风缸定位网络模型的具体结构包括：

特征提取层和识别分类层；

其中特征提取层为resnet50的前49层卷积层；

识别分类层包括类别预测和位置预测两个分支。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，类别预测包括6个卷积层，分别为第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层，第十一卷积层连接nms层；

位置预测包括6个卷积层，分别为第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层，第十七卷积层连接nms层。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层的输入和输出尺寸相同。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤三中建立副风缸故障检测网络模型，将副风缸检测数据集输入副风缸故障检测网络模型进行训练，得到训练好的副风缸故障检测网络模型；具体过程为：

本发明选用改进的faster-rcnn网络对副风缸的螺栓和螺栓丢失后的孔洞、缸体和倾斜的缸体进行检测。faster-rcnn各层主要分为4个功能，流程如图2所示：

(1)卷积层提取特征图：一般采用vgg16作为cnn特征提取网络，提取输入图片的featuremaps，输入后续的rpn网络和全连接层。

(2)rpn网络：用于生成候选区域。给定输入图像，得到顶层特征图，通过3*3的滑动窗口，结合anchor机制，将每个特征点映射回输入图像，结合不同窗口尺度和长宽比，生成一系列anchorbox。对anchorbox进行裁剪过滤后，计算该anchorbox属于前景或背景的概率。

(3)roipooling：利用rpn生成的候选区域按比例从卷积操作得到的最后一层的特征图中找到对应的特征区域，利用最大池化，得到候选区域特征图。

(4)分类：将roipooling层形成的特征图进行全连接操作，利用softmax进行具体类别的分类，同时利用l1loss完成边框回归操作获得物体的准确位置。

由于副风缸子图区域较大，螺栓区域相对较小，尤其是在螺栓丢失后，要针对螺栓丢失后的孔洞进行检测，区域相对全图来说，范围更小，特征提取相对较困难，检测效果不佳。针对该问题，本发明选择resnet结合特征金字塔(fpn)实现一种多尺度目标特征提取网络，再对不同尺度的特征进行融合，提升检测效果。

原有的faster-rcnn目标检测算法通常都只采用cnn网络顶层特征做检测，因为网络顶层特征的语义信息丰富，但目标位置信息粗略，不利于目标的精确定位。cnn网络底层特征的语义信息较少，但目标位置信息较强，有利于目标包围框的准确定位。

resnet-fpn的网络结构如图3所示。

副风缸故障检测网络模型(resnet-fpn)的具体结构包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、rpn层、roipooling层、全连接层；

图像输入副风缸故障检测网络模型的输入层，经过输入层输入到第一卷积层进行特征图提取，对第一卷积层输出图像进行0.5倍的上采样，采样结果输入到第二卷积层进行特征图提取，对第二卷积层输出图像进行0.5倍的上采样，采样结果输入到第三卷积层进行特征图提取，对第三卷积层输出图像进行0.5倍的上采样，采样结果输入到第四卷积层进行特征图提取，第四卷积层输出图像输入到第五卷积层进行特征图提取；

对第五卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m5；对第四卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m4；对第三卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m3；对第二卷积层提取的特征图进行1*1的卷积操作改变特征图的维度，得到特征图m2；

对特征图m5进行2倍上采样，采样结果输入到特征图m4，对特征图m4进行2倍上采样，采样结果输入到特征图m3，对特征图m3进行2倍上采样，采样结果输入到特征图m2；

对m5进行3*3的卷积得到特征图p5；对输入采样结果的特征图m4进行3*3的卷积得到特征图p4；对输入采样结果的特征图m3进行3*3的卷积得到特征图p3；对输入采样结果的特征图m2进行3*3的卷积得到特征图p2；

对特征图p5进行0.5倍的上采样得到特征图p6；

将特征图p2、特征图p3、特征图p4、特征图p5、特征图p6输入rpn网络得到候选区域，提取候选区域的特征图做为roipooling层的输入，经过roipooling层输出最终的特征图，进行全连接操作分别进行分类和边框回归；

利用分类和边框回归的结果，调整副风缸故障检测网络模型的参数，获得训练好的副风缸故障检测网络模型。

本发明采用singleshotmultiboxdetector(ssd)网络对副风缸进行定位检测。选用resnet为前置特征提取网络，随后将ssd的目标提取检测网络接在resnet前置网络之后，形成一个完整的ssd网络。运用完整的ssd网络对副风缸定位数据集进行训练，得到能够定位副风缸的网络模型。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是，特征图p2、特征图p3、特征图p4、特征图p5、特征图p6应用单尺度anchor，p2、p3、p4、p5、p6对应anchor尺度分别为32*32、64*64、128*128、256*256、512*512，每个尺度使用1:3、1、3:1三种比例，共有15种anchor。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是，步骤四中利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别；具体过程为：

副风缸的故障识别流程如图4所示。

步骤四一、在货车轨道周围搭建高清成像设备，获取货车的高清图像；

步骤四二、将获取的货车图像输入到副风缸定位网络模型中进行副风缸的定位，输出副风缸所在区域的矩形框子图；

步骤四三、将副风缸所在区域的矩形框子图缩放至512*256后，输入到副风缸故障检测网络模型中进行检测，分别对副风缸的缸体和螺栓进行检测；

若同时检测到螺栓丢失和缸体倾斜，则认为该副风缸脱落，将该副风缸位置信息进行上报；

若不能同时检测到螺栓丢失和缸体倾斜，则继续处理下一张图像。

其它步骤及参数与具体实施方式一至八之一相同。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。