1.一种货车副风缸脱落故障识别方法,其特征在于,该方法包括以下步骤:
步骤一、建立样本数据集,样本数据集包括副风缸定位数据集和副风缸检测数据集;
步骤二、建立副风缸定位网络模型,将副风缸定位数据集输入副风缸定位网络模型进行训练,得到训练好的副风缸定位网络模型;
步骤三、建立副风缸故障检测网络模型,将副风缸检测数据集输入副风缸故障检测网络模型进行训练,得到训练好的副风缸故障检测网络模型;
步骤四、利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别。
2.根据权利要求1所述一种货车副风缸脱落故障识别方法,其特征在于:所述步骤一中建立样本数据集,包括副风缸定位数据集和副风缸检测数据集;具体过程包括:
将不同条件下拍摄的不同车型的含有副风缸的粗定位图像作为原始图像集;
构建副风缸定位数据集:对于原始图像集中的原始图像,标记副风缸所在区域的矩形框,获得副风缸定位的数据集;
构建副风缸检测数据集:对于原始图像集中的原始图像,标记固定副风缸的螺栓和缸体位置的矩形框,标记主要分为四类:螺栓、螺栓丢失、缸体正常和缸体脱落,然后获得副风缸检测数据集。
3.根据权利要求2所述一种货车副风缸脱落故障识别方法,其特征在于:所述步骤一中建立样本数据集,包括副风缸定位数据集和副风缸检测数据集;具体过程还包括:
分别对副风缸定位数据集和副风缸检测数据集进行数据集扩增:对原始图像进行旋转、平移、缩放、镜像和亮度调整。
4.根据权利要求3所述一种货车副风缸脱落故障识别方法,其特征在于:所述步骤二中建立的副风缸定位网络模型的具体结构包括:
特征提取层和识别分类层;
其中特征提取层为resnet50的前49层卷积层;
识别分类层包括类别预测和位置预测两个分支。
5.根据权利要求4所述一种货车副风缸脱落故障识别方法,其特征在于:所述类别预测包括6个卷积层,分别为第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层,第十一卷积层连接nms层;
位置预测包括6个卷积层,分别为第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层,第十七卷积层连接nms层。
6.根据权利要求5所述一种货车副风缸脱落故障识别方法,其特征在于:所述第六卷积层、第七卷积层、第八卷积层、第九卷积层、第十卷积层、第十一卷积层、第十二卷积层、第十三卷积层、第十四卷积层、第十五卷积层、第十六卷积层、第十七卷积层的输入和输出尺寸相同。
7.根据权利要求6所述一种货车副风缸脱落故障识别方法,其特征在于:所述步骤三中建立副风缸故障检测网络模型,将副风缸检测数据集输入副风缸故障检测网络模型进行训练,得到训练好的副风缸故障检测网络模型;具体过程为:
副风缸故障检测网络模型的具体结构包括输入层、第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、rpn层、roipooling层、全连接层;
图像输入副风缸故障检测网络模型的输入层,经过输入层输入到第一卷积层进行特征图提取,对第一卷积层输出图像进行0.5倍的上采样,采样结果输入到第二卷积层进行特征图提取,对第二卷积层输出图像进行0.5倍的上采样,采样结果输入到第三卷积层进行特征图提取,对第三卷积层输出图像进行0.5倍的上采样,采样结果输入到第四卷积层进行特征图提取,第四卷积层输出图像输入到第五卷积层进行特征图提取;
对第五卷积层提取的特征图进行1*1的卷积操作改变特征图的维度,得到特征图m5;对第四卷积层提取的特征图进行1*1的卷积操作改变特征图的维度,得到特征图m4;对第三卷积层提取的特征图进行1*1的卷积操作改变特征图的维度,得到特征图m3;对第二卷积层提取的特征图进行1*1的卷积操作改变特征图的维度,得到特征图m2;
对特征图m5进行2倍上采样,采样结果输入到特征图m4,对特征图m4进行2倍上采样,采样结果输入到特征图m3,对特征图m3进行2倍上采样,采样结果输入到特征图m2;
对m5进行3*3的卷积得到特征图p5;对输入采样结果的特征图m4进行3*3的卷积得到特征图p4;对输入采样结果的特征图m3进行3*3的卷积得到特征图p3;对输入采样结果的特征图m2进行3*3的卷积得到特征图p2;
对特征图p5进行0.5倍的上采样得到特征图p6;
将特征图p2、特征图p3、特征图p4、特征图p5、特征图p6输入rpn网络得到候选区域,提取候选区域的特征图做为roipooling层的输入,经过roipooling层输出最终的特征图,进行全连接操作分别进行分类和边框回归;
利用分类和边框回归的结果,调整副风缸故障检测网络模型的参数,获得训练好的副风缸故障检测网络模型。
8.根据权利要求7所述一种货车副风缸脱落故障识别方法,其特征在于:所述特征图p2、特征图p3、特征图p4、特征图p5、特征图p6应用单尺度候选区域,p2、p3、p4、p5、p6对应候选区域尺度分别为32*32、64*64、128*128、256*256、512*512,每个尺度使用1:3、1、3:1三种比例。
9.根据权利要求8所述一种货车副风缸脱落故障识别方法,其特征在于:所述步骤四中利用训练好的副风缸定位网络模型和训练好的副风缸故障检测网络模型进行副风缸故障识别;具体过程为:
步骤四一、在货车轨道周围搭建成像设备,获取货车图像;
步骤四二、将获取的货车图像输入到副风缸定位网络模型中进行副风缸的定位,输出副风缸所在区域的矩形框子图;
步骤四三、将副风缸所在区域的矩形框子图缩放至512*256后,输入到副风缸故障检测网络模型中进行检测,分别对副风缸的缸体和螺栓进行检测;
若同时检测到螺栓丢失和缸体倾斜,则认为该副风缸脱落,将该副风缸位置信息进行上报;
若不能同时检测到螺栓丢失和缸体倾斜,则继续处理下一张图像。