基于mask-rcnn的抗蛇形减震器漏油检测方法与流程

本发明属于铁路货车检测技术领域。

背景技术：

货物运输是铁路运输的重要组成部分，把铁路上用于载运货物的车辆统称为铁路货车。铁路部门需要经常对铁路货车进行安全检查，以保证铁路货车的安全稳定运行。铁路货车在高速运行时，转向架会不可避免地呈现蛇形趋势，车轮运行轨迹与轨道温和的稳定性较差，进而导致铁路货车横向平稳性差的问题。

为了解决上述问题，通常采用人工查图的铁路动车故障检测方法，但是该方法存在检车人员疲劳造成的漏检、误检现象。相比于传统的人工方法，基于深度学习的自动化故障检测方法能够显著提升检测的效率，降低成本，同时还能避免由于检车人员疲劳造成的漏检、误检现象。但由于抗蛇形减震器图像位于列车底部和侧部，图像背景较为杂乱，背景阴影区域等对图像检测干扰较大，仅采用深度学习网络进行故障检测的准确程度较低。

技术实现要素：

本发明是为了解决现有抗蛇形减震器漏油检测的方法准确度低的问题，现提供基于mask-rcnn的抗蛇形减震器漏油检测方法。

基于mask-rcnn的抗蛇形减震器漏油检测方法，具体过程为：采集被测车辆抗蛇形减震器所在区域图像作为被测图像，采用训练好的mask-rcnn网络中的主干网络对被测图像进行背景分割，获得背景分离图像，再采用训练好的mask-rcnn网络中的rpn网络对背景分离图像进行油渍区域检测，获得检测结果；

mask-rcnn网络的损失函数表达如下：

loss＝lcls+lbox+lmask，

其中，lcls为分类误差，lbox为边界框回归误差，lmask为掩码误差。

分类误差lcls的表达式如下：

其中，i为背景分离图像中感兴趣区域的类别序号，ncls为类别总数，pi为第i个感兴趣区域预测为正样本的概率，当第i个感兴趣区域为正样本时，当第i个感兴趣区域为负样本时，所述感兴趣区域为rpn网络输出的油渍区域。

边界框回归误差lbox的表达式如下：

其中，i为背景分离图像中感兴趣区域的类别序号，nbox为感兴趣区域的总数量，所述感兴趣区域为rpn网络输出的油渍区域，pi为第i个感兴趣区域预测为正样本的概率，当第i个感兴趣区域为正样本时，当第i个感兴趣区域为负样本时，ti为正样本感兴趣区域到预测区域的平移缩放参数，所述预测区域为预计mask-rcnn网络能够输出的理想区域，为正样本感兴趣区域到真实标签区域的平移缩放参数，r()为smoothl1函数，其表达式如下：

其中，x为函数变量。

掩码误差lmask的表达式如下：

lmask＝[km²]i

其中，i为背景分离图像中感兴趣区域的类别序号，所述感兴趣区域为rpn网络输出的油渍区域，k为分类物的种类数，m²为掩码分支对每个感兴趣区域产生m×m大小的掩码。

mask-rcnn网络包括主干网络和rpn网络，主干网络为resnet101+fpn网络结构，该网络结构的检测步骤为：

将特征金字塔中高层背景分离图像进行上采样，将高层背景分离图像连接到下一层背景分离图像，使得高层背景分离图像得到加强；同时，所述resnet101+fpn网络结构还将金字塔中底层背景分离图像连接到上一层背景分离图像，使得所有尺寸背景分离图像的信息均能够被利用；

rpn网络首先对主干网络输出的背景分离图像生成目标的建议框，然后对生成的所有建议框进行筛选，输出感兴趣区域。

mask-rcnn网络的训练过程包括以下步骤：

步骤一：建立样本集，

采集铁路货车不同状态下抗蛇形减震器所在区域的图像，并将采集到的所有图像作为训练样本集，所述训练样本集中抗蛇形减震器有油渍的图像为正样本、抗蛇形减震器无油渍的图像为负样本，正负样本数量一致；

步骤二：分割网络训练，

利用mask-rcnn网络中的主干网络提取训练样本集中每个样本的背景分离图像，以训练mask-rcnn网络对背景的分割模型，利用mask-rcnn网络中的rpn网络生成目标的建议框，并对生成的所有建议框进行筛选，获得感兴趣区域，以训练mask-rcnn网络对油渍位置的定位模型。

mask-rcnn网络对背景的分割模型用于：

将原始图像中被测物区域标注为0类，获得被测物的掩膜信息；将掩膜外的背景区域像素赋值为255并将该区域消除，使得被测物区域与背景区域分割，获得的被测物区域即为背景分离图像。

mask-rcnn网络对油渍位置的定位模型用于：将被测物区域中的油渍区域标注为0类，完成油渍区域的定位。

进一步的，在步骤一之后，还对训练样本集中的样本进行扩增，对训练样本集中的样本进行扩增的方式包括：旋转、裁剪或加噪中的一种或多种。

获得检测结果后，当检测到油渍，则将检测结果作为故障信息上传至检车人员端。

本发明的基于mask-rcnn的抗蛇形减震器漏油检测方法，分别在铁路货车两侧与底部搭设高清成像相机，货车通过设备后，获取图像。采用两次mask-rcnn网络定位进行候选区域的背景分割、油渍分类与回归定位，提升检测的准确程度。对抗蛇形减震器漏油的图像上传报警，检车人员依据人工先验原则，对报警部位进行相应处理。同时，本发明还改进了传统fpn特征提取网络的结构，优化了mask-rcnn网络的检测性能，进一步提升故障检测的准确程度。

附图说明

图1为传统resnet101+fpn网络的工作流程图；

图2为本发明改进后的resnet101+fpn网络的工作流程图；

图3为网络训练流程图；

图4为故障检测流程图；

图5为原始图像；

图6为背景分割后的背景分离图像；

图7为油渍检测结果图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间或实施方式包括的特征之间可以相互组合。

具体实施方式一：参照图4具体说明本实施方式，本实施方式所述的基于mask-rcnn的抗蛇形减震器漏油检测方法，该方法具体为：

采集被测车辆抗蛇形减震器所在区域图像作为被测图像，

采用训练好的mask-rcnn网络中的主干网络对被测图像进行背景分割，获得背景分离图像，

再采用训练好的mask-rcnn网络中的rpn网络对背景分离图像进行油渍区域检测，获得检测结果。

损失函数表达了预测值与真实标签的差距程度，本实施方式通过减小预测值与真实标签之间的损失函数来训练模型。mask-rcnn网络的损失函数表达如下：

loss＝lcls+lbox+lmask，

其中，lcls为分类误差，lbox为边界框回归误差，lmask为掩码误差。

具体实施方式二：本实施方式是对具体实施方式一所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，分类误差lcls的表达式如下：

其中，i为背景分离图像中感兴趣区域的类别序号，所述感兴趣区域为rpn网络输出的油渍区域，ncls为类别总数，pi为第i个感兴趣区域预测为正样本的概率，当第i个感兴趣区域为正样本时，当第i个感兴趣区域为负样本时，

具体实施方式三：本实施方式是对具体实施方式一或二所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，边界框回归误差lbox的表达式如下：

其中，i为背景分离图像中感兴趣区域的类别序号，感兴趣区域为rpn网络输出的油渍区域，nbox为感兴趣区域的总数量，pi为第i个感兴趣区域预测为正样本的概率，当第i个感兴趣区域为正样本时，当第i个感兴趣区域为负样本时，ti为正样本感兴趣区域到预测区域的平移缩放参数，预测区域为预计mask-rcnn网络能够输出的理想区域，为正样本感兴趣区域到真实标签区域的平移缩放参数，r()为smoothl1函数，其表达式如下：

其中，x为函数变量。

具体实施方式四：本实施方式是对具体实施方式一、二或三所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，掩码误差lmask的表达式如下：

lmask＝[km²]i

其中，i为背景分离图像中感兴趣区域的类别序号，感兴趣区域为rpn网络输出的油渍区域，k为分类物的种类数，m²为掩码分支对每个感兴趣区域产生m×m大小的掩码。

具体实施方式五：本实施方式是对具体实施方式一、二、三或四所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明。

在fpn的特征金字塔中，金字塔级别是由每个阶段定义的，把每个阶段的最后一层的输出作为背景分离图像的参考集。在每个阶段的最深层应该具有最强的特征，能够利用每个阶段的最后一个残差结构的特征来激活输出。这些残差模块的输出表示为{c2，c3，c4，c5}，相互一一对应在conv2，conv3，conv4和conv5的输出，与此同时注意它们相对于输入图像具有{4，8，16，32}像素的步长，再把高层背景分离图像进行上采样，接着对该特征横向连接到前一层特征，通过该过程使得高层特征得到加强。在以上过程中横向连接的两层特征在空间尺寸上必须相同。这样主要是为了利用底层的定位细节信息。本专利使用的卷积核去处理了已经融合的背景分离图像，用来生成最后我们需要的背景分离图像。{c2，c3，c4，c5}层与融合特征层的{p2，p3，p4，p5}是一一对应的，对应的层空间尺寸也是相通的，如图1所示。

上述mask-rcnn的fpn网络会导致两个问题：其一是最高层的特征映射图与原特征提取网络结构的最终输出是一样的，但是大尺寸目标的信息需要从由此层特征映射图主要获取，这就使得大目标检测的准确率与原网络数据相似有时甚至偏低；其二，对自上而下路径结构进行分析，可以知道对于fpn输出的一组特征映射图中每一层包含本层和更高层的信息而不包含更低层的信息，而对rpn又是从中选取最优尺寸特征映射图进行输入，这样就会导致无法充分利用所有尺寸特征映射图的信息，造成最后检测准确率并非更优值。

为了解决上述问题，本实施方式对fpn生成不同尺寸的特征映射图，增加一条自下而上的路径，将底层信息直接传送到高层，充分利用所有尺寸特征映射图的信息，改进后的网络结构如图2所示。

具体的，mask-rcnn网络包括主干网络和rpn网络。主干网络为resnet101+fpn网络结构，该网络结构能够将特征金字塔中高层背景分离图像进行上采样，将高层背景分离图像连接到下一层背景分离图像，使得高层背景分离图像得到加强；resnet101+fpn网络结构还能够将金字塔中底层背景分离图像连接到上一层背景分离图像，使得所有尺寸背景分离图像的信息均能够被利用。rpn网络络对主干网络输出的背景分离图像首先生成目标的建议框，然后对生成的所有建议框进行筛选，输出感兴趣区域。

具体实施方式六：参照图3具体说明本实施方式，本实施方式是对具体实施方式一、二、三、四或五所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，mask-rcnn网络的训练过程包括以下步骤：

步骤一：建立样本集，

在铁路货车轨道周围搭设高清成像设备，货车经过后，获取不同状态下过车图像。截取过程图像中抗蛇形减震器所在区域的图像，并将这些图像作为训练样本集。训练样本集中抗蛇形减震器有油渍的图像为正样本、抗蛇形减震器无油渍的图像为负样本，并保证正样本的个数与负样本的个数保持一致。

步骤二：分割网络训练，

利用mask-rcnn网络中的主干网络提取训练样本集中每个样本的背景分离图像，以训练mask-rcnn网络对背景的分割模型，

利用mask-rcnn网络中的rpn网络生成目标的建议框，并对生成的所有建议框进行筛选，获得感兴趣区域，以训练mask-rcnn网络对油渍位置的定位模型。

具体实施方式七：本实施方式是对具体实施方式一、二、三、四、五或六所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，mask-rcnn网络对背景的分割模型用于：

将原始图像中被测物区域标注为0类，获得被测物的掩膜信息，原始图像如图5所示；

将掩膜外的背景区域像素赋值为255即可将原始图像中的背景区域消除，使得被测物区域与背景区域分割，获得的被测物区域即为背景分离图像，如图6所示。

具体实施方式八：本实施方式是对具体实施方式一、二、三、四、五、六或七所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，mask-rcnn网络对油渍位置的定位模型用于：

将背景消除后的图像作为训练集再次训练，即将被测物区域中的油渍区域标注为0类，完成油渍区域的定位，如图7所示。

具体实施方式九：本实施方式是对具体实施方式一、二、三、四、五、六、七或八所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，在步骤一之后，还对训练样本集中的样本进行扩增，对训练样本集中的样本进行扩增的方式包括：旋转、裁剪或加噪中的一种或多种。

数据扩增操作能够使后续检测网络的泛化能力增强，降低网络过拟合的概率。

具体实施方式十：本实施方式是对具体实施方式一、二、三、四、五、六、七、八或九所述的基于mask-rcnn的抗蛇形减震器漏油检测方法作进一步说明，本实施方式中，获得检测结果后，当检测到油渍，则将检测结果作为故障信息上传至检车人员端，检车人员根据故障报文进行下一步处理。