一种基于FasterR-CNN的高速列车车底异物检测方法与流程

本发明属于高速列车车底异物与图像处理技术领域，尤其涉及一种基于fasterr-cnn的高速列车车底异物检测方法。

背景技术：

动车组在高速运行状态下，容易将轨旁塑料袋等异物卷入车底转向架、电缆线和设备缝隙中，经过摩擦容易引起烟雾并散发异味，甚至可能引起设备短路导致火灾。因此，及时发现附着在车底的异物并进行相应处理，对铁路运行安全具有重要的意义；

长期以来，针对动车车底异物的检测主要依靠人工检修模式，即检修工人钻入动车车底，使用手电筒等简单的工具对车底进行检查，筛选异物。这种检修方式十分落后，效率低，且无法保证检查的准确率和检修工人的人身安全。随着动车开行密度的加大，检修任务越来越重，检修工人的劳动强度也随之骤增，更加容易导致误检、漏检等情况，这将给列车安全运行带来严重隐患。传统的检修模式已难以适应现代铁路发展的需要，为此，中国铁路总公司推动以“5t”系统为代表的铁路机车车辆运行安全监测技术的研究，其中针对动车组的检测需求研发了动车组运行故障图像检测系统(troubleofmovingemudetectionsystem，teds)。teds集成图像采集、图像实时处理、图像识别、准确定位和网络控制等技术，可对动车组外部进行动态可视化检测，并且能够对突发故障，安全隐患在线检测，从而保障列车运行安全。teds系统采用的图像识别技术，首先对采集的图像进行自动分析，对异常的部件进行预警提示，然后再由工作人员进行核查和确认，但当前teds系统对车底异物的识别存在自动报警率过高、准确率低的缺陷，需要大量的人力资源进行二次复核。因此，如何提高检测的效率，减少资源的消耗，成为目前迫切需要解决的问题。

技术实现要素：

本发明的目的在于：针对上述存在的问题，提供一种基于fasterr-cnn的高速列车车底异物检测方法，本发明能对高速列车车底异物进行高效、准确的检测，实用性强，发展前景良好。为了实现上述目的，本发明采用以下技术方案：

本发明提供了一种基于fasterr-cnn的高速列车车底异物检测方法，其特征在于：所述检测方法包括以下步骤：

步骤1：拍摄高速列车车底异物图片，将车底异物图片存储在图像库中；在图像库中对采集的车底异物图片进行筛选，获取车底样本图像用于建立关于高速列车车底异物图像样本库；

步骤2：对车底样本图像进行预处理，包括对车底样本图像的异物进行图像标注，然后按照特定协议格式将标注的车底样本图像的异物信息存储到xml格式文件中；

步骤3：构建改进的fasterr-cnn的检测模型，所述改进的fasterr-cnn的检测模型由特征提取vgg网络、区域建议rpn网络和fastr-cnn网络组成，作用分别是生成车底异物特征图、利用特征图对异物进行特征提取并产生候选建议区域、利用特征图和候选建议区域对车底异物进行检测和识别；

步骤4：训练检测模型，通过四步交替法和随机梯度下降法对检测模型进行训练得到车底异物检测模型；

步骤5：将待检测车底图像输入检测模型进行检测和识别，并输出识别结果。

上述方案进一步优选的，步骤2中，对车底样本图像进行预处理的步骤为：对车底样本图进行格式化命名，采用目标检测标注工具labelimg进行标注车底样本图像中的异物，标注时将异物整体框入，并记录真实目标包围框坐标，同时设置异物的类别标签，然后按照特定协议格式将标注的样本图像的异物信息存储到xml格式文件中，xml文件中的信息除了标注信息外还包括异物标注框左下角以及右上角的坐标信息和图片的宽度和高度。

上述方案进一步优选的，所述特征提取vgg网络用于生成车底异物特征图，所述区域建议rpn网络用于在异物特征图上进行异物的特征提取以及生成候选建议区域，fastr-cnn网络则是基于异物特征图和候选建议区域对异物进行检测和识别；对车底样本图像的异物检测的步骤包括：通过特征提取vgg网络对车底样本图像的异物生成车底异物特征图，区域建议rpn网络从车底异物特征图上提取异物特征并生成候选建议区域，然后将车底异物特征图和候选建议区域输入fastr-cnn网络进行检测识别。

上述方案进一步优选的，所述特征提取vgg网络由17个卷积层、3个全连接层和5个池化层组成，从车底异物特征图上提取异物特征并生成候选建议区域的流程为：

步骤41，在特征提取vgg网络的第十六卷积层conv4_3和第二全连接层fc7后添加4个具有衰减空间分辨率的卷积层，其深度均为512，并使用l²范数对第十六卷积层conv4_3进行规则化，则l²范数的定义为：

x为特征图上的特征向量；

步骤42，将车底异物特征图输入区域建议rpn网络，输入车底异物特征图后用一个3×3的窗口在特征图上滑动，在其中心对应的每一个像素点上映射几种不同尺寸和长宽比的基准边框，称作anchor；

步骤42，对车底异物特征图进行特征提取并生成候选建议区域，其中，区域建议rpn网络本身由卷积网络组成，对区域建议rpn网络进行改进以适应车底异物的需要，具体改进的方法为：在区域建议rpn网络设置一组尺寸为{64、128、256}，比例为{1:1、1:2、2:1}的anchor。

上述方案进一步优选的，生成候选建议区域包括以下步骤：

步骤51：利用labelimg标注工具构建包含标注的图库作为训练集和测试集，将预处理后的训练集输入至特征提取vgg网络，对车底样本图像做卷积和池化操，并获得特征图；

步骤52：将特征图输送至区域建议rpn网络，用一个3×3的窗口在特征图上滑动，窗口的中心点对应特征图上的一个像素点，在像素点上按预先设置好的比例尺寸生成候选建议区域；

步骤53：通过采用非极大值抑制算法筛选候选建议区域，然后输出两个支路，支路1输出是异物或者非异物的概率，支路2输出候选建议回归框中心坐标x、y与长宽值w、h；然后分别通过设置4个坐标参数用于衡量候选建议回归框的准确度，具体衡量公式如下：：

tx＝(x-xa)/wa，

ty＝(y-ya)/ha，

tw＝log(w/wa)，

th＝log(h/ha)，

其中，x,y,w,h分别表示预测包围框的中心坐标(x,y)和包围框的宽w和高h，变量x,xa,x^*分别指预测包围框、anchor以及真实区域的x坐标，同理，y,ya,y^*，为预测包围框、anchor以及真实区域的y坐标，t为预测包围框坐标相对anchor的坐标偏移量，t*为预测包围框坐标相对真实区域坐标的偏移量。6.根据权利要求5所述的一种基于fasterr-cnn的高速列车车底异物检测方法，其特征在于：采用非极大值抑制算法筛选候选建议区域计算的具体过程：依据概率值，由高到低依次选取500个包含异物的候选建议区域；筛选后将候选建议区域与特征图一同传输至fastr-cnn检测模型进行分类与识别训练；其中，筛选候选建议区的过程为：从500个候选区域中选出128个候选区域用于训练，当候选建议区域与实际真实区域的交并比值大于0.5，按大小挑选前32个；当候选建议区域与实际真实区域的交并比值小于0.1，按大小选择96个作为负样本。

上述方案进一步优选的，对检测模型进行训练得到所述车底异物检测模型的训练方法步骤为：

第一步，训练区域建议rpn网络，使用imagenet预训练模型对rpn网路进行初始化，并对所产生的anchor的形状和位置进行端到端的微调，从而生成候选建议区；

第二步，将第一步生成的候选建议区域输送至fastr-cnn网络进行训练，此时两个网络相互独立，没有共享卷积层；

第三步，用第二步训练的fastr-cnn网络对区域建议rpn网络进行初始化并进行训练，此时固定共享卷积层，并且只微调区域建议rpn网络的独有层；

第四步，用第三步训练的区域建议rpn网络初始化fastr-cnn网络并进行训练，保持共享卷积层固定，微调fastr-cnn网络的分类层，此时，两个网络共享相同的卷积层，构成一个统一的网络；

第四步，重复第一步至第四部的上述操作直至损失不再变化为止；其中，

第一步至第四步训练过程中每一步的损失函数公式满足：

其中，i指的是第i个anchor的检索下标；pi为第i个anchor是目标物的预测概率，如果检测到anchor中含有异物，则值为1，否则为0，ti表示预测的回归框的坐标向量，而是与anchor所对应的真实值边框的坐标向量，为鲁棒损失函数，lcls为分类误差损失函数，lreg为回归误差损失函数，ncls表示每幅图像随机采样的默认框数量，nreg表示默认框中心点数量，λ为平衡权重。

综上所述，由于本发明采用了上述技术方案，本发明具有以下有益技术效果是：本发明利用深度学习的相关理论对高速列车车底异物进行高效、准确的检测，实用性强，发展前景良好，能够克服传统人工检测的缺陷，大幅提高检测效率，极大的减少检测成本。

附图说明

图1是本发明的fasterr-cnn网络模型的框架图；

图2是本发明的车底异物检测模型工作流程图；

图3是本发明的第一异物检测结果的图示意图；

图4是本发明的第二异检测结果的图示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举出优选实施例，对本发明进一步详细说明。然而，需要说明的是，说明书中列出的许多细节仅仅是为了使读者对发明的一个或多个方面有一个透彻的理解，即便没有这些特定的细节也可以实现本发明的这些方面。

如图1所示，根据本发明的一种基于fasterr-cnn的高速列车车底异物检测方法，所述检测方法包括以下步骤：

步骤1：拍摄高速列车车底异物图片，主要通过动车组车辆故障动态图像检测系统(teds)探测设备站拍摄高速列车车底异物图片，并将车底异物图片存储在图像库中；在图像库中对采集的车底异物图片进行筛选，获取车底样本图像用于建立关于高速列车车底异物图像样本库；

步骤2：对车底样本图像进行预处理，包括对车底样本图像的异物进行图像标注，然后按照特定协议格式将标注的车底样本图像的异物信息存储到xml格式文件中；在本发明中，对车底样本图像进行预处理的步骤为：对车底样本图进行格式化命名，采用目标检测标注工具labelimg进行标注车底样本图像中的异物，标注时将异物整体框入，并记录真实目标包围框坐标，同时设置异物的类别标签，然后按照特定协议格式将标注的样本图像的异物信息存储到xml格式文件中，xml文件中的信息除了标注信息外还包括异物标注框左下角以及右上角的坐标信息和图片的宽度和高度。对车底样本图进行格式化命名后，再进行标注分离车底异物和背景，具体过程如下：准备labelimg图像标注软件；使用labelimg软件对车底异物图像进行标注，标注时划出异物的位置同时设置异物名称，这里将异物的标签设置为blockage，标注文件的格式为xml；将生成的xml文件解析成专用的pascalvoc2007格式，分别设置成三个文件夹，名称分别为annotations、imagesets和jpegimages，annotations文件夹存放xml文件，imageset存放三个txt格式文件，三个txt文件分别指明样本文件中哪些为数据集，测试集和验证集，jpegimage存放车底异物图片，以便采用tensorflow深度学习框架构建基于fasterr-cnn的车底异物检测模型。

步骤3：构建改进的fasterr-cnn的检测模型，通过改进的fasterr-cnn的检测模型先生成特征图，然后生成候选建议区域，最终利用特征图和候选区域对异物进行检测；所述改进的fasterr-cnn的检测模型由特征提取网络vgg、区域建议rpn网络和fastr-cnn网络组成，作用分别是生成车底异物特征图、利用特征图对异物进行特征提取并产生候选建议区域、利用特征图和候选建议区域对车底异物进行检测和识别；

步骤4：训练检测模型，通过四步交替法和随机梯度下降法(stochasticgradientdescent，sgd)对检测模型进行训练得到车底异物检测模型；

在本发明中，结合图1和图2所示，对检测模型进行训练得到所述车底异物检测模型的训练方法步骤为：

第一步，训练区域建议rpn网络，使用imagenet预训练模型对rpn网路进行初始化，并对所产生的anchor的形状和位置进行端到端的微调，通过anchor的形状和位置进行微调，从而生成候选建议区；

第二步，将第一步生成的候选建议区域输送至fastr-cnn网络进行训练，此时两个网络相互独立，没有共享卷积层；

第三步，用第二步训练的fastr-cnn网络对区域建议rpn网络进行初始化并进行训练，此时固定共享卷积层，并且只微调区域建议rpn网络的独有层；

第四步，用第三步训练的区域建议rpn网络初始化fastr-cnn网络并进行训练，保持共享卷积层固定，微调fastr-cnn网络的分类层，此时，两个网络共享相同的卷积层，构成一个统一的网络；

第四步，重复第一步至第四部的上述操作直至损失不再变化为止；分别对两幅异物图进行检测结果如图3和图4所示，异物被包围框包围，包围盒上方显示异物的类型和置信度；异物被包围从而了找出车底图像中的异物，检测完成后检测模型会对异物进行标记，然后标记异物的概率；

第一步至第四步训练过程中每一步的损失函数公式满足：

其中，i指的是第i个anchor的检索下标；pi为第i个anchor是目标物的预测概率，如果检测到anchor中含有异物，则值为1，否则为0，ti表示预测的回归框的坐标向量，而是与anchor所对应的真实值边框的坐标向量，为鲁棒损失函数，以1划分区域可以让函数更平滑；lcls为分类误差损失函数，lreg为回归误差损失函数，ncls表示每幅图像随机采样的默认框数量，nreg表示默认框中心点数量，λ为平衡权重，损失函数由ncls、nreg以及λ归一化计算得到。

步骤5：将待检测车底图像输入检测模型进行检测和识别，并输出识别结果。

在本发明中，所述特征提取vgg网络用于生成车底异物特征图，所述区域建议rpn网络用于在异物特征图上进行异物的特征提取以及生成候选建议区域，fastr-cnn网络则是基于异物特征图和候选建议区域对异物进行检测和识别；对车底样本图像的异物检测的步骤包括：通过特征提取vgg网络对车底样本图像的异物生成车底异物特征图，区域建议rpn网络从车底异物特征图上提取异物特征并生成候选建议区域，然后将车底异物特征图和候选建议区域输入fastr-cnn网络进行检测识别。在本发明中，结合图1，所述特征提取vgg网络由17个卷积层、3个全连接层和5个池化层组成，从车底异物特征图上提取异物特征并生成候选建议区域的流程为：

步骤41，在特征提取vgg网络的第十六卷积层conv4_3和第二全连接层fc7后添加4个具有衰减空间分辨率的卷积层，其深度均为512，并使用l²范数对第十六卷积层conv4_3进行规则化，则l²范数的定义为：

x为特征图上的特征向量；

所述特征提取vgg网络将不同的卷积层分成卷积组，covn4_3代表第四个卷积组中的第三个卷积层(为第十六卷积层)，17个卷积层是指所有卷积组中层数之和，三个全连接层分别是fc6、fc7和fc8,

步骤42，将车底异物特征图输入区域建议rpn网络，输入车底异物特征图后用一个3×3的窗口在特征图上滑动，在其中心对应的每一个像素点上映射几种不同尺寸和长宽比的基准边框，称作anchor；

步骤42，对车底异物特征图进行特征提取并生成候选建议区域，其中，区域建议rpn网络本身由卷积网络组成，对区域建议rpn网络进行改进以适应车底异物的需要，具体改进的方法为：在区域建议rpn网络设置一组尺寸为{64、128、256}，比例为{1:1、1:2、2:1}的anchor；生成候选建议区域包括以下步骤：

步骤51：利用labelimg标注工具构建包含标注的图库作为训练集和测试集，将预处理后的训练集输入至特征提取vgg网络，对车底样本图像做卷积和池化操，并获得特征图，通过对整张图片进行卷积和池化操作，获取车底样本图像的特征图，fastr-cnn模型接收特征提取vgg网络产生的特征图和区域建议rpn网络产生的候选建议区域，其中候选建议区域输入至fastr-cnn模型的roi池化层；

步骤52：将特征图输送至区域建议rpn网络，用一个3×3的窗口在特征图上滑动，窗口的中心点对应特征图上的一个像素点，在像素点上按预先设置好的比例尺寸生成候选建议区域；

步骤53：通过采用非极大值抑制算法(stochasticgradientdescent，sgd)筛选候选建议区域，然后输出两个支路，支路1输出是异物或者非异物的概率，支路2输出候选建议回归框中心坐标x、y与长宽值w、h；然后分别通过设置4个坐标参数用于衡量候选建议回归框的准确度，具体衡量公式如下：

tx＝(x-xa)/wa，

ty＝(y-ya)/ha，

tw＝log(w/wa)，

th＝log(h/ha)，

其中，x,y,w,h分别表示预测包围框的中心坐标(x,y)和包围框的宽w和高h，变量x,xa,x^*分别指预测包围框、anchor以及真实区域的x坐标，对车底样本图像进行预处理过程中对异物的标注就是真实信息，真实信息包括坐标和类别；同理，y,ya,y^*，为预测包围框、anchor以及真实区域的y坐标t为预测包围框坐标相对anchor的坐标偏移量，t*为预测包围框坐标相对真实区域坐标的偏移量，通过不断的训练让t趋近于t*，从而调整预测包围框的准确度。

在本发明中，采用非极大值抑制算法筛选候选建议区域计算的具体过程：依据概率值，由高到低依次选取500个包含异物的候选建议区域；筛选后将候选建议区域与特征图一同传输至fastr-cnn检测模型进行分类与识别训练；其中，筛选候选建议区的过程为：从500个候选区域中选出128个候选区域用于训练，当候选建议区域与实际真实区域的交并比值大于0.5，按大小挑选前32个；当候选建议区域与实际真实区域的交并比值小于0.1，按大小选择96个作为负样本。

在本发明中，通过基于fasterr-cnn的高速列车车底异物检测方法，从而可以实现对高速列车车底异物进行智能检测，提高检测效率,车底异物检测模型工作流程图2所示；具体检测实施过程中，分别通过三个检测网：特征提取vgg网络、rpn网络、fastr-cnn网络进行检测，通过改进的共享卷积神经网络生成车底异物特征图作为rpn和fastr-cnn的输入：其中生成车底异物特征图的具体过程为：

步骤110：将预处理得到的车底异物图像尺寸缩放为固定大小m×n(m表示图像的长度，n表示图像的宽度)，然后将固定大小的车底异物图像输至改进的vgg网络；在vgg网络中，对车底异物图像反复进行卷积和池化操作得到车底异物特征图。其中，所有卷积均对车底异物图像进行扩边处理，使车底异物图像大小变为(m+2)×(n+2)，输出时再进行3×3的卷积运算，最终输出m×n大小的特征图，使输入和输出图像矩阵的大小不变；对于所有的卷积层参数：kernel_size＝3，pad＝1，stride＝2。对于所有的池化层参数：kernel_size＝3，pad＝0，stride＝2。

步骤111：通过区域建议网络rpn提取车底异物特征并生成候选建议区域，其中将上一步得到的车底异物特征图作为输入：用一个3×3的卷积窗口，在输入的车底异物特征图上滑动，在其中心对应的每一个像素点，按尺寸为{64、128、256}，比例为{1:1、1:2、2:1}生成9种基准边框，通过计算后输出两个支路，支路1输出是异物或者非异物的概率，支路2输出候选建议回归框中心坐标x、y与长宽值w、h；最后采用非极大值抑制算法对2.2.1产生的候选建议区域进行筛选，依据概率值，由高到低依次选取500个包含异物的候选建议区域。至此完成车底异物候选建议区域的生成过程。

步骤113：通过fastr-cnn对车底异物进行目标识别和定位，具体过程是：将步骤110得到的车底异物特征图和步骤111得到的候选建议区域输至fastr-cnn网络，按如下策略在500个候选区域中挑选出128个候选区域：

先候选建议区域与实际真实区域的交并比值大于0.5，按大小挑选前32个；再候选建议区域与实际真实区域的交并比值小于0.1，按大小选择96个作为负样本，最后对候选区域进行池化操作，输出固定大小的特征向量，然后将特征向量输至用于分类的全连接层和用于计算回归边框的全连接层。在用于分类的全连接层中，对特征向量进行计算后确定车底异物的类别并输出概率，在用于计算回归边框的全连接层中，经过计算输出车底异物边框信息(包括坐标和长宽)，并不断对候选区域边框进行修正。至此，车底异物的目标识别和定位任务结束。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。