列车轨道扣件缺陷的检测方法与流程
本发明涉及列车轨道缺陷检测的技术领域，尤其涉及一种列车轨道扣件缺陷的检测方法。
背景技术：
轨道交通作为一种最重要的交通运输方式，已经在世界获得了极大的发展，在中国的发展更为显著，铁路的快速发展对运输的安全性提出了更高的要求。轨道和扣件的健康状态是保证轨道安全、稳定运输的关键。由于轮轨之间的接触摩擦和振动冲击的影响以及自然环境的影响，轨道上很容易产生各种病害及缺陷，如扣件的损坏和丢失。扣件的作用是将轨道固定在道床上，然而损坏或缺失的扣件无法安全有效的起到固定作用。而扣件的丢失会导致钢轨出现松动，长期发展下去钢轨往往会出现变形，钢轨渐渐地出现错位崩塌等问题，严重时会直接导致机车脱轨发生事故。因此，有必要及时的对扣件进行检测，对有缺陷的扣件进行及时的维修和更换。
现在，轨道部件的主要检查方式是经过培训的工作人员沿着铁路线定期检查扣件的状态。人工检查是一种很辛苦的费时、低效以及高成本的检测方法，因此实现扣件的故障检测的全自动化在确保轨道安全、减低维护成本方面有重大意义。
通过使用先进的技术，如图像处理、计算机视觉、机器学习以及高速度和高分辨率的相机发展轨道扣件检测系统去提高铁路运输的安全性、自动化检查轨道、缩短检查时间、降低维护成本、缓解工人的劳动强度具有重大的意义。
轨道扣件的常见异常状态主要包括扣件损坏和扣件缺失等。传统的基于图像检测的算法需要对扣件位置进行定位，再将定位到的扣件通过特定的特征提取算法或者输入到特征提取网络中提取特征，最后输入到分类器对分类器进行训练。利用训练好的模型对采集到的新的扣件图像进行检测，以此实现扣件缺陷自动检测。这一方法目前存在以下问题：
第一，在扣件定位部分。目前已有的基于图像处理的定位算法，算法中的部分参数需要依赖于实验得到的经验值，对不同的扣件图像数据集无法做到良好的兼容，算法鲁棒性不强。其次，若要做到扣件精确定位，算法计算量大，无法达到实时检测的要求。
第二，特征提取部分，由于硬件性能有限，需要将输入图像大小进行调整，(如将900×900的图像调整为256×256)。这一处理方法会造成图像信息的丢失，有可能导致后续识别分类结果不佳。此外，一个完整的扣件由不同的部分组成，部分特征提取算法只能提取图像的全局特征而忽视的局部特征。
技术实现要素：
本发明的实施例提供了一种列车轨道扣件异常的检测方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种列车轨道扣件缺陷的检测方法，包括：
通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络vgg16，利用vgg16网络对所述已知包含病害的扣件图像进行分类预训练；
利用预训练好的vgg16网络初始化fasterr-cnn网络模型，该fasterr-cnn网络模型包括区域生成网络rpn和快速区域卷积神经网络fastr-cnn，利用训练集数据对所述fasterr-cnn网络模型进行训练；
将所述拍照设备采集的扣件图像输入到训练好的fasterr-cnn网络模型中，rpn网络模型通过产生多个候选框对提取所述扣件图像中的扣件区域，rcnn网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测。
进一步地，所述的通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络vgg16，利用vgg16网络对所述已知包含病害的扣件图像进行分类预训练，包括：
通过拍照设备采集包含病害的扣件图像，对采集到的包含病害的扣件图像进行人工标注，将人工标注后的扣件图像输入到vgg16网络中进行预训练，其中训练参数通过多次重复试验采取最优结果获得，用于预训练的扣件图像包含单个扣件的小尺寸扣件图像，所述vgg16网络采用多个小卷核串联的结构，采用多次卷积操作和池化操作提取扣件图像中的特征信息，最终得到图像特征图，对提取到的图像特征图进行分类预训练，根据分类预训练的结果调整vgg16网络的参数，使分类预训练的结果达到最佳。
进一步地，所述利用预训练好的vgg16网络初始化fasterr-cnn网络模型，包括：
利用预训练好的vgg16网络的结构和参数初始化rpn网络和fastr-cnn网络的特征提取层，调整rpn网络和fastr-cnn网络的参数。
进一步地，所述的利用训练集数据对所述fasterr-cnn网络模型进行训练，包括：
从地铁线路上采集分别具有各种状态类型的原始扣件图像，从地铁线路上采集的原始扣件图像的相机拍摄角度垂直于扣件，相机与扣件的距离保持在1米，采集的图像为三通道的rgb图像，拍摄轨道位于图像中间，每张图像至少包含2个扣件，所述各种状态类型包括正常、损坏和缺失；
对所有原始扣件图像进行图像翻转、旋转、镜像、添加图像噪声和光照增强处理，噪声采用的是均值为0，方差为0.1的高斯噪声，所有旋转、镜像、添加图像噪声和光照增强处理后的扣件图像构成了数据集，从所述数据集中的70％的图像数据作为训练集，将剩余的30％的图像作为测试集，利用训练集数据对所述fasterr-cnn网络进行训练，在训练结束后使用测试集的数据来验证所述fasterr-cnn网络模型的训练结果。
进一步地，所述的将所述拍照设备采集的扣件图像输入到训练好的fasterr-cnn网络模型中，rpn网络模型通过产生多个候选框对提取所述扣件图像中的扣件区域，包括：
vgg16网络采用迁移学习的思想，利用预训练好的网络参数作为初始值，固定前几层的权重参数不变，利用扣件图像数据集对后面几层的权值参数进行微调，利用多次卷积操作和池化操作，提取图像中的特征信息，最终得到图像的特征图；
rpn网络利用所述vgg16网络生成的特征图上的每一个特征点预测多个候选框，每一个特征点都对应原图中的一片区域，即该特征点的感受野，在感受野中设置9个不同大小和长宽比的候选框，得到若干个候选框后，并标定每个候选框是否包含目标，若候选框包含目标则为正样本，不包含目标则为负样本，将所述候选框作为扣件区域。
进一步地，所述的得到若干个候选框后，标定每个候选框是否包含目标，若包含目标则为正样本，不包含目标记则为负样本，包括：
假设有区域a和区域b，则区域a和区域b之间的重叠度iou的计算公式为：
iou＝(a∩b)/(a∪b)
a)与真实框之间的iou值最大的候选框标记为正样本，这样保证了每一个真实框都必包含一个正样本；
b)剩下的候选框当中，与真实框之间的iou值大于0.7，记为正样本，若iou值小于0.3，则记为负样本；
c)对a)，b)操作后剩余的候选框，丢弃且不用于后续计算。
进一步地，所述的rcnn网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测，包括：
fastr-cnn网络接受到rpn网络提取的候选区域后，将候选区域经过感兴趣区域roi池化降维到设定大小后，将候选区域输入到两个全连接层，最后将候选区域分别与分类层和区域回归层连接，利用损失函数对候选区域进行分类，输出每个状态类别的预测概率，以及每个状态类别的预测位置(x，y，w，h)；
所述roi池化前需要对池化尺寸进行计算，计算公式如下：
其中x1，x2，y1，y2是某个候选区域的坐标，pooledheight和pooledwidth是期望池化之后的特征向量的尺寸。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例提出的基于faster-rcnn扣件缺陷自动检测技术，通过区域生成网络和快速区域卷积神经网络的结合，对训练图片的自主学习与特征提取，从而能对采集到的大尺寸图像进行扣件定位和缺陷自动检测，能够对地铁线路上的扣件状态进行实时监测，保障城市轨道列车安全运行，具有较大的应用前景。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种列车轨道扣件缺陷的检测方法的处理流程图；
图2为本发明实施例提供的一种扣件损害图；
图3为本发明实施例提供的一种扣件图像光照增强前后对比图；
图4为本发明实施例提供的一种改进的fastr-cnn基本结构图；
图5为本发明实施例提供的一种候选框示意图；
图6为本发明实施例提供的一种总损失函数变化示意图；
图7为本发明实施例提供的一种正常扣件测试结果示意图；
图8为本发明实施例提供的一种损坏扣件测试结果示意图；
图9为本发明实施例提供的一种缺失扣件测试结果示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例采用了faster-rcnn实现扣件区域的提取加识别，采用与训练好的扣件分类模型网络参数初始化所述fasterr-cnn模型，加速网络训练速度，提升识别精度。首先利用区域生成网络(rpn)实现对扣件有效区域的提取，进一步利用有效的基础网络对有效区域的特征进行提取和检测。两步融合在一个深度学习网络中，具有更强的鲁棒性及更高的自动化和智能化程度。
图1是本发明实施例提供的一种列车轨道扣件缺陷的检测方法的处理流程图，包括以下步骤：
步骤s110、原始图像的采集及数据集制作。
扣件图像主要来源于地铁线路上的扣件图像，利用手持式单反相机等拍照设备拍摄。在数据采集过程中保证相机拍摄角度垂直于扣件，相机与扣件之间的距离保持在1米左右，距离相对固定。采集到的图像为三通道的rgb图像，分辨率为3468×5472。保证拍摄到的轨道位于图像的中间，且每张图像至少包含2个扣件。
(1)数据集的制作
fasterr-cnn采用的是有监督的学习方法。需要对用于网络训练的图像进行标注。同时利用矩形框标定扣件在图像中的位置。将图像数据、标注数据和位置数据输入到网络中，网络通过这些样本不断进行学习，对网络中的权重值进行调整，最终获得一个能有效对该类扣件进行定位和分类的网络。
数据分类
根据采集到的扣件图像实际情况与扣件病害的定义，将收集到的数据分为三类：正常、损坏、缺失。正常代表扣件处于能完全正常使用的状态；扣件损坏定义为扣件的扣环完全断裂或部分断裂，无法起到固定轨道的作用；扣件缺失定义为扣件主要部分丢失或者扣件完全缺失。如图2所示，(a)右侧扣件为损坏扣件，(b)右侧扣件为缺失扣件。
数据增强
数据增强是一种用来扩充数据样本的方法。在异常检测问题中，含有异常信息的负样本相较于正样本比较少，而这样的不均衡样本直接用于网络训练，无法训练出较好的网络。为了解决这一样本不均衡的问题，可以通过数据增强扩充负样本的数量。常用的数据增强方法包括图像旋转、翻转、镜像和加噪等等。噪声采用的是均值为0，方差为0.1的高斯噪声。此外，基于地铁线路上光照条件较差的情况，使用了光照增强的手段对数据集进行扩充，得到多种光照条件下的图像数据，减少光照对网络检测的影响。光照增强的方法采用的是ssr(singlescaleretinex)算法。计算公式如下：
ri(x，y)＝logsi(x，y)-log[f(x，y)*si(x，y)]
ri(x，y)是光照增强之后的图像输出，si(x，y)是图像某一通道的数据，(x，y)是中心环绕函数，它可以表示为：
c表示高斯环绕尺度，λ是一个尺度，它的取值必须满足以下条件:
∫∫f(x，y)dxdy＝1
通过该光照增强的方法得到的结果如图3所示。
经过数据增强后，将图像中70％的图像作为训练集，30％的图像作为测试集。具体的数据集构成如表1所示。
表1
数据标记
利用labelimg工具，利用矩形框将图像中的扣件内容标记出来，并对扣件的类别作文本标注，保存在*.xml文件当中，其典型格式下所示。数据存放格式参考vocdevkit2007数据格式。
<？xmlversion＝"1.0"encoding＝"iso-8859-1"？>
<annotation>
<folder>imagesets</folder>
<filename>000001.jpg</filename>
<source>
<database>unknown</database>
</source>
<size>
<width>5472</width>
<height>3648</height>
<depth>3</depth>
</size>
<segmented>0</segmented>
<object>
<name>complete</name>
<pose>unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<bndbox>
<xmin>1155</xmin>
<ymin>843</ymin>
<xmax>2247</xmax>
<ymax>2735</ymax>
</bndbox>
</object>
<object>
<name>complete</name>
<pose>unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<bndbox>
<xmin>3539</xmin>
<ymin>735</ymin>
<xmax>4574</xmax>
<ymax>2751</ymax>
</bndbox>
</object>
</annotation>由上可见，在annotations中的*.xml文件中包含了图片的名称、尺寸(包括通道数)、扣件区域、扣件类型等信息。
步骤s120、构建fasterr-cnn网络模型，利用预训练好的vgg16网络的结构和参数对fasterr-cnn网络模型进行初始化，再对fasterr-cnn网络模型进行训练。
采用rpn网络和fastr-cnn网络构成fasterr-cnn网络模型，vgg16网络采用多次卷积操作和池化操作提取图像中的特征信息，最终得到图像特征图，所述vgg16采用多个的小卷核串联的结构，rpn利用vgg16网络生成的特征图作为输入进行一次卷积操作，提取出候选区域，所述fastr-cnn网络对候选区域进行分类和定位，输出每个类别的预测概率，以及每个类别的预测位置。
本发明实施例中的改进的rcnn网络模型一个将目标检测、分类和定位问题融合在一起进行解决的综合网络，由区域生成网络(regionproposalnetworks，rpn)和快速区域卷积神经网络(fast-regionconvolutionalneuralnetworks，fastr-cnn)两个部分组成，两部份共享同一个特征提取网络(vgg16)，其基本结构如图4所示。
特征提取网络(vgg16)
特征提取网络vgg16是利用多次卷积操作和池化操作，提取图像中的特征信息，最终得到图像的特征图。vgg16采用多个的小卷积核串联的结构，在减少了网络参数的同时，保证的特征提取的效果。vgg16的网络结构如表2所示。
表2
输入(128*256rgb图像)
其中前11层的卷积层的权值参数并不参与训练。由于扣件图像的样本数比较少，如果把所有卷积层的权值随机初始化之后重新开始训练，如此少量的样本不足以训练出一个良好的特征提取网络。所以利用迁移学习的思想，将一部分包含单个扣件的小尺寸扣件图像输入到vgg16结构中，接入包含2个隐含层的全连接层用于分类，利用交叉熵损失函数进行网络预训练。交叉熵损失函数定义如下：
其中y为神经元实际输出，
用于预训练的扣件样本及其类别如表3所示。
表3
预训练完毕后，将该网络结构及参数作为fasterr-cnn的特征提取网络，使所述fasterr-cnn网络在初始化后就具有一定的扣件识别能力，再固定前几层的权重参数不变，利用新的扣件图像数据集对后面几层的权值参数进行微调。
区域生成网络(rpn)
区域生成网络(rpn)作用在于在原图中生成一系列的候选框，提供给fastr-cnn做对候选框进行分类和融合。其结构如图4的下半部分图所示，在特征提取网络后再连接上一个3*3的卷积层，之后再连接上一个分类层和候选框回归层。卷积层的作用在于对提取到的特征进行降维，分类层用于计算候选框是目标或背景的概率。候选框回归等计算每一个候选框(anchor)应对应的原图中目标区域的位置信息。
1)候选框(anchor)的生成
利用特征提取层得到的特征图上的每一个特征点预测多个候选框。每一个特征点都对应原图中的一片区域，即该特征点的感受野。在感受野中设置9个不同大小和长宽比的候选框，不同大小如128*128像素，256*256像素，512*512像素，不同长宽比如1：1，1：2，2：1。如图5所示。
2)候选框正负样本划分
在得到若干个候选框后，将候选框作为扣件区域。还需要标定候选框是否包含目标，若包含目标则为正样本，不包含目标记则为负样本。候选框内是否包含目标由该候选框与标注好的真实框(groundtruebox)的iou(intersectionoverunion)决定。iou定义了两个候选框的重叠度，假设有a，b两个区域，其iou计算公式如下：
iou＝(a∩b)/(a∪b)
3)正负样本标定方法如下：
a)与真实框之间的iou值最大的候选框标记为正样本，这样保证了每一个真实框都必包含一个正样本。
b)剩下的候选框当中，与真实框之间的iou值大于0.7，记为正样本。若iou值小于0.3，则记为负样本。
c)对a)，b)操作后剩余的候选框，丢弃且不用于后续计算。
损失函数(lossfunction)的定义
对于每一个候选框，网络结构中的分类层用于计算它是一个目标的概率(pi)，候选框回归层计算这个候选框的4个坐标位置(ti)总体损失定义为：
其中，i为候选框序号，pi为是候选框内时某个物体的概率，
其中x，xa，x*分别代表预测区域、候选区域和真实区域的值(y，w，h)同理)。
对于分类损失，其采用的是softmax损失函数，其定义如下：
其中zi代表每一类的预测概率。
对于回归损失，采用的是smoothl1损失函数，其定义如下：
其中
快速区域卷积神经网络(fastr-cnn)
如图4上半部分图所示，在接受到从区域生成网络(rpn)提取出的候选区域后，经过roi(regionofinterest)池化，两个全连接层，最后分别于分类层和区域回归层连接。由于区域框大小不同，经过特征提取层后得到的特征向量的大小也不相同。roi池化的作用是将不同大小的特征向量降维到同一大小，使其能够输入到后续的全连接网络中。分类层用于计算候选框属于某一类目标的概率。候选框回归层用于对候选框位置进行修正。
roi(regionofinterest，感兴趣区域)池化
roi池化的原理与普通的池化不同。普通池化每次池化都是根据固定尺寸进行池化操作，如(2×2)。但每次进行roi池化前需要对池化尺寸进行计算，计算公式如下：
其中x1，x2，y1，y2是某个候选区域的坐标，pooledheight和pooledwidth是期望池化之后的特征向量的尺寸。
这样保证了输入到全连接层的特征向量尺寸的一致性。
损失函数(lossfunction)的定义
fastr-cnn的损失函数与rpn类似，也包含有分类和回归两个部分。具体定义如下：
l(p，u，tu，v)＝lcls(p，u)+λ[u≥1]lloc(tu，v)
其中，lcls(p，u)＝-logpu,为某一状态类别u的log损失。λ[u≥1]代表当u不为0时才有值，u＝0时代表背景，tu代表预测位置
网络训练
网络训练采用的是四步训练法。
第一步，用预训练好的vgg16网络参数对rpn进行初始化。
第二步，利用第一步中的rpn网络生成候选框，对fastr-cnn进行训练。目前为止，rpn和fastr-cnn并没有权值共享。
第三步，利用第二步训练好的fastr-cnn的网络参数，初始化一个新的rpn网络。但是把将rpn和fastr-cnn共有的特征提取网络权值参数固定，不参与训练，只训练rpn特有的网络(单个卷积层，分类层和候选框回归层)。这样fastr-cnn和rpn共享了同一个特征提取网络。
第四步，固定特征提取网络的权值，训练其余的网络结构(即rpn和fastr-cnn特有的网络结构)。
网络超参数的设置如表4所示，其中学习率，冲量，权值衰减通过多次重复试验，采用最优结果获得。通过以上四步训练，得到可以实现对扣件进行检测的深度学习网络。训练过程中网络的损失函数值变化如图6所示
表4
步骤s130、将拍照设备采集的扣件图像输入到训练好的fasterr-cnn网络模型中，rpn网络模型通过产生多个候选框对提取扣件图像中的扣件区域，rcnn网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测。
网络测试
利用测试集对网络进行测试，此时不再计算网络的损失函数值，网络中的参数也不再进行调整，所述fasterr-cnn网络前向传播对测试集图像进行测试，得到每一个图像内扣件的位置信息以及病害信息。得到混淆矩阵如表5所示。
表5
可以看出损坏扣件准确率为100％，召回率为98％。缺失扣件准确率和召回率均为100％。对每个样本的预测分数进行排序，并以此为顺序依次进行预测，每次计算出当前的查全率和查准率，以查全率为横坐标，查准率为纵坐标，得到查准率-查全率曲线，这个曲线下的面积即为平均精度(averageprecision，ap)，对每一类的平均精度取均值，就得到了均值平均精度(map)，结果如表6所示。
表6
从检测速度上来看，通过多次实验，利用fasterr-cnn检测单张图片的时间为0.23s，满足快速检测的需求。图6，图7，图8分别是不同类型扣件的检测结果。
本发明提出了基于fasterr-cnn扣件缺陷自动检测技术，通过区域生成网络和快速区域卷积神经网络的结合，对训练图片的自主学习与特征提取，从而能对采集到的大尺寸图像进行扣件定位和缺陷自动检测，避免了传统图像处理方法的一系列复杂流程，智能化程度更高，实现效率更高，模型适用性更强。最终得到的结果可为地铁线路扣件检修与维护提供决策支持，未来可与轨道在线检测系统相结合，能够对地铁线路上的扣件状态进行实时监测，保障城市轨道列车安全运行，具有较大的应用前景。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！