一种基于一字模板匹配的轨道扣件定位方法与流程

本发明属轨道扣件定位技术领域，涉及一种基于一字模板匹配的轨道扣件定位方法。

背景技术：

铁路扣件是将钢轨固定在轨枕上的紧固件，扣件的丢失、断裂很有可能造成列车脱轨等重大事故。随着我国铁路运营里程的飞速增长，寻常的人工巡检存在的成本高、效率低以及各种安全隐患等问题，已经无法满足以高速铁路为代表的铁路网络频繁检测的需求，因此实现铁路扣件的自动化识别也开始显得尤为重要了。然而，如果对线路上拍摄到的整幅图像进行检测，不仅会由于识别时间长而无法满足扣件检测的实时性要求，同时整幅的铁路线路图像中的复杂背景势必会造成检测准确度的下降。为了提高检测效率并减少复杂背景的干扰，轨道扣件的准确定位成为了扣件检测必不可少的前提条件。

近年来，国内外学者纷纷对扣件的定位算法展开了深入研究，文献1(铁道标准设计，2016,60(12):49-53.)中提出一种改进的十字交叉轨道扣件定位方法，通过先验知识缩小处理区域，然后使用中值滤波对图像预处理最后使用十字交叉法定位扣件，但基于十字交叉法的扣件定位主要针对的是有砟线路，而随着无砟轨道的广泛铺设，此类方法逐渐趋于淘汰；文献2(计算机测量与控制，2018,26(5):166-169.)中提出一种利用图像纹理信息的边缘梯度方向场作为模板实现无砟轨道扣件的快速匹配的方法，但此类方法难以定位到受到损坏的扣件或丢失的扣件因此准确率也较低；文献3(ieeesignalprocessingletters,vol.25,no.6,pp.788-792,june2018.doi:10.1109/lsp.2018.2825947.)中提出使用改进的局部二值模式(localbinarypattern,lbp)算法获取扣件目标特征之后使用模板匹配的方法定位扣件，该方法可以有效克服光照环境造成的干扰，定位准确率高，但是由于图像lbp特征需要经过遍历的卷积运算，因而运算量巨大，要实现快速的扣件定位对计算机性能要求高。

在现有技术范畴内，上述的定位算法都存在一定的局限性，因而总结出现有的需要解决的难题有以下几点：

(1)针对有砟和无砟线路需要使用完全不同的算法进行扣件的定位；

(2)扣件定位受扣件状态影响，需要提高扣件定位的鲁棒性，提高对损坏扣件的定位准确率；

(3)扣件定位对实时性要求高，因而需要提高扣件定位方法的速度。

技术实现要素：

本发明旨在解决现有技术存在的问题，提供一种基于一字模板匹配的轨道扣件定位方法，在轨道线路原图中分割出一字形分割区域，将对称性扣件模板在所述一字形分割区域图上扫描，并用归一化相关性系数度量扫描区域与模板的相似性匹配，来实现轨道扣件定位。本发明的一种基于一字模板匹配的轨道扣件定位方法，同时适用于有砟线路和无砟线路，且定位准确率高，能有效定位出损坏状态的扣件，同时定位速度都在0.3s/张以下。

为达到上述目的，本发明采用的技术方案如下：

一种基于一字模板匹配的轨道扣件定位方法，包括以下步骤：

(1)扣件模板制作；

在轨道线路原始图像中，将一对完整的扣件图像扣离，获得对称性扣件模板；

对称性扣件模板的宽度为wt，wt的单位为像素；

(2)依据扣件区域宽度尺寸wf和钢轨区域坐标，在轨道线路原始图像中分割出扣件区域的一字形分割区域，获得一字形分割区域图，wf的单位为像素；

所述一字形分割区域在轨道线路原始图像中的定位坐标按如下公式确定：

cl＝cl-wf+α；

cr＝cr+wf+α；

其中，cl为所述一字形分割区域在轨道线路原始图像中左边缘的列坐标，cr为所述一字形分割区域在轨道线路原始图像中右边缘的列坐标，cl为钢轨左边缘在轨道线路原始图像中的列坐标，cr为钢轨右边缘在轨道线路原始图像中的列坐标，α为调整所述一字形分割区域的宽度与模板宽度大小一致的自适应参数；

(3)精确定位；

将对称性扣件模板在所述一字形分割区域图上扫描，并用归一化相关性系数度量扫描区域与模板的相似性；

归一化相关系数的大小，1表示完美匹配，-1表示糟糕匹配，0表示没有任何相关性；找到最大值，其对应子图即为精确定位的一对对称性扣件位置；

(4)循环使用步骤(2)～(3)的方法，遍历采集到的所有轨道线路原图，便可定位轨道上所有的扣件，其中所述轨道线路原图都仅包含一对完整的扣件。

作为优选的方案：

如上所述的一种基于一字模板匹配的轨道扣件定位方法，所述一对完整的扣件图像是指在钢轨两侧呈中心对称的两个完好的扣件及一小段钢轨组成的图像。

如上所述的一种基于一字模板匹配的轨道扣件定位方法，所述钢轨区域坐标基于灰度垂直投影和阈值分割图像二值化原理获知，具体确定步骤为：

a)根据轨道线路原始图像，计算得到轨道线路原始图像的灰度垂直投影波形图；

b)分析统计灰度垂直投影波形图的规律找到钢轨区域的灰度阈值；

c)使用阈值分割对图像进行二值化处理，进而确定出钢轨区域坐标。

如上所述的一种基于一字模板匹配的轨道扣件定位方法，所述的步骤a)中，选用高度和钢轨长度相同且宽度为1个像素的滑动窗口遍历整张图片并通过公式计算平均灰度值av(j)，从而得到灰度垂直投影波形图，其表达式为：

其中，j表示第j个滑动窗口，i表示第i行像素矩阵，f(i,j)表示所在位置的像素灰度值，h表示该滑动窗口的高度。

如上所述的一种基于一字模板匹配的轨道扣件定位方法，所述轨道线路原始图像的分辨率为2048×4096；所述灰度阈值为(130,255)。

如上所述的一种基于一字模板匹配的轨道扣件定位方法，所述扣件区域宽度尺寸wf为620像素；轨道线路的钢轨宽度为320像素。

如上所述的一种基于一字模板匹配的轨道扣件定位方法，将对称性扣件模板在所述一字形分割区域图上扫描前，对所述对称性扣件模板和所述一字形分割区域图进行预处理；

所述预处理依次包括灰度化处理、图像增强处理和使用滤波函数去除图像噪声。

如上所述的一种基于一字模板匹配的轨道扣件定位方法，所述灰度化处理使用加权平均法，其公式如下：

vgray＝0.299×vr+0.587×vg+0.114×vb

其中，vgray为加权平均后所求的灰度值，vr、vg、vb分别为红色通道、绿色通道、蓝色通道的像素值；

所述图像增强处理所使用的算法为直方图均衡化；

所述使用滤波函数去除图像噪声具体为高斯滤波，而高斯滤波采用的3×3，σ＝0.8，模板如下所示：

如上所述的一种基于一字模板匹配的轨道扣件定位方法，用归一化相关性系数度量扫描区域与模板的相似性的归一化相关性系数公式如下所示：

其中，sj(n,m)是子图sj(n,m)中坐标(n,m)处的灰度值，t(n,m)是模板t(n,m)中坐标(n,m)处的灰度值，s'j(n,m)是矩阵s'j(n,m)中坐标(n,m)处的值，t'(n,m)是矩阵t'(n,m)中坐标(n,m)处的值，r(j)是指在模板t与原图s在坐标(0,j)处的归一化相关系数的大小，1表示完美匹配，-1表示糟糕匹配，0表示没有任何相关性，找出rmax(j)，其对应子图sj即为精确定位的扣件位置。

发明机理：

本发明从目标几何属性出发，挖掘出扣件的轴对称性特征，基于此类图像的对称性、特征对称性在图像处理中都有着较多的应用，经实验验证利用扣件轴对称性切割出的对称性扣件模板，使得扣件的精确定位具备了更高的准确率和鲁棒性，其次仅在单方向(垂直方向)的模板匹配，减少了在另一方向(水平方向)上匹配可能产生的错误，因而能有效克服扣件丢失，断裂，受油污污染等干扰因素的影响，精确定位出扣件区域。

本发明首先利用扣件粗定位对轨道线路原图进行裁剪，减少了约2/3的无关信息，从而提高了后续精确定位所使用的模板匹配的扫描速度，且匹配仅在单方向(垂直方向)上进行，减少了在另一方向(水平方向)上匹配的时间损耗，从而提高了定位速度。

有益效果

一、定位普适性强：本发明通过验证，从扣件区域粗定位到图像预处理以及之后的扣件区域精确定位，该方法在应用于无砟轨道线路和有砟轨道线路的扣件定位时，算法可在低复杂性的情况下，在有砟和无砟两种轨道线路中迁移使用，因而具备较强的普适性；

二、定位准确率高：本发明通过验证，该方法使用在无砟线路上时，较之在两个方向上使用单个扣件模板进行模板匹配方法，准确率提高了7％；而使用在有砟线路上时，较之在两个方向上使用单个扣件模板进行的模板匹配的方法，准确率提高了14.6％；

三、定位速度快：本发明首先利用扣件粗定位对轨道线路原图进行裁剪，减少了约2/3的无关信息，从而提高了后续精确定位所使用的模板匹配的扫描速度，且匹配仅在单方向(垂直方向)上进行，减少了在另一方向(水平方向)上匹配约0.4s/张的时间损耗。

附图说明

图1为根据本发明实施例的图像扣件定位流程图；

图2为根据本发明实施例的线路原图；

图3为根据本发明实施例的线路垂直方向灰度投影波形图；

图4为根据本发明实施例的扣件一字形分割区域图；

图5为根据本发明实施例的直方图均衡化处理后的图像效果；

图6为根据本发明实施例的高斯滤波去噪后的图像效果；

图7为根据本发明实施例的无砟线路和有砟线路扣件模板图像的预处理图；

图8为根据本发明实施例的扣件定位结果展示图。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

一种基于一字模板匹配的轨道扣件定位方法，步骤如下：

(1)扣件模板制作；

在轨道线路原始图像中，将一对完整的扣件图像(即在钢轨两侧呈中心对称的两个完好的扣件及一小段钢轨组成的图像)扣离，获得对称性扣件模板；

对称性扣件模板的宽度为wt，wt的单位为像素；

依据对称性作为一种基本的几何属性，且图像对称性、特征对称性在图像处理中都有着较多的应用，并且效果显著这一特点，采用扣件存在轴对称性这一特点离线制作对称性扣件模板图像，该对称性扣件模板图像具有以下特点：

1)图像中包含一段与扣件高度相同的钢轨区域；

2)该对称性扣件模板分别截取自任意一张无砟和有砟线路原图中完好的一对扣件；

(2)依据扣件区域宽度尺寸wf(取值为620)和钢轨区域坐标，在轨道线路原始图像中分割出扣件区域的一字形分割区域，获得一字形分割区域图，wf的单位为像素；

钢轨区域坐标基于灰度垂直投影和阈值分割图像二值化原理获知，具体确定步骤为：

a)根据轨道线路原始图像(分辨率为2048×4096)，计算得到轨道线路原始图像的灰度垂直投影波形图；具体为：

选用高度和钢轨长度相同且宽度为1个像素的滑动窗口遍历整张图片并通过公式计算平均灰度值av(j)，从而得到灰度垂直投影波形图，其表达式为：

其中，j表示第j个滑动窗口，i表示第i行像素矩阵，f(i,j)表示所在位置的像素灰度值，h表示该滑动窗口的高度；

轨道线路的钢轨宽度为320像素；

b)分析统计灰度垂直投影波形图的规律找到钢轨区域的灰度阈值(即(130,255))；

c)使用阈值分割对图像进行二值化处理，进而确定出钢轨区域坐标；

一字形分割区域在轨道线路原始图像中的定位坐标按如下公式确定：

cl＝cl-wf+α；

cr＝cr+wf+α；

其中，cl为一字形分割区域在轨道线路原始图像中左边缘的列坐标，cr为一字形分割区域在轨道线路原始图像中右边缘的列坐标，cl为钢轨左边缘在轨道线路原始图像中的列坐标，cr为钢轨右边缘在轨道线路原始图像中的列坐标，α为调整一字形分割区域的宽度与模板宽度大小一致的自适应参数；

(3)精确定位；

对对称性扣件模板和一字形分割区域图进行预处理后，将对称性扣件模板在一字形分割区域图上扫描，并用归一化相关性系数度量扫描区域与模板的相似性；

预处理依次包括灰度化处理、图像增强处理和使用滤波函数去除图像噪声；

灰度化处理使用加权平均法，其公式如下：

vgray＝0.299×vr+0.587×vg+0.114×vb

其中，vgray为加权平均后所求的灰度值，vr、vg、vb分别为红色通道、绿色通道、蓝色通道的像素值；

图像增强处理所使用的算法为直方图均衡化；

使用滤波函数去除图像噪声具体为高斯滤波，而高斯滤波采用的3×3，σ＝0.8，模板如下所示：

归一化相关系数的大小，1表示完美匹配，-1表示糟糕匹配，0表示没有任何相关性；找到最大值，其对应子图即为精确定位的一对对称性扣件位置；

用归一化相关性系数度量扫描区域与模板的相似性的归一化相关性系数公式如下所示：

其中，sj(n,m)是子图sj(n,m)中坐标(n,m)处的灰度值，t(n,m)是模板t(n,m)中坐标(n,m)处的灰度值，s'j(n,m)是矩阵s'j(n,m)中坐标(n,m)处的值，t'(n,m)是矩阵t'(n,m)中坐标(n,m)处的值，r(j)是指在模板t与原图s在坐标(0,j)处的归一化相关系数的大小，1表示完美匹配，-1表示糟糕匹配，0表示没有任何相关性，找出rmax(j)，其对应子图sj即为精确定位的扣件位置；

(4)循环使用步骤(2)～(3)的方法，遍历采集到的所有轨道线路原图，便可定位轨道上所有的扣件，其中轨道线路原图都仅包含一对完整的扣件。

现结合图对步骤(2)～(3)进行详细说明，如图1所示，步骤(2)～(3)具体步骤如下：

步骤01：采集轨道线路原始图像；

图像采集系统主要由线阵相机、光源、滤光片、光电编码器和工控机组成。光电编码器输出对应行车距离信息的脉冲数，并以此脉冲通过外触发模式同步控制线阵相机的行频，保证线阵相机采集的图像不发生畸变(拉伸或压缩)；

本发明采用的同步控制线阵相机，采集了石家庄-太原的有砟和无砟两种线路的原始图像，图像具备以下特征：钢轨区域在轨道图像中呈竖直方向分布，扣件区域在轨道图像中呈水平方向分布在钢轨两侧，图像的分辨率为2048×4096，其轨道线路图像原图如图2所示，其中，(a)图为无砟线路原始图像，(b)图为有砟线路原始图像；

步骤02：载入待处理扣件图像；

将步骤01中从铁路正线上拍摄到的扣件原图传输到可以对图像进行进一步处理的计算机中，进一步的，将传输到计算机中的图片载入到编写的对扣件实现对称性扣件模板匹配定位的程序中，循环的对整个保存到文件夹中的图片进行处理；

对图像进行进一步处理的计算机，可以是安装于轨道检测装置上的车载计算机，可以实时的对拍摄采集到的轨道扣件图像进行处理和定位；此外，还可以将拍摄和采集到的图像存储在硬盘或上传到云存储器中，接着再由相关人员传输或下载到随身携带的计算机中对图像进行处理并实现定位；

步骤03：对载入的图像进行灰度垂直投影，并通过阈值分割得到钢轨区域；具体为：

选用高度和钢轨长度相同且宽度为1个像素的滑动窗口遍历整张图片并通过公式计算平均灰度值av(j)，从而得到灰度垂直投影波形图如图3所示，其表达式为：

其中，j表示第j个滑动窗口，i表示第i行像素矩阵，f(i,j)表示所在位置的像素灰度值，h表示该滑动窗口的高度；

经计算得到的有砟和无砟垂直方向投影的像素平均灰度曲线如图3的(a)图和(b)图所示；

统计和分析发现图像在2200～2400列之间像素平均灰度值有一个明显的波峰，正好对应于轨道原图中的钢轨区域，选取合适的阈值此处为(130,255)对图像进行二值化处理之后，便可以通过简单的程序定位到钢轨区域的坐标，从原图中分割出钢轨区域；

步骤04：依据先验知识从原图中定位出扣件一字形分割区域；

将经过步骤03得到的钢轨区域坐标，结合先验知识中扣件区域所占的宽度这一固定值，经过下式的计算得到扣件一字形分割区域的坐标：

cl＝cl-wf+α；

cr＝cr+wf+α；

其中，cl为一字形分割区域在轨道线路原始图像中左边缘的列坐标，cr为一字形分割区域在轨道线路原始图像中右边缘的列坐标，cl为钢轨左边缘在轨道线路原始图像中的列坐标，cr为钢轨右边缘在轨道线路原始图像中的列坐标，α为调整一字形分割区域的宽度与模板宽度大小一致的自适应参数；

经分割后得到一字形分割区域图如图4所示，其中(a)为无砟线路的一字形分割区域图，(b)为有砟线路的一字形分割区域图；

步骤05：对扣件区域一字形分割图像和一字形扣件模板进行图像预处理；

预处理依次包括灰度化处理、图像增强处理和使用滤波函数去除图像噪声；

使用加权平均法对无砟和有砟一字形分割图像和对称性扣件模板图像进行灰度化处理，具体的计算方式是对r、g、b三个分量进行加权后再平均，其公式如下所示：

vgray＝0.299×vr+0.587×vg+0.114×vb

其中，vgray为加权平均后所求的灰度值，vr、vg、vb分别为红色通道、绿色通道、蓝色通道的像素值；

由于是在“天窗点”拍摄的轨道线路原图，因而图像昏暗，扣件的灰度特征不明显，为了提高图像的对比度，使用直方图均衡化方法来增强图像细节，对无砟和有砟粗定位图像和对称性扣件模板图像使用直方图均衡化进行图像增强处理，图像增强的效果如图5所示，其中(a)图为无砟一字形分割图像经过灰度化和直方图均衡化处理后的图像；(b)图为有砟一字形分割图像经过灰度化和直方图均衡化处理后的图像；

由于图片来源于实际线路有诸如锈迹、油污、石砾等干扰因素，而这些干扰因素会产生对研究结果有影响的噪声，因此对步骤05使用直方图均衡化进行图像增强处理后的图像，使用高斯滤波模板进行图像去噪处理，成功去除高斯噪声后的效果图如图6所示其中图(a)为无砟一字形分割图像的高斯滤波去噪效果；图(b)为有砟线路一字形分割图像的高斯滤波去噪效果，其中高斯滤波采用的3×3，σ＝0.8模板如下所示：

对称性扣件模板图像的预处理要保持与一字形分割图像的预处理一致，经过这些预处理之后的无砟和有砟线路的对称性扣件模板图分别如图7中的(a)图和(b)图所示；

步骤06：采用归一化相关系数进行相似性度量，得到扣件的精确定位；

为了提高方法的定位准确度，算法采用归一化相关系数，进行相似性度量，其计算公式如下：

其中，sj(n,m)是子图sj(n,m)中坐标(n,m)处的灰度值，t(n,m)是模板t(n,m)中坐标(n,m)处的灰度值，s'j(n,m)是矩阵s'j(n,m)中坐标(n,m)处的值，t'(n,m)是矩阵t'(n,m)中坐标(n,m)处的值，r(j)是指在模板t与原图s在坐标(0,j)处的归一化相关系数的大小，1表示完美匹配，-1表示糟糕匹配，0表示没有任何相关性，找出rmax(j)，其对应子图sj即为精确定位的扣件位置；

通过上述运算，找到一字形分割图中与对称性扣件模板最相似的区域，也就得到了相应区域的坐标值，用该坐标值加上模板图片的高度与宽度也就得到了扣件的精确定位图，进一步，利用扣件区域所占宽度为620像素，钢轨区域所占像素为320像素这一先验知识可以实现更精确的左右扣件精确定位，如图8所示，其中图(a)为定位到的有脱扣的扣件图，图(b)为定位到的损坏扣件图，图(c)为定位到的受油渍污染的扣件图，图(d)为定位到的有丢失的扣件图，由此验证了本发明扣件定位的鲁棒性，很好的解决了受扣件状态影响而难以定位的难题。

对本发明进行实验测试，从现场采集到的钢轨图像中选取了1364张，其中无砟线路图631张，有砟线路图733张，每张图片的分辨率均为2048×4096，采用主频为2.4ghz的计算机进行仿真实验，编程环境为python。使用本发明进行扣件的精确定位，得到的检测结果如下表所示。

结果表明：对无砟线路而言，基于图像方向场模板匹配的扣件定位方法速度很快但准确率较低只有95.93％，基于改进canny算子的扣件定位方法准确率与本文方法一样高，但定位耗时较长达到1.096秒/张，难以满足定位的实时性要求；对有砟线路而言，使用传统的canny算子和hough直线检测方法进行十字交叉定位，以及使用基于互信息的扣件定位方法和本文的方法，准确率和定位效率都呈现上升趋势。且由上表可知，本文的方法可以系统的适用于两种轨道线路，而无需在根本原理上选用不同的方法进行定位。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。