高铁隧道漏缆卡扣检测方法

1.本发明涉及图像处理方法技术领域，尤其涉及一种高铁隧道漏缆卡扣检测方法。


背景技术：

2.目前铁路运输仍然是解决我国人口转移和物资输送的主要交通方式，特别是随着运载量的不断加大，保障铁路通信系统的正常工作就显得尤为重要。山区隧道段的通信网络主要通过覆盖泄漏电缆来实现，通常将漏缆悬挂在隧道壁上，并用专门的卡扣将其固定。高速列车经过隧道时产生的气压和能力波会对卡扣造成影响，同时潮湿的地质环境也会加速卡扣出现松动甚至脱离的现象。漏缆卡扣的主要检测手段是人工定点定期逐一排查，这种检测方式不仅严重受制于环境因素和人为因素，还存在极大的安全隐患。随着近些年来铁路隧道里程的不断增加，这种传统的排查方法已很难再满足实际的需要，实现漏缆卡扣的自动化检测成为发展的必然趋势。结合计算机视觉的漏缆卡扣检测技术主要有以下两个环节：首先需要在列车的窗口处安置一台高速摄像机，随列车采集在隧道运行过程中拍摄的全段画面；再用计算机处理漏缆卡扣数据，逐帧提取特征，完成卡扣的检查工作。当前数据采集部分已经实现，但检测部分仍旧停留在人工回放视频排查故障的阶段。现有技术中出现的基于局部二值模式的深度挖掘算法和多特征融合算法也存在描述子针对性不强且特征维度过高的问题。


技术实现要素：

3.本发明所要解决的技术问题是如何提供一种能够提高特征提取效率，降低描述子特征纬度，能更准确的反应漏缆卡扣的轮廓特征的高铁隧道漏缆卡扣检测方法。
4.为解决上述技术问题，本发明所采取的技术方案是：一种高铁隧道漏缆卡扣检测方法，其特征在于包括如下步骤：
5.改进cs-lbp算法并逐一计算高铁隧道漏缆卡扣图像采样圆域的梯度方向特征，得到完整的初步梯度方向特征图；
6.在此特征图上进行两次连续的下采样并分别提取这两幅采样图像的连续梯度特征；
7.将这两组梯度特征串联作为描述子，用svm完成故障卡扣图像的分类工作。
8.进一步的技术方案在于，改进cs-lbp算法如下：
9.图像采样圆域内取采样个数p＝8，采样半径r＝1，阈值t＝10；用双线性插值法先确定圆形邻域内所有采样点的灰度值；再依次计算每组中心对称采样点的灰度差值；最后比较灰度差值与阈值t的大小关系，以此确定梯度的方向。
10.进一步的技术方案在于：若灰度差值的绝对值大于阈值t，则将灰度值大的采样点对应的计数位标记为1，此计数位便是这组采样像素对的梯度方向；同时将灰度值小的采样点对应的计数位标记为0；若灰度差值的绝对值不大于阈值t，则两个采样点对应的计数位都标记为0，表示这组采样像素对没有梯度，对整幅高斯滤波后的图像重复上述运算，得到
完整的初步梯度方向特征图，每个像素的取值都唯一对应了一种由八位二进制数字0或1构成的一维数组。
11.进一步的技术方案在于，关键梯度特征的计算方法如下：
12.采用关键梯度方向来表示像素块的整体梯度趋势，按梯度方位图进行排序，逆时针方向分布的数字1～8分别对应了8个梯度方向，将像素块内所有像素的二进制像素值按相同的计数位逐一累加后，计数和最大的计数位就是该像素块的关键梯度方向。
13.进一步的技术方案在于：cell单元是由a、b、c、d四个像素组成的像素块，获取此cell的关键梯度方向特征的方法如下：
14.首先用改进后的cs-lbp算法依次计算这四个像素对应的一维数组像素值；再将这四个一维像素值按相同的计数位逐一累加，以出现计数方向最多的梯度方向为关键梯度方向；最后得到该cell的梯度方向以及该关键梯度方向的输出编码值，计算公式定义如下：
15.xi＝[x
i1
,x
i2
,
…
x
ij
…
,x
im
]
[0016][0017][0018]
其中xi表示一维数组，y表示cell结构内所有一维数组xi的累加，x
ij
∈{0，1}，i∈{1，n}，j∈{1，m}，i和j都为整数；函数max_id(y)表示输出一维数组y中最大值所对应的位置，即此时最大值的列坐标j；对整幅初步梯度方向特征图重复以上步骤，取步长stride为2，于是得到第一次下采样后的梯度特征图；
[0019]
在第一次下采样后的特征图上再进行一次相同的迭代，得到第二次下采样特征图。
[0020]
进一步的技术方案在于：cell结构的长宽设定为2
×
2，通道数为8，滑动步长stride为2，这样既能方便连续梯度特征提取时相关参数的设定，同时每一层下采样特征图的长和宽都与传统lbp及其变体算法得到的最小分区子图像的尺寸成倍数关系。
[0021]
进一步的技术方案在于：在采样特征图上提取连续梯度特征时定义3
×
3的窗口为一个block，通道数为8，滑动步长为1。
[0022]
进一步的技术方案在于：在block内按梯度方位图的逆时针方向做环形排序，统计所有基准通道和相邻通道非中心像素的最大连续序列长度，首先逐一确定存在中心像素的通道并以此通道为基准，如果所有通道都不存在中心像素则该block不输出连续梯度特征。
[0023]
进一步的技术方案在于：连续梯度特征的计算步骤和限制条件包括如下三点：
[0024]
在8通道的block内先确定存在中心像素的通道，若都不存在中心像素，则不输出特征；
[0025]
以存在中心像素的通道为基准，判断其邻域内最大连续序列大长度是否不小于3，若不满足则不输出特征；
[0026]
分别统计与基准通道相邻的通道的最大连续序列长度，连续梯度特征输出的编码形式为基准通道编号和三个相应通道的最大连续序列长度，该策略的编码总个数为768种。
[0027]
采用上述技术方案所产生的有益效果在于：本技术所述方法相较于现有技术的显著优势是通过连续的下采样特征图实现了卡扣轮廓特征的尺度变换，在很大程度上提高了特征提取效率，也起到降低描述子特征纬度的作用。同时连续梯度特征也能更准确的反应漏缆卡扣的轮廓特征，特别是拐点和边线处的梯度信息，在高铁隧道场景中区分故障卡扣图像有较好的检测效果。
附图说明
[0028]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0029]
图1是本发明实施例中lbp和cs-lbp采样方式图；
[0030]
图2是本发明实施例中计算初步梯度方向图；
[0031]
图3a是本发明实施例中梯度方位图；
[0032]
图3b是本发明实施例中cell结构图；
[0033]
图4是本发明实施例中计算关键梯度图；
[0034]
图5是本发明实施例中下采样过程图；
[0035]
图6是本发明实施例中计算连续梯度特征图；
[0036]
图7是本发明实施例所述方法的实验流程图；
[0037]
图8是本发明实施例中roc曲线图；
[0038]
图9是本发明实施例所述方法的流程图；
具体实施方式
[0039]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0041]
如图9所示，总体的，本发明实施例公开了一种多尺度连续梯度特征的高铁隧道漏缆卡扣检测方法，所述方法包括如下步骤：
[0042]
首先改进cs-lbp算法并逐一计算采样圆域的梯度方向特征，得到完整的初步梯度方向特征图；然后在此特征图上进行两次连续的下采样并分别提取这两幅采样图像的连续梯度特征；最后将这两组梯度特征串联作为描述子，用svm完成故障卡扣图像的分类工作。
[0043]
所述方法能够实现卡扣轮廓特征的尺度变换并有效降低描述子的特征维度，通过提取连续的梯度特来征提高图像的分类准确率。实验对比了cs-lbp、hog等多种变体算法的检测情况，结果表明所述方法所提算法的召回率和精准度分别达到了0.923和0.857，相较于这几种对比算法有明显的优势。
[0044]
下面结合具体步骤对上述方法进行详细说明
[0045]
改进cs-lbp算法
[0046]
传统的lbp和cs-lbp：
[0047]
传统的lbp描述子最初由ojala等人提出，因其能敏锐捕获细致纹理之间的灰度差异，同时还具有较好的旋转不变性和灰度不变性，至今仍被广泛应用于人脸识别和纹理分类领域。算法的核心思想是在以r为半径的圆形邻域内，比较中心像素与邻域内p个采样像素点之间灰度值的大小，再利用布尔函数计算出仅包含0和1的一串二进制序列，最后按统一顺序转换成十进制的lbp编码值，相应的计算公式为：
[0048][0049][0050]
ni表示圆形邻域上第i个采样点的灰度值，其大小可以用双线性插值法来确定，nc表示中心像素的灰度值。为了增强lbp描述子在空间方向上的表述能力，heikkila等人提出了cs-lbp描述子，取代了lbp关于编码邻域采样点与中心像素差值信息的方式，仅针对四组径向分布的中心对称采样点进行编码，相应的计算公式变为：
[0051][0052][0053]
需要对比多组实验的特征提取效果，才能对上述公式(4)中的阈值t有一个较好的评估。通常可以根据输入图像的全局灰度情况或者邻域采样像素的灰度情况来确定，所述方法选择cs-lbp算子作为改进的基础模型主要有以下三方面原因：
[0054]
1)在相同采样个数和采样半径的条件下，如图1所示，cs-lbp编码的特征向量更紧凑，描述子的特征维度也远低于lbp。
[0055]
2)cs-lbp继承了lbp良好的纹理特性，同时还拓展了四组径向分布的梯度差分信息。
[0056]
3)cs-lbp在处理图像的平缓区域能够有更强的稳定性，许多关于图像匹配的实验也证明了cs-lbp算子比单独使用梯度算子或者幅值算子有更好的鲁棒性。
[0057]
提升cs-lbp的方向性：
[0058]
传统的cs-lbp只说明了采样圆域内的某个直径方向或者某些直径方向存在梯度差，却并没有明确指出梯度的方向究竟在那一侧。所以所述方法在此基础上保留了cs-lbp关于比较中心对称采样点灰度差值的编码方式，但同时必须明确标识出每组中心对称采样点灰度值高的那一侧，以获取更具体的梯度方向信息，即二进制编码位数扩展到了8位。而作为此环节输出的初步梯度方向特征图，也不再将像素值进行十进制转换，而是直接输出编码方式的二进制形式。
[0059]
图2为采用改进的cs-lbp算法计算初步梯度方向的过程，圆域内取采样个数p＝8，采样半径r＝1，阈值t＝10。用双线性插值法先确定圆形邻域内所有采样点的灰度值；再依次计算每组中心对称采样点的灰度差值；最后比较差值与阈值t的大小关系，以此确定梯度
的方向。若绝对值大于阈值t，则将灰度值大的采样点对应的计数位标记为1，此计数位便是这组采样像素对的梯度方向。同时将灰度值小的采样点对应的计数位标记为0。若绝对值不大于阈值t，则两个采样点对应的计数位都标记为0，表示这组采样像素对没有梯度。经计算可得出图2中只存在45
°
、90
°
、315
°
这三个梯度方向，所以只将这三个方向对应的计数位标记为1，其余方向位均标记为0。于是从0
°
开始以逆时针方向进行编码，10000110即为所求的二进制编码值。对整幅高斯滤波后的图像重复上述运算，得到完整的初步梯度方向特征图，每个像素的取值都唯一对应了一种由八位二进制数字0或1构成的一维数组。
[0060]
梯度方向特征图：
[0061]
得到的初步梯度方向特征图中，每一个一维数组像素值都有81(34)种二进制排布形式，如果直接在此特征图上提取连续梯度特征，所得到的描述子特征维度会过于庞大，所以所述方法提出了一种有效的降维模式，一方面能减少二进制像素值排布形式的总数，另一方面还能实现特征图的尺度变换。
[0062]
采用关键梯度方向来表示像素块的整体梯度趋势，目的是将原本单个像素的81种取值转换为像素块的8种有效取值，方便对连续梯度特征进行编码。按图3a的梯度方位图进行排序，逆时针方向分布的数字1～8分别对应了8个梯度方向，将像素块内所有像素的二进制像素值按相同的计数位逐一累加后，计数和最大的计数位就是该像素块的关键梯度方向。图3b中的cell单元是由a、b、c、d四个像素组成的像素块，以获取此cell的关键梯度方向特征为例，图4为关键梯度的计算过程。首先用改进后的cs-lbp算法依次计算这四个像素对应的一维数组像素值；再将这四个一维像素值按相同的计数位逐一累加，可以发现90
°
方向的计数最多，出现了四次；最后得到该cell的梯度方向为90
°
，即关键梯度方向的输出编码值为2，计算公式定义如下：
[0063]
xi＝[x
i1
,x
i2
,
…
x
ij
…
,x
im
]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0064][0065][0066]
其中xi表示一维数组，y表示cell结构内所有一维数组xi的累加，x
ij
∈{0，1}，i∈{1，n}，j∈{1，m}，i和j都为整数。函数max_id(y)表示输出一维数组y中最大值所对应的位置，即此时最大值的列坐标j。对整幅初步梯度方向特征图重复以上步骤，取步长stride为2，于是得到第一次下采样后的梯度特征图。
[0067]
在第一次下采样后的特征图上再进行一次相同的迭代，得到第二次下采样特征图。cell结构的长宽设定为2
×
2，通道数为8，滑动步长stride为2，这样既能方便连续梯度特征提取时相关参数的设定，同时每一层下采样特征图的长和宽都与传统lbp及其变体算法得到的最小分区子图像的尺寸成倍数关系，便于比较。另外也与深度学习中的最大值池化不同，这里是针对值抑制。图5是下采样过程的输出结果示意图，除了输入图像是单通道的灰度图像之外，其它环节的特征图都是8通道，并且每个通道都分别代表了图3a中的一个
梯度方向。在经过尺度变换后，目标轮廓处的典型梯度特征会被保留，反而一些变化不明显的拐点、边线，以及噪声会在下采样过程中被去掉。
[0068]
连续梯度特征：
[0069]
lbp的一些深度挖掘算子以及该系列的融合特征算子，基本只针对局部采样点的灰度差值做纹理特性分析，存在明显的局限性。所以所述方法分别在两次下采样后的特征图上提取连续梯度特征，通过目标轮廓在拐点和边线处的梯度变化关系提升描述子的质量。为了与下采样过程中的cell单元区分，在采样特征图上提取连续梯度特征时定义3
×
3的窗口为一个block，通道数为8，滑动步长为1。之所以处理单元选择3
×
3是因为8个领域采样点都与中心采样点相邻，能更好的反应梯度连续这一关键特性，同时也更符合编码的习惯。
[0070]
在block内按梯度方位图的逆时针方向做环形排序，统计所有基准通道和相邻通道非中心像素的最大连续序列长度。首先逐一确定存在中心像素的通道并以此通道为基准，如果所有通道都不存在中心像素则该block不输出连续梯度特征。图6中只有通道2、4存在中心像素，所以只针对这两个通道进行特征提取。通道2中自身的8个邻域采样像素最大的连续序列长度为4，相邻的通道1最大连续序列长度为1，通道3最大连续序列长度为2，于是得到通道2的连续梯度特征，编码结果为2412，其含义表示为以通道2为基准，通道2、1、3的最大连续序列长度分别为4、1、2。由于通道4自身的最大连续序列长度小于3，所以该通道也不输出特征。将连续梯度特征的计算步骤和限制条件总结为以下三点：
[0071]
1)在8通道的block内先确定存在中心像素的通道，若都不存在中心像素，则不输出特征。
[0072]
2)以存在中心像素的通道为基准，判断其邻域内最大连续序列大长度是否不小于3，若不满足则不输出特征。
[0073]
3)分别统计与基准通道相邻的通道的最大连续序列长度，连续梯度特征输出的编码形式为基准通道编号和三个相应通道的最大连续序列长度，该策略的编码总个数为768种。
[0074]
实验过程:
[0075]
实验运行环境所采用的cpu为intel xeon e5-2697 v2、运行内存为98gb、硬盘存储空间为8tb。漏缆卡扣图像数据用双线cmos相机全程跟车拍摄，其中故障卡扣图像195张，正常卡扣图像900张，取输入图像数据集的70％作为训练集，剩下的30％作为测试集。图7简述了从原始数据中获取连续梯度特征，再到用svm完成故障卡扣检测任务的完整流程。预处理后输入图像的尺寸变为256
×
256，提取初步梯度方向特征和连续梯度特征的基本单元为3
×
3，两次下采样的基本单元为2
×
2。
[0076]
计算自适应阈值t:
[0077]
为了获得合适的阈值t，先从数据集中分别挑选了5～6张全局灰度均值分布在不同区间的图像共50张，通过实验的方法来分析灰度与阈值的对应关系。用9
×
9的高斯滤波器对原始输入图片进行预处理，然后比较它们各自在不同阈值条件下初步梯度方向特征图的成像效果，在满足以下两点要求的前提下，阈值t应尽可能的大。
[0078]
1)必须保证初步梯度方向特征图能完整清晰的显示漏缆卡扣的轮廓。
[0079]
2)在一定程度上能过滤隧道墙壁的背景噪声。
[0080]
表1不同灰度-阈值的成像效果分析
[0081][0082]
为了方便比对不同灰度与阈值的成像效果，将全局灰度均值分成8个区间，分别对应了8个阈值等级。表格1列出了部分卡扣图像在不同阈值情况下的初步梯度方向特征图的成像效果，具体的计算公式为：
[0083][0084]
当全局灰度均值处于80～220之间时，采用取整函数计算相应的阈值t；灰度均值小于80，为最低阈值等级t＝4；灰度均值大于220，为最高阈值等级t＝11。根据公式(8)对输入图像采用改进的cs-lbp算法逐一计算初步梯度方向特征，得到相应的初步梯度方向特征图。
[0085]
计算连续梯度特征：
[0086]
部分典型特征例如漏缆卡扣的拐点或者边线在第三次下采样的特征图中表现的并不明显，或者大量连续梯度特征在第三次及以后的采样特征图上都不再表达，所以在实验过程中只进行了两次下采样。分别对两次下采样后的特征图提取连续梯度特征并将这两组连续梯度特征进行串联，得到最终的融合特征描述子，特征维度为1536，不用再对图像进行分块处理。
[0087]
实验结果及分析：
[0088]
实验采用召回率recall、精准度precision、描述子的特征维度bin和auc数值作为检测结果的评价指标。其中recall和precision分别是指被正确判断为故障的卡扣占所有故障卡扣的比重，以及被正确判断为故障的卡扣占所有被判断为故障卡扣的比重，具体计算公式为：
[0089][0090][0091]
为了证明所述方法算法提取漏缆卡扣轮廓特征具有优越性，还分别与cs-lbp、hog等多种变体算法进行比较，得到了表格2的实验结果，这几种对比算法的参数设定情况如
下：
[0092]
1)lbp采样半径r为1，采样个数p为8，用双线性插值法进行采样。实验中需对图像进行4
×
4无重叠划分，描述子的特征维度为4096。
[0093]
2)(完备的二值模式)用双线性插值法进行采样，采样半径r＝1，采样个数p＝8。每一个采样圆域内的局部符号算子clbp_s和局部幅值算子clbp_m均使用旋转不变均匀模式编码。实验中该方法对图像进行4
×
4无重叠划分，每个分区子图像的特征维度为2(p+2)2＝200，输出的描述子特征维度为3200，在后面的表格和图中将以clbp代指该方法。
[0094]
3)hog特征采用最近邻插值法先将输入图像的尺寸缩小到128
×
128，然后再进行特征提取。其中cell为8
×
8，block为16
×
16，stride为16，每个block单位中梯度分量的bins为9，所以输出描述子的特征维度为2304。
[0095]
(4)tplbp和arcs-lbp都采用双线性插值法进行采样，采样半径r＝1，采样个数p＝8，实验中需对图像进行4
×
4无重叠划分，描述子的特征维度都为4096。
[0096]
5)hog_lbp和hog_clbp是指将先前得到的hog描述子分别与lbp描述子和clbp描述子进行串连，得到二者的融合特征，相应描述子的特征维度直接累加。
[0097]
通过表格2的检测结果对比以及图8的roc曲线图，可以看出所述方法所提的多尺度连续梯度特征算法msg-lbp在漏缆卡扣的检测结果上表现出显著优势。其中recall和precision分别达到了0.923和0.857，在roc曲线中msg-lbp的auc数值也是最高。即便hog_lbp的融合特征能够使recall达到0.889，但precision却只有0.615，这说明有大量的正常卡扣被误判为故障卡扣。msg-lbp描述子没有对图像进行分块处理，但第一层下采样的特征图与图像进行2
×
2划分的最小分区子图像的尺寸一致，第二层下采样的特征图与图像进行4
×
4划分的最小分区子图像的尺寸一致，这在很大程度上减少了特征提取的计算量。实验中的两次下采样特征图不仅包含了卡扣轮廓特征的关键梯度信息，还实现了卡扣轮廓特征的尺度变换。多尺度连续梯度特征描述子的维度要比大部分该系列的深度挖掘描述子以及融合特征描述子的纬度低，检测能力也明显要强。
[0098]
表2检测结果对比
[0099][0100]
综上，所述方法相较于该系列算法的显著优势是通过连续的下采样特征图实现了
卡扣轮廓特征的尺度变换，在很大程度上提高了特征提取效率，也起到降低描述子特征纬度的作用。同时连续梯度特征也能更准确的反应漏缆卡扣的轮廓特征，特别是拐点和边线处的梯度信息。