一种轨道表面缺陷智能在线检测装置及检测方法与流程

本发明属于轨道表面缺陷智能在线检测技术领域，具体涉及一种轨道表面缺陷智能在线检测装置及检测方法。

背景技术：

目前，铁路线路是行车最重要的基础设施，由于常年处于恶劣自然环境中和不断经受列车载荷的作用，使得列车轨道表面状态始终处于变化之中，不断地发生着变形和损伤。为保证乘客的乘车安全，必须对轨道的健康状态进行频繁的检测和确认。传统的轨道检查方式主要为人工检测法、涡流线圈检测和超声波检测等。人工检测法主要由巡道工人完成，其检测效率较低，并且容易受环境因素和认为因素的影响；超声波检测与涡流线圈检测会与钢轨表面缺陷产生接触可能发生物理与化学的变化，进一步扩大缺陷的区域。

技术实现要素：

本发明的目的就在于针对上述现有技术的不足，提供一种轨道表面缺陷智能在线检测装置，还提供轨道表面缺陷智能在线检方法。用于实时检测轨道表面的缺陷状态，从而提高铁路的安全性，并降低铁路的维护成本；通过该发明的定位系统，可以给铁路中心发送轨道表面缺陷的精确位置，以保证破坏轨道能得到及时检修。

本发明的目的是通过以下技术方案实现的：

一种轨道表面缺陷智能在线检测装置，其特征在于：由轨道表面确缺陷检测系统、轨道表面缺陷检测模型在线更新系统、列车组数据交互系统、轨道缺陷定位系统、异常处理系统以及供电系统构成；

其中，所述轨道表面缺陷检测系统包括图像获取子系统和轨道检测分类子系统，所述图像获取系统由基座17、与基座17连接的减震装置20、标定组件40、光源50以及图采集器30组成；所述轨道分类检测子系统由与图像采集器30连接的图像处理器60、轨道识别模块70以及轨道分类模块80组成；

所述轨道表面缺陷检测模型在线更新系统由人机交互接口90、图像标记与神经网络训练中心100以及与轨道识别模块70和轨道分类模块80连接的模型参数更新模块110组成，人机交互接口90通过图像标记与神经网络训练中心100与模型参数更新模块110相连；

所述列车组数据交互系统由信号收发模块120、数据同步模块130、数据标准化模块140以及中心数据库150组成，信号收发模块120通过数据同步模块130、数据标准化模块140与中心数据库150相连；

所述轨道缺陷定位系统由、与速度/加速度传感器160相连的相对位置推算模块170、GPS/北斗180、与GPS/北斗180相连的绝对位置推算模块190、以及与相对位置推算模块170以及绝对位置推算模块190连接的融合定位模块200组成；

所述异常处理系统由与各系统连接的异常检测模块250、异常分类模块260、异常报警器270以及与异常报警器270相连的异常清除280组成，异常检测模块250通过异常分类模块260与异常报警器270相连；

所述供电系统由列车电力系统模块210、常规供电模块220、应急供电模块230和电源适配模块240组成，列车电力系统模块210分别通过常规供电模块220和应急供电模块230与电源适配模块240相连。

进一步地，所述减震装置20由与列车固定的保护罩1、液压阻尼器液压缸筒Ⅰ2、纵向减震弹簧Ⅰ3、活塞杆Ⅰ4、摄像器5、摄像器固定装置6、横向减震弹簧Ⅰ9、光源固定件10、光源11、纵向减震弹簧Ⅱ12、横向减震弹簧Ⅱ13、轴向减震弹簧15构成；

所述摄像器5固定于摄像器固定装置6内，摄像器固定装置6通过连接件7、销件8以及液压阻尼器与保护罩1连接；所述光源11通过光源固定件10与保护罩1固定。

上述轨道表面缺陷智能在线检测装置的检测方法，包括以下步骤：

A、利用安装在列车上的图像采集器拍摄轨道的连续图像；

B、对获取图像中的轨道进行识别与提取：

对图像进行预处理，在去除图像无用信息的同时增强有用的真实信息，增强目标的可检测性并降低后续流程中数据吞吐量，从而提高数据的可靠性；为了完成对轨道缺陷进行准确的检测，需要利用图像处理器对图像采集器传输的图像进行初步处理；

C、对提取出轨道的图像进行轨道初步处理与定位；

D、对精确定位出的轨道进行缺陷检测：在轨道的准确定位后，选择inception-v3作为基础网络结构，利用卷积神经网络进行轨道图像分类；

利用本发明的数据和较小的学习率进行迁移训练得到较理想的模型，从而将本发明的数据集应用于大型神经网络上，实现将大数据训练的模型应用于自己的模型。

进一步地，所述步骤B中对获取图像的轨道识别与提取的步骤如下所示：

对图像采集器传输的图像进行灰度化处理：利用灰度加权法将原始RGB轨道图像进行灰度化处理。加权后图片灰度值f(i，j)计算公式如(1)所示。

f(i，j)＝αR(i，j)+βG(i，j)+γB(i，j) (1)

式(1)中，α、β、γ为灰度值计算公式系数，i表示该像素所在图像的行标，j表示该像素所在图片的列标，R(i，j)表示原始图像该像素的红色像素分量，G(i，j)表示原始图像该像素的绿色分量，B(i，j)表示原始图像该像素的蓝色分量。

对上述操作所得图像进行感兴趣区域分割：考虑到轨道和路面有较大色差，为了能高效地将轨道表面从图像中提取出来，本发明采用基于高斯分布模型的自适应阈值分割方法；在ROI区域，计算各像素点灰度的均值和方差，再根据公式(2)计算出分割阈值，以此为据对灰度图进行分割，得到二值图像。

IT＝μI+3σI (2)

式(2)中，μf表示素点灰度的均值，σf表示素点灰度的方差，IT表示分割阈值。

对上述操作所得图像进行形态学处理：为了消除噪声和突出轨道的高亮部分，寻找轨道图像中的明显极大值区域，运用T×T像素的结构元素二值图像进行处理，对图像进行膨胀、腐蚀操作，将两幅图像做差得到图像边缘信息，所得图像如图5所示；从而识别出拍摄图像中的轨道。

进一步地，所述步骤C中对提取出的图像进行轨道初步处理与定位的步骤如下所示：

轨道图片的滤波处理：由于轨道环境的不确定性，图片中经常会出现值很大的离散噪声，出于对图像边缘的保护，本发明首先采用中值滤波，然后进行双边滤波；双边滤波中，像素的输出值依赖于邻域像素值的加权组合，计算方法如公式(3)所示。

式(3)中，加权系数h(i，j，k，l)决于定义核和值域核的乘积。

其中，定义核域表示为公式(4)所示。

值域核表示为公式(5)。

权重函数表示为公式(6)。

h(i，j，k，l)＝dv (6)

利用canny算子对轨道图像进行边缘检测；

对上述操作后的图像进行初步伪边缘去除：利用阈值法进行初步伪边缘去除，其中，阈值ST的计算方法如公式(7)所示。

式(7)中，n为图片总列数，Imax为最大像素值，Is为像素缩小倍数。

对上述操作后的图片进行进一步的伪边缘去除：本发明提出约束条件(8)去除伪边缘。

式(8)式中STDi为轨道图像第i行的像素值标准差，其中i＝(0，1，2，…，m-1)，n代表输入图像的总列数，m代表输入图像的总行数，c是可以调整的动态因子。

轨道拟合及定位：由于除去伪边缘的操作可能会将真实边缘去除，从而需要进一步恢复；本文对伪边缘清理后保留下的两组边缘点进行线性拟合，在得到两直线的截距和斜率后可以近似恢复实际边缘。

进一步地，在上述基于神经网络与机器视觉的轨道缺陷检测方法的基础上，本发明还提出一种对缺陷轨道的全局位置进行定位的方法：通过使用基于卡尔曼滤波、衰减记忆滤波等的传感器融合技术以融合GPS/北斗等及惯性传感器数据，实现列车的比较准确的定位；另外为了能够实现列车的高精确度定位，本发明还利用高精度地图定位方法与上述GPS/北斗和IMU融合的定位方法互相纠正定位误差的技术从而实现列车的精确定位。

进一步地，为了能够提高轨道表面缺陷检测结果的准确性，本发明还提出一种对本神经网络模型实现实时更新的方法：利用确认的已知检测结果并进行标记的图像传送至神经网络训练中心，对该神经网络模型进行再次监督训练；最后利用完成再次训练的模型更新轨道表面缺陷检测系统，从而实现不断提高检测系统的准确性。

进一步地，为了提高检测装置工作的准确性与防止因图像获取设备损坏而导致检测装置的瘫痪，本发明提出一种提高检测装置工作准确性与高效性的方法，该方法包括：

在列车前端与列车后端各安装一套图像获取子系统；

利用前后两系统的对识别结果进行校验提高检测系统的准确性；并且，若其中某一图像获取子系统故障而无法获取轨道图像，此时另一套图像获取子系统可以继续工作而不会使整套系统瘫痪；

若由前一列车上的列车间数据交互中心发送的数据为该列车轨道缺陷检测系统、装置在某一位置检测的结果为该处轨道表面有缺陷，那么本列车在经过此处时将仔细检测该处轨道的缺陷情况，并将结果与前一列车的检测结果进行比较分析，从而提高系统缺陷检测的准确性。

进一步地，为了保证本发明各系统、装置能正常工作，本发明提出配备为各系统、装置提供电能的供电系统。

进一步地，为防止因列车行驶中的震动导致采集的图像模糊，本发明还提供一种图像采集模块的减震装置。

与现有技术相比，本发明的有益效果在于：

1、由于本发明的神经网络训练阶段所使用的数据集包含了不同环境条件下的各种缺陷形态目标，训练的数据较全面和均衡，所以算法具有较强的鲁棒性，有一定的抗干扰能力；2、针对本发明的检测结果设计出一个对神经网络模型实时在线更新的系统，提高了神经网络模型的有效性；3、针对列车在运行过程中会有颠簸、晃动，从而导致获取图像模糊，降低检测精度的影响，设计了一个对图像采集系统的减震装置；4、本发明全面的提高了检测的准确性和查全率，能大大降低铁路检修的成本，提高检测效率。

附图说明

图1为本发明一种轨道表面缺陷智能在线检测方法、装置及系统的实施例框图；

图2为本发明一种轨道表面缺陷智能在线检测方法实施例的流程示意图；

图3为步骤S100实际采集的原始轨道图像；

图4为步骤S110的执行过程较佳实施例的流程示意图；

图5为本发明实施例中对原始轨道图像形态学处理的边缘信息图；

图6为本发明实施例中粗略轨道提取的效果图；

图7为步骤S120的执行过程较佳实施例的流程示意图；

图8为本发明实施例中对轨道图像边缘检测的效果图；

图9为本发明实施例中对轨道拟合与定位的效果图；

图10为本发明实施例中实际轨道缺陷图像的检测结果；

图11为本发明实施例中初步去除伪边缘程序流程图；

图12为步骤140的执行过程较佳实施例的流程示意图；

图13为本发明实施例中神经网络模型实时更新流程示意图

图14、图15为本发明实施例中系统的减震装置的结构示意图。

图中，1.保护罩 2.液压阻尼器液压缸筒Ⅰ 3.纵向减震弹簧Ⅰ 4.活塞杆Ⅰ 5.摄像器 6.摄像器固定装置 7.连接件 8.销件 9.横向减震弹簧Ⅰ 10.光源固定件 11.光源 12.纵向减震弹簧Ⅱ 13.横向减震弹簧Ⅱ 14.液压阻尼器液压缸筒Ⅱ 15.轴向减震弹簧 16.活塞杆Ⅱ 17.基座 20.减震装置 30.图像采集器 40.标定组件 50.光源 60.图像处理器 70.轨道识别模块 80.轨道分类模块 90.机交互接口 100.神经网络训练中心 110.模型参数更新模块 120.信号收发模 130.数据同步模块 140.数据标准化模块 150.中心数据库 160.速度/加速度传感器 170.相对位置推算模块 180.GPS/北斗 190.绝对位置推算模块 200.融合定位模块 210.列车电力系统模块 220.常规供电模块 230.应急供电模块 240.电源适配模块 250.异常检测模 260.异常分类模块 270.异常报警器 280.异常清除。

具体实施方式

下面将详细描述本发明的实施例，实施例的施例在附图中示出，其中自始至终相同标号表示相同的元件或具有相同功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制，基于本发明中的实施例，本领域中的普通技术人员在没有做出创造性劳动前提下所获得的其他实施例，都属于本发明的保护范围。

为解决上述技术问题，本发明提一种轨道表面缺陷智能在线装置及方法，该发明主要用于实时检测轨道表面的缺陷状态，从而提高铁路的安全性，并降低铁路的维护成本。通过该发明的定位系统，可以给铁路中心发送轨道表面缺陷的精确位置，以保证破坏轨道能得到及时检修。

如图1所示，本发明轨道表面缺陷智能在线检测装置由轨道表面确缺陷检测系统、轨道表面缺陷检测模型在线更新系统、列车组数据交互系统、轨道缺陷定位系统、异常处理系统与供电系统构成。其中，该轨道表面缺陷检测系统包括图像获取子系统与轨道检测分类子系统，该图像获取系统包括基座17、与基座17连接的减震装置20、标定组件40、光源50以及图采集器30；轨道分类检测子系统包括与图像采集器30连接的图像处理器60、轨道识别模块70、轨道分类模块80；轨道表面缺陷检测模型在线更新系统包括人机交互接口90、图像标记与神经网络训练中心100以及与轨道识别模块70和轨道分类模块80连接的模型参数更新模块110；列车组数据交互系统包括信号收发模块120、数据同步模块130、数据标准化模块140、中心数据库150；轨道缺陷定位系统包括速度/加速度传感器160、相对位置推算模块170、GPS/北斗180、绝对位置推算模块190、以及与相对位置推算模块170、绝对位置推算模块190连接的融合定位模块200；供电系统包括列车电力系统模块210、常规供电模块220、应急供电模块230和电源适配模块240；另外，异常处理系统包括与各系统连接的异常检测模块250、异常分类模块260、异常报警器270和异常清除280；为防止各系统故障而无法正常获取与检测图像，需要对设备进行备份以接替故障设备的工作；另外，还需对数据交互中心所有接收的数据进行数据备份，防止数据丢失导致系统无法进行正常工作。

液压阻尼器液压缸筒Ⅱ14与压阻尼器液压缸筒Ⅰ以及活塞杆Ⅱ16与活塞杆Ⅰ4尺寸规格有差别。

在上述轨道表面缺陷检测系统实现方式的基础上，本发明还提出一种轨道表面缺陷智能检测方法，如图2所示，该轨道缺陷检测方法包括：

A、利用安装在列车上的图像采集器拍摄轨道的连续图像：为了快速获取完整、清晰、准确的轨道图像，首先设计了轨道图像采集系统由图像采集器件30、光源50和减震装置20组成。其中，图像采集器30采用分辨率足够高的高速面阵CCD相机，并安装适当焦段的定焦镜头；光源50采用亮度和照射角度可调的合适形状及合适品类的辅助光源。将获取的图像传输到图像处理器60，获取的实际图像如图3所示。

B、对获取图像中的轨道进行识别与提取。

对图像进行预处理，在去除图像无用信息的同时增强有用的真实信息，增强目标的可检测性并降低后续流程中数据吞吐量，从而提高数据的可靠性；为了完成对轨道缺陷进行准确的检测，需要利用图像处理器60对图像采集器30传输的图像进行初步处理，如图4所示，步骤B具体包括：

B1、对图像采集器30传输的图像进行灰度化处理：利用灰度加权法将原始RGB轨道图像进行灰度化处理。加权后图片灰度值f(i，j)计算公式如(1)所示。

f(i，j)＝αR(i，j)+βG(i，j)+γB(i，j) (1)

式(1)中，α、β、γ为灰度值计算公式系数，i表示该像素所在图像的行标，j表示该像素所在图片的列标，R(i，j)表示原始图像该像素的红色像素分量，G(i，j)表示原始图像该像素的绿色分量，B(i，j)表示原始图像该像素的蓝色分量。

B2、对上述操作所得图像进行感兴趣区域分割：考虑到轨道和路面有较大色差，为了能高效地将轨道表面从图像中提取出来，本发明采用基于高斯分布模型的自适应阈值分割方法；在ROI区域，计算各像素点灰度的均值和方差，再根据公式(2)计算出分割阈值，以此为据对灰度图进行分割，得到二值图像。

IT＝μI+3σI (2)

式(2)中，μf表示素点灰度的均值，σf表示素点灰度的方差，IT表示分割阈值。

B3、对上述操作所得图像进行形态学处理：为了消除噪声和突出轨道的高亮部分，寻找轨道图像中的明显极大值区域，运用T×T像素的结构元素二值图像进行处理，对图像进行膨胀、腐蚀操作，将两幅图像做差得到图像边缘信息，所得图像如图5所示；从而识别出拍摄图像中的轨道。

为了能够实现对轨道缺陷的准确检测，需要先对识别出的轨道进行粗略提取，所提取出的图像如图6所示。

C、对提取出轨道的图像进行轨道初步处理与定位。

进一步地，为了对图6中的轨道实现精确定位，首先要对其进行初步处理，如图7所示，步骤C具体包括：

C1、轨道图片的滤波处理：由于轨道环境的不确定性，图片中经常会出现值很大的离散噪声，出于对图像边缘的保护，本发明首先采用中值滤波，然后进行双边滤波；双边滤波中，像素的输出值依赖于邻域像素值的加权组合，计算方法如公式(3)所示。

式(3)中，加权系数h(i，j，k，l)决于定义核和值域核的乘积。

其中，定义核域表示为公式(4)所示。

值域核表示为公式(5)。

权重函数表示为公式(6)。

h(i，j，k，l)＝dv (6)

C2、利用canny算子对轨道图像进行边缘检测：边缘检测结果如图(9)所示。

C3、对上述操作后的图像进行初步伪边缘去除：利用阈值法进行初步伪边缘去除，其中，阈值ST的计算方法如公式(7)所示。

式(7)中，n为图片总列数，Imax为最大像素值，Is为像素缩小倍数。

进一步，初步伪边缘去除算法流程图如图11所示。

C4、对上述操作后的图片进行进一步的伪边缘去除，本发明提出约束条件(8)去除伪边缘。

式(8)式中STDi为轨道图像第i行的像素值标准差，其中i＝(0，1，2，…，m-1)，n代表输入图像的总列数，m代表输入图像的总行数，c是可以调整的动态因子。

C5、轨道拟合及定位：由于除去伪边缘的操作可能会将真实边缘去除，从而0需要进一步恢复；本文对伪边缘清理后保留下的两组边缘点进行线性拟合，在得到两直线的截距和斜率后可以近似恢复实际边缘；轨道最终定位结果如图9所示。

D、对精确定位出的轨道进行缺陷检测：在轨道的准确定位后，选择inception-v3作为基础网络结构，利用卷积神经网络进行轨道图像分类。

利用本发明的数据和较小的学习率进行迁移训练得到较理想的模型，从而将本发明的数据集应用于大型神经网络上，实现将大数据训练的模型应用于自己的模型。

其中，查全率(P)与召回率(P)是评价检测和识别效果的重要指标，其定义分别如式(9)、(10)所示。

式(9)、(10)中，TP代表准确检测出的轨道数量，FP代表错误检测出的缺陷轨道数量，FN代表实际为缺陷轨道却检测为完好轨道的数量。

其中，RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的。

在上述基于神经网络与机器视觉的轨道缺陷检测方法的基础上，本发明还提出一种对缺陷轨道的全局位置进行定位的方法，如图12所示，该定位方法包括：

考虑到铁路的特殊性，本发明采用全球定位系统(GPS/北斗等)与惯性传感器(IMU)数据相融合并与高精度地图结合的方法；由于列车行驶环境比较复杂且时常会有穿越隧道、丛林等信号屏蔽路段，所以GPS/北斗等会有较明显的多路径反射问题和无信号问题，致使得到的GPS/北斗等定位信息产生较大误差；IMU是一种利用高频的惯性传感器检测的速度、加速度等数据实时计算列车的行驶位移信息，但由于在计算列车位移过程中会产生不断累积的积分误差，最终导致无法实现列车的有效定位；通过使用基于卡尔曼滤波、衰减记忆滤波等的传感器融合技术以融合GPS/北斗等及惯性传感器数据，实现列车的比较准确的定位；另外为了能够实现列车的高精确度定位，本发明还利用高精度地图定位方法与上述GPS/北斗和IMU融合的定位方法互相纠正定位误差的技术从而实现列车的精确定位。

为了能够提高轨道表面缺陷检测结果的准确性，本发明还提出一种对本神经网络模型实现实时更新的方法，如图13所示，该方法原理如下：

由轨道表面缺陷系统检测的结果经铁路维修人员确认检测结果后，可将检测图像分为两类：一类为轨道表面确有缺陷的图像，将该类图像标记为“1”，一类为轨道表面确定没有缺陷的图像，将该类图像标记为“0”；还有一类为检测结果为错误的图像，该类图像经过其他检测系统或人工校验后根据其实际是否存在轨道缺陷也将其标记为“0”或“1”。将上述确认的已知检测结果并进行标记的图像传送至神经网络训练中心，对该神经网络模型进行再次监督训练；最后利用完成再次训练的模型更新轨道表面缺陷检测系统，从而实现不断提高检测系统的准确性。

为了提高检测装置工作的准确性与防止因图像获取设备损坏而导致检测装置的瘫痪，本发明提出一种提高检测装置工作准确性与高效性的方法，该方法包括：

在列车前端与列车后端各安装一套图像获取子系统；

利用前后两系统的对识别结果进行校验提高检测系统的准确性；并且，若其中某一图像获取子系统故障而无法获取轨道图像，此时另一套图像获取子系统可以继续工作而不会使整套系统瘫痪；

若由前一列车上的列车间数据交互中心发送的数据为该列车轨道缺陷检测系统、装置在某一位置检测的结果为该处轨道表面有缺陷，那么本列车在经过此处时将仔细检测该处轨道的缺陷情况，并将结果与前一列车的检测结果进行比较分析，从而提高系统缺陷检测的准确性。

为了保证本发明各系统、装置能正常工作，本发明提出配备为各系统、装置提供电能的供电系统，该供电系统供电方法如下：

从列车电力系统模块210直接获取电能，为常规供电模块220充电；

同时为防止因常规供电模块220故障而导致整个系统停电无法工作，本发明还配备一个应急供电模块220，该应急供电模块同样由列车电力系统模块210为其充电；

考虑到本发明的所有系统、装置所需电压不一致的问题，常规供电模块220与应急供电模块220还需与电源适配器模块240连接从而输出各种所需电压，满足各系统、装置的要求。

最后，为防止因列车行驶中的震动导致采集的图像模糊，本发明还提供一种图像采集模块的减震装置，如图14、图15所示，该减震装置20包括：

纵向减震弹簧Ⅰ3、纵向减震弹簧Ⅱ12、横向减震弹簧Ⅰ9、横向减震弹簧Ⅱ13、轴向减震弹簧15、液压阻尼器液压缸筒2、活塞杆4，利用液压阻尼器吸收消耗因列车的加速、减速或颠簸等带来的装置纵向、横向以及轴向震动的能量，从而保持图像采集模块的稳定；

所述摄像器5固定于摄像器固定装置6内，摄像器固定装置6通过连接件7、销件8以及液压阻尼器与保护罩1连接，从而实现图像采集模块的减震；

光源11与光源固定件10，利用光源固定件10将光源11固定于保护罩1上，防止因光照不足而无法拍摄清晰图像；

保护罩1，保护罩1固定于列车，用于放置、保护减震弹簧与保护图像采集器，防止因天气原因导致图像采集装置与减震弹簧的破坏。

以上的仅为本发明的部分或优选实施例，无论是文字还是附图都不能因此限制本发明发的保护范围，凡是在与本发明一个整体的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他技术相关领域均包括在本发明保护的范围内。