专利名称：钢轨扣件系统螺母缺失自动检测装置的制作方法
技术领域：
本发明专利涉及一种钢轨扣件系统螺母缺失自动检测装置，特别涉及一种基于计
算机视觉的钢轨扣件系统螺母缺失自动检测装置。
背景技术：
线路维修保养对于地铁和铁路系统的正常工作和安全运行具有重要作用。世界各国的铁道和城市轨道交通部门都对线路维修工作非常重视，制定了详细的计划和严格的规章。线路维修保养的重要工作之一是检查扣件系统螺母是否缺失，扣压件是否松动。扣件系统螺母、道钉和扣件的作用是使钢轨和路枕达到紧密有效的联接，是铁道和地铁线路的重要附件。实际中，由于安装保养不到位、列车行驶的振动和人为盗取等原因，线路上扣件系统螺母可能会缺失，这给列车安全行驶造成隐患。 长期以来，线路维修中主要依靠维修养护工队的人工巡检和目测的方法来判定是否存在路枕损坏、钢轨磨损以及扣件系统螺母缺失等线路非正常状况。部分国外铁路公司也依靠有经验维修人员观看线路路面录像，从而判断是否有路枕、钢轨和扣件系统螺母需要维修，其中录像是由安装在行驶列车上的摄像机拍摄记录的。这种人工检查线路钢轨、路枕和扣件系统螺母的方法所需时间长、劳动强度大、效率低、漏检率高。 计算机视觉是用各种成像系统代替视觉器官作为输入敏感手段，由计算机来代替大脑完成处理和解释。计算机视觉的最终目标是使计算机能象人那样通过视觉观察和理解世界，并具有自主判断和识别的能力。近二、三十年以来，计算机视觉技术已逐步从实验研究迈向实际应用阶段。目前，计算机视觉系统在检测领域应用十分广泛。基于计算机视觉技术的检测方法，具有效率高、成本低和可靠性好等优点，是无损检测的重要发展方向。利用计算机视觉识别方法代替人工目视检查，是铁道和地铁线路维修的新趋势。
经过对现有技术的文献检索发现，没有关于钢轨扣件系统螺母缺失的自动检测装置的实用新型和发明专利，只有国外少部分学者对基于计算机视觉的扣件系统螺母缺失的自动检测技术进行了初步的研究。Mazzeo等(Mazzeo et al. ， Pattern RecognitionLetters,2004，25 :669_677 ;Mazzeo et al. ，Proceedings of the 2004 IEEE IntelligentTransportationSystems Conference,417—422 ;Mazzeo et al. ，Proceedings of the 2003IEEEInternational Symposium on Intelligent Control，636-641)石开究了利用主兀分析、小波变换和神经网络技术对轨道线路视频图像进行处理，从而自动检测扣件系统螺母的缺失。在最近的文献(Ruvo et al. ，Proceedings of the7th international Workshopon Computer Architecture for Machine Perception,2005， 1_6 ;Marino et al. ， IEEETransactions on Systems, Man, andCybemetics， Part C，2007)中，石开究人员介绍了基于FPGA开发的扣件系统螺母缺失检测装置，运用了前述神经网络等算法，实验结果显示其具有一定实时性。上述研究人员利用计算机视觉进行缺失螺母检测，虽然取得了初步成果，但是存在以下不足 (1)其利用神经网络进行特征分类的方法，容易使分类辨识结果陷入局部最优，而且一般需要大样本，训练结果也不稳定，使得该视觉识别系统的适用性和工作可靠性有待提高； (2)缺失螺母的位置是基于视频图像中扣件系统螺母数目和相邻两个螺母的间距进行计算，这种计算方法得到的螺母地理位置结果误差较大。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供一种钢轨扣件系统螺母缺失的自动检测装置，使其系统结构简单，检测和定位准确，用于代替或辅助钢轨扣件系统螺母的人工巡检。 为实现本发明所述目的，本发明提供一种钢轨扣件系统螺母缺失的自动检测装置，该自动检测装置包括视觉采集装置、GPS定位器、照明装置和计算机系统。该缺失螺母自动检测装置安装于列车底部，在列车行进时，对钢轨两侧扣件系统螺母视频图像进行采集、存储，对缺失螺母的辨识和定位由计算机系统在线或离线完成。 本发明的视觉采集装置，实现采集包括各个扣件系统螺母的连续视频图像，并将所获得的视频图像传送给计算机系统。 照明装置用于增加扣件系统螺母光照，从而改善所获得的视频图像质量。 GPS定位器确定视觉采集装置各个时刻所处的地理位置，并将各时刻对应的地理
位置信息传送给计算机系统。 计算机系统中设有视频数据存储软件模块、显示软件模块和缺失螺母识别定位软件模块，并执行如下步骤 a)视频数据存储软件模块接收并存储由视觉采集装置传送来的包含扣件系统螺母的连续视频，并记录各视频图像对应的时间值； b)视频数据存储软件模块接收并存储由GPS定位器传送来的各时刻装置所处地理位置信息，并记录各地理位置信息对应的时间值； c)缺失螺母识别定位软件模块对视频图像进行图像预处理、子图像裁切、特征提取和特征分类，从而完成缺失螺母的辨识，并记录这些缺失螺母对应的图像的获取时间值； d)缺失螺母识别定位软件模块根据缺失螺母对应的图像的获取时间值以及各时
刻对应的地理位置信息，计算缺失螺母的地理位置，实现缺失螺母的定位； e)显示软件模块对采集的视频进行按要求显示，并汇总、显示和打印缺失螺母的
图像和地理位置信息。 所述缺失螺母识别定位软件模块包括图像预处理子模块、子图像裁切子模块、特征提取子模块、特征分类子模块和缺失螺母位置计算子模块等五大功能子模块，具体工作过程为 1)从视频数据存储软件模块读取的视频图像首先由图像预处理子模块进行滤波
去噪和图像复原等预处理，并将预处理之后的视频图像传送给子图像裁切子模块； 2)子图像裁切子模块的目的是裁切尽可能小的包含扣件系统螺母的子图像，该
处理过程首先使用模板匹配法确定包含螺母的子图像，采用穷尽搜索确定第一个扣件系统
螺母在视频图像中的位置；然后根据列车速度预测下一个路枕上的扣件系统螺母出现的时间，这样就可以从相应视频图像中裁切得到一个螺母的子图像，其中列车速度根据地理位置数据和时间值计算得到； 3)特征提取子模块利用图像变换算法对子图像裁切子模块传送的各幅子图像进
行特征变换，得到各幅子图像的低维特征向量，并将其传送给特征分类子模块； 4)特征分类子模块进行的特征分类处理过程，采用支持向量机算法进行子图像的
特征分类，根据分类结果判断各特征向量所对应的子图像中的扣件系统螺母是否缺失，并
将缺失螺母的图像的获取时间传送给缺失螺母位置计算子模块； 5)缺失螺母位置计算子模块根据这些缺失螺母图像的时间值，从视频数据存储软件模块中查找和计算对应的地理位置数据，并将这些时间值和位置数据存储后，生成报表传送给显示软件模块。 本发明是一种钢轨扣件系统螺母缺失自动检测装置，这种自动检测装置根据计算机视觉的原理实现扣件系统螺母缺失的自动识别，利用GPS定位器进行缺失螺母的定位，缺失螺母识别率高，并具有定位方式简单和定位误差小的特点，是一种在线或离线的缺失螺母自动检测装置。
图1是本发明的结构框图； 图2是本发明各模块和子模块之间的连接示意图。
具体实施例方式
如图1所示，本发明包括四个组成部分视觉采集装置、GPS定位器3、照明装置4和计算机系统5。视觉采集装置包含CCD图像传感器1和图像采集卡2。视觉采集装置用于采集包含列车底部钢轨两侧的扣件系统螺母的连续视频图像，并将所获得的连续视频图像传送给计算机系统5。 GPS定位器3根据GPS定位原理确定视觉采集装置各个时刻所处的地理位置，地理位置数据包括经度和纬度数值，并将各时刻的地理位置信息传送给计算机系统5中的视频数据存储软件模块ll，视频数据存储软件模块11同时也存储在获取各地理位置信息时所对应的时间值。GPS定位器3通过USB或RS-232等接口与计算机系统5连接通信。
照明装置4安装在视觉采集装置的CCD图像传感器1旁侧，用于增加扣件系统螺母光照，从而改善所获得视频图像质量。 如图2所示，计算机系统5中设有视频数据存储软件模块11、显示软件模块12和缺失螺母识别定位软件模块13。计算机系统5的视频数据存储软件模块11实时接收并存储由GPS定位器3获取的当前装置所处的地理位置信息，以及视觉采集装置得到的扣件系统螺母连续视频图像，完成地理位置数据、视频图像和相应时间值的存储。缺失螺母识别定位软件模块13通过对所获得的视频图像进行预处理、子图像裁切、特征变换、特征分类和位置计算等步骤，完成对缺失螺母的自动辨识和定位。显示软件模块12即能够实时显示所获得的连续视频图像，也可以显示缺失螺母识别定位软件模块13处理得到的缺失螺母图像以及所有缺失螺母位置信息报表。 本发明装置安装时，CCD图像传感器1的光轴与铁轨路基平面尽可能垂直，并处于扣件系统螺母正上方。由于每个路枕一般安装有四个扣件螺母，因此本发明需要在列车底部并排安装四个CCD图像传感器。CCD图像传感器1的镜头放大倍数根据底部扣件系统螺母和图像传感器的距离进行恰当选取。列车行进时，CCD图像传感器1实现采集包含扣件系统螺母的连续视频图像，并通过图像采集卡2将所获得的连续视频图像传送给计算机系统5。 视觉采集装置选配曝光时间尽可能短的高速CCD图像传感器，这样使得本发明装置工作时，允许列车高速行进。除计算机系统平台采用Windows XP夕卜，本发明的视频数据存储软件模块11、显示软件模块12和缺失螺母识别定位软件模块13均采用Visual 0++软件编程实现。 如图2所示，缺失螺母识别定位软件模块13包括图像预处理子模块6、子图像裁切子模块7、特征提取子模块8、特征分类子模块9和缺失螺母位置计算子模块10。各个子模块分别从前一模块获得图像或数据，并通过对图像或数据进行处理，将处理之后的图像或数据传送给下一模块。 计算机系统5所属的各软件模块和各子模块进一步详细说明如下 1)视频数据存储软件模块11。 CCD图像传感器1采集所需视频图像，并经过图像
采集卡2传送给视频数据存储软件模块11，另一方面GPS定位器3也周期的向视频数据存
储软件模块11发送当前时刻的地理位置信息数据，视频数据存储软件模块11接收并存储
这些视频图像数据、地理位置数据和对应时间值，供显示软件模块12和缺失螺母识别定位
软件模块13使用。 2)显示软件模块12。显示软件模块12用于显示视频数据存储软件模块11所获得的连续视频图像，也能够显示和打印缺失螺母识别定位软件模块13输出的所有缺失螺母位置信息报表以及相应缺失螺母的图像。 3)缺失螺母识别定位软件模块13。该模块根据视频数据存储软件模块11提供的视频图像和地理位置数据，在线或离线的完成缺失螺母的识别和定位，它包括图像预处理子模块6、子图像裁切子模块7、特征提取子模块8、特征分类子模块9和缺失螺母位置计算子模块10。图像预处理子模块6读取原始视频图像并进行图像预处理，供子图像裁切子模块7使用；子图像裁切子模块7使用相应算法确定各个扣件系统螺母在连续视频的各帧图像中的位置，同时从各帧图像中裁切包含扣件系统螺母的子图像，并确定各子图像获取的时间信息；特征提取子模块8应用图像变换算法对子图像裁切子模块7传送的各幅子图像进行特征变换，计算得到各子图像的低维特征向量，供特征分类子模块9使用；特征分类子模块9利用相应特征分类方法，对各低维特征向量进行分类，从而识别各特征向量所对应的子图像中的扣件系统螺母是否缺失，并将缺失螺母的图像的获取时间传送给缺失螺母位置计算子模块10 ;缺失螺母位置计算子模块IO根据这些缺失螺母图像的时间值，从视频数据存储软件模块中查找并计算得到对应的地理位置数据，并将这些位置存储后，生成报表以供显示软件模块12使用。 a)图像预处理子模块6。图像预处理子模块6从视频数据存储软件模块11中，获取原始的扣件系统螺母连续视频图像进行预处理，为子图像裁切子模块7提供所需的图像。由于CCD图像传感器1和图像采集卡2等电子设备本身会引入图像噪声，图像预处理子模块6的主要任务包括将不同格式的图像格式转换成灰度图像格式，并使用滑动窗口平均等图像滤波去噪算法对图像进行滤波去噪。 b)子图像裁切子模块7。子图像裁切子模块7实现的功能是确定视频图像中扣件系统螺母的位置，并裁切尽可能小的包含扣件系统螺母的子图像。该子模块基于模板匹配法，采用穷尽搜索来确定视频图像中第一个扣件系统螺母的位置，其中模板匹配法用于确定包含螺母的小区域。在确定第一个扣件系统螺母出现的时间和位置之后，根据列车速度和相邻两个路枕间距来预测下一个路枕上扣件系统螺母出现的时间和位置，从而在相应的视频图像中裁切得到一个螺母的子图像。记第n个螺母出现的时间为tn，列车当前速度Vtn，路枕中心线间距为常数L，则第n+l个螺母出现的时间的计算公式为
tn+1 = tn+L/vtn (1) 列车当前速度vtn由子图像裁切子模块7根据地理位置数据和时间变化值计算得到。假定图像右侧方向为列车速度方向，设视频图像为k帧/秒，而Vtn和k的比值记为P=vtn/k，并设第n个螺母第一次出现在第kn张图像上，距离图像右沿实际距离为q，第n+1个螺母第一次出现在第kn+1张图像上，则
kn+1 = kn+[(L-q)/p] (2) 其中"[]"表示向下取整。第n+1个螺母的中心点距离第kn+1张图像右沿为p-((L-q)mod p)， mod表示求余数运算。距离图像上沿距离不变。事先分析得到实际距离和图像像素对应关系，即可得到q值和第n+1个螺母在第kn+1张图像中的具体位置。根据扣件系统螺母的位置，裁切包含扣件系统螺母的子图像，像素记为nXm。 n和m的取值与CCD图像传感器与螺母距离以及CCD图像传感器镜头放大倍数有关。 c)特征提取子模块8。特征提取子模块8应用主元分析法(PrincipalComponentsAnalysis, PCA，或称主成分分析法)提取由子图像裁切子模块7提供的包含扣件系统螺母的子图像特征。假设缺失螺母识别定位软件模块13训练过程中，共采用W幅螺母样本图像(包括螺母缺失和螺母正常的图像)，每个图像已由子图像裁切子模块7转换成大小为mXn像素的灰度图像，则用mXn的矩阵A表示这一图像，矩阵相应元素的值即为图像相应像素点的灰度值。主元分析法是一种线性降维技术。记N二mXn，则每幅图像用一个大小为N的一维向量Xk二 (ai，a2，...，aN)来表示，其中k二 1，2，...，W。以这W幅样本图像作为训练集，其总体协方差矩阵为 ^E《(x-w)0-")T卜一XC^-")(A-w)T = AAT 。)
『S 其中u为所有xk的均值向量，A二[(x, -"),(x2 -w)"..,(Xw -w)]/V^ 。如果设Si的特征值和对应的单位特征向量分别为A k和nk， k = 1， 2， . . . ， W，则根据主成分分析法，从
原始图像到新特征空间的线性变换为yk = DTxk，D为特征向量nk构成的变换矩阵(k = l，
2，...，W)。因此，可以从W个特征值中选出J个(J《W)特征值对应的特征向量(为简便起见，直接选最大无关组)，并将其正交化，使其成为某一新空间的正交基。这J个特征值即为主成分(主元)，每一幅子图像在该新正交基下的坐标系数作为该子图像的低维特征参数，提供给下一步的特征分类处理使用。 d)特征分类子模块9。训练完毕的特征分类子模块9对特征提取子模块8传送的低维特征向量进行分类，从而判断对应子图像中的螺母是否缺失。特征分类子模块9将缺失螺母所对应的时间信息传送给缺失螺母位置计算子模块10。在训练阶段，特征分类子模块9使用支持向量机方法对特征提取子模块8提取的螺母样本图像的特征进行分类训练，从而用于其他非样本图像的螺母缺失识别。支持向量机采用结构风险最小化原则提高学习机的泛化能力，是从较少训练样本得到的决策规则，对独立的测试集仍可得到小误差的一种分类方法，基本上解决了过学习问题、非线性和维数灾难问题以及局部收敛等问题。支持向量机致力于寻找一个超平面，以使训练集中属于不同分类的点(各点与各幅样本图像的主成分对应)正好位于超平面的不同侧面，同时要使这些点距离该超平面尽可能远，也就是使分类间隔最大。设训练样本输人为Zi， i = 1，2， . . . ， W， Zi G RJ，对应的期望输出为h G {+1，-1}，其中+1和-1分别是样本zi是螺母完好和螺母缺失的样本图像特征参数的类别标识。支持向量机的目标就是，根据结构风险最小化原则，构造一个目标函数，从而将钢轨扣件系统螺母的完好和缺失两类模式尽量正确地区分开来。特征分类子模块9必须根据扣件系统螺母图像的特点正确选择核函数，以达到令人满意的螺母缺失识别效果。
e)缺失螺母位置计算子模块10。缺失螺母位置计算子模块10根据特征分类子模块9传送的缺失螺母图像的时间值，从视频数据存储软件模块11中查找和计算得到对应的地理位置数据，并将这些位置数据存储后，生成报表传送给显示软件模块12。
经过以上处理，最终完成钢轨扣件系统缺失螺母的自动检测和定位。
8
权利要求
一种钢轨扣件系统螺母缺失自动检测装置，包括视觉采集装置、GPS定位器(3)、照明装置(4)和计算机系统(5)，其中计算机系统(5)包括视频数据存储软件模块(11)、显示软件模块(12)和缺失螺母识别定位软件模块(13)，其特征在于，为准确实现钢轨扣件系统螺母缺失的识别和定位，该计算机系统(5)执行如下步骤a)视频数据存储软件模块(11)接收并存储由视觉采集装置传送来的包含扣件系统螺母的连续视频，并记录各视频图像对应的时间值；b)视频数据存储软件模块(11)接收并存储由GPS定位器(3)传送来的各时刻装置所处地理位置信息，并记录各地理位置信息对应的时间值；c)缺失螺母识别定位软件模块(13)对视频图像进行图像预处理、子图像裁切、特征提取和特征分类，从而完成缺失螺母的辨识，并记录这些缺失螺母对应的图像的获取时间值；d)缺失螺母识别定位软件模块(13)根据缺失螺母对应的图像的获取时间值以及各时刻对应的地理位置信息，计算缺失螺母的地理位置，实现缺失螺母的定位；e)显示软件模块(12)对采集的视频进行按要求显示，并汇总、显示和打印缺失螺母的图像和地理位置信息。
2. 根据权利要求1所述的钢轨扣件系统螺母缺失自动检测装置，其特征是，所述缺失 螺母识别定位软件模块(13)进行的子图像裁切处理过程，目的是裁切尽可能小的包含扣 件系统螺母的子图像，该处理过程首先使用模板匹配法确定包含螺母的子图像，采用穷尽 搜索确定第一个扣件系统螺母在视频图像中的位置；然后根据列车速度预测下一个路枕上 的扣件系统螺母出现的时间，这样就能够从相应视频图像中裁切得到一个螺母的子图像， 其中列车速度根据GPS定位器(3)给出的地理位置数据和时间值计算得到。
3. 根据权利要求1所述的钢轨扣件系统螺母缺失自动检测装置，其特征是，所述缺失 螺母识别定位软件模块(13)进行的特征分类处理过程，采用支持向量机算法进行子图像 的特征分类，根据分类结果判断各特征向量所对应的子图像中的扣件系统螺母是否缺失。
全文摘要
一种钢轨扣件系统螺母缺失自动检测装置，包括视觉采集装置、GPS定位器、照明装置和计算机系统。照明装置增加螺母光照。计算机系统设有视频数据存储软件模块、显示软件模块和缺失螺母识别定位软件模块，其执行步骤依次为视频数据存储软件模块接收并存储由GPS定位器获取的装置所处位置信息，以及视觉采集装置得到的包含扣件系统螺母的连续视频图像，并记录各视频图像和位置数据获取的对应时间值；缺失螺母识别定位软件模块对获得的视频图像进行预处理、子图像裁切、特征提取、特征分类和位置计算，实现螺母缺失的识别和定位；显示软件模块显示和打印缺失螺母图像和位置信息。本发明工作时随列车运动，实现钢轨扣件系统螺母缺失的自动检测和定位。
文档编号G01C11/36GK101706274SQ20091025368
公开日2010年5月12日 申请日期2009年12月2日 优先权日2009年12月2日
发明者张冰, 李运堂, 王凌, 陈锡爱 申请人:中国计量学院