钢轨扣件状态的检测方法及装置与流程

本发明涉及轨道检测技术领域，尤其涉及一种钢轨扣件状态的检测方法及装置。

背景技术：

随着中国铁路建设的高速发展，至2019年底，我国高速铁路公里运营里程已达3.5万公里，高居世界第1位，客运列车运营速度已达到350km/h，覆盖全中国的高速铁路网已基本建成。铁路扣件是铁路轨道的重要基础设施，是连接钢轨和轨枕的中间连结零件，通过紧固螺栓实现弹条与钢轨底部之间的紧密扣压，其作用是将钢轨固定在轨枕上，保持轨距和阻止钢轨相对于轨枕的纵横向移动。对于钢轨扣件异常状态而言，引发扣件异常的根本原因是列车行驶过程中对轨道的横向冲击引发的扣件系统高频振动。若螺栓紧固过紧，则可能引起弹条断裂；而螺栓紧固过松，则将造成扣件扣压力失效，进一步发展为弹条移位，丢失等故障。过去依靠人工巡道的作业方法，巡视工作量大、夜间作业可视条件差、检查作业效率低，同时还可能给巡视人员带来未知的安全风险，这种落后的人工巡检方式消耗了大量的人力和资源，也因其耗时、低效、主观性强等诸多缺点，已不能满足现代高速铁路检测所要求的高效、准确的要求，同时也对更高效、自动化的基础设施检测设备研制提出了新的要求。

已有的研究大多集中在基于二维可见光图像的扣件弹条外观状态的自动检测，可以准确识别到弹条丢失、断裂、变形等外观形状的改变，对螺栓紧固件异常状态的检测技术很少涉及。此外，螺栓的过紧或过松直观反映在深度方向的位移变化，在图像二维平面中并没有明显的形状和位置变化，基于二维可见光图像的检测技术难以发现这种深度方向的细微变化。因此，目前缺乏一种准确的扣件状态检查方法。

技术实现要素：

本发明实施例提出一种钢轨扣件状态的检测方法，用以准确检测钢轨扣件状态，该方法包括：

获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；

从所述强度图像中识别出扣件区域；

基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；

从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；

根据识别出的扣件区域和紧固件区域，确定扣件状态。

本发明实施例提出一种钢轨扣件状态的检测装置，用以准确检测钢轨扣件状态，该装置包括：

图像获得模块，用于获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；

第一识别模块，用于从所述强度图像中识别出扣件区域；

第二识别模块，用于基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；

第三识别模块，用于从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；

扣件状态检查模块，用于根据识别出的扣件区域和紧固件区域，确定扣件状态。

本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述钢轨扣件状态的检测方法。

本发明实施例还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述钢轨扣件状态的检测方法的计算机程序。

在本发明实施例中，获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；从所述强度图像中识别出扣件区域；基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；根据识别出的扣件区域和紧固件区域，确定扣件状态。在上述过程中，首先，获得了目标钢轨区域的三维的深度图像和二维的强度图像，从而从二维的强度图像中识别出扣件区域，然后从三维的深度图像中识别出紧固件区域，相比于只采用二维图像识别扣件区域和紧固件区域，本发明实施例识别出的紧固件区域的准确度更高，从而使得最后确定的扣件状态的准确度更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中钢轨扣件状态的检测方法的流程图；

图2为紧固件检测的子步骤；

图3为本发明实施例中在线模板库的更新过程的示意图；

图4为深度图像中扣件区域的分割结果；

图5为强度图像中扣件区域的分割结果；

图6为本发明实施例中扣件区域的深度图像上深度值示意图；

图7为本发明实施例中过扣件中心水平“窄带区域”的竖直方向平均值；

图8为图7的局部放大图；

图9为f(x)的离散一阶差f'(x)的示意图；

图10为扣件区域深度的阈值化处理结果g(x)的示意图；

图11为本发明实施例应用本发明实施例提出的钢轨扣件状态的检测方法的详细流程图；

图12为本发明实施例中钢轨扣件状态的检测装置的示意图；

图13为本发明实施例中计算机设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本申请的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

图1为本发明实施例中钢轨扣件状态的检测方法的流程图，如图1所示，该方法包括：

步骤101，获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；

步骤102，从所述强度图像中识别出扣件区域；

步骤103，基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；

步骤104，从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；

步骤105，根据识别出的扣件区域和紧固件区域，确定扣件状态。

综上所述，在本发明实施例提出的方法中，首先，获得了目标钢轨区域的三维的深度图像和二维的强度图像，从而从二维的强度图像中识别出扣件区域，然后从三维的深度图像中识别出紧固件区域，相比于只采用二维图像识别扣件区域和紧固件区域，本发明实施例识别出的紧固件区域的准确度更高，从而使得最后确定的扣件状态的准确度更高。

在本发明实施例中，所述紧固件为螺栓或螺母，根据扣件的固定方法可将扣件类型分为有螺栓/螺母扣件和无螺栓/螺母扣件。无螺栓/螺母扣件以iii型和iv型卡扣式扣件为代表，它们仅用于乘客专用线路上。螺母紧固扣件通常以夹子ⅰ型和ⅱ型扣件为代表，它们广泛用于有砟线路，是最早使用的扣件类型。螺栓紧固扣件通常以v型，wj-7型，wj-8型和w300-1型为代表，这些扣件在高速无砟轨道中很常见。对于无螺栓/螺母的卡扣式扣件，这种扣件的数量很少，并且一旦松动，扣件的结构决定了弹条的位置将不可避免的发生移动，传统的二维图像传感器就可以检测到这种异常。本发明实施例主要针对有螺栓/螺母扣件，即有砟轨道中螺母紧固的扣件类型和无砟轨道螺栓紧固的扣件类型。

扣件检测是铁路运营安全检查中极为重要的任务。对于扣件检测，一项非常重要的任务是精确的目标检测，并确定螺母或螺栓的位置并确定其是否太松或太紧。对于有螺栓/螺母扣件，由于施工条件、横向轨道力以及轮轨共振等的影响，螺栓/螺母不可避免地会变得过紧或过松。

在步骤101中，获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应，其中，深度图像为三维图像，强度图像为二维图像，可以通过结构化的光扫描设备(sickranger33d相机)来获得，所述深度图像和强度图像的像素一一对应，即，强度图像中的目标钢轨区域对应于深度图中的相同位置。如果在强度图中检测到某个目标，则可以在深度图中的相同位置找到相应的目标，反之亦然。因此，螺母或螺栓可以分别位于深度图像和强度图像中，即在深度图像和强度图像中分别定位扣件和螺栓/螺母，具体定位过程可以包括多种，图2为紧固件检测的子步骤，(1)在深度图像上定位扣件区域；(2)在强度图像上定位扣件区域；(3)在深度图像上定位紧固件区域；(4)在强度图像上定位紧固件区域。本发明实施例对以上几个子步骤的不同组合的进行了实验验证，发现，执行子步骤(1)获得的扣件区域和执行子步骤(4)获得的紧固件区域的效果较差，无法获得稳定、合理的检测结果，因此，发明人发现强度图像更适合于检测扣件区域而深度图像更适合于在扣件区域中定位紧固件区域。主要原因是由深度图像和强度图像的特性决定的：强度图像的纹理信息丰富，并且区域平滑功能不明显；深度图像的区域平滑功能很明显，纹理信息也不丰富。

由于钢轨区域是较大的检测目标，并且具有明显的强度和深度特性。特征投影分析的方法易于实现钢轨区域的定位。扣件的面积相对较小，该面积约为图像面积的1％。也就是说，扣件的检测属于小目标检测，需要丰富的纹理信息。因此，在强度图像中的扣件的检测结果比在深度图像中的扣件的检测结果应该更好。定位到扣件位置后，需要在扣件区域中进行目标分割，找到螺母和螺栓的位置并判定它们的类型。首先，扣件区域中的螺母/螺栓的图像区域面积较大，约为15％。其次，螺母/螺栓出现在扣件区域中心附近。因此，螺母/螺栓的检测适于通过区域分割的方法来实现。对于区域分割，具有平滑区域的(连续)图像将获得良好的分割结果，而具有丰富纹理特征的图像通常无法获得良好的分割结果。因此，螺母/螺栓在深度图像(扣件区域)中的定位结果要好于螺母/螺栓在强度图像(扣件区域)中的定位结果。应当注意，由于深度图像和强度图像的像素一一对应，因此在强度图像中检测到扣件时，相应的扣件也位于深度图像中。因此，在本发明实施例中，采用步骤102-步骤104来定位紧固件区域，即定位螺母/螺栓区域，相当于采用图2中的子步骤(2)和(3)，即在强度图像中检测扣件的位置，然后在深度图像的同一位置分割出紧固件的位置。成功定位紧固件后，就可以进入步骤105，即图2中的子步骤(5)，检测扣件状态。

具体实施时，从所述强度图像中识别出扣件区域的方法有多种，下面给出其中一个实施例。

在一实施例中，从所述强度图像中识别出扣件区域，包括：

确定模板库，所述模板库包括多个模板，所述模板包括扣件区域模板和背景区域模板；

从目标钢轨区域中提取出多个子窗口图像；

对每个子窗口图像，计算该子窗口图像与模板库中每个模板的相似度；

根据该子窗口图像与模板库中每个模板的相似度，计算该子窗口图像的相似度合值；

根据多个子窗口图像的相似度合值，从所述强度图像中识别出扣件区域。

在上述实施例中，首先拿到模板库，所述模板库包括多个模板，所述模板包括扣件区域模板和背景区域模板，背景区域是指非扣件区域，对所采集的目标钢轨区域的深度图像和强度图像进行统计分析可知，每张图像的空间采样距离约为2米，每幅图像至少包含4-6个扣件，并且不存在一幅图像中的扣件全部丢失的极端情况。因此，可以利用滑动窗口方法和模板库在目标钢轨区域至少可以定位出1个扣件区域，然后，根据轨道扣件之间的纵向、横向安装间隔，可进一步推断其他的轨道扣件区域。

在一实施例中，从目标钢轨区域中提取出多个子窗口图像，包括：

确定子窗口图像的尺寸为扣件区域的尺寸；

基于子窗口图像的尺寸，利用滑动窗口方法在目标钢轨区域中以固定步长依次提取多个子窗口图像。

在上述实施例中，确定子窗口图像的尺寸为扣件区域的尺寸，例如，扣件区域的尺寸为90×100像素，那么子窗口图像的尺寸为90×100像素。

在一实施例中，对每个子窗口图像，计算该子窗口图像与模板库中每个模板的相似度，包括：

对每个子窗口图像，确定该子窗口图像的方向梯度直方图；

计算该子窗口图像的方向梯度直方图与每个模板的方向梯度直方图的相似度。

在上述实施例中，度量两幅图像相似度的关键问题是找到合适的特征描述子和相似度度量方法。从轨道扣件区域的特点来看，其形状和纹理特征与其他区域的差异较大，因此，可以提取纹理特征来表示扣件区域。hog(histogramoforientedgradient，方向梯度直方图)特征描述子常用于提取图像的纹理特征，其基本思想是通过图像像素灰度值的大小和方向来描述目标对象的形状和局部纹理特征，它通过统计图像中每一小块区域内各梯度方向的梯度幅值生成直方图作为图像特征。由于hog特征是在一个局部区域内进行梯度幅值累积，因此图像的几何形变和光学形变不会影响它的性能。具体实施时，为了提高相似度计算的精度，可以首先使用gamma校正对图像进行预处理，gamma系数可以选择1.5。对每个子窗口图像，确定该子窗口图像的方向梯度直方图的步骤可以如下：

s1：使用gamma校正对该子窗口图像进行预处理；

s2：计算该子窗口图像每个像素位置的梯度幅值和梯度角度值；

s3：将该子窗口图像划分为多个像素的单元格，采用多个个通道的直方图根据梯度角度值确定每个单元格的梯度幅值；

s4：将该子窗口图像中所有的单元格组成多个连通区间，对每个联通区间内的梯度幅值进行归一化处理；

s5：将所有连通区间的直方图串联，得到该子窗口图像的hog，即方向梯度直方图。

例如，对于一个90×100像素的子窗口图像，使用gamma校正对该子窗口图像进行预处理，gamma系数可以选择1.5；计算该子窗口图像每个像素位置的梯度幅值和梯度角度值；将该子窗口图像划分为6×6像素的单元格，采用9个通道的直方图根据梯度角度值确定每个单元格的梯度幅值；将该子窗口图像中所有的单元格组成3×3的连通区间，对连通区间内的梯度幅值进行归一化处理；将所有连通区间的直方图串联，得到该子窗口图像的方向梯度直方图。

具体实施时，在计算该子窗口图像的方向梯度直方图与每个模板的方向梯度直方图的相似度时，可以采用χ²检验和巴塔恰里雅系数(bhattacharyyacoefficient，bc)，这是两种常用于度量直方图相似性的方法。对于两个n维的归一化直方图x和y，χ²检验的公式定义如下：

bc是表示两个统计样本之间的重叠度，也用于测量两个直方图的相似度。bc的计算公式如下：

式中，n表示直方图的分区数。

在确定了该子窗口图像与模板库中每个模板的相似度后，可以计算该子窗口图像的相似度合值，在一实施例中，采用如下公式，根据该子窗口图像与模板库中每个模板的相似度，计算该子窗口图像的相似度合值：

其中，ssimilarity(xi)为子窗口图像xi的相似度合值；

tk为第k个模板，sk(xi,tk)为子窗口图像xi与模板tk的相似度；

δk为指示函数，在tk为扣件区域模板时，δk＝1；在tk为背景区域模板时，δk＝0。

公式(3)为k近邻算法的公式，另外，为了减少计算量，并提高子窗口图像的相似度合值的精度，根据该子窗口图像与模板库中每个模板的相似度，计算该子窗口图像的相似度合值，包括：

将该子窗口图像与模板库中多个模板的相似度按照由高到低的顺序进行排序；

取排序后的前k个相似度及对应的模板；

根据排序后的前k个相似度，计算该子窗口图像的相似度合值，即采用公式(3)计算该子窗口图像的相似度合值。

在一实施例中，根据多个子窗口图像的相似度合值，从所述强度图像中识别出扣件区域，包括：

确定相似度合值最大的子窗口图像为最优扣件区域；

根据所述最优扣件区域和扣件之间的安装间距，确定强度图像中的所有扣件区域。

在上述实施例中，对所有子窗口图像的相似度合值进行排序，子窗口图像的相似度合值最大的子窗口图像为最优扣件区域，扣件之间的安装间距包括扣件之间的纵向、横向安装间距，根据扣件之间的纵向、横向安装间距推断其他扣件区域的大致范围，在大致范围内找到最高相似度得分的子窗口，即为扣件区域。

在一实施例中，所述模板库包括离线模板库和在线模板库，其中，

离线模板库包括多个人工核准的扣件区域模板和背景区域模板；

在线模板库在轨扣件状态的检测过程中动态更新扣件区域模板和背景区域模板。

在上述实施例中，由于不同铁路线路或同一铁路线路的不同区段所采用扣件类型并不统一，背景区域也有很大差异，使用固定数量的模板很难完全地包含所有情况，容易导致误检和漏检的问题。因此，本发明实施例提出了离线模板库和在线模板库，其中，在线模板库采用在线学习策略，在轨扣件状态的检测过程中动态更新扣件区域模板和背景区域模板。具体来说，离线模板库包括多个人工核准的扣件区域模板和背景区域模板，离线模板库不会在检测过程中更新，而在线模板库将会在检测过程中使用相邻帧轨道图像的扣件区域和背景区域动态地更新。在线模板库的更新过程的方法有多种，下面给出其中一个实施例。

图3为本发明实施例中在线模板库的更新过程的示意图，如图3所示，在线模板库在轨扣件状态的检测过程中动态更新扣件区域模板和背景区域模板，包括：

步骤301，在从目标钢轨区域的强度图像中识别出扣件区域后，将所述扣件区域添加至在线模板库中扣件区域模板队列尾部；

在步骤301之前，需要将现有的模板添加到离线模板库，包括扣件区域模板和背景区域模板。对于目标钢轨区域的铁路线路，需要将手动定位获得的第一帧轨道图像中的扣件区域存储到离线模板库。然后在步骤301中，从目标钢轨区域的强度图像中识别出的扣件区域为前面所述的最优扣件区域，该最优扣件区域为目标钢轨区域中钢轨两侧相似度合值最高的扣件区域；

步骤302，从目标钢轨区域的非扣件区域中随机抓取若干个背景区域添加至在线模板库中背景区域模板队列尾部；

该非扣件区域位于目标钢轨区域中钢轨两侧；

步骤303，若在线模板库中扣件区域模板队列的长度大于第一设定阈值，则删除扣件区域模板队列头部的扣件区域模板；

步骤304，若在线模板库中背景区域模板队列的长度大于第二设定阈值，则删除背景区域模板队列头部的背景区域模板。

通过上述过程，可以使得模板库中模板的数量不至于过多，避免了后续的大量计算，同时也保证了该模板库中的模板的准确度更高。在线学习策略是基于轨道图像的先验知识：相邻帧轨道图像的光照条件、图像背景和扣件类型不会发生太剧烈的变化。根据步骤301-步骤304的更新过程，在线模板库中扣件区域模板队列和背景区域模板队列头部的模板来源于间隔较远的轨道图像，两个队列尾部新插入的模板来源于相邻帧轨道图像。因此，两个队列头部模板的光照条件、图像背景和扣件类型可能与当前待检测轨道图像的差异较大，当每个队列的长度超过对应的设定阈值时，应优先删除队列头部的模板。在线学习策略可使扣件区域定位方法自适应当前待检测轨道图像的光照条件、图像背景和扣件类型，提升了定位方法的精确性和推广能力。

在步骤104中，从深度图像中的扣件区域中，识别出紧固件区域的方法也有多种，下面给出其中一个实施例。

在一实施例中，从深度图像中的扣件区域中，识别出紧固件区域，包括：

采用图像分割的方法，将深度图像的扣件区域分割为多个分割区域；

对扣件区域的多个分割区域进行检测，识别出紧固件区域。

具体实施时，螺母和螺栓在扣件区域中所占面积较大(15％左右)，同时，螺母和螺栓具有明显的几何特征：螺母(近似)为六边形，螺栓(近似)为圆形。因此，可以通过图像分割的方法在扣件区域中定位螺母和螺栓。图像分割的方法又包括多种，例如区域增长方法和plateaus分割方法。图4为深度图像中扣件区域的分割结果，图4中的(a)为深度图像，图4中的(b)为采用区域增长方法获得的深度图像的分割结果，图4中的(c)为采用plateaus分割方法获得的深度图像的分割结果。图5为强度图像中扣件区域的分割结果，图5中的(a)为强度图像，图5中的(b)为采用区域增长方法获得的强度图像的分割结果，图5中的(c)为采用plateaus分割方法获得的强度图像的分割结果。图5和图4中的分割区域大小的阈值设为扣件区域面积0.1％以上。由于深度图像的扣件区域具有分片平滑的特征，而强度图像的扣件区域具有丰富的纹理特征，因此，深度图像的扣件区域会取得更好的分割效果。图5中的(b)和图4中的(b)的对比，图5中的(c)和图4中的(c)对比，都证实了上述分析。

在一实施例中，对扣件区域的多个分割区域进行检测，识别出紧固件区域，包括：

确定扣件区域的每个分割区域的面积、中心点位置和对称性指标值；

根据每个分割区域的面积及预设面积阈值、中心点位置及预设中心点位置阈值、对称性指标值和预设对称性指标阈值，识别出紧固件区域。

通过上述方法可迅速且准确地识别出紧固件区域。

在一实施例中，确定扣件区域的每个分割区域的面积、中心点位置和对称性指标值，包括：

确定扣件区域的每个分割区域的二值图；

确定每个分割区域的面积为所述二值图的零阶距；

确定每个分割区域的中心点位置为所述二值图的一阶距；

计算所述二值图的二阶距；

根据所述二阶距，获得每个分割区域的对称性指标值。

在一实施例中，所述二值图的零阶距采用如下公式表示：

其中，a⁽ⁿ⁾为第n个分割区域的二值图b⁽ⁿ⁾的零阶距；

m和n分别为扣件区域的长和宽；

为二值图b⁽ⁿ⁾的第i行第j列的元素，可表示如下：

其中，b为第n个分割区域。

在一实施例中，所述二值图的一阶距采用如下公式表示：

其中，和为第n个分割区域的二值图b⁽ⁿ⁾的一阶距，为每个分割区域的中心点位置。

在一实施例中，所述二值图的二阶距采用如下公式表示：

其中，a⁽ⁿ⁾、b⁽ⁿ⁾和c⁽ⁿ⁾为第n个分割区域的二值图的二阶距；

在一实施例中，采用如下公式，根据所述二阶距，获得每个分割区域的对称性指标值：

其中，τ⁽ⁿ⁾为第n个分割区域的对称性指标值；

和为矩阵的两个特征值。

上述实施例中，τ⁽ⁿ⁾也称为第n个分割区域的圆度，介于0和1之间。比值越小，分割区域越“扁”；比值越大，分割区域越“圆”。τ⁽ⁿ⁾等于0，图形为一条线段，τ⁽ⁿ⁾等于1，图形为完全对称图形(例如圆、正方形等)。

最后，根据每个分割区域的面积及预设面积阈值、中心点位置及预设中心点位置阈值、对称性指标值和预设对称性指标阈值，识别出紧固件区域，以螺栓为例，在每个分割区域的面积、中心点位置和对称性指标值满足如下阈值条件时，可识别出该分割区域为螺栓区域：

a⁽ⁿ⁾＞0.5m·n(9)

τ⁽ⁿ⁾＞0.8(11)

其中，m和n分别为扣件区域的长和宽。

由于a⁽ⁿ⁾、和τ⁽ⁿ⁾都是直接公式计算结果，因此速度非常快，可以忽略其计算时间消耗。最终，可以得到螺栓所对应的图像区域。螺母的图像区域在螺栓图像区域的周围。通过对比螺母和螺栓，可以进一步检测螺栓和螺母的相对高度。

具体实施时，根据识别出的扣件区域和紧固件区域，确定扣件状态的方法有多种，下面给出其中一个实施例。

在一实施例中，根据识别出的扣件区域和紧固件区域，确定扣件状态，包括：

根据扣件区域的深度图像和紧固件区域的中心点位置，分别确定紧固件的高度值和钢轨的高度值；

计算紧固件的高度值和钢轨的高度值的差值，基于所述差值，确定扣件状态。

在上述实施例中，通过计算紧固件的高度值和钢轨的高度值的差值，基于所述差值，确定扣件状态的方法非常简单，计算效率高。

在一实施例中，根据扣件区域的深度图像和紧固件区域的中心点位置，分别确定紧固件的高度值和钢轨的高度值，包括：

根据扣件区域的深度图像和紧固件区域的中心点位置，获得扣件区域深度的阈值化处理结果；

根据扣件区域深度的阈值化处理结果和紧固件区域的中心点位置，确定紧固件的高度值和钢轨的高度值。

在上述实施例中，在确定了紧固件区域后，可以通过边缘计算方法，根据紧固件区域的中心点位置，确定紧固件的边缘点，应当注意的是，由于噪声，螺栓和螺母的图像并非“彼此相邻”。

以螺母为例，根据螺母的区域面积a⁽ⁿ⁾，可以求得螺母区域的半径：然后，可以找到螺母区域的两个边缘点，即和从而准确定位了螺母的位置，的左侧和的右侧。注意，可以只关注过螺母圆心的水平直线上的图像区域，从而将螺母松脱检由二维图像分析问题变为一维信号分析问题。

在一实施例中，采用如下公式，根据扣件区域的深度图像和紧固件区域的中心点位置，获得扣件区域深度的阈值化处理结果：

其中，g(x)为扣件区域深度的阈值化处理结果；

h(x,y)为扣件区域的深度图像上点(x,y)处的深度值；

为第n个紧固件区域的中心点位置的纵坐标。

在上述实施例中，f(x)为以水平直线为中心的水平“窄带区域”的竖直方向平均值。

图6为本发明实施例中扣件区域的深度图像上深度值示意图，即h(x,y)，图7为本发明实施例中过扣件中心水平“窄带区域”的竖直方向平均值，即f(x)，图8为图7的局部放大图，纵轴范围从20到30。

紧固件螺母为例，首先，需要定位钢轨位置，由图6和图7可知，钢轨的高度在其边缘上有很大的跳跃。因此，通过公式(12)和公式(13)，可以扣件区域深度的阈值化处理结果g(x)，图9为f(x)的离散一阶差f'(x)的示意图，图10为扣件区域深度的阈值化处理结果g(x)的示意图，g(x)可以用来确定钢轨的位置，如图10所示，钢轨的位置为图7中f(x)的横坐标范围[1124，1291]，为了更精确，选择图2中横坐标范围[1261，1291]，这个横坐标范围内的纵坐标的平均值作为钢轨的高度值，即钢轨头表面上外部无磨损区域的平均高度，可以从图7中看到，结果为120.5990。

从图6中可以看出，左侧螺母的大致横坐标范围为[900,1000]，右侧螺母的大致横坐标范围为[1400,1500]。对于左侧螺母，定位其最左侧边缘，对于右侧螺母，定位其最右侧边缘。图10为g(x)定位的螺母的示意图。

从图10可以看出，螺母区域出现多个“非零”位置，对于左侧螺母，选取最左端的非零点位置xl，对于右侧螺母，选取最右端的非零点位置xr。图10中，通过和准确定位了螺母的位置，其中，左侧螺母的边缘位置为905，右侧螺母的边缘位置为1493。对于左侧螺母，选取图7中横坐标在(xl+5,xl+15)内的纵坐标的平均值作为左侧螺母的高度，图7中，显示结果为28.1336。选取图7中横坐标在(xr-15,xr-5)的纵坐标的平均值作为右侧螺母的高度，图7中显示结果为24.3395。上述方法效率高，可快速获得紧固件的高度值和钢轨的高度值。

在一实施例中，所述扣件状态为紧固件的松动状态；

基于所述差值，确定扣件状态，包括：

获得预设的钢轨轨底坡的校正项；

确定紧固件松动值在紧固件内侧为所述差值，在紧固件外侧为所述校正项与所述差值的和值；

根据所述松动值、预设的过松阈值和过紧阈值，确定紧固件的松动状态。

在上述实施例中，需要指出的是，紧固件缺陷包括两种情况：太松和太紧，太松时，弹条很容易丢失；太紧时，弹条很容易断裂。这两种情况都会在铁路运行中造成潜在的安全隐患。

应该注意的是，钢轨不是水平放置的，而是有一个向钢轨内侧倾斜的小角度，这称为轨底坡。由于轨底坡的存在，钢轨内侧和外侧的紧固件之间存在自然的高度差。通过在线路上随机选择多个正常的扣件位置作为测点，可以统计钢轨左侧和右侧紧固件之间的高度差。紧固件在钢轨外侧的高度通常大于内侧。因此，获得预设的钢轨轨底坡的校正项；确定紧固件松动值在紧固件内侧为所述差值，在紧固件外侧为所述校正项与所述差值的和值，即

其中，δh为紧固件松动值，h0为预设的钢轨轨底坡的校正项，|h1-h2|为所述差值，

若预设的过松阈值为δhl，过紧阈值为δht，则可以通过以下公式确定紧固件的松动程度：

基于上述实施例，本发明提出如下一个实施例来说明钢轨扣件状态的检测方法的详细流程，图11为本发明实施例应用本发明实施例提出的钢轨扣件状态的检测方法的详细流程图，如图11所示，包括：

步骤1101，获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；

步骤1102，确定模板库，所述模板库包括多个模板，所述模板包括扣件区域模板和背景区域模板；

步骤1103，确定子窗口图像的尺寸为扣件区域的尺寸；

步骤1104，基于子窗口图像的尺寸，利用滑动窗口方法在目标钢轨区域中以固定步长依次提取多个子窗口图像；

步骤1105，对每个子窗口图像，确定该子窗口图像的方向梯度直方图；

步骤1106，计算该子窗口图像的方向梯度直方图与每个模板的方向梯度直方图的相似度；

步骤1107，根据该子窗口图像与模板库中每个模板的相似度，计算该子窗口图像的相似度合值；

步骤1108，确定相似度合值最大的子窗口图像为最优扣件区域；

步骤1109，根据所述最优扣件区域和扣件之间的安装间距，确定强度图像中的所有扣件区域；

步骤1110，基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；

步骤1111，采用图像分割的方法，将深度图像的扣件区域分割为多个分割区域；

步骤1112，确定扣件区域的每个分割区域的二值图；

步骤1113，确定每个分割区域的面积为所述二值图的零阶距；

步骤1114，确定每个分割区域的中心点位置为所述二值图的一阶距；

步骤1115，计算所述二值图的二阶距；

步骤1116，根据所述二阶距，获得每个分割区域的对称性指标值；

步骤1117，根据每个分割区域的面积及预设面积阈值、中心点位置及预设中心点位置阈值、对称性指标值和预设对称性指标阈值，识别出紧固件区域；

步骤1118，根据扣件区域的深度图像和紧固件区域的中心点位置，获得扣件区域深度的阈值化处理结果；

步骤1119，根据扣件区域深度的阈值化处理结果和紧固件区域的中心点位置，确定紧固件的高度值和钢轨的高度值；

步骤1120，计算紧固件的高度值和钢轨的高度值的差值；

步骤1121，获得预设的钢轨轨底坡的校正项；

步骤1122，确定紧固件松动值在紧固件内侧为所述差值，在紧固件外侧为所述校正项与所述差值的和值；

步骤1123，根据所述松动值、预设的过松阈值和过紧阈值，确定紧固件的松动状态，即扣件状态。

当然，可以理解的是，上述详细流程还可以有其他变化例，相关变化例均应落入本发明的保护范围。

下面给出一具体实施例，来说明钢轨扣件状态的检测方法的具体应用。

在本实施例中，选择了目标钢轨区域的540张强度图像和相应的深度图像，并进行了人工标注，建立了扣件区域定位数据集。

与普通目标检测任务不同，不正确的扣件区域定位结果将影响后续的紧固件定位结果。因此，在此实验中，“交并比”(iou,intersection-over-union，iou)设置为较高的值0.9，即，定位的边界框和标记的真实边界框的iou值大于0.9，可以认为是有效的。iou将计算两个边界框的覆盖范围，这是相交面积与并集面积之比。计算方法如下：

在采用本发明实施例提出的方法对540张强度图像和对应的深度图像检测后，在540张强度图像上扣件定位的准确率为537/540，即99.4％。相应的540个深度图上扣件定位的准确率是499/540，即92.4％。也就是说，本发明实施例提出的方法显著提高了扣件区域定位的有效性和可靠性，并且基于二维强度图像的扣件定位效果更好。

在定位到扣件区域后，按照本发明提出的方法自动检测一条10公里的测试线(约30,000个扣件，其中人工设计了200出扣件异常，包括150个螺栓松动和50个螺栓过紧)，共检测到137个紧固件松动(即扣件松动)，检出率为91.3％；其中过紧的紧固件(即过紧的扣件)有46个，检出率为92.0％。

综上所述，在本发明实施例提出的方法中，获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；从所述强度图像中识别出扣件区域；基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；根据识别出的扣件区域和紧固件区域，确定扣件状态。在上述过程中，首先，获得了目标钢轨区域的三维的深度图像和二维的强度图像，从而从二维的强度图像中识别出扣件区域，然后从三维的深度图像中识别出紧固件区域，相比于只采用二维图像识别扣件区域和紧固件区域，本发明实施例识别出的紧固件区域的准确度更高，从而使得最后确定的扣件状态的准确度更高。

另外，本发明实施例提出的方法基于2d强度图像，可以自适应当前待检测轨道图像的光照条件、图像背景和扣件类型，提升了定位方法的精确性以及对新线路的适应能力。本发明实施例提出的方法基于3d深度图像，可以利用紧固件的几何形状和位置先验信息，实现紧固件的快速稳定分割和判别。本发明实施例提出的方法通过选取钢轨表面外侧的非磨耗区域所在的平面作为与紧固件位置进行高度对比的基准，对比高度差通过经验阈值判定实现了紧固件松紧度的精确识别。本发明实施例提出的方法中在线模板库自动更新，可有效解决由于扣件类型并不统一，图像背景差异大等导致的误检和漏检的问题。

基于同样的发明构思，本发明实施例还提供了一种钢轨扣件状态的检测装置，如下面的实施例所述。由于这些解决问题的原理与钢轨扣件状态的检测方法相似，因此装置的实施可以参见方法的实施，重复之处不在赘述。

图12为本发明实施例中钢轨扣件状态的检测装置的示意图，所述装置包括：

图像获得模块1201，用于获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；

第一识别模块1202，用于从所述强度图像中识别出扣件区域；

第二识别模块1203，用于基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；

第三识别模块1204，用于从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；

扣件状态检查模块1205，用于根据识别出的扣件区域和紧固件区域，确定扣件状态。

在一实施例中，第一识别模块1202具体用于：

确定模板库，所述模板库包括多个模板，所述模板包括扣件区域模板和背景区域模板；

从目标钢轨区域中提取出多个子窗口图像；

对每个子窗口图像，计算该子窗口图像与模板库中每个模板的相似度；

根据该子窗口图像与模板库中每个模板的相似度，计算该子窗口图像的相似度合值；

根据多个子窗口图像的相似度合值，从所述强度图像中识别出扣件区域

在一实施例中，第一识别模块1202具体用于：

确定子窗口图像的尺寸为扣件区域的尺寸；

基于子窗口图像的尺寸，利用滑动窗口方法在目标钢轨区域中以固定步长依次提取多个子窗口图像。

在一实施例中，第一识别模块1202具体用于：

对每个子窗口图像，确定该子窗口图像的方向梯度直方图；

计算该子窗口图像的方向梯度直方图与每个模板的方向梯度直方图的相似度。

在一实施例中，第一识别模块1202具体用于：

采用如下公式，根据该子窗口图像与模板库中每个模板的相似度，计算该子窗口图像的相似度合值：

其中，ssimilarity(xi)为子窗口图像xi的相似度合值；

tk为第k个模板，sk(xi,tk)为子窗口图像xi与模板tk的相似度；

δk为指示函数，在tk为扣件区域模板时，δk＝1；在tk为背景区域模板时，δk＝0。

在一实施例中，第一识别模块1202具体用于：

确定相似度合值最大的子窗口图像为最优扣件区域；

根据所述最优扣件区域和扣件之间的安装间距，确定强度图像中的所有扣件区域。

在一实施例中，所述模板库包括离线模板库和在线模板库，其中，

离线模板库包括多个人工核准的扣件区域模板和背景区域模板；

在线模板库在轨扣件状态的检测过程中动态更新扣件区域模板和背景区域模板。

在一实施例中，第一识别模块1202具体用于：

在从目标钢轨区域的强度图像中识别出扣件区域后，将所述扣件区域添加至在线模板库中扣件区域模板队列尾部；

从目标钢轨区域的非扣件区域中随机抓取若干个背景区域添加至在线模板库中背景区域模板队列尾部；

若在线模板库中扣件区域模板队列的长度大于第一设定阈值，则删除扣件区域模板队列头部的扣件区域模板；

若在线模板库中背景区域模板队列的长度大于第二设定阈值，则删除背景区域模板队列头部的背景区域模板。

在一实施例中，第三识别模块1204具体用于：

采用图像分割的方法，将深度图像的扣件区域分割为多个分割区域；

对扣件区域的多个分割区域进行检测，识别出紧固件区域。

在一实施例中，第三识别模块1204具体用于：

确定扣件区域的每个分割区域的面积、中心点位置和对称性指标值；

根据每个分割区域的面积及预设面积阈值、中心点位置及预设中心点位置阈值、对称性指标值和预设对称性指标阈值，识别出紧固件区域。

在一实施例中，第三识别模块1204具体用于：

确定扣件区域的每个分割区域的二值图；

确定每个分割区域的面积为所述二值图的零阶距；

确定每个分割区域的中心点位置为所述二值图的一阶距；

计算所述二值图的二阶距；

根据所述二阶距，获得每个分割区域的对称性指标值。

在一实施例中，所述二值图的零阶距采用如下公式表示：

其中，a⁽ⁿ⁾为第n个分割区域的二值图b⁽ⁿ⁾的零阶距；

m和n分别为扣件区域的长和宽；

为二值图b⁽ⁿ⁾的第i行第j列的元素，可表示如下：

其中，b为第n个分割区域。

在一实施例中，所述二值图的一阶距采用如下公式表示：

其中，和为第n个分割区域的二值图b⁽ⁿ⁾的一阶距，(x⁽ⁿ⁾,y⁽ⁿ⁾)为每个分割区域的中心点位置。

在一实施例中，所述二值图的二阶距采用如下公式表示：

其中，a⁽ⁿ⁾、b⁽ⁿ⁾和c⁽ⁿ⁾为第n个分割区域的二值图的二阶距；

在一实施例中，采用如下公式，根据所述二阶距，获得每个分割区域的对称性指标值：

其中，τ⁽ⁿ⁾为第n个分割区域的对称性指标值；

和为矩阵的两个特征值。

在一实施例中，扣件状态检查模块1205具体用于：

根据扣件区域的深度图像和紧固件区域的中心点位置，分别确定紧固件的高度值和钢轨的高度值；

计算紧固件的高度值和钢轨的高度值的差值，基于所述差值，确定扣件状态。

在一实施例中，扣件状态检查模块1205具体用于：

根据扣件区域的深度图像和紧固件区域的中心点位置，获得扣件区域深度的阈值化处理结果；

根据扣件区域深度的阈值化处理结果和紧固件区域的中心点位置，确定紧固件的高度值和钢轨的高度值。

在一实施例中，采用如下公式，根据扣件区域的深度图像和紧固件区域的中心点位置，获得扣件区域深度的阈值化处理结果：

其中，g(x)为扣件区域深度的阈值化处理结果；

h(x,y)为扣件区域的深度图像上点(x,y)处的深度值；

为第n个紧固件区域的中心点位置的纵坐标。

在一实施例中，所述扣件状态为紧固件的松动状态；

扣件状态检查模块1205具体用于：

获得预设的钢轨轨底坡的校正项；

确定紧固件松动值在紧固件内侧为所述差值，在紧固件外侧为所述校正项与所述差值的和值；

根据所述松动值、预设的过松阈值和过紧阈值，确定紧固件的松动状态。

综上所述，在本发明实施例提出的装置中，获得目标钢轨区域的深度图像和强度图像，所述深度图像和强度图像的像素一一对应；从所述强度图像中识别出扣件区域；基于强度图像中识别出的扣件区域，对应识别出深度图像中的扣件区域；从深度图像中的扣件区域中，识别出紧固件区域，所述紧固件为螺栓或螺母；根据识别出的扣件区域和紧固件区域，确定扣件状态。在上述过程中，首先，获得了目标钢轨区域的三维的深度图像和二维的强度图像，从而从二维的强度图像中识别出扣件区域，然后从三维的深度图像中识别出紧固件区域，相比于只采用二维图像识别扣件区域和紧固件区域，本发明实施例识别出的紧固件区域的准确度更高，从而使得最后确定的扣件状态的准确度更高。

另外，本发明实施例提出的方法基于2d强度图像，可以自适应当前待检测轨道图像的光照条件、图像背景和扣件类型，提升了定位方法的精确性以及对新线路的适应能力。本发明实施例提出的方法基于3d深度图像，可以利用紧固件的几何形状和位置先验信息，实现紧固件的快速稳定分割和判别。本发明实施例提出的方法通过选取钢轨表面外侧的非磨耗区域所在的平面作为与紧固件位置进行高度对比的基准，对比高度差通过经验阈值判定实现了紧固件松紧度的精确识别。本发明实施例提出的方法中在线模板库自动更新，可有效解决由于扣件类型并不统一，图像背景差异大等导致的误检和漏检的问题。

本申请的实施例还提供一种计算机设备，图13为本发明实施例中计算机设备的示意图，该计算机设备能够实现上述实施例中的钢轨扣件状态的检测方法中全部步骤，所述电子设备具体包括如下内容：

处理器(processor)1301、存储器(memory)1302、通信接口(communicationsinterface)1303和总线1304；

其中，所述处理器1301、存储器1302、通信接口1303通过所述总线1304完成相互间的通信；所述通信接口1303用于实现服务器端设备、检测设备以及用户端设备等相关设备之间的信息传输；

所述处理器1301用于调用所述存储器1302中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中的钢轨扣件状态的检测方法中的全部步骤。

本申请的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的钢轨扣件状态的检测方法中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的钢轨扣件状态的检测方法的全部步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。