一种轨道扣件的零件缺失检测方法及装置与流程

本发明实施例涉及计算机视觉技术领域，具体涉及一种轨道扣件的零件缺失检测方法及装置。

背景技术：

近年来，轨道交通因其具有大运量和快速安全等诸多优点得到了速猛的发展，给人们的生产生活带来极大便利。

扣件是轨道结构的重要组成部分，它将钢轨和轨枕组合为轨排结构，承受列车载荷，抵抗纵横向作用力。同时它又是轨道弹性和几何调整能力的提供者，起到一定的减振降噪作用。

目前，是通过人工巡检的方式对轨道扣件的缺失进行检测，效率低，劳动强度大，无法及时了解轨道各部件的状态。

鉴于此，如何对轨道扣件的零件缺失进行高效、高精度的检测成为目前需要解决的技术问题。

技术实现要素：

由于现有方法存在上述问题，本发明实施例提出一种轨道扣件的零件缺失检测方法及装置。

第一方面，本发明实施例提出一种轨道扣件的零件缺失检测方法，包括：

获取目标轨道扣件的原始图像，所述原始图像具有第一分辨率；

将所述扣件的原始图像从第一分辨率缩小到第二分辨率，形成第二分辨率图像；

将所述第二分辨率图像输入到第一神经网络模型，输出所述零件的分割图；

若所述零件分割图中零件的数量比零件的预计数量少时，则判断所述零件缺失。

第二方面，本发明实施例还提出一种轨道扣件的零件缺失检测装置，其特征在于，包括：

获取模块，用于获取目标轨道扣件的原始图像，所述原始图像具有第一分辨率；

缩小模块，用于将所述扣件的原始图像从第一分辨率缩小到第二分辨率，形成第二分辨率图像；

输入模块，用于将所述第二分辨率图像输入到第一神经网络模型，输出所述零件的分割图；

判断模块，用于当所述零件分割图中零件的数量比零件的预计数量少时，则判断所述零件缺失。

第三方面，本发明实施例提供一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在第处理器上运行的计算机程序；

其中，所述处理器，存储器通过所述总线完成相互间的通信；

所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。

第五方面，本发明实施例还提出另一种轨道扣件缺失检测方法，包括：

获取目标轨道扣件的原始图像，从所述扣件的原始图像中获取所述零件的原始图像，所述原始图像具有第一分辨率；

将所述零件的原始图像从第一分辨率缩小到第三分辨率，形成第三分辨率图像；

将所述第三分辨率图像输入到第二神经网络模型，输出所述零件的分割图；

统计所述零件分割图中，零件的响应亮度值；

将所述零件的响应亮度值与预设的阈值进行比较，如果低于所述阈值，则判断所述零件缺失。

第六方面，本发明实施例还提出另一种轨道扣件的零件缺失检测装置，包括：

获取模块，用于获取目标轨道扣件的原始图像，从所述扣件的原始图像中获取所述零件的原始图像，所述原始图像具有第一分辨率；

缩小模块，用于将所述零件的原始图像从第一分辨率缩小到第三分辨率，形成第三分辨率图像；

输入模块，用于将所述第三分辨率图像输入到第二神经网络模型，输出所述零件的分割图；

统计模块，用于统计所述零件分割图中，零件的响应亮度值；

判断模块，用于将所述零件的响应亮度值与预设的阈值进行比较，如果低于所述阈值，则判断所述零件缺失。

第七方面，本发明实施例还提供另一种电子设备，包括：处理器、存储器、总线及存储在存储器上并可在第处理器上运行的计算机程序；

其中，所述处理器，存储器通过所述总线完成相互间的通信；

所述处理器执行所述计算机程序时实现上述方法。

第八方面，本发明实施例还提供另一种非暂态计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法。

由上述技术方案可知，本发明实施例通过获取目标轨道扣件图像，将其尺寸缩小到预设第二分辨率后输入第一神经网络模型，使第一神经网络模型输出零件的分割图；若零件分割图中零件的数量比零件的预计数量少时，则判断零件缺失，由此，能够实现对轨道扣件的零件缺失进行高精度的检测，效果稳定高效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明第一实施例提供的一种轨道扣件的零件缺失检测方法的流程示意图；

图2为本发明第一实施例提供的第一神经网络的模型结构示意图；

图3为本发明第二实施例提供的一种轨道扣件的零件缺失检测方法的流程示意图；

图4为本发明第二实施例提供的第二神经网络的模型结构示意图；

图5为本发明第三实施例提供的一种轨道扣件的零件缺失检测装置的结构示意图；

图6为本发明第四实施例提供的一种轨道扣件的零件缺失检测装置的结构示意图；

图7为本发明第五实施例提供的电子设备的实体结构示意图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

轨道扣件由螺纹道钉螺帽、弹条和整个垫板组成，其中整个垫板的尺寸比螺纹道钉螺帽和弹条的尺寸都要大。在检测轨道扣件的零件缺失的过程中，首先要大量采集钢轨旁扣件的图片，图片中整个垫板的图像比螺纹道钉螺帽和弹条的图像都要清晰。本发明第一实施例说明了如何对整体垫板的图像进行检测，从而判断垫板是否缺失的过程。关于如何检测螺纹道钉螺帽或弹条是否缺失的过程，将在本发明第二实施例中进行说明。

图1示出了本发明一实施例提供的一种轨道扣件的零件缺失检测方法的流程示意图，如图1所示，本实施例的轨道扣件缺失检测方法，包括：

s101、获取目标轨道扣件的原始图像，所述原始图像具有第一分辨率。

s102、将所述扣件的原始图像从第一分辨率缩小到第二分辨率，形成第二分辨率图像。

s103、将所述第二分辨率图像输入到第一神经网络模型，输出所述零件的分割图。

s104、若所述零件分割图中零件的数量比零件的实际数量少时，则判断所述零件缺失。

在本发明第一实施例中，假设获取的目标轨道扣件的原始图像分辨率为1024×1024(第一分辨率)，将1024×1024分辨率的目标轨道扣件图像直接输入神经网络要处理的数据量会很大，为避免大量消耗时间和计算资源，可以将所述目标轨道扣件图像的尺寸缩放到预设第二分辨率(如256×256)，这是整个垫板因为本身尺寸较大，特征也比较明显，直接用一个神经网络模型(第一神经网络模型)能够高精度高鲁棒的分割出来。

通常，一个轨道扣件包含两个垫板，如果第一神经网络模型输出整个垫板的分割图中垫板的数量为一个时，则可以判断出垫板缺失。上述以一个轨道扣件为例，本领域技术人员可以理解，如果获取的原始图像中有多个扣件，则垫板的数量会更多，因此只要第一神经网络模型输出的垫板分割图中垫板的数量少于预计数量时，则可以判断出垫板缺失。

本发明实施例通过获取目标轨道扣件图像，将其尺寸缩小到预设第二分辨率后输入第一神经网络模型，使第一神经网络模型输出整个垫板的分割图；若整个垫板的分割图中垫板的数量比预计垫板的数量少时，则判断垫板缺失，由此，能够实现对轨道扣件的零件缺失进行高精度的检测，效果稳定高效。

在第一实施例中，在步骤s103之前，基于样本图像，通过预先训练获得所述第一神经网络模型，进一步包括：

大量采集轨道扣件的图片；

对轨道扣件的图片进行人工标注分割，获得标注有垫板整体区域的人工分割图，将所述垫板整体区域的人工分割图缩小到所述第二分辨率(如256×256)后作为样本图像；

基于所述样本图像，通过均方差损失函数驱动深度神经网络进行学习，获得预先训练好的所述第一神经网络模型。

在具体应用中，第一神经网络模型是卷积网络，所有卷积均使用3×3卷积，第一神经网络模型输出整个垫板的分割图。第一神经网络的模型结构可参考图2。

图3为本发明第二实施例提供的一种轨道扣件的零件缺失检测方法的流程示意图。在第二实施例中，将说明如何检测扣件的螺纹道钉螺帽和弹条是否缺失。

如图3所示，本实施例的轨道扣件的零件缺失检测方法，包括：

s301、获取目标轨道扣件的原始图像，从所述扣件的原始图像中获取所述零件的原始图像，所述原始图像具有第一分辨率；

s302、将所述零件的原始图像从第一分辨率缩小到第三分辨率，形成第三分辨率图像；

s303、将所述第三分辨率图像输入到第二神经网络模型，输出所述零件的分割图；

s304、统计所述零件分割图中，零件的响应亮度值；

s305、将所述零件的响应亮度值与预设的阈值进行比较，如果低于所述阈值，则判断所述零件缺失。

可以理解的是，假设获取的目标轨道扣件的原始图像分辨率为1024×1024，将1024×1024分辨率的目标轨道扣件图像直接输入神经网络模型要处理的数据量会很大，为避免大量消耗时间和计算资源，可以将所述目标轨道扣件图像的分辨率缩小到256×256，但这时螺纹道钉螺帽和弹条显得比较小，直接分割这两个东西误差较大，容易出错。然而，由于螺纹道钉螺帽和弹条在结构上是包含在整个垫板内部的，因此可以先从目标轨道扣件的原始图像中将两个垫板区域截取出来，同时缩小到预设的第三分辨率(如128×128)，输入第二神经网络模型中，实现螺纹道钉螺帽和弹条的精细分割。由于第二神经网络模型输入的图片是垫板区域图像，相比直接在原图上进行分割少了很多背景的干扰，因此能够实现更高精度更强鲁棒性的图像分割。

本发明第二实施例提供的一种轨道扣件的零件缺失检测方法，通过获取目标轨道扣件图像，从目标轨道扣件图像中将垫板区域抠出，将抠出的垫板区域图像的分辨率缩小到预设的第三分辨率后输入第二神经网络模型，使第二神经网络模型输出螺纹道钉螺帽的分割图和弹条的分割图，基于螺纹道钉螺帽的分割图和弹条的分割图分别统计螺纹道钉螺帽、弹条的响应亮度值，若螺纹道钉螺帽和弹条中任意部件的响应亮度值小于所述部件对应的预设阈值，则确认目标轨道扣件图像中所述部件缺失，由此，能够有效实现对轨道扣件的零件缺失进行高精度的检测，能够替代人工巡检，效果稳定高效。

在第二实施例中，在步骤s303之前，基于样本图像，通过预先训练获得所述第二神经网络模型，进一步包括：

大量采集轨道扣件的图片；

对轨道扣件的图片进行人工标注分割，获得标注有螺纹道钉螺帽区域的人工分割图，和标注有弹条区域的人工分割图，将所述螺纹道钉螺帽区域的人工分割图和所述弹条区域的人工分割图缩小到所述第三分辨率(如128×128)后作为样本图像；

基于所述样本图像，通过均方差损失函数驱动深度神经网络进行学习，获得预先训练好的所述第二神经网络模型。

在具体应用中，第二神经网络模型是卷积网络，所有卷积均使用3×3卷积，第二神经网络模型输出螺纹道钉螺帽分割图和弹条分割图。第二神经网络的模型结构可参考图4。

本发明第二实施例提供的一种轨道扣件的零件缺失检测方法，能够有效实现对轨道扣件的零件缺失进行高精度的检测，能够替代人工巡检，效果稳定高效。

图5示出了本发明第三实施例提供的一种轨道扣件的零件缺失检测装置的结构示意图，如图5所示，本实施例的轨道扣件的零件缺失检测装置，包括：获取模块51、缩小模块52、输入模块53和判断模块54；其中：

所述获取模块51，用于获取目标轨道扣件的原始图像，所述原始图像具有第一分辨率；

所述缩小模块52，用于将所述扣件的原始图像从第一分辨率缩小到第二分辨率，形成第二分辨率图像；

所述输入模块53，用于将所述第二分辨率图像输入到第一神经网络模型，输出所述零件的分割图；

所述判断模块54，用于当所述零件分割图中零件的数量比零件的预计数量少时，则判断所述零件缺失。

本实施提供的检测装置对轨道扣件的零件缺失的检测过程，与本发明第一实施例提供的检测过程相同，在此不再赘述。

本发明实施例提供的一种轨道扣件的零件缺失检测装置，能够有效实现对轨道扣件的零件缺失进行高精度的检测，能够替代人工巡检，效果稳定高效。

图6示出了本发明第四实施例提供的一种轨道扣件的零件缺失检测装置的结构示意图，如图6所示，本实施例的轨道扣件的零件缺失检测装置，包括：获取模块61、缩小模块62、输入模块63、统计模块64和判断模块65，其中：

所述获取模块61，用于获取目标轨道扣件的原始图像，从所述扣件的原始图像中获取所述零件的原始图像，所述原始图像具有第一分辨率；

所述缩小模块62，用于将所述零件的原始图像从第一分辨率缩小到第三分辨率，形成第三分辨率图像；

所述输入模块63，用于将所述第三分辨率图像输入到第二神经网络模型，输出所述零件的分割图；

所述统计模块64，用于统计所述零件分割图中，零件的响应亮度值；

所述判断模块65，用于将所述零件的响应亮度值与预设的阈值进行比较，如果低于所述阈值，则判断所述零件缺失。

本实施提供的检测装置对轨道扣件的零件缺失的检测过程，与本发明第二实施例提供的检测过程相同，在此不再赘述。本发明实施例提供的一种轨道扣件的零件缺失检测装置，能够有效实现对轨道扣件的零件缺失进行高精度的检测，能够替代人工巡检，效果稳定高效。

图7示出了本发明第五实施例提供的一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器701、存储器702、总线703及存储在存储器702上并可在处理器701上运行的计算机程序；

其中，所述处理器701和存储器702通过所述总线703完成相互间的通信；

所述处理器701执行所述计算机程序时实现上述第一实施例和第二实施例提供的方法。

本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一实施例和第二实施例提供的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置/系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。