防松件断裂识别方法、系统、终端及存储介质与流程

1.本申请涉及质量检测技术，尤其是涉及一种防松件断裂识别方法、系统、终端及存储介质。


背景技术：

2.在高铁、地铁等轨道车辆中，通常通过螺栓等紧固件将多个部件连接。其中，为了防止紧固件松动引发安全事故，通常在两个紧固件之间穿过缠绕8字铁丝等防松件。轨道车辆运行过程中产生的振动等因素导致铁丝等防松件极易断裂。
3.相关技术中，通常是人工检查来判断防松件是否断裂。具体地，需要检查人员通过肉眼观察及手动拉动防松件来判断。然而，随着高铁车辆数量不断的增大，检测数量不断增大，检查压力大增，极易出现漏检。并且，在通过手动拉动防松件来判断时，很容易导致防松件变形，导致防松件的防松作用失效。


技术实现要素：

4.为了解决上述技术缺陷之一，本申请实施例中提供了一种防松件断裂识别方法、系统、终端及存储介质。
5.本申请第一方面实施例提供一种防松件断裂识别方法，包括：
6.根据预先采集的灰度图、预先采集的深度图确定点云数据；
7.根据所述点云数据进行分割，得到防松件的目标点云；
8.在得到的目标点云中存在不连通的点时，确定所述所述防松件断裂。
9.本申请第二方面实施例提供一种防松件断裂识别系统，包括：
10.第一处理模块，用于根据预先采集的灰度图、预先采集的深度图确定点云数据；
11.第二处理模块，用于根据所述点云数据进行分割，得到防松件的目标点云；
12.第三处理模块，用于在得到的目标点云中存在不连通的点时，确定所述所述防松件断裂。
13.本申请第三方面实施例提供一种终端，包括：
14.存储器；
15.处理器；以及
16.计算机程序；
17.其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如前述任一项所述的方法。
18.本申请第四方面实施例提供一种，计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如前述任一项所述的方法。
19.本申请实施例提供一种防松件断裂识别方法、系统、终端及存储介质，能够通过采集的防松件的图像信息获取防松件的，在点云数据中分割出防松件的区域并完成断裂判断，从而自动识别出断裂的防松件。本实施例相对于人工检测方式，检测效率更高，危险程
度低，数据可复验，可靠性较高。
附图说明
20.此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
21.图1为一示例性实施例提供的方法的流程示意图；
22.图2为一示例性实施例提供的方法的流程示意图；
23.图3为一示例性实施例提供的装置的流程示意图；
24.图4a为一示例性实施例提供的未断裂铁丝的示意图；
25.图4b为一示例性实施例提供的铁丝断裂示意图；
26.图4c为另一示例性实施例提供的铁丝断裂示意图。
具体实施方式
27.为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
28.相关技术中，通常是人工检查来判断防松件是否断裂。具体地，需要检查人员通过肉眼观察及手动拉动防松件来判断。然而，随着高铁车辆数量不断的增大，检测数量不断增大，检查压力大增，极易出现漏检。并且，在通过手动拉动防松件来判断时，很容易导致防松件变形，导致防松件的防松作用失效。
29.为了克服上述问题中的至少一个，本申请实施例提供一种防松件断裂识别方法、系统、终端及存储介质，能够通过采集的防松件的图像信息获取防松件的，在点云数据中分割出防松件的区域并完成断裂判断，从而自动识别出断裂的防松件。本实施例相对于人工检测方式，检测效率更高，危险程度低，数据可复验，可靠性较高。
30.下面结合附图对本申请实施例提供的防松件断裂识别方法、系统、终端及存储介质的功能及实现过程进行举例说明。
31.如图1所示，本实施例提供的防松件断裂识别方法，包括：
32.s101、根据预先采集的灰度图、预先采集的深度图确定点云数据；
33.s102、根据点云数据进行分割，得到防松件的目标点云；
34.s103、在得到的目标点云中存在不连通的点时，确定防松件断裂。
35.在步骤s101中，需预先采集防松件的灰度图及深度图。在具体实现时，可通过对齐的灰度相机及深度相机分别采集灰度图及深度图。其中，通过将灰度相机与深度相机对齐，利于用一个坐标系来描述，利于减轻后续的数据处理量。其中，灰度相机深度相机可为多组，多组灰度相机及深度相机可相互独立工作，以利于能够同时采集多个防松件的图像信息。
36.在获取到相机采集的图像信息后，根据图像信息确定防松件的点云数据，以利于后续基于三维空间立体视觉进行处理。具体地，步骤s101包括：
37.根据预先采集的灰度图获取防松件的位置信息；防松件的位置信息包括防松件的
二维坐标、防松件的宽度及高度；
38.根据防松件的位置信息从深度图中提取对应区域的深度值；
39.根据防松件的位置信息及提取的深度值确定防松件的点云数据。
40.本实施例中，不妨以防松件为铁丝来进行举例说明。可以理解的是：在其它示例中，防松件也可以为由其它材料制成的防松件。其中，铁丝完好也即铁丝未断裂时的示意图如图4a所示；铁丝的断裂示意图如图4b及4c所示。
41.基于灰度图进行铁丝位置的检测定位。具体可以采用基于深度学习的卷积神经网络，例如faster r
‑
cnn等目标检测网络，从灰度图中检测铁丝的位置；输出一张图中多个铁丝的位置信息[x1,y1,w,h]，其中x1、y1为铁丝左上角坐标，w、h分别为铁丝的宽和高。
[0042]
根据检测出的铁丝的位置信息，在深度图上提取出对应区域的深度值，并根据相机内参得到对应的三维点云数据，数据维度为n*3，n表示铁丝整体的点云数量，3是x、y、z坐标维度。
[0043]
在步骤s102中，基于深度学习完成点云的分割，从中分割出防松件对应的目标点云，以过滤掉紧固件等干扰项的点云数据。具体地，在步骤s102之前，可通过深度学习预先训练出对应的检测模型。在步骤s102中，根据训练出来的检测模型及获取灰度图，将防松件与紧固件的点云分割，取防松件的点云作为目标点云进行后续处理，从而利于提高对防松件的断裂识别的准确性。其中，训练检测模型的方法可采用本领域的常规技术，本实施例此处不做具体限定。
[0044]
在步骤s102中，输入的是步骤s101得到的n*3点云数据，输出的是n*3铁丝点云，n表示目标点云的数量，n<n。
[0045]
在步骤s103中，可通个判断n*3铁丝点云是否连通来判断防松件是否断裂。如此，可以在三维点云中分割出铁丝的区域并完成断裂判断，实现基于三维空间立体视觉对螺栓防松铁丝断裂的自动识别。
[0046]
其中，每个点与其他n
‑
1个点的最近邻欧氏距离小于等于预设的dis_thresh阈值时，确定点云连通。dis_thresh的设置与相机精度有关，本实施例此处不做具体限定。
[0047]
具体地，步骤s103包括：
[0048]
分别获取目标点云中各点与其余点的最近邻欧式距离；
[0049]
在最近邻欧式距离大于阈值时，确定最近邻欧式距离大于阈值的点处断裂，确定防松件断裂；
[0050]
在目标点云中各点与其余点的最近邻欧式距离均小于或等于阈值，则确定该防松件没有断裂。
[0051]
本申请实施例提供一种防松件断裂识别方法，能够通过采集的防松件的图像信息获取防松件的，在点云数据中分割出防松件的区域并完成断裂判断，从而基于三维空间立体视觉实现对螺栓防松铁丝断裂的自动识别。本实施例相对于人工检测方式，检测效率更高，危险程度低，数据可复验，可靠性较高。
[0052]
下面以防松件为铁丝为例对本实施例的方法的实现过程进行举例说明。如图2所示，该方法包括如下步骤：
[0053]
采集灰度图和深度图。采用具有灰度和深度对齐相机拍摄，基于灰度图可以完成铁丝位置的定位，深度相机可以获取三维点云数据。
[0054]
基于灰度图的卷积神经网络进行铁丝检测定位。基于灰度图的卷积神经网络进行铁丝检测定位。基于灰度图完成铁丝位置的检测定位，可以采用基于深度学习的卷积神经网络，例如faster r
‑
cnn等目标检测网络，输出一张图中多个铁丝的位置信息[x1,y1,w,h]，其中x1,y1为铁丝左上角坐标，w,h为铁丝的宽和高。在具体实现时，可预先通过卷积神经网络训练处铁丝检测模型，在获取到铁丝的灰度图后，可根据铁丝检测模型及灰度图完成铁丝位置的检测定位。
[0055]
基于检测结果在深度图提取出对应区域的点云。根据检测结果在深度图上提取出对应区域的深度值并根据相机内参得到对应的三维点云数据，数据维度为n*3，n表示点云数量，3是x,y,z坐标维度。
[0056]
基于深度学习的螺栓和铁丝点云分割算法。基于深度学习完成点云的分割，输入是第3步的n*3点云数据，输出是n*3铁丝点云，n<n。
[0057]
基于点云分割结果判断铁丝是否断裂。判断n*3铁丝点云是否连通，如果不连通则铁丝断裂，如果连通则铁丝正常。点云连通性的定义为：每个点与其他n
‑
1个点的最近邻欧氏距离小于等于dis_thresh阈值，dis_thresh的设置与相机精度有关。
[0058]
本实施例提供的防松件断裂识别方法，能够三维空间立体视觉实现对断裂的防松件的自动检测，可以在三维点云中分割出铁丝的区域并完成断裂判断，和人工检测相比有速度快、危险程度低、数据可复验等优点。
[0059]
本实施例还提供一种防松件断裂识别系统，其是与前述方法实施例相对应的产品实施例，其功能与实现过程与前述实施例相同或相似，本实施例此处不再赘述。
[0060]
如图3所示，一种防松件断裂识别系统，包括：
[0061]
第一处理模块11，用于根据预先采集的灰度图、预先采集的深度图确定点云数据；
[0062]
第二处理模块12，用于根据点云数据进行分割，得到防松件的目标点云；
[0063]
第三处理模块13，用于在得到的目标点云中存在不连通的点时，确定防松件断裂。
[0064]
在其中一种可能的实现方式中，第一处理模块11具体用于：
[0065]
根据预先采集的灰度图获取防松件的位置信息；
[0066]
根据防松件的位置信息从深度图中提取对应区域的深度值；
[0067]
根据防松件的位置信息及提取的深度值确定防松件的点云数据。
[0068]
在其中一种可能的实现方式中，防松件的位置信息包括防松件的二维坐标、防松件的宽度及高度。
[0069]
在其中一种可能的实现方式中，第三处理模块13具体用于：
[0070]
分别获取目标点云中各点与其余点的最近邻欧式距离；
[0071]
在最近邻欧式距离大于阈值时，确定最近邻欧式距离大于阈值的点处断裂，确定防松件断裂。
[0072]
在其中一种可能的实现方式中，第一处理模块11还用于：
[0073]
获取通过对齐的灰度相机及深度相机分别采集的灰度图及深度图。
[0074]
本申请实施例提供一种防松件断裂识别系统，能够通过采集的防松件的图像信息获取防松件的，在点云数据中分割出防松件的区域并完成断裂判断，从而自动识别出断裂的防松件。本实施例相对于人工检测方式，检测效率更高，危险程度低，数据可复验，可靠性较高。
[0075]
本实施例提供一种终端，包括：
[0076]
存储器；
[0077]
处理器；以及
[0078]
计算机程序；
[0079]
其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现相应的方法。
[0080]
存储器用于存储计算机程序，处理器在接收到执行指令后，执行计算机程序，前述相应实施例揭示的流过程定义的装置所执行的方法可以应用于处理器中，或者由处理器实现。
[0081]
存储器可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。存储器可通过至少一个通信接口(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
[0082]
处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，实施例一揭示的方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的相应方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0083]
结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0084]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以相应的方法。其具体实现可参见方法实施例，在此不再赘述。
[0085]
需要说明的是：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。在这里示出和描述的所有示例中，除非另有规定，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
[0086]
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段或代码的一部分，单元、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0087]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0088]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0089]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0090]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0091]
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
[0092]
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。