一种铆钉膨胀量检测方法、装置、存储介质及设备与流程

1.本技术实施例涉及航空制造技术领域，尤其涉及一种铆钉膨胀量检测方法、装置、存储介质及设备。


背景技术：

2.随着中国经济的发展，中国航空运输业得到了快速发展，航空业是交通运输的重要组成部分，是支撑国民经济的先导性产业，对国民经济和社会发展以及对外开放发挥着越来越重要的作用。
3.在飞机装配过程中，铆钉是飞机的重要组成部分，每架飞机大约需要使用几十万个铆钉，铆钉利用自身形变或过盈连接被铆接件，铆接的强度和质量直接影响飞机航行安全。因此，在开展生产之前均需进行试验测试铆接后的铆钉膨胀量，通过铆钉膨胀量来估计铆钉受力是否均匀或者是否紧固。目前，铆钉膨胀量检测方法采用的是人工使用游标卡尺检测的方法。其中，过盈是利用材料的弹性使孔扩大、变形而套在轴上，当孔复原时产生对轴的箍紧力，使得两个被铆接件连接。
4.采用人工使用游标卡尺检测的方法对铆钉膨胀量进行检测，检测效率低，不能实时的进行检测。


技术实现要素：

5.本技术实施例提供一种铆钉膨胀量检测方法、装置、存储介质及设备，通过使用机器视觉检测方法检测铆钉膨胀量，可以提高检测效率，且可以实时检测铆钉膨胀量。
6.第一方面，本技术实施例提供了一种铆钉膨胀量检测方法，该方法包括：
7.获取到待检测的铆钉图像；
8.对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息；
9.根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
10.第二方面，本技术实施例提供了一种铆钉膨胀量检测装置，该装置包括：
11.待检测的铆钉图像获取模块，用于获取到待检测的铆钉图像；
12.特征像素点信息获取模块，用于对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息；
13.铆钉膨胀量的实际尺寸计算模块，用于根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
14.第三方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术实施例所述的铆钉膨胀量检测方法。
15.第四方面，本技术实施例提供了一种设备，包括存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本技术实施例所述的铆钉膨胀量检测方法。
16.本技术实施例所提供的技术方案，获取到待检测的铆钉图像，对待检测的铆钉图像进行特征提取，可以得到目标检测区域的特征像素点信息，并根据目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。通过执行本技术方案，通过使用机器视觉检测方法检测铆钉膨胀量，可以提高检测效率，且可以实时检测铆钉膨胀量。
附图说明
17.图1是本技术实施例一提供的铆钉膨胀量检测方法的流程图；
18.图2是本技术实施例二提供的铆钉膨胀量检测过程的示意图；
19.图3是本技术实施例三提供的铆钉膨胀量检测过程的示意图；
20.图4是本技术实施例四提供的铆钉膨胀量检测装置的结构示意图；
21.图5是本技术实施例六提供的一种设备的结构示意图。
具体实施方式
22.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本技术，而非对本技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本技术相关的部分而非全部结构。
23.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
24.实施例一
25.图1是本技术实施例一提供的铆钉膨胀量检测方法的流程图，本实施例可适用于对铆钉膨胀量进行检测的情况，该方法可以由本技术实施例所提供的铆钉膨胀量检测装置执行，该装置可以由软件和/或硬件的方式来实现，并可集成于用于膨胀量检测的智能终端等设备中。
26.如图1所示，所述铆钉膨胀量检测方法包括：
27.s110、获取到待检测的铆钉图像。
28.其中，铆钉可以是在铆接中，利用自身形变或过盈连接被铆接件的零件。铆钉种类很多，例如，金属铆钉，其中，金属铆钉是依靠金属材料的塑性二次成型，形成加固面来实现部件之间连接的方式。
29.其中，待检测的铆钉图像可以是利用相机进行拍摄铆钉得到的铆钉图像。其中，相机可以是工业相机、双目相机或者3d摄像头等。
30.在本技术方案中，可选的，获取到待检测的铆钉图像，包括：
31.接收由图像采集系统通过5g通讯技术传输的待检测的铆钉图像。
32.其中，图像采集系统可以是用来获取铆钉图像的系统，可以根据铆钉膨胀量的检测精度选择合适的工业相机进行拍摄图像，可以采用背光打光，背光源具有亮度高、寿命长、发光均匀的特点。其中，铆钉膨胀量可以是铆钉受热时其长度、面积以及体积的变化量，通过铆钉膨胀量可以评估铆钉受力是否均匀或者是否紧固等。
33.其中，5g通讯技术是最新一代蜂窝移动通信技术。其性能目标是高数据速率、减少延迟、节省能源、降低成本、提高系统容量和大规模设备连接。
34.其中，接收由图像采集系统通过5g通讯技术传输的待检测的铆钉图像，可以是由图像采集系统对铆钉图像进行采集，获取到待检测的铆钉图像后通过5g通讯技术将待检测的铆钉图像传输至云端服务器，云端服务器接收待检测的铆钉图像。其中，云端服务器是具有高度分布式、高度虚拟化的一种信息化管理平台，可以使网络资源充分得到利用。
35.通过5g通讯技术将由图像采集系统获取到的待检测的铆钉图像传输至云端服务器，云端服务器可以直接获取到待检测的铆钉图像，可以实时的对铆钉图像进行处理。待检测的铆钉图像由图像采集系统专门进行采集，可以根据不同检测精度选择不同的相机，获得的待检测的铆钉图像精度较高，且由5g通讯技术将获得的待检测的铆钉图像传输至云端服务器，传输速度快，成本低以及节省了能源。
36.s120、对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息。
37.其中，目标检测区域可以是目标铆钉图像中的某一检测区域，也可以是目标铆钉图像中的多个检测区域，目标铆钉图像中包含有至少一个目标检测区域。其中，目标铆钉图像可以是对待检测的铆钉图像进行处理以后得到的铆钉图像。其中处理可以是对待检测的铆钉图像进行滤波处理、二值化处理或者图像均衡处理等。
38.其中，特征像素点信息可以是特征像素点的在图像中的坐标位置。
39.其中，特征提取可以是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。
40.其中，对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息，可以是通过对待检测的铆钉图像进行处理，获取到高质量的目标铆钉图像，对目标铆钉图像进行特征提取，获得目标铆钉图像的特征像素点信息，进而获得目标检测区域的特征像素点信息。
41.s130、根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
42.其中，目标检测区域铆钉膨胀量的实际尺寸可以是目标检测区域铆钉的形变量的实际尺寸。例如，目标检测区域铆钉的原始直径是5毫米，经过形变以后，目标检测区域的现有直径为5.5毫米，则目标检测区域铆钉膨胀量的实际尺寸为0.5毫米。
43.其中，根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸，可以是通过计算目标检测区域的特征像素点的变化量，来计算目标检测区域铆钉膨胀量的实际尺寸。
44.在本技术方案中，可选的，在获取到待检测的铆钉图像之前，所述方法还包括：
45.对图像采集系统中的工业相机进行标定，以获得铆钉图像的像素点距离与铆钉膨胀量实际尺寸之间的对应关系；
46.相应的，根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸，包括：
47.根据所述像素点距离与铆钉膨胀量实际尺寸之间的对应关系，以及所述目标检测
区域的特征像素点信息，计算目标检测区域铆钉膨胀量的实际尺寸。
48.其中，对图像采集系统中的工业相机进行标定，可以是在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，而建立的相机成像的几何模型，这些几何模型参数就是相机参数，求解参数的过程就是对图像采集系统中的工业相机的标定。常用的相机标定方法有基于主动视觉的相机自标定方法、分层逐步标定方法以及棋盘格标定方法等。其中，基于主动视觉的相机自标定方法是在所需位置拍摄图像，并利用拍摄的图像计算相机的内部参数以及外部参数；分层逐步标定方法是首先选出合适的图像作为参考，并以选定的图像作为基准进行后续相机的标定，计算出相机的各种未知参数；棋盘格标定方法是将实际图像坐标系和像素点坐标系之间转换，通过获得图像像素点坐标，将图像像素点坐标转化为实际图像坐标，可以获得图像的实际尺寸。优选的，选取棋盘格标定方法对图像采集系统中的工业相机进行标定，通过采用棋盘格标定方法，可以提升相机标定的精度，提高获得目标铆钉膨胀量的准确率。
49.其中，对图像采集系统中的工业相机进行标定，以获得铆钉图像的像素点距离与铆钉膨胀量实际尺寸之间的对应关系，可以是采用棋盘格标定方法对工业相机进行标定，对工业相机标定以后，可以获得铆钉图像的像素点距离与铆钉膨胀量实际尺寸之间的对应关系。
50.通过获得目标检测区域的特征像素点信息，并根据像素点距离与铆钉膨胀量实际尺寸之间的对应关系，可以计算出目标检测区域铆钉膨胀量的实际尺寸。可以提高检测效率，且可以实时检测铆钉膨胀量。
51.本技术实施例所提供的技术方案，获取到待检测的铆钉图像，对待检测的铆钉图像进行特征提取，可以得到目标检测区域的特征像素点信息，并根据目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。通过执行本技术方案，通过使用机器视觉检测方法检测铆钉膨胀量，可以提高检测效率，且可以实时检测铆钉膨胀量。
52.实施例二
53.图2是本发明实施例二中的铆钉膨胀量检测过程的示意图，本实施例二在实施例一的基础上进行进一步地优化。具体优化为：在获取到待检测的铆钉图像之后，所述方法还包括：对所述待检测的铆钉图像进行图像预处理，以获得目标铆钉图像；对所述目标铆钉图像进行特征提取，以获得目标检测区域的特征像素点信息。如图2所示，所述方法包括：
54.s210、获取到待检测的铆钉图像。
55.s220、对所述待检测的铆钉图像进行图像预处理，以获得目标铆钉图像。
56.其中，图像预处理可以是滤波处理，滤波处理是对图像中噪声的干扰进行消除。常用的滤波方法有最大值滤波、最小值滤波或者均值滤波等，其中，最大值滤波首先要排序周围像素和中心像素值，然后将中心像素值与最大像素值比较，如果中心像素比最大值大，则替换中心像素为最大值；最小值滤波首先要排序周围像素和中心像素值，然后将中心像素值与最小像素值比较，如果比最小值小，则替换中心像素为最小值；均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素，以目标像素为中心的周围8个像素，构成一个滤波模板，即包括目标像素本身，再用模板中的全体像素的平均值来代替原来像素值。
57.s230、对所述目标铆钉图像进行特征提取，以获得目标检测区域的特征像素点信
息。
58.在一个可行的实施例中，对所述目标铆钉图像进行特征提取，以获得目标检测区域的特征像素点信息，可以是通过对目标铆钉图像进行特征提取，获得目标铆钉图像的特征像素点信息，进而获得目标检测区域的特征像素点信息。
59.在本技术方案中，可选的，对所述目标铆钉图像进行特征提取，得到目标检测区域的特征像素点信息，包括：
60.对目标铆钉图像中的至少一个目标检测区域进行特征提取，以获得至少一个目标检测区域的轮廓特征；
61.根据所述至少一个目标检测区域的轮廓特征，计算至少一个目标检测区域的特征像素点的坐标；
62.根据所述至少一个目标检测区域的特征像素点的坐标，计算至少一个目标检测区域的特征像素点距离。
63.其中，至少一个目标检测区域可以是目标铆钉图像中的某一检测区域，也可以是目标铆钉图像中的多个检测区域。示例性的，可以选取目标铆钉图像中的50个检测区域作为目标检测区域，也可以选取目标铆钉图像中的100个检测区域作为目标检测区域，或者选取目标铆钉图像中的500个检测区域作为目标检测区域。优选的，选取目标铆钉图像中的100个检测区域作为目标检测区域，选取100个检测区域作为目标检测区域，可以分散的对目标铆钉图像进行检测，使得对目标铆钉图像的检测更加准确，且目标检测区域的选取数量不会造成计算量过大的问题。
64.其中，轮廓可以是一系列相连的点组成的曲线，代表了物体的基本外形。
65.其中，根据所述至少一个目标检测区域的轮廓特征，计算至少一个目标检测区域的特征像素点的坐标，可以是通过获取到至少一个目标检测区域的轮廓特征，可以获得目标检测区域的特征像素点信息，进而获得至少一个目标检测区域的特征像素点的坐标。
66.在本实施例中，根据目标检测区域的特征像素点的坐标，计算目标检测区域的特征像素点距离，可以是根据获得目标检测区域的特征像素点的坐标，通过计算特征像素点的坐标，从而计算目标检测区域的特征像素点距离。
67.通过获取到至少一个目标检测区域的特征像素点的坐标，可以计算至少一个目标检测区域的铆钉膨胀量，通过使用机器视觉检测方法检测铆钉膨胀量，可以提高检测效率，且可以实时检测铆钉膨胀量。
68.s240、根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
69.本技术实施例所提供的技术方案，获取到待检测的铆钉图像，对待检测的铆钉图像进行滤波处理，获得目标铆钉图像，对目标铆钉图像进行特征提取，可以获得目标检测区域的特征像素点信息，并根据目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。通过执行本技术方案，通过使用机器视觉检测方法检测铆钉膨胀量，可以提高检测效率，且可以实时检测铆钉膨胀量。
70.实施例三
71.图3是本发明实施例三中的铆钉膨胀量检测过程的示意图，本实施例三在实施例一的基础上进行进一步地优化。具体优化为：在根据所述目标检测区域的特征像素点信息
计算目标检测区域铆钉膨胀量的实际尺寸之后，所述方法还包括：将目标检测区域铆钉膨胀量的实际尺寸形成检测报告进行反馈。如图3所示，所述方法包括：
72.s310、获取到待检测的铆钉图像。
73.s320、对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息。
74.s330、根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
75.s340、将目标检测区域铆钉膨胀量的实际尺寸形成检测报告进行反馈。
76.其中，检测报告可以是目标检测区域铆钉膨胀量的实际尺寸形成的折线，也可以是目标检测区域铆钉膨胀量的实际尺寸形成的表格，或者可以是目标检测区域铆钉膨胀量的实际尺寸形成的柱状图等。优选的，检测报告可以是目标检测区域铆钉膨胀量的实际尺寸形成的折线，折线图可以更加直观的展示目标检测区域铆钉膨胀量的实际尺寸，方便工作人员对目标检测区域铆钉膨胀量的实际尺寸进行查看。
77.本技术实施例所提供的技术方案，获取到待检测的铆钉图像，对待检测的铆钉图像进行特征提取，可以得到目标检测区域的特征像素点信息，并根据目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸，将目标检测区域铆钉膨胀量的实际尺寸形成检测报告进行反馈。通过执行本技术方案，通过使用机器视觉检测方法检测铆钉膨胀量，可以提高检测效率，且可以实时检测铆钉膨胀量，将目标检测区域铆钉膨胀量的实际尺寸形成检测报告，并进行反馈，方便工作人员查看铆钉膨胀量。
78.实施例四
79.图4是本实施例四提供的铆钉膨胀量检测装置的结构示意图，如图4所示，所述装置包括：
80.待检测的铆钉图像获取模块410，用于获取到待检测的铆钉图像；
81.特征像素点信息获取模块420，用于对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息；
82.铆钉膨胀量的实际尺寸计算模块430，用于根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
83.在本技术方案中，可选的，待检测的铆钉图像获取模块410，具体用于：
84.接收由图像采集系统通过5g通讯技术传输的待检测的铆钉图像。
85.在本技术方案中，可选的，所述装置还包括：
86.目标铆钉图像获取模块，用于对所述待检测的铆钉图像进行滤波处理，以获得目标铆钉图像。
87.在本技术方案中，可选的，特征像素点信息获取模块420，包括：
88.轮廓特征获取单元，用于对目标铆钉图像中的至少一个目标检测区域进行特征提取，以获得至少一个目标检测区域的轮廓特征；
89.特征像素点的坐标计算单元，用于根据所述至少一个目标检测区域的轮廓特征，计算至少一个目标检测区域的特征像素点的坐标；
90.特征像素点的直径计算单元，用于根据所述至少一个目标检测区域的特征像素点的坐标，计算至少一个目标检测区域的特征像素点距离。
91.在本技术方案中，可选的，所述装置还包括：
92.相机标定模块，用于对图像采集系统中的工业相机进行标定，以获得铆钉图像的像素点与铆钉膨胀量实际尺寸之间的对应关系；
93.铆钉膨胀量的实际尺寸计算模块，用于根据所述像素点与铆钉膨胀量实际尺寸之间的对应关系，以及所述目标检测区域的特征像素点信息，计算目标检测区域铆钉膨胀量的实际尺寸。
94.在本技术方案中，可选的，所述装置还包括：
95.反馈模块，用于将目标检测区域铆钉膨胀量的实际尺寸形成检测报告进行反馈。
96.上述产品可执行本技术实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
97.实施例五
98.本技术实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种铆钉膨胀量检测方法，该方法包括：
99.获取到待检测的铆钉图像；
100.对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息；
101.根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
102.存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddr ram、sram、edo ram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
103.当然，本技术实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的铆钉膨胀量检测操作，还可以执行本技术任意实施例所提供的铆钉膨胀量检测方法中的相关操作。
104.实施例六
105.本技术实施例提供了一种设备，该设备中可集成本技术实施例提供的铆钉膨胀量检测装置。图5是本技术实施例六提供的一种设备的结构示意图。如图5所示，本实施例提供了一种设备500，其包括：一个或多个处理器520；存储装置510，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器520执行，使得所述一个或多个处理器520实现本技术实施例所提供的铆钉膨胀量检测方法，该方法包括：
106.获取到待检测的铆钉图像；
107.对所述待检测的铆钉图像进行特征提取，得到目标检测区域的特征像素点信息；
108.根据所述目标检测区域的特征像素点信息计算目标检测区域铆钉膨胀量的实际尺寸。
109.当然，本领域技术人员可以理解，处理器520还实现本技术任意实施例所提供的铆钉膨胀量检测方法的技术方案。
110.图5显示的设备500仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
111.如图5所示，该设备500包括处理器520、存储装置510、输入装置530和输出装置540；设备中处理器520的数量可以是一个或多个，图5中以一个处理器520为例；设备中的处理器520、存储装置510、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线550连接为例。
112.存储装置510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块单元，如本技术实施例中的铆钉膨胀量检测方法对应的程序指令。
113.存储装置510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
114.输入装置530可用于接收输入的数字、字符信息或语音信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏、扬声器等设备。
115.本技术实施例提供的设备，可以达到提高铆钉膨胀量检测速度以及处理效果的目的。
116.上述实施例中提供的铆钉膨胀量检测装置、存储介质及设备可执行本技术任意实施例所提供的铆钉膨胀量检测方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的铆钉膨胀量检测方法。
117.注意，上述仅为本技术的较佳实施例及所运用技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术构思的情况下，还可以包括更多其他等效实施例，而本技术的范围由所附的权利要求范围决定。