一种基于单目视觉的流水线工件距离测量方法以及装置与流程

1.本发明涉及图像定位技术领域，特别是涉及一种基于单目视觉的流水线工件距离测量方法、装置、设备以及计算机可读存储介质。


背景技术：

2.计算机技术和信号处理理论得到不断的发展，衍生出许多新的研究方向，机器视觉就是其中之一。机器视觉是研究图像信号与自动化控制领域的技术。将机器视觉应用在空间几何尺寸的测量上，就形成了图像测量的概念。基于视觉的距离测量方法及系统就是利用图像测量的方法，测量感兴趣目标与相机之间的距离，从而为系统的决策提供依据。现有的基于单目视觉的距离测量方法，一般是使用固定位置的相机，使用小孔成像原理进行目标深度的估计，检测物体出现偏差需要重新固定相机位置，并不能同时检测多个器件。
3.专利申请号为cn202011158472.1，名为“一种车端单目视觉测量相对精度置信度评估方法及系统”的中国发明专利采用相邻图像的相关方差计算进行三维位置的确定。专利申请号为cn202010675208.9，名为“一种机械臂姿态单目视觉测量方法、装置及电子设备”的中国发明专利使用位置固定的标志物来求解三维坐标的方法来进行位姿测量。流水线工件检测中，每一个工件都需要进行检测且需要测量每个工件和检测设备之间的距离，以便检测设备移动该距离对工件进行检测，上述的单目视觉测量方法均是待测物体和相机都是固定的，可流水线工件检测，测量设备是需要移动测量的，因此上述专利并不适用于流水线检测工件中。
4.综上所述可以看出，如何在流水线工件检测中实现移动测距是目前有待解决的问题。


技术实现要素：

5.本发明的目的是提供一种基于单目视觉的流水线工件距离测量方法、装置、设备以及计算机可读存储介质，解决了现有技术中的测距方法无法适用于流水线检测中的弊端。
6.为解决上述技术问题，本发明提供一种基于单目视觉的流水线工件距离测量方法，包括：
7.s1：将相机拍摄的待测工件图像进行去畸变处理，得到去畸变后图像；
8.s2：利用深度学习网络模型识别所述去畸变后图像中的标志物；
9.s3：当所述去畸变后图像中识别到标志物时，获取图像中标志物的图像坐标，控制所述相机移动至所述图像中标志物的图像坐标处，重新拍摄所述待测工件的图像并进行去畸变处理；
10.s4：利用所述深度学习网络模型定位所述图像中标志物的中心是否与当前去畸变后图像的中心重合；
11.s5：当所述图像中标志物的中心与所述当前去畸变后图像的中心重合时，获取所
述待测工件上标志物的位置坐标，根据epnp算法计算所述待测工件相对于所述相机的位姿信息和距离信息。
12.优选地，所述s5步骤后还包括：
13.根据所述位姿信息和所述距离信息控制检测装置移动至待测工件处进行检测；
14.判断所述待测装置是否通电；
15.当所述待测工件通电时，则所述待测工件视为合格；
16.当所述待测工件不通电时，则所述待测工件视为不合格，并进行标记。
17.优选地，所述将相机拍摄的待测工件图像进行去畸变处理，得到去畸变后图像包括：
18.根据张正友标定法对所述相机进行标定，得到相机内参以及畸变参数；
19.利用所述相机拍摄所述待测工件，得到所述待测工件图像；
20.根据所述畸变参数对所述待测工件图像进行处理，得到所述去畸变后图像。
21.优选地，所述利用深度学习网络模型识别所述去畸变后图像中的标志物还包括：
22.s21：当所述去畸变后图像中没有所述标志物时，则控制所述相机移动寻找所述标志物并控制相机重新拍摄所述待测工件；
23.s22：将相机重新拍摄所述待测工件的图像进行去畸变处理，得到新去畸变后图像，返回步骤s2。
24.优选地，所述利用所述深度学习网络模型定位所述图像中标志物的中心是否与当前去畸变后图像的中心重合还包括：
25.s41：当所述图像中标志物的中心与所述当前去畸变后图像的中心不重合，则获取所述图像中标志物新的位置坐标，控制所述相机移动到新的位置坐标；
26.s42：控制所述相机拍摄所述待测工件的图像，并进行去畸变处理，返回步骤s4。
27.优选地，所述根据epnp算法计算所述待测工件相对于所述相机的位姿信息和距离信息包括：
28.根据所述待测工件中标志物当前的位置坐标，构建标志物三维坐标；
29.构建虚拟控制点在世界坐标系中坐标；
30.计算所述虚拟控制点坐标于所述待测工件中标志物为三维坐标的坐标关系；
31.计算所述待测工件中标志物的坐标与所述虚拟控制点坐标的加权和；
32.根据所述待测工件中标志物的坐标与所述虚拟控制点坐标的加权和以及相机内参计算每个控制点与图像点之间的关系；
33.计算所述四个控制点之间的距离以及所述四个控制点在相机坐标系下的坐标；
34.根据所述四个控制点在相机坐标系下的坐标计算所述待测工件中标志物到所述相机的位姿信息和距离信息。
35.优选地，所述步骤s2和所述步骤s4均使用轻量级的特征提取网络和特征融合图操作，对图像中的标志物进行识别和定位。
36.本发明还提供了一种基于单目视觉的流水线工件距离测量的装置，包括：
37.图像处理模块，用于将相机拍摄的待测工件图像进行去畸变处理，得到去畸变后图像；
38.标志物识别模块，用于利用深度学习网络模型识别所述去畸变后图像中的标志
物；
39.移动控制模块，用于当所述去畸变后图像中识别到标志物时，获取图像中标志物的图像坐标，控制所述相机移动至所述图像中标志物的图像坐标处，重新拍摄所述待测工件的图像并进行去畸变处理；
40.标志物定位模块，用于利用所述深度学习网络模型定位所述图像中标志物的中心是否与当前去畸变后图像的中心重合；
41.距离计算模块，用于当所述图像中标志物的中心与所述当前去畸变后图像的中心重合时，获取所述待测工件上标志物的位置坐标，根据epnp算法计算所述待测工件相对于所述相机的位姿信息和距离信息。
42.本发明还提供了一种基于单目视觉的流水线工件距离测量的设备，包括：
43.相机，用于根据控制指令拍摄图像；
44.移动装置，根据控制指令控制所述相机进行移动；
45.存储器，用于存储计算机程序；
46.上位机，用于执行所述计算机程序时实现上述一种基于单目视觉的流水线工件距离测量方法的步骤。
47.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于单目视觉的流水线工件距离测量方法的步骤。
48.本发明所提供的一种基于单目视觉的流水线工件距离测量方法，采用相机拍摄待测图像，利用深度学习网络模型识别图像中是否有标志物，提高了识别的准确性，当检测到图像中有标志物时，获取标志物的图像坐标，移动相机至图像坐标位置；利用深度学习网络模型定位待测工件中标志物的位置，然后利用epnp算法计算待测工件中标志物到所述相机的位姿信息和距离信息，本发明将利用相机拍摄待测图像，移动整个相机和检测装置，然后识别图像中的标志物的位置信息，移动整个相机和检测装置，将图像的中心点与图像中标志物的中心点对齐，然后利用epnp算法计算待测工件中标志物到相机的距离信息与位姿信息，根据距离信息和位姿信息得到检测装置的移动距离，对待测装置进行检测。本发明通过移动相机识别与定位标志物的位置，然后进行测距，解决了现有技术中只能相机和待测都需要固定才能进行测距的弊端，实现了流水线工件检测的自动化，工件的识别、定位、检测均是一体化实现，提高了流水线工件检测的效率。
附图说明
49.为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1为本发明所提供的基于单目视觉的流水线工件距离测量方法的第一种具体实施例的流程图；
51.图2为本发明所提供的基于单目视觉的流水线工件距离测量方法的第二种具体实施例的流程图；
52.图3为本发所提供的基于单目视觉的流水线工件距离测量方法的步骤流程框图；
53.图4为本发明cspdarknet53-tiny模型结构图；
54.图5为检测模型的训练图；
55.图6为本发明实施例提供的一种基于单目视觉的流水线工件距离测量的装置的结构框图。
具体实施方式
56.本发明的核心是提供一种基于单目视觉的流水线工件距离测量方法，通过深度学习网络模型进行识别与定位，然后根据epnp算法计算距离信息，提高了流水线检测工件的效率。
57.为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.请参考图1，图1为本发明所提供的基于单目视觉的流水线工件距离测量方法的第一种具体实施例的流程图；具体操作步骤如下：
59.步骤s101：将相机拍摄的待测工件图像进行去畸变处理，得到去畸变后图像；
60.步骤s102：利用深度学习网络模型识别所述去畸变后图像中的标志物；
61.s21：当所述去畸变后图像中没有所述标志物时，则控制所述相机移动寻找所述标志物并控制相机重新拍摄所述待测工件；
62.s22：将相机重新拍摄所述待测工件的图像进行去畸变处理，得到新去畸变后图像，返回步骤s102。
63.步骤s103：当所述去畸变后图像中识别到标志物时，获取图像中标志物的图像坐标，控制所述相机移动至所述图像中标志物的图像坐标处，重新拍摄所述待测工件的图像并进行去畸变处理；
64.步骤s104：利用所述深度学习网络模型定位所述图像中标志物的中心是否与当前去畸变后图像的中心重合；
65.s41：当所述图像中标志物的中心与所述当前去畸变后图像的中心不重合，则获取所述图像中标志物新的位置坐标，控制所述相机移动到新的位置坐标；
66.s42：控制所述相机拍摄所述待测工件的图像，并进行去畸变处理，返回步骤s104。
67.步骤s105：当所述图像中标志物的中心与所述当前去畸变后图像的中心重合时，获取所述待测工件上标志物的位置坐标，根据epnp算法计算所述待测工件相对于所述相机的位姿信息和距离信息。
68.在本实施例中，本发明通过相机拍摄图像识别与定位标志物的位置，获取标志物中的图像信息，然后根据epnp算法计算标志物到相机的距离信息，提高了识别与定位的准确性。本发明通过移动相机识别与定位标志物的位置，然后进行测距，解决了现有技术中只能相机和待测都需要固定才能进行测距的弊端，实现了流水线工件检测的自动化，工件的识别、定位、检测均是一体化实现，提高了流水线工件检测的效率。
69.请参考图2和图3，图2为本发明所提供的基于单目视觉的流水线工件距离测量方
法的第二种具体实施例的流程图；图3为本发所提供的基于单目视觉的流水线工件距离测量方法的步骤流程框图；具体操作步骤如下：
70.步骤s201：根据张正友标定法对相机进行标定，得到相机内参以及畸变参数；
71.步骤s202：利用相机拍摄工件得到工件图像，并利用畸变参数进行去畸变操作；
72.相机需要一定的视野以满足抓拍到感兴趣的工件标志信息且相机应与电源插拔装置平行。结合实际情况，选择某型号相机且安装于预先设定的固定位置，该位置的相机中心点与电源插拔装置的中心点的横向与纵向距离分别为50mm与11mm。
73.图像畸变会导致图像定位结果的偏差，为了尽可能减少图像畸变对定位结果的影响，使用张正友标定法对相机进行标定进而获取图像的内参及畸变参数从而对图像进行去畸变的操作。除此之外，相机的内参亦是进行视觉测量的重要参数，该参数将直接用于距离测量相关数值计算。
74.步骤s203：识别所述工件图像中是否有电源口；
75.步骤s204：获取图像中电源口的图像坐标，控制相机移动至电源口位置；
76.步骤s205：定位图像中电源口的中心位置是否与图像的中心位置重合；
77.流水线工件每次停留的位置并不固定且工件的标志物位置也不固定，需要一定的策略去寻找该标志物。本专利使用扫描及基于深度学习的方法来寻找并定位工件标志物，即电源口位置。所谓扫描的方法指的是对工件所在区域进行上下左右的区域扫描来寻找标志物，一旦找到标志物则锁定该标志物，测量该标志物中心点到相机的距离。由于该标志物与工件在同一平面上，即工件到相机的距离与标志物到相机的距离相等，可以使用该距离作为相机到工件的距离。
78.当相机到达区域最左侧并以每次移动50毫米的速度向最右侧移动时，每次移动完成后，对工件标志物进行识别与定位，识别与定位的方法使用深度学习方法。考虑到边缘计算设备的计算资源有限，使用小网络模型进行工件标志物的识别与定位，采用cspdarknet53-tiny模型进行电源口的识别与定位，具体结构如图4所示。
79.在训练检测模型时，本发明使用了数据增强的方案，包括图片饱和度调整、曝光度调整与色度调整等且输入模型的图片大小设置为416*416，模型参数的优化方案使用带动量的sgd且使用预热操作以及预训练模型加快模型训练速度；模型的iou损失使用ciou损失，检测框的nms使用简单nms。模型训练中的损失与在测试集上的map值变化如下图5所示。从图中可以看到损失随着训练轮数的增加而逐渐降低，测试集上的map值随着训练轮数的增大而逐渐增大，最终稳定。
80.当标志物被识别并被定位后，锁定该标志物并使得图像的中心点与标志物的中心点重合，此时认为相机到达了指定的位置并获取此时标志物的位置坐标。
81.步骤s206：根据epnp算法计算电源口到相机的距离信息；
82.步骤s207：根据距离信息控制电源插拔装置进行移动，完成检测。
83.根据所述待测工件中标志物当前的位置坐标，构建标志物三维坐标；
84.构建虚拟控制点在世界坐标系中坐标；
85.计算所述虚拟控制点坐标于所述待测工件中标志物为三维坐标的坐标关系；
86.计算所述待测工件中标志物的坐标与所述虚拟控制点坐标的加权和；
87.根据所述待测工件中标志物的坐标与所述虚拟控制点坐标的加权和以及相机内
参计算每个控制点与图像点之间的关系；
88.计算所述四个控制点之间的距离以及所述四个控制点在相机坐标系下的坐标；
89.根据所述四个控制点在相机坐标系下的坐标计算所述待测工件中标志物到所述相机的位姿信息和距离信息。
90.根据所述位姿信息和所述距离信息控制检测装置移动至待测工件处进行检测；
91.判断所述待测装置是否通电；
92.当所述待测工件通电时，则所述待测工件视为合格；
93.当所述待测工件不通电时，则所述待测工件视为不合格，并进行标记。
94.在获取到标志物的位置坐标后，使用该位置坐标作为图像平面的坐标。对于标志物坐标而言，这里假设世界坐标系的原点在标志物平面的中心点。由于标志物的规格已知，标志物的为矩形并且长与宽分别为30mm与23mm。则标志物的四个顶点的三维与二维坐标已知。三维坐标分别为[-15.0,11.5,0],[15.0,11.5,0],[-15.0,-11.5,0],[15.0,-11.5,0]。二维坐标为检测得到标志物四个顶点的图像平面坐标。
[0095]
epnp算法一般要求已知三对共面或四对不共面世界坐标系与图像坐标系对应点，已知相机的内参以及畸变参数，根据该算法可以求出感兴趣的目标点对于相机的位姿及距离。假设目标工件标志物四个顶点坐标在世界坐标系中的坐标为四个虚拟控制点在世界坐标系下的非齐次坐标为则标志物四个顶点坐标与虚拟控制点的坐标关系为：
[0096][0097]
由线性关系在欧式变换下的不变性可知：
[0098][0099]
式中：c用来标注在相机坐标系下的坐标；齐次坐标最后一位为1，转换系数满足[a
i1
,a
i2
,a
i3
,a
i4
]
t
为权重，即标志物顶点在以虚拟控制点为基的欧式空间中的坐标且每个特征点可表示为四个虚拟控制点的加权和，如公式(3)所示：
[0100][0101]
假设特征点对应的图像坐标为(ui,vi),采用张正友标定法对相机进行标定而得到的相机内参矩阵为a，则有：
[0102][0103]
式中：si为特征点的投影深度；a为相机的内参矩阵，f
x
，fy，u
x
，vy为相机的内部参数。由公式(4)可知，每个特征点和像点之间的对应关系有：
[0104]
[0105][0106]
当有四个空间点和图像点对应时，可得到含八个方程的线性方程组，记为矩阵形式mx＝0，m为8
×
12矩阵，其中向量x为12
×
1向量，其中包含了四个虚拟控制点在相机坐标系下的非齐次坐标。根据欧式变换的保距性，四个特征点之间的距离已知，即可求出四个特征点在相机坐标系下的坐标，从而将求解三维到二维的pnp问题就转化为求解经典的三维到三维的刚体运动问题，进而求得目标工件的姿态信息与距离信息。
[0107]
当相机中心与标志物中心点对齐时，通过基于深度学习的标志物识别与定位算法得到标志物的中心点坐标以及标志物的四个顶点坐标。这时根据epnp算法即可求出相对于相机的旋转矩阵及平移矩阵。由于相机与标志物平行，相机相对于标志物的距离实际即为相对位姿中的纵向距离的值的大小，该值可以使用求出的旋转矩阵及平移矩阵求得。测量的结果与实际值如下表1所示。从该表可以看出，多次测量值与实际值较为接近，多次测量的平均值与实际值较为接近且差值最大为2.5mm，最小为0.21mm，相对误差最小为0.18％，最大为1.68％。除此之外，从数据中可以看出，当工件与相机的距离越大，测量的误差也越大。这也就意味着，在工件距离相机12cm到14.87cm的范围中，最大的测量误差仅为2.5mm，能够满足生产需求。
[0108]
表1为本发明实际距离与测量距离的对比表
[0109][0110]
本发明通过算法端与软件端通信通过mqtt发送json格式的消息来进行交互。软件端驱动相机在流水线工件所在区域周而复始的运动，同时深度学习算法识别标志物得到标志物的中心坐标，转换过后通过mqtt发送到软件端，软件端依据该坐标动作。当移动轴到达指定位置，即当相机中心与标志物中心重合时，算法端会发通过mqtt发送移动轴停止工作的指令到软件端使其停止工作。
[0111]
请参考图6，图6为本发明实施例提供的一种基于单目视觉的流水线工件距离测量的装置的结构框图；具体装置可以包括：
[0112]
图像处理模块100，用于将相机拍摄的待测工件图像进行去畸变处理，得到去畸变后图像；
[0113]
标志物识别模块200，用用于利用深度学习网络模型识别所述去畸变后图像中的
标志物；
[0114]
移动控制模块300，用于当所述去畸变后图像中识别到标志物时，获取图像中标志物的图像坐标，控制所述相机移动至所述图像中标志物的图像坐标处，重新拍摄所述待测工件的图像并进行去畸变处理；
[0115]
标志物定位模块400，用于利用所述深度学习网络模型定位所述图像中标志物的中心是否与当前去畸变后图像的中心重合；
[0116]
距离计算模块500，用于当所述图像中标志物的中心与所述当前去畸变后图像的中心重合时，获取所述待测工件上标志物的位置坐标，根据epnp算法计算所述待测工件相对于所述相机的位姿信息和距离信息。
[0117]
本实施例的一种基于单目视觉的流水线工件距离测量的装置用于实现前述的一种基于单目视觉的流水线工件距离测量方法，因此一种基于单目视觉的距离测量的装置中的具体实施方式可见前文中的一种基于单目视觉的流水线工件距离测量方法的实施例部分，例如，图像处理模块100，标志物识别模块200，移动控制模块300，标志物定位模块400，距离计算模块500，分别用于实现上述一种基于单目视觉的流水线工件距离测量方法中步骤s101，s102，s103，s104和s105，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
[0118]
本发明具体实施例还提供了一种基于单目视觉的流水线工件距离测量的设备，包括：相机，用于根据控制指令拍摄图像；
[0119]
移动装置，根据控制指令控制所述相机进行移动；
[0120]
存储器，用于存储计算机程序；
[0121]
上位机，用于执行所述计算机程序时实现上述一种基于单目视觉的流水线工件距离测量方法的步骤。
[0122]
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于单目视觉的流水线工件距离测量方法的步骤。
[0123]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0124]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0125]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0126]
以上对本发明所提供的一种基于单目视觉的流水线工件距离测量方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。