适用于汽车挡风玻璃自动安装系统的双目视觉定位方法

1.本发明涉及图像处理及计算机视觉领域，尤其涉及适用于汽车挡风玻璃自动安装系统的双目视觉定位方法。


背景技术：

2.汽车挡风玻璃安装的质量涉及到汽车防漏水、抗噪性能、车身刚度和安全性等，而装配质量的好坏最终取决于安装挡风玻璃时的定位。随着自动化水平的提高，尤其是工业机器人的加入，汽车挡风玻璃安装逐步实现自动化，定位挡风玻璃安装位置越来越重要。但是目前国内整车厂未能全部实现挡风玻璃自动安装，主要原因有：
3.1.总装流水线的随机误差，机器人无法进行位姿补偿；
4.2.车身制造误差，如焊接、冲压等造成的累计误差，这也是随机的；
5.3.机器人关节磨损带来的重复定位误差，导致机器人无法准确到达指定位置；
6.4.车身上缺少标志物，并且在挡风玻璃安装工序中不能够物理粘贴标志物，否则可能会损伤车漆，降低生产效率，而且不能够保证粘贴位置精确无误，这使得不能使用一般的视觉检测方法。
7.中国公开专利cn111994188a公开了一种汽车玻璃自动安装系统及其控制方法，通过双目视觉辅助结构光完成安装位置的定位，实现全自动化安装，但是这种方法采用的结构光装置价格高昂，并且需要不停地调整双目相机和结构光装置以适应多车型混合生产的需求，增大了调整难度和成本，同时降低了生产效率。


技术实现要素：

8.针对现有视觉定位困难和设备成本高的问题，本发明提出适用于汽车挡风玻璃自动安装系统的双目视觉定位方法。本发明采用结构光标记辅助的双目视觉，利用边缘提取算子获取图像中的边缘点，然后利用ransac算法拟合直线，获得图像中的特定点。接着利用立体匹配算法提取图像中的特征点，并利用距离筛选和ransac算法，得到正确匹配点并拟合出安装平面，获得平面法向量。最后平面法向量转为姿态补偿量，将特定点位置转为位姿补偿量，得到机器人位姿补偿量。本发明能够不受随机误差的干扰，可以对挡风玻璃安装平面进行准确定位，提高挡风玻璃安装质量。
9.为了实现本发明目的，本发明提供适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，包括以下步骤：
10.机器人末端到达标定的安装位置后开启结构光装置；
11.获取标定的安装位置的双目图像，基于所述双目图像获得去除畸变后的双目图像；
12.对双目图像进行预处理，获得包含边缘的边缘图像和灰度图像；
13.利用霍夫变换和基于ransac算法的拟合方法提取边缘图像中的特定点；
14.利用双目立体匹配算法提取左右灰度化图像中的特征点并得到匹配点；
15.结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置；
16.利用匹配点拟合出挡风玻璃安装平面，并获得拟合平面在世界坐标系下的法向量；
17.将平面的法向量转成rpy角表示，获得挡风玻璃安装平面的姿态；
18.通过求取获得的所述挡风玻璃安装平面的位置与所述标定的安装位置、所述挡风玻璃安装平面的姿态与标定平面姿态做差，得到机器人末端位姿补偿量。
19.对本发明方案的进一步改进，所述的结构光装置安装在机器人末端的夹具上。
20.对本发明方案的进一步改进，所述对获取的双目图像进行矫正，具体包括以下步骤：
21.利用相机标定得到畸变参数，所述畸变参数包括径向畸变参数k1，以及切向畸变参数p1,p2，纠正归一化图像平面上的点坐标(x,y)：
[0022][0023]
利用相机标定得到的内参，将纠正后的归一化图像投影到图像平面，得到矫正后的图像：
[0024][0025]
对本发明方案的进一步改进，所述对获取的双目图像进行预处理，具体包括以下步骤：
[0026]
根据r、g、b三个色彩分量加权，将获得的rgb色彩的双目图像转成灰度化图像，某一像素点的灰度值gray为：
[0027]
gray＝0.2989r+0.5870g+0.1140b
ꢀꢀꢀ
(3)
[0028]
利用预标定的参数，指定左右图像中roi区域的位置和大小，将roi区域分割出来。
[0029]
利用高斯滤波对roi提取后的图像进行平滑处理，获得滤波后的图像。
[0030]
利用canny边缘算子提取滤波后图像中的边缘信息，获得二值化的边缘图像。
[0031]
对本发明方案的进一步改进，所述提取左右图像的特定点中，采用霍夫变换和基于ransac的拟合方法，提取出目标点的位置。
[0032]
对本发明方案的进一步改进，所述利用霍夫变换和基于ransac算法的拟合方法，根据特定点的不同，具体的数学模型也不同。例如特定点为圆心，则霍夫变换和ransac算法是先检测(拟合)圆，再确定圆心。
[0033]
对本发明方案的进一步改进，所述提取左右灰度化图像的特定点中，使用的图像是经过canny算子提取出的二值化的边缘图像。
[0034]
对本发明方案的进一步改进，所述双目立体匹配算法是基于特征的局部立体匹配算法。
[0035]
对本发明方案的进一步改进，所述利用双目立体匹配算法提取左右灰度化图像中
的特征点并得到匹配点，根据距离剔除部分误匹配点，包括以下步骤：
[0036]
提取双目图像中的sift特征点并进行匹配；
[0037]
根据匹配点的距离进行排序，选取距离最小的前n对匹配点作为最终的匹配点。
[0038]
对本发明方案的进一步改进，所述结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置，包括以下步骤：
[0039]
根据特征点和匹配点在图像上的坐标(u,v)，获得双目图像中的视差d；
[0040]
结合相机标定得到的焦距f、基线距离b，求特定点和匹配点在左相机坐标系下的空间坐标(x
c
,y
c
,z
c
)，得到空间点集q
k
'：
[0041][0042]
结合相机标定得到的齐次外参矩阵t，求得特定点和匹配点在世界坐标系下的空间坐标(x
w
,y
w
,z
w
)，得到空间点集q
k
：
[0043][0044]
挡风平面安装位置可以由特定点corners
measured
位置确定。
[0045]
corners
measured
＝(x
m
,y
m
,z
m
)
ꢀꢀꢀ
(6)
[0046]
其中，下标measured表示测量值，下标m是特定点在世界坐标系下的坐标表示。
[0047]
对本发明方案的进一步改进，所述利用特定点和匹配点拟合出挡风玻璃安装平面的方法原理是ransac算法，在空间点集q
k
中随机抽取三个点，拟合出一个平面，计算其他点离该平面的距离，认为小于某一个距离的点是包括在这个平面内的，然后再随机抽取三个点，重复以上步骤，达到迭代次数后，包含点最多的平面即为所需平面。
[0048]
对本发明方案的进一步改进，所述的包含点最多的平面即为的所需平面，该平面方程为：
[0049]
ax
w
+by
w
+cz
w
+d＝0
ꢀꢀꢀ
(7)
[0050]
获得的平面法向量为
[0051][0052]
对本发明方案的进一步改进，所述将平面的法向量转成rpy角表示，获得挡风玻璃安装平面的姿态，包括以下步骤：
[0053]
计算绕世界坐标系的z轴转动的角度r
zw
：
[0054]
rz
w
＝atan2(b,a)
ꢀꢀꢀ
(9)
[0055]
计算绕局部坐标系的y’轴转动的角度r
y3
：
[0056][0057]
假设法向量为局部坐标系z’轴时，拟合平面对应的姿态为
[0058][0059]
对本发明方案的进一步改进，所述通过特定点测量位置与标定位置、拟合平面姿态与标定平面姿态做差，得到机器人末端位姿补偿量，包括以下步骤：
[0060]
计算末端位置补偿量
[0061][0062]
计算末端位姿补偿量δr：
[0063]
δr＝[0 r
y3 r
zw
]
‑
[r
xwcali r
ywcali r
zwcali
]
ꢀꢀꢀ
(13)
[0064]
则机器人末端位姿补偿量δ为：
[0065][0066]
其中，下标calibration与cali表示标定值。
[0067]
与现有技术相比，本发明能够实现的有益效果至少如下：
[0068]
本发明通过提取图像中的目标点和特征点，剔除不符合的特征点，减小非正确匹配点对拟合平面的影响，实现了双目立体视觉系统在挡风玻璃自动安装中应用，并保证了定位精度和鲁棒性。
附图说明
[0069]
图1为本发明的流程示意图。
[0070]
图2为输入的双目图像示意图。
[0071]
图3为立体匹配使用的roi提取后灰度化图像示意图。
[0072]
图4为特定点检测使用的roi提取后边缘图像示意图。
[0073]
图5为立体匹配得到的正确匹配点图。
[0074]
图6为ransac算法拟合的安装平面示意图。
[0075]
图7为定位误差与随机误差的统计数据示意图。
具体实施方式
[0076]
下面结合附图和实施例对本发明作进一步的描述。
[0077]
本发明选取双目图像作为待描述图像，使用本发明中适用于汽车挡风玻璃自动安装的双目视觉定位方法，获取挡风玻璃安装平面位姿和机器人末端补偿量。
[0078]
请参阅图1所示，一种适用于汽车挡风玻璃自动安装的双目视觉定位方法，包括以下步骤：
[0079]
步骤1：机器人末端到达标定的安装位置后开启结构光装置，将特定标记投射到车身的挡风玻璃安装平面的大致位置上。
[0080]
其中，特定标记是指结构光(即激光)形成的图案，用于特征检测。
[0081]
步骤2：利用机器人末端夹具上的双目相机获取标定位置的图像，并对双目图像进行矫正，获得去畸变后的图像。
[0082]
在本发明其中一个实施例中，本步骤具体包括以下子步骤：
[0083]
步骤2.1：利用机器人末端夹具上的双目相机获取标定位置的图像，如图2所示。
[0084]
步骤2.2利用相机标定得到的畸变参数，畸变参数包括径向畸变参数k1，以及切向畸变参数p1,p2，纠正归一化图像平面上的点坐标(x,y)：
[0085][0086]
其中，r为像素点到图片中投影中心的像素距离，x
undistorted
、y
undistorted
分别代表矫正后的像素坐标。
[0087]
步骤2.2：利用相机标定得到的内参，将纠正后的归一化图像投影到图像平面，得到矫正后的双目图像：
[0088][0089]
其中，c
x
、c
y
、f
x
、f
y
均为相机内参数矩阵中的参数。u、v为像素点的像素坐标。
[0090]
步骤3：对双目图像进行预处理，获得roi提取的边缘图像和灰度图像。
[0091]
在本发明其中一个实施例中，所述预处理包括：对双目图像进行灰度化、roi区域提取、高斯滤波和canny算子边缘检测。
[0092]
在本发明其中一个实施例中，获得roi提取的边缘图像和灰度图像的过程如下：
[0093]
步骤2.1：根据r、g、b三个色彩分量加权，将获得的rgb色彩的双目图像转成灰度化图像，某一像素点的灰度值gray为：
[0094]
gray＝0.2989r+0.5870g+0.1140b
ꢀꢀꢀ
(1)
[0095]
步骤2.2：利用预标定的参数，指定左右图像中roi区域的位置和大小，将roi区域分割出，如图3所示；
[0096]
步骤2.3：利用高斯滤波对roi提取后的图像进行平滑处理，获得滤波后的图像；
[0097]
步骤2.4：利用canny算子对高斯滤波后的图像进行边缘检测，如图4所示，得到二值化的边缘图像。
[0098]
步骤4：利用霍夫变换和基于ransac算法的拟合方法提取边缘图像中的特定点。
[0099]
其中具体选择哪里作为特定点是由操作者确定的，特定点是指人为事先在挡风玻璃安装平面上选定的特征点，如可以将定位销孔的圆心、边框的角点、限位块的棱角选定为特定点。特定点的选定依赖安装平面的特点，比如在本发明其中一个实施例中，有定位销孔的安装平面，可以选择定位销孔圆心作为特定点。
[0100]
应该说明的是，所述的霍夫变换和基于ransac算法的拟合方法，根据特定点的不同(特定点的不同指的是选择作为特定点的所具有的特征不同，可以选择定位销孔的圆心，可以选择矩形平面角点，可以选择限位块的棱角、固定螺钉的圆心等)，具体的数学模型也
不同。例如特定点为圆心，则霍夫变换和ransac算法是先检测(拟合)圆，再确定圆心；若特定点为矩形平面角点，矩形有四个角点，选择其中一个作为特定点，获取这个角点的方法是提取矩形的两条邻边求交点，数学模型为平面直线交点；若特定点为限位块棱角，限位块棱角的数学模型根据限位块的结构形状不同而不同，其中一种棱角的数学模型与矩形角点类似，确定限位块上的某一矩形平面，后续与矩形角点相同。
[0101]
步骤5：利用双目立体匹配算法提取左右灰度图像中的特征点并得到匹配点，并根据距离剔除部分误匹配点。
[0102]
在本发明其中一个实施例中，剔除的误匹配点是不在挡风玻璃安装平面上的匹配点。
[0103]
在本发明其中一个实施例中，使用的双目立体匹配算法是sift算法。可以理解的是，在其他实施例中，可以采用其他双目立体匹配算法。
[0104]
双目立体匹配算法是基于特征的局部立体匹配算法，在本发明其中一个实施例中，使用的双目立体匹配算法是sift算法，本步骤具体包括以下子步骤：
[0105]
步骤5.1：利用sift提取双目图像中的特征点并进行匹配；
[0106]
步骤5.2：对匹配点按照距离进行排序，选出距离最小的前n对匹配点，如图5所示。
[0107]
在本发明其中一个实施例中，n取值100。n值是综合考虑匹配点总数、拟合平面的速度(n值越大，拟合速度越慢)和所得拟合平面的精度来进行确定。
[0108]
步骤6：结合双目相机的内外参数，求取特定点和匹配点在世界坐标系下的空间坐标，获得挡风玻璃安装平面的位置。
[0109]
在本发明其中一个实施例中，本步骤具体包括：
[0110]
步骤6.1：根据特征点和匹配点在图像像素坐标系上的坐标(u,v)，获得双目图像中的视差d；
[0111]
步骤6.2：结合相机标定得到的焦距f、基线距离b，求特定点和匹配点在左相机坐标系下的空间坐标(x
c
,y
c
,z
c
)，得到空间点集q
k
'：
[0112][0113]
步骤6.3：结合相机标定得到的齐次外参矩阵t，求得特定点和匹配点在世界坐标系下的空间坐标(x
w
,y
w
,z
w
)，得到空间点集q
k
：
[0114][0115]
步骤6.4：根据特定点corners
measured
位置确定挡风平面安装位置：
[0116]
corners
measured
＝(x
m
,y
m
,z
m
)
ꢀꢀꢀ
(6)
[0117]
其中，下标measured表示测量值，下标m是特定点在世界坐标系下的坐标表示。
[0118]
步骤7：利用匹配点拟合出挡风玻璃安装平面，同时剔除不在挡风玻璃安装平面上的匹配点，获得拟合的挡风玻璃安装平面在世界坐标系下的法向量。
[0119]
在本发明其中一个实施例中，本步骤具体包括：
[0120]
步骤7.1：利用步骤5得到的匹配点，拟合出包含匹配点最多的挡风玻璃安装平面，挡风玻璃安装平面如图6所示，并剔除了误匹配点。
[0121]
在本发明其中一个实施例中，是基于ransac算法来拟合得到挡风玻璃安装平面，当然在其他实施例中，也可以基于其他算法来拟合得到挡风玻璃安装平面，如最小二乘法拟合。
[0122]
步骤7.2：获得拟合平面的平面方程，并基于平面方程获得法向量
[0123]
平面方程为
[0124]
ax
w
+by
w
+cz
w
+d＝0
ꢀꢀꢀ
(7)
[0125]
式中a、b、c、d是平面方程的参数。
[0126]
法向量为
[0127][0128]
步骤8：将平面的法向量转成rpy角表示，获得挡风玻璃安装平面的姿态。
[0129]
在本发明其中一个实施例中，本步骤具体包括：
[0130]
步骤8.1：计算绕世界坐标系的z轴转动的角度r
zw
[0131]
rz
w
＝atan2(b,a)
ꢀꢀꢀ
(9)
[0132]
步骤8.2：计算绕局部坐标系的y’轴转动的角度r
y3
[0133][0134]
其中，所述局部坐标系是固连在挡风玻璃安装平面上的，以平面法向量为z’轴，以挡风玻璃安装平面的其中一条边的方向为x’轴，以与该边垂直的方向为y’轴建立的右手系，当挡风玻璃安装平面为矩形平面时，以挡风玻璃安装平面为矩形平面的长度方向为x’轴，宽度方向为y’轴。
[0135]
步骤8.3：计算法向量为局部坐标系z’轴时，拟合的挡风玻璃安装平面对应的姿态为
[0136][0137]
rot表示rpy角到旋转矩阵的变换。
[0138]
步骤9：通过求取获得的所述挡风玻璃安装平面的位置corners
measured
与所述标定的安装位置conrners
colibration
、所述挡风玻璃安装平面的姿态与标定平面姿态做差，得到机器人末端位姿补偿量。
[0139]
其中，标定平面指设定的处于理想位置和姿态的平面，标定平面姿态为理想姿态，即在做产品设计时的预定姿态
[0140]
在本发明其中一个实施例中，本步骤具体包括：
[0141]
步骤9.1：计算末端位置补偿量
[0142][0143]
步骤9.2：计算末端位姿补偿量δr：
[0144]
δr＝[0 r
y3 r
zw
]
‑
[r
xwcali r
ywcali r
zwcali
]
ꢀꢀꢀ
(13)
[0145]
步骤9.3：计算机器人末端位姿补偿量δ为：
[0146][0147]
其中，[x
cali y
cali z
cali
]是特定点的位置标定值，[r
xwcali r
ywcali r
zwcali
]是挡风玻璃安装平面的姿态标定值，[0 r
y3 r
zw
]是挡风玻璃安装平面的姿态测量值。
[0148]
通过公式(14)可以得到机器人末端位姿补偿量，从而调整机器人末端位姿，实现挡风玻璃的精确安装。
[0149]
综上所述，本发明提出的适用于汽车挡风玻璃自动安装系统的双目视觉定位方法，采用结构光标记辅助的双目视觉，利用边缘提取算子获取图像中的边缘点，然后利用ransac算法拟合直线，获得图像中的特定点。接着利用立体匹配算法提取图像中的特征点，并利用距离筛选和ransac算法，得到正确匹配点并拟合出安装平面，获得平面法向量。最后平面法向量转为姿态补偿量，将特定点位置转为位姿补偿量，得到机器人位姿补偿量。实验证明，如图7所示(图中横坐标为图片序列，纵坐标为误差)，位置定位误差范围为
±
1.5mm，姿态定位误差范围为
±
0.5deg，能够对挡风玻璃安装平面进行准确定位，同时定位误差不随随机误差的变化而变化，即本发明不受随机误差的干扰。
[0150]
应该说明的是，前述各步骤前的序号仅是为了便于描述，不构成对步骤先后顺序的限制。
[0151]
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。