一种基于视觉的两次校准的双臂协同装配方法

1.本发明属于机器人视觉领域，特别涉及一种基于视觉的两次校准的双臂协同装配方法。


背景技术：

2.在工业生产中，装配成本占总成本的50％以上。随着工业机器人的发展，机器人有望替代人工完成装配任务。但工业生产中存在零件种类多、体积小而难以定位的问题，机器人在精密装配工作中的应用是一个挑战。以夹爪精准夹取螺丝为例，当夹爪中心轴与螺栓中心轴对不准时，夹爪用力时可能导致装配失败，装配工件或机器人都可能被损坏。
3.目前在简单的应用场景中，工件的初始位姿和目标位姿是事先规定的，机械臂只是通过示教系统或按照固定的程序进行固定操作。但现实大部分的应用场景中，工件的初始位姿或目标位姿并非严格固定不变的。这种情况下，视觉引导定位是一个理想的解决办法。机械臂通过视觉系统感知工作环境，获取工件初始位姿。现有的单相机视觉系统，在接近待装配物体后，存在视野盲区或本身的机械结构遮挡问题，导致装配精度低；多相机视觉系统难以找准适合高精度装配的观测位置。


技术实现要素：

4.本发明的目的在于提供一种基于视觉的两次校准的双臂协同装配方法，解决单相机视觉系统，在接近待装配物体后，存在视野盲区或本身的机械结构遮挡问题，装配精度低的问题；多相机视觉系统难以找准适合高精度装配的观测位置的问题，实现对装配目标的高精度校准。
5.实现本发明目的的技术解决方案为：一种基于视觉的两次校准的双臂协同装配方法，包括以下步骤：
6.步骤1、对双臂机器人的机械臂上的双目相机分别进行初始化设定；
7.步骤2、利用双目相机采集图像，并对图像进行预处理和角点检测，提取待装配目标的特征点，并确定待装配目标的朝向；
8.步骤3、调整主机械臂姿态，使夹爪中心轴与待装配目标的中心轴平行；
9.步骤4、调整主机械臂，使之靠近待装配物体，直至进入主相机视野盲区或目标物体信息显著减少；
10.步骤5、调整从机械臂，以待装配目标的中心点为圆心，以逆时针或顺时针方向扫描半周，并采集实时图像数据流，获取待装配目标灰度信息；
11.步骤6、选取待装配目标对应目标框中灰度变化程度最小的从机械臂位姿进行图像采集，并根据该视角调整主机械臂夹爪，完成左右方向的校准；
12.步骤7、将从机械臂以目标物体中心点为圆心，以顺时针或逆时针方向旋转 1/4周，在侧面进行观察，完成前后方向和垂直角度的校准。
13.本发明与现有技术相比，其显著优点为：
14.(1)本发明使用两个双目相机，可以在初始条件下，第一次校准前，获得较高精度的待装配物体的位姿；
15.(2)本发明的两次校准方法，可以有效帮助主机械臂对准夹爪中心轴与待装配物体中心轴；
16.(3)本发明应用于在目标物处于危险环境，人难以进行示教操作时，通过从机械臂的位姿调整进行两次校准，辅助主机械臂完成装配任务；
17.(4)本发明应用于复杂环境，在目标物发生遮挡、变形、尺度变化时，本发明依旧可以自动调整从机械臂至适合观测的位姿进行视觉信息获取，兼具高精度、快速性与鲁棒性。
18.下面结合附图和具体实施方式对本发明作进一步详细描述。
附图说明
19.图1为本发明的基于视觉的两次校准的双臂协同装配方法的流程图。
具体实施方式
20.一种基于视觉的两次校准的双臂协同装配方法，包括以下步骤：
21.步骤1、对双臂机器人的机械臂上的双目相机分别进行初始化设定，具体为：
22.设定双目相机的初始工作位置，使两个双目相机的光轴平行且与两个双目相机光心的连线垂直，并分别标定出双目相机到装有该双目相机的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵，以及两个相机各自的内参矩阵、外参矩阵与畸变系数。
23.步骤2、利用双目相机采集图像，并对图像进行预处理和角点检测，提取待装配目标的特征点，并确定待装配目标的朝向，具体为：
24.步骤2
‑
1：利用主、从机械臂上的双目相机对待装配目标进行图像采集；
25.步骤2
‑
2：利用步骤1获得的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，对步骤2
‑
1中主从摄像机采集的图像对进行矫正；
26.步骤2
‑
3：基于harris算子对经过步骤2
‑
2中矫正的从机械臂的双目相机拍摄的图像进行角点检测，提取待装配目标的6个特征点，分别为u1、u2、u3、 u4、u5、u6，使用6个特征点的中心坐标作为待装配目标的中心坐标u0：
[0027][0028]
步骤2
‑
4：基于ncc(normalized cross correlation)匹配算法对步骤2
‑
3 中经过矫正的图像对在两视图行对正的基础上计算视差，并获得视差图；
[0029]
步骤2
‑
5、使用步骤2
‑
3中获得的图像坐标在步骤2
‑
4中获得的视差图中找到对应点的视差值，基于三角测距原理，确定深度信息，基于深度值，获得待装配目标的六个特征点、待装配目标中心点的世界坐标和待装配目标对应目标框中的灰度平均值δ0；
[0030]
步骤2
‑
6、定义机械臂基座平面为水平面，选取3个横坐标最小的特征点确定待装配目标法向量，确定待装配目标朝向。
[0031]
步骤3、调整主机械臂姿态，使夹爪中心轴与待装配目标的中心轴平行，具体为：
[0032]
根据步骤2获得的待装配目标法向量和待装配目标的中心点，确定待装配目标的中心轴，调整主机械臂姿态，使夹爪中心轴与待装配目标中心轴平行。
[0033]
步骤4、调整主机械臂，使之靠近待装配物体，直至进入主相机视野盲区或目标物体信息显著减少，具体为：
[0034]
步骤4
‑
1：调整主机械臂向待装配目标靠近，同时主机械臂上的双目相机对待装配目标进行扫描；
[0035]
步骤4
‑
2：当图像中存在的特征点个数在前后两帧图片中发生变化δn≥1时，视为待装配目标信息显著减少，进入主相机视野盲区；
[0036]
步骤4
‑
3、得到此时主机械臂上的双目相机与待装配目标中心轴的距离d。
[0037]
步骤5、调整从机械臂，以待装配目标的中心点为圆心，以逆时针或顺时针方向(从机械臂为左臂时为逆时针，从机械臂为右臂时为顺时针)扫描半周，并采集实时图像数据流，获取待装配目标灰度信息，具体为：
[0038]
步骤5
‑
1：调整从机械臂位姿，使从机械臂上双目相机的光轴与夹爪所在平面和待装配目标所在平面交线l重合，且此时从机械臂上双目相机朝向操作区域，具体为：
[0039]
步骤5
‑1‑
1：调整从机械臂位置，使得从机械臂上双目相机中心点到达夹爪所在平面和待装配目标所在平面交线l；
[0040]
步骤5
‑1‑
2：调整从机械臂姿态，使从从机械臂上双目相机的光轴与夹爪所在平面和待装配目标所在平面交线l重合，且此时从相机朝向操作区域。
[0041]
步骤5
‑
2、移动从机械臂，沿交线l靠近待装配目标中心点，直至从机械臂上双目相机与待装配目标中心点距离为2d；
[0042]
步骤5
‑
3、从机械臂以待装配目标中心点为圆心，扫描半周，同时利用从机械臂上双目相机采集实时图像数据流，对图像进行预处理即高斯平滑处理，消除局部区域存在的噪点后，提取目标物体灰度信息。
[0043]
步骤6、选取待装配目标对应目标框中灰度变化程度最小的从机械臂位姿进行图像采集，并根据该视角调整主机械臂夹爪，完成左右方向的校准，具体为：
[0044]
步骤6
‑
1、根据步骤5提取的灰度值，计算每个位姿对应的目标框中灰度平均值δi，i＝1，2，3
……
10t，t为扫描时间，与初始位姿对应的目标框中灰度平均值的差|δi
‑
δ0|，取差的绝对值最小时的位姿作为最佳位姿b；
[0045]
步骤6
‑
2、移动从机械臂至步骤6
‑
1中记录的最佳位姿b；
[0046]
步骤6
‑
3、使用从机械臂上的双目相机图像采集，获得位姿b下夹爪与待装配目标的二维信息，水平移动夹爪，直至从该视角所得到的二维平面中夹爪中轴线的投影与待装配目标中轴线重合，完成左右方向的校准。
[0047]
步骤7、将从机械臂以目标物体中心点为圆心，以顺时针或逆时针方向旋转 1/4周，完成前后方向和垂直角度的校准，具体为：
[0048]
步骤7
‑
1、将从机械臂以待装配目标的中心点u0为圆心，顺时针或逆时针方向((从机械臂为左臂时为顺时针，从机械臂为右臂时为逆时针))旋转1/4周，从侧面进行图像采集；
[0049]
步骤7
‑
2、调整夹爪姿态，使夹爪中轴线在该视角下的投影与目标物体中心轴平行，完成垂直角度的校准；
[0050]
步骤7
‑
3、水平移动夹爪，使夹爪中轴线与目标物体中轴线重合，完成前后方向的校准。
[0051]
下面结合附图和实施例对本发明作进一步的描述。
[0052]
实施例
[0053]
如图1所示，一种基于视觉的两次校准的双臂协同装配方法，包括以下步骤：
[0054]
步骤1、对双臂机器人的机械臂上的双目相机分别进行初始化设定，具体为：
[0055]
设定双目相机的初始工作位置，使两个双目相机的光轴平行且与两个双目相机光心的连线垂直，并分别标定出双目相机到装有该双目相机的机械臂末端的转移矩阵、机械手臂末端到该基座的变换矩阵，以及两个相机各自的内参矩阵、外参矩阵与畸变系数。
[0056]
步骤2、利用双目相机采集图像，并对图像进行预处理和角点检测，提取待装配螺栓的特征点，并确定待装配螺栓的朝向，具体为：
[0057]
步骤2
‑
1：利用主、从机械臂上的双目相机对待装配螺栓进行图像采集；
[0058]
步骤2
‑
2：利用步骤1获得的内参矩阵和外参矩阵以及畸变系数，基于对极几何中的共极性约束，对步骤2
‑
1中主从摄像机采集的图像对进行矫正；
[0059]
步骤2
‑
3：基于harris算子对经过步骤2
‑
2中矫正的从机械臂的双目相机拍摄的图像进行角点检测，提取待装配螺栓的6个特征点，分别为u1、u2、u3、 u4、u5、u6，使用6个特征点的中心坐标作为待装配螺栓的中心坐标u0：
[0060][0061]
步骤2
‑
4：基于ncc(normalized cross correlation)匹配算法对步骤2
‑
3 中经过矫正的图像对在两视图行对正的基础上计算视差，并获得视差图；
[0062]
步骤2
‑
5、使用步骤2
‑
3中获得的图像坐标在步骤2
‑
4中获得的视差图中找到对应点的视差值，基于三角测距原理，确定深度信息，基于深度值，获得待装配螺栓的六个特征点、待装配螺栓中心点的世界坐标和待装配螺栓对应目标框中的灰度平均值δ0；
[0063]
步骤2
‑
6、定义机械臂基座平面为水平面，选取3个横坐标最小的特征点确定待装配螺栓法向量，确定待装配螺栓朝向。
[0064]
步骤3、调整主机械臂姿态，使夹爪中心轴与待装配螺栓的中心轴平行，具体为：
[0065]
根据步骤2获得的待装配螺栓法向量和待装配螺栓的中心点，确定待装配螺栓的中心轴，调整主机械臂姿态，使夹爪中心轴与待装配螺栓中心轴平行。
[0066]
步骤4、调整主机械臂，使之靠近待装配物体，直至进入主相机视野盲区或螺栓物体信息显著减少，具体为：
[0067]
步骤4
‑
1：调整主机械臂向待装配螺栓靠近，同时主机械臂上的双目相机对待装配螺栓进行扫描；
[0068]
步骤4
‑
2：当图像中存在的特征点个数在前后两帧图片中发生变化δn≥1时，视为待装配螺栓信息显著减少，进入主相机视野盲区；
[0069]
步骤4
‑
3、得到此时主机械臂上的双目相机与待装配螺栓中心轴的距离d。
[0070]
步骤5、调整从机械臂，以待装配螺栓的中心点为圆心，以逆时针或顺时针方向(从机械臂为左臂时为逆时针，从机械臂为右臂时为顺时针)扫描半周，并采集实时图像数据流，获取待装配螺栓灰度信息，具体为：
[0071]
步骤5
‑
1：调整从机械臂位姿，使从机械臂上双目相机的光轴与夹爪所在平面和待装配螺栓所在平面交线l重合，且此时从机械臂上双目相机朝向操作区域，具体为：
[0072]
步骤5
‑1‑
1：调整从机械臂位置，使得从机械臂上双目相机中心点到达夹爪所在平面和待装配螺栓所在平面交线l；
[0073]
步骤5
‑1‑
2：调整从机械臂姿态，使从从机械臂上双目相机的光轴与夹爪所在平面和待装配螺栓所在平面交线l重合，且此时从相机朝向操作区域。
[0074]
步骤5
‑
2、移动从机械臂，沿交线l靠近待装配螺栓中心点，直至从机械臂上双目相机与待装配螺栓中心点距离为2d；
[0075]
步骤5
‑
3、从机械臂以待装配螺栓中心点为圆心，扫描半周，同时利用从机械臂上双目相机采集实时图像数据流，对图像进行预处理即高斯平滑处理，消除局部区域存在的噪点后，提取螺栓物体灰度信息，其中高斯系数δ＝0.8。
[0076]
步骤6、选取待装配螺栓对应螺栓框中灰度变化程度最小的从机械臂位姿进行图像采集，并根据该视角调整主机械臂夹爪，完成左右方向的校准，具体为：
[0077]
步骤6
‑
1、根据步骤5提取的灰度值，计算每个位姿对应的目标框中灰度平均值δi，i＝1，2，3
……
10t，t为扫描时间，与初始位姿对应的目标框中灰度平均值的差|δi
‑
δ0|，取差的绝对值最小时的位姿作为最佳位姿b；
[0078]
步骤6
‑
2、移动从机械臂至步骤6
‑
1中记录的最佳位姿b；
[0079]
步骤6
‑
3、使用从机械臂上的双目相机图像采集，获得位姿b下夹爪与待装配螺栓的二维信息，水平移动夹爪，直至从该视角所得到的二维平面中夹爪中轴线的投影与待装配螺栓中轴线重合，完成左右方向的校准。
[0080]
步骤7、将从机械臂以螺栓物体中心点为圆心，以顺时针或逆时针方向旋转 1/4周，完成前后方向和垂直角度的校准，具体为：
[0081]
步骤7
‑
1、将从机械臂以待装配螺栓的中心点u0为圆心，顺时针或逆时针方向((从机械臂为左臂时为顺时针，从机械臂为右臂时为逆时针))旋转1/4周，从侧面进行图像采集；
[0082]
步骤7
‑
2、调整夹爪姿态，使夹爪中轴线在该视角下的投影与螺栓物体中心轴平行，完成垂直角度的校准；
[0083]
步骤7
‑
3、水平移动夹爪，使夹爪中轴线与螺栓物体中轴线重合，完成前后方向的校准。
[0084]
本发明的方法可以应用于复杂环境，在目标物发生遮挡、变形、尺度变化时，本发明依旧可以自动调整从机械臂至适合观测的位姿进行视觉信息获取，兼具高精度、快速性与鲁棒性。