一种基于单个工业相机的机器人自定位方法与流程

本发明涉及工业机器人领域，具体为一种基于单个工业相机的机器人自定位方法。

背景技术：

随着智能制造技术的高速发展，工业机器人在工业领域中的应用越来越广泛。其中，将钻铆执行器固联于关节臂式工业机器人末端进行自动化钻孔和铆接是目前飞机装配领域中的一个研究热点，并已逐渐开始步入实际应用阶段，替代传统的人工作业。机器人自动钻铆不但可以大大提高制孔和铆接质量，也可以有效提高钻铆效率。

机器人钻铆系统工作之前，需要确定机器人在世界坐标系中的位置和姿态。在世界坐标系与工件坐标系重合的情况系，也就是需要确定待钻铆工件坐标系与机器人坐标系之间的变换关系。这一环节称为机器人定位(也称为机器人找正、工件定位、工件找正)。

目前飞机装配机器人自动钻铆作业中，机器人定位主要采用激光跟踪仪等大尺寸测量设备来完成。一方面，需要利用外部测量设备对被钻铆工件上的多个特征点进行测量，进而建立工件坐标系与测量坐标系之间的变换关系；另一方面，在机器人末端上布置靶点(靶球)，控制机器人绕不同的轴旋转，每旋转到一个位置，利用外部测设备对机器人末端上布置的靶点进行三维坐标测量，再通过绕各轴旋转时靶点的一系列三维坐标进行圆弧拟合，进而建立起机器人基坐标系与测量坐标系之间的变换关系。然后，根据工件坐标系与测量坐标系之间的变换关系、机器人基坐标系与测量坐标系之间的变换关系，算出工件坐标系与机器人基坐标系之间的变换关系，从而实现机器人定位。这种利用外部测量设备进行机器人定位的方法，不但需要借助额外的测量设备，而且步骤繁琐耗时，测量过程和定位解算过程难以实现集成和自动化。

在面向飞机装配的机器人自动钻铆系统中，为了保证机器人制孔位置的准确性，机器人末端的钻铆执行器中会固联一个工业相机，用于制孔位置误差的在线补偿。根据已有的机器视觉理论和方法，利用一个工业相机拍摄n个相对位置已知的目标点，可以求解出相机相对于已知目标点的位姿，这被称为透视n点问题(pnp问题)。求解pnp问题要求相机在一幅图像中同时成像n个目标点，为了保证解的唯一性和精确性，工业应用中一般n≥6，且n个目标点应尽可能分布于一个较大的空间范围内。然而，由于钻铆执行器中的工业相机在进行制孔误差在线补偿时，每次拍摄图像都只需要对单独一个直径5毫米左右的基准孔(或者基准铆钉)进行成像，而为了保证基准孔的成像质量，避免所拍摄的单个基准孔在图像中所占区域过小，机器人末端执行器中所固联的工业相机的视场通常较小，无法在一幅图像中同时成像分布于较大空间范围内的多个目标点。因此，在本发明之前自动钻铆机器人自带的工业相机无法用于机器人自身定位。目前业内一直沿用激光跟踪仪等额外的测量设备进行繁琐的机器人定位工作。

技术实现要素：

本发明针对现有技术中存在的问题，公开了一种基于单个工业相机的机器人自定位方法，利用一个固联于机器人末端的单个工业相机对世界坐标系中的六个以上的定位点依次拍摄图像，根据这组图像确定机器人基坐标系与世界坐标系之间的变换关系。本发明的方法能够实现工业机器人在工作现场快速便捷的自定位。

本发明是这样实现的：

一种基于单个工业相机的机器人自定位方法，包括工业机器人，所述的工业机器人包括机器人末端法兰盘，所述的机器人法兰盘前端固连有一个工业相机；世界坐标系中有n个在视觉图像中可分辨的定位点，n≥6，且n个定位点不共线，n个定位点在世界坐标系ow下的坐标已知，记为pi＝(xi,yi,zi)^t，i＝1,2,l,n，利用单个工业相机进行工业机器人自定位的方法，包含以下步骤：

步骤一、控制工业机器人移动，使机器人末端所载工业相机依次到达第i个定位点上方可以对该定位点清晰成像的位置，i＝1,2,l,n，控制工业相机拍摄该定位点的图像，并记录该位置下机器人法兰盘坐标系of原点相对工业机器人基坐标系or原点之间的平移向量以及机器人法兰盘的欧拉角αi,βi,γi；

步骤二、利用公式(1)计算拍摄第i个定位点时机器人法兰盘坐标系of相对于机器人基坐标系or的旋转矩阵

利用式(2)表示拍摄第i个定位点时机器人法兰盘坐标系of相对于机器人基坐标系or的变换矩阵

步骤三：在第i次拍摄的图像中，提取出第i个定位点的图像坐标，记为(ui,vi)；

步骤四：根据坐标系之间的变换关系和相机成像模型，利用式(3)求解世界坐标系ow相对于机器人基坐标系or的变换关系完成机器人在世界坐标系中的定位：

式(3)中，λi为比例系数，k为工业相机的内参数矩阵，

其中αx，αy，s，u0，v0为已经标定出的相机成像参数。

进一步，所述的工业机器人下端设置有机器人运动导轨；所述的定位点设置于加工工装台架，所述的加工工装台架上还固定设置有待加工工件。

进一步，所述的工业相机为透视成像相机；所述的工业相机的成像参数以及坐标系oc与法兰盘坐标系of之间的4×4变换矩阵均已标定过；n个定位点在世界坐标系ow下的坐标已知，记为pi＝(xi,yi,zi)^t，i＝1,2,l,n。

进一步，所述的工业机器人末端所载工业相机依次到达n个定位点上方位置拍摄图像，所述的n个定位点在所拍摄的n幅图像中的图像坐标(ui,vi)，i＝1,2,l,n，离散分布于所述工业相机图像平面的不同位置。

进一步，所述的步骤四中利用式(3)求解的方法包含以下步骤：

4.1、对于已知量令

其中m1ⁱ，m2ⁱ，m3ⁱ均为三维行向量，m14ⁱ，m24ⁱ，m34ⁱ为标量值；记：

根据式(3)得到：

根据(4)式，形成线性方程组(5)

用最小二乘法求解线性方程组(5)，得到待求解的世界坐标系ow相对于工业机器人基坐标系or的变换关系中的旋转矩阵和平移向量的初步计算结果

和

4.2、求解使得的frobenius范数最小的单位正交矩阵

4.3、求解线性方程组(6)

得到

4.4、以和为待求解的世界坐标系ow相对于工业机器人(3)基坐标系or的变换关系中的旋转矩阵和平移向量的初值，通过非线性优化方法求解式(7)得到的最终结果：

其中

本发明与现有技术相比的有益效果在于：

1、目前已有的机器人定位方法需要采用额外的测量设备，其过程繁琐复杂，且测量过程和定位计算过程难以实现集成和自动化；本发明的方法无需其他额外测量设备，直接利用工业机器人上自带的单个工业相机，即可完成机器人自定位，更加简便、快捷、易行；

2、传统的基于单个相机所拍图像通过求解pnp问题进行定位的方法，需要相机一次成像分布于较大空间范围内的多个目标点，但通常情况下机器人自带的工业相机受视场所限难以实现，而本发明方法只需要机器人自带的工业相机依次分别对六个以上的定位点单独进行成像即可，不受相机视场限制；

3、本发明所述方法针对多个定位点依次单独成像所创新建立的求解模型和求解方法可以广泛应用于解决各类“手-眼”机器人系统的自定位问题；

4、本发明的方法只需要机器人末端的工业相机对六个以上坐标已知的定位点依次单独成像，即可简便快捷地确定出世界坐标系与机器人基坐标系之间的变换关系，实现机器人自定位；该方法除了在飞机装配机器人自动钻铆中有明确需求以外，也可以应用于其他领域中末端带有工业相机的机器人自定位。

附图说明

图1为本发明具体优选实施例中一种基于单个工业相机的机器人自定位方法的系统组成示意图；

图2为本发明具体优选实施例中机器人拍摄的六个定位点图像，以及提取的定位点图像坐标；

其中，1-加工工装台架、2-待加工工件、3-工业机器人、3-1-机器人法兰盘、3-2-工业相机、4-机器人运动导轨、5-世界坐标系、6-定位点。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚，明确，以下列举实例对本发明进一步详细说明。应当指出此处所描述的具体实施仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的自定位装置中包括工业机器人3，所述的工业机器人3包括末端法兰盘3-1，所述的机器人法兰盘3-1前端固连工业相机3-2。

本发明的实施例中在工业机器人3下端设置有机器人运动导轨4，世界坐标系5中有6个在视觉图像中可分辨且不共线的定位点。本实施例中6个定位点位于加工工装台架1上，所述的加工工装台架1上还固定设置有待加工工件2。单个工业相机3-2固联于机器人法兰盘上；工业相机3-2为透视成像相机；工业相机3-2的成像参数以及所述工业相机坐标系oc与机器人法兰盘3-1坐标系of之间的4×4变换矩阵均已标定过。

在本具体实施例中，工业相机为德国avt公司生产的gc2450m型号相机与施耐德公司生产的kreuznachapo-xenoplan1.4/23-0903型号镜头，图像分辨率为2448×2050，有效视场71mm×59mm，图像已经过畸变矫正，相机内参数矩阵

手-眼关系矩阵已经过标定，为

在本具体实施例中，机器人为kuka-kr30关节臂式工业机器人，加工工装台架上有六个黑白同心的圆形视觉目标，每个视觉目标上白色圆的圆心即为本实施例中的定位点，六个定位点在世界坐标系ow下的坐标已知，记为pi＝(xi,yi,zi)^t，i＝1,2,l,6，具体坐标值如表一所示。在实际工程应用中，定位点一般可以是工件及其工装上散布的定位点中心，其三维坐标在设计阶段设定，并通过加工过程保证定位点中心的位置精度。

表一

本实施例中，利用工业机器人3进行自定位方法，包含以下步骤：

步骤一、通过机器人交互示教功能控制机器人末端移动，使机器人末端所载工业相机3-2依次到达六个定位点上方可以对相应定位点单独清晰成像的位置，在每个位置下控制所述工业相机拍摄相应定位点的图像，并记录该位置下机器人法兰盘坐标系of原点相对机器人基坐标系or原点之间的平移向量以及机器人法兰盘的欧拉角αi,βi,γi，i＝1,2,l,6，本实施例中的六次机器人运动参数具体记录结果如表二所示；

表二

步骤二、利用公式(1)计算拍摄第i个定位点时机器人法兰盘坐标系of相对于机器人基坐标系or的旋转矩阵

利用式(2)表示拍摄第i个定位点时机器人法兰盘坐标系of相对于机器人基坐标系or的变换矩阵

步骤三、在第i次拍摄的图像中，提取出第i个定位点的图像坐标，记为(ui,vi)，i＝1,2,l,6；

步骤四、根据坐标系之间的变换关系和相机成像模型，利用式(3)求解世界坐标系ow相对于机器人基坐标系or的变换关系完成机器人在世界坐标系中的定位：

式(3)中，λi为比例系数，k为已标定的工业相机的内参数矩阵；

如附图2所示，本实施例对于步骤一中，机器人末端所载工业相机依次到达六个定位点上方位置拍摄图像，六个定位点在所拍摄的六幅图像中的图像坐标(ui,vi)，i＝1,2,l,6，尽可能离散分布于所述工业相机图像平面的不同位置，具体的六个定位点在图像平面上的位置坐标提取结果如表三所示。

表三

进一步，针对步骤四中利用式(3)求解的方法，本实施例包含以下步骤：

4.1、对于已知量令

其中m1ⁱ，m2ⁱ，m3ⁱ均为三维行向量，m14ⁱ，m24ⁱ，m34ⁱ为标量值；记

根据式(3)得到：

根据(4)式，形成线性方程组(5)

用最小二乘法求解线性方程组(5)，得到待求解的世界坐标系ow相对于机器人基坐标系or的变换关系中的旋转矩阵和平移向量的初步计算结果

和

4.2、通过奇异值分解方法求解使得的frobenius范数最小的单位正交矩阵

4.3、求解线性方程组(6)

得到

4.4、以和为待求解的世界坐标系ow相对于机器人基坐标系or的变换关系中的旋转矩阵和平移向量的初值，通过非线性优化方法求解式(7)得到的最终结果：

其中

最终求出的

为了对比说明本专利方法结果的精确性，利用额外的独立商用测量系统对本实施例中的机器人基坐标与世界坐标系之间的变换关系进行了测量。采用独立商用测量系统测量得到的结果记为具体为

本发明方法获得的结果与商用测量系统的定位结果比较，对应的旋转矩阵的frobenius范数为0.008，对应的平移向量的frobenius范数为4.952。可见，机器人自定位的方法得到的结果与商用测量系统得出的结果相比偏差较小，是机器人自身定位的有效方法。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下能够对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。