一种高精度机械臂手眼相机标定方法及标定系统与流程

本发明属于计算机视觉测量和图像处理领域，具体涉及一种高精度机械臂手眼相机标定方法及标定系统。

背景技术：

在机器人领域，利用视觉方法进行位姿估计来帮助机械臂实现精确的目标抓取有着重要的应用。而其中，高精度的相机内外参标定和相机与机械臂外参标定是保证视觉测量精度的重要条件。通过标定算法实现的相机内外参标定在算法上保证了对相机自身内外参数的标定精度，但对于机械臂与相机之间外参的高精度标定方法一直没有得到解决。

技术实现要素：

本发明的目的在于提供一种高精度机械臂手眼相机标定方法及标定系统，该标定系统设置合理，该方法能够实现相机内外参数和相机与机械臂之间的外参数的高精度标定。

本发明是通过以下技术方案来实现：

本发明公开了一种高精度机械臂手眼相机标定方法，包括以下步骤：

步骤一：固定腕部相机和机械臂，使腕部相机的光轴方向与机械臂的中心视轴方向平行；

定义相机坐标系oc、标定板世界坐标系ow、机械臂末端坐标系om；

对腕部相机的内部参数进行标定，得到腕部相机的内部参数矩阵为：

(fx,fy)为腕部相机的等效焦距，(u0,v0)为腕部相机的光心坐标；

步骤二：放置并调整两台高精密测量仪器a1和a2，确保标定板在腕部相机的视野范围内，标定板和机械臂末端在高精密测量仪器的视野范围内；

定义参考坐标系or，并在标定板上选取n个关键点，获得所有关键点的世界坐标；

步骤三：使用两台高精密测量仪器分别测量并记录机械臂末端靶标上k个十字刻线的方位、俯仰读数，由标定工具计算出此时机械臂末端坐标系om相对于参考坐标系or的外参[rmrtmr]；其中，k为大于等于4的正整数；

步骤四：将标定板放于相机前，用相机采集一幅标定板图像；使用两台高精密测量仪器分别测量并记录标定板上n个关键点的方位、俯仰读数；然后将标定板由近及远放置在不同位置上；

重复本步骤内的操作(包括用相机采集一幅标定板图像；使用两台高精密测量仪器分别测量并记录标定板上n个关键点的方位、俯仰读数)；

然后由标定工具计算出此时标定板世界坐标系ow相对于相机坐标系oc的外参[rwctwc]，以及标定板世界坐标系ow相对于参考坐标系or的外参[rwrtwr]；

步骤五：由步骤三中机械臂末端坐标系om相对于参考坐标系or的外参[rmrtmr]和步骤四中标定板世界坐标系ow相对于参考坐标系or的外参[rwrtwr]，计算得到机械臂末端坐标系om相对于标定板世界坐标系ow的外参[rmwtmw]＝f([rmrtmr],[rwrtwr])；

步骤六：由步骤五中机械臂末端坐标系om相对于标定板世界坐标系ow的外参[rmwtmw]和步骤四中标定板世界坐标系ow相对于相机坐标系oc的外参[rwctwc]，计算得到机械臂末端坐标系om相对于相机坐标系oc的外参[rmctmc]＝f([rmwtmw],[rwctwc])。

所述标定板采用黑白格棋盘标定板，且该黑白格棋盘标定板图像上黑色区域和白色区域的灰度值之差大于等于某个阈值，本发明优选为70。

黑白格棋盘标定板上的黑白格数为25*24，边长为15mm，加工精度大于0.05mm。

选定标定板上任意一个点作为标定板世界坐标系原点，标定互相垂直的两边为x轴和y轴，z轴垂直于标定板平面，以机械臂末端靶标中心为机械臂末端坐标系原点，水平和垂直的两条边为x轴和y轴，z轴垂直于靶标所在平面。

高精密测量仪器a1的中心为参考坐标系or的原点，高精密测量仪器a1指高精密测量仪器a2的方向为x轴方向，垂直水平面为z轴方向，与x轴和z轴垂直的方向为y轴方向。

步骤二中，在标定板上选取n个关键点，n为正整数，且n≥4；当n＝4时，四个关键点中的任意三个关键点不共线。

步骤三，具体操作包括以下步骤：

1)设定k个十字刻线在参考坐标系or下的坐标，记为：

其中，(xrm1,yrm1,0),(xrm2,yrm2,0)...(xrmk,yrmk,0)分别为各个十字刻线的坐标；

2)设定十字刻线在机械臂末端坐标系om下的坐标，记为：

则根据prm＝rmr*pm+tmr，计算出此时机械臂末端坐标系om相对于参考坐标系or的外参[rmrtmr]。

步骤四中，将标定板分别放置在距离腕部相机的不同距离处，在每个位置上使标定板侧对腕部相机。

本发明还公开了实现上述标定方法的高精度机械臂手眼相机标定系统，包括腕部相机、机械臂、标定板及两个高精密测量仪器a1和a2；其中，腕部相机的光轴方向与机械臂的中心视轴方向平行；标定板设置在腕部相机的视野范围前方，标定板和机械臂末端设置在两个高精密测量仪器a1和a2的视野范围内部。

高精密测量仪器a1和高精密测量仪器a2之间的距离为d，定义高精密测量仪器a1的中心为参考坐标系or的原点，高精密测量仪器a1指向高精密测量仪器a2的方向为x轴方向，垂直水平面为z轴方向，与x轴和z轴垂直的方向为y轴方向，经高精密测量仪器a1测得某空间目标点的水平角为αa，垂直角为βa；经高精密测量仪器a2测得该点的水平角为αb，垂直角为βb，则有：

与现有技术相比，本发明具有以下有益的技术效果：

本发明公开的高精度机械臂手眼相机标定方法，通过采集不同位置的标定板图像，通过视觉方法，测出腕部相机内部参数，以及腕部相机与标定板之间的外部参数；通过高精密测量仪、机械臂靶标设计和标定板上选取的关键点，测出机械臂靶标和标定板之间的外部参数；最后，由视觉计算方法，完成机械臂腕部相机的标定。

本发明公开的标定系统通过两台高精度测量仪器，以标定板坐标系作为中间坐标系，实现高精度坐标系参数转换，最终求得机械臂末端和腕部相机之间的外参数，该方法能够实现机械臂与相机之间外参的高精度标定。

进一步地，本发明采用精心设计的黑白格棋盘标定板，黑白格数为25*24,边长为15mm，加工精度优于0.05mm，棋盘格标定板图像上黑色区域和白色区域的灰度值之差大于等于70，具有极易识别的图像模式，易于实现黑白格顶点的自动检测，实现高精度定位，保证了后续测量的精度。

附图说明

图1为本发明方法流程示意图；

图2为本发明的装置结构示意图；

图3为本发明参考坐标系的建立示意图；

图4为本发明世界坐标系的建立示意图；

图5为本发明腕部相机坐标系和机械臂末端坐标系的建立和关系示意图。

其中，1为腕部相机；2为机械臂；3为高精密测量仪器a1；4为高精密测量仪器a2；5为标定板。

具体实施方式

下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

本发明公开的高精度机械臂手眼相机标定方法，如图1流程所示。

具体实施实例，包括以下步骤：

1)参见图2，将腕部相机1和机械臂2固定在一起，并保证他们的相对位置和相机内参不再发生改变。选定标定板5，该标定板为棋盘格标定板，其黑白格数为25*24，边长为15mm，加工精度优于0.05mm，棋盘格标定板图像上黑色区域和白色区域的灰度值之差大于等于70。

放置并调整两台高精密测量仪a1和a2，使高精密测量仪器a13、高精密测量仪器a24之间的距离d为1.5m，调平、互瞄、清零，记录高精密测量仪器基准。确保标定板5在腕部相机1相机的视野范围内，确保标定板5和机械臂2末端在两台经纬仪的视野范围内。

2)同时参见图3、图4及图5，定义相机坐标系oc、世界坐标系ow，参考坐标系or、机械臂末端坐标系om，其中oc、ow、or和om均为右手坐标系。对于世界坐标系ow，原点定义为标定板的左上角顶点，x轴方向为由原点沿着棋盘格的边向下，y轴方向为由原点沿着棋盘格的边向右，z轴方向为垂直于xoy平面指向相机；

对于参考坐标系or，设定高精密测量仪器a1的中心为参考坐标系的原点，高精密测量仪器a1指向高精密测量仪器a2的方向为x轴方向，垂直水平面为z轴方向，与x轴和z轴垂直的方向为y轴方向，经高精密测量仪器a1测得某空间目标点的水平角为αa，垂直角为βa；经高精密测量仪器a2测得该点的水平角为αb，垂直角为βb，如图3，则空间目标点在参考坐标系下的坐标为：

3)对机械臂腕部相机进行内参标定，包括等效焦距和光心，要求内参的置信区间不超过±1mm，腕部相机的内部参数矩阵为：

其中(fx,fy)为相机的等效焦距，(u0,v0)为相机的光心坐标，标定过程如下：

固定腕部相机不动，将标定板分别放在距腕部相机500mm，900mm，1100mm处，在每个位置上，首先使标定板正对腕部相机(标定板平面与腕部相机光轴垂直)，腕部相机采集一幅标定板图像；然后，沿4个方向调整标定板角度(每次调整均从标定板正对腕部相机的情况开始)，即：标定板沿水平方向的正向分别旋转15°和30°，沿水平方向的负向分别旋转15°和30°，沿俯仰方向的正向分别旋转15°和30°，沿俯仰方向的负向分别旋转15°和30°，每次调整角度后，腕部相机采集1幅标定板图像；在每个位置上，腕部相机采集1+4*2＝9幅图像，5个位置相机采集5*9＝45幅图像，然后用标定工具计算出相机的内参。

4)固定两台高精密测量仪器，使用高精密测量仪器a1和高精密测量仪器a2分别测量机械臂末端靶标上四个十字刻线的方位、俯仰读数；

由步骤2)能够获得4个十字刻线在参考坐标系or下的坐标：(xrm1,yrm1,0),(xrm2,yrm2,0),(xrm3,yrm3,0),(xrm4,yrm4,0)，记为：

则由标定工具计算出此时机械臂末端坐标系om相对于参考坐标系or的外参[rmrtmr]，坐标系定义方式如图3、图5所示(若十字刻线在机械臂末端坐标系下的坐标标记为：即prm＝rmr*pm+tmr)。

5)在标定板上选取n个关键点，其中，n为正整数，且n≥4，选取的关键点需要保证至少存在一组(以任意四个关键点为一组)，其中任意三个点不共线；在已知标定板上方格边长的前提下，得到各关键点在世界坐标系ow坐标系下的坐标(xw1,yw1,0),(xw2,yw2,0)…(xwn,ywn,0)；

记为：

6)将标定板分别放在距腕部相机500mm，700mm，900mm，1100mm，1300mm处，在每个位置上，使棋盘格稍微侧对(如：沿水平方向旋转15°)腕部相机，腕部相机采集一幅图像，使用高精密测量仪器a1和高精密测量仪器a2分别测量棋盘格标定板上n个关键点的方位、俯仰读数，由步骤2)可获得n个关键点在参考坐标系or下的坐标(xr1,yr1,0),(xr2,yr2,0)…(xrn,yrn,0)，记为则由标定工具计算出此时标定板世界坐标系ow相对于参考坐标系or的外参[rwrtwr]，坐标系定义方式如图3、4所示，其中，prw＝rwr*pw+twr。

7)由步骤4)和6)可得出机械臂末端坐标系om相对于标定板世界坐标系ow的外参[rmwtmw]，其中

8)同理，利用腕部相机采集的图像，由标定工具计算出此时标定板世界坐标系ow相对于相机坐标系oc的外参[rwctwc]，若标定板上关键点在相机坐标系oc下的坐标标记为则pcw＝rwc*pw+twc。

9)由步骤7)和步骤8)可得出机械臂末端坐标系om相对于相机坐标系oc的外参[rmctmc]，其中