机器人的手眼标定装置与方法与流程

本发明涉及工业机器人的标定技术领域，尤其涉及机器人的手眼标定装置与方法。

背景技术：

目前，手眼系统EYE-IN-HAND工业机器人通常的手眼标定方式：工业机器人带着手臂上的相机变换姿态，在相机视场内拍摄同一固定标定板。此标定板在机器人世界坐标系下的位置不变。工业机器人视觉识别标定板上的特征点，进行图像处理计算，得出特征点在相机世界坐标系下的值。经过一系列相关的计算，能得出工业相机的相机坐标系与工业机器人工具坐标系的变换关系矩阵T。由此关系矩阵T，图像像素上的点就可以转换到工业机器人的基坐标系下的点。机器人根据此图像识别的点，引领相应的抓手运动到目标抓取点。

日本FANUC机器人公司的iRVision视觉系统，已经通过坐标系自动示教方式，机器人可以自动检测并计算标定坐标系。

但是目前的智能机器人在完成手眼标定的过程中需要采集或识别的特征点过多，导致计算起来十分复杂，目前的技术通常需要九次姿态变换来完成工业机器人的手眼标定，导致标定工序复杂。

技术实现要素：

本发明要解决的技术问题是提供一种机器人的手眼标定装置与方法，以降低相机坐标系到机器人坐标系的变换关系式的计算难度。

为解决上述技术问题，本发明提供以下技术方案。

一方面，本发明提供一种机器人的手眼标定方法，该方法应用于六轴工业机器人，该方法包括：

确定用于标定相机参数的特征点和用于标定机器人基础坐标系的坐标点；

识别所述机器人处于第一姿态下的所述特征点和所述坐标点在相机坐标系下的坐标值；

识别所述机器人处于第二姿态下的所述特征点和所述坐标点在相机坐标系下的坐标值；

根据两次识别的所述坐标值以及所述特征点和坐标点在机器人基础坐标系下的坐标值计算相机坐标系到机器人工具坐标系的变换关系。

进一步地，该方法还包括：

获取在相机坐标系下的目标坐标值；

通过所述变换关系式计算所述目标坐标值在机器人工具坐标系下的坐标。

进一步地，通过以下公式计算相机坐标系到机器人工具坐标系的变换关系式：

T₆×T×P₁＝T₆₁×T×P₂；

其中，T表示待计算的相机坐标系到机器人工具坐标系的变换关系式矩阵，T₆表示机器人处于第一姿态下的姿态值，P₁表示机器人处于第一姿态下的坐标点在相机坐标系下的坐标值，T₆₁表示机器人处于第二姿态下的姿态值，P₂表示机器人处于第二姿态下的坐标点在相机坐标系下的坐标值。

进一步地，该方法还包括：

通过对位于特征点的图像进行图像识别获取特征点的坐标值，通过对位于坐标点的图像进行图像识别获取坐标点的坐标值。

进一步地，上述特征点的个数为四个。

进一步地，上述特征点和坐标点以棋盘方格的形式设在手眼标定板上。

另一方面，本发明提供一种机器人的手眼标定装置，该装置包括：

点确定模块，用于确定用于标定相机参数的特征点和用于标定机器人坐标系的坐标点；

第一识别模块，用于识别机器人处于第一姿态下的特征点和坐标点在相机坐标系下的坐标值；

第二识别模块，用于识别机器人处于第二姿态下的特征点和坐标点在相机坐标系下的坐标值；

关系计算模块，用于根据两次识别的坐标值以及特征点和坐标点在机器人坐标系下的坐标值计算相机坐标系到机器人坐标系的变换关系式。

进一步地，该装置还包括：

目标获取模块，用于获取在相机坐标系下的目标坐标值；

坐标计算模块，用于通过变换关系式计算目标坐标值在机器人工具坐标系下的坐标。

进一步地，上述关系计算模块通过以下公式计算相机坐标系到机器人坐标系的变换关系式：

T₆×T×P₁＝T₆₁×T×P₂；

其中，T表示待计算的相机坐标系到机器人工具坐标系的变换关系式矩阵，T₆表示机器人处于第一姿态下的姿态值，P₁表示机器人处于第一姿态下的坐标点在相机坐标系下的坐标值，T₆₁表示机器人处于第二姿态下的姿态值，P₂表示机器人处于第二姿态下的坐标点在相机坐标系下的坐标值。

进一步地，该装置还包括：

图像识别单元，用于通过对位于特征点的图像进行图像识别获取特征点的坐标值，通过对位于坐标点的图像进行图像识别获取坐标点的坐标值。

本发明的有益效果在于只需要六轴工业机器人的姿态变换两次，采集图像上四个特征点两次，经过计算就可以得出相机坐标系到机器人坐标系的变换关系式，既简化了标定的工序，又降低了计算的难度。

【附图说明】

图1为根据本发明的一个实施例的机器人的手眼标定方法的流程图；

图2为根据本发明的另一实施例的机器人的手眼标定方法的流程图；

图3为根据本发明的一个实施例的机器人的两次姿态变换的示意图；

图4为应用于本发明的一个实施例的手眼标定板的正面结构示意图；

图5为应用于本发明的一个实施例的手眼标定板的侧面结构示意图；

图6为根据本发明的一个实施例的机器人的手眼标定装置的示范性结构框图；

图7为根据本发明的一个实施例的机器人的手眼标定装置的示范性结构框图。

附图中，各标记代表的部件如下：

1-1、第一通孔，1-2、第二通孔，2、螺纹孔，3、定位槽，4、手眼标定板。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

图1为根据本发明的一个实施例的机器人的手眼标定方法的流程图，下面结合图1来具体描述根据本发明的一个实施例的机器人的手眼标定方法，该方法应用于六轴工业机器人，如图1所示，该方法包括以下步骤：

S100、确定用于标定相机参数的特征点和用于标定机器人坐标系的坐标点；

S200、识别机器人处于第一姿态下的特征点和坐标点得出在相机坐标系下的坐标值；

S300、识别机器人处于第二姿态下的特征点和坐标点得出在相机坐标系下的坐标值；

S400、根据两次识别的坐标值以及特征点和坐标点在相机坐标系下的坐标值与两次工业机器人姿态值计算相机坐标系到机器人工具坐标系的变换关系式。所述姿态值是指机器人在第一姿态或第二姿态下在工具坐标系下的坐标值。

图3为根据本发明的一个实施例的机器人的两次姿态变换的示意图，其机器人两次姿态的变换如图3所示。

作为优选地，通过对位于特征点的图像进行图像识别获取特征点的坐标值，通过对位于坐标点的图像进行图像识别获取所述坐标点的坐标值。

其中，上述特征点的个数为四个，上述特征点和坐标点以棋盘方格的形式设在手眼标定板上，将A、B、C、O作为计算手眼系统为EYE-IN-HAND的工业机器人坐标系到工业相机坐标系的变换矩阵T的求取的特征点，图像上8行11列共88个黑色圆圈是为标定工业相机的内参和外参所用，其中黑色圆圈上带有五个小白点的圆环状标记是为标定工业机器人的工具坐标系所用。

根据本实施例的一个示例，图4为应用于本发明的一个实施例的手眼标定板4的正面结构示意图，图5为应用于本发明的一个实施例的手眼标定板的侧面结构示意图，如图4和图5所示，该手眼标定板包括设置在正面的孔和设在侧边上的孔。其中，设在正面的孔包括四个位于手眼标定板中部的用于标定特征点的环状图案，以及设在手眼标定板边角处的用于标定坐标系的环状图案。

其中，用于标定特征点的圆形图案的直径大于其它圆形图案或环形图案外圆的直径，该用于标定特征点的圆形图案的外圆直径例如11～13mm，其中12mm 为最优。用于标定坐标系的环状图案的外圆直径例如8～10mm，其中9mm为最优。进一步地，该环状图案的内圆的直径例如可以为2mm。作为可选的，该手眼标定板上还可设置用于固定该手眼标定板的通孔，为别为第一通孔1-1和第二通孔1-2。

如图4和图5所示，该用于固定手眼标定板的孔包括位于手眼标定板正面的第一通孔1-1和第二通孔1-2，以及位于手眼标定板侧边的螺纹孔2和定位槽3。其中，如图5所示，螺纹孔2和定位槽3均相对的设有两个。

本实施例通过手眼系统EYE-IN-HAND工业机器人变换两次姿态，拍摄带有四个大圆(A、B、C、O)的特征标定板。分别计算工业相机在两次拍照点坐标点和特征点在相机世界坐标系下的值。经过本专利提出的算法计算出机器人工具坐标系到工业相机坐标系的变换矩阵T。再重新设定工业机器人拍照点，通过视觉识别算法获取工件在相机坐标系下的中心抓取点，经过坐标系变换，变换到工业机器人基坐标系下。机器人根据此工件的中心点在机器人基坐标下的数值，引领相应的抓手运动到指定点。

在计算相机坐标系到机器人坐标系的变换关系式矩阵T时，首先标定出相机的内参数，依据工业机器人当前姿态标定出相机的外参数，识别标定板上原点的在相机坐标系的值以及另外三个特征点在相机坐标系的值，机器人变换另一个姿态，分别标定出相应的外参数和标定板上原点在相机坐标系的值以及另外三个特征点在相机坐标系的值。根据机器人两个姿态值，在加上四个特征点分别在两个相机坐标系下的坐标值，求变换矩阵T。

本实施例采用非标定针触棋盘格方式的手眼标定板进行标定，减少采用标定针触棋盘格方式标定人参与的人为误差和减少此标定方法操作时间，改善“采用标定针触棋盘格方式”手眼标定精度低和操作繁琐等缺陷，提升视觉工业机器人的智能化，也为工业机器人设计厂商研究视觉位移和视觉控制打下基础。本实施例使得只需要工业机器人的姿态变换两次，采集图像上特征点两次，经过计算就可以得出相机坐标系到机器人工具坐标系的变换关系式，简化了标定的工序。

实施例二

图2为根据本发明的另一实施例的机器人的手眼标定方法的流程图，如图2所示，该机器人的手眼标定方法在包括上述步骤S100、S200、S300和S400 的基础上具体还包括：

S500、获取在相机坐标系下的目标坐标值；

S600、通过变换关系式计算目标坐标值在机器人坐标系下的坐标。

其中，该方法具体通过以下公式来计算相机坐标系到机器人坐标系的变换关系式：

T₆×T×P₁＝T₆₁×T×P₂ (公式6-1)；

其中，T表示待计算的相机坐标系到机器人工具坐标系的变换关系式矩阵，T₆表示机器人处于第一姿态下的姿态值，P₁表示机器人处于第一姿态下的坐标点在相机坐标系下的坐标值，T₆₁表示机器人处于第二姿态下的姿态值，P₂表示机器人处于第二姿态下的坐标点在相机坐标系下的坐标值。

机器人处于第一姿态时，棋盘格子的原点O在相机坐标系下的位置为P₁，左下角环形图案位置为P₂，右下角环形图案的位置为P₃，机器人处于在第二姿态时，棋盘格子的原点O在相机坐标系下的位置为P₄，左下角环形图案的位置为P₅，右下脚环形图案的位置为P₆，通过这些已知量，则有：

由工业机器人运动学X-Y-Z固定角坐标系的表示方法得到：

此时，可设带求的T为：

其中α，β，γ，Pt_x，Pt_y，Pt_z为六个待求的未知量。

由公式6-1可得

T₆^-1·T₆·T·P1＝R₆^-1·T₆₁·T·P3

则有其中r₁₁，r₁₂，r₁₃，r₁₄，r₂₁，r₂₂，r₂₃，r₂₄，r₃₁，r₃₂，r₃₃，r₃₄计算出的常量。

经过机器人移动两次，工业相机标定两次，物体特征的同一个点在相机坐标系为两个不同的坐标值，经计算可以得到下面三个等式。

(r₁₁P_3z-P_1z)cαsβcγ+(r₁₁P_3y-P_1y)cαsβsγ+r₁₂P_3zsαsβcγ+r₁₂P_3ysαsβsγ+(r₁₁P_3x-P_1x)cαcβ+r₁₂P_3ycαcγ-r₁₂P_3zcαsγ+r₁₂P_3xsαcβ+(P_1y-r₁₁P_3y)sαcγ+(r₁₁P_3z-P_1z)sαsγ+r₁₃P_3zcβcγ+r₁₃P_3ycβsγ-r₁₃P_3xsβ+(r₁₁-1)Pt_x+r₁₂Pt_y+r₁₃Pt_z+r₁₄＝0 (等式6-1)

r₂₁P_3zcαsβcγ+r₂₁P_3ycαsβsγ+(r₂₂P_3z-P_1z)sαsβcγ+(r₂₂P_3y-P_1y)sαsβsγ+r₂₁P_3xcαcβ+(r₂₂P_3y-P_1y)cαcγ+(P_1z-r₂₂P_3z)cαsγ+(r₂₂P_3x-P_1x)sαcβ-r₂₁P_3ysαcγ+r₂₁P_3zsαsγ+r₂₃P_3zcβcγ+r₂₃P_3ycβsγ-r₂₃P_3xsβ+r₂₁Pt_x+(r₂₂-1)Pt_y+r₂₃Pt_z+r₂₄＝0 (等式6-2)

r₃₁P_3zcαsβcγ+r₃₁P_3ycαsβsγ+r₃₂P_3zsαsβcγ+r₃₂P_3ysαsβsγ+r₃₁P_3xcαcβ+r₃₂P_3ycαcγ-r₃₂P_3zcαsγ+r₃₂P_3xsαcβ-r₃₁P_3ysαcγ+r₃₁P_3zsαsγ+(r₃₃P_3z-P_1z)cβcγ+(r₃₃P_3y-P_1y)cβsγ+(P_1x-r₃₃P_3x)sβ+r₃₁Pt_x+r₃₂Pt_y+(r₃₃-1)Pt_z+r₃₄＝0

(等式6-3)

有上面的三个等式可以归结出，手眼标定板上的一个特征点在机器人两次 变换在相机坐标系下能得到两个坐标值。手眼标定板上的一个特征点可以列出三个等式。目前，上面的等式是通式，可以把每一项的三角函数的乘积看成未知数，Pt_x，Pt_y，Pt_z也看成未知数，则可得到上面的式子为一次十六元线形方程，需要至少六个特征点可以解出。

初步令x＝sβ，y＝cαcγ，z＝cαsγ，w＝sαcγ，t＝sαsγ，p＝cαcβ，q＝sαcβ，u＝cβcγ，v＝cβsγ。其中Pt_x，Pt_y，Pt_z也看做未知量，这通用方程可以变换为

k₁₁xy+k₁₂xz+k₁₃xw+k₁₄xt+k₁₅p+k₁₆y+k₁₇z+k₁₈q+k₁₉w+k₁₁₀t+k₁₁₁u+k₁₁₂v+k₁₁₃x+k₁₁₄Pt_x+k₁₁₅Pt_y+k₁₁₆Pt_z+k₁₁₇＝0 (等式6-4)

此方程为12元2次方程，其中kxx为常量，这可以简化所需的特征点由6个降为4个，一个特征点可以列出(等式6-1)、(等式6-2)、(等式6-3)三个方程。

应用加减消元法消去方程xy，xz，xw，xt的乘积项：

应用加减消元法对(等式6-4)进行化简会得到通式(等式6-5)，一共可以得到12个如通式(等式6-5)一样的方程。

(o_1，2o_2，1-o_2，2o_1，1)p+(o_1，3o_2，1-o_2，3o_1，1)y+(o_1，4o_2，1-o_2，4o_1，1)z+(o_1，5o_2，1-o_2，5o_1，1)q+(o_1，6o_2，1-o_2，6o_1，1)w+(o_1，7o_2，1-o_2，7o_1，1)t+(o_1，8o_2，1-o_2，8o_1，1)u+(o_1，9o_2，1-o_1，9o_1，1)v+(o_1，10o_2，1-o_2，10o_1，1)x+(o_1，11o_2，1-o_2，11o_1，1)Pt_x+(o_1，12o_2，1-o_2，12o_1，1)Pt_y+(o_1，13o_2，1-o_2，13o_1，1)Pt_z+(o_1，14o_2，1-o_2，14o_1，1)＝0 (等式6-5)

求解实系数方程组选取全选主元高斯消去法：

由上面的12个一元十二次方程采用全选主元高斯消去法可以求解得出x＝a₁，y＝a₂，z＝a₃，w＝a₄，t＝a₅，p＝a₆，q＝a₇，u＝a₈，v＝a₉，Pt_x＝a₁₀，Pt_y＝a₁₁，Pt_z＝a₁₂。

应用三角函数求取和分析完成对工业机器人运动学X-Y-Z固定角求取：

初步令x＝sβ，y＝cαcγ，z＝cαsγ，w＝sαcγ，t＝sαsγ，p＝cαcβ，q＝sαcβ，u＝cβcγ，v＝cβsγ。

由a₁＝sinβ，a₂＝cosαcosγ，a₃＝cosαsinγ，a₄＝sinαcosγ，a₅＝sinαsinγ，a₆＝cosαcosβ，

a₇＝sinαcosβ，a₈＝cosβcosγ，a₉＝cosβsinγ可以把工业机器人运动学X-Y-Z固定角中的α，β，γ划分到不同的象限进行计算，再根据计算的结果加以取舍。

本实施例详细的提供了通过两次姿态标定四个特征点的计算方法，既简化了标定的工序，又降低了计算过程中参数的个数，进而降低计算的难度。

实施例三

图6为根据本发明的一个实施例的机器人的手眼标定装置的示范性结构框图，下面结合图6来具体描述根据本发明的一个实施例的机器人的手眼标定装 置，如图6所示，该机器人的手眼标定装置100具体包括：

点确定模块10，用于确定用于标定相机参数的特征点和用于标定机器人坐标系的坐标点；

第一识别模块20，用于识别机器人处于第一姿态下的特征点和坐标点在相机坐标系下的坐标值，从而计算相机外参数；

第二识别模块30，用于识别机器人处于第二姿态下的特征点和坐标点在相机坐标系下的坐标值，从而计算相机外参数；

关系计算模块40，用于根据两次识别的坐标值以及特征点和坐标点在机器人坐标系下的坐标值计算相机坐标系到机器人坐标系的变换关系式。

图7为根据本发明的一个实施例的机器人的手眼标定装置的示范性结构框图，如图7所示，该机器人的手眼标定装置100具体还包括：

目标获取模块50，用于获取在相机坐标系下的目标坐标值；

坐标计算模块60，用于通过变换关系式计算目标坐标值在机器人坐标系下的坐标。

其中，上述关系计算模块40通过以下公式计算机器人坐标系到相机坐标系的变换关系式：

T₆×T×P₁＝T₆₁×T×P₂；

其中，T表示待计算的相机坐标系到机器人坐标系的变换关系式矩阵，T₆表示机器人处于第一姿态下的姿态值，P₁表示机器人处于第一姿态下的坐标点在相机坐标系下的坐标值，T₆₁表示机器人处于第二姿态下的姿态值，P₂表示机器人处于第二姿态下的坐标点在相机坐标系下的坐标值。

进一步地，该机器人的手眼标定装置100还包括：

图像识别单元，用于通过对位于特征点的图像进行图像识别获取特征点的坐标值，通过对位于坐标点的图像进行图像识别获取坐标点的坐标值。

本发明的有益效果在于采用非标定针触棋盘格方式的手眼标定板进行标定，减少采用标定针触棋盘格方式标定人参与的人为误差和减少此标定方法操作时间，改善“采用标定针触棋盘格方式”手眼标定精度低和操作繁琐等缺陷，提升视觉工业机器人的智能化。也为工业机器人设计厂商研究视觉位移和视觉控制打下基础。本实施例使得只需要工业机器人的姿态变换两次，采集图像上特征点两次，经过计算就可以得出相机坐标系到机器人坐标系的变换关系式， 简化了标定的工序。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。