一种基于主动视觉的手眼系统自标定方法与流程

本发明一种基于主动视觉的手眼系统自标定方法属于机器人标定技术领域，涉及的是一种基于主动视觉的手眼系统自标定。

背景技术：

视觉测量与控制作为机器人智能化最重要的实现方式之一，可以大幅提高机器人操作的效率和精度，目前在工业生产，特别是在测量、抓取、焊接等领域，有着非常广泛的应用。在实际应用中，摄像机通常被固定在机器人机械手的末端执行器上，随着末端执行器的移动而移动，这样就构成了一个基于机器人本体的手眼系统。机器人在生产操作时，需要知道目标物体相对于机械手末端执行器的位置，而目标物体的位置信息可以通过手眼系统的自标定来获取，获取的关键在于确定机械手末端坐标系与摄像机坐标系之间的相对位置关系。

为了实现自标定，目前常用的方法是在不使用标定参照物的基础上，精确控制摄像机做线性无关的平移运动和旋转运动，只需场景中的1个或多个特征点，即可线性求解手眼系统中的摄像机内参矩阵、手眼关系、特征点目标深度等信息。

目前，北京理工大学提出的专利申请“一种机器人线结构光视觉测量系统的手眼标定方法”（专利申请号cn201510419925.4，公开号cn105021139a）公开了一种机器人线结构光视觉测量系统的手眼标定方法。该方法根据机器人运动特点，将机器人的运动关系通过坐标系的建立展现出来。通过控制机器人末端的移动，并结合齐次变换矩阵原理，获得机器人移动前后摄像机的运动量，进而根据手眼关系模型获得最终手眼关系矩阵。该方法详细解释了通过3次移动求解手眼关系矩阵的方法。但该方法并未涉及摄像机内参矩阵、特征点目标深度等相关参数的求解。

目前，许海霞等提出了一种基于场景中单个景物点的机器人手眼关系标定方法。通过精确控制机械手末端执行器做5次以上平移运动和2次以上实旋转运动，摄像机对场景中的单个景物点进行成像。通过景物点的视差及深度值反映摄像机的运动，建立机械手末端执行器与摄像机两坐标系之间相对位置的约束方程组，线性求得摄像机内参数及手眼关系。张黎烁等提出仅需场景中2个特征点，通过控制摄像机做4次线性无关的平移运动和2次实旋转运动，即可实现手眼系统的标定。以上方法中涉及的平移运动和实旋转运动次数过多，可进一步简化。

技术实现要素：

本发明的目的是针对上述不足之处提供一种基于主动视觉的手眼系统自标定方法，该方法无需标定参照物，只需借助于场景中的2个特征点，通过精确控制摄像机做4次线性无关的平移运动和1次旋转运动，即可依次实现对手眼关系旋转矩阵、摄像机内参矩阵、特征点目标深度、手眼关系平移向量等信息的线性求解。

本发明是采取以下技术方案实现的，一种基于主动视觉的手眼系统自标定方法，包括如下步骤：

（1）建立摄像机成像系统各参照坐标系的坐标转换关系；

（1-1）建立摄像机成像系统中各参照坐标系，特征点m在ccd成像平面o-uv中的成像点坐标为，在图像平面on-xnyn中的成像点坐标为，在摄像机坐标系oc-xcyczc中的坐标为；

（1-2）建立摄像机内参矩阵五参数模型，其中表示图像平面x轴的尺度因子、表示图像平面y轴的尺度因子，表示畸变因子，是ccd成像平面的原点；

（1-3）建立摄像机成像系统中ccd成像平面o-uv和图像平面on-xnyn的坐标转换关系；

（1-4）建立摄像机成像系统中图像平面on-xnyn和摄像机坐标系oc-xcyczc的坐标转换关系；

（2）建立手眼系统各参照坐标系的坐标转换关系；

（2-1）建立手眼系统中各参照坐标系，特征点m在世界坐标系ow-xwywzw中的坐标为、在机械手末端坐标系oh-xhyhzh中的坐标为、在摄像机坐标系oc-xcyczc中的坐标为；

（2-2）建立手眼系统中坐标变换关系：和表示摄像机坐标系到机械手末端坐标系的旋转和平移部分，和表示机械手末端坐标系到世界坐标系的旋转和平移部分；

（2-3）建立手眼系统中摄像机坐标系oc-xcyczc和机械手末端坐标系oh-xhyhzh的坐标转换关系，；

（2-4）建立手眼系统中机械手末端坐标系oh-xhyhzh和世界坐标系ow-xwywzw的坐标转换关系：；

（3）建立手眼系统中的ccd成像平面和世界坐标系的坐标转换关系；

由建立ccd成像平面o-uv和世界坐标系ow-xwywzw的坐标转换关系，其中表示特征点在摄像机坐标系的深度值；

（4）控制手眼系统中的摄像机做1次平移运动；

（4-1）控制手眼系统中的摄像机做1次平移运动，计算平移前后特征点m在机械手末端坐标系和摄像机坐标系的坐标转换关系，；

其中，xh1、xh2是平移前后特征点m在机械手末端坐标系中的坐标，xc1、xc2是平移前后特征点m在摄像机坐标系中的坐标；

（4-2）结合扩展焦点的概念，计算平移前后特征点m的位移向量变化关系，，进一步可简化为；

（5）控制手眼系统中的摄像机继续做2次线性无关的平移运动；依次获得、；

（6）线性求解手眼系统中手眼关系旋转矩阵；根据标定手眼关系的旋转矩阵，其中、；

（7）控制手眼系统中的摄像机做1次线性无关的平移运动；

结合扩展焦点的概念，由可得，等价于；

（8）线性求解手眼系统中摄像机内参矩阵；

（8-1）假定，（7-1）的结果进一步化为，展开得；

（8-2）假定另一矩阵除外其余元素与a相同，即，通过最小二乘法求出的唯一解；同时，又因为是正交阵，即为了确定的值，由简化，最终得到；求出后，求出a，实现摄像机内参矩阵的标定；

（9）线性求解特征点目标深度；

（9-1）在所述步骤（4-1）控制手眼系统中的摄像机做1次平移运动，在步骤（4-1）之后，建立摄像机平移前后特征点m在ccd成像平面和图像平面坐标的转换关系，其中和是平移前和平移后特征点m在ccd成像平面的坐标，和是平移前后特征点m在图像平面的坐标，和是平移前后特征点m在摄像机坐标系中的坐标，进一步简化为；

（9-2）求出平移前后特征点的目标深度信息；

结合摄像机内参矩阵五参数模型，得到，当，化简得到；或当时；同理求出的值；

（10）控制手眼系统中的摄像机做1次实旋转运动；

实旋转运动完成后，得到，其中xh5、xh6是实旋转运动前后特征点m在机械手末端坐标系中的坐标，xc5、xc6是实旋转运动前后特征点m在摄像机坐标系中的坐标；进一步化简，得到；

（11）控制手眼系统中的摄像机做1次虚拟旋转；虚拟旋转完成后，特征点m在机械手末端坐标系中的坐标是xh7，在摄像机坐标系中的坐标是xc7，可得；

（12）实现对手眼关系平移向量的标定；

（12-1）综合步骤（10）和（11）的结果，得到，表明经过一次实旋转运动和一次虚拟旋转，特征点m在摄像机坐标系中的坐标和，看做是一次平移运动前后的坐标变换，进一步得到；假定、，得到；

（12-2）结合扩展焦点的概念，计算一次实旋转运动和一次虚拟旋转前后特征点m的位移向量变化关系，，进一步转化为，即；

当时，化简得到；

或当时，；

（12-3）按照，实现对手眼关系平移向量的标定。

进一步的，步骤（4-2）、（7）和（12-2）中所述扩展焦点方法如下：

（1）建立扩展焦点坐标体系模型；

图像i和图像ii是摄像机平移后的两幅图像，p1和p2是特征点m在平移前后图像上的位置；摄像机做平移运动，直线oco和oc'o'平行，直线p2'o和p2o'平行。p2'是p2在图像i上的对应点，对应点连线p2'p1和ococ'相交于扩展焦点e;其中，o和o'是平移前后图像平面的原点；oc和oc'是平移前后摄像机坐标系的原点；

（2）由和，得到扩展焦点e在摄像机坐标中的坐标、，其中，表示摄像机平移运动的单位向量，且。

进一步的，步骤（5）和（7）中所述线性无关的平移运动要求为，一共需精确控制摄像机做4次平移运动，这4次平移运动中的任意2次平移运动均不能线性相关。

进一步的，步骤（10）中所述的1次实旋转运动和（11）中所述1次虚拟旋转要求如下：必须在先完成了4次线性无关平移的基础上做实旋转运动，实旋转运动过后再做虚拟旋转，虚拟旋转结束后的摄像机坐标系与实旋转运动之前摄像机坐标系的各个数轴平行且方向完全一致。

本发明的优点：该方法无需标定参照物，只需借助于场景中的2个特征点，通过精确控制摄像机做4次线性无关的平移运动和1次旋转运动，即可依次实现对手眼关系旋转矩阵、摄像机内参矩阵、特征点目标深度、手眼关系平移向量等信息的线性求解。本方法简单实用，特征点选取容易，对机器人线结构光手眼系统在实际工业现场使用具有重要意义。

附图说明

以下将结合附图对本发明作进一步说明：

图1为本发明方法的流程图；

图2为摄像机成像系统原理图；

图3为本发明的基于主动视觉的手眼系统原理图；

图4为本发明的扩展焦点的原理图；

图5为本发明方法中实旋转和虚旋转前后系统姿态对比图；

图6为本发明方法中4次平移运动示意图；

图7为本发明方法中1次旋转运动示意图。

具体实施方式

参照附图1～7，本发明方法包括如下步骤：

（1）建立摄像机成像系统各参照坐标系的坐标转换关系，如图2所示；

（1-1）建立摄像机成像系统中各参照坐标系：特征点m在ccd成像平面o-uv中的成像点坐标为，在图像平面on-xnyn中的成像点坐标为，在摄像机坐标系oc-xcyczc中的坐标为。

（1-2）建立摄像机内参矩阵五参数模型，其中表示图像平面x轴的尺度因子、表示图像平面y轴的尺度因子，表示畸变因子，是ccd成像平面的原点。

（1-3）建立摄像机成像系统中ccd成像平面o-uv和图像平面on-xnyn的坐标转换关系。

（1-4）建立摄像机成像系统中图像平面on-xnyn和摄像机坐标系oc-xcyczc的坐标转换关系。

（2）建立手眼系统各参照坐标系的坐标转换关系，如图3所示，具体包括：

（2-1）建立手眼系统中各参照坐标系：特征点m在世界坐标系ow-xwywzw中的坐标为、在机械手末端坐标系oh-xhyhzh中的坐标为、在摄像机坐标系oc-xcyczc中的坐标为。

（2-2）建立手眼系统中坐标变换关系：和表示摄像机坐标系到机械手末端坐标系的旋转和平移部分，和表示机械手末端坐标系到世界坐标系的旋转和平移部分。

（2-3）建立手眼系统中摄像机坐标系oc-xcyczc和机械手末端坐标系oh-xhyhzh的坐标转换关系，。

（2-4）建立手眼系统中机械手末端坐标系oh-xhyhzh和世界坐标系ow-xwywzw的坐标转换关系：。

（3）建立手眼系统中的ccd成像平面和世界坐标系的坐标转换关系；

由建立ccd成像平面o-uv和世界坐标系ow-xwywzw的坐标转换关系，其中表示特征点在摄像机坐标系的深度值。

（4）控制手眼系统中的摄像机做1次平移运动。

（4-1）控制手眼系统中的摄像机做1次平移运动，计算平移前后特征点m在机械手末端坐标系和摄像机坐标系的坐标转换关系，。其中，xh1、xh2是平移前后特征点m在机械手末端坐标系中的坐标，xc1、xc2是平移前后特征点m在摄像机坐标系中的坐标。

（4-2）如图4所示，结合扩展焦点的概念，计算平移前后特征点m的位移向量变化关系，，进一步可简化为。

（5）再控制手眼系统中的摄像机继续做2次线性无关的平移运动，依次获得、。

（6）线性求解手眼系统中手眼关系旋转矩阵，根据标定手眼关系的旋转矩阵，其中、。

（7）再控制手眼系统中的摄像机做1次线性无关的平移运动，结合扩展焦点的概念，由可得，等价于。

（8）线性求解手眼系统中摄像机内参矩阵。

（8-1）假定，步骤（7）的结果可进一步化为，展开得

（8-2）假定另一矩阵除外其余元素与a相同，即，可通过最小二乘法求出的唯一解。同时，又因为是正交阵，即。为了确定的值，可由简化，最终得到。求出后，求出a，实现摄像机内参矩阵的标定。

（9）线性求解特征点目标深度。

（9-1）在前面控制手眼系统中的摄像机做1次平移运动，也就是步骤（4-1）之后，建立摄像机平移前后特征点m在ccd成像平面和图像平面坐标的转换关系，其中和是平移前后特征点m在ccd成像平面的坐标，和是平移前、后特征点m在图像平面的坐标，和是平移前后特征点m在摄像机坐标系中的坐标，进一步简化为。

（9-2）求出平移前后特征点的目标深度信息。结合摄像机内参矩阵五参数模型，可得，当时化简可得，或当时。同理亦可求出的值。

（10）控制手眼系统中的摄像机做1次实旋转运动，如图5所示。

实旋转运动完成后，可得，其中xh5、xh6是实旋转运动前后特征点m在机械手末端坐标系中的坐标，xc5、xc6是实旋转运动前后特征点m在摄像机坐标系中的坐标。进一步化简，可得。

（11）控制手眼系统中的摄像机做1次虚拟旋转，如图5所示。

虚拟旋转完成后，特征点m在机械手末端坐标系中的坐标是xh7，在摄像机坐标系中的坐标是xc7，可得。

（12）实现对手眼关系平移向量的标定。

（12-1）综合步骤（10）和步骤（11）的结果，可得，表明经过一次实旋转运动和一次虚拟旋转，特征点m在摄像机坐标系中的坐标和，可以看做是一次平移运动前后的坐标变换，进一步可得。假定、，可得。

（12-2）如图4所示，结合扩展焦点的概念，计算一次实旋转运动和一次虚拟旋转前后特征点m的位移向量变化关系，，进一步可转化为，即。当时化简可得，或当时。

（12-3）按照，实现对手眼关系平移向量的标定。

实验条件：

标定实验的测试平台采用的是densovp-6242e/gm工业机器人，定位精度可以达到0.02mm，摄像机镜头的焦距为8mm，感光ccd分辨率为640×480。

如图6所示，首先控制摄像机做4次线性无关的平移运动。为了提高计算精度，取三特征角点对应连线的均值计算ccd成像平面中扩展焦点的坐标。然后根据扩展焦点的坐标可以求出摄像机平移运动过程中的方向向量，继而求出手眼关系的旋转矩阵和摄像机内参矩阵。

如图7所示，接着做一次实旋转运动。此次实旋转结合一次假想的虚旋转，可以求出手眼关系的旋转矩阵。