机器人单目立体视觉标定系统及方法与流程

本发明涉及智能机器人定位技术领域，具体地，涉及一种机器人单目立体视觉标定系统及方法。

背景技术：

随着科技的发展，各行各业都涉及并采用智能机器人来进行一系列生产活动，以代替传统的人工操作，从而节省人力资源，大幅提高工作效率，而在智能机器人领域，一个重要的环节就是机器人的视觉标定，它的精确度直接决定着机器人的工作精准度与效率。

目前，机器人的视觉标定系统分为单目和双目两种方式。其中，单目视觉标定系统主要采用运动学回路法和轴线测量法，运动学回路法主要通过测量获取机器人末端的位姿，然后求解机器人的运动学方程以获得机器人的关节参数，而轴线测量法是将机器人的关节轴线抽象成空间中的一条直线，利用关节轴线间的几何关系求出模型运动学参数。

但是，这种单目视觉标定系统由于过度依赖摄像头的清晰度，使得设备的成本大大提高，影响机器人的大面积推广。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种机器人单目立体视觉标定系统及方法。

第一方面，本发明实施例提供一种机器人单目立体视觉标定系统，包括：信息采集模块、摄像机建模模块、机器人关节轴线标定模块、标定反馈与拟合模块、机器人模型建立模块；其中：

所述信息采集模块的输出端与所述摄像机建模模块、标定反馈与拟合模块通信连接，用于采集的靶标图像、靶标到机器人关节的直线距离，并将所述靶标图像、靶标到机器人关节的直线距离分别传输至摄像机建模模块、标定反馈与拟合模块；

所述摄像机建模模块的输出端与所述机器人关节轴线标定模块通信连接，用于建立三维世界坐标系与计算机图像坐标系的换算模型，输出图像信息；

所述机器人关节轴线标定模块的输出端和输入端分别与标定反馈与拟合模块的输入端和输出端通信连接；所述机器人关节轴线标定模块的输出端与机器人模型建立模块的输入端通信连接，用于根据图像信息以及标定反馈与拟合模块反馈的实际偏差信息，进行机器人关节轴线的拟合和标定，输出机器人的关节轴线数据；

所述标定反馈与拟合模块的输出端与所述机器人模型建立模块、机器人关节轴线标定模块的输入端通信连接，用于根据计算靶标图像、靶标到机器人关节的直线距离的实际偏差；

所述机器人模型建立模块的输入端与所述标定反馈与拟合模块、机器人关节轴线标定模块的输出端通信连接，用于根据机器人的关节轴线数据、实际偏差，建立机器人模型。

可选地，所述信息采集系统，包括：高清摄像头、红外遥感器，分别用于采集靶标图像、靶标至机器人关节的直线距离；其中，所述高清摄像头、红外遥感器固定安装在机器人的末端，且呈上下分布。

可选地，所述摄像机建模模块，具体用于：

建立三维世界坐标系与计算机图像坐标系的换算模型；

根据所述换算模型，输出靶标图像对应的图像信息。

可选地，所述建立三维世界坐标系与计算机图像坐标系的换算模型，包括：

建立三维世界坐标系到摄像机坐标系的变换公式：

其中，r表示旋转正交矩阵，t表示平移矢量，(r1，r4，r7)、(r2，r5，r8)、(r3，r6，r9)分别表示xw、yw、zw坐标轴在摄像机坐标系中的单位方向矢量分量，tx、tv、tz分别表示平移矢量在摄像机坐标系中的单位方向矢量分量，xw、yw、zw分别表示靶标在三维世界坐标系中各坐标轴投影矢量，x、y、z分别表示靶标在摄像机坐标系中各坐标轴投影矢量；

建立三维世界坐标系中的坐标到计算机图像坐标系的坐标透视变换关系公式：

其中，(nx，ny)为摄像机像面坐标系的像面坐标，f为镜头焦距，(u0，v0)为主点，ρ表示在计算机图像坐标系中的点，u、v、l分别表示靶标在计算机图像坐标系中各坐标轴投影的矢量。

可选地，所述机器人关节轴线标定模块，包括：标定点获取单元、摄像机光心坐标换算单元、轴线方程拟合单元；其中，所述标定点获取单元的输出端与摄像机光心坐标换算单元的输入端通信连接；所述摄像机光心坐标换算单元的输入端与摄像机建模模块的输出端通信连接，所述摄像机光心坐标换算单元的输出端与轴线方程拟合单元的输入端通信连接；所述轴线方程拟合单元的输入端和输出端分别与标定反馈与拟合模块的输出端和输入端通信连接，所述轴线方程拟合单元的输出端与机器人模型建立模块的输入端通信连接。

可选地，所述机器人关节轴线标定模块，具体用于：

标定点获取单元，采用靶标上的一个点作为初始值，以该点为中心上下左右各取五个像素，分别按列和按行求出像面坐标u和v，计算公式为：

其中，f(ui，vi)为(ui，vi)像素点的灰度值，n≤120；

摄像机光心坐标换算单元，将高清摄像头在摄像机坐标系中的光心坐标转换成三维世界坐标系中的坐标，计算公式为：

轴线方程拟合单元，将多组摄像机光心坐标数据拟合一个圆，拟合一条经过圆心且垂直圆平面的直线，作为轴线方程。

可选地，所述标定反馈与拟合模块，包括：欧拉角求取单元、实际偏差率判断单元、轴线重新拟合单元；其中，所述欧拉角求取单元的输入端与轴线方程拟合单元的输出端通信连接；所述欧拉角求取单元的输出端分别与摄像机光心坐标换算单元和实际偏差率判断单元的输入端通信连接；所述实际偏差率判断单元的输出端分别与轴线重新拟合单元和机器人模型建立系统的输入端通信连接；所述轴线重新拟合单元的输出端与轴线方程拟合单元的输入端电连接。

可选地，所述标定反馈与拟合模块，具体用于：

欧拉角求取单元，用于计算欧拉转角，计算公式如下：

θx＝atan2(r8，r9)

θz＝atan2(r4，r1)

其中，atan为三角函数tan的反正切函数，θx、θy、θz分别为三维世界坐标系相对摄像机坐标系旋转的三坐标旋转角；

实际偏差率判断单元，用于计算摄像机坐标系下的坐标值相对与红外遥感器实际测得坐标值的偏差率，计算公式如下：

式中，η表示摄像机坐标系下的坐标值相对与红外遥感器实际测得坐标值的偏差率，abs表示取绝对值函数，d表示红外遥感器实际测得坐标值的横移轴坐标值，x表示摄像机坐标系的横移轴坐标值，m表示预定参考值，由人工输入；

轴线重新拟合单元，用于拟合轴线方程，计算公式如下：

其中，x’w表示摄像机光心在三维世界坐标系中修正后的坐标值。

可选地，所述机器人模型建立模块采用d-h模型建立连杆坐标系。

第二方面，本发明实施例提供一种机器人单目立体视觉标定方法，应用于第一方面中任一项所述的机器人单目立体视觉标定系统，执行机器人单目立体视觉标定操作。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的机器人单目立体视觉标定系统，通过设置标定反馈与拟合系统，由实际偏差率判断单元计算当前高清摄像头采集的数据与红外遥感器采集的数据的偏差，并判断偏差高低，再决定是否由轴线重新拟合单元重新拟合数据，从而能够实现对高清摄像头采集数据的修正，使得高清摄像头与红外遥感器双重配合工作，此举可降低对高清摄像头的清晰度过于依赖，从而降低设备的成本，有利于机器人的大面积推广。

另一方面，通过设置欧拉角求取单元，采用欧拉角与旋转正交矩阵互算，从而能够方便的计算出三维世界坐标系与摄像机坐标系之间的旋转角，进而由该旋转角计算红外遥感器测得实际值投影在三维世界坐标系的三个坐标轴上的投影数据，便于进行偏差率的计算，从而进一步优化标定反馈与拟合系统对高清摄像头采集的数据进行修正的计算流程，使得系统架构更加合理。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例提供的机器人单目立体视觉标定系统的结构示意图；

图2为本发明实施例提供的信息采集模块的结构示意图；

图3为本发明实施例提供的摄像机建模模块的结构示意图；

图4为本发明实施例提供的机器人关节轴线标定模块的结构示意图；

图5为本发明实施例提供的标定反馈与拟合模块的结构示意图；

图6为本发明实施例提供的机器人关节轴线标定模块与标定反馈与拟合模块的连接示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明实施例提供的机器人单目立体视觉标定系统的结构示意图，如图1所示，本发明提供的系统，包括：信息采集模块10、摄像机建模模块20、机器人关节轴线标定模块30、标定反馈与拟合模块40和机器人模型建立模块50。信息采集模块10的输出端分别电连接摄像机建模模块20和标定反馈与拟合模块40的输入端。

图2为本发明实施例提供的信息采集模块的结构示意图，如图2所示，信息采集模块10包括高清摄像头11和红外遥感器12，高清摄像头11和红外遥感器12的输出端分别电连接摄像机建模模块20的输入端和标定反馈与拟合模块40的输入端，高清摄像头11和红外遥感器12分别用于采集靶标图像和靶标至机器人关节的直线距离，高清摄像头11和红外遥感器12均固定安装在机器人的末端且呈上下分布。

图3为本发明实施例提供的摄像机建模模块的结构示意图，如图3所示，摄像机建模模块20包括三维世界坐标系21、摄像机坐标系22、摄像机像面坐标系23和计算机图像坐标系24，三维世界坐标系21、摄像机坐标系22、摄像机像面坐标系23和计算机图像坐标系24之间采用以下换算公式进行换算：

从三维世界坐标系21到摄像机坐标系22的变换公式：

其中，r表示旋转正交矩阵，t表示平移矢量，(r1，r4，r7)、(r2，r5，r8)、(r3，r6，r9)分别表示xw、yw、zw坐标轴在摄像机坐标系中的单位方向矢量分量，tx、ty、tz分别表示平移矢量在摄像机坐标系中的单位方向矢量分量，xw、yw、zw分别表示靶标在三维世界坐标系中各坐标轴投影矢量，x、y、z分别表示靶标在摄像机坐标系中各坐标轴投影矢量。

由三维世界坐标系21中的点到计算机图像坐标系24的坐标透视变换关系公式为：

式中，(nx，ny)为摄像机像面坐标系23的像面坐标，是已知参数，旋转正交矩阵r、平移矢量t、镜头焦距f以及主点(u0，v0)由径向排列约束标定方法计算确定并将结果发送至机器人关节轴线标定模块30。径向排列约束标定方法是利用最小二乘法解超定线性方程，给出外部参数，然后内部参数由摄像机有无透镜畸变决定。当摄像机无透镜畸变时，内部参数可由一个超定线性方程解出，当摄像机有径向畸变，则需要结合非线性优化的方法解出内部参数。摄像机建模模块20的输出端与机器人关节轴线标定模块30的输入端电连接。

图4为本发明实施例提供的机器人关节轴线标定模块的结构示意图，如图4所示，机器人关节轴线标定模块30包括标定点获取单元31、摄像机光心坐标换算单元32和轴线方程拟合单元33，标定点获取单元31的输出端电连接摄像机光心坐标换算单元32的输入端，摄像机光心坐标换算单元32的输入端与摄像机建模模块20的输出端电连接，摄像机光心坐标换算单元32的输出端与轴线方程拟合单元33的输入端电连接，轴线方程拟合单元33的输入端和输出端分别与标定反馈与拟合模块40的输出端和输入端电连接，轴线方程拟合单元33的输出端与机器人模型建立模块50的输入端电连接，标定点获取单元31、摄像机光心坐标换算单元32和轴线方程拟合单元33分别采用如下公式。

其中，标定点获取单元31采用靶标上的一个点作为初始值，以该点为中心上下左右各取五个像素，分别按列和按行求出像面坐标u和v：

式中，f(ui，vi)为(ui，vi)像素点的灰度值；

其中，摄像机光心坐标换算单元32采用如下公式将高清摄像头11在摄像机坐标系22中的光心坐标转换成三维世界坐标系21中的坐标：

其中，轴线方程拟合单元33由标定点获取单元31和摄像机光心坐标换算单元32换算的多组摄像机光心坐标数据拟合一个圆，经过圆心且垂直圆平面的直线方程即为轴线方程，通过设置标定点获取单元31，由标定点获取单元31自由随机获取靶标上的标定点，再由选取的标定点上下左右对称获取相邻标定点，与传统的人工鼠标点取相比，此法取点更科学合理，效率更高。

机器人关节轴线标定模块30的输出端和输入端分别与标定反馈与拟合模块40的输入端和输出端电连接。图5为本发明实施例提供的标定反馈与拟合模块的结构示意图，如图5所示，标定反馈与拟合模块40包括欧拉角求取单元41、实际偏差率判断单元42和轴线重新拟合单元43。图6为本发明实施例提供的机器人关节轴线标定模块与标定反馈与拟合模块的连接示意图，如图6所示，欧拉角求取单元41的输入端与轴线方程拟合单元33的输出端电连接，欧拉角求取单元41的输出端分别与摄像机光心坐标换算单元32和实际偏差率判断单元42的输入端电连接，实际偏差率判断单元42的输出端分别与轴线重新拟合单元43和机器人模型建立模块50的输入端电连接，轴线重新拟合单元43的输出端与轴线方程拟合单元33的输入端电连接，欧拉角求取单元41、实际偏差率判断单元42和轴线重新拟合单元43分别采用如下公式计算：

其中，欧拉角求取单元41的计算公式如下：

θx＝atan2(r8，r9)

θz＝atan2(r4，r1)

式中，θx、θy、θz分别为三维世界坐标系21相对摄像机坐标系22旋转的三坐标旋转角；

其中实际偏差率判断单元42的计算公式如下：

式中，η表示摄像机坐标系22下的坐标值相对与红外遥感器12实际测得坐标值的偏差率，abs表示取绝对值函数，d表示红外遥感器12实际测得坐标值的横移轴坐标值，x表示摄像机坐标系22的横移轴坐标值，m表示预定参考值，由人工输入；

其中轴线重新拟合单元43的计算公式如下：

式中x’w表示摄像机光心在三维世界坐标系21中修正后的坐标值，机器人关节轴线标定模块30的输出端与机器人模型建立模块50的输入端电连接，机器人模型建立模块50采用d-h模型建立连杆坐标系，标定反馈与拟合模块40的输出端与机器人模型建立模块50的输入端电连接。

一种机器人单目立体视觉标定方法，包含以下步骤：

s1、由高清摄像头11和红外遥感器12分别采集靶标的图像和红外遥感器12至靶标的距离，并分别将数据传给摄像机建模模块20和实际偏差率判断单元42。

s2、根据坐标系换算公式，将高清摄像头11传来的数据进行换算存储，同时将数据传输给标定点获取单元31。

s3、由标定点获取单元31随机获取靶标上的一点，计算标定单元参数，并将参数传输给摄像机光心坐标换算单元32。

s4、由摄像机光心坐标换算单元32换算摄像机光心在三维世界坐标系21中的坐标值，并经由轴线方程拟合单元33拟合成轴线方程，并将数据传输给欧拉角求取单元41。

s5、先由欧拉角求取单元41计算欧拉转角，再由实际偏差率判断单元42计算高清摄像头11采像与红外遥感器12测距的相对偏差，并与m做判断。若小于m，则输出数据至机器人模型建立模块50；若大于m，则输出数据至轴线重新拟合单元43，经由轴线重新拟合单元43修正数据后，再由轴线方程拟合单元33拟合轴线方程，然后直接由轴线方程拟合单元33将修正后的轴线方程发送给机器人模型建立模块50。

s6、将最终拟合的轴线方程分由近似垂直的轴和近似平行的轴两种情况，分别建立连杆坐标系。

本实施例，通过设置标定反馈与拟合模块40，由实际偏差率判断单元42计算当前高清摄像头11采集的数据与红外遥感器12采集的数据的偏差，并判断偏差高低。然后，判断是否由轴线重新拟合单元43重新拟合数据，从而能够实现对高清摄像头11采集数据的修正，使得高清摄像头11与红外遥感器12双重配合工作。此举可降低对高清摄像头11的清晰度过于依赖，从而降低设备的成本，有利于机器人的大面积推广。通过设置欧拉角求取单元41，采用欧拉角与旋转正交矩阵互算，从而能够方便的计算出三维世界坐标系21与摄像机坐标系22之间的旋转角，进而由该旋转角计算红外遥感器12测得实际值投影在三维世界坐标系21的三个坐标轴上的投影数据。便于进行偏差率的计算，从而进一步优化标定反馈与拟合模块40对高清摄像头11采集的数据进行修正的计算流程，使得系统架构更加合理。解决了传统轴线测量法由于过度依赖摄像头的清晰度，使得设备的成本大大提高，影响机器人的大面积推广的问题。

需要说明的是，本发明提供的所述机器人单目立体视觉标定方法中的步骤，可以利用所述机器人单目立体视觉标定系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。