一种基于像素空间优化的相机与机器人相对位姿标定方法
【技术领域】
[0001] 本发明属于先进制造与自动化领域，具体地说，是一种基于像素空间优化的相机 与机器人相对位姿标定方法。
【背景技术】
[0002] 随着工业机器人的发展，基于视觉伺服的机器人/机械臂作业在越来越多的场景 得到应用，是目前"机器换人"和产业转型的核屯、问题。具备视觉系统的工业机器人可W更 加灵活智能的与环境交互，取代人工完成更多的任务，把工人从流水线上的重复工作中解 放出来。视觉传感器与机器人空间位姿标定的精度是保证手眼系统可W正常运行的关键， 标定的精度决定了视觉伺服机器人定位和抓取的准确度。
[0003] 相机与机器人之间相对位置和方向关系的求解问题是机器人学与计算机视觉领 域的一个基本问题。W往的方法把运类问题归结为求解齐次变换方程AX=XB，对于此方程 的求解一般分为两类：一类是基于旋转矩阵的线性不变性[1]，将方程线性化并采用线性 最小二乘求解，此类方法先求解旋转变换部分，再利用旋转变换的结果求解平移变换，运会 导致误差传递，因此此类方法对噪声敏感，精度不高，一类是通过迭代优化的方法巧]，此类 方法依赖于优化初值的选择，选择不当的初值会使优化结果陷入局部最优，无法得到满意 的标定精度。标定数据通过相机来观测标定板的运动（此运动由机器人的运动引起）来获 得，标定板上的特征点对应的图像坐标是直接的观测数据，W上方法并没有利用相机的成 像倍息。
[0004] [1] Tsai R Y, Lenz R K, A new technique for fully autonomous and efficient 3D robotics hand/eye calibration, in\emph(IEEE Trans, on Robotics and Automation}, 1989, 5(3) :；345-358.
[0005] [2]Zuang H, Shiu Y C, A noise-tolerant algorithm for robotic hand-eye calibration with or without sensor orientation measurement, in\emph(IEEE Trans, on Systems, Man and切bernetics}, 1993,23(4): 1168-1175.
【发明内容】
[0006] 本发明的目的是针对现有的机器人与相机标定方法中存在的不足，提出了一种基 于像素空间优化的相机与机器人相对位姿标定方法。
[0007] 本发明是通过W下技术方案来实现的：
[0008] 本发明的有益效果如下：
[0009] 本发明无需外部测量设备，借助低成本的标定板完成相机与机器人相对位姿的标 定，首先通过利用旋转矩阵的线性不变性求解齐次变换矩阵，得到初步的标定结果。然后将 初步标定结果作为优化初值，在像素空间进行优化，使得重投影误差最小，充分利用了图像 信息。由于存在两个未知参数，因此采用了迭代优化的方法，假设其中一参数为已知量，求 解另一个未知参数，并将求解的结果互相迭代，当标定结果收敛时停止迭代，可得到精确的 标定结果，本发明针对工业应用场景的实际需求，提供了高精度的相机与机器人相对位姿 标定方法。
[0010] 本发明无需依赖标定初值的选择，又兼顾了相机与机器人相对位姿标定的精度， 使得标定结果不受噪声的影响，克服了传统方法中存在的不足。实验证明应用本发明中的 方法得到的标定结果建立机器人和相机之间的位置关系，机器人可W在视觉系统的伺服下 完成高精度的抓取任务，平均抓取误差为0. 873mm。
【附图说明】
[0011] 图1为基于像素空间优化的相机与机器人相对位姿标定方法流程示意图；
[0012] 图2为适用本发明技术方案的Hand-to-eye手眼标定装置示意图；
[0013] 图3为本发明技术方案标定过程中运动状态转移示意图；
[0014] 具体实施方法
[0015] 本发明公开了一种基于像素空间优化的相机与机器人相对位姿标定方法，图1为 基于像素空间优化的相机与机器人相对位姿标定方法流程示意图，具体步骤如下：
[0016] (1)固定标定板在机器人末端，控制机器人运动，使得运动停止时，标定板在相机 视野内；
[0017] (2)当运动停止后，记录机器人末端坐标系到基座坐标系的转换关系T/，采集图 像得到标定板上棋盘格角点像坐标{(叫，Vi)，（U2,V2)，. . .，（Um,Vm) }，计算标定板坐标系到 相机坐标系的转换关系TV;
[0018] (3)再控制机器人运动n若干次，得到n+1运动停止时的状态数据 阳 01 9] {T/,V, {(Ui,Vi), (U2,V2),..., (u",vj}}
[0020] (4)根据运动状态转移中相机、标定板、机器人末端与机器人基座坐标系之间的转 换关系，建立W下状态转移方程： W21] 化％尸1\。.化％).心 W22]灯。四=1V?化r)四.心
[0023] .
[0024] . 阳0巧].
[0026] 灯。(…)=1V.灯/)(仙.心
[0027] T/是机器人基座坐标系到相机坐标系的齐次转换矩阵，T,6是标定板坐标系到机 器人末端坐标系的齐次转换矩阵；
[00測妨消去心，令巧、,=战％,> .(C记，似W=巧.?巧'X;，T康示标定板 的状态转移矩阵，T。表示机器人末端的转移矩阵，得到n个齐次转换方程：灯b)W?T/ =TfC?化)(1)，即AX=XB;
[0029] (6)利用旋转矩阵的线性不变性求解齐次转换方程AX=XB，将求得的Tr"作为优 化求解的初始值；
[0030] (7)在像素空间迭代优化，得到精确的T巧日V，根据相机的成像模型W及方程 灯。(。=1\。.灯/)(。.心，可得：
[0031]
[0032] 此方程为优化求解的目标方程，其中相机的内参数矩闻
是已知参 数，迭代优化求解的步骤如下：
[0033] (7-1)迭代过程包括两个阶段：标定板到机器人末端位姿关系求解阶段和机器人 基座到相机位姿关系求解阶段；
[0034] (7-。将（6)中得到的结果作为初始值灯刀;。尸Tr"，将代入方程 [00对灯。。)=T/ .灯/)。）?心得到T,6的初始值灯,6)扣)；
[0036] (7-3)标定板到机器人末端位姿关系求解阶段：n+1组状态数据作为输入数据，将 灯刀AU作为已知量带入优化目标方程，灯,6)AU作为优化的初始值，优化的目标为最小化 重投影误差
串中（U，，V，）为观测角点像坐标，（U,'，V,'） 为重投影后的角点像坐标，采用Levenberg-Marquar化算法求解cc)
[0037] (7-4)机器人基座到相机位姿关系求解阶段：n+1组状态数据 阳 03 引{T/，心，{(叫，Vi),(咕V2),. . .，（Um,Vm)}}(1,2,...,W1)作为输入数据，将（TV)(k)作为 已知量带入优化目标方程，07)AU作为优化的初始值，优化的目标为最小化重投影误差
，其中（U，，V，）为观测角点像坐标，（<，V,'）为重投影后 的角点像坐标，采用Levenberg-Marquar化算法求解（Tf。)
[0039] (7-f5)根据化6) (k)，（巧(k)和（T。(k1)，化％ 1)判断标定结果是否收敛：计算
[0040] err=II(巧的-(巧(k1)IIf+II化6)似-化6)(k1)IIf
[0041 ]II?IIf表示矩阵的化obenius范数，如果err小于设定的阔值，则停止迭代，得到 最终的t不定结果T/=(T/)W，即否则置k=k+1 ;
[0042] 下面通过具体实施例对本发明的技术方案作进一步地说明：
[0043] 图2适用本发明技术方案的Hand-to-eye手眼标定装置示意图，基于像素空间优 化相机与机器人相对位姿标定方法的步骤如下：
[0044] (1)工业机器人基座固定，相机固定安装在机器人外部工作区域的上方，已知相机 的内参数，在机器人末端固定棋盘格标定板，装置图如图2所示；
[0045] (2)控制机器人运动，使标定板运动到视野范围内，当运动停止时，可W得到机器 人末端坐标系到基座坐标系的转换关系，用齐次变换矩阵T/表示，包含旋转和平移变换；
[0046] (3)相机采集图像，得到棋盘格m个角点在像平面中的坐标 阳047] {(叫，Vi)，（咕V2)，. . .，（Um,Vm) }，结合相机内参数计算标定板坐标系到相机坐标 系的转换关系，用齐次变换矩阵IV表示； 柳4引 （4)再控制机器人进行n(n>。次转轴非平行的运动，同样要保证标定板在相机 视野范围，每次运动后采集图像，根据步骤（2) (3)可W得到n+1组状态数据{T/，TbE，Kui， Vl), (U2,V2), . . . , (u",vj}} (i_2.....n+l)；
[0049] (5)根据运动状态