基于球形合作目标的立体相机位姿标定方法及系统与流程

1.本发明属于智能工业机器人领域，具体涉及一种基于球形合作目标的立体相机位姿标定方法及系统。


背景技术：

2.具有视觉感知能力的智能工业机器人，能够识别动态场景中的环境、作业对象以及设备自身的状态，智能地规划适用当前场景的作业工序和工艺，已经广泛应用于高端智造领域当中多规格、小批量、形变产品的柔性生产任务，实现逆向三维重建、尺寸及形位公差检测、装配、焊接、加工引导等。
3.目前在工业生产领域，安装于工业机器人末端的面结构光立体相机应用场景越来越多。面结构光立体相机控制工业机器人作业时，必须将其测量数据高精度地转换为工业机器人末端机械手或其它工艺执行单元需要的工业机器人坐标系下的数据，智能工业机器人在使用前，需要标定面结构光立体相机与工业机器人的安装位姿，得到坐标转换矩阵。
4.行业内目前绝大多数采用的是传统2d工业相机与工业机器人坐标转换矩阵的标定方法，存在标定步骤多，耗时长，精度低，实现自动化困难，无法在使用过程中在线校验或标定面结构光立体相机与工业机器人的坐标转换矩阵。
5.行业内也有采用立体合作目标进行标定的方案。一类是在安装作业机械手单元前，在机器人法兰上安装对尖工装，将面结构光立体相机采集到的三维特征，通过对尖的方式建立两个坐标系的对应关系。另一类是结构经过特别设计的立体合作目标，通过提取棱线、尖顶等特征信息，求解得到面结构光立体相机与工业机器人的坐标转换矩阵。现有的这两类标定方法对立体合作目标的加工要求高，成本高，准备周期长，为了评价立体合作目标的点云数据质量，标定算法复杂，易出错，在线自动化算法有难度。


技术实现要素：

6.本发明的目的在于针对上述现有技术中的问题，提供一种基于球形合作目标的立体相机位姿标定方法及系统，标定过程简单、高效，在智能工业机器人作业过程中也能在线校验或标定面结构光立体相机与工业机器人的位姿，可自动化实现，具有较高的标定精度。
7.为了实现上述目的，本发明有如下的技术方案：
8.一种基于球形合作目标的立体相机位姿标定方法，包括：
9.将由多个位置确定的球体摆放组成的球形合作目标平稳放置；
10.控制工业机器人带动安装在末端机械手上的面结构光立体相机运动至各标定位姿，面结构光立体相机采集各个标定位姿下球形合作目标的轮廓点云；
11.对球形合作目标的轮廓点云进行识别、分割，计算各个球体的球心坐标；
12.根据各个标定位姿下，工业机器人与面结构光立体相机的位姿变化信息，计算得到面结构光立体相机与工业机器人的位姿转换信息。
13.作为本发明立体相机位姿在线标定方法一种优选的方案，所述将球形合作目标平
稳放置包括如下步骤：
14.选择由不少于三个球体组成的球形合作目标平稳放置；
15.两两标定位姿下，球形合作目标的全部球体在面结构光立体相机视场范围内。
16.作为本发明立体相机位姿在线标定方法一种优选的方案，所述的控制工业机器人运动至多个标定位姿包括如下步骤：
17.选择不少于三个标定位姿；
18.控制工业机器人带动面结构光立体相机运动，面结构光立体相机的视角向下，采集到球形合作目标多个球体的顶部轮廓；
19.读取工业机器人的位姿参数作为初始标定位姿，绕面结构光立体相机的x轴顺时针、逆时针旋转尽可能大的角度增加标定姿态，绕面结构光立体相机的y轴顺时针、逆时针旋转尽可能大的角度增加标定姿态。
20.作为本发明立体相机位姿在线标定方法一种优选的方案，所述对球形合作目标的轮廓点云进行识别、分割，计算各个球体的球心坐标包括：
21.识别各个标定位姿下有着物理空间对应关系的球形合作目标；
22.从包含背景点云数据以及多个球形合作目标轮廓点云的点云集中分割出球形合作目标的轮廓点云；
23.拟合计算分割后的轮廓点云的球心坐标。
24.作为本发明立体相机位姿在线标定方法一种优选的方案，计算各个标定位姿下工业机器人的位姿变化信息包括如下步骤：
25.读取工业机器人各个标定位姿的参数；
26.工业机器人各个标定位姿的参数根据厂家的坐标系定义进行计算；设定位姿参数对应的位姿矩阵姿态矩阵为rrn，位姿矩阵平移矩阵为trn，其中r表示工业机器人；分解计算工业机器人两两标定位姿的旋转变化信息，计算公式为：
27.rr
n1n2
＝rr
n1
*rr
n2-1
28.式中，rr
n1n2
表示第n2标定位姿至第n1标定位姿的旋转变化；
29.计算两两标定位姿的平移变化信息，计算公式为：
30.tr
n1n2
＝tr
n1-rr
n1n2
*tr
n1
31.式中，tr
n1n2
表示第n2标定位姿至第n1标定位姿的平移变化。
32.作为本发明立体相机位姿在线标定方法一种优选的方案，计算各个标定位姿下面结构光立体相机的位姿变化信息包括如下步骤：
33.读取各个标定位姿下球形合作目标的球心坐标；
34.球形合作目标各个标定位姿的位姿定义为球形合作目标带有编码的球心坐标集合；设定位姿参数对应的位姿矩阵姿态矩阵为rcn，位姿矩阵平移矩阵为tcn，其中c表示面结构光立体相机；分解计算面结构光立体相机采集球形合作目标的两两标定位姿旋转变化信息，计算公式为：
35.rc
n1n2
＝rc
n1
*rc
n2-1
36.公式中，rc
n1n2
表示第n2标定位姿至第n1标定位姿的旋转变化；
37.计算两两标定位姿的平移变化信息，计算公式为：
38.tc
n1n2
＝tc
n1-rc
n1n2
*tc
n1
39.式中，tr
n1n2
表示第n2标定位姿至第n1标定位姿的平移变化。
40.作为本发明立体相机位姿在线标定方法一种优选的方案，计算面结构光立体相机与工业机器人的位姿转换信息包括如下步骤：
41.工业机器人的两两标定位姿旋转变化矩阵对应的旋转向量vr
n1n2
组成矩阵a；
42.面结构光立体相机采集的球形合作目标的两两标定位姿旋转变化矩阵对应的旋转向量vc
n1n2
组成b；
43.面结构光立体相机与工业机器人的位姿旋转变化信息为rrc，按下式进行计算：
44.rrc＝b
×
a-1
45.平移变化信息trc，按下式进行计算：
46.trc＝[rrc*tr
n1n2-tc
n1n2
]*[rc
n1n2-i]-1
，其中i为三阶单位矩阵；
[0047]
[rrc，trc]即为面结构光立体相机与工业机器人的位姿转换信息。
[0048]
一种基于球形合作目标的立体相机位姿标定系统，包括：
[0049]
轮廓点云采集模块，用于将由多个位置确定的球体摆放组成的球形合作目标平稳放置之后，控制工业机器人带动安装在末端机械手上的面结构光立体相机运动至各标定位姿，面结构光立体相机采集各个标定位姿下球形合作目标的轮廓点云；
[0050]
球心坐标计算模块，用于对球形合作目标的轮廓点云进行识别、分割，计算各个球体的球心坐标；
[0051]
位姿转换求解模块，用于根据各个标定位姿下，工业机器人与面结构光立体相机的位姿变化信息，计算得到面结构光立体相机与工业机器人的位姿转换信息。
[0052]
作为本发明立体相机位姿在线标定系统一种优选的方案，所述的球形合作目标由不少于三个位置确定的球体摆放组成，球体具有球面的局部轮廓特征；所述的球形合作目标对多个球体按1，2，
……
，n编码，编码与各个标定位姿一一对应。
[0053]
相较于现有技术，本发明至少具有如下的有益效果：
[0054]
采用由多个位置确定的球体摆放组成的球形合作目标进行标定，球形合作目标易获取，放置方法简单，使用灵活，成本低。球形合作目标放置平稳后，工业机器人运动至多个标定位姿，面结构光立体相机采集球形合作目标的轮廓点云，对球形合作目标的轮廓点云进行识别、分割，计算各个球体的球心坐标，根据工业机器人在各标定位姿下球形合作目标的位姿变化，获得面结构光立体相机与工业机器人的位姿转换信息，过程简单、高效。本发明使用过程中标定位姿进行自动规划，对放置球形合作目标的要求低，能够适应球形合作目标放置偏差的功能。本发明采用球形合作目标进行标定，能够从包含背景点云数据中分割提取球形合作目标轮廓点云，具有可靠性高，求解精度高的显著优势，能够适应环境光变化引起的图像采集质量不一致问题，在实现在线自动化标定的同时，具有较高的标定精度。
[0055]
进一步的，本发明球形合作目标采用多个兵乒球制作而成，根据面结构光立体相机的视场范围，可以用胶灵活、柔性地粘于标定平台的水平表面上，采用兵乒球作为球形合作目标，易获取、成本极低、平稳放置方法简单，使用非常灵活，球形合作目标对多个球体编码记为1，2，
……
，n，与各个标定位姿一一对应，对绝对位置和姿态没有任何要求。
附图说明
[0056]
图1本发明基于球形合作目标的立体相机位姿在线标定装置装配结构示意图；
[0057]
图2本发明球形合作目标的结构示意图；
[0058]
图3本发明基于球形合作目标的立体相机位姿在线标定方法流程图；
[0059]
附图中：1-工业机器人；2-面结构光立体相机；3-球形合作目标；4-面结构光立体相机安装件；5-标定平台；6-面结构光立体相机视场范围；7-局部轮廓特征；8-球形合作目标编码。
具体实施方式
[0060]
下面结合附图对本发明做进一步的详细说明。
[0061]
参见图1，本发明标定方法的实施基于一种球形合作目标的立体相机位姿在线标定装置，包括设置在面结构光立体相机视场范围6内的球形合作目标3，面结构光立体相机2安装在工业机器人1的末端机械手上，球形合作目标3由多个位置确定的球体摆放组成，球体具有球面的局部轮廓特征7；工业机器人1带动面结构光立体相机2运动至各标定位姿，面结构光立体相机2采集球形合作目标3的图像，根据工业机器人1在各标定位姿下球形合作目标3的位姿变化，获得面结构光立体相机2与工业机器人1的位姿转换信息。
[0062]
在一种可选的实施方式中，球形合作目标3由数量不少于三个球体摆放组成。球形合作目标3采用分立的多个球体，或者一个包含多个球体的组件。面结构光立体相机2通过面结构光立体相机安装件4安装于工业机器人1上。面结构光立体相机安装件4根据生产作业硬件布局设计。球形合作目标3平稳安装于标定平台5上。球形合作目标3在工业机器人1标定位姿下面结构光立体相机视场范围6内。参见图2，球形合作目标3包含球面的局部轮廓特7，本实施例采用分立的多个球形，对每个球形进行编码，球形合作目标编码8记为1，2，
……
，n，在各个标定位姿下一一对应即可，对绝对位置和姿态没有任何要求。
[0063]
更进一步的，球形合作目标3可以选择易获取、成本极低的乒乓球作为球体组成，根据面结构光立体相机2的视场范围，用胶灵活、柔性地粘于标定平台5上即可。
[0064]
参见图3，本发明实施例一种基于球形合作目标的立体相机位姿在线标定方法，包括：
[0065]
步骤1，将多个球形合作目标3平稳放置。
[0066]
将多个球形合作目标3平稳放置，包括如下步骤：
[0067]
1a)选择不少于三个球形合作目标3平稳放置；
[0068]
1b)两两标定位姿下，有不少于三个球形合作目标3在面结构光立体相机视场范围6内。
[0069]
步骤2，控制工业机器人1运动至多个标定位姿，通过面结构光立体相机2采集球形合作目标3的轮廓点云。
[0070]
控制工业机器人1运动至多个标定位姿，包括如下步骤：
[0071]
2a)选择不少于三个标定位姿，优选的，选用五个标定位姿；
[0072]
2b)工业机器人1带动面结构光立体相机2运动，面结构光立体相机2视角向下，采集到球形合作目标3的多个球体顶部轮廓；
[0073]
2c)读取工业机器人1的位姿参数作为初始标定位姿，绕面结构光立体相机2的x轴顺时针、逆时针旋转尽可能大的角度增加标定姿态，绕面结构光立体相机2的y轴顺时针、逆时针旋转尽可能大的角度增加标定姿态；
[0074]
优选的，在2c)步骤中，绕x轴顺时针、逆时针旋转角度不小于10度；绕y轴顺时针、逆时针旋转角度不小于10度。
[0075]
步骤3，对各个标定位姿球形合作目标3的轮廓点云进行识别、分割，计算各个球形合作目3的球心坐标。
[0076]
对各个标定位姿球形合作目标3的轮廓点云处理，包括如下步骤：
[0077]
3a)识别各个标定位姿下有着物理空间对应关系的球形合作目标3；
[0078]
3b)从包含背景点云数据、多个球形合作目标3轮廓点云的点云集中，分割高质量球形合作目3的轮廓点云；
[0079]
3c)拟合计算分割后的轮廓点云的球心坐标，记为p
nm
＝[x,y,z]。其中，n表示标定位姿编号，为1,2,
……
，n，其中n为总标定次数。m表示球形合作目标编号，为1，2，
……
，m,其中m为球形合作目标数量。
[0080]
步骤4，根据各个标定位姿下，工业机器人1位姿变化信息，以及面结构光立体相机2位姿变化信息。
[0081]
计算各个标定位姿的工业机器人1位姿变化信息的方法，步骤如下：
[0082]
4a)读取工业机器1人各个标定位姿的参数。
[0083]
4b)工业机器人1各个标定位姿的参数根据厂家的坐标系定义进行计算。在此，设定位姿参数对应的位姿矩阵姿态矩阵为rrn，位姿矩阵平移矩阵为trn，其中r表示工业机器人。
[0084]
分解计算工业机器人1两两标定位姿的旋转变化信息，计算公式为：
[0085]
rr
n1n2
＝rr
n1
*rr
n2-1
[0086]
公式中，rr
n1n2
表示第n2标定位姿至第n1标定位姿的旋转变化。
[0087]
计算两两标定位姿的平移变化信息，计算公式为：
[0088]
tr
n1n2
＝tr
n1-rr
n1n2
*tr
n1
。
[0089]
公式中，tr
n1n2
表示第n2标定位姿至第n1标定位姿的平移变化。
[0090]
计算各个标定位姿的面结构光立体相机2位姿变化信息的方法，步骤如下：
[0091]
4c)读取各个标定位姿下球形合作目标3的球心坐标。
[0092]
4d)球形合作目标3各个标定位姿的位姿定义为球形合作目标3带有编码的球心坐标集合。在此，设定位姿参数对应的位姿矩阵姿态矩阵为rcn，位姿矩阵平移矩阵为tcn，其中c表示面结构光立体相机。分解计算面结构光立体相同采集标定合作目标的两两标定位姿旋转变化信息，计算公式为：
[0093]
rc
n1n2
＝rc
n1
*rc
n2-1
[0094]
式中，rc
n1n2
表示第n2标定位姿至第n1标定位姿的旋转变化。
[0095]
计算两两标定位姿的平移变化信息，计算公式为：
[0096]
tc
n1n2
＝tc
n1-rc
n1n2
*tc
n1
。
[0097]
公式中，tr
n1n2
表示第n2标定位姿至第n1标定位姿的平移变化。
[0098]
步骤5，计算得到面阵结构光立体相机2与工业机器人1的位姿转换信息。
[0099]
计算面阵结构光立体相机2与工业机器人1的位姿转换信息的方法，步骤如下：
[0100]
5a)工业机器人1的两两标定位姿旋转变化矩阵对应的旋转向量vr
n1n2
组成矩阵a；面结构光立体相机2采集的球形合作目标3的两两标定位姿旋转变化矩阵对应的旋转向量
vc
n1n2
组成b；面结构光立体相机2与工业机器人1的位姿旋转变化信息为rrc，计算公式为：
[0101]
rrc＝b
×
a-1
。
[0102]
5b)平移变化信息trc，计算公式为：
[0103]
trc＝[rrc*tr
n1n2-tc
n1n2
]*[rc
n1n2-i]-1
，其中i为三阶单位矩阵。
[0104]
5c)[rrc，trc]即为面结构光立体相机与工业机器人的位姿转换信息。
[0105]
下面通过一个具体实施例来进一步说明本发明的应用。
[0106]
如图1所示，选择易获取、成本极低的三个乒乓球作为球形合作目标3，根据面结构光立体相机2的视场范围，用胶灵活、柔性地粘于标定平台5上；
[0107]
工业机器人1为川崎品牌的六轴工业机械臂，面结构光立体相机2选用zivid品牌。
[0108]
控制工业机器人1运动，三个乒乓球在面结构光立体相机视场范围6内。
[0109]
下发标定指令，工业机器人1带动面结构光立体相机2运动三个标定位姿。
[0110]
位姿参数如表1所示：
[0111]
表1工业机器人位姿参数
[0112]
位姿编号xyzoat1-283.972-94.913456.899112.649162.813-77.1812-93.35-23.639409.732156.812165.003-36.3383-154.97180.13377.513-126.932157.203104.934-448.591201.034347.114-82.508154.522120.2095-486.376-75.163342.49542.913164.089-139.701
[0113]
球心计算结果如表2所示：
[0114]
表2球心坐标
[0115][0116]
工业机器人位姿矩阵rrn、平移矩阵trn如表3所示：
[0117]
表3工业机器人位姿矩阵、平移矩阵
[0118][0119][0120]
面结构光立体相机位姿矩阵rcn、平移矩阵tcn如表4所示：
[0121]
表4面结构光立体相机位姿矩阵、平移矩阵
[0122][0123]
利用rrc＝b
×
a-1
及trc＝[rrc*tr
n1n2-tc
n1n2
]*[rc
n1n2-i]-1
计算得到面结构光立体相机与工业机器的位姿转换信息[rrc，trc]为：
[0124][0125]
本发明另一实施例还提出一种基于球形合作目标的立体相机位姿在线标定系统，包括：
[0126]
轮廓点云采集模块，用于将由多个位置确定的球体摆放组成的球形合作目标平稳放置之后，控制工业机器人带动安装在末端机械手上的面结构光立体相机运动至各标定位姿，面结构光立体相机采集各个标定位姿下球形合作目标的轮廓点云；
[0127]
球心坐标计算模块，用于对球形合作目标的轮廓点云进行识别、分割，计算各个球体的球心坐标；
[0128]
位姿转换求解模块，用于根据各个标定位姿下，工业机器人与面结构光立体相机的位姿变化信息，计算得到面结构光立体相机与工业机器人的位姿转换信息。
[0129]
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0130]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0131]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方
法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。
[0132]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0133]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。