一种面向大型复杂工件的多视角联合标定方法

1.本发明属于计算机视觉联合标定技术领域，涉及一种多视角联合标定方法，具体涉及一种面向大型复杂工件的多视角联合标定方法。


背景技术：

2.相机标定作为视觉测量和三维重建的基础，为计算机视觉在众多领域的应用提供了前提条件，采用相机标定技术对目标工件进行高精度测量和定位已成为一种新的研究方向。由两台cmos相机组成的立体视觉系统具有结构简单、标定精准、快速实现标定测量等优点，在工业检测、工件定位和机器人引导等领域得到广泛应用。但是，在面向大型复杂类工件标定中，工件尺寸远远超出双目立体视觉标定范围，无法同时获取目标工件表面全部特征。本发明提出的计算机视觉联合标定技术通过对相同目标进行多视角采集，利用图像对间关联性和标定视差原理计算目标特征的空间三维坐标，突破了传统双目立体视觉、结构光扫描仪和激光测距仪等视觉系统的视野局限性，提高了标定精度和算法可靠性。


技术实现要素：

3.为了解决传统立体视觉系统标定大型复杂工件过程中存在的视场不足和区域遮挡等实际问题，本发明提出了一种面向大型复杂工件的多视角标定方法。该方法在汇聚式双目相机基础上组建多目视觉单元；通过标定相机内参数矩阵、旋转矩阵和平移向量等，逆向计算辅相机相对于主相机的位姿关系，最终实现多视角下所有相机在主相机世界坐标系中的联合标定。
4.为了实现上述目的，本发明采用的技术方案是：
5.一种面向大型复杂工件的多视角联合标定方法，其特征在于，包括以下步骤：
6.步骤1、选择n台cmos相机组成多目视觉单元，调整相机不同视角，确保视野范围覆盖整个目标工件，n大于或等于3，以每两台相邻相机汇聚式安装的方式组成多目视觉单元，多目视觉单元具有覆盖目标工件表面的公共视场；
7.步骤2、定义第一台相机为主相机c1，其余相机按照序号依次排列，均为辅相机ci，i取值在2到n之间，其中辅相机c2与主相机c1汇聚式安装，每相邻两个序号的辅相机也是汇聚式安装；在公共视场下采集序列棋盘格图像，通过标定棋盘格，计算多目视觉单元的相机参数矩阵，所述相机参数矩阵包括每台相机内参数矩阵以及每两台相邻相机之间的的外参数矩阵；
8.步骤3、根据步骤2中获得的相机参数矩阵，建立二维像素坐标与三维世界坐标间矩阵转换关系；采集目标工件图像，在工件表面选取b个特征点，计算工件表面特征点在三维世界坐标系下的三维坐标；
9.步骤4、根据工件表面特征点在世界坐标系和相机坐标系中距离不变的性质，构建用已知量矩阵和未知量矩阵组成的线性方程组，
10.步骤5、确定线性方程组系数，并构建目标函数，通过最小二乘优化算法得到迭代
后的方程最优解；
11.步骤6、结合奇异值分解建立去除质心的特征点在世界坐标系和相机坐标系下矩阵表示，逆向计算每个辅相机ci相对于主相机c1的位姿关系矩阵。
12.进一步地，步骤1中，n台cmos相机线性依次排列或者成环形排列，或者在空间位置上无序排列，只需要编号相邻的两个相机汇聚式安装并且具有覆盖工件的公共视场即可。
13.进一步地，步骤1中，组成多目视觉单元的cmos相机数量n取值范围为3-8。
14.进一步地，步骤2中，所述棋盘格标定的具体计算过程如下：
15.步骤2.1、构建相机针孔成像模型，利用针孔成像原理建立世界坐标系o
w-x
wywzw
、相机坐标系o
c-xcyczc、图像坐标系o-xy和像素坐标系o-uv间齐次矩阵转换关系如公式(1)所示：
[0016][0017]
公式(1)中，f为焦距，zc为空间点在相机坐标系下纵坐标，表示内参数矩阵，r表示旋转矩阵，t表示平移向量，(d
x
,dy)表示图像坐标系物理尺寸，(u0,v0)表示图像坐标系原点所在像素坐标；
[0018]
步骤2.2、构建相机畸变模型，在像平面成像过程中，解决因制作工艺和装配误差等因素造成的图像畸变问题，所述相机畸变模型表达式如公式(2)所示：
[0019][0020]
公式(2)中，(x,y)为理想特征点坐标，(x’,y’)为实际检测点坐标，k1、k2为径向畸变系数，p1、p2为切向畸变系数；
[0021]
步骤2.3、以汇聚式安装的两台相邻相机构建汇聚式双目相机成像模型，两台相邻相机中以左相机作为主相机，右相机为辅相机；左相机坐标系原点视为世界坐标系原点，左相机与右相机间位姿关系由公式(3)表示：
[0022][0023]
公式(3)中，[xr,yr,zr,1]
t
表示汇聚式双目相机成像模型中左相机坐标系，[x
l
,y
l
,z
l
,1]
t
表示汇聚式双目相机成像模型中右相机坐标系，转换矩阵
表示汇聚式双目相机成像模型中右相机相对于左相机的外参数旋转矩阵，t
lr
＝(t
x
,ty,tz)
t
表示汇聚式双目相机成像模型中右相机相对于左相机外参数平移向量。
[0024]
进一步地，步骤3中，所述工件表面的特征点为在多目视觉单元的公共视场内随机选取b个不共面的特征点，b不小于3。
[0025]
进一步地，步骤3中，工件表面选取特征点的数量b取值范围为3-10。
[0026]
进一步地，步骤3中，所述工件表面特征点三维坐标的具体计算过程如下：
[0027]
步骤3.1、汇聚式双目相机坐标系与图像坐标系间转换关系如公式(4)所示：
[0028][0029]
公式(4)中，为左相机内参数矩阵；为右相机内参数矩阵，f
l
为左相机焦距，fr为右相机焦距；(u
l
,v
l
)表示左相机图像中心点像素坐标，(ur,vr)表示右相机图像中心点像素坐标；z
l
为空间点在左相机坐标系下纵坐标，zr为空间点在右相机坐标系下纵坐标；
[0030]
步骤3.2、结合所在图像坐标系二维像素坐标(x
l
,y
l
)和(xr,yr)，汇聚式双目相机间关系矩阵如公式(5)所示：
[0031][0032]
公式(5)中，(x
l
,y
l
)为左相机图像坐标系内某点二维像素坐标，(xr,yr)为右相机图像坐标系内某点二维像素坐标，f为相机焦距，r为右相机相对于左相机的旋转矩阵参数，t为右相机相对于左相机的平移向量参数，z为空间点在相机坐标系下纵坐标；
[0033]
步骤3.3、由汇聚式双目相机成像模型，结合相机间关系矩阵公式(5)，得到工件表面b个不共面特征点的三维坐标空间特征点和第i台相机映射点间存在转换关系为其中ri和ti分别表示第i台相机相对于第1台主相机c1的外参数旋转矩阵和外参数平移向量，该处i≧3；
[0034]
步骤3.4、通过目标工件上的b个特征点dn加权得到一个参考点pm，通过选取m次工件表面的特征点确定m个参考点组，如公式(6)所示：
[0035][0036]
公式(6)中，和分别表示参考点在空间和第i台相机中的坐标，β
mn
表示第m组参考点中第n个特征点的齐次重心坐标，由特征点dn唯一确定，n＝1、2、3
…
b。
[0037]
进一步地，步骤3中，参考点的数量m取值范围为3-10。
[0038]
进一步地，步骤4中，所述构建线性方程组的具体计算过程如下：
[0039]
步骤4.1、已知辅相机ci的内参数矩阵，建立辅相机ci的二维像素坐标和三维相机坐标对应点间齐次关系如公式(7)所示：
[0040][0041]
公式(7)中，fx为辅相机ci的焦距在世界坐标系中x方向的分量，fy为辅相机ci的焦距在世界坐标系中y方向的分量，(u0,v0)表示辅相机ci中图像中心点像素坐标，(um,vm)表示对应点像素坐标，β
mn
表示齐次重心坐标，表示表示空间点在第i台cmos相机的相机坐标系下的纵坐标，sm表示空间点在第i台cmos相机的相机坐标系下的纵坐标加权值；
[0042]
步骤4.2、将公式(7)展开并化简后整理成方程组的形式，如公式(8)所示：
[0043][0044]
公式(8)中，f
x
,fy,u0,v0表示辅相机ci的内参数，(ui,vi)表示参考点在辅相机ci中对应二维像素坐标，均为已知量；表示特征点在辅相机ci下的三维相机坐标，为未知量；
[0045]
步骤4.3、将公式(8)用线性方程形式表示为d
·
x＝0，d表示2m
×
12的已知量矩阵，x表示12
×
1的未知量矩阵；进一步用右奇异向量vi转换成公式(9)
[0046][0047]
表示线性方程组的系数，t表示转置矩阵。
[0048]
进一步地，步骤5中，所述线性方程组迭代最优解的具体计算过程如下：
[0049]
步骤5.1、结合b个特征点空间坐标n＝1，2、3
…
q以及特征点间距离在世界坐标系和相机坐标系下相等的性质，确定系数如公式(10)所示：
[0050][0051]
公式(10)中，v
[n]
表示v中第n个特征点坐标组成的向量；
[0052]
步骤5.2、将公式(10)用线性方程形式表示成
同样利用特征点两点间距离相等，建立目标函数如公式(11)所示：
[0053][0054]
公式(11)中，k、n表示特征点序号，且1≤k《n≤b，为目标函数；
[0055]
步骤5.3、对公式(11)进行求解，计算相对于的雅克比矩阵j
k,n
，如公式(12)所示：
[0056][0057]
公式(12)中ki表示第i个右奇异向量组成的矩阵，此处i为角标，表示顺序，取值为1到b之间的正整数，t表示转置矩阵；
[0058]
步骤5.4、将满足条件的b个特征点所有雅可比矩阵合成后的表达式如公式(13)所示：
[0059][0060]
公式(13)中，ω表示残差矩阵，j表示b个特征点间距离的所有组合的雅克比矩阵；
[0061]
步骤5.5、联立公式(12)和公式(13)，建立求解的增量方程，通过多次迭代计算得到最优解，表达式如公式(14)所示：
[0062][0063]
公式(14)中，μ为的系数，用于迭代更新。
[0064]
进一步地，步骤6中，利用最小二乘优化算法解得后，和均已知；建立去除质心的参考点在世界坐标系和第i台相机的相机坐标系下矩阵表示，利用奇异值分解逆向求得旋转矩阵和平移向量[ri|ti]，如公式(15)所示，参考点质心坐标为和和
[0065]
公式(15)中，qc为参考点在相机坐标系下矩阵表示，qw为参考点在世界坐标系下矩阵表示，q为单应性矩阵，[u∑v]＝svd(q)为奇异值分解方程，ri表示辅相机ci相对于主相机c1的旋转矩阵，ti表示辅相机ci相对于主相机c1的平移向量。
[0066]
与现有技术相比，本发明的有益效果是：
[0067]
本发明首先选择多台cmos相机组成多目视觉单元，调整相机不同视角，确保视野范围覆盖整个目标零件；其次在公共视场下采集和标定序列棋盘格图像，计算每台相机的内参数矩阵及汇聚式双目相机间外参数矩阵；然后采集目标工件图像，通过建立二维像素坐标与三维世界坐标间矩阵转换关系，计算工件表面特征点三维坐标；再次根据其表面特征点在世界坐标系和相机坐标系下距离相等的性质构建线性方程组，采用最小二乘优化算法得到迭代后的方程最优解；最终结合奇异值分解建立去除质心的特征点在世界坐标系和相机坐标系下的矩阵表示，逆向计算辅相机相对于主相机的位姿关系矩阵。本发明所提方法充分考虑了大型复杂工件成像过程中存在的视场不足和区域遮挡等实际问题，可以通过构建多目视觉单元进行多视角标定，进而提升视野范围和标定精度，具有很强的实用价值。
附图说明
[0068]
图1为本发明方法实施例中面向大型复杂工件的多视角标定方法的流程示意图；
[0069]
图2为本发明实施例中所述的相机针孔成像和畸变成像模型示意图；
[0070]
图3为本发明实施例中所述的汇聚双目相机成像模型示意图；
[0071]
图4为本发明实施例中所述的多目相机成像模型示意图；
[0072]
图5为本发明实施例中所述的逆向标定外参数矩阵示意图。
具体实施方式
[0073]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0074]
实施例1：
[0075]
本实施例以三台cmos相机组成多目视觉单元，在工件表面选取四个不共面的特征点进行举例说明，请参阅图1，本发明实施例提供的一种面向大型复杂工件的多视角标定方法的流程示意图，包括如下步骤：
[0076]
步骤1、选择三台cmos相机组成多目视觉单元，通过调整相机不同视角，确保视野范围覆盖整个目标工件。
[0077]
特别地，本实施例中选取的三台cmos相机依次排列，以每两台相机汇聚式安装的方式组成多目视觉单元，所述多目视觉单元中相机间具有公共视场，视场范围覆盖工件表面；需要说明的是，公共视场覆盖工件表面局部即可，无需完全覆盖，当然覆盖面积越大越好，通过局部覆盖的方式能够大大扩展多目视觉单元整体视场；
[0078]
步骤2、在公共视场下采集序列棋盘格图像，通过标定棋盘格，计算每台相机内参数矩阵及主相机c1与相邻辅相机c2间的外参数矩阵，具体方法如下：
[0079]
a、构建相机针孔成像模型，如下图2所示。利用针孔成像原理建立世界坐标系o
w-x
wywzw
、相机坐标系o
c-xcyczc、图像坐标系o-xy和像素坐标系o-uv间齐次矩阵转换关系如公式(1)所示：
[0080][0081]
公式(1)中，f为焦距，zc为空间点在相机坐标系下纵坐标，表示内参数矩阵，r表示旋转矩阵，t表示平移向量，(d
x
,dy)表示图像坐标系物理尺寸，(u0,v0)表示图像坐标系原点所在像素坐标；
[0082]
b、构建相机畸变模型，如下图2所示。在像平面成像过程中，解决因制作工艺和装配误差等因素造成的图像畸变问题，所述相机畸变模型表达式如公式(2)所示：
[0083][0084]
公式(2)中，(x,y)为理想特征点坐标，(x’,y’)为实际检测点坐标，k1、k2为径向畸变系数，p1、p2为切向畸变系数；
[0085]
c、构建主相机c1与相邻辅相机c2的汇聚式双目相机成像模型，如下图3所示。以左相机作为主相机，相机坐标系原点视为世界坐标系原点，主相机c1与相邻辅相机c2间位姿关系由公式(3)表示：
[0086][0087]
公式(3)中，[xr,yr,zr,1]
t
和[x
l
,y
l
,z
l
,1]
t
分别表示汇聚式双目相机成像模型中左、右相机坐标系，转换矩阵表示汇聚式双目相机成像模型中右相机相对于左(主)相机的外参数旋转矩阵，t
lr
＝(t
x
,ty,tz)
t
表示汇聚式双目相机成像模型中右相机相对于左(主)相机外参数平移向量。
[0088]
步骤3、根据步骤2中获得的相机参数矩阵，建立二维像素坐标与三维世界坐标间矩阵转换关系，采集目标工件图像，在公共视场范围内的工件表面选取b个特征点，计算工件表面特征点在三维世界坐标系下的三维坐标。
[0089]
特别地，本实施例中所述工件表面特征点需要在多目视觉单元的公共视场内任意选取，如下图4所示；
[0090]
a、汇聚式双目相机坐标系与图像坐标系间转换关系如公式(4)所示：
[0091][0092]
公式(4)中，和分别为汇聚式双目相机成像模型中左、右相机内参数矩阵，f为焦距，f
l
为左相机焦距，fr为右相机焦距；(u,v)表示图像中心点像素坐标，(u
l
,v
l
)表示左相机图像中心点像素坐标，(ur,vr)表示右相机图像中心点像素坐标；z为空间点在相机坐标系下纵坐标，z
l
为空间点在左相机坐标系下纵坐标，zr为空间点在右相机坐标系下纵坐标；
[0093]
b、结合所在图像坐标系二维像素坐标(x
l
,y
l
)和(xr,yr)，汇聚式双目相机间关系矩阵如公式(5)所示：
[0094][0095]
公式(5)中，(x
l
,y
l
)为左相机图像坐标系内某点二维像素坐标，(xr,yr)为右相机图像坐标系内某点二维像素坐标，f为相机焦距，r为右相机相对于左相机的旋转矩阵参数，t为右相机相对于左相机的平移向量参数，z为空间点在相机坐标系下纵坐标；
[0096]
c、由汇聚式双目相机成像模型，结合相机间关系矩阵公式(5)，得到工件表面四个不共面特征点的三维坐标空间特征点和辅相机c3的相机映射点间存在转换关系为其中r3和t3分别表示第3台相机相对于第1台主相机c1的外参数旋转矩阵和外参数平移向量；
[0097]
d、通过目标工件上的四个特征点dn加权得到一个参考点pm，通过选取m次工件表面的特征点确定m个参考点组，如公式(6)所示；
[0098][0099]
公式(6)中，和分别表示参考点在空间和第3台相机中的坐标，β
mn
表示齐次重心坐标，由特征点dn唯一确定，n＝1、2、3、4。
[0100]
步骤4、根据工件特征点在世界坐标系和相机坐标系中距离不变的性质，构建用已知量矩阵和未知量矩阵组成的线性方程组，
[0101]
a、已知辅相机c3的内参数矩阵，建立辅相机c3的二维像素坐标和三维相机坐标对应点间齐次关系如公式(7)所示：
[0102][0103]
公式(7)中，f为焦距，，fx为辅相机c3的焦距在世界坐标系中x方向的分量，fy为辅相机c3的焦距在世界坐标系中y方向的分量；(u0,v0)表示辅相机c3中图像中心点像素坐标，(um,vm)表示对应点像素坐标，β
mn
表示齐次重心坐标，表示表示空间点在第3台cmos相机的相机坐标系下的纵坐标，sm表示空间点在第3台相机坐标系下的纵坐标加权值；
[0104]
b、将公式(7)展开并化简后整理成方程组的形式，如公式(8)所示：
[0105][0106]
公式(8)中，f
x
,fy,u0,v0表示辅相机c3的相机内参数，(ui,vi)表示参考点在辅相机c3中对应二维像素坐标，均为已知量。表示特征点在辅相机c3下的三维相机坐标，为未知量；
[0107]
c、将公式(8)用线性方程形式表示为d
·
x＝0，d表示2m
×
12的已知量矩阵，x表示12
×
1的未知量矩阵。进一步用右奇异向量vi转换成公式(9)。
[0108][0109]
表示线性方程组的系数，t表示转置矩阵。
[0110]
步骤5、确定线性方程组系数，并构建目标函数，通过最小二乘优化算法得到迭代后的方程最优解；
[0111]
a、结合4个特征点空间坐标n＝1,2,3,4以及特征点间距离在世界坐标系和相机坐标系下相等的性质，确定系数如公式(10)所示：
[0112][0113]
公式(10)中，v
[n]
表示v中第n个特征点坐标组成的向量；
[0114]
b、将公式(10)用线性方程形式表示成同样利用特征点两点间距离相等，建立目标函数如公式(11)所示：
[0115][0116]
公式(11)中，k、n表示特征点序号，且1≤k《n≤4，为目标函数；
[0117]
c、对公式(11)进行求解，计算相对于的雅克比矩阵j
k,n
，如公式(12)所示：
[0118][0119]
d、进一步，将满足条件的四个特征点所有雅可比矩阵合成后的表达式如公式(13)所示：
[0120][0121]
公式(13)中，ω表示残差矩阵，j表示4个特征点间距离的所有组合的雅克比矩阵；
[0122]
e、联立公式(12)和公式(13)，建立求解的增量方程，通过多次迭代计算得到最优解，表达式如公式(14)所示：
[0123][0124]
公式(14)中，μ为的系数，用于迭代更新。
[0125]
步骤6、结合奇异值分解建立去除质心的特征点在世界坐标系和相机坐标系下矩阵表示，逆向计算辅相机c3相对于主相机c1的位姿关系矩阵。
[0126]
特别地，本实施例中利用最小二乘优化算法解得后，和均已知。建立去除质心的参考点在世界坐标系和辅相机c3的相机坐标系下矩阵表示，如公式(15)所示，利用奇异值分解逆向求得旋转矩阵和平移向量[r3|t3]，如下图5所示。参考点质心坐标为和
[0127][0128]
式(15)中，qc为参考点在相机坐标系下矩阵表示，qw为参考点在世界坐标系下矩阵表示，q为单应性矩阵，[u∑v]＝svd(q)为奇异值分解方程，r3表示辅相机c3相对于主相机c1的旋转矩阵，t3表示辅相机c3相对于主相机c1的平移向量。
[0129]
实施例2：采用4台cmos相机组成多目视觉单元，在工件表面选取四个不共面的特征点，先采用实施例1的方式计算第3台相机与主相机c1之间的外参数矩阵，然按照与实施例1相同的方法计算第4台cmos相机(辅相机c4)与主相机c1之间的外参数矩阵。依次类推，可以计算第n台cmos相机(辅相机c4)与主相机c1之间的外参数矩阵，从而完成多视角联合标定。
[0130]
本发明方法主要创新点是：1)在计算机视觉联合标定领域内建立了一种面向大型复杂工件的多视角联合标定方法；2)充分利用多目视觉单元成像范围大，标定精度高等特
点，提高了连和标定精度和算法可靠性；3)通过构建线性方程、目标函数、最小二乘优化和奇异值分解等算法实现逆向标定辅相机与主相机位姿关系的功能。
[0131]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。