一种可变焦距柔性化位姿视觉测量方法与流程

本发明属于计算机视觉测量
技术领域：
，涉及柔性化便捷的可变焦距单目位姿测量方法。
背景技术：
：在多种领域中，多体同时投放技术的应用越来越多。由于现代技术的不断进步，对多体投放位姿的测量要求也不断的提高。尤其在高速多体投放中，安全，高效、高精度的获得投放各单体的位姿参数十分重要。针对这种测量需求，视觉测量由于其高频响、高精度成为非接触式测量中的首选。但由于在很多场合中需要经常对相机的焦距进行调整，而相机每次进行焦距调整之后就需要进行重新校准，校准过程较为复杂繁琐，并且视觉测量系统无法在测量过程中完成焦距的调整。大连理工大学刘巍等人2015年在航空学报第5期36卷发表的《基于彩色编码的副油箱风洞模型位姿测量方法》中提出了基于彩色编码图像的副油箱位姿测量方法，利用彩色编码的自发光标记点进行图像匹配，解决了低照度条件下目标标记亮度不足和由于物体滚转造成的标记点消隐现象。但此方法在相机焦距改变时需要重新校准，并且校准方法，系统精度会有所降低。大连理工大学刘巍等人申请的发明专利公开号为ZL201310139656.7，“一种高速滚转体位姿测量方法”中提出了风洞内位置姿态视觉测量方法，可以在风洞内测量运动物体的六维的位置姿态信息，但是也不能在改变相机焦距的情况下进行直接测量，标定后相机参数无法改变。技术实现要素：本发明要解决的技术难题是克服现有技术的缺陷，发明一种可变焦距柔性化位姿视觉测量方法，解决现有视觉测量系统标定后参数不可以改变的难题，采用4个已知坐标的标记点作为约束，将传统的标定后不能改变相机焦距的位姿测量方法扩展为焦距可以随时改变的位姿测量方法，提高了系统的柔性化，解决了测量过程中改变焦距需要重新标定相机的问题。本发明采用的技术方案是一种可变焦距柔性化位姿视觉测量方法，其特征是，测量方法通过已知空间局部坐标系坐标的特征点完成运动模型相对于摄像机坐标系的位置和姿态的解算，在摄像机标定和目标位姿测量的过程中，摄像机相对于世界坐标系的位置和摄像机内参数矩阵保持不变，标定完成后直接通过标点参数完成二维图像特征到三维坐标的转换，求解三维目标的位姿。方法的具体步骤如下所示：第一步：首先建立被测目标与相机之间的数学模型以模型质心为原点在被测模型上建立局部坐标系，定义模型外轮廓的回转轴线为y轴，通过模型质心与y轴垂直的轴为x轴，然后根据右手定则确定z轴的方向，模型表面所有标记点在模型局部坐标系上的坐标由标记点的加工定位精度保证，摄像机针孔模型描述了三维空间点到二维图像对应点之间的投影关系为：λiui＝PXi(1)其中,λi为与第i个特征点有关的比例因子，P为摄像机投影矩阵，Ui＝(uivi1)T为二维图像上特征点的齐次坐标，Xi＝(xiyizi1)T为模型局部坐标系上标记点的齐次坐标，摄像机投影矩阵P写成如下的形式：P＝K［R|t](2)其中,K为摄像机内参数矩阵，描述了三维到二维的投影关系：K=fsu00rfv0001---(3)]]>f为摄像机焦距，u0为相机主点的横坐标，v0为相机主点的纵坐标，S为坐标轴倾斜参数，r表示芯片像素单元的长宽比，R＝(rij)3,i,j＝1和T＝(txtytz)T分别表示摄像机坐标系和模型局部坐标系之间的旋转矩阵和平移向量，S为偏斜系数，摄像机主点位于二维图像的中心，设：摄像机芯片为正方形，因此r＝1；主点位于图像的中心；偏斜系数S＝0，则内参数矩阵K可以简化为由焦距f构成的对角阵[ff1]T，令w＝1/f，则K＝[11w]T，将该假设代入公式(1)，将摄像机投影模型为：λiUi=r11r12r13txr21r22r23tywr31wr32wr33wtzXi---(4)]]>将径向畸变引入到投影模型中，且根据一般情况建立图像畸变模型为：Pu~Pd/(1+krd2)---(5)]]>其中，k为畸变系数，Pu＝[uuvu1]T和Pd＝[udvd1]T分别为发生畸变前后的图像点坐标，rd为点Pd到畸变中心的距离，即畸变半径，假设畸变中心位于二维图像的中心，则rd2＝ud2+vd2，则二维图像上实际成像点的坐标为：Ui=[ui,vi,1+k(ud2+vd2)]T---(6)]]>将上述镜头畸变模型加入到投影方程中，且根据[ui]xui＝0，将投影公式(4)两边同时乘以[ui]x后可以将比例因子λi消除，得到投影方程如下所示：0-1-k(ui2+vi2)vi1+k(ui2+vi2)0ui-viui0r11r12r13txr21r22r23tywr31wr32wr33wtzxiyizi1=0---(7)]]>其中，该投影方程描述了三维特征点Xi到包含畸变的二维图像点Ui的投影关系，方程的未知数为两坐标系之间的转换矩阵[P]3×4的所有元素以及镜头畸变系数k，求出P后根据公式(2)分解出摄像机的内参数矩阵与外参数矩阵，因此，求解量坐标系之间的旋转矩阵与平移向量的过程即为求解摄像机投影矩阵P的过程，第二步：摄像机与被测模型的坐标系转换求取定义公式(7)中摄像机投影矩阵P的每个元素为pij，pij表示矩阵P的第i行和第j列的元素，将矩阵方程(7)的第三行单独列出，得到如下的形式：-vi(p11xi+p12yi+p13zi+p14)+ui(p12xi+p22yi+p23zi+p24)＝0(8)该方程为具有8个未知数(p11,p12,p13,p14,p12,p22,p23,p24)的其次线性方程，只要得到4个三维点的精确坐标并在二维图像中找到它们对应的图像坐标，就能利用这4个对应的点将方程写成矩阵的形式：Mv＝0(9)其中M为一个4×8的系数矩阵，未知数向量v＝[p11,p12,p13,p14,p12,p22,p23,p24]T，v用上述矩阵方程的标准正交基ni的线性组合表示，公式如下：v=Σi=14αini---(10)]]>其中αi为对v进行参数化后得到的新的未知数，令α4＝1，则投影矩阵P的前两行可以表示为三个未知数α1，α2和α3的线性组合，只要求解出α1，α2和α3，就能将P的前两行元素求出，矩阵方程的第2行可以写成如下的形式：(1+kri2)(p11xi+p12yi+p13zi+p14)-ui(p31xi+p32yi+p33zi+p34)=0---(11)]]>结合公式(10),该方程可以写成:A[p31,p32,p33,p34]T＝B[α1,α2,α3,kα1,kα2,kα3,k,1]T(12)其中A、B分别为4×4和4×8的系数矩阵，当X1，X2，X3，X4不共面时矩阵A可逆，方程(12)写成：[p31,p32,p33,p34]T＝A-1B[α1,α2,α3,kα1,kα2,kα3,k,1]T(13)通过公式(13)，将P的第3行用α1，α2,α3和K的线性组合表示，即完成了投影矩阵P的参数化，由于P矩阵的前3列为K和R相乘后的运算结果，且K＝[11w]T，因此P的前3列具有和旋转矩阵R相同的性质，利用旋转矩阵的正交性质建立关于P矩阵所有元素的约束方程组如下：p11p21+p12p22+p13p23=0,p31p11+p32p12+p33p13=0,p31p21+p32p22+p33p23=0,p112+p122+p132-p212-p222-p232=0.---(14)]]>方程组(14)具有4个方程，求解4个未知数(α1,α2,α3,k)，即求出投影矩阵P，进而分解出模型相对于摄像机坐标系的旋转矩阵R0和平移向量T0，第三步：摄像机与世界坐标系的坐标系转换关系求取对于共面特征点Xi，假设所有点在Z方向的坐标值为0，即zi，此时与公式(7)的3行相对应的公式(8)写成：-vi(p11xi+p12yi+p14)+ui(p12xi+p22yi+p24)＝0(15)将4个特征点的方程写成矩阵的形式可以得到Mv＝0，且M是4×6的系数矩阵，v＝[p11,p12,p14,p12,p22,p34]T为未知数向量，v用矩阵M的两个标准正交基向量n1和n2表示为：v＝β1n1+n2(16)其中，β1为新定义的未知数,投影矩阵P的前两行都已用未知数及n1和n2来代替，当所用的4个特征点共面时，公式(7)的第3行有为：(1+kri2)(p11xi+p12yi+p14)-ui(p31xi+p32yi+p34)=0---(17)]]>利用该公式将投影矩阵P的第3行进行参数化，过程如下：C[p31,p32,p34]T＝D[β1,kβ1,k,1]T(18)其中C和D分别为3×3和3×4的系数矩阵，当X1，X2，X3不共线时矩阵C可逆，方程(18)可以写成：[p31,p32,p34]T＝C-1D[β1,kβ1,k,1]T(19)利用上述公式用β1和k两个未知数代替P中的所有元素，即完成P的参数化，由于P的前3列具有和旋转矩阵R相同的性质，即旋转矩阵任意两列相互正交且具有相同的模，利用这些性质列出关于P矩阵所有元素的方程，如下：wp11wp12+wp21wp22+p31wp32＝0,(20)w2p112+w2p212+p312-w2p122-w2p222-p322=0.---(21)]]>结合第4对2维和3维对应点的投影关系可以得到方程：(1+kr42)(p11x4+p12y4+p14)-u4(p31x4+p32y4+p34)=0---(22)]]>综合公式(20)，(21)，(22)求解方程中的未知数β1，k和w＝1/f，再结合P的参数化公式反求P矩阵中的所有元素，进而求解出相机相对于世界坐标系的转换矩阵RC和TC；第四步：模型运动位姿求解首先建立模型局部坐标系，以模型质心作为局部坐标系原点Ot，沿模型中心轴线指向模型尾部方向为OtYt轴正方向，取过原点Ot与OtYt轴垂直并与首尾同一组红色标记点的连线相交的方向为OtXt轴正方向，根据右手定则定义局部坐标系OtZt轴方向，在模型位姿测量前首先求出摄像机初始位置相对于世界坐标系的转换关系，即旋转矩阵RC和平移向量TC，然后通过变焦距位姿测量过程得到模型在运动过程中的每一个时刻模型局部坐标系相对于相机坐标系的平移向量TO和旋转矩阵RO，利用以下公式计算模型物局部坐标系与风洞坐标系的转换矩阵：xtytzt=Ro-1Rcxwywzw+Ro-1(Tc-To)---(23)]]>其中，(xt,yt,zt)为标记点在模型局部坐标系下坐标，(xw,yw,zw)为标记点在风洞坐标系下坐标，并且：R=Ro-1Ro---(24)]]>T=Ro-1(Tc-To)=txtytzT---(25)]]>R和T分别为模型相对于世界坐标系的旋转矩阵和平移矩阵。本发明的有益效果是不需要对测量系统进行标定，根据被测物体表面已知相对关系的标记点，实现在变焦距情况下对物体位置、姿态信息的实时测量，不仅增加了系统柔性化，也增加了系统的便捷化。附图说明图1为可变焦距柔性化位姿视觉测量方法原理图。其中，1-被测物体坐标系0tXtYtZt、2-相机坐标系0XYZ、3-世界坐标系0wXwYwZw、4-标记点、X1是空间第一个表几点的局部坐标、X2是空间第二个表几点的局部坐标、X3是空间第三个表几点的局部坐标、X4是空间第四个表几点的局部坐标、U1是X1在相机上的图像坐标、U2是X2在相机上的图像坐标、U3是X3在相机上的图像坐标、U4是X4在相机上的图像坐标。图2为变焦距柔性位姿测量方法流程图。具体实施方式以下结合技术方案和附图详细叙述本发明的具体实施方式。附图1为可变焦距柔性化位姿视觉测量方法原理图,图2为变焦距柔性位姿测量方法流程图。根据在被测物体表面已知局部相对坐标的一些标记点,标记点数量大于等于4。先根据标记点已知的局部坐标信息，求解出被测目标相对于相机坐标系的位置、角度关系，然后再根据相机坐标系与世界坐标系之间的关系，将被测物体的位置与角度信息转换到世界坐标系下，最终在未知相机焦距信息情况下完成被测物体的位置与姿态信息的测量。步骤1摄像机与被测模型的坐标系转换求取首先确定被测物体表面标记点的相对坐标，如下所示：X1=6.3252.12510.56,X2=8.2654.2562.36,X3=5.6323.6873.25,X4=9.1678.6480.52]]>然后根据公式(14)，其中视觉传感器芯片的长宽比为1，对于相机来说S为0，计算得到被测物体相对相机的位姿信息旋转矩阵Ro和平移向量To：Ro=2.346412.124513.346410.463412.346412.41011.46870.16541.34641]]>To=20.6540.35120.36]]>步骤2摄像机与世界坐标系的坐标系转换关系求取根据公式(22)可以计算出相机坐标系与世界坐标系相对的关系Rc和Tc，如下所示：Rc=2.346412.124513.346410.463412.346412.41011.46870.16541.34641]]>Tc=80.21120.3630.12]]>步骤3模型运动位姿求解根据公式(23)、(24)、(25)可以得到被测物体相对世界坐标系的位置、姿态信息，如下表所示：被测物体位姿参数本发明根据被测物体表面已知相对关系的标记点，实现在变焦距情况下对物体位置、姿态信息得实时测量，此方法不需要对测量系统进行标定，不仅增加了系统柔性化，也增加了系统的便捷化。除此之外针对测量过程中的相机焦距变化等情况具有更好的效果，可以对在景深方向位移较大物体的实时准确位姿测量。当前第1页1 2 3