基于目标平面运动特征的相机位姿自标定方法与流程

本发明涉及相机标定技术领域，尤其涉及其中使用图像中的一些约束对相机进行标定的相机自标定法，具体指一种基于目标平面运动特征的相机位姿自标定方法。

背景技术：

运动轨迹提供了丰富的物体运动的时空信息，在航空航天、工业机器人和人机交互等领域具有重要价值。传统的运动轨迹识别方法有聚类、神经网络、HMM及相应的改进方法等。但是一些外在的因素阻碍着轨迹识别技术的发展，重点是要求行为平面与相机平面平行，这在现实生活中是很难实现的。当行为平面与相机平面不平行时，相机的位姿决定拍摄到的轨迹图像。如何针对目标动态运动特征，对相机位姿进行标定，实现与视角无关的轨迹识别，是物体运动轨迹分析中亟待解决的一个关键问题。

从图像中标定相机位姿的方法主要有：(1)模板标定法。主要有Tsai标定法(见文献Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics&Automation IEEE Journal of,1987,3(4):323-344.)与张正友标定法(见文献Zhang Z.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2000,22(11):1330-1334.)。(2)主动标定法。关云博(见文献关云博.序列图像中对象位姿及运动轨迹分析[D].沈阳工业大学,2014.)提出了一个基于椭圆特征的平面位姿定位方法，利用圆的透视投影特性，将确定空间平面的姿态问题转化为确定椭圆的姿态问题，从而确定空间平面位姿来解决视角问题。但是主动标定实验条件要求高，受标定物的影响较大。(3)自标定法。使用图像中的一些约束，灵活性好。如使用极点变换法(见文献杨必武,倪志斌.基于广义平面校正的图像对最小化畸变重投影[J].光子学报,2008,37(3):621-624.)、基于镜像与正交性约束(见文献Takahashi K,Nobuhara S,Matsuyama T.Mirror-based Camera Pose Estimation Using an Orthogonality Constraint[J].Ipsj Transactions on Computer Vision&Applications,2016,8:11-19.)、基于透视图中的灭点(见文献Liu T,Xu W,Yin X,et al.Planar metric rectification from perspective image via vertical vanishing point[C].International Congress on Image and Signal Processing,2015:951–957.)估计相机的位姿信息，进行图像校正。但是以上的标定法均使用静态图片进行相机标定，不适用于轨迹分析中，目标特征运态变化的具体情况。

技术实现要素：

本发明的目的是提供一种基于目标平面运动特征的相机位姿自标定方法。

本发明是基于目标平面运动特征的相机位姿自标定方法，其特征在于，包括如下步骤：

(1)对视频预处理，提取稳定的平面运动目标特征点m表示稳定的目标特征点集中特征点的个数，N为总的视频中图像帧的个数，p(t)表示t时刻的图像帧中的特征点；

(2)从稳定的目标特征点集中，提取n(n≥4)个时刻的相机位姿标定特征点对p_s(i)(x_s(i),y _s(i))，p′_s(i)(x′_s(i),y′_s(i))，s(i)为选取的帧时刻，其中i＝1～n；

(3)使用n(n≥4)个时刻，提取出的相机位姿标定特征点对建立相机位姿自标定模型；

(4)对建立的位姿自标定模型使用遗传算法进行求解，得到运动目标平面的法向量A，B，C；

(5)使用得到的目标运动平面法向量A，B，C，对稳定的目标特征点运动轨迹进行平面校正，得到校正后的目标特征点运动轨迹

本发明的有益之处为：与现有的很多相机标定方法相比，现有方法都是基于静态标定图片中的标定特征，但是本发明使用的是目标运动视频中，目标的运动特征点特征；当使用的特征点对数目n较大时，相机标定的结果精度高，鲁棒性好，优于经典的张正友标定法；与现有的运动物体特征分析方法相比，本发明可以将运动平面校正为正投影下的，实现与视角无关的特征分析。主要是因为：

(1)本发明在运动视频中，分析运动特征点运动过程中所满足的运动约束，并结合相机成像的原理，建立相机位姿自标定模型，所以本发明使用的是目标运动视频中，目标的运动特征点特征；

(2)由于图像预处理、特征提取过程中的误差，现有的很多标定方法对相机位姿进行标定时，总是存在一定的误差，而本发明使用n组方向不同的特征点对矢量，当n的数量增加时，模型的解的误差将会趋向于最小，所以相机标定的结果精度高；由于n较大，特征集中个别特征对整个模型求解影响不大，故鲁棒性好。

(3)本发明在分析目标运动的过程中，对相机的位姿进行标定，然后通过标定的相对位姿将运动平面校正到正投影下，因此可以实现与视角无关的特征分析。

实验结果表明，本发明可以通过获取的运动特征，对相机的位姿进行标定。当获取标定特征较多时，标定结果优于张正友标定法，更适用于运动目标为刚体的情况。同时可实现与视角无关的手势轨迹特征提取，进而在多视角环境下提高动态手势的识别率。该模型可普遍用于相机外参标定与轨迹分析。

附图说明

图1为相机位姿自标定模型示意图，图2目标平面与成像平面下观察到的运动轨迹，图3相机位姿与轨迹平面校正的结果，图4.提取出与视角无关的运动轨迹，图5简易的标定图像，图6选取的标定特征点，图7相机自标定模型恢复出的80个特征点三维图，图8图像平面校正的结果，图9本发明与张正友方法平面校正对比图，图10平面法向量及其对比，图11解的误差及其对比。

具体实施方式

本发明是基于目标平面运动特征的相机位姿自标定方法，包括如下步骤：

(1)对视频预处理，提取稳定的平面运动目标特征点m表示稳定的目标特征点集中特征点的个数，N为总的视频中图像帧的个数，p(t)表示t时刻的图像帧中的特征点；

(2)从稳定的目标特征点集中，提取n(n≥4)个时刻的相机位姿标定特征点对p_s(i)(x_s(i),y_s(i))，p′_s(i)(x′_s(i),y′_s(i))，s(i)为选取的帧时刻，其中i＝1～n；

(3)使用n(n≥4)个时刻，提取出的相机位姿标定特征点对建立相机位姿自标定模型；

(4)对建立的位姿自标定模型使用遗传算法进行求解，得到运动目标平面的法向量A，B，C；

(5)使用得到的目标运动平面法向量A，B，C，对稳定的目标特征点运动轨迹进行平面校正，得到校正后的目标特征点运动轨迹

以上所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(1)对视频预处理，提取稳定的平面运动目标特征点的具体步骤包括：

(1)对目标平面运动的图像视频分帧，使用Harris特征提取方法提取每一帧中运动目标上的特征点；

(2)求相邻两帧的特征点之间的两两欧式距离，形成距离矩阵；

(3)用贪婪算法从距离矩阵中依次寻找最小距离值，依次将最小距离值对应的特征点对加入特征点匹配集合，同时从距离矩阵中删除最小距离值所在的行与列，直到距离矩阵中所有的元素值都大于所设定的阈值ζ(与运动速度有关，一般ζ取3)，得到序列图像特征点对的集合p(t)表示t时刻的图像帧中的特征点，m_t为t时刻与t+1时刻背景特征点对的个数(m_t≥2)，N为总的视频中图像帧的个数，(p(t),p(t+1))_i表示t时刻与t+1时刻第i个特征点对；

(4)以的特征点对中，p(1)_j作为初始特征点，与后面的N-1帧中的特征点进行匹配，如果每一帧中都有与p(1)_j相匹配的特征点，则此采集此特征点为稳定的目标特征点，属于目标特征点集m表示稳定的目标特征点集中特征点的个数。

以上所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(2)从稳定的目标特征点集中，提取相机位姿标定特征点对的具体步骤包括：

(1)在稳定的目标特征点集中，求解第1帧中特征点之间的两两欧式距离，形成距离矩阵m表示稳定目标特征点集中特征点的个数，d(k，s)表示第1帧中，第k个点与第s个点之间的距离；

(2)从距离矩阵中，选取最大的距离值则k′，s′点即为初始的相机位姿标定特征点；

(3)在初始的相机位姿标定特征点中，计算每个时刻的特征点对矢量，选取n≥4个方向不同的矢量(方向不同是指矢量之间的夹角大于等于2°)，s(i)为选取的帧时刻，i＝1～n，其特征点对p_s(i)(x_s(i),y_s(i))，p′_s(i)(x′_s(i),y′_s(i))即为最终选取的相机位姿标定特征点对。

以上所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(3)中建立相机位姿自标定模型时，相机位姿自标定模型可通过下列方程组合确定：

(1)目标特征点满足相机小孔成像模型其中X,Y,Z是目标特征点在摄像机坐标系下的坐标，x,y是目标特征点在图像坐标系下的坐标，f_x,f_y是两个不同方向的焦距参数，C_x,C_y是光轴在图像平面上可能存在的偏移；

(2)目标特征点满足平面方程AX_i+BY_i+CZ_i+D＝0

其中X_i,Y_i,Z_i表示i时刻的运动物体特征点在摄像机坐标系下的坐标，A,B,C,D表示平面方程的在摄像机坐标系下的位置参数；

(3)目标运动过程中，特征点之间的距离不变|P_iP′_i|＝|P_jP′_j|

其中P_i，P′_i，P_j，P′_j分别表示i时刻的2个特征点与j时刻相应的2个特征点在摄像机坐标系下的坐标，P_iP′_i与P_jP′_j分别表示i时刻与j时刻2个特征点之间的距离。

以上所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(4)中所述为了得到运动目标平面的法向量，求解遗传算法的具体步骤包括：

(1)使用遗传优化算法，求相机位姿标定模型的最优解，设计优化的参数为A，B，C，D；

(2)适应度函数为min d＝var(PP′(i))，其中，|PP′(i)|表示选取的n个时刻中，P点与P′点之间的距离序列，var表示求距离序列的方差；

(3)为了使模型求出的目标平面不致于陷入原点附近的局部最小，增加参数之间的约束条件为

Φ为一个不太小的常数，可以设为1，对求解不影响。

以上所述的基于目标平面运动特征的相机位姿自标定方法，其特征在于，步骤(5)中图像对运动平面进行平面校正的具体步骤包括：

(1)结合式与式AX_i+BY_i+CZ_i+D＝0，计算摄像机坐标系下，二维特征点的三维坐标其中D的值可以使用遗传算法计算出的值，也可以任意指定；

(2)P₁(X₁,Y₁,Z₁)为三维坐标中的一个特征点，作为新坐标系的原点，构造坐标平移矩阵

(3)P₁(X₁,Y₁,Z₁)与P₂(X₂,Y₂,Z₂)为三维坐标中，2个不同的特征点，构造坐标旋转矩阵坐标轴方向分别为u_y＝(A,B,C)，u_z＝u_x×u_y，×表示向量叉积，将坐标轴向量(u_x,u_y,u_z)单位化，得(u′_x,u′_y,u′_z)，

(4)求为变换后新的目标三维坐标系下的三维轨迹坐标，就为变换后的目标平面上的二维轨迹坐标，二维轨迹坐标的连接就为求出的与视角无关的运动轨迹

本发明的优点可通过以下仿真实验进一步说明：

实验平台：硬件环境是Inter(R)Core(TM)i3-2120，4G，3.30GHz，软件环境是Windows7操作系统下的MATLAB R2013a。

图1为相机位姿自标定模型示意图，光心为C，其中目标运动平面为π₁，图像平面为π₂。图像坐标系下，图像平面上有运动物体的特征点p_i(x_i,y_i)，p′_i(x′_i,y′_i)，其中i表示运动物体处于i时刻。在摄像机坐标系下，图像上运动物体的特征点分别为p_i(x_i,y_i,f)，p′_i(x′_i,y′_i,f)，真实目标上的轨迹点分别为P(X_i,Y_i,Z_i)，P(X′_i,Y′_i,Z′_i)。最终求得满足模型的目标运动平面与真实的目标运动平面平行，即满足模型的参数与相机和目标平面之间的距离尺度无关。

(1)仿真实验分析

使用MATLAB对本发明提出的相机位姿自标定模型进行仿真实验。在世界坐标系下，目标运动平面为z＝5。运动目标为正方形，其初始特征点有9个，在目标平面上，分别为(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)。相机内部参数矩阵为[600 0 300；0 600 300；0 0 1]，外参变换矩阵为[0.5 0 0.87；0 1 0；-0.87 0 0.5]。目标的运动定义为，旋转角度θ，平移为(S_x,S_y)。运动的时刻为1～6。当目标运动θ＝0.5，S_x＝1，S_y＝1时，在手势平面与成像平面下，观察到的运动轨迹见图2(a)，(b)所示。取初始特征点中的两个(-1,-1),(-1,0)作为相机位姿标定特征点，使用相机位姿自标定模型对相机与目标平面的位姿关系进行标定，相机位姿与轨迹平面校正的结果如图3所示的三维图。经过视角标准化，最终准确地恢复出目标在平面上的运动轨迹，如图4所示。从图3和图4中可以看出，在理想的状态下，通过本模型可以准确地估计相机位姿，并恢复出目标平面上的运动轨迹，其中平面坐标轴产生了一定角度的旋转，由此间接地证明了模型的正确性。

(2)标定板实验分析

使用本发明的相机位姿自标定模型对标定板与相机之间的位姿进行标定，然后与Matlab标定工具箱中的张正友标定法进行对比。

简易的标定图片如图5所示。图中的标定图有9×7个方格组成，共有80个特征点。假设图中有8个时刻得到的特征点对(p_i(x_i,y_i),p′_i(x′_i,y′_i))，在80个特征点中，分别为(80,79)，(71,61)，(70,59)，(63,54)，(68,56)，(48,27)，(10,39)，(1,14)，如图6所示。其中使用的8个特征点对为在特征点对矢量上标记的序号为1～8的特征点对。图5中的坐标系为图像像素坐标系。

由图6知，使用8组特征点，建立相机位姿自标定模型，由于这8组特征点之间的实际距离不同，可设距离分别为|PP′(i)|,i＝1～8。根据实际距离关系，在原距离上除以不同的比例因子，可构造新的距离序列可表示为(|PP′(1)|,|PP′(2)|,|PP′(3)|/2^0.5,|PP′(4)|/2^0.5,|PP′(5)|/5^0.5,|PP′(6)|/5^0.5,|PP′(7)|/10^0.5,|PP′(8)|/10^0.5)，在得到的距离序列中，理论上距离特征的值都应该相同，现构造适应度函数为

使用遗传算法求得相机与平面之间的相对位姿，得到的摄像机坐标系下，把第一维归一化为1的目标平面法向量见下表1，使用此法向量，恢复图像中的80个特征点的空间坐标如图7所示，其中目标平面与原点之间的距离是尺度无关的。然后经过平面校正，将图5的原图像及80个特征点校正到正投影下，得到如图8的图像。可以看到，经过平面校正，可以得到较为理想的结果。图8中在平面上出现的黑点及黑块的原因在于：对于图5的像平面上的点与图8正投影像平面上的点，它们之间的关系为单射关系，但不是满射。并且当相机处于不同视角时，所拍摄得到的视野是不同的。故对于如图8的正投影图像中，存在部分像素点，在图5的原始像平面上，无对应点，在图像上表现出来为黑点。

与张正友标定法的对比：

定性比较：使用张正友标定法标定出相机的位姿，转换得到摄像机坐标系下，目标平面的法向量，其对比数据如表1所示，可以看出它们是很接近的。使用两种法向量对原始图像中80个特征点进行平面校正，得到的校正结果如图9所示。图9中使用了平移与缩放，将两种校正后的特征点中，第1个特征点与第80个特征点对齐，可以看到校正后的结果也是很接近的。

定量比较：对校正后的80个特征点，与标定板原始特征点的形状相近度进行比较。根据正方形标定板的特点，所有小正方形直边长度相等，斜边长度相等。设计比较参数为直边长度误差与对角线长度误差。直边长度误差：求80个特征点中，所有的小矩形直边长度，作为直边长度序列A，直边长度误差＝var(A)/mean(A)，var为求序列的方差，mean为求序列的均值。对角线长度误差:求80个特征点中，所有的小矩形对角线的长度，作为对角线长度序列B，对角线长度误差＝var(B)/mean(B)。误差对比结果如表1所示，可以看到本模型得到的误差更小。

表1标定板实验结果及误差

模型鲁棒性分析：

模型设计时，认为只要已知n≥4组帧间特征点对，就可以求出模型的解，现在做实验来对模型的解的鲁棒性进行分析。

模型求解时，已经选取8个时刻的特征点对，现在再增加8个时刻的特征点对，共形成16个时刻的特征点对，如图6所示，增加的8个特征点对为在特征点对矢量上标记的序号为8～16的特征点对。当然，新增加的特征点对在计算特征点间的距离时，也要在原距离上除以不同的比例因子，变换后特征点对之间的理论距离相等，序号为8～16的距离计算时，比例因子分别从图6中可以看出，选取的16个特征点对矢量方向是不同的。现在依次选取序号为1～n的特征点对，n＝4～16，对模型进行求解，并对得到的解与误差进行对比。

如图10所示，当n不同时，得到的摄像机坐标系下，平面法向量及其对比。在对比过程中，将平面法向量的x坐标都转化为1，这样我们只对比其y坐标与z坐标。从图10中可以看出，当n较小，个别样本的选取会影响解的鲁棒性，如当n＝11或n＝12时；但当n增大时，法向量的x与y坐标趋于稳定，即得到的法向量趋于稳定，与张正友标定法得到的结果接近。从此分析中可以得出，在n较大时，模型是鲁棒的。

如图11所示，当n不同时，得到的解的误差及其对比。从图11中可以看出，当n增大时，解的直边误差与对角线误差均有减小的趋势；当n较小，个别样本的选取会影响解的误差，如当n＝11或n＝12时，误差有增加；但是在n较大时，它的误差就会趋于稳定；当特征点对矢量n>12时，得到的误差就会小于张正友标定法得到的误差。从此分析中可以得出，在n较大时，模型是鲁棒的。从图10中看到误差的趋势是>0.02的。它没有趋向于0的原因是，图片拍摄的过程中，图片理论上应该是严格属于同一平面上的，但是从图5中可以看出，图片的纸张有轻微的不平整；并且图像预处理与图像特征点坐标提取也有一定的误差，因此，无法使模型误差趋向于0，即得到一个理论上精确的解。

综上所述，本发明很适合运动目标为刚体的情况，可以通过获取的运动特征，对相机的位姿进行标定。当获取标定特征较多时，标定结果优于张正友标定法。