1.一种基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,包括以下步骤:
s100,调整双目相机与目标的位置和姿态,使目标靠近相机视场中心区域,进行图像采样;
s200,对图像进行预处理,使目标与图像背景分离;
s300:对目标区域进行特征点识别;
s400,进行双目相机左右图像特征点匹配,确定估计过程所需特征点;
s500,在后续图像中对选定特征点进行跟踪;
s600,若发现特征点丢失,回溯到丢失前图像帧,并与当前帧进行特征点匹配,在前后2组图像帧中寻找4个非线性相关特征点;
s700,计算4个特征点前后两个时刻在相机坐标系空间位置;
s800,计算特征点丢失前后两个时刻之间目标的相对姿态;
s900,计算丢失特征点丢失前在相机坐标系空间位置,通过相对姿态和可见特征点位置预测丢失特征点位置;
s1000,在特征点长时间丢失情况下,如果丢失前图像帧与当前图像帧之间匹配的特征点个数不满足要求,则选择时间相近的图像帧计算相对姿态矩阵,使用上一帧中计算出的预测的丢失特征点位置,预测当前帧丢失特征点位置;
s1100,若发现特征点未丢失,转入s500~s900,直到估值过程结束。
2.根据权利要求1所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,s700中计算特征点在相机坐标系空间位置,具体包括以下步骤:
根据投影相机原理,特征点在参考坐标系3d位置p与图像平面位置p之间存在如下关系:
p=cp(1)
c为相机参数矩阵;
c=k[r|-r_c](2)
其中,r为相机在参考坐标系姿态矩阵,r_c为相机光心到参考坐标轴位移,k为相机内参,与相机焦距(fx,fy)、主点坐标(x0y0)和畸变扭曲参数s关系如下:
当左右相机相对位置固定后,相机参数矩阵c为确定的已知量;
以左相机焦点为原点,x轴和y轴与左相机平面x、y轴平行,z轴通过原点垂直于成像平面建立相机坐标系;
对空间中任一点p,其在相机坐标系位置用[xyz]t表示,该点在左右两个相机平面的投影分别为(u1,v1)和(u2,v2),则在相机坐标系中的空间位置p通过求解下式计算:
c、c′分别为左右相机参数矩阵。
3.根据权利要求2所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,s800中计算特征点丢失前后两个时刻之间目标的相对姿态,具体包括以下步骤:
基于相机坐标系与目标本体坐标系关系,用pi和ρi分别表示特征点i在目标本体坐标系和相机坐标系位置,qtc表示目标相对相机坐标系姿态四元素,r(qtc)为姿态矩阵,ρ0表示目标质心在相机坐标系位置,则:
ρi=r(qtc)pi+ρ0(5)
假定在某一时刻t识别了目标物体上的两个特征点i和j,通过上式得到:
(6)(7)两式相减得:
同理,对于时刻t′,有:
从(8)(9)两式推出:
用
令:
对于4个非相关特征点i,j,k,l之间的向量组成的矩阵用φ表示为:
由公式(10)推出:
公式(14)说明,如果在两个时刻t和t′,同时探测到4个非相关的特征点,则通过(14)求解
4.根据权利要求3所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,s900中通过相对姿态和可见特征点位置预测丢失特征点位置,具体包括以下步骤:
如果在t时刻跟踪到特征点m的位置,而t′时刻特征点m丢失,则通过下式对t′时刻特征点m在相机坐标系的空间位置进行预测:
然后,通过下式预测特征点m在左右相机平面的位置[u1,v1](t′)和[u2,v2](t′)