一种基于双目相机的空间目标特征点丢失期间轨迹预测方法与流程

文档序号:22616743发布日期:2020-10-23 19:17阅读:来源:国知局

技术特征:

1.一种基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,包括以下步骤:

s100,调整双目相机与目标的位置和姿态,使目标靠近相机视场中心区域,进行图像采样;

s200,对图像进行预处理,使目标与图像背景分离;

s300:对目标区域进行特征点识别;

s400,进行双目相机左右图像特征点匹配,确定估计过程所需特征点;

s500,在后续图像中对选定特征点进行跟踪;

s600,若发现特征点丢失,回溯到丢失前图像帧,并与当前帧进行特征点匹配,在前后2组图像帧中寻找4个非线性相关特征点;

s700,计算4个特征点前后两个时刻在相机坐标系空间位置;

s800,计算特征点丢失前后两个时刻之间目标的相对姿态;

s900,计算丢失特征点丢失前在相机坐标系空间位置,通过相对姿态和可见特征点位置预测丢失特征点位置;

s1000,在特征点长时间丢失情况下,如果丢失前图像帧与当前图像帧之间匹配的特征点个数不满足要求,则选择时间相近的图像帧计算相对姿态矩阵,使用上一帧中计算出的预测的丢失特征点位置,预测当前帧丢失特征点位置;

s1100,若发现特征点未丢失,转入s500~s900,直到估值过程结束。

2.根据权利要求1所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,s700中计算特征点在相机坐标系空间位置,具体包括以下步骤:

根据投影相机原理,特征点在参考坐标系3d位置p与图像平面位置p之间存在如下关系:

p=cp(1)

c为相机参数矩阵;

c=k[r|-r_c](2)

其中,r为相机在参考坐标系姿态矩阵,r_c为相机光心到参考坐标轴位移,k为相机内参,与相机焦距(fx,fy)、主点坐标(x0y0)和畸变扭曲参数s关系如下:

当左右相机相对位置固定后,相机参数矩阵c为确定的已知量;

以左相机焦点为原点,x轴和y轴与左相机平面x、y轴平行,z轴通过原点垂直于成像平面建立相机坐标系;

对空间中任一点p,其在相机坐标系位置用[xyz]t表示,该点在左右两个相机平面的投影分别为(u1,v1)和(u2,v2),则在相机坐标系中的空间位置p通过求解下式计算:

c、c′分别为左右相机参数矩阵。

3.根据权利要求2所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,s800中计算特征点丢失前后两个时刻之间目标的相对姿态,具体包括以下步骤:

基于相机坐标系与目标本体坐标系关系,用pi和ρi分别表示特征点i在目标本体坐标系和相机坐标系位置,qtc表示目标相对相机坐标系姿态四元素,r(qtc)为姿态矩阵,ρ0表示目标质心在相机坐标系位置,则:

ρi=r(qtc)pi+ρ0(5)

假定在某一时刻t识别了目标物体上的两个特征点i和j,通过上式得到:

(6)(7)两式相减得:

同理,对于时刻t′,有:

从(8)(9)两式推出:

表示时刻t到t′相对姿态矩阵,另

令:

对于4个非相关特征点i,j,k,l之间的向量组成的矩阵用φ表示为:

由公式(10)推出:

公式(14)说明,如果在两个时刻t和t′,同时探测到4个非相关的特征点,则通过(14)求解

4.根据权利要求3所述的基于双目相机的空间目标特征点丢失期间轨迹预测方法,其特征在于,s900中通过相对姿态和可见特征点位置预测丢失特征点位置,具体包括以下步骤:

如果在t时刻跟踪到特征点m的位置,而t′时刻特征点m丢失,则通过下式对t′时刻特征点m在相机坐标系的空间位置进行预测:

然后,通过下式预测特征点m在左右相机平面的位置[u1,v1](t′)和[u2,v2](t′)


技术总结
本发明公开了一种基于双目相机的空间目标特征点丢失期间轨迹预测方法,包括:S100,调整相机与目标的位置和姿态进行图像采样;S200,对图像进行预处理;S300:对目标区域进行特征点识别;S400,进行双目相机左右图像特征点匹配;S500,在后续图像中对选定特征点进行跟踪;S600,若发现特征点丢失,回溯到丢失前图像帧,与当前帧进行特征点匹配;S700,计算n个特征点前后两个时刻在相机坐标系空间位置;S800,计算特征点丢失前后两个时刻之间目标的相对姿态;S900,计算丢失特征点丢失前在相机坐标系空间位置,通过相对姿态和可见特征点位置预测丢失特征点位置。该方法通过双目相机测量原理,对丢失或遮蔽期间的空间目标特征点轨迹进行预测。

技术研发人员:袁静;袁建平;赵迪;孙冲
受保护的技术使用者:西北工业大学
技术研发日:2020.07.27
技术公布日:2020.10.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1