一种基于牛顿插值的快速全局运动估计方法与流程

文档序号:21369336发布日期:2020-07-04 04:45阅读:来源:国知局

技术特征:

1.一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述方法包括以下步骤:

步骤1:从视频序列中取初始参考帧,提取初始参考帧的特征点、保存至集合l1中;

步骤2:取所述视频序列中除初始参考帧外的任一帧作为当前帧,预测当前帧与参考帧的重叠区域;

步骤3:在重叠区域中设置感兴趣区域;

步骤4:提取感兴趣区域的特征点,保存至集合l2中;

步骤5:对集合l1和集合l2中的特征点进行特征匹配;

步骤6:基于特征匹配结果,进行全局运动模型估计;

步骤7:计算相机偏移,得到全局运动矢量;

步骤8:更新全局运动估计数据,返回步骤2直至当前视频序列处理结束。

2.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述的步骤1中,初始参考帧为从当前的视频序列中获取的第一帧;对初始参考帧使用surf算子提取特征点。

3.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述步骤2包括以下步骤:

步骤2.1:从当前视频序列中获取新的一帧图像作为当前帧;

步骤2.2:根据视频序列已进行全局运动估计的总次数n,若n小于阈值thn,则不进行重叠区域预测,将整帧设为感兴趣区域,跳至步骤4,否则根据n次全局运动估计获得的横坐标偏移量及对应的差商按式(1)所示的牛顿插值法获得当前帧的横坐标偏移量的预测值,

式中,ph(x)为当前帧横坐标偏移量的预测值,x为当前帧与初始参考帧之间的时间间隔;x0、x1、x2…xn分别是前n次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔,根据相机的帧率和两帧之间序号差值来计算而得,n值为全局运动估计次数n减1;h(x0)、h(x1)、h(x2)…h(xn)分别表示n次全局运动估计的横坐标偏移量,其中h[x0,x1…xn]为差商,由式(2)递归计算得到:

阈值thn的取值范围为[3,10],n≥0;

步骤2.3:根据n次全局运动估计的纵坐标偏移量及对应的差商按式(3)所示的牛顿插值法获得当前帧的纵坐标偏移量的预测值,

式中,pv(x)为当前帧纵坐标偏移量的预测值,x为当前帧与初始参考帧之间的时间间隔;x0、x1、x2…xn分别是前n次全局运动估计时对应的当前帧与初始参考帧之间的时间间隔,根据相机的帧率和两帧之间序号差值来计算而得,n值为全局运动估计次数n减1;v(x0)、v(x1)、v(x2)…v(xn)分别表示n次全局运动估计的纵坐标偏移量,其中v[x0,x1…xn]为差商,由式(4)递归计算得到,

步骤2.4:以参考帧中任一像素点的坐标减去对应的横坐标偏移量预测值及纵坐标偏移量预测值,得到预测的当前帧与参考帧的重叠区域。

4.根据权利要求3所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:每以牛顿插值法计算一次横坐标偏移量的预测值和纵坐标偏移量的预测值,计数器m加1,当m大于等于阈值thm时,将全局运动估计次数n值设为thn,并将m值清零;thm的取值范围为[5,20]。

5.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述的步骤3中,

若上述预测的重叠区域面积与当前帧面积的比值小于ths,则直接将重叠区域作为感兴趣区域执行下一步,阈值ths的取值范围为[0.5,0.9];

否则,对重叠区域按照宽高进行w×h分块,w是图像块的水平像素尺寸,h是图像块的竖直像素尺寸,w和h的取值范围都是[8,24];对每一小块根据式(5)计算平均梯度g,

式(5)中,表示水平方向的梯度,表示垂直方向的梯度;

剔除平均梯度小于阈值thg的图像块,阈值thg的取值范围为[0.5,3.5];若所有图像块平均梯度都小于thg,则将thg减小一半,重新进行剔除操作,直到剩下的图像块个数不为零;

将剩下的重叠区域作为感兴趣区域。

6.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述步骤4中,对上一步得到的感兴趣区域使用surf算子提取特征点。

7.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述步骤5中,对于前面获取到的两组特征点集合l1和l2,利用点集间特征向量的欧氏距离来确定匹配度;thp为最小距离阈值,取值范围为[100,1000],距离小于等于thp的特征点作为匹配初结果,然后使用随机样本一致性方法ransac剔除误匹配点得到最终匹配结果。

8.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述步骤6中,使用六参数模型描述全局运动矢量,式中,(x,y)是参考帧的坐标,(x’,y’)是当前帧的坐标;a1、a2、a3、a4表示摄像机的旋转和缩放,a5、a6表示摄像机的上下左右平移;

基于特征匹配结果,使用最小二乘法求出六个参数的最优估计。

9.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述步骤7中,基于全局运动模型,代入参考帧的坐标,得到参考帧在当前帧上的对应坐标,即重叠区域;利用参考帧坐标点和重叠区域对应点的坐标相减取平均值,可以得到横坐标和纵坐标的偏移量,分别作为当前帧全局运动矢量的水平分量和竖直分量。

10.根据权利要求1所述的一种基于牛顿插值的快速全局运动估计方法,其特征在于:所述步骤8中,更新全局运动估计数据包括全局运动估计总次数n加1,并将l2中的特征点覆盖掉l1中的特征点,当前帧作为下一次处理时的参考帧。


技术总结
本发明涉及一种基于牛顿插值的快速全局运动估计方法,从视频序列中取初始参考帧,提取特征点、保存至集合L1中,取视频序列中除初始参考帧外的任一帧、预测其与参考帧的重叠区域,在重叠区域中设置感兴趣区域并提取特征点、保存至集合L2中,对集合L1和L2中的特征点进行特征匹配,基于特征匹配结果进行全局运动模型估计,计算相机偏移,得到全局运动矢量,更新全局运动估计数据直至当前视频序列处理结束。本发明利用SURF特征检测算子提取特征点,运用牛顿插值法预测重叠区域,并对重叠区域进行分块预处理获取感兴趣区域,能有效减小特征提取的区域,加快算法速度,保证了全局运动估计的实时性和准确性。

技术研发人员:朱威;朱浩琪;王立凯;郑雅羽
受保护的技术使用者:浙江工业大学
技术研发日:2020.03.13
技术公布日:2020.07.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1