一种基于改进的卡尔曼滤波的实时数字视频稳像方法

一种基于改进的卡尔曼滤波的实时数字视频稳像方法
【专利摘要】本发明涉及一种数字视频稳像方法，一种基于改进的卡尔曼滤波的实时数字视频稳像方法，包括以下步骤：步骤1、建立帧间运动模型，步骤2、对图像进行分块，步骤3、改进的菱形快速块匹配，步骤4、基于最小二乘的全局运动估计，步骤5、利用改进的卡尔曼滤波器对图像序列进行补偿，步骤6、对含抖动的图像序列进行补偿；本发明对传统的菱形搜索进行了优化，在达到同样或是较好的估计效果的条件下，能减少块匹配算法的运行时间；在运动补偿方面，也能很好的去除抖动分量、很好地保留追拍分量。
【专利说明】一种基于改进的卡尔曼滤波的实时数字视频稳像方法

【技术领域】
[0001] 本发明涉及一种数字视频稳像方法，更具体地说，涉及一种基于改进的卡尔曼滤 波的实时数字视频稳像方法。

【背景技术】
[0002] 数字稳像技术（Digital Image Stabilization, DIS)是图像处理领域中一项新技 术，它能将抖动的视频序列中的抖动分量很好地滤除，同时能将有意的追拍分量进行保留。 它的这些特点使其在视频监控、手持和机载摄像、遥感领域有着重要的应用价值。在当前的 研究背景下，提出一种有效、鲁棒性强的算法，也是本专利的主旨所在。
[0003] 典型的数字稳像系统包括运动估计单元和运动补偿单元。运动估计单元中，传统 的运动估计算法包括块匹配法、位平面匹配法、灰度投影法、特征点匹配等算法。其中，菱形 快速搜索算法因具有快速性和较优异的性能而得到了广泛的应用。但传统意义上的菱形搜 索算法的性能还有待进一步优化；运动补偿单元中，常用的补偿算法包括卡尔曼滤波器、t匕 例积分差分控制器（Proportional Integral Differential, PID)、运动矢量累加 （Motion Vector Integration, MVI)、低通滤波器和巾贞间位置平滑（Frame Position Smooth, FPS)等 方法。然而，FPS方法需要消耗大量的时间来重构相机长时间的运动情况，因此不满足实时 稳像的要求；MVI等方法可以很好地对帧间抖动进行平滑，但会对追拍分量造成损失，同时 有较明显的时滞现象；传统的卡尔曼滤波器方法和PID方法会对追拍分量有一定的保留， 但仍然有明显的丢边现象存在，同时对抖动的平滑效果不如MVI性能好。因此，传统卡尔曼 滤波器很难做到在平滑抖动分量的同时，对主观的追拍分量进行很好地保留。


【发明内容】

[0004] 为了克服现有技术中存在的不足，本发明目的是基于Similarity运动模型，在传 统的菱形搜索块匹配算法的基础上，提供一种基于改进的卡尔曼滤波的实时数字视频稳像 方法。该方法对传统的菱形搜索算法和卡尔曼滤波器进行了改进，即便是有高速的主观追 拍运动存在时，该方法依然能很好地保留追拍分量，同时取得较好的平滑效果，对丢边现象 的抑制明显优于其他补偿算法。
[0005] 为了实现上述发明目的，解决现有技术中所存在的问题，本发明采取的技术方案 是：一种基于改进的卡尔曼滤波的实时数字视频稳像方法，包括以下步骤：
[0006] 步骤1 :建立巾贞间运动模型：选用Similarity运动模型对图像序列的运动进行描 述，以反映图像序列帧间的平移、绕光轴旋转和变焦运动，其运动模型为：
[0007]

【权利要求】
1. 一种基于改进的卡尔曼滤波的实时数字视频稳像方法，其特征在于包括以下步骤： 步骤1 :建立巾贞间运动模型：选用Similarity运动模型对图像序列的运动进行描述，以 反映图像序列帧间的平移、绕光轴旋转和变焦运动，其运动模型为
(1) 其中，（X，y)和（X'，y'）分别表示每个像素点在参考帧和当前帧的坐标，S代表摄像机 的变焦系数，θ代表帧间图像的旋转角度，dx、dy*别代表水平和垂直方向的偏移量；对于 安防监控或手持成像小幅抖动的情况下，图像序列帧间的偏转角θ很小，认为 cos θ?1， sine?θ ;同时，变焦系数s保持不变，设为1，这样，（1)式的简化模型为：
(2) 步骤2 :对图像进行分块：将图像分成一系列8X8的图像块，图像块应选在具有明显图 像特征且不为运动前景目标的区域； 步骤3 :改进的菱形快速块匹配：按照绝对平均误差函数（Mean Absolute Difference，MAD)准则进行匹配；选取以当前帧选定子块为中心的8X8个像素点，进行对 应上一帧的相同位置和周围8个方向的搜索，使用菱形搜索算法大模板，搜索的单位步长 为2,具体包括以下子步骤（a)、（b)及（c); 步骤（a):若匹配后，最小位置为9个位置中的中心位置，则执行步骤（c)，否则，最小位 置为外围的8个位置，则执行步骤（b); 步骤（b):记录当前最小位置的MAD值，记为Μ%，并沿着该最小位置的方向再进行一 次匹配，得到新的MAD值，记为MADi，若MADi小于MAD。，则循环执行步骤（b)，若MADi大于或 等于MAD。，则跳转到步骤3 ; 步骤（c):匹配后，最小位置为9个位置中的中心位置，则以步骤（a)得到的最小MAD值 的位置为初始位置，进行对应上一帧的相同位置和周围4个方向的搜索，使用菱形搜索算 法小模板，得到当前的最小MAD值即为最佳匹配位置：
(3) 步骤4 :基于最小二乘的全局运动估计：对式（1)进行整理，得到的矩阵方程：
(4) 根据每个8X8的图像块得到的运动矢量及匹配点对，利用随机采样一致性（Random Sample Consensus, RANSAC)剔除错误的匹配点对，并利用保留下来的正确值以及式（4) 对参数s，Θ，dx，dy进行最小二乘估计；利用最小二乘估计思想估计出的全局运动参数， 即得到了当前帧相对于上一帧的全局运动向量，即GMV = [GMVS，GMV e，GMVX，GMVy]= [s, Θ , dx, dy]； 步骤5 :利用改进的卡尔曼滤波器对图像序列进行补偿，具体包括子步骤（a)、（b)、 (c)、（d)、（e)及（f); 步骤（a):根据状态空间理论对稳像系统进行建模，系统的状态方程和观测方程分别 为：
(5) 其中，Φ、Γ和Η分别为传递矩阵、输入矩阵和观测矩阵；x(k)、y(k)和u(k)分别为状 态向量、观测向量和控制向量，而v(k)和w(k)代表噪声向量；为了简化起见，采用具有两个 状态和单观测的线性系统进行建模，其中Φ，Γ和Η的取值如下：
(6) 步骤（b):用PGMV表示全局运动矢量GMV的累加量，PGMV (k-Ι)表示GMV从第1帧到第 k帧的累加值，将PGMV的各个分量分别送入一维的卡尔曼滤波器中进行滤波，则得到：
(7) 其中，Ko(k-l) = [Kos(k-l)，Ko0(k-l)，Kox(k-l)，Ko y(k-l)]表示四个卡尔曼滤波器在 第k-Ι时刻的输出，PGMV(k-l)和Ko(k-l)两个矢量之间的差表示第k-Ι帧的运动补偿矢 量，CMV(k-l) = [CMVs(k-l)，CMVe (1^-1)，01^&-1)，01^&-1)]第1^-1帧的抖动运动矢量用 JMV(k-l) = [JMVs(k-l)，JMVe (k-1)，JMVx(k-l)，JMVy(k-l)]表示，其在数值上与第 k-Ι 帧的 运动补偿矢量CMV(k-l)相等； 步骤（c):根据卡尔曼滤波器理论对状态进行预测；
(8) 其中，
和
是根据k时刻对k+l时刻的估值，而P(k)为协方差矩阵， P(k+l|k)是其根据当前时刻对下一时刻的估值，另外，噪声信号v(k)和w(k)认为是不相关 的，&为噪声信号v(k)的方差； 步骤（d):引入场景识别参数，λ = [λ s，λ 0，λχ，Xy]，来识别当前场景为追拍运动或 是抖动运动，λ值由下式确定：
(9) 其中，L表不选取一定时间段内JMV的窗长，当某一个参量方向上存在追拍运动时，参 数λ在这个方向上的数值大，反之，λ将是一个接近于〇的很小值； 步骤（e):根据λ的值确定第k帧观测噪声方差R(k)的值：
(10) 其中f(·)为非线性函数，而且随着λ的增大而递减，这里给出一个参考的非线性函 数，参考函数中，参量kp的经验值取100 ;
(11) 当某一个参数方向存在追拍时，由参量确定的R(k)会很小，因而能很好的发挥卡尔曼 滤波器的跟踪特性；反之，当前只存在随机抖动，R(k)的值很大，能很好的发挥卡尔曼滤波 器的平滑作用； 步骤（f):利用改进的卡尔曼滤波器和步骤（e)确定的观测噪声方差R(k)，对状态进 行更新：
(12) 这里，R(k)为标量而非矢量，这是由于采用系统模型是单观测的，若采用多观测的系统 模型，则应用R(k)来表示观测噪声的协方差矩阵； 步骤6 :对含抖动的图像序列进行补偿：将运动补偿得到的运动补偿向量的各个参量， CMV= [s'，0'，d'x，d'y]以及原图像的像素位置代入下式，进行补偿：
(13) 并将像素赋给新的坐标位置（X'，y'），即完成了稳像；如果采取简化后的模型，则应用 下式进行补偿：
(14)
【文档编号】H04N5/21GK104144283SQ201410389926
【公开日】2014年11月12日 申请日期:2014年8月10日 优先权日:2014年8月10日
【发明者】宋继飞, 马晓红 申请人:大连理工大学