一种视频图像稳定方法及装置制造方法
【专利摘要】本发明公开了一种视频图像的稳像方法及装置，该方法包括如下步骤：使用SURF特征点检测算法提取第n-1帧和第n帧图像的特征点。将第n帧图像的特征点与第n-1帧图像的特征点进行匹配，形成多对匹配点对，确定第n帧图像与第n-1帧之间的仿射关系，通过匹配特征点解出仿射矩阵；将前n-1个仿射矩阵参考第1帧进行参数级联，通过滤波器对级联后的仿射参数进行kalman滤波，得到滤波后的级联仿射矩阵参数；根据所述滤波后的仿射参数对第n帧图像进行补偿得到滤波后的第n帧图像。本发明获得的图像的滤波效果较好，有效消除视频抖动噪声。
【专利说明】一种视频图像稳定方法及装置
【【技术领域】】
[0001]本发明涉及视频图像数字处理领域，具体涉及一种视频图像稳定方法及装置。【【背景技术】】
[0002]由于拍摄者或者载体的振动与抖动导致最后获取的视频源质量下降，主要表现为获取视频振动厉害，给观测人员以及视频的后续处理带来很大的麻烦，视频稳像技术就是去除引入的噪声抖动或者振动。稳向技术经历了机械式稳像、光学式稳像到目前研究比较多的电子稳像。其中电子稳像又可以根据不同的全局运动估计方法分为:块匹配法、灰度投影法、相位相关法、特征跟踪法等不同的类型。块匹配法计算量太大影响处理速度。灰度投影法适用于图像信息丰富的场景否则效果不好。相位相关法对发生平移的场景有很好的性能但是对旋转和缩放无能为力。特征跟踪法对不同的特征采用不同的特征提取算法，如轮廓、直线、边缘或者特征点等。传统的机械系统多是基于陀螺传感器和伺服系统，虽然可以达到一定的稳像精度，但由于伺服系统体积庞大、造价闻、消耗功率大等缺点，在一定的场合下满足不了进一步发展的需要。光学稳像控制比较复杂而且维护很复杂，成本相对电子稳像较高。电子稳像相对传统的稳像方法有控制简单、容易集成小型化和成本低等优势，航空领域都有着广阔的应用前景。
[0003]目前的电子稳像技术存在着稳像质量不高的问题。
【
【发明内容】
】
[0004]为了克服现有技术的不足，本发明提供了一种视频图像稳定方法及装置，以提高处理后的视频的质量。
[0005]一种视频图像的稳像方法，包括如下步骤:
[0006]S10，利用SURF特征点检测算法提取第一帧图像至第η帧图像的特征点；
[0007]S20，将第η帧图像的特征点与相邻的第η_1帧图像的特征点进行匹配，形成多组匹配的特征点对；
[0008]S30,分别确定第η帧图像之前的相邻的第m帧图像与第m_l帧图像之间的仿射参数，得到η-l组仿射参数，然后对η-l组仿射参数进行级联，得到第η帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于η的自然数；
[0009]S40，对第η帧图像与第一帧图像之间的级联参数进行卡尔曼(kalman)滤波，得到滤波后的级联参数；
[0010]S50，根据所述滤波后的仿射参数对第η帧图像参考第一帧图像进行补偿得到滤波后的第η帧图像。
[0011]第η帧图像与第一帧图像之间的级联参数的本质是第η帧图像相对参考帧第一帧的仿射矩阵参数。
[0012]在优选的实施例中，
[0013]在所述步骤S30中:通过如下式子确定第η帧图像与第一帧图像之间的级联参数:
[0014]In (X) =(X)+=...= AnJl (^) +Bn^l,
[0015]In-1 = Ef=I1 斗，其中，η 彡 2 ;
[0016]Bn = ΑΧ_χ +足，其中，对于瓦 n ^ O, 50 = O；
「 ? , an, b, I D e?—i_7] Λ—, Β1 ；ι，Β“= f ,
_°η-1 “"-1」L" ?-1」
「《"—! K-1 e?-1ir^；-1
[0018]Ρ,,=Μη—?—'= yn = c?—】dn_x f?—' JV1 ；
i j Lo o 1」L1」，
[0019]其中，In(x)表示第n巾贞图像，^v1, V1, Clri, (Ilri, en_1； 表示第η巾贞图像与第η_1帧图像之间的仿射参数，Alri和Blri表示第η帧图像与第η-l帧图像之间的仿射参数矩阵，
和匕^表示第η帧图像与第一帧图像之间的级联参数矩阵，I1(X)表示第一帧图像，Pn
表示第η帧图像的一个特征点，Plri表示第η-l帧图像的与所述第η帧图像的一个特征点匹配的特征点；
[0020]在所述步骤S40中，对和进行卡尔曼滤波分别得到in_:L和Jn-P且
00 = 1 (x) + ^n-1'
[0021]在所述步骤S50中，通过如下式子对第η帧图像参考第一帧图像进行补偿:
[0022]/η(χ) = 4-1 (U "1Zn(X) -1n-! -1> ^Bn-1 +
[0023]其中，/n(χ)及示补偿后的第η帧图像。
[0024]在优选的实施例中，
[0025]还包括如下步骤，通过如下卡尔滤波模型对所述级联参数进行滤波:
[0026]利用第k-Ι帧图像与第一帧图像的级联参数Ylri的最终滤波结果Xlri得到第k帧图像的级联参数初始预测结果A
[0027]Xtl = Φ?χΧ^χ ,
[0028]利用第k_l巾贞时刻的误差方差值Plrf得到第k巾贞时刻的误差方差估计值lIi ι.
[0029]PUlA-MkkSi+Qm
[0030]计算第k帧时刻的卡尔曼增益参数Kk，
[0031 ]Kk = ^l1 (Q )7.[CkP^l (Ck f +Rk)-1.
[0032]计算第k帧时刻的仿射参数最终滤波结果Xk:
[0033]Xk = XU + Kk [Yt - Ytl) ； Yll = CkXll ,
[0034]计算第k帧时刻的误差方差最终值Pk:
[0035]Pk = (1-KkCk)Pk^ ,
[0036]其中，Q1^1为第k-1帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，ΦΙ,为第k帧时刻的状态矩阵，Qk^1, Ck, Rk和4L在计算过程中设置为常量且与k无关，I为单位矩阵。
[0037]在优选的实施例中，
? 10000000 0"
0 100000000
0 010000000
0 001000000
0 0001 10000
[0038]Φ:,=
0 0 0 0 0 1 0 0 0 0。
0000001100
0000000100
000000001I
0 00000000 1
[0039]本发明还提供了一种视频图像的稳像装置，包括:
[0040]第一处理单元，利用SURF特征点检测算法提取第一帧图像至第η帧图像的特征占.
[0041]第二处理单元，将第η帧图像的特征点与相邻的第η-l帧图像的特征点进行匹配，形成多组匹配的特征点对；
[0042]第三处理单元，用于分别确定第η帧图像之前的相邻的第m帧图像与第m_l帧图像之间的仿射参数，得到η-l组仿射参数，然后对η-l组仿射参数进行级联，得到第η帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于η的自然数；
[0043]第四处理单元，用于对第η帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数；
[0044]第五处理单元，用于根据所述滤波后的仿射参数对第η帧图像参考第一帧图像进行补偿得到滤波后的第η帧图像。
[0045]在优选的实施例中，
[0046]所述第三处理单元通过如下式子确定第η帧图像与第一帧图像之间的级联参数:
[0047]In (X) =(X) + Βη-ι =.■■ = An^Il (χ) + Bn_x.
[0048]= ΣΓ=]1 4，其中，n Si 2 ；
[0049]Bn: ο +5，其中，对于n 彡 2，50 = O;
r π Abn~l I O 「纥-1
[0050]A-ι=, BnA =._C"-1 α?-ι」
卜—ι Κ-χ ι]卜—I
[0051]Pn =Μη_λ *Ρη_χ = yn =dn_x fn_x yn_x ,
I」L 0 0 I」L I」
[0052]其中，In(X)表示第η巾贞图像，CLn^1, Iv1, cn_1; (In^1, en_1； 表示第η巾贞图像与第η_1帧图像之间的仿射参数，Alri和Blri表示第η帧图像与第η-l帧图像之间的仿射参数矩阵，足和表示第η帧图像与第一帧图像之间的级联参数矩阵，I1(X)表示第一帧图像，
Pn表示第η帧图像的一个特征点，Plri表示第η-l帧图像的与所述第η帧图像的一个特征点匹配的特征点；
[0053]所述第四处理单元对进行卡尔曼滤波分别得到iti和氣，且
/ (\) = An^1Z1(X) + Sn_1；
[0054]所述第五处理单元通过如下式子对第η帧图像参考第一帧图像进行补偿:
[0055]?η(Χ)=Α?_ι (An-1) (χ) — ^n-1 (Λι-l) Bn-1 + ^n-1；
[0056]其中，In(X)表示补偿后的第η帧图像。
[0057]在优选的实施例中，
[0058]还包括第六处理单元，用于通过如下卡尔滤波模型对所述级联参数进行滤波:
[0059]利用第k-Ι帧图像与第一帧图像的级联参数Ylri的最终滤波结果Xlri得到第k帧图像的级联参数初始预测结果It1:
[0060]XU = Φ?-,Χ^Χ.
[0061]利用第k_l巾贞时刻的误差方差值Plrf得到第k巾贞时刻的误差方差估计值<1..
[0062]+Q^.
[0063]计算第k帧时刻的卡尔曼增益参数Kk，
[0064],
[0065]计算第k帧时刻的仿射参数最终滤波结果Xk:
[0066]Xk = XU + Kk (Yt - Y^x) ； Yk\ = Ck Xll ；
[0067]计算第k帧时刻的误差方差最终值Pk:
[0068]Pk=(1-KkCk)P^,
[0069]其中，Qk^1为第k-Ι帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，1:为第k帧时刻的状态矩阵，Qk^1, Ck, Rk和在计算过程中设置为常量且与k无关，I为单位矩阵。
[0070]在优选的实施例中，
【权利要求】
1.一种视频图像的稳像方法，其特征是，包括如下步骤: S10，利用SURF特征点检测算法提取第一帧图像至第η帧图像的特征点； S20，将第η帧图像的特征点与相邻的第η-l帧图像的特征点进行匹配，形成多组匹配的特征点对； S30，分别确定第η帧图像之前的相邻的第m帧图像与第m_l帧图像之间的仿射参数，得到η-l组仿射参数，然后对η-l组仿射参数进行级联，得到第η帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于η的自然数； S40，对第η帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数； S50，根据所述滤波后的仿射参数对第η帧图像参考第一帧图像进行补偿得到滤波后的第η帧图像。
2.如权利要求1所述的视频图像的稳像方法，其特征是， 在所述步骤S30中:通过如下式子确定第η帧图像与第一帧图像之间的级联参数: Ι,ι (χ) = d,—? (x)+^j—? =…=(X) + B”—】, ^n-1 = Ef=I14，其中，η > 2 ; Bn = Α?-, +5，其中，对于瓦，η ^ O, S0 = O； A ι=Γα-S1=卜._Cn-l《―1_，_fn-l _ '
叫! K-1 j Pn = Ρη—' = yn = cn_} dn—' fn_x yn_x.1 J [ O O I I I J， 其中，In(X)表示第n巾贞图像，applVi，cn_1; (In^1, en_1； 表示第η巾贞图像与第η_1巾贞图像之间的仿射参数，Alri和Blri表示第η帧图像与第η-l帧图像之间的仿射参数矩阵4 -ι和否^^表示第n帧图像与第一帧图像之间的级联参数矩阵，I1 (χ)表示第一帧图像，Pn表示第η帧图像的一个特征点，Plri表示第η-l帧图像的与所述第η帧图像的一个特征点匹配的特征点； 在所述步骤S40中，对和I进行卡尔曼滤波分别得到為和I，且Zn(X) = Av^1I1(X) + βη_1； 在所述步骤S50中，通过如下式子对第η帧图像参考第一帧图像进行补偿:
(χ) = ^n-1 ^ ^n-1 )/n(X)- ^n-1 (i^r1-1)I + 召π-1,， 其中，/n(X)表示补偿后的第η帧图像。
3.如权利要求2所述的视频图像稳定方法，其特征是，还包括如下步骤，通过如下卡尔滤波模型对所述级联参数进行滤波:利用第k-1帧图像与第一帧图像的级联参数Ylri的最终滤波结果Xlri得到第k帧图像的级联参数初始预测结果=
， 利用第k-ι帧时刻的误差方差值Plri得到第k帧时刻的误差方差估计值= PL=HyvhQm 计算第k帧时刻的卡尔曼增益参数Kk， HtAcJ(CtIfmRl)' 计算第k帧时刻的仿射参数最终滤波结果Xk:
Xk = XL+Kk [Yk - Yil); Yil = CkXll ； 计算第k帧时刻的误差方差最终值Pk:
I), =(/-W,)"丨； 其中，Qk-!为第k-ι帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，C为第k帧时刻的状态矩阵，Qk^1, Ck, Rk和I在计算过程中设置为常量且与k无关，I为单位矩阵。
4.如权利要求3所述的视频图像稳定方法，其特征是，
5.一种视频图像的稳像装置，其特征是，包括: 第一处理单元，利用SURF特征点检测算法提取第一帧图像至第η帧图像的特征点；第二处理单元，将第η帧图像的特征点与相邻的第n-ι帧图像的特征点进行匹配，形成多组匹配的特征点对； 第三处理单元，用于分别确定第η帧图像之前的相邻的第m帧图像与第m-Ι帧图像之间的仿射参数，得到η-l组仿射参数，然后对η-l组仿射参数进行级联，得到第η帧图像与第一帧图像之间的级联参数；其中，m是大于等于2且小于等于η的自然数； 第四处理单元，用于对第η帧图像与第一帧图像之间的级联参数进行卡尔曼滤波，得到滤波后的级联参数； 第五处理单元，用于根据所述滤波后的仿射参数对第η帧图像参考第一帧图像进行补偿得到滤波后的第η帧图像。
6.如权利要求5所述的视频图像的稳像装置，其特征是: 所述第三处理单元通过如下式子确定第η帧图像与第一帧图像之间的级联参数:
其中，In(X)表示第n帧图像，applVi，cn_1; (In^1, en_1； 表示第η帧图像与第η_1帧图像之间的仿射参数，Alri和Blri表示第η帧图像与第η-l帧图像之间的仿射参数矩阵，In-α和表示第η帧图像与第一帧图像之间的级联参数矩阵，I1(X)表示第一帧图像，Pn表示第η帧图像的一个特征点，Plri表示第η-l帧图像的与所述第η帧图像的一个特征点匹配的特征点； 所述第四处理单元对Ik1和豆进行卡尔曼滤波分别得到A-r和h，且Zn(X) = A^1I1Cx) +1-1; 所述第五处理单元通过如下式子对第η帧图像参考第一帧图像进行补偿:
4(χ) - ^n-1 (An-1) ,η(χ)_/1η-1 (4-1)否η-1 + βη-1.’ 其中，A(X)表示补偿后的第η帧图像。
7.如权利要求6所述的视频图像的稳像装置，其特征是，还包括第六处理单元，用于通过如下卡尔滤波模型对所述级联参数进行滤波: 利用第k-ι帧图像与第一帧图像的级联参数Ylri的最终滤波结果Xlri得到第k帧图像的级联参数初始预测结果Y, XU= Φ X
? 利用第k-ι帧时刻的误差方差值Plri得到第k帧时刻的误差方差估计值磙,= PLQk-'X 计算第k帧时刻的卡尔曼增益参数Kk， 计算第k帧时刻的仿射参数最终滤波结果Xk:
Xt = XU+Kk [Y1-1t1) ； Yk\ = CkXU ,计算第k帧时刻的误差方差最终值Pk:
Pk=(1-KtCt)PL-, 其中，Qk-!为第k-ι帧时刻的输入参数噪声矩阵，Ck为第k帧图像的观测矩阵，Rk为第k帧时刻的测量噪声矩阵，ΦΙ为第k帧时刻的状态矩阵，Qk^1, Ck, Rk和4—'在计算过程中设置为常量且与k无关，I为单位矩阵。
8.如权利要求7所述的视频图像的稳像装置，其特征是，
【文档编号】H04N5/14GK104135598SQ201410326103
【公开日】2014年11月5日 申请日期:2014年7月9日 优先权日:2014年7月9日
【发明者】程雪岷, 郝群, 解梦迪, 吴宗昊, 陈阳 申请人:清华大学深圳研究生院