专利名称：基于特征匹配的电子稳像方法
技术领域：
本发明属于图像处理技术领域，涉及视频图像处理，为一种基于特征匹配的电子稳像方法。
背景技术：
近年来，随着数字多媒体技术的发展及人们生活水平的不断提高，基于视频的安全、娱乐、环保等方面的应用越来越多地出现在日常生活中。就环保领域而言，2007年夏的太湖蓝藻大暴发导致无锡全市断水，引起国务院的高度重视，目前，国家科技重大专项水体污染控制与治理专项将太湖列为八大重点领域之首。在“太湖蓝藻视频监控”国家重大专项实施过程中，发现实际船载视频监控系统不可避免地受到船体的晃动的影响，摄像机载体产生无规律的随机运动，导致视频序列帧间运动过大，出现旋转、平移、缩放、甚至畸变等情况，监控效果受到严重干扰，为后期的各种视频应用如蓝藻识别、蓝藻浓度计算、分布图绘制、蓝藻暴发预警等造成一定的障碍。表1现有稳像方法的比较
稳像分类体积功耗精度成本使用场合机械式稳像大高中高大型军用设备中光学稳像中低中中医疗器械，光学设备电子稳像小低高低应用广泛，视频监控、 手持设备现有的稳像方法对比如表1，从表中可以看出，传统的稳像方法如机械稳像、光学稳像虽然在精度上可以做到满足具体的应用场合，但是也很难做的很高。它们最大的不足就是体积大、成本高、功耗大，无法适应对体积、成本和功耗严格要求的场合。相反，电子稳像不依赖任何支撑系统，应用数字图像处理的方法实现稳定，门槛较低，应用十分广泛。但现有技术中的电子稳像方法仍存在一些问题。CN201010179280. 9运动估计中采用块匹配的方式，虽然搜索算法为钻石搜索法， 但仍难以在精度和复杂度之间做到很好的权衡，尤其是在本发明所针对的实时视频稳像场合，难以实时应用。此外，异常块区分策略是比较当前运动均值与上一次均值的差值，不适用于尺度较大的运动，适应性不强。CN201010179282. 8采用粒子滤波PF(Particle Filter)法对运动参数进行滤波， 但是该算法需要大量的样本数才能很好地逼近系统的后验概率密度，不能有效地区分“有意运动”和“随机抖动”。此外，稳像后的空洞填补采用多幅图像拼接(Mosaic)的方法，拼接痕迹明显，不能保持拼接处的纹理连续性。CN200710036817. 4采用SIFT算法获得全局运动参数，虽然匹配精度较高，但是该算法的时、空复杂度高，实时性较差。此外，运动滤波中采用高斯滤波和曲线拟合相结合的方法，虽然可以通过参数调整避免“过稳”和“欠稳”，但是延时和拖尾问题没有解决。上述基于像素的电子稳像算法如灰度投影法、位平面匹配法等，利用各像素灰度值间的关系，估计运动参数，最大的特点是处理速度快，较容易实现实时处理，但是，这类算法有一定的局限性，首先它要求图像的纹理丰富，对比度明显，其次是假设相邻两帧间的旋转角度较小，只考虑平移运动，不考虑旋转运动。基于运动修复的稳像后视频修复算法首先对局部运动场进行修复，再通过完整的运动场引导像素修复，但是，部分靠近边界的待修复点可能被“跳过”而无法进行光流矢量估计，从而形成“盲点”而影响到像素的修复。本发明在运动修复算法的基础上，采用快速推进算法FMM (Fast Marching Method)遍历待修复区域，对于一次遍历无法修复的点，用全局运动矢量代替局部运动矢量，这样可以获得完整的局部运动场。
发明内容
本发明要解决的问题是现有的稳像方法中，电子稳像方法具有良好的应用前景， 在此基础上提出一种针对抖动载体拍摄视频去抖动的稳像方法。本发明的技术方案为基于特征匹配的电子稳像方法，用于监控视频的前期处理， 获取稳定图像供后期应用，包括以下步骤1)运动估计首先提取监控视频参考帧中的特征点，所述参考帧为当前帧的前一帧，特征点为图像中的角点，接着在当前帧中进行搜索，提取当前帧中与前一帧的特征点对应的点，根据找到的特征点对，估算出两帧间的运动参数，即得到全局运动矢量和局部运动矢量；2)运动滤波采用Kalman滤波器对全局运动矢量行滤波，利用统计学方法构造状态空间模型， 描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波，得出有意运动参数，抖动分量为全局运动参数和对应的有意运动参数之差，所述差即为需要补偿的抖动参数；3)运动补偿由步骤2)滤波得到的需要补偿的抖动参数，得到当前帧与前一帧的变换关系，对视频当前帧进行补偿，将当前帧上的点变换到补偿后的坐标位置；4)视频修复利用视频的时空冗余信息，采用快速推进FMM算法修复补偿后的图像中，未定义区域的局部运动矢量，由此得到未定义区域的完整局部运动场，再利用局部运动矢量在参考帧中搜索，得到未定义区域所有像素点的亮度信息并进行填充，由此完成未定义区域的
重建；通过以上步骤对视频序列逐帧处理，获得稳定的稳像视频输出，步骤4)完成稳像视频边界未定义区域的重建，避免视频图像四周出现黑色的空洞。步骤1)的运动估计采用分散式Harris角点提取算法，具体为
11331)在视频图像的窗口中构造一个屏蔽窗口 [7147+6^,7 , 了了·/^^^]；
2)设置角点的临界距离d。，在d。为半径的圆周内不再取其它角点；在当前帧中提取与前一帧的角点匹配的点，采用多分辨率L-K光流算法。采用随机抽样一致RANSAC算法对匹配后的特征点对进行精匹配。步骤幻中Kalman递归方程包括状态方程、观测方程和更新方程，建立主动运动的完整状态空间模型，滤波时首先初始化Kalman滤波器的各参数，然后用Kalman滤波器的递归方程对运动状态进行有意扫描分量的预测，确定需要补偿的抖动参数。初始化Kalman滤波器时，根据抖动的剧烈程度，设置系统参数，包括观测噪声R和过程噪声，以动态调节滤波器对运动的跟踪能力；定义Kalman滤波器的状态矢量为S (k)= [9，叔，(1\，(^，(1\]，各分量分别为旋转角θ、水平运动分量dx、水平运动速率dvx、垂直运动分量dy和垂直运动速率dvy ；观测矢量定义为Z (k) = [ θ，dx, dy]，滤波前分别对状态矢量和观测矢量进行初始化。步骤幻的运动补偿采用仿射模型，根据步骤幻的需要补偿的抖动参数，得到当前帧相对于前一帧的变换关系。步骤4)的稳像视频修复采用基于运动修复的视频修复算法，对步骤幻所得的稳像视频进行原分辨率修复利用时空冗余信息对当前帧受损区域进行修复，先在时间轴上与当前帧相邻的帧中搜索，利用邻帧中同一区域的局部运动矢量估计当前帧相应未定义区域的局部运动，再通过局部运动场引导像素亮度值的修复；对通过时间轴搜索无法修复的点采用帧内搜索，用静态图像修复的方法进行修复，完成所有未定义区域的重建。本发明结合电子稳像的四项主要内容，运动估计、运动滤波、运动补偿和视频修复设计出完整的电子稳像方案，它首先利用分散式Harris角点匹配获得匹配特征点对，代入六参数仿射模型利用RANSAC算法计算全局运动参数；然后进行Kalman运动滤波，滤除随机抖动，保留有意扫描运动；最后，对稳像后视频采用运动修复算法进行全帧修复。稳像视频修复是本发明的重要特点，现有其它的稳像方案多采用图像拼接Mosaic 的方法，修复痕迹明显，而本发明采用运动修复后可保持修复处纹理的连续性。本发明的有益效果为1)采用L-K光流算法对提取到的分散式Harris角点进行跟踪，不仅减小前景运动物体的干扰，提高了特征匹配的准确率，而且大幅降低了算法的时、空复杂度，单帧处理从 150ms 降低至Ij 20ms ；2)采用递归Kalman滤波算法，对全局运动矢量进行滤波，有效区分随机抖动和有意扫描运动，并可通过系统参数设置，动态调节滤波器的滤波能力，提高对不同剧烈程度运动场景的适应力；3)采用基于运动修复的视频修复算法对稳像视频进行全帧修复，重建其边界缺失部分，和以往稳像视频的修复相比，本发明不直接对未完义区像素的亮度值进行修复，而是先修复局部运动场，再利用完整的局部运动场引导像素点的修复，这样可减小修复痕迹，提高修复效果。
图1为本发明电子稳像方法的流程图。图2为本发明运动估计步骤中分散式Harris角点匹配的示意图。
图3为本发明运动估计步骤中基于RANSAC的特征点对精匹配的算法流程图。图4为本发明视频修复步骤的修复示意图，图(a)是局部运动场修复示意图，图 (b)是修复源块搜索结果示意图。图5为本发明视频修复中采用的FMM算法流程图。图6为本发明运动估计中的多分辨率金字塔跟踪匹配示意图。图7为本发明中滤波器跟踪性能测试结果图，图7(a)为过程噪声方差σ (Q)= le-5，观测噪声方差σ (R) = le_l，图7(b)为过程噪声方差σ (Q) = le_2，观测噪声方差 σ (R) = le-3。
具体实施例方式为解决运动载体(机、船、车、人)抖动对视频拍摄效果的影响，本发明提出一种基于特征匹配的电子稳像EIS(Electronic Image Stabilization)方法利用分散式Harris 角点匹配估计全局运动，经过Kalman滤波滤除随机抖动，保留有意扫描分量，再对当前帧进行反向运动补偿，为了消除补偿所致的边界空洞，采用基于快速推进FMM(Fast Marching Method)算法对空洞处进行运动修复，进而引导像素修复，最终完成视频的稳像。实验表明， 这种稳像解决方案具有准确性高、抗噪性好、跟踪性能强、边界一致性好等优点。本发明方法直接用于监控视频的前期处理中，以获得稳定的图像供后期应用。稳像方案共分为四个部分运动估计、运动滤波、运动补偿、视频修复。1)运动估计首先提取监控视频参考帧中的特征点，所述参考帧为当前帧的前一帧，特征点为图像中的角点，接着在当前帧中进行搜索，提取当前帧中与前一帧的特征点对应的点，根据找到的特征点对，估算出两帧间的运动参数，即得到全局运动矢量和局部运动矢量；2)运动滤波采用Kalman滤波器对全局运动矢量行滤波，利用统计学方法构造状态空间模型， 描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波，得出有意运动参数，抖动分量为全局运动参数和对应的有意运动参数之差，所述差即为需要补偿的抖动参数；3)运动补偿由步骤2)滤波得到的需要补偿的抖动参数，得到当前帧与前一帧的变换关系，对视频当前帧进行补偿，将当前帧上的点变换到补偿后的坐标位置；4)视频修复利用视频的时空冗余信息，采用快速推进FMM算法修复补偿后的图像中，未定义区域的局部运动矢量，由此得到未定义区域的完整局部运动场，再利用局部运动矢量在参考帧中搜索，得到未定义区域所有像素点的亮度信息并进行填充，由此完成未定义区域的
重建；通过以上步骤对视频序列逐帧处理，获得稳定的稳像视频输出，步骤4)完成稳像视频边界未定义区域的重建，避免视频图像四周出现黑色的空洞。本发明的流程如图1，最后提供两种输出，连同原始的输入视频，可用于三者的效果对比。下面具体说明本发明。
7
1、运动估计为了估计准确同时做到实时，选用代表整个图像的特征量作为估计的依据。通常， 好的特征量具有独特性、普遍性和分散性的特点。而在计算机视觉领域中，角点是一类比较特殊的点，使用最为广泛。角点一般包含的信息量十分丰富，且便于检测，能够适应光照条件的变化。通常，角点被定义为在图像边界上曲率足够高的点，在实际图像中，轮廓的拐角、 线段的末端等都是角点。本发明中采用Harris 点提取算法(C. Harris, Μ. Stephens, "A combined corner and edge detector", Fourth Alvey Vision Conference，1988.)，为了使提取出的特征在整幅图像中尽可能地分布均勻，避免特征和特征窗口在图像中分布过于集中，本发明设计了基于Harris的分散式角点提取算法，具体做法如下
113 31)构造一个屏蔽窗口了·，由于主体窗口中出现前
8 84 4
景目标和运动物体的概率较高，不宜在此选取特征点，所以直接屏蔽；2)设置角点的临界距离d。，在d。为半径的圆周内不得再取其它角点。这两个原则能够有效的使角点的分布出现在背景区域，且尽可能均勻，如图2所
7J\ ο为了减轻噪声的影响并避免光流计算陷入局部最小，角点的区配采用多分辨率 L-K7 ^ (H. C. Chang, S. H. Lai, etc. ,"A robust and efficient video stabilization algorithm", IEEE ICME' 04，2004)，它是从金字塔的最顶层开始计算，用得到的运动估计结果作为下一层的起点，直至底层，如图6所示。算法具体如下(1)分别将两帧图像做k (3 4)层Gaussian金字塔分解；(2)计算第 k-Ι 层的 L-K 光流[u，ν]τ ；(3)将[U，ν]τ双线性插值并倍乘2后作为次高层光流的预估值[ιΛ ν*]τ ；(4)利用[ιΛ 对次高层进行运动补偿，并计算出补偿后的次高层光流[u'， ν' ]τ；(5)次高层的光流等于,v*+v' ]τ；(6)依此类推，直至得到第0层的光流场。为进一步降低误匹配对，又采用了随机抽样一致RANSAC算法对匹配后的特征点对进行精匹配。整个运动估计的技术路线如图3所示。现有技术中，US7440008B2对图像块采用L-K光流法估计局部运动矢量，再通过最小二乘法进行运动滤波，这种算法假设每个图像块内的各像素运动一致，所以块大小的选择和分布决定了运动估计的复杂度和精度。而本发明中采用分散式Harris角点光流跟踪匹配的方法，精度不受图像旋转、仿射变换的影响，抗噪性和场景适应性得到了保障。除此之外，本发明还对稳像后视频出现的空洞区域进行原分辨率重建修复，提高了视频的质量。2、运动滤波运动估计采用Kalman滤波法。首先利用统计学方法构造状态空间模型(Litvin A， Konrad J， Karl W. "Probabilistic video stabilization using Kalman filtering and mosaicking，，，SPIE Conference on Electronic Imaging，Santa Clara，2003·)，描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波。统计学方法最终是通过基本滤波方程体现的，Kalman递归方程就是统计方法的数学表现。Kalman滤波器能够很好地通过递归估计出最合适的有意运动参数，从而跟踪摄像机平滑的扫描运动。下面介绍Kalman滤波器的数学模型，状态方程和观测方程如下X (k) = AX (k-1) +BU (k)+ff(k).......(1)Z(k) = HX(k)+V(k).......(2)其中，X(k)是k时刻的系统状态，U(k)是k时刻对系统的控制量，ff(k)表示系统的过程噪声，A和B是系统参数；Z(k)是k时刻的测量值，V(k)测量的噪声，H是测量系统参数。假设噪声都是高斯白噪声，它们的协方差分别是Q、R。Kalman滤波方程为X (k I k-1) = AX (k-11 k-1) +BU (k).......(3)式(3)中，X(k|k-1)是利用上一状态预测的结果，X(k-l|k-l)是上一状态最优的结果，U(k)为现在状态的控制量，如果没有控制量，它可以为0。P (k I k-1) = AP (k-11 k-1) AT+Q.......(4)式(4)中，P(k I k-1)是 X(k I k-1)对应的协方差，P (k-11 k-1)是 X(k-11 k-1)对应的协方差。 X (k I k) = X (k I k-1) +Kg (k) (Z (k) -HX (k I k-1)).......(5)式(5)中，Kg为卡尔曼增益。Kg (k) = P (k I k-1) Ht/ (HP (k I k-1) HT+R).......(6)P (k I k) = (l-Kg(k))H)P(k|k-l).......(7)以上便是Kalman滤波器的几个基本方程，包括状态方程、观测方程和递归滤波方
程C
利用上述方程，建立有意扫描运动分量的完整状态空间模型为
权利要求
1.基于特征匹配的电子稳像方法，其特征是用于监控视频的前期处理，获取稳定图像供后期应用，包括以下步骤1)运动估计首先提取监控视频参考帧中的特征点，所述参考帧为当前帧的前一帧，特征点为图像中的角点，接着在当前帧中进行搜索，提取当前帧中与前一帧的特征点对应的点，根据找到的特征点对，估算出两帧间的运动参数，即得到全局运动矢量和局部运动矢量；2)运动滤波采用Kalman滤波器对全局运动矢量行滤波，利用统计学方法构造状态空间模型，描述有意和无意运动参数的变化，然后利用Kalman递归方程对步骤1)所得全局运动矢量进行滤波，得出有意运动参数，抖动分量为全局运动参数和对应的有意运动参数之差，所述差即为需要补偿的抖动参数；3)运动补偿由步骤2)滤波得到的需要补偿的抖动参数，得到当前帧与前一帧的变换关系，对视频当前帧进行补偿，将当前帧上的点变换到补偿后的坐标位置；4)视频修复利用视频的时空冗余信息，采用快速推进FMM算法修复补偿后的图像中未定义区域的局部运动矢量，由此得到未定义区域的完整局部运动场，再利用局部运动矢量在参考帧中搜索，得到未定义区域所有像素点的亮度信息并进行填充，由此完成未定义区域的重建；通过以上步骤对视频序列逐帧处理，获得稳定的稳像视频输出，步骤4)完成稳像视频边界未定义区域的重建，避免视频图像四周出现黑色的空洞。
2.根据权利要求1所述的基于特征匹配的电子稳像方法，其特征是步骤1)的运动估计采用分散式Harris角点提取算法，具体为1)在视频图像的窗口中构造一个屏蔽窗口
3.根据权利要求2所述的基于特征匹配的电子稳像方法，其特征是采用随机抽样一致 RANSAC算法对匹配后的特征点对进行精匹配。
4.根据权利要求1所述的基于特征匹配的电子稳像方法，其特征是步骤2)中Kalman 递归方程包括状态方程、观测方程和更新方程，建立主动运动的完整状态空间模型，滤波时首先初始化Kalman滤波器的各参数，然后用Kalman滤波器的递归方程对运动状态进行有意扫描分量的预测，确定需要补偿的抖动参数。
5.根据权利要求4所述的基于特征匹配的电子稳像方法，其特征是初始化Kalman滤波器时，根据抖动的剧烈程度，设置系统参数，包括观测噪声R和过程噪声，以动态调节滤波器对运动的跟踪能力；定义Kalman滤波器的状态矢量为S(k) = [ θ，dx, dvx, dy，dvy]，各分量分别为旋转角θ、水平运动分量dx、水平运动速率dvx、垂直运动分量dy和垂直运动速率dvy ；观测矢量定义为Z(k) = [ θ，dx, dy]，滤波前分别对状态矢量和观测矢量进行初始化。
6.根据权利要求1所述的基于特征匹配的电子稳像方法，其特征是步骤幻的运动补偿采用仿射模型，根据步骤幻的需要补偿的抖动参数，得到当前帧相对于前一帧的变换关系。
7.根据权利要求1-6任一项所述的基于特征匹配的电子稳像方法，其特征是步骤4)的稳像视频修复采用基于运动修复的视频修复算法，对步骤幻所得的稳像视频进行原分辨率修复利用时空冗余信息对当前帧受损区域进行修复，先在时间轴上与当前帧相邻的帧中搜索，利用邻帧中同一区域的局部运动矢量估计当前帧相应未定义区域的局部运动，再通过局部运动场引导像素亮度值的修复；对通过时间轴搜索无法修复的点采用帧内搜索， 用静态图像修复的方法进行修复，完成所有未定义区域的重建。
全文摘要
基于特征匹配的电子稳像方法，包括以下步骤1)运动估计，估算出当前帧与前一帧间的运动参数，得到全局运动矢量和局部运动矢量；2)运动滤波，采用Kalman滤波器对全局运动参数进行滤波，得出有意扫描矢量，到需要补偿的抖动参数；3)运动补偿，利用滤波得到的补偿参数对视频序列进行逐帧补偿；4)视频修复，利用视频的时空冗余信息，采用运动修复的方法对局部运动矢量进行修复，并以此引导像素点的填充。为解决运动载体抖动对视频拍摄效果的影响，本发明提出一种基于特征匹配的电子稳像方法，具有准确性高、抗噪性好、跟踪性能强、边界一致性好等优点。
文档编号H04N5/14GK102231792SQ20111017888
公开日2011年11月2日 申请日期2011年6月29日 优先权日2011年6月29日
发明者孙圣武, 时永方, 李勃, 江登表, 郁建桥, 陈启美, 陈抒瑢 申请人:南京大学