专利名称：基于稀疏度和保真度约束的视频稳像方法
技术领域：
本发明涉及的是一种可广泛用于手机、数码相机、摄像机等消费类电子产品，同时也可用于无人机、舰船等所装备的摄像和监控系统中的视频稳像方法，具体是一种基于稀疏度和保真度约束的视频稳像方法。
背景技术：
视频稳像是指利用相关设备或算法，使得视频设备采集的原始视频序列较为稳定或者对原始序列进行稳定处理，去除其中的抖动。视频稳像的目的，一方面是为了改善用户的观感舒适度，另一个方面是作为其他视频处理任务的预处理步骤，如目标跟踪、目标检测和视频压缩等，可以提高这些处理任务的精度与鲁棒性。无论从哪个方面来看，视频稳像都
有重要意义。现有的大多数视频稳像方法分为三个步骤:全局运动估计、运动补偿和稳定运动图像生成。每个步骤有不同的实现方法。全局运动估计的方法主要有光流法、特征点对应法和块匹配法等。光流法不需要预先获取图像背景、不受复杂环境的影响，但计算时可靠性评价因子选择困难、对光流计算误差敏感；特征点对应法能够通过迭代法估计出较大的运动，但运动参数的估计精度在很大程度上依赖于特征点提取和匹配的精度；块匹配法简单快速、易于用硬件实现，但图像匹配的鲁棒性不是很好。运动补偿分为参数滤波法和轨迹平滑法。参数滤波法是指把运动模型的参数看成主观运动与加性抖动的叠加，用滤波的方法去除或抑制加性噪声，比较常见的低通滤波有Kalman滤波。轨迹平滑则是将摄像机的运动轨迹看成带噪声的运动轨迹，采用相应的平滑方法来去除高频噪声。图像生成则涉及到图形学相关知识，如融合、拼接、图像修补等，最简单的处理方式是直接对原帧进行变换，得到输出帧。在目前众多视频稳像算法中，效果较好的是Grundmann M., Kwatra Vand EssaI 等人 2011 年在 IEEE Conference on Computer Vision and PatternRecognition (电子与电气工程师协会计算机视觉与模式识别会议)发表的“Auto-directedvideostabilization with robust 11 optimal camera paths”(基于 LI 范数最优路径的视频稳像)一文中提出的方法，该方法通过基于电影摄影原理的LI范数约束来优化摄像机的运动轨迹，把最优摄像机路径分为三个组成部分:代表静态摄像机的路径，代表匀速运动摄像机的路径已经在这两者间平滑过渡的路径，从而到达消除抖动的目的。然而，该方法会丢失原始视频帧的不少信息，尤其是边缘信息，失真度较大；并且随着视频长度的增加，处理效率也会下降。K.Y.Lee, Y.Y.Chuang, B.Y.Chen and M.0uhyoung 等人 2009 年在 Proc.1EEE Int.Conf.Computer Vision (电子与电气工程师协会计算机视觉会议)发表的“Videostabilization using robust feature trajectories”(基于稳健特征轨迹的视频稳像)一文中提出用L2范数优化的方法平滑特征轨迹，以恢复真实的主观运动，从而得到稳定的视频。该方法在稳像的同时考虑了失真度的控制，但经验参数过多，不适于实际应用。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于稀疏度和保真度约束的视频稳像方法，它在减小视频抖动的同时，能够根据用户需要减小视频内容失真的程度，并对长视频的稳像有较好的效果。为实现上述目的，本发明提供的一种基于稀疏度和保真度约束的视频稳像方法，包括如下步骤:第一步，把视频帧分段，段与段之间有重合的帧；第二步，选取当前段相邻帧之间的特征点对；第三步，对第二步得到的特征点对进行全局局外点去除；第四步，用第三步得到的特征点对拟合二维线性运动模型；第五步，用第四步得到的线性运动模型估计原始摄像机路径；第六步，确定平滑路径的目标函数和限制原始摄像机路径变化的约束条件；第七步，对第六步得到的最优化问题求解，得到截取窗口变换矩阵；第八步，用第四步得到的线性运动模型和第七步得到的变换矩阵去除视频中的非线性效应，得到新的变换矩阵；第九步，用第八步得到的截取窗口变换矩阵对原始帧进行变换。所述第二步特征点对的获取中，每隔10帧重新选点进行跟踪，并且特征点的间距要大于最小间距。所述第六步平滑路径的目标函数由两部分组成，一是代表路径平滑度的LI范数项，一是代表视频内容保真度的L2范数项，两者由一个调节参数来控制稳像的程度和保真度的大小。所述第八步中由自由度较高的单应变换代替部分相似变换，以更准确的刻画非线性运动。本发明首先将视频分为有重叠部分的各个视频段，对每段视频依次进行稳像处理，以提高长视频的处理效率。在特征点提取与跟踪时，采取每隔10帧重新选点以及控制特征点间距的方法来减小估计全局运动时的误差。然后，本发明结合了 LI范数的稀疏性和L2范数的最小二乘特性，在求解最优摄像机路径的目标函数中同时包含LI范数项和L2范数项，其中LI范数项包括所求最优路径的一阶、二阶和三阶导数，分别对应电影摄影中摄像机的静止、匀速以及匀加速的情况，以达到消除抖动的目的；而L2范数项则是最优路径与原始摄像机路径的差，目的是使得所求最优路径尽量接近于原始路径，提高视频的保真度。同时，在这两项中加入一个调节光滑度与保真度的参数，以供不同用户根据需要自行设定。该方法不仅能够达到较好的稳像效果，还能尽可能地保留原始视频的信息。另外，本发明采用模型替换的方式尽量减小视频帧间的非线性运动，在计算原始路径的时候采用相似变换以保证刚性变换，此后用更高自由度的单应变换替换非关键帧，从而得到更好的稳像效果。
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
图1为本发明提出的一种基于稀疏度和保真度约束的视频稳像方法的总体流程图。图2为本发明中分段处理视频的示意图。图3为本发明中特征点提取与跟踪的流程图。图4为本发明中一实施例的原始摄像机路径与最优摄像机路径图，其中图(a)为水平方向摄像机路径，图(b)为竖直方向摄像机路径。图5为本发明中的截取窗口约束示意图。图6为本发明中一实施例的参数λ不同取值下所得最优摄像机路径结果比较图，其中图(a)为λ=0.1时的结果，图(b)为λ =0.5时的结果，图(C)为λ =1.0时的结果，图(d)为λ =2.0时的结果。图7为本发明中非线性效应抑制示意图。图8为本发明中视频稳像效果图与对比图，其中图8(a)为原始视频序列，图8 (b)为稳像后序列，图8(c)为Grundmann等人论文中方法的稳像后序列。
具体实施例方式下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。如图1所示，本实施例提供一种基于稀疏度和保真度约束的视频稳像方法，具体实施细节如下，以下实施例没有详细说明的部分参照发明内容进行:图2为分段处理视频的示意图。长视频可以被分为各个小段进行处理，以提高稳像的效率，相邻的两段视频必须有重叠的部分。把每一段视频长度设为N，重叠部分的长度为K，则当稳像开始时，先处理前N段视频，求出最优路径if，此时只对前N-K帧进行帧变换。接着处理第二段视频时，同样求出其最优路径/f〗。对于第二段视频前K帧，它们的最优路径通过前后两段视频所求最优路径取加权平均得到，即:Pf= ViP^ + (I — ,) Zf)(I)其中t=N_K+l，…，N，而u i，i = I, 2，…，K则是权重，它们的数值为:u fi/K。接着对第二段视频的前N-K帧进行帧变换。依次类推知道整个视频处理完即可。图3为特征点提取与跟踪的流程图。在对视频帧进行特征点提取与跟踪时，通常是在第一帧上提取一定数量的特征点，然后在后面的帧中对这些特征点进行跟踪。若视频中存在运动着的前景物体，按照上述处理会产生一定的问题:当运动的前景物体扫过背景时，背景特征点可能会变为前景特征点，因而导致跟踪错误，从而产生误差。为了解决该问题，在选取特征点时，让特征点之间的间距尽量大一点，在整个图像上分布较均匀。这样某一块区域特征点的数目不会很多，即使出现上述误跟踪情况，也只是很少一部分特征点的跟踪出现差错，对后面全局运动估计的影响不会很大。若要选取 的特征点数目定为100，备选设为200左右，则特征点最小间距可以为:
权利要求
1.一种基于稀疏度和保真度约束的视频稳像方法，其特征在于所述方法包括如下步骤: 第一步，把视频帧分段，段与段之间有重合的帧； 第二步，选取当前段相邻帧之间的特征点对； 第三步，对第二步得到的特征点对进行全局局外点去除； 第四步，用第三步得到的特征点对拟合二维线性运动模型； 第五步，用第四步得到的线性运动模型估计原始摄像机路径； 第六步，确定平滑路径的目标函数和限制原始摄像机路径变化的约束条件； 第七步，对第六步得到的最优化问题求解，得到截取窗口变换矩阵； 第八步，用第四步得到的线性运动模型和第七步得到的变换矩阵去除视频中的非线性效应，得到新的变换矩阵； 第九步，用第八步得到的截取窗口变换矩阵对原始帧进行变换。
2.根据权利要求1所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第二步特征点对的获取中，每隔10帧重新选点进行跟踪，并且特征点的间距要大于最小间距，最小间距由以下公式得到
3.根据权利要求1所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第四步二维线性运动模型包括相似变换模型和单应变换模型。
4.根据权利要求1或3所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第五步原始摄像机路径的估计由以下公式得到:Ct=F1F2-Ft 其中，Ct为第t帧的原始摄像机路径矩阵，Ft为第t帧到第t-Ι的二维相似运动模型。
5.根据权利要求1所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第六步平滑路径的目标函数由两部分组成，一是代表路径平滑度的LI范数项，一是代表视频内容保真度的L2范数项，表示为:
6.根据权利要求1或5所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第七步求解时，相邻片段重合的帧所对应的最优路径由前后两个片段求得的最优路径取加权平均得到，公式如下: 其中，if和分别表示前一段和当前段重合帧的最优路径，而u 1表示权重，计算方法为:
7.根据权利要求1或3所述的基于稀疏度和保真度约束的视频稳像方法，其特征在于，所述第八步去除视频中的非线性效应包括以下步骤: 步骤1:每隔k=30帧设置一关键帧，关键帧的Pt，Bt不变，以保证刚性变换，两个关键帧之间的中间帧做以下处理: 步骤2:把相邻帧的最优路径误差6=力记为残余项Tt，并分解成以下形式: P-1Pt=Tt=B^StBl 步骤3:把相似变换矩阵Ft换成更多参数的单应变换矩阵Ht，即有从而有 步骤4:从两个方向进行替换，根据步骤3最终得到的公式，从当前帧的前一关键帧计算出一个Bt，记为B/ ;从当前帧的后一关键帧计算出一个Bt，记为对；` 步骤5:将 /和贫的相应参数进行线性混合，得到新的Bt。
全文摘要
本发明公开一种基于稀疏度和保真度约束的视频稳像方法，包括第一步，把视频帧分段，段与段之间有一定数目重合的帧；第二步，选取当前段相邻帧之间的特征点对；第三步，对特征点对进行全局局外点去除；第四步，用得到的特征点对拟合二维线性运动模型；第五步，估计原始摄像机路径；第六步，确定平滑路径的目标函数和限制原始摄像机路径变化的约束条件；第七步，根据线性规划的求解得到截取窗口变换矩阵；第八步，去除视频中的非线性效应；第九步，用截取窗口变换矩阵对原始帧进行变换。本发明在减小视频抖动的同时，能够根据用户需要减小视频内容失真的程度，并对长视频的稳像有较好的效果。
文档编号H04N7/50GK103139568SQ20131004619
公开日2013年6月5日 申请日期2013年2月5日 优先权日2013年2月5日
发明者宋利, 瞿辉 申请人:上海交通大学