ce)作为准则，即平均绝对差。原区块中 心点记为（x，y)，搜索半径记为r= 16，即搜索区域为原区块位置周围区域：(x-r，y-r)~ (X+r，y+r)。在搜索过程中发现的最优位置，对应最小的MAD值，记录为（x'，y')。这样 通过块匹配，收集到了第二批点对集合，记录为A2。
[0056] (d)将两组点对集合组合成一对点对集，记为A=A1 U A2
[0057] (e)通过最小二乘法，将两组点对写入如下公式：
[0058]
[0059] 其中，A中每一组点对，可以写出上述两行等式，将A中所有点对写成公式即可获 得一个超定的线性方程组。利用最小二乘法求解可获得帧间运动单应性变换参数。获取的 帧间单应性变换运动模型，为当前帧往前一帧上运算所获得。若当前帧时刻为t，前一帧时 刻为t-1，记单应性变换运动模型为Ft。
[0060] 从第0时刻开始，一直到视频结束，每两帧之间都可以算出一个Ft，将两两帧之间 的Ft依次级联起来可以获得一个串集合：F= {F。，FR，…FR. .Ft凡}。
[0061] 路径优化模块是基于绕环自适应的相机路径优化方法，其中，绕环是指在路径优 化中，初始抖动路径和优化路径之间，相邻帧间存在着一个级联式的环，通过绕环的方式可 迭代式的优化相机路径，从而有效的去除相机路径中留存的低频分量；自适应是指，在相机 路径绕环优化的过程中，自动检测出不能进行绕环的位置，从而避免因过渡优化带来的视 频内容留存度过小的问题。通过在绕环的过程中，将代表帧间运动的单应性变换设置为基 础矩阵（IdentityMatrix),绕环优化过程中亦可以将运动估计不准确的部分，还原为原始 视频帧，即将不能做路径优化的部分不做路径优化，部分结果变为原始的视频帧，或者接近 原始视频帧的位置，从而有效减小结果中的视频帧扭曲。自适应的绕环路径优化可在减小 视频帧扭曲并克服视频内容留存度过小问题的同时，有效抑制视频中的低频分量，从而提 升视频的稳定度。
[0062] 本实施例中，路径优化的具体内容如下：
[0063] 对串集合：F= {F。，Ffi，…Ffi. ?Ft丨]中的每一个元素作平滑操作，可以获得一 个新的集合：H= {H。，，…H。!^. .HtiHj。如图1所示，展示了初始的相机运动位置和稳 定后相机的运动位置之间的关系图，第一排为原始抖动帧，帧间的运动由单应性变换模型 Ft表示，第二排表示优化中或优化后的稳定帧，帧间的运动由单应性变换模型Ht表示。每 一个时刻t，帧由抖动位置（第一排）变换到稳定位置（第二排）的变换矩阵表示为Bt，该 变换矩阵匕也是一个单应性变换。
[0064] 在平滑的过程中，对帧间运动模型矩阵中的相应位置作低通高斯滤波。具体为：矩 阵中的每一个位置作低通滤波，如图2所示，每一个九宫格表示一个单应性变换矩阵Ft，将 每一个对应格子里的值，连成一个串，组成一个信号，如左上角信号可表征为…at，除 右下角为1外，共可获得8个有效信号。对8个信号，分别独立的作平滑操作可获得平滑信 号，平滑核心采用普通的高斯核心，记为G，将这一平滑过程记录为：F?G，平滑之后可以 获得每一帧对应的变换矩阵Bt，进而算出稳定位置的变换Ht。
[0065] -次平滑操可以有效的去除掉视频中的高频分量，但却很难有效的去除掉视频中 的低频分量，因此需要多次滤波。这里涉及到一个绕环操作，即将Ht通过F,与BJPBti，表 示出来。具体来说，绕环公式为
，用绕环公式 算出的H，替换原始路径中的F，就可以实施下一次的平滑操作，直到消除视频中存在的低 频分量为止。
[0066] 在绕环计算中，还应当对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测， 具体如下：
[0067] 1、对变换矩阵Bt作分析，可以获得视频帧扭曲量的客观反映值。变换矩阵Bt亦为 一个单应性变换，取其左上角四个元素，组成一个小的4x4矩_
，对该矩阵作奇异值 分解（singularvaluedecompositionSVD)分解，获得
其主对角线上的 比值k= \17^2，可用来表征图形是否扭曲，该值接近1，说明扭曲越小，反之则扭曲越大。
[0068]2、对变换矩阵Bt作分析，还可以获得该帧内容的留存度。如图3所示，通过对4个 角点进行单应性变换，可以获得一个新的四边形，在新四边形中寻找最大内切矩形，虚线表 示。可计算出最大内切矩形占原始矩形的面积比例，记为31。
[0069]在每次平滑的过程中，观察k与31的值，当k〈〇. 9或者k>1. 1或者31〈〇. 8的 时候，即将该帧对应的转换矩阵Bt减半，减半方式为Bt=Bt+I，其中I表示单位矩阵，数值 表示停止条件。直到所有帧的匕对应的k与均满足第14条的条件，结束运算。
[0070]运用减半的Bt将视频中的输入帧变换到稳定的位置上，采用的变换方式为基于单 应性变换的图像坐标变换（Imagewarping)。完成路径优化后，最后通过图像变换植染出最 终稳定视频。
[0071]按照上述实施例，便可很好地实现本发明。值得说明的是，在上述技术方案的前提 下，为解决同样的技术问题，即使在本发明上做出一些无实质性的改动或润色，所采用的技 术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。
【主权项】
1. 一种基于绕环自适应相机路径优化的视频防抖方法，其特征在于，包括以下步骤： 步骤1.通过相邻帧特征点匹配和相邻帧块搜索共同作用，估算出相邻帧间基于单应 性变换的帧间运动模型； 步骤2.对抖动帧的帧间运动模型进行高斯平滑，得到稳定帧的帧间运动模型的集合； 步骤3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测； 步骤4.相机路径绕环； 步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量； 步骤6.通过图像变换渲染出最终稳定视频。2. 根据权利要求1所述的一种基于绕环自适应相机路径优化的视频防抖方法，其特征 在于，所述步骤1的具体方式如下： (11) 对帧间进行运动估计，采用单应性变换作为帧间运动模型，以描述相邻帧间的运 动式中，（X'，y'，z')表示变换后的坐标，对应着当前帧的前一帧中图像点的位置， (X，y)表示变换前的坐标，对应着当前帧图形点的位置，单应性变换矩阵中a,b,d,e表征图动模型； (12) 通过公式A={(x'，y' )_(x，y)}，估算出前一帧和后一帧中对应点对位置，进 而估算出帧间运动模型中的各个参数的值。3. 根据权利要求2所述的一种基于绕环自适应相机路径优化的视频防抖方法，其特征 在于，所述步骤（12)的具体方式如下： (121) 通过图像的特征点匹配，获取初始的点对集合，基于单应性变换模型并利用 RANSAC，剔除掉匹配错误的点对，最后形成的第一批点对集合记为Al; (122) 对图像分块，将图像分成大小均等的16x16的区域块，同时将视频中的每一帧转 换为灰度图像，算出每一块内灰度图像的方差值，并留下方差值大于指定阀值的区块； (123) 块匹配：对留下的每一个区块，在前一帧灰度图像内容中搜索对应的最匹配的 区块，通过块匹配，收集到了第二批点对集合，记录为A2 ; (124) 将两组点对集合组合成一对点对集，记为A=AlUA2 ; (125) 通过最小二乘法，将两组点对写入如下公式：利用最小二乘法求解获得帧间运动模型中的各个参数。4. 根据权利要求3所述的一种基于绕环自适应相机路径优化的视频防抖方法，其特征 在于，所述步骤2的具体方式如下：从第O时刻开始，一直到视频结束，每两帧之间算出一个 Ft，将两两帧之间的Ft依次级联起来获得抖动帧帧间运动模型的串集合： F= (F01F0F1，…F0F1. .FtiFj 对集合中的每一个元素作平滑操作，获得稳定帧帧间运动模型的集合： H= {H。，H0H1，…H0H1--HtlHtK5. 根据权利要求4所述的一种基于绕环自适应相机路径优化的视频防抖方法，其特征 在于，所述步骤4中相机路径绕环通过绕环公式：进行多次平滑操作，直到消除视频中存在的低频分量为止；其中，用式（3)算出的Ht， 替换原始路径中的FjP可实施下一次的平滑操作，B,表示每一个时刻t帧由抖动变为稳定 的变换矩阵，其亦为一个单应性变换运动模型。6. 根据权利要求5所述的一种基于绕环自适应相机路径优化的视频防抖方法，其特征 在于，所述步骤3中对变换矩阵Bt作分析，获得视频帧扭曲度的客观反映值：值越接近1，说明扭曲越小，反之，则扭曲越大； 对变换矩阵Bt作分析，获得帧内容的留存度：通过对帧内图像的4个角点进行单应性 变换，获得4个新角点，然后根据4个新角点可以获得一个新的四边形，在新的四边形中寻 找最大内切矩形，计算出最大内切矩形占原始矩形的面积比例，记为。7. 根据权利要求6所述的一种基于绕环自适应相机路径优化的视频防抖方法，其特征 在于，在每次平滑操作的过程中，观察K与JT的值，当K〈0.9,或者K>1.1，或者JT〈0.8 的时候，即将该帧对应的变换矩阵Bt减半，减半方式为Bt=Bt+I，其中I表示单位矩阵。
【专利摘要】本发明公开了一种基于绕环自适应相机路径优化的视频防抖方法，解决了现有视频防抖技术受环境限制大，效果欠佳等问题。该视频防抖方法包括以下步骤：1.运动估计；2.平滑操作；3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测；4.相机路径绕环；步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量；步骤6.通过图像变换渲染出最终稳定视频。本发明通过对传统的运动估计进行优化，并通过绕环的方式，建立了一套可自适应视频扭曲度与视频内容留存度的路径优化方法，在减小视频帧扭曲并克服视频内容留存度过小问题的同时，有效抑制视频中的低频分量，从而提升视频的稳定度，能很好地应对场景变换与相机运动变换。
【IPC分类】H04N5/14, H04N5/21
【公开号】CN105049678
【申请号】CN201510504730
【发明人】陶科锐
【申请人】成都鹰眼视觉科技有限公司
【公开日】2015年11月11日
【申请日】2015年8月17日