一种基于绕环自适应相机路径优化的视频防抖方法
【专利说明】一种基于绕环自适应相机路径优化的视频防抖方法
【背景技术】
[0001] 本发明涉及移动端设备拍摄的图像处理方法，具体的说，是涉及一种移动端拍摄 的视频的防抖方法。
技术领域
[0002] 移动端拍摄的视频，因为拍摄过程中摄像头在晃动，不规律的晃动会照成拍摄出 的画面晃动，从而降低视频的观看质量，因此，为了提供移动端拍摄视频的观看质量，视频 防抖处理显得尤为重要。
[0003] 视频防抖致力于降低视频拍摄过程中的抖动，产生出稳定的视频，从而提升视频 的观看质量。现有的视频防抖方法大致可以分为三个模块，运动估计模块，路径优化模块和 视频渲染模块。其中，运动估计模块致力于利用各种各样的形式来表征相机的原始运动，常 用的方法包括块匹配法，特征点法，三维重建法；路径优化模块致力于将相机从原始抖动运 动变换出稳定的相机运动，常用的方法有低通滤波器，运动矢量平滑；视频渲染模块将原始 视频中的每一帧从抖动的原始运动路径变换到稳定的相机路径上，从而产生出稳定的视频 效果，常用的方法有基于单个单应性变换方法和基于块单应性变换方法。
[0004] 然而，移动端拍摄出的视频内容多种多样，视频的运动形式亦多种多样：内容可涵 盖白天、夜晚、室内、室外、开阔空旷、人海嘈杂；视频运动形式涵盖普通走路拍摄、机载快速 运动拍摄、户外运动拍摄、视频焦距拉长缩短、视频快速转场。视频拍摄内容与视频运动形 式的多样性，对视频防抖中的三个模块均造成不同程度的影响，导致稳定的视频产生失真 现象（视频帧出现扭曲或视频内容留存度过小）。
[0005] 具体来讲，在运动估计模块，块匹配法和特征点法在场景过于单一或过于复杂的 情况下，精度会受到一定的影响，不准确的运动估计会对之后的两个模块带来影响，从而导 致稳定效果下降，严重的情况还会引起视频帧的扭曲失真。三维重建的方法因为依赖对场 景的三维重建，消耗大量的计算资源和时间，且容易出错产生错误的重建结果，因此缺乏实 用性。在路径优化模块中，低通滤波和运动矢量平滑可以有效去除相机抖动中的高频分量， 却很难有效去除掉相机运动中的一些低频率运动分量，其中高频分量对应着相机的颤抖， 低频分量对应着相机平滑的晃动。如若强行去除相机的晃动，则会对渲染模块带来困扰。在 快速运动的场景中，去除相机的晃动会使得最终渲染出的结果视频内容留存度过小，影响 观看效果。
【发明内容】
[0006] 为了克服上述问题，本发明提供一种基于绕环自适应相机路径优化的视频防抖方 法。
[0007] 为了实现上述目的，本发明采用的技术方案如下：
[0008] -种基于绕环自适应相机路径优化的视频防抖方法，包括以下步骤：
[0009] 步骤1.通过相邻帧特征点匹配和相邻帧块搜索共同作用，估算出相邻帧间基于 单应性变换的帧间运动模型；
[0010] 步骤2.对抖动帧的帧间运动模型进行高斯平滑，得到稳定帧的帧间运动模型；
[0011] 步骤3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测；
[0012] 步骤4?相机路径绕环；
[0013] 步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量；
[0014] 步骤6.通过图像变换渲染出最终稳定视频。
[0015] 进一步的，所述步骤1的具体方式如下：
[0016] (11)对帧间进行运动估计，采用单应性变换作为帧间运动模型，以描述相邻帧间 的运动
[0017]
⑴
[0018] 式中，（x'，y'，z')表示变换后的坐标，对应着当前帧的前一帧中图像点的位 置，（X，y)表示变换前的坐标，对应着当前帧图形点的位置，单应性变换矩阵中a,b,d,e表 征图像的旋转，缩放，g，h表征图形的透视变换，c，f表征图像的平移变换；
[0019] (12)通过公式A= {(x'，y' )_(x，y)}，估算出前一帧和后一帧中对应点对位 置，进而估算出帧间运动模型中的各个参数的值。
[0020] 进一步的，所述步骤（12)的具体方式如下：
[0021] (121)通过图像的特征点匹配，获取初始的点对集合，基于单应性变换模型并利 用RANSAC，剔除掉匹配错误的点对，最后形成的第一批点对集合记为A1 ;
[0022] (122)对图像分块，将图像分成大小均等的16x16的区域块，同时将视频中的每 一帧转换为灰度图像，算出每一块内灰度图像的方差值，并留下方差值大于指定阀值的区 块；
[0023] (123)块匹配：对留下的每一个区块，在前一帧灰度图像内容中搜索对应的最匹 配的区块，通过块匹配，收集到了第二批点对集合，记录为A2 ;
[0024] (124)将两组点对集合组合成一对点对集，记为A=A1UA2 ;
[0025] (125)通过最小二乘法，将两组点对写入如下公式：
[0026]
[0027] 利用最小二乘法求解获得帧间运动模型中的各个参数。
[0028] 进一步的，所述步骤2的具体方式如下：从第0时刻开始，一直到视频结束，每两帧 之间算出一个Ft，将两两帧之间的^依次级联起来获得抖动帧帧间运动模型的串集合：
[0029] F= {F0,FA，…FA. ?FtiFj
[0030] 对集合中的每一个元素作平滑操作，获得稳定帧帧间运动模型的集合：
[0031] H= {H。，11。$，…H。^. ?Ht 。
[0032] 进一步的，所述步骤4中相机路径绕环通过绕环公式：
[0033]
(S)
[0034] 进行多次平滑操作，直到消除视频中存在的低频分量为止；其中，用式（3)算出的 Ht，替换原始路径中的^即可实施下一次的平滑操作，8,表示每一个时刻t帧由抖动变为 稳定的变换矩阵，其亦为一个单应性变换运动模型。其中，Ht指每两帧之间F平滑操作后得 到的稳定帧的帧间运动模型。
[0035] 进一步的，所述步骤3中对变换矩阵Bt作分析，获得视频帧扭曲度的客观反映值：
[0036] 取变换矩阵匕左上角四个元素，组成一个小的4x4矩g
对该矩阵作奇异 值分解，获彳I
其主对角线上的比值k= \17^2，用于表征图形是否扭 曲，该值越接近1，说明扭曲越小，反之，则扭曲越大；
[0037] 对变换矩阵Bt作分析，获得帧内容的留存度：通过对帧内图像的4个角点进行单 应性变换，获得4个新角点，然后根据4个新角点可以获得一个新的四边形，在新的四边形 中寻找最大内切矩形，计算出最大内切矩形占原始矩形的面积比例，记为。原始的4个角 点为图片的4个顶点，如图3中左边部分所示，为矩形的4个角，每一个角点可写成[x，y，l] 的形式，然后利用匕依据公式（1)进行变换，
[0038] 进一步的，在每次平滑操作的过程中，观察k与Ji的值，当k〈〇. 9,或者k>1. 1， 或者Jr〈〇. 8的时候，即将该帧对应的变换矩阵Bt减半，减半方式为Bt=Bt+I，其中I表示 单位矩阵。
[0039] 需要说明的是，本申请文件中的"相机"是指具有拍摄功能的设备，如：智能手机、 平板电脑等，而不是特指传统的相机。
[0040] 本发明与现有技术相比，具有以下优点：
[0041] 本发明通过对传统的运动估计进行优化，并通过绕环的方式，建立了一套可自适 应视频扭曲度与视频内容留存度的路径优化方法，在减小视频帧扭曲并克服视频内容留存 度过小问题的同时，有效抑制视频中的低频分量，从而提升视频的稳定度，能很好地应对场 景变换与相机运动变换。
【附图说明】
[0042] 图1为本发明-实施例中初始的相机运动位置和稳定后相机的运动位置之间的关 系图。
[0043] 图2为本发明-实施例中低通高斯滤波示意图。
[0044] 图3为本发明-实施例中帧内容的留存度计算示意图。
[0045] 图4为本发明的流程示意图。
【具体实施方式】
[0046] 实施例
[0047] 如图4所示，本实施例提供了一种基于绕环自适应相机路径优化的视频防抖方 法，该方法由三个部分组成：（1)运动估计模块；（2)路径优化模块；(3)视频渲染模块。
[0048] 运动估计模块利用单应性变换（Homography)作为基础，并对估计单应性变换的 过程进行了改进，有效的提高了运动估计的准确性。通过运动估计得到帧间运动模型，具体 如下：
[0049] 1.运动估计，对帧间进行运动估计，采用单应性变换作为帧间运动模型，以描述相 邻帧间的运动。可描述的运动类型包括：旋转，平移，缩放和透视变换，帧间运动模型如下：
[0050]
[0051] 其中，（x'，y'，z')表示变换后的坐标，对应着当前帧的前一帧中图像点的位 置。（x，y)表示变换前的坐标，对应着当前帧图形点的位置。具体来讲，变换后的真实X-Y坐 标为：(^7,^7)。其中，单应性变换矩阵中待确定的参数为a,b,c,d,e,f,g,h.其中，a,b,d,e 表征图像的旋转，缩放；g，h表征图形的透视变换；c，f表征图像的平移变换；
[0052] 2.通过估算出前一帧和后一帧中对应点对位置，A= {(x'，y' )_(x，y)}，进而 估算出单应性变换中的各个参数的值，获取点对的位置包括以下步骤：
[0053] (a)通过图像的特征点匹配，获取初始的点对集合，基于单应性变换模型并利用 RANSAC，剔除掉匹配错误的点对，最后形成的第一批点对集合记为A1 ;
[0054] (b)对图像作分块，将图像分成大小均等的16x16的区域块，同时将视频中的每一 帧转换为灰度图像，算出每一块内，灰度图像的方差值，留下方差值大于指定阀值的区块。
[0055] (c)对留下的每一个区块，在前一帧灰度图像内容中搜索对应的最匹配的区块。 最匹配的条件利用MAD(MeanAbsoluteDifferen