一种基于网格吸点非参数化运动模型的视频防抖方法
【专利说明】一种基于网格吸点非参数化运动模型的视频防抖方法
【背景技术】
[0001] 本发明涉及移动端设备拍摄的图像处理方法，具体的说，是涉及一种移动端拍摄 的视频的防抖方法。
技术领域
[0002] 移动端拍摄的视频，因为拍摄过程中摄像头在晃动，不规律的晃动会照成拍摄出 的画面晃动，从而降低视频的观看质量，因此，为了提供移动端拍摄视频的观看质量，视频 防抖处理显得尤为重要。
[0003] 视频防抖致力于降低视频拍摄过程中的抖动，产生出稳定的视频，从而提升视频 的观看质量。现有的方法在运动估计中通常用到参数化的模型，如相似变换（similarity transform),仿射变换（affinetransform),或者是单应性变换（homographytransform) 来描述帧间运动。
[0004] 然而，相似变换只能描述帧间的各向同性缩放与平移，仿射变换能将各向同性缩 放升级为各向非同性缩放，单应性变换在仿射变换的基础上再引入了透视投影，虽然这些 变换的自由度在逐级提升，但当达到单应性变换以后则无法进一步提升。单应性变换能描 述空间中平面的变换，但是在真实的场景中，往往空间是非平面的，相机拍摄到的场景很难 满足所有物体都在同一个平面上。从原理上来讲，参数化的模型只能描述线性运动，不能 描述非线性运动，因而利用这些参数化的变换模型，很难准确描述帧间的运动，不能准确的 描述帧间运动，则会降低防抖的质量，如场景出现较大的景深变化，或用手机拍摄带来了 果冻效应，防抖后结果会有残留的抖动存在。果冻效应也称之为卷帘快门现象（Rolling Shutter)，该效应来自于一些使用低功耗CMOS原件作为相机原件的摄像头，其曝光时间 不是一个准确的时间，而是一小段时间内的积分，其采用逐行扫描进行曝光，直至所有的像 素点都被曝光，由此带来的结果是画面中的直线变为曲线，使用参数化的模型很难对扭曲 的画面进行描述。
【发明内容】
[0005] 为了克服上述问题，本发明提供一种基于网格吸点非参数化运动模型的视频防抖 方法。
[0006] 为了实现上述目的，本发明采用的技术方案如下：
[0007] -种基于网格吸点非参数化运动模型的视频防抖方法，包括以下步骤：
[0008] (1)对相邻特征点进行特征点的检测与匹配，获取特征点的运动向量：
[0009] V=a-b= (x_x'，y-y'）
[0010] 式中，a表示第t帧图像中的坐标点，b表示在第t-1帧图像中与a点对应的坐标 点，X表示坐标点a的行坐标，y表示坐标点a的列坐标，X'表示坐标点b的行坐标，y'表 示坐标点b的列坐标；
[0011] (2)将图像分隔成16x16的均匀网格，为每一帧图像套上网格；
[0012] (3)网格吸点：将特征点的运动向量转移成网格格点的运动向量；
[0013](4)对视频中每一帧执行步骤（1)~（3)，使得每一个网格的每一个格点上都有运 动向量的存在；
[0014] (5)在空间中，对对应位置的网格格点组成的运动向量集合作低通滤波，为每一帧 每一个网格格点产生一个更新向量；
[0015] (6)将每一帧的图像内容变换到扭曲网格的位置产生出最后的输出视频。
[0016] 进一步的，所述步骤（3)的具体方式如下：
[0017] (31)对每一个网格格点，搜索固定半径内，所有存在的特征点，并收集这些特征点 的运动向量；
[0018] (32)记录第i个网格格点为M1，其收集到的一组运动向量记录为IV1,V2，…V3}， 对这一组运动向量作中值滤波，产生出一个唯一运动向量，记录该唯一运动向量为V(Mi)= Median(IV1,V2，…V3})。
[0019] 进一步的，如果某个网格点周围没有特征向量，进而无法收集到运动向量，则该网 格点的运动向量数记为〇,其运动向量的值由周围格点的运动向量插值获得。
[0020] 进一步的，所述步骤（5)的具体方式如下：
[0021] (51)收集每个网格的每一个格点上的唯一运动向量，用集合表示，其中，i描 述第i个空间位置，t描述时间；一个网格有很多格点位置（如图2)，该位置用i索引。即 表示该格点处于网格空间内的什么地方；
[0022] (52)对每一个空间位置i收集到的时间区域上的向量集合作低通平滑滤波， 滤波后，对应每一个空间位置和每一个时间位置，产生一个运动更新向量将网格的格点带 到一个新的位置，产生扭曲的稳定网格。
[0023] 进一步的，所述步骤(6)中需将扭曲的稳定网格图像的像素内容依次插值，插值 的具体方式如下：根据一个格子的四个格点在变化前的规整位置到变化后的非规整位置提 供的变化映射，对格子内的图像像素值做二次线性插值。在步骤（5)结束后，每一帧每一个 网格格点产生一个运动更新向量，使用该向量，可将一个规整网格，变换成为一个扭曲网格 (扭曲网格对应该帧稳定后的位置），但此时扭曲网格中没有该帧图像内容，因此，本步骤 将该帧图像内容变换到其扭曲网格所表示的位置上，获得稳定的一帧。每一帧都如法炮制， 即获得最终稳定视频。
[0024] 本发明与现有技术相比，具有以下优点：
[0025] (1)本发明使用非参数化的网格模型描述帧间运动，其不局限于利用参数来表征 运动，更自由，更灵活，运动描述更准确，能更有效的描述大景深的场景，更能有效的描述帧 间的果冻效应带来的非线性变换。采用本发明，运动描述得更准确，带来防抖质量的提升。
[0026] (2)本发明使用网格模型，并提出了基于图像特征点检测、匹配，获取特征点运动 向量并将运动向量转移到网格格点的方法；同时，提出了基于网格格点运动向量的平滑方 法，有效的将网格模型运用于视频防抖之中，克服了因现有参数化模型不能有效描述帧间 运动的局限，从而提升了视频防抖的质量。
【附图说明】
[0027] 图1为本发明-实施例中初始的相机运动位置和稳定后相机的运动位置之间的关 系图。
[0028] 图2为本发明-实施例中低通高斯滤波示意图。
[0029]图3为本发明-实施例中帧内容的留存度计算示意图。
[0030] 图4为本发明的流程示意图。
【具体实施方式】
[0031] 实施例
[0032] 如图1所示，本实施例提供了一种基于网格吸点非参数化运动模型的视频防抖方 法，与现有采用参数来表征帧间运动不同的是，该防抖方法使用非参数化的网格模型描述 帧间运动，更自由、灵活，运动描述更准确，能更有效的描述大景深的场景，更能有效的描述 帧间的果冻效应带来的非线性变换。
[0033] 本实施例中，基于网格吸点非参数化运动模型的视频防抖方法主要包括以下步 骤：步骤1.对相邻帧进行特征点的检测和匹配，获取特征点的运动向量；步骤2.用均匀分 配的16x16的网格套住视频中的每一帧；步骤3.将特征点的运动向量转化到网格格点上； 步骤4.对视频中的每一帧重复步骤3的操作；步骤5.在空间中，对对应位置的网格格点 组成的运动向量集合作低通滤波，为每一帧每一个网格格点产生一个更新向量；步骤6.通 过更新向量产生一个扭曲的网格；步骤7.将每一帧的图像内容变换到扭曲网格的位置产 生出最后的输出视频。与现有技术相比，本方法是基于网格模型的非参数化方法，相比于传 统的参数化方法，能更准确的估计帧间运动，更能有效描述视频