一种基于运动矢量后处理的帧率提升方法
【技术领域】
[0001] 本发明涉及一种视频帧率提升的方法，属于视频图像处理领域。
【背景技术】
[0002] 帧率提升技术是一种利用原始视频帧序列中相邻帧的时间与空间相关性生成新 的视频帧并插入到原始视频帧中以提升原视频帧率的技术。视频帧率越高，单位时间内播 放的画面越多，则画面交替时的闪烁感越弱，再现的画面越平滑，也越细腻。高帧率可以得 到更流畅、更逼真的动画，每秒钟帧数越多，所显示的动作就会越流畅，画面的质感也就越 好。因此，寻找一种帧率提升技术是非常有必要的。
[0003] 帧率提升技术可以分为两类：一种是简单的利用帧重复或者帧平均获得插值帧， 但是这种方法不能提供令人满意的视觉体验，会使插值帧出现抖动、运动模糊现象或者鬼 影效果。另一种是基于运动信息的运动补偿插帧方法，是目前最常用的帧率提升技术，主要 包括运动估计、运动矢量后处理和运动补偿三个步骤。而这种方法的关键点就是运动估计 阶段所获得运动矢量的准确性，运动矢量越精确，越能够反映原视频的真实运动，从而获得 的内插帧越准确。然而目前常用的基于块的运动估计方法往往会产生遮挡、空洞和重叠问 题以及由于运动矢量的不精确导致内插帧存在块效应及运动模糊等问题。
【发明内容】
[0004] 为了获得更加精确的运动矢量，解决帧率提升中由于运动矢量不精确所导致的内 插帧块效应和运动模糊问题，本发明提出一种新的运动矢量后处理方案，对边缘块、四角块 和中间块分别采用不同的平滑方法。即：对边缘块和四角块先进行矢量外插，然后再对外插 后的边缘块进行基于距离的加权运动矢量平滑；对中间块先进行基于运动方向的运动矢量 候选，再对候选矢量采用基于最小绝对误差和（SAD, Sum of Absolute Differences)的选 取；为了解决运动估计中易出现的遮挡、空洞和重叠问题，本发明采用一种基于三向结合的 运动估计方法，即将前向、后向和双向运动估计相结合；为了使运动矢量更加精确，在前向、 后向运动估计后分别对前向矢量和后向矢量进行基于预测的自适应运动矢量修正，剔除矢 量中的异常值，然后再选取最佳方向矢量作为双向运动矢量。
[0005] 为了实现上述发明目的，本发明采用下述技术方案：
[0006] -种基于运动矢量后处理的帧率提升方法，其特征在于：在运动估计阶段，不再进 行单向的运动估计，而是采用了三个不同方向相结合的运动估计方案；在运动矢量后处理 阶段，不再采用统一的中值滤波，而是针对不同方向、不同位置的运动矢量采用不同的自适 应矢量修正和平滑方案，具体步骤为：
[0007] 步骤1 :对原始视频进行处理，处理为帧；
[0008] 步骤2 :对连续两帧分别进行基于菱形块搜索的前向和后向运动估计；
[0009] 步骤3 :对估计得到的前向和后向运动矢量分别进行基于预测的自适应运动矢量 修正；
[0010] 步骤4 :在修正后的前向和后向运动矢量中选择最佳方向的矢量作为双向候选运 动矢量；
[0011] 步骤5 :对双向候选运动矢量进行基于位置的自适应运动矢量平滑；
[0012] 步骤6 :双向重叠块运动补偿得到插入帧；
[0013] 步骤7 :将插入帧和原始帧合成高帧率的视频。
[0014] 优选地，在步骤3中先对前向和后向运动矢量进行异常值检测，然后对异常值块 矢量采用基于预测的自适应运动矢量修正，以剔除矢量异常值，提高单向运动矢量的准确 性。
[0015] 优选地，在步骤4中分别基于前向和后向运动矢量计算匹配块与当前块的绝对误 差和SAD值，选取对应SAD值小的运动向量为双向候选运动向量，从而修正由于遮挡问题所 导致的不准确的运动向量。
[0016] 优选地，在步骤5中根据待插块不同位置，对双向候选运动矢量进行自适应运动 矢量平滑，具体方法为：对边缘块和四角块矢量先进行矢量外插，再采用基于距离的加权矢 量平滑；对中间块先进行水平方向和竖直方向范围判断，以确定待插块的候选矢量，再分 别基于候选矢量计算待插块对应的搜索帧中匹配块与当前帧中当前块的SAD值，选取对应 SAD值最小的运动向量为最佳运动向量，修正不准确的运动向量。
[0017] 该方法有效地解决了内插帧中的空洞和遮挡问题，消除了由于运动矢量不精确所 导致的运动模糊和抖动现象，提高了构造插入帧的视觉效果。
【附图说明】
[0018] 图1是本发明的流程图；
[0019] 图2是前向、后向运动估计示意图；
[0020] 图3是当前块及其周围块运动矢量示意图；
[0021] 图4是单向运动矢量修正前后对比图；
[0022] 图5是运动矢量映射图及待插帧中间块候选矢量选择说明图；
[0023] 图6是待插帧四角块和边缘块示意图及其矢量外插图；
[0024] 图7是双向重叠块运动补偿示意图；
[0025] 图8是Foreman视频仿真结果对比图。 具体实施方案
[0026] 本发明提出了一种基于运动矢量后处理的帧率提升方法。对原视频连续两帧分别 进行前向、后向和双向相结合的运动估计方法，对不同方向的运动向量采用不同方案的自 适应后处理，再利用最佳运动矢量进行重叠块双向运动补偿，进而达到解决内插帧中的空 洞和遮挡问题并消除运动模糊和抖动现象，提高构造插入帧的视觉效果的目的。
[0027] 图1中明确表示了本发明所述方法的整体流程，具体实施步骤如下：
[0028] (1)读入视频，设置计数器t = 1，依次保存第t帧作为当前帧，第t+2帧作为参考 帧，预留第t+Ι帧作为待插入帧；
[0029] (2)单向运动估计：对当前帧和参考帧进行基于DS块匹配的前向和后向运动估 计，如附图2所示，获得前向运动矢量v fOTwajP后向运动矢量V badiwani;
[0030] (3)单向运动矢量修正：分别对Vfcmral^P v badOTd进行基于预测的自适应修正，以 为例，其修正步骤如下：
[0031] a.运动矢量异常值检测：
[0032] Stepl :计算判断块（记为B块）运动矢量V1及其周围八个块的运动矢量（V 2_v9， 如图3所示）的平均值Vni，如公式1所示。
[0034] Step2:计算 vJP V 的绝对差：
[0035] Dc= Ivm-V1 (公式 2)
[0036] Step3:计算每个邻块运动向量值与Vni的绝对差的平均值：
[0038] St印4:判断，如果De> D n，则V1为运动矢量异常值，需要对V i修正。
[0039] b.对运动矢量异常值进行基于预测的修正：
[0040] St印1 :计算异常值块B块的预测运动矢量
[0041] Vpre= (v 2+v3+v4+v5)/4 (公式 4)
[0042] Step2:分别计算八个相邻块运动矢量（V2-V9)和Vpra值的绝对差，选取8个矢量中 绝对差最小的4个运动矢量，对其求平均值，所得即为修改后的当前块运动矢量。
[0043] 附图4展示了运动矢量修正前后的运动矢量场，（a)中虚线矢量为异常值，（b)中 虚线矢量是改正后的矢量。
[0044] (4)双向候选运动矢量的选取：分别基于前向和后向运动矢量计算每一个块所对 应的SAD值：SAD fcmmd和SAD badOTd，两者中相对较小的SAD值所对应的矢量的一半即为双向 候选运动矢量Vbi。如公