式5所示：
[0048] 注：式中SADfcmmd和SADbadiwad>别代表前向和后向方向上的绝对误差和，f t(s)和 ft+2(s)分别代表当前帧和参考帧中坐标位置s处的像素值，Bm代表块的范围。
[0049] (5)双向候选运动矢量平滑：将步骤（4)所得最佳方向运动矢量映射到内插帧时， 放置的块B-般和相对应的内插块A并不完全重合，如附图5 (a)所示，这样就导致放置块 矢量并不能完全反应物体的真实运动，因此为了提高矢量的精确度，分别对内插帧中间块、 边缘块和四角块运动矢量进行平滑。
[0050] a.中间块运动矢量平滑：
[0051 ] 在对内插帧的中间块映射运动矢量时，根据物体运动的方向和大小，放置块B在 某个方向上与待插块A可能有图5(b)所示三种情况。因此根据待插块周围邻域块运动矢 量的方向和数值范围可判断出八个邻域块中和待插块重叠的块，取发生重叠邻域块的矢量 作为待插块的候选矢量，然后再分别用候选矢量对待插块进行SAD计算，取使SAD值最小的 候选矢量作为待插块的最终矢量，如公式6所示。若待插块没有候选矢量，则对待插块周围 八个块的运动矢量中值滤波得到最终矢量，如公式7所示。
[0054] 注：公式6中B1^代表块的范围，s代表待插块的位置坐标，V代表待插块的候选矢 量集；公式7中，V 2-VjP待插块的邻域块的运动矢量
[0055] 附图5(c)展示了邻域块矢量的方向如箭头所指向时，放置的邻域块与待插块A 会发生重叠。
[0056] b.边缘块和四角块的运动矢量平滑：
[0057] 对待插四角块（图6(a))和边缘块（图6(b))的运动矢量平滑前，首先基于邻域 块对待插块进行运动矢量外插，构成3*3邻域块，以左上角待插块B 1和左侧边缘块B 2为例， 其运动矢量外插图如附图6(c)和图6(d)所示，其中虚线块为外插块。然后基于运动矢量 外插图，对待插块的运动矢量进行可靠性判断，对不可靠的运动矢量采用基于距离的加权 矢量平滑。以左上角待插块B 1为例，具体平滑步骤为：
[0058] Stepl :对边缘待插块B1运动矢量外插，得图6(c)，对运动矢量顺序排列得图 6(e)，以下步骤均针对图6(e)操作；
[0059] Step2 :判断边缘待插块队运动矢量V。的可靠性：计算公式8中V m，DdP D。的数 值：
[0063] 注：上式中Vm表示待插块和其周围八个邻域块运动矢量(>。和V ^v8)的平均值；Dn 表示\和V。及其八个邻域块运动矢量的平均距离；D。则表示待插块V。和V "的距离。
[0064] 通过判断队和D。的数值大小，从而判断待插块运动矢量V。的可靠性：如果D。> Dn，则认为V。是不可靠运动矢量，即需要对V。进行平滑。
[0065] Step3.判断待插块周围的八个邻域块的运动矢量的可靠性，判断方法如St印2所 述，将可靠的邻域块运动矢量放入集合T中；
[0066] St印4.利用St印3中得到的可靠的邻域块运动矢量对不可靠运动矢量V。平滑，采 用基于基于距离的加权平滑，其权重值由待插块和邻域块（图6 (e))之间的距离决定，如公 式9所示：
[0070] 注：上式中￥;表示在排序后的3*3矢量外插图中第i个运动矢量，则w ;表示V ;的 权重值，T表示Step3中得到的可靠性周围块矢量的集合，Vftn表示加权平滑后的待插块的 运动矢量。
[0071] (6)双向运动补偿：为了有效的解决块匹配运动估计带来的块效应问题，采用重 叠块双向运动补偿进行插帧，如附图7所示，其中，实线代表的是NXN原始的匹配，B代表 是当前块，N1-N8代表当前块周围块；虚线块是以上面九个块为中心分别向上、下、左、右四 个方向扩展w个宽度形成的（N+2w)X(N+2w)的扩展块。
[0072] 采用标准YUV视频测试序列Foreman序列进行仿真，与传统的基于三边滤波的帧 率提升方法、基于中值滤波的帧率提升方法的仿真结果做了主观和客观比较。如附图8所 示，为Foreman序列的比较图，图（a)-(d)分别表示原图、三边滤波方法结果图、中值滤波方 法结果图、本申请的方法结果图，图（e)则是对Foreman序列前23帧仿真所得峰值信噪比 PSNR(Peak Signal to Noise Ratio)比较曲线图。无论是主观结果还是客观评价，都可以 看出本专利的方法相对于已有方法均有明显提高，有效解决了内插帧的空洞、重叠、遮挡和 运动模糊等问题。
【主权项】
1. 一种基于运动矢量后处理的帧率提升方法，其特征在于：在运动估计阶段，不再进 行单向的运动估计，而是采用了三个不同方向相结合的运动估计方案；在运动矢量后处理 阶段，不再采用统一的中值滤波，而是针对不同方向、不同位置的运动矢量采用不同的自适 应矢量修正和平滑方案，具体步骤为： 步骤1:对原始视频进行处理，处理为帧； 步骤2 :对连续两帧分别进行基于菱形块搜索的前向和后向运动估计； 步骤3 :对估计得到的前向和后向运动矢量分别进行基于预测的自适应运动矢量修 正； 步骤4 :在修正后的前向和后向运动矢量中选择最佳方向的矢量作为双向候选运动矢 量； 步骤5 :对双向候选运动矢量进行基于位置的自适应运动矢量平滑； 步骤6 :双向重叠块运动补偿得到插入帧； 步骤7 :将插入帧和原始帧合成高帧率的视频。2. 根据权利要求1所述的基于运动矢量后处理的帧率提升方法，其特征在于：在步骤3 中先对前向和后向运动矢量进行异常值检测，然后对异常值块矢量采用基于预测的自适应 运动矢量修正，以剔除矢量异常值，提高单向运动矢量的准确性。3. 根据权利要求1所述的基于运动矢量后处理的帧率提升方法，其特征在于：在步骤 4中分别基于前向和后向运动矢量计算匹配块与当前块的绝对误差和SAD值，选取对应SAD 值小的运动向量为双向候选运动向量，从而修正由于遮挡问题所导致的不准确的运动向 量。4. 根据权利要求1所述的基于运动矢量后处理的帧率提升方法，其特征在于：在步骤5 中根据待插块不同位置，对双向候选运动矢量进行自适应运动矢量平滑，具体方法为：对边 缘块和四角块矢量先进行矢量外插，再采用基于距离的加权矢量平滑；对中间块先进行水 平方向和竖直方向范围判断，以确定待插块的候选矢量，再分别基于候选矢量计算待插块 对应的搜索帧中匹配块与当前帧中当前块的SAD值，选取对应SAD值最小的运动向量为最 佳运动向量，修正不准确的运动向量。
【专利摘要】本发明提出了一种基于运动矢量后处理的帧率提升方法。首先，对原视频帧进行前向、后向运动估计，得到前向和后向运动矢量并对其异常值进行基于预测的修正；之后再基于SAD最小选取双向候选运动矢量；然后，再对不同位置的双向运动矢量采用不同的平滑方法：对边缘块和四角块先进行矢量外插，并对不可靠的运动矢量采用基于距离的加权平滑方法，对中间块，先基于邻域块运动矢量的方向和大小选定其候选矢量，再对候选矢量基于SAD最小选取待插块的最终矢量；最后，采用重叠块双向运动补偿得到内插帧。本发明提出的帧率提升方法能够有效地解决内插帧中的空洞和遮挡问题，并消除运动模糊和抖动现象，提高了构造插入帧的视觉效果。
【IPC分类】H04N19/117, H04N19/577, H04N19/513
【公开号】CN105100807
【申请号】CN201510543334
【发明人】刘琚, 曲爱喜
【申请人】山东大学
【公开日】2015年11月25日
【申请日】2015年8月28日