专利名称：高清数字视频帧速率变换处理模块及其方法
技术领域：
本发明涉及数字视频处理技术，特别是涉及一种应用于高清电视及机顶盒中的优 化的数字视频帧速率变换处理模块及其方法。
背景技术：
高端平板显示器的飞速发展使其刷新频率越来越高，已经从传统的60Hz上升至 120Hz甚至200Hz。视频流在经过解码后需要进行视频后处理，即视频质量增强处理。其中， 帧速率上变换算法是视频后处理算法流水线中的重要处理模块。该模块对视频流进行帧与 帧之间的插值，从而完成帧速率的上变换，使视频流的帧速率与显示器的刷新频率相匹配。 现有的视频帧速率处理方法中尚存在以下问题有待解决。-在进行帧速率变换之前，尚未对视频做足够的预处理，导致对不同的视频源帧变 换处理后的实际效果不同。举例来说，60帧的视频图像(video)与60帧的电影图像(Film) 由于其帧格式不同，因而对于帧速率变换处理来说有不同的要求。因此有必要自动进行电 影格式识别(Film Mode Detection)，实行下拉、重复帧剔除等预处理，从而在最大程度上 减少视频跳动的来源。-面向帧速率变换所需要的运动估计与补偿算法的复杂度还太高。从提高性能的 目的出发，针对高清乃至超高清图像与高刷新频率，面对的是如何有效保证运动向量的连 续性，从而降低图像块效应、视频模糊、物体光晕等现象的问题；而从降低复杂度方面来讲， 面对的则是如何实现算法的简洁有效，从而适合硬件的实现效率。-如何既保证帧速率变换的插值算法的性能又能降低算法的复杂度。在性能上，需 要有效解决运动物体的遮挡带来的插值错误，从而能够进行大跨度(8帧、M帧至200帧) 的帧速率变换；在复杂度问题上，所面对的也是如何实现算法的简洁有效性，从而使算法更 适合硬件实现。-基于视频质量如何优化帧速率变换处理的效果，依然是当前尚未彻底解决的一 个技术难点。因此，确实亟待提出改进的高清视频帧速率变换方法，来克服现有技术中存在的 上述缺陷和不足。
发明内容
本发明一方面的目的是提供一种视频帧速率变换处理方法，该方法包括步骤一， 识别视频源类别，并根据所确定的视频格式，对视频流进行交织或者反交错，完成视频场至 帧的恢复并消除图像梳妆缺陷；步骤二，利用运动估计与补偿算法对帧与帧之间的运动向 量进行估计，识别运动物体有无被遮挡的情形并确定其位置；步骤三，根据运动估计信息， 对于运动物体未被遮挡的图像情形，自适应地选择对运动物体未被遮挡的帧与帧之间进行 加权平均插值，或对于运动物体被遮挡的图像情形，自适应地选择对不同的区域采取保护 性插值；以及步骤四，对视频处理质量建立客观评价模型，用所述客观评价模型计算输出的视频质量评分修正帧速率变换处理的可调整参数，从而使视频处理质量优化。进一步地，本发明的视频帧速率变换处理方法在完成场至帧的恢复之后，还要进 行重复帧的剔除处理，以此消除视频抖动现象。优选地，本发明的视频帧速率变换处理方法在运动估计与补偿算法中，首先对视 频进行下采样，然后对于低分辨率的图像进行运动估计，采用模块匹配法对图像中的每个 模块提供一个运动向量，使得该运动向量的精确度在空间与时间域的邻近候选向量中最优 化。进一步地，本发明的视频帧速率变换处理方法对于任一当前处理模块的候选运动 向量，根据其所有候选运动向量的分布确定一个阈值，对于当前模块位于一个图像物体内 部的，选出与所述阈值差别最小的部分候选运动向量；或对于当前模块位于一个图像中两 个物体或者多个物体之间的，选出与所述阈值差别最大的部分候选运动向量，从而减少候 选运动向量的个数。优选地，本发明的视频客观质量评估是通过剔除视频流中的原有帧，仅保留插值 帧；然后，对插值帧采用相同的帧速率变换算法进行二次插值，从而放大算法可能产生的缺 陷，再将二次插值产生的插值帧与原有帧进行对比，运用所述客观质量评估模型来衡量均 方误差 MSE (Mean Square Error)以及峰值信噪比 PSNR(Peak Signal to Noise Ratio)等 参数。对这些参数给予打分之后，可以将打分的数值反馈给视频预处理、运动估计和补偿、 以及帧速率变换处理步骤，修正上述处理步骤中的可调整参数，例如运动估计的范围、窗口 大小等，从而优化算法以及视频处理质量。本发明的另一方面目的在于提供一种视频帧速率变换处理模块，该模块包括电影 模式识别预处理模块，用于识别视频源类别，并根据所确定的视频格式，决定对视频流进行 交织或者反交错，完成视频场至帧的恢复并消除图像梳妆缺陷；运动估计与补偿模块，利用 运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形 并确定其位置；一自适应插值算法帧速率变换模块，根据运动估计信息，对于运动物体未被 遮挡的图像情形，自适应地选择对运动物体未被遮挡的帧与帧之间进行加权平均插值，或 对于运动物体有被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值；以及客 观质量评价模块，用于对视频处理质量建立客观评价模型，用所述客观评价模型输出的视 频质量评分来修正帧速率变换处理的可调整参数，从而使视频处理的质量优化。
图1为根据本发明原理的视频帧速率变换处理模块的概要框图。图2为根据本发明原理的视频帧速率变换处理方法的总流程图。图3为显示由于非正确识别视频格式而导致梳妆缺陷的图像实样。图4为根据本发明的视频帧速率变换方法实行电影格式识别步骤的流程图。图5为根据本发明的面向视频帧速率变换的运动估计与补偿步骤的流程图。图6为根据本发明的运用自适应插值算法实行帧速率变换步骤的流程图。图7为根据本发明的对于帧速率变换视频处理输出的视频建立客观质量评估步 骤的流程图。
具体实施例方式图1描述了根据本发明的帧速率变换处理模块的概要框图，本发明对高清数字视 频流的处理主要包括以下四大模块一 )电影模式识别预处理模块100首先，在这个预处理模块100要对高清数字视 频流进行电影模式识别预处理，利用电影模式识别算法识别出视频源属于何种类别以及何 种下拉格式，例如，但不仅限于3 2、2 2、6 4、8 7等下拉格式；然后，再根据不同 的下拉格式，完成场至帧的转换，从中提取出有效帧并剔除重复帧，确保视频从场到帧的恢 复，保证帧的非重复性，为减少视频的跳动来源奠定基础。二)运动估计与补偿模块200完成模块100的预处理之后的视频流是一个连续非 重复的图像流，接下来，在运动估计与补偿模块200利用运动估计与补偿算法对帧与帧之 间的运动向量进行估计，并识别运动物体有无被遮挡的情形并确定其位置，为完成帧与帧 之间的插值做准备。三)自适应插值算法帧速率变换模块300在该帧速率变换模块300，根据运动估计 信息，对于运动物体被遮挡与未被遮挡的图像情形，自适应地采用通常的运动补偿算法对 运动物体未被遮挡的帧与帧之间进行加权平均(Motion Compensated Averaging)插值，或 对于运动物体有被遮挡的图像情形，对不同的区域采取保护性插值算法，从而使帧速率变 换插值算法的复杂程度最大程度地降低。四)客观质量评价模块400在客观质量评价模块400，对于视频处理质量建立一个 客观评价模型或者说质量模型(Quality Metrics)，根据该客观评价模型计算给出的质量 分数来准确反映帧速率变换算法的视频处理质量，譬如检测视频帧速率变换算法中各个模 块的处理质量，又譬如能否准确进行电影模式识别、运动向量估计，以及插值的有效性等； 最终，将客观评价模型输出的结果用于修正并优化帧速率变换算法的可调整参数，从而不 断地自反馈调整优化视频处理质量。下面结合图2的流程图详细描述和介绍本发明的帧速率变换方法，可以进一步说 明本发明的实质和要旨，然而，对于本领域的一般技术人员容易理解的是，对这些方法实例 的具体说明仅是为了说明本发明的原理，而不是对本发明的保护范围的限定。总的来说，本发明的帧速率变换处理方法包括步骤一，识别视频源类别，并根据 所确定的视频格式，决定对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图 像梳妆缺陷；步骤二，利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运 动物体有无被遮挡的情形并确定其位置；步骤三，根据运动估计信息，对于运动物体无被遮 挡的图像情形，自适应地选择采用通常的运动补偿算法对运动物体无被遮挡的帧与帧之间 进行加权平均插值，或对于运动物体有被遮挡的图像情形，自适应地选择对不同的区域采 取保护性插值算法；步骤四，对视频处理质量建立客观评价模型，将该客观评价模型计算给 出的视频质量评分用于修正并优化帧速率变换处理的可调整参数。首先，让我们来介绍以下步骤一针对各种复杂视频图像下拉格式的电影模式识别 算法。电影模式识别算法可以用来检测当前视频流是隔行传输的交错视频anterlaced Video)，还是特殊下拉格式的电影图像，并依据检测结果进行视频场的反交错处理或视频 交织。具体来讲，电影模式识别算法需要完成三个任务第一，视频格式的识别；第二，协助完成视频场至帧的恢复；第三，区分有效帧与无效帧。如果视频格式被错误识别，视频流图 像中将产生明显的梳妆效应(Tearing Artificact)，如图3的图像所示。因此，在视频预处 理步骤中采用电影模式识别算法就是为了避免出现的梳妆效应而进行的视频种类以及正 确下拉格式的识别。举例来说，假设视频源有三种可能3 2下拉的电影图像、2 2下拉的电影图 像、以及交错视频(Interlaced Video)格式。对于其他特殊的下拉格式，可以采用以下相 同的技术路线。图4描述了根据本发明原理的一种电影模式识别算法的技术解决方案。如 图4所示，I^rev代表视频流中的上一个视频场(time t_l) ；Curr代表视频流中的当前场 (time t) ；Next代表视频流中的下一个场(time t+1)。根据这一算法，使用场匹配统计和 梳状缺陷统计来检测输入视频类型。对于一个典型3 2下拉序列的当前场Curr，算法检 测该当前场对应的下一个场Next与上一个场是否匹配。可以理解的是，每检测五个当 前场Curr，总有一组对应的下一个场Next与上一个场I^rev是互相匹配的。这些统计结果 被存储在一个序列中，用来检测是否为3 2下拉格式。由于视频噪声的影响，两个场在大 部分情况下并不能完美匹配，匹配检测算法的稳定性问题需要解决。理想状态下，上述检测 3 2下拉序列的算法是非常稳定的，然而当视频源被改变时(譬如坏编辑(Bad Edit))， 则需要在3 2下拉被检测出来后加一个保护步骤。这个保护步骤通过交织上一个场
与当前场Curr、交织当前场Curr与下一个场Next、分析统计两种交织产生的梳状缺陷来实 现。基于上述的分析结果，在交织与反交错两种候选方案中决定采用哪种方案，以最大程度 的减少梳状现象。在2 2下拉格式检测当中，则直接利用梳状缺陷统计。梳状缺陷计数 器记下交织当前场Curr和上一场时产生的梳状缺陷数目，通过分析每次交织之后的 梳妆缺陷数目，统计并找出下拉规律。最后，视频格式识别算法输出一个决策结果根据所 确定的视频下拉格式，决定对视频流进行交织或者反交错。对于特殊格式的电影图像，通过对当前场Curr与上一场I^rev或者下一场Next 进行直接的交织，就可以完美恢复原来的帧。对于非电影格式的交错视频，需要进行反 交错。该处理过程可以通过边缘导向的运动自适应反交错算法(Edge-Directed Motion Adaptive Deinterlacing)来实现。电影模式识别算法的另一个作用是协同反交错算法完 成场至帧的恢复。在完成场至帧的恢复后，原有60个场变为60帧图像。然而对于特殊格式的电影 图像(譬如3 2下拉)，这60帧中仅有对个有效帧，其他帧均为对这M帧中某帧的重 复。在进行帧速率变换插值之前必须剔除这些无效帧，否则视频的跳动效应极为明显。电 影模式识别算法中的有效帧与无效帧区分算法的关键是找出并记忆32下拉或者22 下拉序列的起始帧，一旦检测出序列的起始帧，就可以有规律的进行无效帧剔除。对于坏编 辑，由于在一定条件下原来的交织被反交错替代，所以无需进行有效帧与无效帧的区分。接下来，在步骤二面向帧速率变换的运动估计与补偿算法中，主要解决以下三个 问题第一，如何面向高清晰与超高清晰视频以及将来的硬件IC实现降低算法的复杂度； 第二，如何保证运动向量场的平滑连续性；第三，如何以运动估计为基础的区分有无被运动 物体遮挡的区域。下面结合图5来说明本发明步骤二中的运动估计与补偿算法的具体实 施。首先，面向硬件实现的运动估计算法通常采用模块匹配。但是，针对帧速率变换算法，模块匹配检测评估的候选运动向量个数不能太多，过多的候选向量也必将导致运动 向量的大幅度跳跃，或者说运动场的不连续性。同时，对每个候选运动向量，SAD(Sum of Absolute Difference)的计算窗口(Window)亦不能太大。如图5所示，针对高清甚至超高 清图像，运动估计算法首先要进行下采样(Sub-Sampling(横向2倍，纵向2倍，共四倍的缩 小)但是不局限于2两倍，也可以是4倍、8倍等)；然后，对下采样产生的低分辨率图像进 行运动估计，得到的运动估计向量应用于高分辨率的整个模块；进而把高分辨率模块切割 为四个子模块，分别对这四个子模块再进行一次运动向量优化。在下采样时，为了尽量多地 保留原有图像的信息，采用低通滤波产生下采样像素。第二种方案是把图像进行分割，区分 静止区域与非静止区域，并对静止区域与非静止区域分别采用不同的采样算法。在保证运 动向量估计精确度的情况下，针对低分辨率图像的运动估计，本发明优选地提出了一种“优 化的小范围三维运动向量迭代搜索算法(optimized Small Range 3 Dimentional motion vector Iterative Search Algorithm :SR_3D_ISA)”。理论分析显示，插值产生的局部性视频缺陷(Local Distortion 譬如halo)要比 全局性视频缺陷(GlcAal Degeneration 譬如Blur)更为引人注目，从而更需要从算法上 解决。本发明所提出的新的运动估计算法基于以下假设第一，首先要保证运动场的平滑与 连续性，其次是保证运动向量的准确性(至少在迭代的初期阶段，运动向量的准确性放在 第二位)；第二，进一步假设视频中的物体比运动估计所需的匹配模块大，同时运动物体有 惯性(Inertia)。同时，本发明的小范围三维运动向量迭代搜索算法也是一种面向硬件IC 实现的基于模块匹配的算法。假设当前图像为视频流的第η帧，该帧被分割为一系列的模 IfeM(I) 为模块的中心。运动估计算法为每个模块提供一个运动向量。同时，在一 定的搜索区域内浙(1)，运动向量广为全部候选向量Gf中的最优结果。
权利要求
1.一种视频帧速率变换处理方法，其特征在于所述方法包括以下步骤步骤一识别视频源类别，并根据所确定的视频格式，对视频流进行交织或者反交错， 完成视频场至帧的恢复并消除图像梳妆缺陷；步骤二 利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体 有无被遮挡的情形并确定其位置；步骤三根据运动估计信息，自适应地对运动物体未被遮挡的帧与帧之间进行加权平 均插值，或对运动物体被遮挡的图像情形，自适应地选择对不同的区域采取保护性插值；以 及步骤四对视频处理质量建立客观评价模型，用所述客观评价模型输出的视频质量评 分来修正帧速率变换处理的可调整参数。
2.根据权利要求1所述的视频帧速率变换处理方法，其特征在于在完成场至帧的恢复 之后，对重复帧进行剔除处理以消除视频抖动。
3.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，在视频源类别识 别步骤中，当检测到当前场Curr对应的下一个场Next与上一个场I^rev匹配，可以确定为 3:2下拉格式。
4.根据权利要求3所述的视频帧速率变换处理方法，其特征在于，在确定视频为3 2下 拉格式时，通过交织上一个场I^rev与当前场Curr以及交织当前场Curr与下一个场Next， 分析统计两种交织产生的梳状缺陷，并基于上述分析结果，选择交织或反交错以最小化梳 状缺陷。
5.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，通过统计分析交 织当前场Curr和上一场时产生的梳状缺陷的数目，来确定视频为2 2下拉格式和视 频下拉规律，并基于上述分析结果，选择交织或反交错以最小化梳妆缺陷。
6.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，在视频源类别识 别步骤中，对于确定为特殊格式的电影图像，令当前场Curr与上一场或者当前场Curr 与下一场Next直接进行交织。
7.根据权利要求1或2所述的视频帧速率变换处理方法，其特征在于，在视频源类别识 别步骤中，对于确定为非电影格式的交错视频进行反交错。
8.根据权利要求1所述的视频帧速率变换处理方法，其特征在于在的运动估计与补偿 步骤中，首先对视频进行下采样，对于被分为一系列模块的每一帧图像的每个模块提供一 个运动向量，使得该运动向量在空间与时间域的邻近候选向量中最优化。
9.根据权利要求8所述的视频帧速率变换处理方法，其特征在于在运动估计与补偿步 骤中，对于任一当前处理模块的候选运动向量的分布情况确定一个阈值，如该当前模块位 于一个图像物体内部，则选出其中与所述阈值差别最小的部分作为候选运动向量；如该当 前模块位于一个图像中两个物体或者多个物体之间，则选出其中与所述阈值差别最大的部 分作为候选运动向量。
10.一种视频帧速率变换处理模块，其特征在于包括一电影模式识别预处理模块(100)，用于识别视频源类别，并根据所确定的视频格式， 决定对视频流进行交织或者反交错，完成视频场至帧的恢复并消除图像梳妆缺陷；-一运动估计与补偿模块(200)，利用运动估计与补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；-一自适应插值算法帧速率变换模块(300)，自适应地选择对运动物体未被遮挡的帧 与帧之间进行加权平均插值；或对于运动物体被遮挡的图像情形，自适应地选择对不同的 区域采取保护性插值；以及-客观质量评价模块(400)，用于对视频处理质量建立客观评价模型，用所述客观评价 模型输出的视频质量评分修正帧速率变换处理的可调整参数。
全文摘要
一种高清数字视频帧速率变换处理模块，包括电影模式识别预处理模块、运动估计与补偿模块、自适应插值算法帧速率变换模块和客观质量评价模块。本发明还是一种视频帧速率变换方法，包括步骤识别视频源类别确定其视频格式，对视频流进行交织或反交错，完成视频场至帧恢复并消除图像梳妆缺陷；用运动估计补偿算法对帧与帧之间的运动向量进行估计，识别运动物体有无被遮挡的情形并确定其位置；根据运动估计信息，自适应地对运动物体未被遮挡的帧与帧之间进行加权平均插值，或对于运动物体被遮挡的图像情形，自适应地对不同区域进行保护性插值；建立视频处理质量的客观评价模型，用其给出的质量评分修正帧速率变换的可调整参数，从而优化视频处理质量。
文档编号H04N5/44GK102131058SQ201110091689
公开日2011年7月20日 申请日期2011年4月12日 优先权日2011年4月12日
发明者杨胜齐 申请人:上海理滋芯片设计有限公司