专利名称：一种基于运动矢量处理的帧率上转换方法及其装置的制作方法
技术领域：
本发明涉及视频处理技术领域，尤其涉及一种基于运动矢量处理的帧率上转换方法及其装置。
背景技术：
数字视频以及多媒体信息的大規模应用带来了显示格式的多祥性。因此，这些格式之间的转换就显得非常重要。巾贞率上转换，也称巾贞率提升(frame rate up-conversion,FRUC)，就是ー种能将低帧率视频序列转化为高帧率视频序列的技术。帧率提升具有广阔的应用领域，如可以使视频内容的运动看起来更加连续和自然。帧率提升，主要是用来实现两个不同帧率视频扫描格式之间的转换。FRUC的一个应用场合是高清电视(High DefinitionTelevision, HDTV)。HDTV的分辨率最高可以达到1920*1080，帧率可以达到60帧/s。而目前我国和欧洲电视所使用的PAL (Phase Alternating Line)制巾贞率仅为25巾贞/s,北美等 国使用的 NTSC (national television system committee)制为30 巾贞/s。因此，要将现有制式转换为HDTV，必须引入帧率上转换机制。此外，FRUC也可以应用于低比特率视频编码中。它的思想是在编码端适当降低原始视频的帧率，然后在解码端引入FRUC机制让帧率提升到原始帧率大小。运动补偿内插法(MCFI)是FRUC中ー种效果较好，应用比较广泛的算法。该算法利用相邻帧之间的相关性，假定中间帧的运动矢量是前后两帧运动矢量的一半，从而内插出中间帧来。但是，当视频序列剧烈运动或者存在场景切换时，相邻帧的相关性下降，这种内插的方法就会失效。同吋，由于MCFI是ー种基于块的算法，那么当某一分割块在物体边缘并且包含几个运动对象时，该块的运动矢量就不准确，从而导致内插出来的图像边缘模糊。而且在遮挡区域和暴露区域内像素点找不到与之相匹配的像素，那么运动估计获得的运动矢量就不正确，这样的区域用MCFI方法就会内插出错误块，也就造成了方块效应。采用MCFI会加大计算复杂度与运动估计的复杂度，并降低了高内插帧的质量，不适合实时应用。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于运动矢量处理的帧率上转换方法及其装置，可以降低计算复杂度与运动估计的复杂度，能提高内插帧的质量，满足实时应用的要求。为了解决上述问题，本发明提出了一种基于运动矢量处理的帧率上转换方法，所述方法包括对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生；若检测到场景变换发生吋，则采用内插方式对所述原始视频序列进行处理并获得 处理后的数据；若未检测到场景变换发生时，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据；采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场；对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场；对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。优选地，所述对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生的步骤包括采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。优选地，所述采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场的步骤包括以内插帧中待插块的坐标为基准，在两个參考帧中的搜索范围内对称的移动对应匹配块的位置，选出差别最小的那对块作为最佳匹配块，以获得运动矢量，形成初始运动矢量场。优选地,所述对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场的步骤包括将运动矢量MV标记为LI的对应块分割为子块；将相邻的标记为L2的对饮块合并为大块，以获得可变块；对所述可变块进行运动估计，获得新运动矢量场。优选地，所述对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧的步骤包括采用前向帧或者后项帧对当前帧进行插补的，或者使用双向帧进行填补的方式对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。相应地，本发明实施例还提供一种基于运动矢量处理的帧率上转换装置，所述装置包括场景检测模块，用于对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生；视频序列处理模块，用于若所述场景检测模块检测到场景变换发生时，则采用内插方式对所述原始视频序列进行处理并获得处理后的数据；若所述场景检测模块未检测到场景变换发生吋，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据；运动矢量获取模块，用于采用对称运动估计对所述视频序列处理模块处理后的数据进行计算，获得初始运动矢量场；运动矢量处理模块，用于对所述运动矢量获取模块所获得的初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场；自适应插值滤波器，用于对所述运动矢量处理模块所获得的新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。优选地，所述场景检测模块还用于采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。优选地，所述运动矢量获取模块还用于以内插帧中待插块的坐标为基准，在两个參考帧中的捜索范围内対称的移动对应匹配块的位置，选出差别最小的那对块作为最佳匹配块，以获得运动矢量，形成初始运动矢量场。优选地，所述运动矢量处理模块还用于将运动矢量MV标记为LI的对应块分割为子块，将相邻的标记为L2的对饮块合并为大块，以获得可变块，对所述可变块进行运动估计，获得新运动矢量场。优选地，所述自适应插值滤波器还用于采用前向帧或者后项帧对当前帧进行插补的，或者使用双向帧进行填补的方式对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。在本发明实施例中，在帧率转换的3个不同的阶段分别采取了不同的方法来提升插值图像的主观效果。首先，利用场景检测来判断是使用内插的方法或者外推的方法对原始视频序列进行处理，然后对运动估计得到的初始运动矢量场进行更新校验，以得到最可靠的运动矢量(MV)。最后自适应地选择插值滤波器的权值进一歩消除局部模糊现象。场景检测采用帧差法，在帧率转换应用中简单实用。因为它只需统计SAD超过某ー阈值的大小的个数，可降低计算复杂度与运动估计的复杂度，对整体复杂度的影响不大，另外，不仅能提高内插帧的质量，同时也满足实时应用的要求。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现、有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图I是本发明实施例的基于运动矢量处理的帧率上转换方法的流程示意图；图2是本发明实施例的场景检测示意图；图3是本发明实施例的对称运动估计不意图；图4是本发明实施例的基于运动矢量处理的帧率上转换装置的结构组成示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在本发明实施例中，利用场景检测功能对输入的原始视频序列进行检测，检测当前是否有场景变换发生。如果检测到当前场景发生变换，采用外推的方式对原始视频序列进行处理；若没有检测到场景变换，采用内插的方式对原始视频序列进行处理。通过对称运动估计(双向运动估计)得到ー个初始运动矢量场(MVF)。这个初始的MVF能够大致反映物体的运动轨迹，但是在物体的边缘区域、遮挡区域以及暴露区域，有些运动矢量(MV)有可能不可靠，对不可靠的MV进行校验更正等处理后得到比较可靠的W。最后，选用自适应插值滤波器进行处理以得到待插帧的输出。图I是本发明实施例的基于运动矢量处理的帧率上转换方法的流程示意图，如图I所示，该方法包括S101，对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生；若检测到场景变换发生时，则执行S102，若未若检测到场景变换发生时，则执行S103 ；S102，采用内插方式对原始视频序列进行处理并获得处理后的数据；S103，采用外推方式对原始视频序列进行处理并获得处理后的数据；S104，采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场；
S105,对初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场；S106，对新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。其中，SlOl包括采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。下面结合图2对本发明实施例的场景检测进行详细说明。一般情况下，视频序列的相邻帧之间存在很大的相关性。如图2所示，fn_3帧和fn_i帧之间、fn+1帧和fn+3帧之间都存在很大的相关性。但是当出现镜头切換的情况时，处于切换点的两帧通常会存在极大的差异，比如帧和fn+1帧。此时如果仍然采用内插的方法用fn-!帧和fn+1帧对fn帧进行预测，则无法得到有效的插帧。这种情况下若使用外推法，即使用fn-3帧和帧或者fn+1帧和fn+3帧来外推帧，往往能得到更好的效果。具体实施中，采用帧差法来检测场景的变换，通过统计绝对差值和(Sum ofAbsolute Difference, SAD)超过某ー给定阈值(特定阀值)的块的个数来判断是否有场景变换产生。对于输入序列的每两个相邻帧，按式(I)计算对应宏块的SAD值。
权利要求
1.一种基于运动矢量处理的帧率上转换方法，其特征在于，所述方法包括 对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生； 若检测到场景变换发生吋，则采用内插方式对所述原始视频序列进行处理并获得处理后的数据； 若未检测到场景变换发生时，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据； 采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场； 对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场； 对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。
2.如权利要求I所述的基于运动矢量处理的帧率上转换方法，其特征在于，所述对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生的步骤包括 采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。
3.如权利要求I或2所述的基于运动矢量处理的帧率上转换方法，其特征在于，所述采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场的步骤包括 以内插帧中待插块的坐标为基准，在两个參考帧中的搜索范围内对称的移动对应匹配块的位置，选出差别最小的那对块作为最佳匹配块，以获得运动矢量，形成初始运动矢量场。
4.如权利要求3所述的基于运动矢量处理的帧率上转换方法，其特征在干，所述对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场的步骤包括 将运动矢量MV标记为LI的对应块分割为子块； 将相邻的标记为L2的对饮块合并为大块，以获得可变块； 对所述可变块进行运动估计，获得新运动矢量场。
5.如权利要求4所述的基于运动矢量处理的帧率上转换方法，其特征在干，所述对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧的步骤包括采用前向帧或者后项帧对当前帧进行插补的，或者使用双向帧进行填补的方式对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。
6.一种基于运动矢量处理的帧率上转换装置，其特征在于，所述装置包括 场景检测模块，用于对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生； 视频序列处理模块，用于若所述场景检测模块检测到场景变换发生吋，则采用内插方式对所述原始视频序列进行处理并获得处理后的数据；若所述场景检测模块未检测到场景变换发生吋，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据； 运动矢量获取模块，用于采用对称运动估计对所述视频序列处理模块处理后的数据进行计算，获得初始运动矢量场； 运动矢量处理模块，用于对所述运动矢量获取模块所获得的初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场； 自适应插值滤波器，用于对所述运动矢量处理模块所获得的新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。
7.如权利要求6所述的基于运动矢量处理的帧率上转换装置，其特征在干，所述场景检测模块还用于采用帧差法检测场景变换，根据统计绝对差值和SAD超过特定阀值的块的个数判断是否有场景变换发生。
8.如权利要求6或7所述的基于运动矢量处理的帧率上转换装置，其特征在于，所述运动矢量获取模块还用于以内插帧中待插块的坐标为基准，在两个參考帧中的搜索范围内对称的移动对应匹配块的位置，选出差别最小的那对块作为最佳匹配块，以获得运动矢量，形成初始运动矢量场。
9.如权利要求8所述的基于运动矢量处理的帧率上转换装置，其特征在于，所述运动矢量处理模块还用于将运动矢量MV标记为LI的对应块分割为子块，将相邻的标记为L2的对饮块合并为大块，以获得可变块，对所述可变块进行运动估计，获得新运动矢量场。
10.如权利要求9所述的基于运动矢量处理的帧率上转换装置，其特征在于，所述自适 应插值滤波器还用于采用前向帧或者后项帧对当前帧进行插补的，或者使用双向帧进行填补的方式对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。
全文摘要
本发明实施例公开了一种基于运动矢量处理的帧率上转换方法及其装置，其中，该方法包括对输入的原始视频序列进行场景检测，检测当前是否有场景变换发生；若检测到场景变换发生时，则采用内插方式对所述原始视频序列进行处理并获得处理后的数据；若未检测到场景变换发生时，则采用外推方式对所述原始视频序列进行处理并获得处理后的数据；采用对称运动估计对处理后的数据进行计算，获得初始运动矢量场；对所述初始运动矢量场的运动矢量进行运动矢量处理获得新运动矢量场；对所述新运动矢量场的运动矢量进行自适应运动补偿处理，获得待插帧。实施本发明实施例的方法及装置，可以降低计算复杂度与运动估计的复杂度，能提高内插帧的质量，满足实时应用的要求。
文档编号H04N7/26GK102665061SQ20121012899
公开日2012年9月12日 申请日期2012年4月27日 优先权日2012年4月27日
发明者孟思明, 王若梅, 罗笑南, 陈子琦 申请人:中山大学