专利名称：一种视频帧率上转换装置及方法
技术领域：
本发明涉及数字视频处理技术领域，尤其涉及到基于可变块大小自适应阈值运动估计方法的帧率转换装置及其方法。
背景技术：
视频帧率上转换作为一种数字视频预处理和后处理技术，在若干已知帧中间插入中间帧，实现将一个视频从较低的帧率转换到较高的帧率，在数字视频领域有着广泛的应用。随着高清/超高清数字电视以及多媒体信息系统的发展，现有的视频节目源已经不能满足人们视对觉效果日益增高的需求，需要提高现有节目源的帧率来达到更优的视觉效果。 在视频和多媒体通信中，带宽资源受到限制。为了满足此类低带宽的应用，可以在编码端降低帧率，而在解码端采用帧率上转换方法恢复到原来的帧率，这样可以有效的减小传输带宽。不同的视频格式之间帧率不同，如电影为24fps，PAL为25fps，NTSC为30fps，以及在高清中有720p50、720p60和1080p30等格式。在不同的视频之间进行格式转换，需要使用帧率转换技术。视频在无线通信或者网络流媒体传输中，有可能发生丢帧或者误码现象。对于丢弃帧以及由误码而产生的错误帧，在接收端采用帧率转换技术重构出来，是一种行之有效的方法。常用的帧率转换有非运动估计方法、基于运动估计的方法以及基于三维时空域统计模型的方法。非运动估计方法比如帧复制和帧平均，算法简单，易于实现，但是对于运动剧烈的视频，重构帧中有抖动或者模糊现象，严重影响了视频质量。基于运动估计的方法运算适中，复杂度适中，能较好的重构出内插帧。基于三维时空域统计模型的方法主要对视频序列本身建模，借鉴错误隐藏的相关技术，利用已知的像素对将要差值的像素进行估计，从而获取内插帧；但这种算法计算量较大，实用性受到一定限制。在目前使用的基于运动估计的帧率上转换方法中，重构帧由前后帧内插而得出，图像质量主要取 决于运动矢量的准确性，因此运动矢量估计需要尽可能精确。运动块大小的选择非常关键:如果图像块过大，则容易把运动物体和相对静止的背景包括在内；如果图像块过小，则容易产生匹配错误。本发明提供了基于可变块大小的自适应阈值的运动估计方法，对于图像块大小的分割从大到小逐步求精，直至搜索到符合要求的匹配块。同时针对运动比较剧烈的序列，提供了多帧外推的方法，从而避免直接使用内插时，运动搜索无法找到被运动物体覆盖的背景的情形。在经过运动估计得到初始的运动矢量之后，需要对运动矢量进行滤波处理。本发明提供了中值滤波方法，对运动矢量的水平和垂直方向分别进行中值滤波，得到的运动矢量作为最终的运动矢量用于重构出内插帧，最后对内插帧进行去块效应滤波，得到更优的视觉效果。
发明内容
本发明的目的在于克服现有帧率上转换方法的不足，提供了一种更优的帧率上转换装置及方法。在不显著增加运算复杂度的同时，尽量提高运动估计的精确性以及重构图像的视频质量。为了解决上述问题，本发明的方法及其装置包括:一种视频帧率上转换装置，所述装置由依次连接的DDR存储器、DDR控制器、Cache模块、运动估计模块、运动矢量中值滤波模块、帧重构模块、去块效应模块、状态机控制器模块以及输入/输出模块组成；其中，所述输入/输出模块为满足SMPTE 274/296格式的视频，输入模块解析视频序列，得到行同步和场同步信号并发送给状态机控制器，并将解析得到的视频数据存入DDR中；所述的DDR存储器，存储若干帧由SMPTE274/296解析后的YUV422视频数据；存储图像块的运动矢量以用于基于时域的运动矢量中值滤波；存储重构帧视频数据，输出模块根据需要，从DDR存储器中读取解析的和重构的视频数据用于输出；所述的Cache模块存储解析后的视频数据,运动估计模块在运动搜索时,通过访问Cache,能够有效地减小对DDR的带宽需求，同时Cache模块也缓存运动矢量信息，用于运动矢量中值滤波模块读取运动矢量信息以及存储滤波之后的运动矢量。一种视频帧率上转换方法，包括使用所述的装置，包括如下步骤:对重构帧的前向帧和后向帧分别进行运动估计；依据运动估计得到的SAD值即差的绝对值之和，与当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法；通过运动估计得到初始的运动矢量并更新当前图像块的阈值；使用基于时域和空 域的中值滤波方法滤除估计错误的运动矢量；进行重构和去块效应滤波并输出。其中，所述的运动估计方法，以重构帧中需要重构的图像块坐标为基准，分别选取前向帧和后向帧进行运动估计，得到SAD值以及相应的匹配块，并将得到的运动矢量作为待插图像块的运动矢量。其中，依据运动估计得到的SAD值和当前块进行比较，取前向帧得到的SAD值以及后向帧得到的SAD值分别和阈值进行比较；如果前向帧和后向帧的SAD值都大于当前块的阈值，则进行多帧外推法；如果前向帧和后向帧的SAD值都小于当前块的阈值，则进行直接内插法；如果前向帧的SAD值大于当前块的阈值而后向帧的SAD值小于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将后向帧作为基准，在前向帧中搜索匹配块；如果前向帧的SAD值小于当前块的阈值而后向帧的SAD值大于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将前向帧作为基准，在后向帧中搜索匹配块。其中，所述运动估计的步骤包括，对于重构帧Ft，选择一个图像块Bt，对重构帧的前一帧Fw和后一帧Ft+1中相同的位置分别选择一个图像块Bh和Bt+1中的Bh为基准在Ft+1中搜索匹配块，得到Bh和匹配块之间像素值差的绝对值之和SADw和运动矢量MVw ;以Ft+1中的Bt+1为基准在Fw中搜索匹配块，得到Bt+1和匹配块之前像素值差的绝对值之和SADt+1和运动矢量MVt+1 ；比较SADw和SADt+1的大小，如果SADw ( SADt+1，则使用前一帧的运动矢量MVw作为重构帧的运动矢量MVt，反之则使用后一帧的运动矢量MVt+1作为重构帧的运动矢量MVt。其中，所述的多帧外推法，根据SAD和阈值之间的关系来决定是否采用多帧外推以及使用前向帧或者后向帧，当SADw和SADt+1都大于阈值，则有图像背景被运动物体覆盖，选择多帧外推的方法重构被覆盖部分；当SADt^1 ( SADt+1，则使用Ft_3和Fw来外推；否贝U使用Ft+1和Ft+3来外推。其中，所述的直接内插法，进行16X16运动估计后立即终止对当前块的运动估计，不在减小图像块的尺寸，不更新阈值，直接使用16X16的块进行重构。其中，所述的自适应可变块大小的运动估计方法，当采用可变块大小运动估计时，首先对16X16的图像块进行运动估计，当SAD值大于阈值的时候，减小图像块的大小，进行8X16的图像块运动估计；当其SAD值大于阈值，则进行16X8的图像块运动估计；每次运动估计之后，都将得到 的SAD值和相对应的阈值进行比较，图像块大小依次为16X 16、8X16、16X8、8X8、4X8、8X4 以及 4X4。其中，所述的自适应阈值方法，对于初始的16 X 16图像块，其TH16xl6为一个经验阈值，当进行8X 16可变块大小运动估计时，TH8xl6为TH16x16/2和8X 16运动估计的SAD中的最小值，即TH8xl6 = min (l/2*TH16xl6, SAD8xl6)，其中min为取最小数操作；对于16X8、8X8、4X8、8X4 和 4X4，有TH16x8 = min (l/2*TH16xl6, SAD16x8)TH8x8 = min (l/2*min (TH8xl6, TH16x8)，SAD8x8)TH4x8 = min(l/2*TH8x8, SAD4x8)TH8x4 = min(l/2*TH8x8, SAD8x4)TH4x4 = min (l/2*min (TH4x8, TH8x4), SAD4x4)。其中，所述的可变块大小自适应阈值的运动估计方法采用自适应的运动估计终止方法，当运动估计得到的SAD值小于相对应块的阈值时，则立即终止运动估计；当每次可变块大小运动估计得到的SAD值都不小于阈值时，则进行到4X4运动估计之后，自动终止运动估计。其中，所述的基于时域和空域的运动矢量中值滤波方法，对于采用可变块大小自适应阈值的运动估计方法，在当前块的上下左右块都运动估计结束之后，选取当前块以及上下左右四个图像块的运动矢量做中值滤波；对于直接内推和多帧外插方法，则还增加前向帧和后向帧中同样坐标的图像块的运动矢量进行中值滤波；对运动矢量的水平方向分量和垂直方向分量分别进行滤波。其中，所述的去块效应滤波中系数的选择，对相邻图像块像素值之差和阈值进行比较，当大于阈值，则认为处于不同物体或者为物体边缘或者纹理部分，不做平滑处理；如果小于阈值，则认为是同一物体上的像素值，采用去块效应滤波。其中，所述的重构方法，当采用直接内插法时，由前后帧直接重构得出；当进行倍频时，前向帧和后向帧中的系数均为0.5;当采用多帧外推法时，根据时间轴关系的远近，系数和时间轴距离成正比，因此系数分别为0.25和0.75 ;当采用可变块大小自适应阈值滤波方法时，前向帧和后向帧的系数都为0.5。
其中，所述的多帧外推方法，用于解决图像块的遮挡和显露部分的问题，当前向帧的背景在后向帧中被运动物体覆盖时，则前向帧无法在后向帧中搜索到正确的匹配块，此时得到的SAD值会大于阈值，则使用前向帧以及前向帧的前向帧来进行运动估计和匹配，从而搜索到背景部分，从而在内插帧中重构出背景部分。其中，所述的运动估计，只针对像素的亮度值做SAD值匹配，像素的色度值使用对应图像块的运动矢量进行重构。当搜索终止之后，需要对运动矢量进行滤波，从而滤除错误的运动矢量。本发明采用中值滤波方法，结合当前块周围的运动矢量、前一帧和后一帧对应位置的运动矢量来进行中值滤波。中值滤波对水平方向和垂直方向分别进行。使用经过滤波之后的运动矢量进行重构。对应外推和内插法重构时，采用不同的加权系数。其加权系数的大小取决于重构帧到参考帧的时间轴上的距离。本发明对重构帧进行去块效应滤波。在滤波时，先判定相邻块像素的差值，从而决定采用是否采用模糊滤波。有益效果本发明根据视频序列运动情况，采用自适应块大小动估计方法，从而避免图像块划分得过大或者过小；采用自适应阈值的方法，既能提高运动矢量的精度，也能尽快终止搜索；采用多帧外推和直接内插相结合的方式，在直接内插失效时，多帧外推方法能较为有效的内插出被运动物体覆盖的背景图像；根据运动物体运动的惯性，利用前后帧结合周围块运动矢量进行中值滤波，能更加精确的得到运动矢量；去块效应滤波模块根据相邻快像素之间的差值决定是否采用去块效应滤波，从而避免滤除纹理和细节部分。
图1描述视频帧 率上转换系统流程图；图2描述视频图像分割为16x16块之后进行运动估计而得到运动矢量；图3描述了直接内推法和多帧外推法的基本原理；图4描述了基于可变块大小自适应阈值的运动估计方法；图5描述了中值滤波原理图；图6描述了采用本发明的视频帧率上转换方法的实施实例。
具体实施例方式本发明中，采用基于可变块大小自适应阈值的运动估计方法得到运动矢量，并通过中值滤波滤除错误的运动矢量，然后使用运动矢量对内插帧进行重构，最后通过去块效应对重构图像进行滤波并输出。如图1所示，视频帧率上转换流程主要包括运动估计、运动矢量中值滤波、内插帧重构和去块效应滤波。本发明装置仅对亮度块做运动估计搜索和运动矢量滤波，色度块采用亮度块的运动矢量。在基于可变块大小自适应阈值的运动估计中，先对图像序列分为16x16的图像块。如图2所示，图像块Bt为需要重构的帧Ft中的一个16x16图像块。设图像块左上角像素的坐标为(X，y)，在前一巾贞Ft^1和后一巾贞Ft+1中对应位置(X, y)找到16x16图像块#口B f I I。SlOl:对图像的对应位置的前一帧和后一帧进行运动估计。本发明中采用全搜索法，以,为当前块，在Ft+1中搜索匹配块B' t+1，得到运动矢量MVw以及差的绝对值之和
SADw ;以1,为当前块，在Fw中搜索匹配快B' η，得到运动矢量MVt+1以及差的绝对值之和 SADt+1。比较SADtfSADw和TH16xl6的大小。设min O)为取最小值操作,max O)为取最大值操作，根据比较的结果进行不同的操作。
权利要求
1.一种视频帧率上转换装置，其特征在于:所述装置由依次连接的DDR存储器、DDR控制器、Cache模块、运动估计模块、运动矢量中值滤波模块、帧重构模块、去块效应模块、状态机控制器模块以及输入/输出模块组成；其中，所述输入/输出模块为满足SMPTE274/296格式的视频，输入模块解析视频序列，得到行同步和场同步信号并发送给状态机控制器，并将解析得到的视频数据存入DDR中；所述的DDR存储器，存储若干帧由SMPTE274/296解析后的YUV422视频数据；存储图像块的运动矢量以用于基于时域的运动矢量中值滤波；存储重构帧视频数据，输出模块根据需要，从DDR存储器中读取解析的和重构的视频数据用于输出；所述的Cache模块存储解析后的视频数据，运动估计模块在运动搜索时，通过访问Cache,能够有效地减小对DDR的带宽需求，同时Cache模块也缓存运动矢量信息，用于运动矢量中值滤波模块读取运动矢量信息以及存储滤波之后的运动矢量。
2.一种视频帧率上转换方法，包括使用权利要求1所述的装置，其特征在于，包括如下步骤: 对重构帧的前向帧和后向帧分别进行运动估计； 依据运动估计得到的SAD值即差的绝对值之和，与当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法； 通过运动估计得到初始的运动矢量并更新当前图像块的阈值； 使用基于时域和空域的中值滤波方法滤除估计错误的运动矢量； 进行重构和去块效应滤波并输出。
3.根据权利要求2所述的方法，其特征在于:所述的运动估计方法，以重构帧中需要重构的图像块坐标为基准，分别选取前向帧和后向帧进行运动估计，得到SAD值以及相应的匹配块，并将得到的运动矢量作为待插图像块的运动矢量。
4.根据权利要求2所述的方法，其特征在于:依据运动估计得到的SAD值和当前块进行比较，取前向帧得到的SAD值以及后向帧得到的SAD值分别和阈值进行比较；如果前向帧和后向帧的SAD值都大于当前块的阈值，则进行多帧外推法；如果前向帧和后向帧的SAD值都小于当前块的阈值，则进行直接内插法；如果前向帧的SAD值大于当前块的阈值而后向帧的SAD值小于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将后向帧作为基准，在前向帧中搜索匹配块；如果前向帧的SAD值小于当前块的阈值而后向帧的SAD值大于当前块的阈值，则采用基于可变块大小自适应阈值的运动估计方法，将前向帧作为基准，在后向帧中搜索匹配块。
5.根据权利要求2所述的方法，其特征在于:所述运动估计的步骤包括， 对于重构帧Ft，选择一个图像块Bt，对重构帧的前一帧Fw和后一帧Ft+1中相同的位置分别选择一个图像块和Bt+1 ；以Fw中的Bh为基准在Ft+1中搜索匹配块，得到和匹配块之间像素值差的绝对值之和SADw和运动矢量MVw ;以Ft+1中的Bt+1为基准在Fw中搜索匹配块，得到Bt+1和匹配块之前像素值差的绝对值之和SADt+1和运动矢量MVt+1 ;比较SADt^1和SADt+1的大小，如果SADw ( SADt+1，则使用前一帧的运动矢量MVw作为重构帧的运动矢量MVt，反之则使用后一帧的运动矢量MVt+1作为重构帧的运动矢量MVt。
6.根据权利要求4所述的方法，其特征在于:所述的多帧外推法，根据SAD和阈值之间的关系来决定是否采用多帧外推以及使用前向帧或者后向帧，当SADw和SADt+1都大于阈值，则有图像背景被运动物体覆盖，选择多帧外推的方法重构被覆盖部分；当SADh ( SADt+1，则使用Ft_3和Ft_i来外推；否则使用Ft+1和Ft+3来外推。
7.根据权利要求4所述的方法，其特征在于:所述的直接内插法，进行16X 16运动估计后立即终止对当前块的运动估计，不在减小图像块的尺寸，不更新阈值，直接使用16X16的块进行重构。
8.根据权利要求4所述的方法，其特征在于:所述的自适应可变块大小的运动估计方法，当采用可变块大小运动估计时，首先对16 X 16的图像块进行运动估计，当SAD值大于阈值的时候，减小图像块的大小，进行8X16的图像块运动估计；当其SAD值大于阈值，则进行16X8的图像块运动估计；每次运动估计之后，都将得到的SAD值和相对应的阈值进行比较，图像块大小依次为16X16、8X16、16X8、8X8、4X8、8X4以及4X4。
9.根据权利要求4所述的方法，其特征在于:所述的自适应阈值方法，对于初始的16X16图像块，其TH16xl6为一个经验阈值，当进行8X 16可变块大小运动估计时，TH8xl6为TH16x16/2和8X 16运动估计的SAD中的最小值，即 TH8xl6 = min(l/2*TH16xl6, SAD8xl6)， 其中min为取最小数操作； 对于 16X8、8X8、4X8、8X4 和 4X4，有 TH16x8 = min(l/2*TH16xl6, SAD16x8) TH8x8 = min (l/2*min (TH8xl6, TH16x8)，SAD8x8) TH4x8 = min(l/2*TH8x8, SAD4x8) TH8x4 = min(l/2*TH8x8, SAD8x4) TH4x4 = min (l/2*min (TH4x8, TH8x4), SAD4x4)。
10.根据权利要求4所述的方法，其特征在于:所述的可变块大小自适应阈值的运动估计方法采用自适应的运动估计终止方法，当运动估计得到的SAD值小于相对应块的阈值时，则立即终止运动估计；当每次可变块大小运动估计得到的SAD值都不小于阈值时，则进行到4X4运动估计之后，自动终止运动估计。
11.根据权利要求4所述的方法，其特征在于:所述的基于时域和空域的运动矢量中值滤波方法，对于采用可变块大小自适应阈值的运动估计方法，在当前块的上下左右块都运动估计结束之后，选取当前块以及上下左右四个图像块的运动矢量做中值滤波；对于直接内推和多帧外插方法，则还增加前向帧和后向帧中同样坐标的图像块的运动矢量进行中值滤波；对运动矢 量的水平方向分量和垂直方向分量分别进行滤波。
12.根据权利要求2所述的方法，其特征在于:所述的去块效应滤波中系数的选择，对相邻图像块像素值之差和阈值进行比较，当大于阈值，则认为处于不同物体或者为物体边缘或者纹理部分，不做平滑处理；如果小于阈值，则认为是同一物体上的像素值，采用去块效应滤波。
13.根据权利要求2所述的方法，其特征在于:所述的重构方法，当采用直接内插法时，由前后帧直接重构得出；当进行倍频时，前向帧和后向帧中的系数均为0.5 ;当采用多帧外推法时，根据时间轴关系的远近，系数和时间轴距离成正比，因此系数分别为0.25和0.75 ；当采用可变块大小自适应阈值滤波方法时，前向帧和后向帧的系数都为0.5。
14.根据权利要求2所述的方法，其特征在于:所述的多帧外推方法，用于解决图像块的遮挡和显露部分的问题，当前向帧的背景在后向帧中被运动物体覆盖时，则前向帧无法在后向帧中搜索到正确的匹配块，此时得到的SAD值会大于阈值，则使用前向帧以及前向帧的前向帧来进行运动估计和匹配，从而搜索到背景部分，从而在内插帧中重构出背景部分。
15.根据权利要求2或3或5所述的方法，其特征在于:所述的运动估计，只针对像素的亮度值做SAD值匹配，像素 的色度值使用对应图像块的运动矢量进行重构。
全文摘要
本发明公开了一种视频帧率上转换装置及方法，所述装置包括输入/输出模块、运动估计模块、运动矢量中值滤波模块、重构模块、去块效应滤波模块、DDR及控制器模块、状态机控制模块等。该装置可以提升视频帧率，生成具有高质量的视频。所述方法包括如下步骤对重构帧的前向帧和后向帧分别进行运动估计；依据运动估计得到的SAD值(差的绝对值之和)和当前块的阈值进行比较，从而采用多帧外推、直接内插或者进行可变块大小以及自适应阈值判决的运动估计方法；通过运动估计得到初始的运动矢量并更新当前图像块的阈值；使用基于时域和空域的中值滤波方法滤除估计错误的运动矢量；进行重构和去块效应滤波并输出。
文档编号H04N7/26GK103220488SQ20131013537
公开日2013年7月24日 申请日期2013年4月18日 优先权日2013年4月18日
发明者贾惠柱, 贺志勇, 解晓东, 黄铁军, 高文 申请人:北京大学