专利名称：自适应块效应去除方法和系统的制作方法
技术领域：
本发明涉及一种用于视频压缩和视频增强领域的块效应去除方法和系统，尤其是提供了一种基于时域和空域的自适应的去除视频信号中块效应的方法和系统。
背景技术：
在对视频进行分块操作的视频压缩和视频增强过程中，视频帧会在块与块之间产生一种块效应，即在人眼所能看到一种马赛克现象。为了消除这种块效应，现有技术提出了各种消除块效应的方式，其中就包括基于时域和空域消除块效应的技术手段。
美国专利US5512956A就提出了一种基于时域和空域的对低比特率的图像序列的后处理方法来消除块效应。在该专利中，提出了一种基于空域的有限脉冲与中值混合滤波器和基于时域的运动补偿的非线性滤波器的可分离三维过滤器结构，但是该结构在时域滤波中仅限于中值滤波器，并且完全没有考虑视频帧的内容的复杂度，而且需要对视频帧的所有像素都要采取一遍相同的策略。另外，该专利引入了运动向量，而运动向量是与编解码器相关联的。
在中国专利申请CN101494787A中，提出了一种基于块效应检测的去块效应的方法。但是，该专利申请只是使用了相邻帧来进行块效应检测，却没有利用这个信息来做像素值的重新计算。尤其是，该专利申请没有考虑图像真实边缘信息的检测，因而会导致图象在去除块效应之后显得过度模糊。
在现有技术中，还提出了一种使用对称分布在块边缘上的点的加权来去除块效应的方法，但是该方法需要对在整帧内的所有像素采取相同的策略，并且同样没有考虑不同块的内容复杂度的区别，并且所考虑的影响元素也只涉及三个像素。尤其是这种方法根本没有从视频时域的连续性上来考虑消除块效应的问题。另一种现有技术提出了一种模糊滤波器来减少压缩了的多媒体信号中的影响噪声问题。其使用的滤波器只是利用前一帧、当前帧和后一帧固定的在以计算像素为中心向外扩展一定宽度和高度的范围内的像素应用滤波。也就说，尽管其涉及到了时域问题，但是其根本没有想到块内对象在不同帧之间存在的运动问题。
以现有技术中提到的方法都采用了基于空域的方法来去除块效应而没有考虑视频信号在时域方向上的关联。对空域上的处理来讲，上述方法都是对水平方向和竖直方向的块边界分别做处理的。对于不同图像内容，块效应的程度在人眼中实际是不同的，因此若对于块效应不考虑内容的不同而采取统一的平滑去块效应的策略，则会导致图像内容的过分模糊或者细节信息的丢失。发明内容
为了解决现有技术中存在的上述技术问题，本发明出了一种自适应块效应去除方法，包括对输入视频当前帧重新分块，使得所重新划分的每个新块的两条中心轴恰为彼此相邻的四个原始块的水平方向和竖直方向的原始块边界；计算所述原始块边界的两侧像素的差值与两侧原始块内部的像素的差值；确定所计算的所述原始块边界两侧像素的差值是否大于所述原始块边界两侧原始块内部的像素的差值以及且所述原始块边界两侧像素的差值是否超过预定义阈值；如果所述原始块边界两侧像素的差值是大于所述原始块边界两侧原始块内部的像素的差值并且所述原始块边界两侧像素的差值没有超过预定义阈值，则在当前帧的前后相邻帧中查找最佳匹配新块，采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块。
根据本发明自适应块效应去除方法，所述在当前帧的前后相邻帧中查找最佳匹配新块的步骤包括在当前帧的前后相邻帧中找到与当前帧的新块对应位置的相邻帧的新块，并以相邻帧的对应新块的中心为圆心，以预定的半径在前后相邻帧对所述对应新块进行扩展，获得以所述对应新块的中心为圆心的扩展区域；计算前后相邻帧中构成所述扩展区域的每个新块与当前帧新块的对应像素的灰度值之差的绝对值之和；以及将所计算的最小的绝对值之和所对应的扩展区域中的新块确定为当前帧的新块的前后相邻帧中最佳匹配新块。
上述技术手段在进行时域处理时，考虑到新块内对象在时域上存在运动位移的情况，因此与单纯根据绝对坐标进行处理的方法相比，其获取的结果的准确性能够得到显著的提高。
根据本发明自适应块效应去除方法还包括在对当前帧的新块进行更新之前，根据所述当前帧的新块的内容复杂度选择所述当前帧的新块中的所需更新的区域。
根据本发明自适应块效应去除方法，所述选择所述当前帧的新块中的所需更新的区域的步骤还包括根据当前帧的新块的内容复杂度，计算由所述当前帧的新块的两条中心轴所需向外围扩展的步长；将沿所述两条中心轴交叉点向外扩展所计算的步长长度而形成的十字区域确定为待更新区域；
根据本发明自适应块效应去除方法还包括在采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块的步骤之前，通过下述步骤在空域上重新计算所述待更新区域内每个待更新像素的像素值针对所述每个待更新像素，在所述待更新区域内获得影响所述待更新像素的像素集合；以及基于所获得的像素集合与所述待更新像素的距离属性和灰度值差异属性重新计算所述待更新像素的加权像素值。
根据本发明自适应块效应去除方法，所述采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块的步骤通过对当前帧的新块及所确定的前后相邻帧的最佳匹配新块的对应像素的像素值三者进行加权求和来进行。
根据本发明的另一个方面，提供了一种自适应块效应去除系统，包括重新分块模块，用于对输入视频的当前帧进行重新分块，使得所重新划分的每个新块的两条中心轴恰为彼此相邻的四个原始块的水平方向和竖直方向的原始块边界；计算模块，用于计算所述原始块边界的两侧像素的差值与两侧原始块内部的像素的差值；确定模块，用于确定所计算的所述原始块边界两侧像素的差值是否大于所述原始块边界两侧原始块内部的像素的差值以及且所述原始块边界两侧像素的差值是否超过预定义阈值；查找模块，用于如果所述原始块边界两侧像素的差值是大于所述原始块边界两侧原始块内部的像素的差值并且所述原始块边界两侧像素的差值没有超过预定义阈值，则在当前帧的前后相邻帧中查找最佳匹配新块；以及更新模块，采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块。
根据本发明的自适应块效应去除系统，所述查找模块包括扩展区域获得模块，在当前帧的前后相邻帧中找到与当前帧的新块对应位置的相邻帧的新块，并以相邻帧的对应新块的中心为圆心，以预定的半径在前后相邻帧对所述对应新块进行扩展，获得以所述对应新块的中心为圆心的扩展区域；灰度值差绝对值和计算模块，计算前后相邻帧中构成所述扩展区域的每个新块与当前帧新块的对应像素的灰度值之差的绝对值之和；以及最佳匹配新块确定模块，将所计算的最小的绝对值之和所对应的扩展区域中的新块确定为当前帧的新块的前后相邻帧中最佳匹配新块。
根据本发明的自适应块效应去除系统，还包括更新区域选择模块，根据所述当前帧的新块的内容复杂度选择所述当前帧的新块中的所需更新的区域。
根据本发明的自适应块效应去除系统，其还包括像素值重新计算模块，其在采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块的之前，在空域上重新计算所述待更新区域内每个待更新像素的像素值。
根据本发明上述简要叙述的本发明的技术方案，本发明提出了一种基于时域的自适应的去除块效应的方法。在本发明中，对视频帧进行重新分块，新块与原始块相同大小且包含原始块的水平方向和竖直方向的块边界信息。对每个新块，在该帧的前后邻居帧找到最佳匹配新块，并且根据块的内容复杂度不同，确定不同的待更新像素集合，而不是对新块的所有像素都进行更新，这能够极大地降低更新像素的数量并提到视频处理的速度。而且， 同时在空域上对视频帧进行去块效应处理时，对每一个待更新的像素，通过同时考虑水平方向和竖直方向的原始块边界来获取影响该更新像素的像素集，并且依据所获得像素集中不同像素对待更新像素的影响程度不同，尤其是依据所获得像素集中不同像素与待更新像素的距离属性和灰度值差异来进行空域上的更新，因此本发明能够使得去块效应获得视频结果更准确，而且处理过程也更灵活。
图1所示的是根据本发明的基于时域和空域的自适应去块效应方法的流程图。
图2所示的是对输入视频帧进行重新划分为新块的过程的示意图。
图3所示的是在当前视频帧的相邻前后帧中寻找最佳匹配块的过程的示意图。
图4所示的是从新块中根据内容复杂度选择具体更新区域的过程的示意图。
图5所示的是在空域上针对每个待更新像素获取影响其像素值的像素集合的过程的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明进一步详细说明。
图1所示的是根据本发明的基于时域和空域的自适应去块效应方法的流程图。本发明的基于时域和空域的自适应去块效应方法在一种图像处理系统运行，该系统以下也称之为去块效应系统。如图1所示，根据本发明的基于时域和空域的自适应去块效应方法，首先在步骤SlO处，接收所输入的视频，并对当前正在输入的视频帧进行重新分块。通常一帧图像由多个图像块构成。一般一个图像块由8X8个像素构成。图2所示的是对输入视频帧进行重新划分为新块的过程的示意图。如图2所示，每个最小的实线方块为视频帧的原始块，每个最小的虚线方块为进行重新划分后的新块，每个新块与每个原始图像块具有相同尺寸大小。如图2所示的那样，彼此相邻的四个原始图像块的内部水平方向和竖直方向的原始块边界(实线)构成了一个重新划分的新块的两条中心轴，这在图2的右边部分所单独示意的新块中显示出来。即新块的两条中心轴恰为原始图像块的水平方向和竖直方向的块边界，即通常块效应发生的位置。通过这种重新划分方式，使得重新划分后所获得的新块包含原始图像块在水平方向和竖直方向的块边界信息。
然后，在步骤Sll处，去块效应系统中的相关的计算和确定模块对所述当前帧中的每个新块进行判断，以确定所述新块是否需要执行去块效应处理，也就是是否需要对该新块执行更新处理。在执行去块效应处理之前，首先需要确定所述新块中是否存在块效应。 但是为了防止将图像中的真实边界判断为块效应，也就是为了保留图像的真实边界信息， 首先需要判断原始块的水平方向和竖直方向的块边界是否为图像的真实边界信息。只有该新块包含的块边界不是图像的真实边界信息时，才需要对新块实施去除块效应的处理。为此，在步骤Sll处，确定所述新块是否需要执行去块效应处理具体通过计算边界两侧区块的像素差值来执行。具体过程如下。
沿新块的中心轴即原始块的水平方向和竖直方向的块边界，分别计算边界两侧像素的像素值差异及两则区块内的像素差值。如果块边界两侧的像素差值大于两侧区块的像素差值且超过预定阈值Tl，则该边界为图像的真实边界信息。下面以举例的方式给出了该算法的程序。
//对水平边界
int count [7] = {0}；
For i = 0 to 7
for j = 0 to 7
{
if(|Pj,3-Pj,4l > iPj^-Pj^DMdPj^-Pj.J > |Ρρ-ΡΜ|)&&(|Ρ」,3-
Pjj4 < threshold 1)
count [i]++ ；
else break ；
}
If Max (count []) > threshold2
return true edge ；
Il
之后对竖直边界执行同样处理。为节省篇幅，因此省略该描述。
通过上述处理，能够保留属于图像中真实边界，避免不必要的更新。
如果在步骤Sll处判断当前帧的新块中的边界不是图像中的真实边界，则在步骤 S12处执行如下操作在当前帧的前后相邻帧中查找关于当前帧的新块的最佳匹配新块， 即图1中的步骤S121以及S122。在步骤S121中，在当前帧的前一相邻帧中查找关于当前帧的新块的最佳匹配新块，以及在步骤S122中，在当前帧的后一相邻帧中查找关于当前帧的新块的最佳匹配新块。之所以采用这种技术手段是因为为了在时域上对存在块效应的边界进行更精确的更新，从而消除块效应。鉴于当前帧的新块的边界处的对象有可能发生运动，因此单纯根据相同坐标在前后相邻帧中找对应块是不够的。
图3所示的是在当前视频帧的相邻前后帧中寻找最佳匹配块的过程的示意图。如图3所示，左边所示的是当前帧的示意图，其中(X，y)表示构成新块的像素集合，右边所示的是相邻帧的示意图，其中(x' ,1')表示相邻帧中一个可能的最佳匹配块。图3中显示， 当前帧中的新块(X，y)在当前帧中的位置与相邻帧中的块(X'，1')在相邻帧中的位置并不完全对应，这种位置差别显示出两者之间的移动。为了在时域上更精确地对需要去除块效应的当前帧中的新块进行更新，考虑到新块中对象的在时域上在相邻帧中存在移动的可能，因此，本发明在相邻帧中，以与当前帧的新块的位置完全对应的相邻帧中的块的中心为圆心，以预定义步长n(n为正整数，通常为1-20)个像素距离为半径，在前后邻居帧扩展该块，从而获得多个与当前帧的新块相同大小的候选匹配块，这些候选匹配块彼此存在重叠部分。
在获得相邻帧中的候选匹配块之后，计算每个候选匹配块与当前帧的新块之间的对应像素的灰度值的差值的绝对值和，即SAD值。随后比较所计算的每个候选匹配块与当前帧的新块之间SAD值，并将具有最小SAD值的对应前后两帧的候选匹配块确定为两个最佳匹配新块。具体计算步骤如下
1·χ' = x+n ；y' = y+n(η e (-step ；0 ；step))
2.对每一个(x' , y')
计算当前帧中的新块与以为(x'，y')中心的块B(x'，y')的SAD值
如果SAD < T3，则停止；
3.否则，具有最小SAD的B(x'，y')即为所求。
其中，(B(x'，y')表示以(χ'，y')为中心的候选匹配块。SAD为任意候选匹配块与当前帧的新块之间的对应像素的灰度值的差值的绝对值和。很显然，如上所述，为了减少查找最佳匹配块的计算量从而提高计算速度，本发明基于一定的经验，设置了一个预定义阈值T3，并在任意个候选匹配块与当前帧的新块之间SAD小于该阈值时，就直接将该 SAD所对应的候选匹配块确定为相邻帧中的最佳匹配块，从而停止对后续候选匹配块的检测计算，如上面的步骤2所描述的那样。
鉴于人眼对于块效应的敏感度基于图像的复杂程度的不同而不同，具体而言，对于内容平滑的图像来说，人眼对与块效应的敏感度较高，对于内容复杂的图像来说，人眼对块效应的敏感度较低，因此，为了避免对当前帧中的需要更新的新块的所有像素都进行更新导致的图像过分模糊的情况，本发明通过在执行步骤S12中的步骤S121以及S122的同时，还需要执行步骤S123，S卩，根据当前帧的新块的内容复杂度(平滑度)，来选择待更新的像素集合或所需更新的区域。从当前帧的新块中选择待更新的像素集合的过程如下
首先，计算当前帧的新块中的所有像素{Pu} (i,j = 0. . . . . N-l)的平均灰度值μ， 即
权利要求
1.一种自适应块效应去除方法，包括对输入视频当前帧重新分块，使得所重新划分的每个新块的两条中心轴恰为彼此相邻的四个原始块的水平方向和竖直方向的原始块边界；计算所述原始块边界的两侧像素的差值与两侧原始块内部的像素的差值；确定所计算的所述原始块边界两侧像素的差值是否大于所述原始块边界两侧原始块内部的像素的差值以及且所述原始块边界两侧像素的差值是否超过预定义阈值；如果所述原始块边界两侧像素的差值是大于所述原始块边界两侧原始块内部的像素的差值并且所述原始块边界两侧像素的差值没有超过预定义阈值，则在当前帧的前后相邻帧中查找最佳匹配新块，采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块。
2.如权利要求1中所述的自适应块效应去除方法，所述在当前帧的前后相邻帧中查找最佳匹配新块的步骤包括在当前帧的前后相邻帧中找到与当前帧的新块对应位置的相邻帧的新块，并以相邻帧的对应新块的中心为圆心，以预定的半径在前后相邻帧对所述对应新块进行扩展，获得以所述对应新块的中心为圆心的扩展区域；计算前后相邻帧中构成所述扩展区域的每个新块与当前帧新块的对应像素的灰度值之差的绝对值之和；以及将所计算的最小的绝对值之和所对应的扩展区域中的新块确定为当前帧的新块的前后相邻帧中最佳匹配新块。
3.如权利要求1或2中所述的自适应块效应去除方法，还包括在对当前帧的新块进行更新之前，根据所述当前帧的新块的内容复杂度选择所述当前帧的新块中的所需更新的区域。
4.如权利要求3中所述的自适应块效应去除方法，其中，所述选择所述当前帧的新块中的所需更新的区域的步骤还包括根据当前帧的新块的内容复杂度，计算由所述当前帧的新块的两条中心轴所需向外围扩展的步长；将沿所述两条中心轴交叉点向外扩展所计算的步长长度而形成的十字区域确定为待更新区域；
5.如权利要求4中所述的自适应块效应去除方法，其中，所述方法还包括在采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块的步骤之前，在空域上重新计算所述待更新区域内每个待更新像素的像素值，包括针对所述每个待更新像素，在所述待更新区域内获得影响所述待更新像素的像素集合；基于所获得的像素集合与所述待更新像素的距离属性和灰度值差异属性重新计算所述待更新像素的加权像素值。
6.如权利要求1或5中所述的自适应块效应去除方法，所述采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块的步骤通过对当前帧的新块及所确定的前后相邻帧的最佳匹配新块的对应像素的像素值三者进行加权求和来进行。
7.—种自适应块效应去除系统，包括重新分块模块，用于对输入视频的当前帧进行重新分块，使得所重新划分的每个新块的两条中心轴恰为彼此相邻的四个原始块的水平方向和竖直方向的原始块边界；计算模块，用于计算所述原始块边界的两侧像素的差值与两侧原始块内部的像素的差值；确定模块，用于确定所计算的所述原始块边界两侧像素的差值是否大于所述原始块边界两侧原始块内部的像素的差值以及且所述原始块边界两侧像素的差值是否超过预定义阈值；查找模块，用于如果所述原始块边界两侧像素的差值是大于所述原始块边界两侧原始块内部的像素的差值并且所述原始块边界两侧像素的差值没有超过预定义阈值，则在当前帧的前后相邻帧中查找最佳匹配新块；以及更新模块，采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块。
8.如权利要求7中所述的自适应块效应去除系统，所述查找模块包括扩展区域获得模块，在当前帧的前后相邻帧中找到与当前帧的新块对应位置的相邻帧的新块，并以相邻帧的对应新块的中心为圆心，以预定的半径在前后相邻帧对所述对应新块进行扩展，获得以所述对应新块的中心为圆心的扩展区域；灰度值差绝对值和计算模块，计算前后相邻帧中构成所述扩展区域的每个新块与当前帧新块的对应像素的灰度值之差的绝对值之和；以及最佳匹配新块确定模块，将所计算的最小的绝对值之和所对应的扩展区域中的新块确定为当前帧的新块的前后相邻帧中最佳匹配新块。
9.如权利要求7或8中所述的自适应块效应去除系统，还包括更新区域选择模块，根据所述当前帧的新块的内容复杂度选择所述当前帧的新块中的所需更新的区域。
10.如权利要求9中所述的自适应块效应去除系统，其还包括像素值重新计算模块，其在采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块的之前，在空域上重新计算所述待更新区域内每个待更新像素的像素值。
全文摘要
本发明提供了一种自适应块效应去除方法，包括对输入视频当前帧重新分块，使得所重新划分的每个新块的两条中心轴恰为彼此相邻的四个原始块的水平方向和竖直方向的原始块边界；计算所述原始块边界的两侧像素的差值与两侧原始块内部的像素的差值；确定所计算的所述原始块边界两侧像素的差值是否大于所述原始块边界两侧原始块内部的像素的差值以及且所述原始块边界两侧像素的差值是否超过预定义阈值；如果所述原始块边界两侧像素的差值是大于所述原始块边界两侧原始块内部的像素的差值并且所述原始块边界两侧像素的差值没有超过预定义阈值，则在当前帧的前后相邻帧中查找最佳匹配新块，采用所找到的相邻帧中最佳匹配新块来更新当前帧的所述新块。
文档编号H04N7/24GK102547256SQ20101058277
公开日2012年7月4日 申请日期2010年12月10日 优先权日2010年12月10日
发明者刘丽艳, 宫卫涛, 王晓萌 申请人:株式会社理光