专利名称：消除块假象的后处理设备及方法
技术领域：
本发明涉及消除块假象(blocking artifact)的后处理设备及方法，特别涉及在设备中为恢复由块变换操作压缩的图像数据将在邻块中出现间断的块假象减至最小的后处理设备及方法。
有各种标准的方法将视频(和音频)信号编码成数字信号以进行传输或存储并译码该被传输或被存储的数字信号以便进行再现。但是，这些方法产生了极大的编码数字视频数据量。因此，为了减小总数据量，就利用例如变换编码、差值脉码调制、量化和变长编码来消除数字图像信号中所包含的冗余。
图1是示意地表示一般的图像数据编码器的方框图。该设备大体上包括以块为单位将输入图像信号变换成为频域信号并量化变换系数的装置11和12、对量化数据进行变长编码的装置13和14以及对量化数据进行逆量化和逆变换运算来进行运动补偿，由此以块内模式(intramode)或块间(intermode)模式对图像数据进行编码的装置15、16、17、18、19、A1、A2、SW1和SW2。
图2是示意地表示一般的图像数据译码器和后处理设备的方框图，图2的电路用于对已由图1所示编码器编码的图像数据进行译码并再现该译码结果，图2所示电路的操作如下。
编码图像数据QF(u，v)被变长译码器21译码以便输出给逆量化器22。此处输出变换系数的值由编码器(图1)提供的量化级(Quan-tization step)大小Qss进行控制。然后N×N逆变换运算器23依据由逆量化器22提供的频域的变换系数进行变换操作，以便输出空间域的图像数据。
对图2所示N×N逆变换运算器23中每一块的数据压缩采用离散余弦变换(DCT)、华尔氏-哈达玛(Walsh-Hadamard)变换(WHT)、离散傅里叶(Fourier)变换(DFT)或离散正弦变换(DST)方法。例如，如果用DCT方法进行数据压缩，则关于像素P(y，x)的两维正向DCT函数(公式1)和逆DCT函数(公式2)可定义如下S(v,u)=14CuCvΣx=07Σy=07P(y,x)COS[uπ(2x+1)16]COS[vπ(2y+1)16]...(1)]]>P(y.x)=14Σx=07Σy=07S(v,u)CuCvCOS[uπ(2x+1)16]COS[vπ(2y+1)16]...(2)]]>这里的U、V、Y和X是从0至7的整数，CU和CV在U和V都为零时都等于1/√2，否则等于1。
来自编码器(图1)的运动矢量MV提供给译码器的运动补偿器24。运动补偿器24从存储在帧存储器25的前帧数据中读出相应于该运动矢量的一N×N块、执行运动补偿并将结果提供给加法器A3。加法器A3将逆DCT数据和该N×N块的数据相加并将结果输出给后处理器26，以便从接收的失真图像恢复原始图像。就是说，如果该接收信号是以块为单位压缩的图像数据，就产生了块假象。块假象是在相邻块之间出现的间断，是一种失真。
因此，在普通设备中，为了减小块假象的产生，以空间方式对边界像素进行低通滤波操作。但是，在不是空间域的变换域中的后处理简化了译码器结构，而且还很有效。
因此，正如Chung-nan Tien和Hseuh-ming Hang在“DCT编码图像的变换域后处理”(′93 SPIE Proceeding，2094卷，1627-1638页)中所指出的，利用补偿DCT系数进行后处理，以下将参看图3至图7对此进行说明。
图3示出了所述后处理方法的流程图。
参看图3，接收的量化块被逆量化(步骤1)，将图4所示由当前块及其8个邻块组成的被处理部分划分为平滑或边缘部分(步骤2)。由于块假象在平滑部分中特别使人烦恼，所以如果被处理部分是平滑的就进行后处理(步骤S3至S5)，如果被处理部分是边缘部分，就对该被处理部分进行逆变换运算，以便输出重构图像块(步骤S6)。
首先更详地说明后处理(步骤S3至S5)。
如果被分类的部分是平滑部分，就调整DC值(步骤S3)。此处由于DC值表示图像块的平均亮度，所以通过调整DC值就能够改变总的图像块亮度电平。换句话说，根据相邻块的信息调整当前块的DC值加权平均方法被用来减少相邻块之间的间断(成块)。blocki，j的DC值(DCi，j)可以用被调整的DC值DCadj(i，j)来代替以便于相邻块之间的平滑过渡。可以如下地计算被调整的DC值DCadj(i,j)=Σg=11Σh=11DCi,g,j,hWMghΣg=11Σh=11WMgh...(3)]]>此处如下面表达式(4)所示的加权掩码(WM)根据经验来选择。WM=1111131111...(4)]]>如上所述，虽然通过调整DC值能够改变平均图像强度，但即使当利用DC值调整减弱了邻块DC值的突变性时，间断可仍然存在，不能够彻底消除块假象。因此需要调整两个其它的变换系数，对它们进行逆变换运算并将它们进行输出。即调整垂直和水平AC系数VAC和HAC，即DCT系数(0，1)和(1，0)(步骤S4和S5)。由于HAC和VAC操作非常类似，所以将只描述VAC操作。
利用以上公式(1)的正向DCT函数来计算S(V，U)的垂直AC系数(此处V＝0，U＝1)。S(0,1)=1412Σx=07Σy=07P(y,x)COS[π(2x+1)16]...(5)]]>这里的S(0，1)是垂直AC系数(VAC)。利用以上公式(2)的逆DCT运算来计算受垂直AC系数影响的在空间域中的像素值的大小。P(y,x)=1412VACcos[π(2x+1)16]...(6)]]>正如可以在以上公式(6)中看到的，垂直AC系数只与沿水平方向被余弦函数调制的振幅变化有关。因此，VAC值减小了跨越垂直边界的块假象并沿水平方向恢复了连续性。
如图4和5所示，blocki，j-1、blocki，j和blocki，j+1是水平相邻块，因此需要VAC调整。用VAC调整来消除在DC调整之后剩下的块假象。因此需要测量在两个相邻块的边界处它们之间的间隙(gap)。在块中没有剧烈变化的假定下，通过以下的过程用上式公式(6)来估算间隙。
首先，强度Pi，j(左)和Pi，j(右)相应于blockij的左和右边界，它们可表示如下 0.17654VACi，j…(7)以及 ＝0.17654VACi，j…(8)然后，blocki，j-1的右边界和blocki，j-1的左边界可表示如下Pi，j-1(右)＝0.17654VACi，j-1……(9)以及Pi，j+1(左)＝0.17654VACi，j+1……(10)相邻块边界之间的间隙可计算如下gapi，j(左)＝Pi，j-1(右)-Pi，j(左)……(11)gapi，j(右)＝Pi，j(右)-Pi，j+1(左)……(12)图6表示强度和边界强度之间的间隙。
当前块边界和相邻块之间平均间隙(gapave(i，j))可表示如下
如果当前块和相邻块具有沿水平方向连续的像素值，则gapave的值就为零。大的gapave值表示大的间断。因此，可以通过减小gapave的值来减弱突变性。通过将平均间隙减半来实现间隙调整，即gapadj＝gapave/2，为了减小blocki，j边界的间隙，VACadj=VACi.,j+42gapadjcos(π/16)...(14)]]>VAC调整之后块边界的强度如图7所示。在此还以类似的方法进行HAC调整来减小垂直突变性。
由于上述后处理方法在调整DC值期间采用周围块DC值的加权平均值并在计算水平和垂直AC调整值HAC和VAC时独立地进行水平和垂直调整，所以这一方法对于消除块假象不是非常有效。
因此，本发明的目的是提供一种后处理设备，用于在设备中重构以块为单位被压缩的图像数据时，对于在量化时的信息丢失，通过估算变换系数(调整值)将块假象减至最小来将块边界之间的像素差减至最小并将该估算信号加到原始信号。
本发明的另一目的是提供由上述后处理设备执行的后处理方法。
为了实现本发明的第一个目的，提供了对于以块为单位进行了预定逆量化和逆变换运算的接收图像信号消除块假象并再构原始图象的后处理设备，该后处理设备包括一输入端用于接收被进行了逆变换运算的图像信号；调整系数计算装置用于在预定变换域中计算使输入端输入的图像信号的当前块和相邻块之间边界处的像素差之和减至最小的预定数目的调整系数；利用调整系数计算调整值的调整值计算装置；确定被进行了逆变换运算的图像信号是在边缘区域中还是在平滑区域中并输出用于确定是否调整该块图像信号的调整控制信号的调整控制装置；以及根据调整控制信号将调整值与被进行了逆变换运算的图像信号相加的加法装置。
为了实现本发明的另一目的，提供了对于以块为单位进行了逆量化和逆变换运算的接收图像信号消除块假象并再现原始图像的后处理方法，该方法包括以下步骤(a)输入被进行了逆变换运算的图像信号；(b)在执行了选定变换运算的区域中选择预定数目的调整系数；(c)计算使当前块和相邻块之间边界处的像素差之和减至最小的调整系数；(d)利用调整系数和调整比例值计算调整值；(e)根据对被进行了逆变换运算的图像信号是在边缘区域中还是在平滑区域中的判断结果产生用于确定是否调整该图像信号的调整控制信号；以及(f)根据调整控制信号将所述计算的调整值与被进行了逆变换运算的图像信号相加。
通过参考附图详细地描述本发明的一最佳实施例将更加清楚本发明的上述目的及其它优点，附图简要说明图1是表示一般的图像数据编码器的方框图；图2是表示一般的图像数据译码器和后处理设备的方框图；图3是说明普通后处理方法的流程图；图4表示当前块和相邻块；图5表示受到VAC和HAC调整影响的相邻块；图6表示相邻块之间的强度和间隙；图7表示在VAC调整后块边界的强度；图8是本发明的消除块假象的后处理设备的方框图9A和图9B表示图8所示调整系数计算器的操作；图10表示在进行调整之前和之后的块值；图11说明在块边界处使用的像素差之和的方法；图12是表示图8所示采用Sobel运算器的调整控制器的详细方框图。
首先通过参看图2说明块假象是如何产生的从而描述消除块假象的后处理设备及其方法的一实施例。
图2所示变长译码器21的输出信号是量化变换系数QF(u，v)。假定F(u，v)表示在量化或逆量化期间无信息损失的变换系数，Fq(u，v)表示逆量化器22输出的变换系数，则F(u，v)可表示为F(u，v)＝Fq(u，v)+△F(u，v) …(15)其中△F(u，v)是量化步骤中的信息损失，它就是块假象的起因。
在本发明中，值△F(u，v)被估算和被进行逆变换运算。然后被进行了逆变换运算的调整值与信号fq(x，y)相加、即Fq(u，v)的逆变换运算，以便由此有效地减轻块假象的程度。
图8是表示本发明的消除块假象的后处理设备一实施例的方框图。
参看图8，标号31表示调整系数计算器，用于接收被进行了逆变换运算的原始图像信号fq(x，y)和接收调整系数选择信号并对调整系数进行计算，标号32表示调整值计算器，用于接收调整系数选择信号和由调整系数计算器31计算的调整系数以及调整比例(factor)并计算使块边界处的像素差减至最小的调整值，标号33表示调整控制器，用于接收被进行了逆变换运算的原始图像信号fq(x，y)和调整阈值并输出调整控制信号给调整系数计算器31和调整值计算器32，标号34表示选择器，用于根据调整控制器33的调整控制信号有选择地输出调整值计算器32计算的调整值，标号35表示加法器，用于将被进行了逆变换运算的原始图象信号fq(x，y)与选择器34的输出相加并输出后处理图象信号f′(x，y)。此处，被进行了逆变换运算的原始图象信号fq(x，y)由图2所示经加法器A3输入，而调整系数选择信号、调整比例和阈值由未示出的一般系统控制器来提供。
当图8所示设备工作时，首先调整系数计算器31接收被进行了逆变换运算的原始图像信号fq(x，y)和调整系数选择信号并计算选择的系数。
当块大小是N×N时，△F(u，v)可估计系数的数目通常是N2。但是，实际上只有那些有利于消除块假象的系数才被选择并作为预定数目的调整系数选择信号被输入给调整系数计算器31。调整系数选择信号的数目可以从1设定至N2。但是，在本发明的最佳实施例中，只有三个这样的信号a0、a1和a2。
图9A和9B用于说明调整系数的选择。在图9A中，待处理块的像素被表示为f(x，y)，周围的相邻块是Z1、Z2、Z3和Z4。图9B示意地表示其大小为N×N的当前块的每一像素。
在此将描述这样的例子，在该例子中，进行调整所采用的压缩技术是任意的，为了将图像信号变换为水平和垂直频率分量，采用了被图像编码器和译码器广泛使用的两维DCT。
如果调整系数选择信号表示DCT的DC系数和一阶(first-order)余弦值(垂直和水平一阶分量)，则调整值△f(x，y)可以表示为Δf(x,y)=a0·a1cos[π(2X+1)2N]·a0cos[π(2y+1)2N]...(16)]]>其中的a0、a1和a2是调整系数计算器31计算的调整系数。计算调整系数的方法使用了将边界处的突变性减至最小的值。D(a0,a1,a2)=Σx=0N-1[Z1(x,N-1)fq(x,0)Δf(x,0)]2]]>Σy=0N-1[Z2(0,y)-fq(N-1,y)Δf(N-1,y)]2]]>Σx=0N-1[Z3(x,0)-fq(x,N-1)-Δf(x,N-1)]2]]>Σy=0N-1[Z4(N-1,y)-fq(0,y)Δf(0,y)]2...(17)]]>由公式(17)可见，通过用变量a0、a1和a2代入公式(16)的△f可以表示出间断(D)。
当根据方程(17)对a0、a1和a2求偏微分获得的三个方程等于零时，就得到了使方程(17)最小的调整系数值0、1和20。然后在方程(16)中用计算的调整系数值来代替变量，即Δf(x,y)=a^0+a^1cos[π(2x+1)2N]+a^2cos[π(2y+1)2N]...(18)]]>利用加法器35将经选择器34根据方程(18)计算的调整值与被进行了逆变换运算的原始图像信号fq(x，y)相加。
在此时，由于对每一块独立地进行调整，所以在当前块和相邻块之间的边界处就会产生寄生假象(spurious artifact)。这种寄生假象的一个例子如图10所示。为减轻这种影响，可以通过如下地利用预定调整比例(factor)、λ0、λ1、λ2来计算实际调整值Δf(x,y)=λ0a^0+λ1a^1cos[π(2x+1)2N]+λ2a^2cos[π(2y+1)2N]...(19)]]>一般来说可以对每一调整系数独立地确定调整比例值或者对所有调整系数确定共同调整比例值，即λ0＝λ1＝λ2＝λ以选择合适的调整比例值。
与此同时，当在被进行了逆变换运算的图像信号fq(x，y)中有边缘存在并将计算的调整值施加于相应的块来消除块假象时，就可能使该边缘质量恶化，边缘质量的恶化将造成图像质量的恶化。因此，调整控制器33产生调整控制信号，以便仅当当前块在平滑区域中时才进行调整，就是说，如果当前块在边缘区域中就不进行调整。
为此，调整控制器33可以采用边缘确定器根据像素之间的差值确定边缘。本发明提出以下两种方法。
第一种方法利用了块边界处的像素差之和。如果该和大于预定阈值，就认为存在图像边缘，于是不调整块假象。该方法可分别应用于水平和垂直块边界。
如图11所示，间断D1、D2、D3和D4可以根据以下公式(20)至(23)来计算，属于NXN块的四个基本边界。D1=Σx=0N-1[Z1(x,N-1)-fq(x,0)]2...(20)]]>D2=Σy=0N-1[Z2(0,y)-fq(N-1,y)]2...(21)]]>D3=Σx=0N-1[Z3(x,0)-fq(x,N-1)]2...(22)]]>D4=Σy=0N-1[Z4(N-1,y)-fq(0,y)]2...(23)]]>是否沿水平方向(X轴)进行调整是通过将水平阈值THD1与间断D2(当前块和块Z2之间右边界像素差之和)和间断D4(当前块和块Z4之间左边界像素差之和)之间的差进行比较来确定的。
不进行调整 |D2-D4|＞THD1……(24)进行调整|D2-D4|＜THD1……(25)由上述公式(24)和(25)可见，相邻块之间的差|D2-D4|大于阈值THD1的情况表示边缘区域，不需要进行调整，相邻块之间的差|D2-D4|小于阈值THD1的情况表示平滑区域，需要进行调整。
应用同一方法，可如下地将垂直阈值THD2用于垂直(Y轴)调整不进行调整 |D1-D3|＞THD2……(26)进行调整|D1-D3|＜THD2……(27)调整控制器33输出表示只沿垂直方向或只沿水平方向还是沿两个方向进行调整的调整控制信号。将调整控制信号提供给调整系数计算器31和调整值计算器32。如果例如只沿水平方向。(即|D2－D4|＜THD1，|D1－D3|＞THD2)进行调整，则调整系数计算器31只计算a0和a1值，调整值计算器32在垂直方向不调整频率分量。即根据公式(19)，有Δf(x,y)-λ0a^0+λ1a^1cos[π(2x+1)2N]...(28)]]>利用上述公式(28)计算的调整值与被进行了逆变换运算的原始图像信号fq(x，y)相加，由此输出后处理图像信号。
本发明提供的确定边缘存在的第二种方法采用Sobel运算器。图12是表示采用第二种方法的调整控制器的详细方框图。
在图12中，Sobel运算器41接收被进行了逆变换运算的原始图像信号fq(x，y)和阈值THD3，并且将在具有预定大小的窗口中的当前和相邻像素之间的差之和与阈值THD3比较，并确定如果差大于阈值THD3像素具有边缘分量。将基于该判断的边缘控制信号输出给边缘像素计数器42。(检测边缘的Sobel方法的说明可参看由Prentice-Hall出版社1990年出版的Jae S.Lim所著的“两维信号和图像处理”，478-483页)。边缘像素计数器42计算在该块的N2个像素中被确定为边缘分量的像素的数目。然后每一块中边缘(NEblk)的数目与可允许的边缘数目(THD4)作比较。
不进行调整NEblk＞THD4……(29)进行调整 NEblk＜THD4……(30)确定装置43根据上述公式(29)和(30)所示的关系确定是否进行调整并输出调整控制信号以便根据公式(19)的调整值同时地进行DC调整以及垂直和水平调整。
为了更有效地消除块假象，可以利用与后处理设备26的输出端连接的多个后处理设备重复地执行本发明的后处理方法，它们的每一个都执行上述后处理方法。这时对每一后处理设备确定不同的调整比例值。
由于，例如在高清晰度电视、数字电视、采用MPEG-1和MPEG-2的产品和多媒体系统中，大多数图像压缩用块变换运算来实现，所以本发明得到广泛的应用。
如上所述，根据本发明的设备估算在量化期间丢失的变换系数、对估算的信号进行逆变换运算并将该估算的信号与被进行了逆变换运算的重构图像信号相加，以便将边界像素处的图像差减至最小。此外，对于块边界差同时进行水平和垂直调整，这就能够更有效地消除块假象。
权利要求
1.一种将接收的图像信号进行消除块假象，并再现原始图像的后处理设备，该图像信号已被以块为单位作了预定逆量化和逆变换运算，包括一输入端，用于接收被进行了逆变换运算的图像信号；调整系数计算装置，用于在预定变换域中计算，将在经所述输入端输入的图像信号的当前块和相邻块之间边界处的像素差之和减至最小的预定数目的调整系数；调整值计算装置，利用调整系数计算调整值；调整控制装置，用于确定被进行了逆变换运算的图像信号是在边缘区域中还是在平滑区域中并输出用于确定是否调整所述块图像信号的调整控制信号；以及加法装置，用于根据调整控制信号将调整值与被进行了逆变换运算的图像信号相加。
2.根据权利要求1的后处理设备，其中，所述预定变换是离散余弦变换。
3.根据权利要求1的后处理设备，其中，所述调整系数计算装置在相应于变换块大小的一些调整系数中选择至少一个调整系数。
4.根据权利要求2的后处理设备，其中，所述调整系数计算装置的调整系数是DCT块的DC分量以及水平和垂直一阶余弦分量。
5.根据权利要求1的后处理设备，其中，所述预定块变换是华尔氏-哈达玛变换即WHT变换。
6.根据权利要求1的后处理设备，其中，所述调整值计算装置通过利用预定调整比例值来控制调整的程度。
7.根据权利要求6的后处理设备，其中，所述调整比例值根据所述调整系数的数目来确定。
8.根据权利要求6的后处理设备，其中，所述调整比例值全部都设定为同一值。
9.根据权利要求1的后处理设备，其中，所述调整控制器利用当前块和相邻块之间边界像素差之和来产生独立地控制垂直和水平调整的调整控制信号。
10.根据权利要求9的后处理设备，其中，所述调整控制器通过将相应于当前块的边界像素和相邻右块的边界像素之间差之和的间断与相应于当前块的边界像素和相邻左块的边界像素之间差之和的间断进行比较来产生用于确定是否沿水平方向进行调整的调整控制信号。
11.根据权利要求9的后处理设备，其中，所述调整控制器通过将相应于当前块的边界像素和相邻上块的边界像素之间差之和的间断与相应于当前块的边界像素和相邻下块的边界像素之间差之和的间断进行比较来产生用于确定是否沿垂直方向进行调整的调整控制信号。
12.根据权利要求9的后处理设备，其中，所述调整控制器只对于垂直方向、只对于水平方向和对于两个方向输出调整控制信号。
13.根据权利要求1的后处理设备，其中，所述调整控制装置包括sobel运算器，用于接收所述逆变换运算的图像信号，确定逆变换运算的重构图像信号是否具有边缘分量并输出边缘控制信号；边缘像素计数器用于根据所述边缘控制信号计算在一块中的像素的数目；以及确定装置用于将边缘像素的计算数目与表示在一预定块中被允许的边缘像素数目的阈值进行比较并根据该比较结果输出调整控制信号。
14.根据权利要求13的后处理设备，其中，所述确定装置输出对于垂直和水平方向同时进行调整的调整控制信号。
15.根据权利要求1的后处理设备，其中，所述后处理设备在图像译码器中是多个。
16.根据权利要求15的后处理设备，其中，所述多个后处理设备的每一调整值计算装置采用同一调整比例值来控制调整的程度。
17.根据权利要求15的后处理设备，其中，所述多个后处理设备的每一调整值计算装置采用不同的调整比例值来控制调整的程度。
18.一种将接收的图像信号进行消除块假象并重构原始图像的后处理方法，该图像信号已被以块为单位作了预定逆量化和逆变换运算，所述方法包括以下步骤(a)输入被进行了逆变换运算的图像信号；(b)在执行选定变换运算的区域中选择预定数目的调整系数；(c)计算使当前块和相邻块之间边界处的像素差之和减至最小的调整系数；(d)利用所述调整系数和调整比例值计算调整值；(e)根据对被进行了逆变换运算的图像信号是在边缘区域中还是在平滑区域中的判断结果产生用于确定是否调整该图像信号的调整控制信号；以及(f)根据所述调整控制信号将所述计算的调整值与被进行了逆变换运算的图像信号相加。
19.根据权利要求18的后处理方法，其中，所述步骤(c)至(f)通过利用所述步骤(f)中获得的和信号重复进行。
20.根据权利要求18的后处理方法，其中，所述选定的变换是离散余弦变换(DCT)，即DCT变换。
21.根据权利要求18的后处理方法，其中，所述选定的变换是华尔氏-哈达玛变换，即WHT变换。
22.根据权利要求20的后处理方法，其中，所述步骤(b)选择离散余弦变换DC分量、一阶水平和垂直分量。
23.根据权利要求18的后处理方法，其中，所述步骤(d)不管相应的变换系数而采用全部相等的调整比例值。
24.根据权利要求20的后处理方法，其中，对于每一选择的变换系数分别确定在所述步骤(d)中的调整比例值。
全文摘要
一种在重构经块变换操作压缩的图像时，用于消除所产生的块假象的后处理设备及方法，将在块边界处的块假象减至最小，即选择预定的离散余弦变换(DCT)、并对于在量化或逆量化时丢失的信息估算变换系数以便对于相邻块具有最大的连续性、对估算的变换系数进行逆变换运算以及将如此获得的调整值与被进行了逆变换运算的重构图像信号相加。
文档编号H04N7/30GK1145566SQ9610130
公开日1997年3月19日 申请日期1996年1月19日 优先权日1995年1月20日
发明者全炳宇, 郑济昌 申请人:三星电子株式会社