专利名称：视频信号后处理方法
技术领域：
本发明涉及一种对包括在一序列数字图像中的像素进行后处理的方法，所述方法包括检测属于图像内自然轮廓(natural contours)的像素的步骤和像素滤波步骤。
本发明还涉及一种执行该后处理方法的装置。
本发明特别的在视频编码领域获得应用。编码技术例如基于MPEG(来自英文“Moving Pictures Expert Group(运动图像专家组))标准或一个等效的标准。根据该标准事先编码一序列数字图像和随后以数据块的形式对其解码，本发明允许校正包括在数字图像的解码序列中的数据，以消弱由基于块的编码技术所导致的视觉假象(visualartifact)。从而能够有利于集成在视频解码器或电视接收机中。
背景技术：
使用MPEG编码技术或等效技术，低比特率的图像序列的编码将视觉假象引入到解码图像中。在大多数常见的假象中，首先能够提到的是块假象(blocking artifact)，它导致图像可视的分成多个块，一般是8×8像素。第二种类型的假象包括环假象(ringing artifact)。具有多个自然轮廓的回波图像(echo)，这种可见缺陷也称为Gibbs现象。由于这些假象能够造成很大的危害，所以有必要修改它们。
虽然有许多用于校正块假象的方法，但是另一方面，用于校正环假象的方法却很少。国际专利申请WO2001/24115(内部参考PHF99584)描述了这样一种试图减小块假象的方法，该方法用于后处理包括在一序列数字图像中的像素。该后处理方法包括，使用例如Sobel滤波器检测属于图像中自然轮廓的像素的步骤。
该方法还包括，根据一个当前像素的周围情况确定所述像素的滤波的步骤。为此，后处理方法能够将图像分成像素的4×4区域，当前像素属于中心区域，对邻近于中心区域的东、南、西和北区域加以考虑。从而如果满足下面三重条件，那么对中心区域内的一个当前像素进行滤波
-它不属于一个自然轮廓，-出现在5个区域中的自然轮廓像素的数目，少于第一预定值Nmax。
-出现在每个区域中的自然轮廓像素的数目，大于第二预定值Nmin。
最终，后处理方法包括，从所述像素附近对要滤波并从而确定的像素进行中值滤波的步骤。当前像素附近包括在一组中的某些像素，该组包括有所述当前像素和与其邻近的东、南、西和北像素，取决于一些所述邻近像素是否是自然轮廓像素。
然而，由于这种后处理方法要求具有属于5个不同区域的像素的数值，所以执行该方法会相对复杂。
发明概述本发明的目的是提出一种方法，用于后处理包括在一序列数字图像中的像素，该方法可以更为简单的执行。
所以，根据本发明的后处理方法特征在于它还包括检测对应于一个编码块的研究区域(investigation zone)的步骤，如果一个当前的像素没有被检测到为自然轮廓像素并且如果该像素属于一个包括至少一个自然轮廓像素的编码块，那么对当前像素进行滤波。
因此，本发明考虑到属于一个编码块的像素的数值，通常是8×8像素(8个像素的8行)，优于属于4×4像素(4个像素的4行)的5个不同区域的像素的数值。本发明能够由更容易访问的较少量的像素作出滤波决定，因为它们分布在8行上而不是在12行上，从存储器访问角度来看，这使得后处理方法的执行更为简单。
另外，本发明源于下面的分析。环假象由编码块中的变换DCT(表示“离散余弦变换”)系数的高度量化而产生。从这个假设开始，能够得出，如我们已经看到的，环假象对应于一个自然轮廓的一个回波图像(echo)，环假象仅在一个研究区域中发现，该研究区域对应于出现至少一个自然轮廓中的编码块。这个分析的结果是，对不包括任何自然轮廓的研究区域不进行滤波，这是使用该技术的状态的方法而发生的，其中滤波决定不考虑编码块。由于根据本发明的后处理方法通过排除不包括自然轮廓的研究区域内的所有像素而处理很少的像素，所以进一步简化了该方法。由于它考虑了基于块的编码技术，所以它也更有效。
本发明还涉及执行根据本发明的像素后处理方法的装置。
本发明将参照附图中示出的实施例进一步描述，但本发明不受附图的限制。
图1示出了用于处理数字视频信号的一条完整通路(completechain)的功能，图2是根据本发明的像素后处理方法的示意图，图3示出了要滤波的当前像素的邻近范围，图4示出了从一个亮度样本中，检测属于自然轮廓的色度取样。
优选实施例描述本发明涉及一种方法，用于后处理包括在一系列数字图像中的像素。当根据基于块的编码技术事先对数字图像编码并随后解码时，所述方法试图提高数字图像的视觉品质。
特别是为了基于MPEG-2或MPEG-4标准的编码技术开发了该后处理方法。然而，它仍能用于其它的基于块的编码技术，例如H.261、H.263或H.26L。
图1示出了用于处理包括有编码的数字图像10的数字视频信号的一条完整通路的功能。所述通路包括一个视频解码器11，该视频解码器11包括解码模块12和试图通过一条信道13传输解码图像14到电视接收器15，电视接收器15显示从而解码的数字图像。与信号编码之前发生所述信号预处理截然不同，一个校正或后处理装置16提高视频图像的视觉品质，并在显示屏17上提供显示视图。该后处理装置设置在如虚线所示的视频解码器的输出端，或如实线所示的电视接收器的输入端。
在第一实施例中，在电视接收器端执行后处理方法。图2中所描述的像素后处理方法从而包括下列步骤首先，检测属于解码图像14中自然轮廓的像素的步骤200。为此，检测步骤是基于梯度滤波(gradient filtering)GF201的，优选使用两维Sobel滤波器，垂直方向上的滤波器Sh，水平方向上的滤波器Sv。能够使用其它的梯度滤波器用于检测自然轮廓，这对于本领域技术人员来说是显而易见的。所用的Sobel过滤器如下Sh=-1-2-1000121]]>和Sv=-101-202-101]]>Sobel滤波器应用到图像像素的亮度分量Y，检测步骤导致水平滤波数据的图像Gh＝Y*Sh、垂直滤波数据的图像Gv＝Y*Sv。
随后，一个阈值THR202应用到过滤的像素的两个映射(map)中的每一个。总滤波后的亮度值G(i，j)＝Gh(i，j)2+Gv(i，j)2大于预定阈值T1的所有像素p(i，j)，具有最终的值1，即它们被检测为自然轮廓像素20，其它的像素具有0值。预定阈值T1优选的是经验值，该值是以一种绝对的方式从测试的一定数目的数字图像序列中确定的，例如对于0到255之间的亮度值等于12000。这个阈值能够精细(refined)如下，被检测的像素作为一个自然轮廓像素，如果G[i，j]＞T1 AND(((|Gv[i，j]|≥|Gh[i，j])AND(G[i，j]≥G[i，j-1])AND(G[i，j]≥G[i，j+1]))OR((|Gh[i，j]|≥|Gv[i，j]|)AND(G[i，j]≥G[i-1，j])AND(G[i，j]≥G[i+1，j])))预定阈值也能够以相对的方式确定为等于T2，其计算方法非常复杂T2=Σi=1nΣj=1mGh(i,j)2+Gv(i,j)2n·m]]>其中图像中n是行的数目，m是列的数目。
另外，检测步骤能够考虑到因而检测的自然轮廓像素的环境。从而包括一个精细refinement)子步骤203，这样以致于，如果包括围绕某一个像素的8个像素的邻近区域不包括其它的自然轮廓像素，那么所述像素不再与自然轮廓像素相同。从而，不认为一个孤立的(isolated)自然轮廓像素是一个真正的自然轮廓像素20。
该后处理方法还包括检测对应于一个编码块的研究区域21的步骤210。在电视接收机中，不能获得与解码相关的信息。因此，必须分析至少一个图像的内容，以确定相当于编码块的研究区域的位置和尺寸。这样一个块在MPEG标准下一般包括8×8像素(8个像素的8行)，但是在解码过程中图形的再取样之后，研究区域可以具有不同的尺寸，根据由MPEG标准允许的主再取样模式(main resamplingformats)，在下文中假设尺寸为10×8像素(10个像素的8行)、12×8像素(12个像素的8行)或16×8像素(16个像素的8行)。考虑到其它的模式，能够对下面描述的方法进行简单的适配。
检测研究区域的步骤优选基于在国际专利申请WO01/20913(内部参考PHF99579)描述的方法。检测研究区域的步骤包括，水平和垂直梯度滤波子步骤GF 211，用于数字图像的亮度像素y(i，j)或用于序列中数字图像的一部分，其中i和j对应于像素在图像中的位置。梯度滤波步骤使用例如先前提到的Sobel滤波器。随后获得水平和垂直滤波像素xh(i，j)、xv(i，j)列表，对它们取绝对值ABS 212以获得xah(i，j)、xav(i，j)。
研究区域检测步骤还包括检测块假象BAD的子步骤213。从而检测到垂直的块假象，如果xah[n,j]>xah[n,j-1]+xah‾2xah[n,j]>xah[n,j+1]+xah‾2∀n∈[i,i+7]]]>同样，检测到水平的块假象，如果xav[i,m]>xav[i-1,m]+xav‾2xav[i,m]>xav[i+1,m]+xav_2∀m∈[j,j+k-1]with k=8,10or12]]>分析步骤SCAN 214随后确定对应于编码块的研究区域的位置和尺寸。
为此，当为列j检测到一个垂直块假象时，包括8、10和12值的三个向量vTab8、vTab10、vTab12的值vTab(j％8)、vTab(j％10)和vTab(j％12)增加，a％b或模数b作为操作，它们的结果是a除以b的余数。同样，当在行i检测到一个水平块假象时，包括8值的向量hTab的值vTab(i％8)增加。
并行的和为了确定研究区域的尺寸，设置一个常用的计数器，然后在读出图像中的每个像素或部分像素时增加该计数器的计数值。当检测到一个垂直的块假象时，计数器设置为0。确定的原理是要知道当前的垂直块假象是否远离8、10和12像素的最后一个垂直块假象。从而，如果该常用计数器在两个垂直块假象之间的值等于8、10或12，那么计数器网格(grid)8、网格(grid)10和网格(grid)12之一增加，计数器网格8、网格10和网格12分别与8、10和12像素的研究区域的宽度相关。研究区域的宽度k随后对应于具有最大值的计数器。
这种指示给出 从三个可能的向量中要加以考虑的向量vTabk，k＝8、10或12，并且通过在向量hTab和vTabk中寻找最大值确定研究区域的数据源。
其它检测研究区域的方法也是可以的，例如在欧洲专利申请NO.1202577(内部参考PHF000106)中描述的。
-后处理方法随后包括滤波确定步骤220如果一个当前的像素没有被检测到作为自然轮廓像素并且如果该像素属于一个包括至少一个自然轮廓像素的研究区域，那么对该当前像素进行滤波。
-最后，后处理方法包括滤波步骤230满足上面设置的标准的像素经过过滤。这种滤波最好是中值滤波。也能够设想一种中值滤波。
中值滤波能够使用来自于它邻近范围的像素替换当前像素。当前像素的邻近范围包括图3中所示一组像素中的某些像素，并且包括所述当前像素30和邻近当前像素30的东像素31、南像素34、西像素33和北像素32。
如果邻近范围内没有像素是自然轮廓像素，那么当前像素的值Y0用其值是当前像素和邻近范围内东、南、西、北像素的五个亮度值中的中值MED的像素代替。
然而，发生这样一个替换，仅在如果中间值MED与当前像素的值Y0仅相差小于一个预定的阈值的值Dmax，例如在亮度值在0到255之间的情况下，等于40，即换句话是说如果Abs(MED-Y0)＜Dmax，其中Abs(x)是对x取绝对值的函数。从而这样一个滤波能够避免进行错误校正。
相反的，当前像素的值Y0最好保持不变，以减小该方法的复杂程度。然而，也能够设想选择一组像素的中值滤波，该组像素包括当前像素和一些邻近它的东、南、西和北像素，这依赖于这些邻近像素是否是自然轮廓像素，如国际专利申请WO2001/24115中描述的。
在第二个实施例中，在视频解码器端执行后处理方法。与先前所述的在电视接收中的实施例相比，通过使用在解码器中获得的解码信息，能够改进和简化该后处理方法。那么，该后处理方法包括下列步骤-检测属于图像中自然轮廓的像素的步骤(200)。如在第一实施例中，这个自然轮廓检测步骤是基于使用Sobe1滤波器Sh和Sv的。在第二实施例中，预定的阈值T1是以一种绝对的方式从一定数目的数字图像序列中确定的，预定的阈值T1设置为等于20000。
另外，除像素的亮度分量外，考虑色度分量。为此，自然轮廓检测不直接应用到一个图像的像素的色度值上，而是从如下的亮度值推出，如图4所示，在4∶2∶0的图像规格的情况下，其中对于4个亮度样本Y有一个色度取样U和一个色度取样V。从而，色度U或色度V的值A(47)从对应的4个最终值a(43)、b(44)、c(45)、d(46)中推出，对应的4个最终值从以下形式应用到亮度41的像素检测步骤200中得出A＝a OR b OR c OR d对于具有自然轮廓的像素a，b，c或d＝1，否则为0。
因此，如果对应于一个色度取样的四个亮度样本中的至少一个是自然轮廓像素，那么该色度取样是一个属于自然轮廓的样本。
那么下面的步骤对于亮度和色度分量是相同的，即-检测对应于一个编码块的研究区域21的步骤210。在视频解码器侧，由于直接访问编码块并因此不再需要步骤梯度滤波GF 211、绝对值计算212、块假象检测213和分析214，所以跟容易执行该检测步骤210。
-滤波确定步骤220对所有像素试图进行滤波，这些像素包括属于包括至少一个自然轮廓像素的研究区域的像素和那些不是自然轮廓像素的像素。
-滤波步骤230对要滤波的像素进行滤波，优选的是中值滤波。该滤波依赖于编码块的量化步骤QP，要滤波的像素属于这个编码块。
如果量化步骤QP确实小于第一预定值Q1，那么不执行任何滤波，判断编码的质量满足要求。
如果量化步骤QP大于等于第一预定值Q1并小于等于第二预定值Q2，那么应用与第一实施例中所述相同的中值滤波。
如果量化步骤QP确实大于第二预定值Q2，那么必须应用有力地校正。为此，使用一组像素的值应用平均滤波，该组像素包括当前像素和邻近它的东、南、西和北像素。
因此，如果像素不是一个自然轮廓像素，那么使用平均值Ymean代替亮度值Y0Ymean＝1/5*(Y0+Y1+Y2+Y3+Y4)其中-Y1＝Y(East)，如果东侧像素不是一个自然轮廓像素并且否则Y1＝Y0，-Y2＝Y(North)，如果北侧像素不是一个自然轮廓像素并且否则Y2＝Y0，-Y3＝Y(West)，如果西侧像素不是一个自然轮廓像素并且否则Y3＝Y0，-Y4＝Y(South)，如果南侧像素不是一个自然轮廓像素并且否则Y4＝Y0。
Q1和Q2是凭经验预先分别确定的值，例如在MPEG-4标准的情况下为5和20，其中量化步骤在1和31之间。
通过适当编程的视频解码器电路或电视接收器电路，能够执行根据本发明的后处理方法。包括在程序存储器中的计算机程序，能够使电路执行参照图2所述的各种不同操作。计算机程序也能够通过读取包括所述程序的数据媒体，例如磁盘，而载入到程序存储器中。也能够通过通信网络，例如因特网进行读取。此时，服务提供商将以下载信号的形式使计算机程序为相关部分所获得。
在当前的文本中括号中的参考标记不是进行限制性解释的。对动词“包括”及其配置也应当广义的解释，即是说不排除超出所述动词之后所列的那些元件或步骤之外的元件或步骤的出现，和不排除已经列在所述动词之后的、其前使用“一个”或“一”的元件或步骤的多个这样的元件或步骤的出现。
权利要求
1.一种后处理包括在一序列数字图像中的像素的方法，所述方法包括-检测属于图像中自然轮廓(20)的像素的步骤(200)，-像素滤波步骤(230)，所述方法的特征在于它还包括检测对应于一个编码块的研究区域的步骤(210)，如果一个当前的像素没有被检测到作为自然轮廓像素(20)，并且如果该当前像素属于一个包括至少一个自然轮廓像素(20)的研究区域(21)，那么对这个当前像素进行滤波。
2.如权利要求1所述的后处理方法，其中滤波步骤能够使用中值滤波，能够使用来自于一组像素中的一个像素替换当前像素，一组像素包括所述当前像素和围绕当前像素的像素。
3.如权利要求2所述的后处理方法，其中仅在如果该组像素的中值与当前像素的值仅相差小于一个预定的阈值的值时，发生这样一个替换。
4.如权利要求1所述的后处理方法，其中检测步骤是基于使用Sobel型滤波器的梯度滤波(201)。
5.如权利要求1所述的后处理方法，其中自然轮廓检测步骤(200)包括精细子步骤(203)，这样以致于，如果邻近区域包括围绕检测作为自然轮廓像素的一个像素的像素，所述区域不包括其它自然轮廓像素，那么所述像素不再与自然轮廓像素相同。
6.如权利要求1所述的后处理方法，其中仅当如果对于相应编码块的量化步骤大于一个预定的值，滤波步骤才应用到研究区域内的像素。
7.一种解码方法，用于提供解码数字图像，并包括如权利要求1所述的后处理方法，来后处理解码数字图像，以提供后处理的数字图像。
8.一种后处理包括在一序列数字图像中的像素的装置，所述装置包括-用于检测属于图像中自然轮廓(20)的像素的装置，-像素滤波装置，所述装置的特征在于它还包括用于检测对应于一个编码块的研究区域的装置，滤波装置配置成仅当一个当前的像素没有被检测到作为自然轮廓像素(20)并且当该像素属于一个包括至少一个自然轮廓像素(20)的研究区域(21)时才对这个当前像素进行滤波。
9.如权利要求8所述的能够提供解码的数字图像并且包括后处理装置的视频解码器，能够后处理解码的数字图像，来提供后处理的数字图像。
10.如权利要求8所述的能够接收数字图像并且包括后处理装置的电视接收器，能够后处理数字图像，来在电视接收器的显示屏上显示后处理的数字图像。
11.包括一组指令的计算机程序，当所述计算机程序载入到电路时，该程序使电路执行如权利要求1所述的数字图像后处理方法。
全文摘要
本发明涉及一种后处理包括在一序列数字图像中的像素的方法，所述方法包括检测属于图像内自然轮廓(20)的像素的步骤(200)。它还包括检测对应于一个编码块的研究区域(21)的步骤(210)。它包括滤波决定步骤(220)，这样如果一个当前的像素没有被检测到作为自然轮廓像素(20)并且如果该像素属于一个包括至少一个自然轮廓像素(20)的研究区域(21)，那么对当前像素进行滤波。最后，中值滤波型的方法包括像素滤波步骤(230)，用于要滤波的像素。
文档编号G06T7/60GK1643544SQ03807064
公开日2005年7月20日 申请日期2003年3月11日 优先权日2002年3月26日
发明者A·热斯诺特 申请人:皇家飞利浦电子股份有限公司