用于针对图像的重建样本的集合提供补偿偏移的方法和装置制造方法
【专利摘要】针对图像的重建样本的集合提供补偿偏移。各样本具有样本值。提供补偿偏移的方法包括基于率失真标准来从多个预定分类中选择分类。各预定分类的分类范围小于样本值的整个范围并且由多个类构成，多个类各自定义分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类。使应用于类的各样本的样本值的补偿偏移与所选择的分类的各类相关联。
【专利说明】用于针对图像的重建样本的集合提供补偿偏移的方法和装
【技术领域】
[0001]本发明涉及用于针对图像的重建样本的集合补偿偏移的方法和装置。本发明还涉及用于对数字图像序列进行编码或解码的方法和装置。
[0002]本发明可以应用于数字信号处理领域，尤其应用于使用运动补偿来减少视频流中的空间冗余和时间冗余的视频压缩领域。
【背景技术】
[0003]例如H.263、H.264、MPEG-U MPEG-2、MPEG-4、SVC等的许多视频压缩格式使用基于块的离散余弦变换(DCT)和运动补偿来除去空间冗余和时间冗余。这些格式经常被称为预测视频格式。视频信号的各帧或各图像被分割成进行了编码并且能够独立进行解码的片(slice)。片通常是帧的矩形部分、或者更通常为帧的一部分或整个帧。此外，各片可以被分割成宏块(MB)，并且各宏块被进一步分割成块、通常为64 X 64、32 X 32、16 X 16或8 X 8个像素的块。
[0004]在高效率视频编码(HEVC)中，可以使用64X64?4X4的块。根据四叉树结构，基于最大编码单位(IXU)来对该分区进行组织。IXU与64X64的正方形块相对应。如果需要对LCU进行分割，则分割标志表示将LCU分割成4个32X32的块。同样，如果需要对这4个块中的任何块进行分割，则将分割标志设置为真并且将32 X 32的块分割成4个16 X 16的块等。在将分割标志设置为假的情况下，当前块是编码单位⑶。⑶的大小等于64X64、32X32、16X 16 或 8X8 个像素。
[0005]存在如下两类编码模式来对图像的块进行编码:被称为帧内(INTRA)预测的基于空间预测的编码模式和基于时间预测的编码模式(帧间(INTER)、合并(Merge)、跳过(Skip))这两类编码模式。在空间预测模式和时间预测模式这两者中，通过从原始块中减去预测值来计算残差。
[0006]通常根据INTRA块的因果边界处的编码像素，通过INTRA预测处理来预测该INTRA块。在INTRA预测中，对预测方向进行编码。
[0007]时间预测在于:从参考帧(视频序列的先前帧或将来帧)中发现与要编码的块最接近的图像部分或参考区域。该步骤通常已知为运动估计。接着，在通常被称为运动补偿的步骤中使用参考区域来预测要编码的块，即连同与表示运动补偿要使用的参考区域的运动矢量有关的运动信息项一起，对要编码的块和参考部分之间的差进行编码。在时间预测中，对至少一个运动矢量进行编码。
[0008]为了进一步降低对运动信息进行编码的成本，代替直接对运动矢量进行编码，在假定运动均匀的情况下，可以按照运动矢量和通常根据要编码的块周围的块的一个或多个运动矢量所计算出的运动矢量预测结果之间的差来对运动矢量进行编码。
[0009]在H.264中，例如，针对根据位于要编码的块的因果邻域的运动矢量(例如根据位于要编码的块的上方和左方的三个块)所计算出的中值预测结果，来对运动矢量进行编码。仅将中值预测结果和当前块运动矢量之间的差(还被称为残差运动矢量)编码在位流中以降低编码成本。
[0010]使用残差运动矢量的编码节省了若干位率，但需要解码器进行运动矢量预测结果的相同计算从而对要解码的块的运动矢量的值进行解码。
[0011]编码处理和解码处理这两者都可能涉及编码图像的解码处理。为了使得编码器和相应解码器能够具有相同参考帧的未来运动估计的目的，该处理通常在编码器侧进行。
[0012]为了重建编码帧，对残差进行逆量化和逆变换，从而在像素域中提供“解码”残差。然后，利用一种或几种后滤波处理来对第一重建进行滤波。将这些后滤波器在编码器和解码器侧应用于重建帧以使得在这两侧使用相同的参考帧。该后滤波的目的是消除压缩效应。例如，H.264/AVC使用去块滤波器。该滤波器可以消除由于残差的DCT量化和块运动补偿所引起的块效应(blocking artifact)。在当前HEVC标准中，使用去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)这三种环路滤波器。
[0013]图1是示出已知的HEVC实现的环路滤波处理的步骤的流程图。在初始步骤101中，编码器或解码器生成整个帧的重建。接着，在步骤102中，对该第一重建应用去块滤波器从而生成去块重建103。去块滤波器的目的是消除残差量化和块运动补偿或块帧内预测所产生的块效应。这些效应在低位率的情况下在视觉上是重要的。去块滤波器工作以根据两个相邻块的特性来使块边界平滑化。考虑各块的编码模式、残差编码所使用的量化参数、以及边界中的相邻像素差。对所有帧应用相同的标准/分类并且没有传输附加数据。去块滤波器通过消除块效应来改进当前帧的视觉质量，并且去块滤波器还改进了针对后续帧的运动估计和运动补偿。实际上，消除了块效应的高频率，因此无需利用后续帧的纹理残差来对这些高频率进行补偿。
[0014]在去块滤波器之后，在步骤104中利用样本自适应偏移(SAO)环路滤波器来对去块重建进行滤波。然后，在步骤106中利用自适应环路滤波器(ALF)对由此得到的帧105进行滤波以生成重建帧107，其中将显示并使用该重建帧107作为后续帧间帧的参考帧。
[0015]与没有传输信息的去块滤波器相对，SAO环路滤波器和ALF的目的是通过发送附加数据来改进帧重建。
[0016]SAO环路滤波器的原理是将各像素分类成类并且向该类的各像素的各像素值添加相同的偏移值。因而，针对各类传输一个偏移。SAO环路滤波提供了针对帧区域的边缘偏移和带偏移这两种分类。
[0017]边缘偏移分类涉及通过将各像素的相应像素值与两个相邻像素的像素值进行比较来确定该像素的类。此外，两个相邻像素依赖于表示这两个相邻像素的方向的参数。这些方向是O度(水平方向)、45度(对角线方向)、90度(垂直方向)和135度(另一对角线方向)。以下将这些方向称为边缘偏移分类的“类型”。
[0018]第二种分类是依赖于像素值的带偏移分类。SAO带偏移中的类与像素值的范围相对应。因而，向具有给定范围的像素值内的像素值的所有像素添加相同的偏移。
[0019]为了更适应于帧内容，已提出了应用基于四叉树结构的SAO滤波以对SAO进行编码。结果，与四叉树的叶节点相对应的帧区域可以由SAO进行滤波或可以不由SAO进行滤波，使得仅对部分区域进行滤波。此外，在SAO有效的情况下，根据针对各分类所传输的相关参数仅使用一个SAO分类(边缘偏移或带偏移)。最后，针对各SAO叶节点，传输SAO分类及其参数以及所有类的偏移。
[0020]四叉树的主要优点是高效地跟随信号的局部属性。然而，四叉树需要位流的专用编码。还可以设想利用按照LCU等级的编码来替换SAO参数的基于四叉树的编码的另一解决方案。
[0021]可以将要编码的视频数据的图像提供作为样本值的一组二维阵列(还已知为颜色通道)，其中该二维阵列的各条 目表示诸如从中性灰度颜色向着蓝色或红色(YUV)的亮度明度和色度颜色偏差的度量、或者红色、绿色或蓝色光成分强度(RGB)的度量等的颜色成分的强度。YUV模型定义了一个亮度(Y)成分和两个色度(UV)成分的颜色空间。通常，Y代表亮度成分(明度)，并且U和V是色度(颜色)或色差成分。
[0022]独立地对亮度成分以及对U和V色度成分这两者应用SAO滤波。
[0023]如图2所示，SAO带偏移的已知实现将像素值的范围分割成预定义的相同大小的32个范围。像素值的范围的最小值系统地为零，并且根据以下关系Max =可知，最大值依赖于像素值的位深度。例如，在位深度为8位时，像素的最大值可以为255。因而，像素值的范围为O~255。对于8位的该位深度，各类包括16个像素值的范围。此外，对于SAO带偏移，考虑2个组的类。第一个组包含如图2的灰色所示的像素值的范围的中心的16个连续类。第二个组也包含16个类，但位于如图2的阴影所示的像素值的范围的两端。对于帧区域的SAO带偏移，将分类所使用的组和16个偏移插入位流中。
[0024]图3是示出用于针对当前帧区域303在编码器中选择偏移值的方法的步骤的流程图。该帧区域包括N个像素。在初始步骤301中，针对16个范围各自将变量Sumj和SumNbPixj设置为值零。j表示当前范围或类编号。Sumj表示范围j内的像素的值和这些像素的相应原始像素的值之间的差的总和。SumNbPix^表示范围j内的像素数。
[0025]在步骤302中，将计数器变量i设置为值零。接着，在步骤304中提取帧区域303
的第一个像素。假定处理中的当前SAO组是已知的(如图2所示的第一个或第二个)。如
果在步骤305中判断为像素值Pi不在当前SAO组内，则在步骤308中使计数器变量i值递
增，从而对帧区域303的后续像素进行分类。否则如果在步骤305中判断为像素值Pi在当
前SAO组内，则在步骤306中寻找与PJA值相对应的范围编号(或类编号)j。在后续步骤
307中，相应的SumNbPixj变量递增，并且将Pi和其原始值Pimrg之间的差与Sumj相加。在以
下步骤中，使计数器变量i递增，从而向帧区域303的其它像素应用分类。在步骤309中，
判断是否已对帧区域303的所有N个像素进行了分类(即，判断i≥N是否成立)，如果为
“是”，则在步骤310中计算各类的Offsetj，从而产生呈现各类j的偏移的偏移表311作为
偏移选择算法的最终结果。计算该偏移作为类j的像素的像素值和这些像素各自的原始像
素值之间的差的平均值。然后，通过以下等式给出类j的Offset」。
【权利要求】
1.一种用于针对图像的重建样本的集合提供补偿偏移的方法，各样本具有样本值，所述方法包括以下步骤: 基于率失真标准来从多个预定分类中选择分类，各所述预定分类具有比所述样本值的整个范围小的分类范围并且由多个类构成，所述多个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类；以及 使所选择的分类的各类与应用于该类的各样本的样本值的补偿偏移相关联。
2.根据权利要求1所述的方法，其中，至少一个所述预定分类的所述分类范围小于所述整个范围的一半。
3.根据权利要求1所述的方法，其中，至少一个所述预定分类的所述分类范围等于所述整个范围的1/8。
4.根据权利要求1所述的方法，其中，至少一个所述预定分类由四个类构成。
5.根据权利要求1至4中任一项所述的方法，其中，所述集合的样本至少能够具有第一成分类型或第二成分类型，以及所述多个类是依赖于样本的所述集合的成分类型所确定的。
6.根据权利要求5所述的方法，其中，类的数量是根据所述成分类型所确定的。
7.根据权利要求1至6中任一项所述的方法，其中，针对各类的补偿偏移是根据该类的各重建样本的样本值和 相应原始图像的各样本值之间的差的平均值所确定的。
8.根据权利要求1至7中任一项所述的方法，其中，所述样本值表示位深度，并且所述分类范围、各类的范围和所选择的分类的中心至少之一依赖于所述位深度。
9.根据权利要求1至8中任一项所述的方法，其中，给定类的样本值的范围依赖于所述给定类在所选择的分类内的位置。
10.根据权利要求9所述的方法，其中，位于所选择的分类的边缘处的给定类的样本值的范围大于所选择的分类的中心区域中的给定类的样本值的范围。
11.一种用于对包括多个样本的图像进行编码的方法，所述方法包括以下步骤: 对所述样本进行编码； 对已编码的样本进行解码以提供重建样本； 对所述重建样本进行环路滤波，所述环路滤波包括向各所述重建样本的样本值应用补偿偏移，各所述补偿偏移与样本值的范围相关联，其中所述补偿偏移是根据权利要求1至10中任一项所述的方法所提供的；以及 生成已编码的样本的位流。
12.根据权利要求11所述的方法，其中，还包括以下步骤:在所述位流中传输表示与所选择的分类的所述多个类分别相关联的补偿偏移的已编码的数据。
13.根据权利要求11或12所述的方法，其中，还包括以下步骤:在所述位流中传输与所选择的分类有关的已编码的分类数据。
14.根据权利要求13所述的方法，其中，所述分类数据包括表示所选择的分类的中心的数据。
15.根据权利要求13所述的方法，其中，所述分类数据包括表示与所选择的分类有关的索引的数据。
16.根据权利要求13所述的方法，其中，所述分类数据包括表示所选择的分类在样本值的所述整个范围内的位置的数据。
17.根据权利要求16所述的方法，其中，所述位置是所选择的分类的端位置。
18.根据权利要求17所述的方法，其中，将所述端位置表示为相对于所述整个范围的一端的移位。
19.根据权利要求13至18中任一项所述的方法，其中，所述分类数据包括表示针对所述多个类中的各类所定义的样本值的范围的数据。
20.根据权利要求13至19中任一项所述的方法，其中，所述分类数据包括表示所选择的分类的所述分类范围的数据。
21.一种用于对包括多个样本的图像进行解码的方法，各样本具有样本值，所述方法包括以下步骤: 接收已编码的样本值； 接收已编码的分类数据； 接收已编码的补偿偏移； 对所述分类数据进行解码，并且基于已解码的分类数据来从多个预定分类中选择分类，各所述预定分类具有比所述样本值的整个范围小的分类范围并且由多个类构成，所述多个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类； 对已编码的样本进行解码以提供重建样本值，并且对已编码的补偿偏移进行解码； 使已解码的补偿偏移与所选择的分类的各类分别相关联；以及 对所述重建样本值进行环路滤波，其中所述环路滤波包括将与所选择的分类的各类相关联的已解码的补偿偏移应用于该类的范围内的重建样本值。
22.根据权利要求21所述的方法，其中，至少一个所述预定分类的所述分类范围小于所述整个范围的一半。
23.根据权利要求21所述的方法，其中，至少一个所述预定分类的所述分类范围等于所述整个范围的1/8。
24.根据权利要求21所述的方法，其中，至少一个所述预定分类由四个类构成。
25.根据权利要求21至24中任一项所述的方法，其中，所述分类数据包括表示所选择的分类的中心的数据。
26.根据权利要求21至24中任一项所述的方法，其中，所述分类数据包括表示与所选择的分类有关的索引的数据。
27.根据权利要求21至24中任一项所述的方法，其中，所述分类数据包括表示所选择的分类在样本值的所述整个范围内的位置的数据。
28.根据权利要求27所述的方法，其中，所述位置是所选择的分类的端位置。
29.根据权利要求28所述的方法，其中，将所述端位置表示为相对于所述整个范围的一端的移位。
30.根据权利要求21至29中任一项所述的方法，其中，所述分类数据包括表示针对所述多个类中的各类所定义的样本值的范围的数据。
31.根据权利要求21至30中任一项所述的方法，其中，所述分类数据包括表示所选择的分类的所述分类范围的数据。
32.—种可编程设备所用的计算机程序产品，所述计算机程序产品包括指令序列，其中所述指令序列用于在载入所述可编程设备并且由所述可编程设备执行的情况下，实现根据权利要求1至31中任一项所述的方法。
33.一种存储有计算机程序的指令的计算机可读存储介质，所述计算机程序的指令用于实现根据权利要求1至32中任一项所述的方法。
34.一种携带有视频位流所表示的图像的信息数据集的信号，所述图像包括可重建样本的集合，各所述可重建样本具有样本值，所述信息数据集包括与编码器从多个预定分类中所选择的分类有关的分类数据，其中:各所述预定分类具有比所述样本值的整个范围小的分类范围并且由多个类构成，所述多个类中的各类用于定义所述分类范围内的样本值的范围，如果样本的 样本值处于某个类的范围内，则将该样本划分至该类，以及使所选择的分类的所述多个类中的各类与应用于该类的范围内的所述可重建样本的样本值的补偿偏移相关联。
35.根据权利要求34所述的信号，其中，至少一个所述预定分类的所述分类范围小于所述整个范围的一半。
36.根据权利要求34所述的信号，其中，至少一个所述预定分类的所述分类范围等于所述整个范围的1/8。
37.根据权利要求34所述的信号，其中，至少一个所述预定分类由四个类构成。
38.根据权利要求34至37中任一项所述的信号，其中，所述分类数据包括表示所选择的分类的中心的数据。
39.根据权利要求34至37中任一项所述的信号，其中，所述分类数据包括表示与所选择的分类有关的索引的数据。
40.根据权利要求34至37中任一项所述的信号，其中，所述分类数据包括表示所选择的分类在样本值的所述整个范围内的位置的数据。
41.根据权利要求40所述的信号，其中，所述位置是所选择的分类的端位置。
42.根据权利要求41所述的信号，其中，将所述端位置表示为相对于所述整个范围的一端的移位。
43.根据权利要求34至42中任一项所述的信号，其中，所述分类数据包括表示针对所述多个类中的各类所定义的样本值的范围的数据。
44.根据权利要求34至43中任一项所述的信号，其中，所述分类数据包括表示所选择的分类的有用范围的数据。
45.一种用于针对图像的重建样本的集合提供补偿偏移的装置，各样本具有样本值，所述装置包括: 用于基于率失真标准来从多个预定分类中选择分类的部件，其中各所述预定分类具有比所述样本值的整个范围小的分类范围并且由多个类构成，所述多个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类；以及 用于使所选择的分类的各类与应用于该类的各样本的样本值的补偿偏移相关联的部件。
46.一种编码装置，用于对包括多个样本的图像进行编码，所述编码装置包括: 编码器，用于对所述样本进行编码； 解码器，用于对已编码的样本进行解码以提供重建样本； 环路滤波器，用于对所述重建样本进行滤波，所述环路滤波器部件包括用于对各所述重建样本的样本值应用补偿偏移的偏移应用部件，各所述补偿偏移与样本值的范围相关联，其中所述补偿偏移是根据权利要求45所述的装置所提供的；以及位流生成器,用于生成已编码的样本的位流。
47.一种解码装置，用于对包括多个样本的图像进行解码，各样本具有样本值，所述解码装置包括: 用于接收已编码的样本值的部件； 用于接收已编码的分类数据的部件； 用于接收已编码的补偿偏移的部件； 用于对所述分类数据进行解码、并且基于已解码的分类数据来从多个预定分类中选择分类的部件，各所述预定分类具有比所述样本值的整个范围小的分类范围并且由多个类构成，所述多个类中的各类用于定义所述分类范围内的样本值的范围，其中如果样本的样本值处于某个类的范围内，则将该样本划分至该类； 用于对已编码的样本进 行解码以提供重建样本值、并且对已编码的补偿偏移进行解码的部件； 用于使已解码的补偿偏移与所选择的分类的各类分别相关联的部件；以及用于对所述重建样本值进行环路滤波的部件，其中所述环路滤波包括将与所选择的分类的各类相关联的已解码的补偿偏移应用于该类的范围内的重建样本值。
【文档编号】H04N19/136GK103975590SQ201280059765
【公开日】2014年8月6日 申请日期:2012年11月7日 优先权日:2011年11月7日
【发明者】E·弗朗考伊斯, G·拉罗彻 申请人:佳能株式会社