用于对图像的序列进行编码和解码的方法、装置和程序的制作方法
【专利摘要】一种对图像的序列进行编码的方法，包括以下步骤：对所述序列中的至少一个图像进行以区域为单位的环路滤波，并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波。使所述序列的各图像与多个等级中的各等级相关联，其中所述等级与不同的率失真平衡或不同的图像质量相对应，并且根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
【专利说明】用于对图像的序列进行编码和解码的方法、装置和程序
【技术领域】
[0001]本发明涉及用于对数字图像序列进行编码或解码的方法、装置和程序。
[0002]本发明可以应用于数字信号处理领域，尤其应用于使用运动补偿来减少视频流中的空间冗余和时间冗余的视频压缩领域。
【背景技术】
[0003]例如H.263、H.264、MPEG-U MPEG-2、MPEG-4、SVC等的许多视频压缩格式使用基于块的离散余弦变换(DCT)和运动补偿来除去空间冗余和时间冗余。这些格式经常被称为预测视频格式。视频信号的各帧或各图像被分割成进行了编码并且能够独立进行解码的片(slice)。片通常是帧的矩形部分、或者更通常为帧的一部分或整个帧。此外，各片可以被分割成宏块(MB)，并且各宏块被进一步分割成块、通常为64 X 64、32 X 32、16 X 16或8 X 8个像素的块。
[0004]在高效率视频编码(HEVC)中，可以使用64X64?4X4的块。根据四叉树结构，基于最大编码单位(IXU)来对该分区进行组织。IXU与64X64的正方形块相对应。如果需要对LCU进行分割，则分割标志表示将LCU分割成4个32X32的块。同样，如果需要对这4个块中的任何块进行分割，则将分割标志设置为真并且将32X32的块分割成4个16X16的块等。在将分割标志设置为假的情况下，当前块是编码单位⑶。⑶的大小等于64X64、32X32、16X16 或 8X8 个像素。
[0005]存在如下两类编码模式来对图像的块进行编码:被称为帧内(INTRA)预测的基于空间预测的编码模式和基于时间预测的编码模式(帧间(INTER)、合并(Merge)、跳过(Skip))这两类编码模式。在空间预测模式和时间预测模式这两者中，通过从原始块中减去预测值来计算残差。
[0006]通常根据INTRA块的因果边界处的编码像素，通过INTRA预测处理来预测该INTRA块。在INTRA预测中，对预测方向进行编码。
[0007]时间预测在于:从参考帧(视频序列的先前帧或将来帧)中发现与要编码的块最接近的图像部分或参考区域。该步骤通常已知为运动估计。接着，在通常被称为运动补偿的步骤中使用参考区域来预测要编码的块，即连同与表示运动补偿要使用的参考区域的运动矢量有关的运动信息项一起，对要编码的块和参考部分之间的差进行编码。在时间预测中，对至少一个运动矢量进行编码。
[0008]为了进一步降低对运动信息进行编码的成本，代替直接对运动矢量进行编码，在假定运动均匀的情况下，可以按照运动矢量和通常根据要编码的块周围的块的一个或多个运动矢量所计算出的运动矢量预测结果之间的差来对运动矢量进行编码。
[0009]在H.264中，例如，针对根据位于要编码的块的因果邻域的运动矢量(例如根据位于要编码的块的上方和左方的三个块)所计算出的中值预测结果，来对运动矢量进行编码。仅将中值预测结果和当前块运动矢量之间的差(还被称为残差运动矢量)编码在位流中以降低编码成本。[0010]使用残差运动矢量的编码节省了若干位率，但需要解码器进行运动矢量预测结果的相同计算从而对要解码的块的运动矢量的值进行解码。
[0011]可以通过考虑编码帧之间在率和失真方面的平衡来进一步利用通过帧间编码所利用的时间依赖性的编码效率。一个方式是代替针对所有帧设置相同的率失真折中、而是针对几个连续帧设置不同的率失真折中。对于一组连续帧，利用率和失真之间的特定平衡来对各帧进行编码。率和失真之间的各折中与等级(折中)的层级结构中的等级相对应。
[0012]图28示出包括与针对低延迟情况的率失真折中的层级结构相关联的图像的图片组(GoP)的示例。如该图所示，图像的大小与质量方面的层级结构有关。例如，等级等于“2”的图像具有最大大小，因此与中等大小且等级为I的图像相比具有较高质量。大小最小(等级等于O)的图像具有较低质量。
[0013]用以评价图像在率失真方面的层级结构的另一方式是考虑构成GoP280的图像的量化参数。如从图28看出，质量最高的图像与量化参数QP相关联。这些图像的等级等于
2。中等质量的图像与量化参数QP+1相关联。这些图像的等级等于I。并且，质量最低的图像与量化参数QP+2相关联。这些图像的等级等于O。
[0014]在该层级结构中，与低等级相比，对于较高等级，质量(无失真)(相对于成本)在率失真折中方面重要性较高。其影响是层级结构(等级)顶部的图像与等级较低的图像相比应具有较高的质量。然后，在帧间编码模式的帮助下，该质量针对以下的编码图像进行传播，其中与层级结构中的等级较高的图像相比，这些编码图像所具有的层级结构中的等级较低并且在率失真折中方面所具有的质量较低。率和失真之间的折中可以由量化参数或由率失真标准中的拉格朗日(Lagrangian)参数(被称为λ)或由这两者来确定。等级较低的图像的QP值高于等级较高的图像的QP值、或者其Lagrangian参数高于等级较高的图像的Lagrangian参数(这意味着:对于较低等级，在率失真折中方面，率(相对于失真)具有较高的重要性)。
[0015]编码处理和解码处理这两者都可能涉及编码图像的解码处理。为了使得编码器和相应解码器能够具有相同参考帧的未来运动估计的目的，该处理通常在编码器侧进行。
[0016]为了重建编码帧，对残差进行逆量化和逆变换，从而在像素域中提供“解码”残差。然后，利用一种或几种后滤波处理来对第一重建进行滤波。将这些后滤波器在编码器和解码器侧应用于重建帧以使得在这两侧使用相同的参考帧。该后滤波的目的是消除压缩效应。例如，H.264/AVC使用去块滤波器。该滤波器可以消除由于残差的DCT量化和块运动补偿所引起的块效应(blocking artifact)。在当前HEVC标准中，使用去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)这三种环路滤波器。
[0017]图1是示出已知的HEVC实现的环路滤波处理的步骤的流程图。在初始步骤101中，编码器或解码器生成整个帧的重建。接着，在步骤102中，对该第一重建应用去块滤波器从而生成去块重建103。去块滤波器的目的是消除残差量化和块运动补偿或块帧内预测所产生的块效应。这些效应在低位率的情况下在视觉上是重要的。去块滤波器工作以根据两个相邻块的特性来使块边界平滑化。考虑各块的编码模式、残差编码所使用的量化参数、以及边界中的相邻像素差。对所有帧应用相同的标准/分类并且没有传输附加数据。去块滤波器通过消除块效应来改进当前帧的视觉质量，并且去块滤波器还改进了针对后续帧的运动估计和运动补偿。实际上，消除了块效应的高频率，因此无需利用后续帧的纹理残差来对这些高频率进行补偿。
[0018]在去块滤波器之后，在步骤104中利用样本自适应偏移(SAO)环路滤波器来对去块重建进行滤波。然后，在步骤106中利用自适应环路滤波器(ALF)对由此得到的帧105进行滤波以生成重建帧107，其中将显示并使用该重建帧107作为后续帧间帧的参考帧。
[0019]与没有传输信息的去块滤波器相对，SAO环路滤波器和ALF的目的是通过发送附加数据来改进帧重建。
[0020]SAO环路滤波器的原理是将各像素分类成类并且向该类的各像素的各像素值添加相同的偏移值。因而，针对各类传输一个偏移。SAO环路滤波提供了针对帧区域的边缘偏移和带偏移这两种分类。
[0021]边缘偏移分类涉及通过将各像素的相应像素值与两个相邻像素的像素值进行比较来确定该像素的类。此外，两个相邻像素依赖于表示这两个相邻像素的方向的参数。这些方向是O度(水平方向)、45度(对角线方向)、90度(垂直方向)和135度(另一对角线方向)，并且以下在表1中呈现。以下将这些方向称为边缘偏移分类的“类型”。
[0022]
【权利要求】
1.一种用于对图像的序列进行编码的方法，所述方法包括以下步骤: 对所述序列中的至少一个图像进行以区域为单位的环路滤波，并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波。
2.根据权利要求1所述的方法，其中，还包括以下步骤: 使多个等级中的各等级与所述序列的各图像相关联，其中所述等级与不同的率失真平衡或不同的图像质量相对应；以及 根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
3.根据权利要求2所述的方法，其中，所述等级与不同的率失真平衡相对应，并且所述等级越高，在率失真平衡中失真的重 要性相对于成本的重要性越高。
4.根据权利要求2所述的方法，其中，所述等级与不同的图像质量相对应，并且所述等级越闻，图像质量越闻。
5.根据权利要求1所述的方法，其中，还包括以下步骤: 使多个等级中的各等级与所述序列的各图像相关联，其中所述等级与不同的量化参数值相对应，并且所述等级越低，量化参数值越高；以及 根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
6.根据权利要求1所述的方法，其中，图像的所述序列是图片组即GoP或者包括所述图片组，并且所述方法还包括以下步骤: 使多个等级中的各等级与所述序列的各图像相关联，其中所述图片组中的针对所述图片组的给定图像的编码所依赖的参考图像的数量越高，所述给定图像的等级越低；以及 根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
7.根据权利要求1至6中任一项所述的方法，其中，还包括以下步骤: 产生环路滤波活动在一个或多个图像中的度量；以及 根据所述度量来确定禁用所述以区域为单位的环路滤波的图像。
8.根据在引用权利要求2至6中任一项的情况下的权利要求7所述的方法，其中，所述度量是环路滤波活动在具有所述等级中的预定等级的一个或多个图像中的度量。
9.根据权利要求8所述的方法，其中，所述确定是以图像为单位执行的，并且所述预定等级是比当前图像的等级高的等级。
10.根据权利要求8所述的方法，其中，所述预定等级是最高等级。
11.根据权利要求8所述的方法，其中，还包括以下步骤: 针对两个以上的所述等级分别产生所述度量，其中各所述度量是环路滤波活动在具有所关注的等级的一个或多个图像中的度量；以及 根据针对给定等级所产生的度量来判断对具有所述给定等级的图像是否禁用所述以区域为单位的环路滤波。
12.根据权利要求7至11中任一项所述的方法，其中，还包括以下步骤:将所述度量与阈值进行比较，并且根据比较结果来判断是否禁用所述以区域为单位的环路滤波。
13.根据在引用权利要求2至6中任一项的情况下的权利要求12所述的方法，其中，所述阈值依赖于给定等级。
14.根据权利要求2至6中任一项、或者在权利要求7引用权利要求2至6中任一项的情况下的权利要求7至13中任一项所述的方法，其中，针对具有最高等级的所有图像进行所述以区域为单位的环路滤波。
15.根据权利要求2至6中任一项、或者在权利要求7引用权利要求2至6中任一项的情况下的权利要求7至14中任一项所述的方法，其中，针对具有最低等级的所有图像禁用所述以区域为单位的环路滤波。
16.根据权利要求1至15中任一项所述的方法，其中，在没有进行环路滤波的状态下、目标图像的图像质量与先前图像的图像质量相比下降或下降超过预定量的情况下，对所述目标图像禁用所述以区域为单位的环路滤波。
17.根据在引用权利要求2至6中任一项的情况下的权利要求16所述的方法，其中，所述预定量依赖于所述目标图像和/或所述先前图像的等级。
18.根据权利要求2至6中任一项所述的方法，其中，还包括以下步骤:对具有给定等级的图像禁用所述以区域为单位的环路滤波。
19.根据权利要求18所述的方法，其中，还包括以下步骤:在禁用所述以区域为单位的环路滤波的状态下对预定数量的图像进行编码之后，针对所述给定等级重新启用所述以区域为单位的环路滤波。
20.根据权利要求1至19中任一项所述的方法，其中，所述序列的图像具有多个颜色成分，并且所述方法还包 括以下步骤:针对各颜色成分单独确定禁用所述以区域为单位的环路滤波的图像。
21.根据权利要求1至20中任一项所述的方法，其中，所述以区域为单位的环路滤波的类型能够在边缘型和带型之间进行切换，并且所述方法还包括以下步骤:针对各类型单独确定禁用所述以区域为单位的环路滤波的图像。
22.一种用于对图像的序列进行解码的方法，所述方法包括以下步骤: 对所述序列中的至少一个图像进行以区域为单位的环路滤波，并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波。
23.根据权利要求22所述的方法，其中， 使所述序列的各图像与多个等级中的各等级相关联，其中所述等级与不同的率失真平衡或不同的图像质量相对应；以及 根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
24.根据权利要求23所述的方法，其中，所述等级与不同的率失真平衡相对应，并且所述等级越高，在率失真平衡中失真的重要性相对于成本的重要性越高。
25.根据权利要求23所述的方法，其中，所述等级与不同的图像质量相对应，并且所述等级越闻，图像质量越闻。
26.根据权利要求22所述的方法，其中， 使所述序列的各图像与多个等级中的各等级相关联，其中所述等级与不同的量化参数值相对应，并且所述等级越低，量化参数值越高；以及 根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
27.根据权利要求22所述的方法，其中， 图像的所述序列是图片组即GoP或者包括所述图片组， 使所述序列的各图像与多个等级中的各等级相关联，其中所述图片组中的针对所述图片组的给定图像的编码所依赖的参考图像的数量越高，所述给定图像的等级越低，以及根据所述等级来确定禁用所述以区域为单位的环路滤波的图像。
28.根据权利要求22至27中任一项所述的方法，其中，根据环路滤波活动在一个或多个图像中的度量来确定禁用所述以区域为单位的环路滤波的图像。
29.根据在引用权利要求23至28中任一项的情况下的权利要求28所述的方法，其中，所述度量是环路滤波活动在具有所述等级中的预定等级的一个或多个图像中的度量。
30.根据权利要求29所述的方法，其中，所述确定是以图像为单位执行的，并且所述预定等级是比当前图像的等级高的等级。
31.根据权利要求29所述的方法，其中，所述预定等级是最高等级。
32.根据权利要求29所述的方法，其中， 针对两个以上的所述等级分别存在所述度量，其中各所述度量是环路滤波活动在具有所关注的等级的一个或多个图像中的度量；以及 根据针对给定等级所产生的度量来判断对具有所述给定等级的图像是否禁用所述以区域为单位的环路滤波。
33.根据权利要求28至32中任一项所述的方法，其中，根据所述度量和阈值之间的比较的结果来判断是否禁用所述以区域为单位的环路滤波。
34.根据在引用权利要求23至27中任一项的情况下的权利要求33所述的方法，其中，所述阈值依赖于给定等级。
35.根据权利要求23至27中任一项、或者在权利要求28引用权利要求23至27中任一项的情况下的权利要求28至34中任一项所述的方法，其中，针对具有最高等级的所有图像进行所述以区域为单位的环路滤波。
36.根据权利要求23至27中任一项、或者在权利要求28引用权利要求23至27中任一项的情况下的权利要求28至35中任一项所述的方法，其中，针对具有最低等级的所有图像禁用所述以区域为单位的环路滤波。
37.根据权利要求22至36中任一项所述的方法，其中，在没有进行环路滤波的状态下、目标图像的图像质量与先前图像的图像质量相比下降或下降超过预定量的情况下，对所述目标图像禁用所述以区域为单位的环路滤波。
38.根据在引用权利要求23至27中任一项的情况下的权利要求37所述的方法，其中，所述预定量依赖于所述目标图像和/或所述先前图像的等级。
39.根据权利要求23至27中任一项所述的方法，其中，还包括以下步骤:对具有给定等级的图像禁用所述以区域为单位的环路滤波。
40.根据权利要求39所述的方法，其中，还包括以下步骤:在禁用所述以区域为单位的环路滤波的状态下对预定数量的图像进行编码之后，针对所述给定等级重新启用所述以区域为单位的环路滤波。
41.根据权利要求22至40中任一项所述的方法，其中，所述序列的图像具有多个颜色成分，并且针对各颜色成分单独确定禁用所述以区域为单位的环路滤波的图像。
42.根据权利要求22至41中任一项所述的方法，其中，所述以区域为单位的环路滤波的类型能够在边缘型和带型之间进行切换，并且针对各类型单独确定禁用所述以区域为单位的环路滤波的图像。
43.一种用于对图像的序列进行编码的装置，包括:用于对所述序列中的至少一个图像进行以区域为单位的环路滤波、并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波的部件。
44.一种用于对图像的序列进行解码的装置，包括: 用于对所述序列中的至少一个图像进行以区域为单位的环路滤波、并且对所述序列中的至少另一图像禁用所述以区域为单位的环路滤波的部件。
45.一种程序，其中所述程序在运行在处理器或计算机上的情况下，使所述处理器或所述计算机执行根据权利要求1至21中任一项所述的编码方法。
46.一种程序，其中所述程序在运行在处理器或计算机上的情况下，使所述处理器或所述计算机执行根据权利要求22至42中任一项所述的解码方法。
47.一种计算机可读 存储介质，其存储有根据权利要求45或46所述的程序。
【文档编号】H04N19/136GK103975588SQ201280059766
【公开日】2014年8月6日 申请日期:2012年11月7日 优先权日:2011年11月7日
【发明者】G·拉罗彻, C·吉斯科特, E·弗朗考伊斯, P·乌诺 申请人:佳能株式会社