用降低复杂度的去块效应操作进行视频解码的制作方法

用降低复杂度的去块效应操作进行视频解码的制作方法
【专利摘要】一种视频解码的方法与装置，包括多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参考帧。所述解码方法，包括：重构视频的帧，以生成重构的帧；将第二去块效应滤波器应用在所述重构的帧的部分块边界上；在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码器实施了去块效应操作。
【专利说明】用降低复杂度的去块效应操作进行视频解码

【技术领域】
[0001] 本发明涉及视频解码过程中的去块效应滤波。特别涉及通过在编码器的预测环路 中的去块效应来实现编码后视频的去块效应操作。H. 264是一个众所周知的具有这种特性 的视频压缩标准。

【背景技术】
[0002] 与之前的标准，如MPEG-2, H. 263和MPEG-4相比，使用H. 264标准进行视频编码 比之前的标准平均提高了 30%的压缩比。然而，H. 264解码的复杂度也较高。在移动电话 和其它便携式电子设中，通常使用软件解码器来解码H. 264。出于速度的考虑，这样的软件 或硬件解决方案通常不被使用。因此，利用有限的CPU资源，使用软件解码器来连续的对高 复杂度、高码率视频进行流畅的解码，这仍然较难实现。由H. 264标准定义的使用"主"和 "高"配置文件的比特流，尤为如此。
[0003] 商业的H. 264软件解码器已经高度优化。因此，其进一步改进的空间不大。为了 减少对一个已经被高度优化的符合H. 264标准的解码器的解码时间，更可能的是以不符合 H. 264标准的解码器来实现。但是，使用不符合H. 264标准的解码器的风险是，会导致潜在 的视频块效应（可见的错误），从而使视频观看者无法接受。


【发明内容】

[0004] 根据本发明的一个方面，一种视频解码的方法，包括多个帧，每个帧被分为多个像 素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将 第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预 测算法的参考帧。
[0005] 所述解码方法，包括：
[0006] 重构视频的帧，以生成重构的帧；
[0007] 将第二去块效应滤波器应用在所述重构的帧的部分块边界上；
[0008] 在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过 编码器实施了去块效应操作。
[0009] 本发明人认识到，允许解码器降低一定程度的复杂度是可取的，以便在给定处理 能力的情况下得到可能的最佳编码效果。本发明的实施例通过在同一视频帧内的部分块边 界施加去块效应滤波器，而在其它块边界不施加的方案来实现这一目标。在部分块边界跳 过去块效应步骤（即使编码器已施加过去块效应操作）严格来说，意味着视频解码不当。然 而，如果没有足够的处理能力来正确解码视频，这样的方式则是可以接受的。换句话说，解 码不当优于没有解码。
[0010] 本发明人还认识到，一些数据块的边界可能会表现出比其它地方更严重的块效 应。根据本发明的实施例，可以有针对性地对块效应严重的块进行去块效应操作，例如，那 些更容易被观看者察觉，或干扰观察者的块。对那些块效应较不严重的块则跳过去块效应 操作。以这种方式，可以降低解码的复杂度，并且不会使画面质量严重下降。
[0011] 在传统的、符合H. 264标准的解码器中，去块效应滤波器占用整个解码时间的很 大一部分，一般大约占总时间的20%至30%。降低去块效应滤波器的复杂度可以有效使 H. 264解码器增快速度。然而，根据标准，去块效应滤波器是H. 264解码器的解码环路中强 制性的一部分，因为它存在于编码器的运动补偿环路中。如果在帧中施加非标准的去块效 应操作，那么会在此帧中引入错误。不仅导致帧的质量下降，并且也会导致直接或间接引用 该帧的其它帧的质量下降。这是因为误差会传播和积累。这些错误不能被恢复，直到下一 个即时解码更新（IDR)帧被解码。
[0012] 根据本发明，改进的去块效应处理降低了解码复杂度，同时允许视频质量适度下 降。
[0013] 预测算法是一个典型的运动补偿处理，其中，所述的参考数据包括先前已解码的 帧，或空间补偿处理，其中参考数据包括同一帧的先前的解码部分。这些处理有时也分别被 称为"帧间"预测和"帧内"预测。
[0014] 优选的编码包括用补偿和/或运动补偿的块变换来编码。去块效应滤波器是在空 间补偿或运动补偿环路内的。这意味着通常去块效应操作必须在解码器中实现（即它是一 个规范，或编码标准的强制性部分）。当解码器中没有实施去块效应操作，解码器重构的帧 与编码器编码的帧会不同。
[0015] 重构视频的帧通常包括，为每个块进行变换系数解码（包括逆量化系数）；对变换 系数进行逆块变换。如果该帧被预测性地编码（例如，对P帧或B帧使用运动补偿或空间 补偿，或对I帧仅使用空间补偿），那么逆变换的结果是预测错误。在这种情况下，重构帧还 包括获得参考数据，该参考数据是预测参数用于对每个块进行空间或运动补偿的；并对参 考数据应用模式/矢量，已产生对每个块的预测。然后预测块结合预测误差，来产生一个重 构的块。当所有的块已被重构，它们一起形成重构的帧。
[0016] 重构的帧优选的是参考帧，解码方法优选地进一步包括在预测算法中使用部分去 块效应操作来重构另一中贞。
[0017] 本发明对于在处理能力有限的情况下解码参考帧特别有利。参考帧是运动补偿算 法用于对其它帧进行解码的帧。由于参考帧可以传播到其它后续的基于该参考帧解码的其 它帧上，因此参考帧的错误是更为严重的。本发明的实施例允许在有限处理能力情况下解 码参考帧，同时最大限度的减少引入参考帧的误差量。
[0018] 优选地，第二去块效应滤波器应用在两个宏块之间的边界上，并且在至少一个宏 块内的块的边界上跳过去块效应滤波器。
[0019] 宏块是一组一起被编码的块。例如，所有宏块中的块可以共享相同的运动矢量。优 选的，每个宏块包括一个亮度分量和两个色度分量。在一些实施例中，一个宏块的亮度分量 可以由16个块组成，设置为4X4的模式。每个块可以是4个像素高乘以4个像素宽，即每 个亮度分量包含16X16个像素。宏块可以根据H. 264标准被定义。宏块的色度分量可以 由4个块组成，设置为2X2的模式。每个块可以是4个像素高乘以4个像素宽，即宏块的 色度分量包含8X8个像素。例如，当颜色格式是YUV4:2:0即是如此。
[0020] 本发明人认识到，宏块之间的块边界会比宏块内的块边界出现更严重的块效应。 因此，通过选择只在宏块间的边界使用去块效应操作，可以用最小的处理能力，来避免最严 重的块效应。
[0021] 该方法可以包括：与重构帧的色度分量时相比，在重构帧的亮度分量时在更大比 例的块边界上应用去块效应操作。
[0022] 本发明人认识到，对于观看者来说，帧的亮度分量上的块效应往往比帧的色度分 量上的更为明显。因此，比起色度分量，将去块效应操作集中在亮度分量上是有利的。
[0023] 这可能包括：在所有亮度分量的块边界上以及仅在色度分量的块边界的一个子集 上应用去块效应操作（即使编码器已应用去块效应操作在色度分量的其它块边界上）。另 夕卜，也可以包括：仅在亮度分量的的块边界的一个子集上应用去块效应操作（即使编码器 已在亮度分量的其它块边界上应用去块效应操作），并跳过色度分量的去块效应操作。
[0024] 该方法可以包括：与重构非参考帧时相比，在重构参考帧时，在更大比例的块边界 上应用去块效应操作。参考帧是预测算法用于解码至少一个其它帧的帧。非参考帧是预测 算法不能用于解码其它任何帧的帧。
[0025] 将处理能力集中在参考巾贞上意味着可以减少参考巾贞中的块效应，同时基于该参考 帧解码的其它帧的块效应也同样被减少。
[0026] 该方法可以包括：对块边界上部分或全部的跳过去块效应操作的连续的参考帧的 数目进行计数；检测到所述计数的数目超过阈值时；在重构后续帧时增加应用去块效应操 作的块边界的比例作为响应。
[0027] 在过多的帧被低质量的解码的情况下，增加去块效应操作量可以帮助避免长序列 的帧的可见的块效应。
[0028] 该方法可以包括：与重构帧间编码宏块时相比，在重构帧内编码宏块时，在更大比 例的块边界上应用去块效应操作。
[0029] 本发明人认识到，帧间编码块的块效应往往比帧内编码块的块效应更为显著。因 此，比起帧内编码块，在帧间编码块上集中更多的处理能力是更为有利的。
[0030] 优选的，视频是符合H. 264标准编码的。
[0031] 去块效应操作是H. 264标准规范的一部分，即去块效应滤波器用在编码器中，去 块效应滤波器的输出用于产生参考帧。这意味着，符合标准的解码器不能跳过去块效应操 作。因此，本发明特别是与降低复杂度的H. 264视频的解码相关。
[0032] 第一去块效应滤波器和第二去块效应滤波器可以是相同的。
[0033] S卩，解码器在执行块边界去块效应时所使用的滤波器与编码器处所使用滤波器是 相同的。
[0034] 根据本发明的另一个方面，提供了一种视频解码的方法，包括多个帧，每个帧被分 为多个像素块进行编码，至少一个帧包含在相邻的编码块之间的边界上的去块效应校正。
[0035] 该解码方法，包括：
[0036] 对编码块进行解码，以产生解码的块；
[0037] 从解码块重构视频帧，以产生重构的帧；
[0038] 仅在重构帧的包含去块效应校正的块边界的子集上应用去块效应滤波器。
[0039] 在这里，"去块效应校正"是指去块效应滤波器的效果。包括去块效应校正的帧意 味着已在预测环路中进行去块效应编码的帧。
[0040] 根据本发明的又一个方面，提供了对符合H. 264标准编码的视频进行解码的方 法，包括：
[0041] 对重构的帧内的部分块边界应用去块效应滤波器；
[0042] 对重构的帧的其余块边界跳过去块效应操作，即使这些块边界已由编码器实施过 去块效应操作。
[0043] 与重构帧的色度分量时相比，在重构帧的亮度分量时，在更大比例的块边界上应 用去块效应操作。
[0044] 这可以包括：对块边界上部分或全部的跳过去块效应操作的连续的参考帧的数目 进行计数；检测到所述计数的数目超过阈值的时；在重构后续帧时增加应用去块效应操作 的块边界的比例作为响应。
[0045] 该方法可以包括：与重构帧间编码宏块相比，在重构帧内编码宏块时，在更大比例 的块边界上应用去块效应操作。
[0046] 根据本发明的再一个方面，提供一种适用于对视频进行解码的视频解码装置，包 括多个帧，每个帧被分为多个像素块进行编码，编码时结合使用预测算法和预测环路内的 去块效应滤波器；其中，编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效 应滤波器的输出用来提供用于预测算法的参考帧。
[0047] 所述视频解码装置，包括：
[0048] 帧重构单元，用于重构视频的帧，以生成重构的帧；
[0049] 去块效应滤波器单元，用于：将第二去块效应滤波器应用在所述重构的帧的部分 块边界上；在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通 过编码器实施了去块效应操作。

【专利附图】

【附图说明】
[0050] 图1是一个通用的H. 264解码器的框图；
[0051] 图2示出了 H. 264解码器的去块效应操作；
[0052] 图3示出了经去块效应滤波器作用后的图2中的相邻块边界的样本；
[0053] 图4是根据本发明的实施例的去块效应处理的流程图。

【具体实施方式】
[0054] 下面参考H. 264视频编码标准来描述本发明的实施例。然而，虽然本发明对于解 码H. 264视频是非常有效的，本领域技术人员应理解，它使用其它编码标准解码的视频中 也是有效的，只要是该视频在运动补偿过程中应用了去块效应操作。
[0055] 在本发明的 优先权日:，H. 264标准的当前版本已被定义在ITU-TH. 264(04/2013) 的提案中。还应注意到，同样的标准已发布在IS0/IEC 14496-10信息技术-音视频对象 编码-第10部分：高级视频编码，也发布在MPEG-4AVC。本发明适用于所有版本的H. 264/ MPEG-4AVC标准，并且对所有后续版本也将适用，因为所有后续版本都被要求反向兼容之前 的版本。
[0056] 图1是一个H. 264解码器的方框图。缓冲器10接收比特流，并对其进行缓冲及解 析。编码变换系数从缓冲器10中输出到熵解码和多路分解单元20。熵解码和多路分解单 元20的输出端耦合于反扫描和量化单元30的输入端。反扫描和量化单元30的输出端耦 合于逆变换单元40的输入端。逆变换单元40通过反扫描和量化单元30将传送给它的编 码变换系数进行逆块变换。逆变换单元40的输出是包括像素值（亮度和色度）的预测误 差。逆变换单元的输出被提供给加法器50的第一输入端。
[0057] 预测算法信息从缓冲器10输出到补偿环路。尤其是，运动矢量被输出到运动补偿 处理单元90,空间预测模式信息被输出到空间补偿处理单元110。
[0058] 对于帧内编码宏块，所述预测是根据当前帧的先前的解码块进行的。这些都存储 在当前图片存储器1〇〇中。当前图象存储器1〇〇的输入端耦合至加法器50的输出端，用于 向当前图像存储器100提供重构的宏块。空间补偿处理包括根据同一帧的至少一个先前解 码块的内容预测当前块的内容。空间预测模式信息确定哪一个先前解码块被用于预测当前 块。对于帧内编码宏块，开关70选择空间补偿处理单元110的输出，并将其作为预测发送 给加法器50的第二输入端。
[0059] 对于帧间编码宏块，该预测是基于至少一个先前已解码的帧。先前已解码的帧存 储在多个先前图片存储器80中。运动补偿处理包括根据一个先前解码的帧的一部份区域 的内容来预测当前帧的块的内容。当前帧中的不同的块可能根据不同的先前的帧来预测。 运动矢量确定先前解码的帧的哪一部分被用来预测当前帧中的块。对于帧间编码的宏块， 开关70选择运动补偿处理单元90的输出，并将其作为预测的帧发送给加法器50的第二输 入端。
[0060] 加法器50的输出是预测误差和预测宏块/帧的总和。加法器50的输出是重构的 宏块/中贞。
[0061] 当帧的所有的宏块已被重构，完整的重构帧被提供给去块效应滤波器60的输入 端，去块效应滤波器60将执行重构帧的块边界的去块效应操作。这将在下面详细描述。去 块效应滤波器60的输出是用于显示的输出。它也被输出到多个先前图片存储器80,在重构 其它帧时，被运动补偿算法所使用。
[0062] 组件10, 20, 30,40, 50, 70,80,90,100和110 -起组成了帧重构单元，其适于重构 视频帧，以产生重构的帧。重构的帧是加法器50的输出。去块效应滤波器60适用于执行 根据本发明的一个实施例的去块效应操作。
[0063] 除了去块效应滤波器60,图中示出的所有组件的功能与惯用的H. 264解码器相 似，将是本领域的技术人员所熟悉的。根据本发明的实施例的去块效应滤波器的作用将在 后面详细描述。
[0064] 相对以前的视频编码方法，H. 264包含特殊的功能，使其更有效地压缩视频。其 中主要作用之一是把去块效应滤波器放入编码环路内，从而使其成为解码器的一个强制步 骤。下面介绍符合H. 264标准的去块效应操作。H. 264在编码器和解码器的运动补偿预测 环路内分别施加环内去块效应滤波器，以改善主观和客观视频质量。如图1所示，去块效应 滤波器在图像重构过程完成后才被执行。在符合H. 264标准的解码器内，去块效应操作可 以影响所有被处理的宏块的块边界（包括宏块之间的边界）。
[0065] 去块效应滤波器被分别应用到亮度和色度分量上。该滤波器被应用到帧的所有的 块的边缘（帧的边界处除外）去块效应滤波器在光栅扫描顺序中由宏块应用到宏块。图2 示出了示例性的宏块（MB)的滤波。在H. 264标准及在Raja和Mirza (用于JVT H. 264/AVC 的环路去块效应滤波器"，在SPRA'06 :第五界国际科技学术和社会（WSEAS)信号处理、机器 人和自动化国际会议，第235-240页，史蒂文斯观点，美国威斯康星州，2006年。国际科技学 术和社会（WSEAS)Gulistan Raja和Muhanmmad Javed Mirza)中描述了去块效应滤波器。
[0066] 图2示出了宏块的亮度分量200a，由4X4布置的16个块210a组成。每个块和整 个宏块都是是方形的。每个块210由4X4的模式的16个像素220a组成。因此，宏块的亮 度分量200a由16X16 = 256个像素组成。图2还显示了宏块的色度分量200b。块200b 包括2X2模式的4块210b。每个块210b由4X4模式的16个象素220b组成。因此，宏块 的色度分量200b由8X8 = 64个像素组成。为了方便和清楚起见，仅在每个宏块分量的左 上块显示像素。
[0067] 首先对块内的亮度分量之间的垂直边界进行滤波，即图2中的VLE1、VLE2、VLE3， VLE4。然后，对块的亮度分量之间的水平边界进行滤波，即HLE1、HLE2、HLE3、HLE4。最后， 对色度分量也执行如亮度分量的块之间边界的类似顺序来进行滤波，即先VCE1和VCE2之 后再HCE1和HCE2。这里，VLE代表"垂直亮度边缘"，HLE代表"水平亮度边缘"，VCE代表 "垂直色度边缘"，HCE代表"水平色度边缘"。VLE1和HLE1(类似于VCEUHCE1)是宏块之 间的边界。其它块的边界是同一宏块内的块与块之间。
[0068] 图3示出了两个块之间的边界两侧的各四个像素。去块效应滤波器影响边界每侧 至多三个像素样本，即p0, pl，p2和q0, ql，q2。
[0069] 符合标准的去块效应滤波器的操作可分为如下三个主要步骤：滤波器强度计算， 滤波器的决定和滤波器的执行，如Raja和Mirza描述的。去块效应滤波器的边界强度（BS) 依赖于几个因素，包括从视频比特流解码得出的量化的变换系数值，宏块的类型，各块的运 动矢量（MV)，以及跨越边界的像素值的梯度。这在表1中有更详细的解释。每个相邻亮度 块之间的边缘（边界）都有BS。每块都是4个像素宽和4个像素高。色度边缘（边界）的 BS值并非独立计算的，亮度边缘的BS值也用于对应的色度分量。该BS是用来选择去块效 应滤波器的参数及控制滤波器的强度。
[0070] 表1 :确定BS的条件
[0071]

【权利要求】
1. 一种视频解码的方法，其特征在于，包括多个帧，每个帧被分为多个像素块进行编 码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中，编码器将第一去块效 应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提供用于预测算法的参 考帧。 所述解码方法，包括： 重构视频的帧，以生成重构的帧； 将第二去块效应滤波器应用在所述重构的帧的部分块边界上； 在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码 器实施了去块效应操作。
2. 根据权利要求1所述的方法，其特征在于，所述重构的帧是参考帧，所述解码方法还 包括：在预测算法中利用重构的参考帧来重构另一帧。
3. 根据权利要求1或2所述的方法，其特征在于，所述第二去块效应滤波器应用在两个 宏块之间的边界上，并且在至少一个宏块内的块边界上跳过去块效应滤波器。
4. 根据权利要求1至3中的任一种的方法，其特征在于，包括：与重构帧的色度分量时 相比，在重构帧的亮度分量时，在更大比例的块边界上应用去块效应操作。
5. 根据前述任一权利要求所述的方法，其特征在于，包括： 对部分或全部块边界上跳过去块效应操作的连续的参考帧的数目进行计数； 检测到所述计数的数目超过阈值时； 在重构后续帧时增加应用去块效应操作的块边界的比例作为响应。
6. 根据前述任一权利要求所述的方法，其特征在于，包括：与重构帧间编码的宏块相 t匕，在重构帧内编码的宏块时，在更大比例的块边界上应用去块效应操作。
7. 根据前述任一权利要求所述的方法，其特征在于，所述视频是用符合H. 264标准的 方式进行编码的。
8. 根据前述任一项权利要求所述的方法，其特征在于，所述第一去块效应滤波器和所 述第二去块效应滤波器是相同的。
9. 一种对符合H. 264标准编码的视频进行解码的方法，其特征在于，包括： 将去块效应滤波器应用在重构的帧中的部分块边界上； 在重构的帧的其余块边界上跳过去块效应操作，即使该块边界已通过编码器实施了去 块效应操作。
10. 根据权利要求9所述的方法，其特征在于，包括：与重构帧的色度分量时相比，在重 构帧的亮度分量时，在更大比例的块边界上应用去块效应操作。
11. 根据权利要求9或10所述的方法，其特征在于，包括： 对部分或全部块边界上跳过去块效应操作的连续的参考帧的数目进行计数； 检测到所述计数的数目超过阈值时； 在重构后续帧时增加应用去块效应操作的块边界的比例作为响应。
12. 根据权利要求9至11中任一项所述的方法，其特征在于，包括：与重构帧间编码的 宏块相比，在重构帧内编码的宏块时，在更大比例的块边界上应用去块效应操作。
13. -种用于对视频进行解码的视频解码装置，其特征在于，包括多个帧，每个帧被分 为多个像素块进行编码，编码时结合使用预测算法和预测环路内的去块效应滤波器；其中， 编码器将第一去块效应滤波器应用在相邻块之间的边界，将去块效应滤波器的输出用来提 供用于预测算法的参考帧。 所述视频解码装置，包括： 帧重构单元，用于重构视频的帧，以生成重构的帧； 去块效应滤波器单元，用于： 将第二去块效应滤波器应用在所述重构的帧的部分块边界上；和 在所述重构的帧的其余块边界上跳过去块效应滤波操作，即使该块边界上已通过编码 器实施了去块效应操作。
【文档编号】H04N19/186GK104284199SQ201310290392
【公开日】2015年1月14日 申请日期:2013年7月11日 优先权日:2013年7月11日
【发明者】李岩, 刘孝波, 程嘉利 申请人:Nxp股份有限公司