在HEVC中的采样自适应偏移中的灵活带偏移模式的制作方法

相关申请的交叉引用

本申请是于2012年1月20日递交的美国临时专利申请序列号61/589,127的非临时申请，该美国临时专利申请的全部内容以引用的方式并入本文。

关于联邦赞助的研究或开发的声明

不适用

在压缩盘上提交的材料的引用并入

不适用

受版权保护的主题的通知

本专利文献中的一部分材料受到美国和其它国家的版权法的版权保护。版权的所有者不反对任何人对专利文献或专利公开的影印再现，正如其在美国专利商标局公开可用的文件或记录中出现的那样，但是在其它情况下无论如何都保留对所有版权的权利。据此，版权所有者不放弃将本专利文献保密的任何权利，其包括但不限于根据37c.f.r.§1.14的权利。

本发明总体地涉及视频编码和解码，并且更具体地涉及高效视频编码(hevc)系统内的采样自适应偏移(sao)。

背景技术：

在整个目标分辨率的范围内可测量(scalable)的同时，对提高的视频分辨率以及优化这些视频的压缩的相关编码系统的需求一直未中断过。由itu-t和iso/iecmpeg的视频编码联合协作组(jct-vc)在这一方向上作出的最新努力致力于支持高效视频编码(hevc)标准中的超高清分辨率和移动应用，以及降低在h.264/avc编码系统中压缩的比特率(bitrate)。

不同于许多之前的编码系统，hevc将帧分成编码树状块(ctb)，该编码树状块(ctb)可以使用诸如四叉树分割来进一步被细分成编码单元(cu)。为了实现理想的编码效率，根据视频内容，编码单元(cu)可以具有各种大小。cu通常包括亮度分量y以及两个色度分量u和v。u和v分量的大小与采样的数量有关，并且可以与y分量的大小相同或不同，这取决于视频采样格式。cu还可以进一步被细分为帧内预测和帧间预测期间的预测单元(pu)分区，以及为变换和量化所定义的变换单元(tu)。变换单元(tu)通常指当生成变换系数时应用变换的残留数据块。

hevc在当前的视频编码系统之上又引入了新的元素，诸如h.264/avc，以及类似的编解码器。例如，尽管hevc仍旧涉及运动补偿帧间预测、变换和熵编码，但其也采用算术编码或可变长度编码。另外，在去块滤波器之后的是新的采样自适应偏移(sao)滤波器。sao单元将整个帧视为分层的四叉树。在该四叉树中的象限由sao发送语法值来激活，每一个sao发送语法值都表示被称为带偏移(bo)的像素值的强度带或者被称为边缘偏移(eo)的与相邻像素强度相比的差。对于sao中的每种类型(bo和eo)，被称为sao偏移的发送的偏移值将被添加到对应像素。

在hevc的hm5.0版本中，针对采样自适应偏移(sao)存在四种(4)eo(边缘偏移)模式和两种(2)bo(带偏移)模式。eo模式发送四个(4)偏移，而bo模式发送十六个(16)偏移。因此，在解码器处需要临时的缓冲器，以为每个分区存储sao偏移，直到图像(或图像的部分)被解码。

技术实现要素：

本发明针对在hevc以及类似的编码器和/或解码器内的创造性的采样自适应偏移(sao)方法。具体地说，教导了sao的灵活带偏移(fbo)方法，其将带偏移(bo)模式的数量从两个(2)减少到一个(1)，并且将用于bo的sao偏移的数量从十六个(16)减少到四个(4)。因此，无论sao模式(eo或bo)如何，本发明的实施例提供四种(4)sao偏移。由于sao偏移的最大数量减少(从16到4)，得益于此，在解码器处保持sao参数所需的临时缓冲器减少大约75％。响应于采用创造性的方法，模拟结果示出获得了小的性能增益，特别是色度分量。

本发明的进一步的方面将在本说明书的以下部分给出，其中，详细描述是出于全面地公开本发明的优选实施例的目的，而不是对其设置限制。

附图说明

通过参考下列附图将更全面地理解本发明，这些附图仅用于图示的目的：

图1是根据本发明的实施例的视频编码器的示意图。

图2是根据本发明的实施例的视频解码器的示意图。

图3a是在测试模型hm5.0下的现有的hevc编码中采用的常规saobo模式的数据图。

图3b是根据本发明实施例的使用灵活带偏移(fbo)sao滤波的sao的数据图。

图4a和图4b是在编码器(图4a)和解码器(图4b)内根据本发明实施例的在hevc编码系统内执行采样自适应偏移的灵活带偏移(fbo)方法的流程图。

具体实施方式

如在下面的段落中所描述的，本发明的创造性的灵活带偏移(fbo)方法可以在编码器和解码器设备两者中实现。

图1示出包含根据本发明的编码器10的编码设备的示例实施例，其用于在去块滤波器之后的采样自适应偏移(sao)内执行fbo模式。

编码器10被示出具有编码元件12，该编码元件12通过计算部件46来执行，计算部件46通过一个或多个处理器48以及一个或多个存储器装置50来例证。将会认识到，本发明的元件可以作为存储在介质上的程序来实现，其可以针对编码器和/或解码器被cpu访问以便执行。

在本例中，视频帧输入14与参考帧16和帧输出18一同被示出。使用运动估计(me)22和运动补偿(mc)24来描绘帧间预测20。帧内预测26与在帧间预测与帧内预测之间描绘的切换25一起被示出。和结合(sumjunction)28被示出为输出到正向变换30，该正向变换30基于预测来执行，以生成残留数据的变换系数。变换系数的量化在量化阶段32处被执行，在量化阶段32之后的是熵编码34。逆量化36和逆变换38操作被示出与求和结合(summingjunction)40耦合。

求和结合40的输出是解码的视频信号，其由去块滤波器42(根据本发明的具有创造性的fbo模式44的采样自适应偏移(sao)滤波器)接收，以产生输出18。

图2示出解码器的示例实施例70，其被示出具有处理块72和相关处理部件102。请注意，该解码器基本上是图1的编码器10所包含的元件的子集，对参考帧74进行操作并输出视频信号100。解码器块接收编码的视频信号76，该视频信号76经过熵解码器78、逆量化80、逆变换82、以及逆变换82的输出与选择92之间的求和84的处理，其中，选择92在与运动补偿88一起示出的帧间预测86与分离的帧内预测块90之间。来自求和结合84的输出被去块滤波器94所接收，在去块滤波器94之后的是具有根据本发明的创造性的灵活带偏移(fbo)模式96的sao模块，以产生视频输出98。

应当认识到，解码器可以使用处理部件100来实现，该处理部件100包含用于执行与解码相关联的程序的至少一个处理装置102和至少一个存储器104。另外，请注意，本发明的元件可以作为存储在介质上的程序来实现，其中，所述介质可以由处理装置(cpu)102访问以供执行。

将会认识到，本发明的元件10和70被实现为供处理部件46和100执行，诸如响应于可以在计算机处理器(cpu)48和102上执行的驻留在存储器50和104中的程序。另外，将会认识到，本发明的元件可以作为存储在介质上的程序来被实现，其中，所述介质可以由cpu48和/或102访问以便执行。

还应当认识到，上述程序可以从作为非暂态的有形的(物理的)计算机可读介质来执行，因为其不仅构成暂态的传播信号，而且实际上能够保留程序，诸如在任何理想的形式和数量的静态或动态存储器装置内。这些存储器装置不必被实现为在本文中被视为非暂态介质的所有条件(例如，断电)下都保持数据。

图3a和图3b将当前的hevcsao滤波器操作(图3a)与本发明的创造性的灵活带偏移sao滤波器进行比较。在图3a中，示出基于带偏移(bo)的两种sao类型的例子，其中，第一类型(第一组bo_0)具有中间带，第二类型(第二组bo_1)具有在带结构的每一端都被看见的侧带。为了将侧信息降低为传统sao的16偏移，最初的32个均匀带被分成图中所见的两组，其中，在中间的16个带被分配到组1，在两侧的16个带被分配到组2。因此，一组sao偏移被发送到中间的16个带(组1)，一组sao偏移被发送到外部的16个带(组2)。

已经有一些通过不同数量的偏移提高bo模式的数量的讨论。但是，这将进一步使设计变得复杂。本发明所涉及的与这样的偏移增加相反，并且本发明致力于简化设计、最小化在解码器处的临时缓冲器、并且统一用于eo和bo模式的sao偏移的数量。本发明教导了仅利用一个具有四个(4)sao偏移的bo模式的方法，这样在全部的sao模式中统一sao偏移的数量。

在本发明的设备和方法中，只需要单一带偏移类型。编码器确定sao偏移将被发送的四个(4)连续带。应当认识到，在不偏离本发明的教导的情况下，编码器可以基于最大的失真影响来挑选四个连续带，或者可以采用其它期望的标准。假定其它带具有零个sao偏移。由于在当前设计中存在32个可能的bo带，因此sao偏移被发送的第一带(即，first_band)在0到31之间。这样，编码器使用5位固定长度(fl)代码来将first_band指示给解码器。这些偏移在示出第一个非零偏移带的图3b中被描绘，其中，以虚线示出的4个sao偏移从第一个非零偏移带开始。

在第一个非零偏移带之后，响应于将偏移i添加到第一带并且使用基于bo带的数量nbands的模余数(例如，(first_band+i)％nbands其中i∈[0,4))来确定具有sao偏移的四个连续带。通过举例且无限制的方式，带的数量nbands为32。这样，针对剩余带发送的可能的偏移的数量基本上被减少，例如，在上例中，从十六个(16)sao偏移减少到四个(4)sao偏移。

图4a是用于在编码器中操作的sao滤波器的灵活带偏移方法的示例实施例的总结。四个具有sao偏移的连续带在步骤110被确定(选择)，而在步骤112假定剩余的带具有零sao偏移。接着，在步骤114对固定长度代码进行编码，以向解码器指示该第一带的确切位置。具有sao偏移的连续带的位置被指出，并且按照步骤116，每个带对sao偏移进行编码。作为本发明的结果，bo模式的数量从两个减少到一个，而bo所需的sao偏移从十六个减少到四个。

图4b是用于在解码器中操作的sao滤波器的本灵活带偏移方法的示例实施例的总结。在步骤130，从编码器接收的固定长度代码被解码以指示第一非零偏移带。在步骤132，针对四个连续带的sao偏移被解码。然后，在步骤134，响应于将包含偏移i(优选地，可以仅假定从0到3的值)的sao偏移添加到第一带并使用基于bo带的数量的模余数来确定四个连续带位置，并且解码的sao偏移被添加到对应带。在步骤136，除了四个连续带以外的剩余带以零sao偏移被添加。

本发明的实施例可以参考以下各项来描述：根据本发明实施例的方法和系统的流程图，和/或算法、公式或也可作为计算机程序产品来实现的其它计算描绘。在这一方面，流程图的每个框或步骤，以及流程图中的框(和/或步骤)的组合、算法、公式或计算描绘可以通过各种手段来实现，所述手段诸如为，硬件、固件和/或包括在计算机可读程序代码逻辑中实施的一个或多个计算机程序指令的软件。将会认识到的，任何这样的计算机程序指令都可以被载入到计算机中，该计算机包括但不限于通用计算机或专用计算机，或者产生机器的其它可编程处理设备，从而使得在计算机或其它可编程处理设备上执行的计算机程序指令创建用于实现在流程图(多个流程图)的框(多个框)中指定的功能的部件。

因此，流程图的框、算法、公式或计算描绘支持用于执行特定功能的部件的组合、用于执行特定功能的步骤的组合、以及用于执行特定功能的诸如在计算机可读程序代码逻辑部件中实施的计算机程序指令。还将会理解，本文中描述的流程图的每一个框、算法、公式或计算描绘及其组合可以通过执行特定功能或步骤的基于专用硬件的计算机系统、或专用硬件与计算机可读程序代码逻辑部件的组合来实现。

此外，这些计算机程序指令(诸如在计算机可读程序代码逻辑中实施的)还可以被存储在计算机可读存储器中，该计算机可读存储器可以指导计算机或其它可编程处理设备以特定方式运行，从而使得存储在计算机可读存储器中的指令产生制造的物品，其包括实现在流程图(多个流程图)的框(多个框)中指定的功能的指示部件。计算机程序指令还可以被载入到计算机或其它可编程处理设备上，以使得在计算机或其它可编程处理设备上执行一系列的操作步骤，以产生计算机实现的处理，从而使得在计算机或其它可编程处理设备上执行的指令提供用于实现在流程图(多个流程图)的框(多个框)、算法(多个算法)、公式(多个公式)或计算描绘(多个计算描绘)中指定的功能的步骤。

从上述讨论将会认识到，本发明可以以各种方式来实施，所述方式包括以下：

1.一种用于在视频的熵编码和解码期间进行采样自适应偏移(sao)信号发送的设备，包括：(a)具有计算机处理器的视频编码器；(b)可在所述视频编码器的计算机处理器上执行的程序，用于：(i)从去块滤波器接收解码的视频信号；(ii)响应于下述步骤在编码器内设置用于发送到解码器的固定长度代码，所述步骤包括：(a)选择四个连续带，每个带的sao偏移都将被发送；(b)假定剩余的带具有零sao偏移；(c)针对所述四个连续带的第一非零带偏移(bo)，对指示偏移程度的固定长度代码进行编码；以及(d)通过将偏移添加到所述第一非零带偏移(bo)并使用基于bo带的数量的模余数来生成用于所述四个连续带的位置，并对每一带的sao偏移进行编码；(c)具有计算机处理器的视频解码器；(b)可在所述视频解码器的计算机处理器上执行的程序，用于：(i)响应于下述步骤在所述视频解码器内基于接收所述固定长度代码来对编码的视频信号进行采样自适应偏移滤波，所述步骤包括：(a)基于解码所述固定长度代码来确定所述第一带的位置；(b)对在编码期间确定的四个连续带的四个sao偏移进行解码；(c)响应于将偏移添加到所述第一带并采用基于bo带的数量的模余数来确定剩余带的位置，并将解码的sao偏移添加到剩余带；以及(d)将零sao偏移添加到所有的剩余带。

2.任意前述实施例的设备，其中，用于视频编码和解码的所述系统根据高效视频编码(hevc)标准来操作。

3.任意前述实施例的设备，其中，所述系统仅需要一种带偏移(bo)类型。

4.任意前述实施例的设备，其中，用于所述bo带的sao偏移的数量从16个减少到4个。

5.任意前述实施例的设备，其中，可能的sao偏移从16个减少到4个的所述减少使得所需的临时缓冲降低大约75％。

6.任意前述实施例的设备，其中，可在所述视频编码器计算机处理器上执行的程序被配置为用于发送针对所述第一非零带的三十二个可能的bo带。

7.任意前述实施例的设备，其中，可在所述视频编码器的计算机处理器上执行的程序被配置为通过将偏移i添加到所述第一非零带并且使用基于bo带的数量nbands的模余数来生成用于四个连续带的位置，该模余数即为(first_band+i)％nbands，其中i∈[0,4)。

8.一种用于在视频熵编码期间进行采样自适应偏移滤波的设备，包括：(a)具有计算机处理器的视频编码器；(b)可在所述视频编码器的计算机处理器上执行的程序，用于：(i)从去块滤波器接收解码的视频信号；(ii)响应于下述步骤在编码器内设置用于发送到解码器的固定长度代码，所述步骤包括：(a)选择四个连续带，每个带的sao偏移都将被发送；(b)假定剩余带具有零sao偏移；(c)针对第一非零带偏移(bo)，对指示偏移程度的固定长度代码进行编码；以及(d)通过将偏移添加到所述第一非零带偏移(bo)并使用基于bo带的数量的模余数来生成用于所述四个连续带的位置，并对每一个带的sao偏移进行编码。

9.任意前述实施例的设备，其中，可在所述视频编码器的计算机处理器上执行的所述程序利用单一带偏移(bo)类型。

10.任意前述实施例的设备，其中，可在所述视频编码器的计算机处理器上执行的程序生成所述连续带的4个可能的sao偏移，这与传统hevc设备上的16个可能的sao偏移相比是减少。

11.任意前述实施例的设备，其中，sao偏移的所述减少使得所需的临时缓冲降低大约75％。

12.任意前述实施例的设备，其中，可在所述视频编码器的计算机处理器上执行的所述程序被配置为用于针对所述第一非零带发送三十二个可能的bo带。

13.任意前述实施例的设备，其中，可在所述视频编码器的计算机处理器上执行的所述程序通过将偏移i添加到所述第一非零带并且确定基于bo带的数量nbands的模余数来生成用于所述四个连续带的位置，该模余数即为(first_band+i)％nbands，其中i∈[0,4)。

14.一种用于在视频熵解码期间进行采样自适应偏移滤波的设备，包括：(a)具有计算机处理器的视频解码器；(b)可在所述视频解码器的计算机处理器上执行的程序，用于：(i)在所述视频解码器内对来自包含固定长度代码的接收到的编码视频信号的视频进行采样自适应偏移滤波，具有包括如下的步骤：(a)基于解码所述固定长度代码来确定所述第一非零带偏移(bo)的位置；(b)对在编码期间确定的四个连续带的四个sao偏移进行解码；(c)响应于将偏移添加到所述第一非零带并采用基于bo带的数量的模余数来确定剩余带的位置，并将解码的sao偏移添加到剩余带；以及(d)将零sao偏移添加到所有剩余带。

15.任意前述实施例的设备，其中，可在所述视频解码器的计算机处理器上执行的所述程序执行仅需要单一带偏移(bo)类型的采样自适应偏移滤波。

16.任意前述实施例的设备，其中，可在所述视频解码器的计算机处理器上执行的程序利用所述连续带的4个可能的sao偏移，这与传统hevc设备上的16个可能的sao偏移相比是减少。

17.任意前述实施例的设备，其中，可能的sao偏移从16个减少到4个的所述减少使得所需的临时缓冲降低大约75％。

18.任意前述实施例的设备，其中，可在所述视频解码器的计算机处理器上执行的所述程序被配置为针对所述第一非零带利用三十二个可能的bo带。

19.任意前述实施例的设备，其中，可在所述视频解码器的计算机处理器上执行的所述程序通过将偏移i添加到所述第一非零带并且确定基于bo带的数量nbands的模余数来从剩余带的所述编码视频信号解码位置信息，该模余数即为(first_band+i)％nbands，其中i∈[0,4)。

20.任意前述实施例的设备，其中，用于在视频熵解码期间的采样自适应偏移滤波的所述设备根据高效视频编码(hevc)标准来操作。

虽然上述描述包含许多细节，但是这些不应当被解释为限制本发明的范围，而仅仅提供对本发明的某些当前优选的实施例的例示。因此，将会认识到，本发明的范围完全包涵可能对本领域技术人员来说显而易见的其它实施例，并且本发明的范围仅由附录的权利要求相应地限制，其中，除非另有明确的说明，以单数的方式提及元件并不应当是指“一个且仅仅一个”，而是指“一个或多个”。本领域技术人员所了解的上述优选实施例的元件的所有结构和功能等同物以引用的方式明确地并入本文，并且应当由本权利要求书所包涵。此外，装置或方法不必解决本发明所寻求解决的每个问题，因为其将由本权利要求书所包涵。此外，本公开中的元件、部件或方法步骤不应当致力于公开，而不管这些元件、部件或方法步骤在本权利要求书中是否被明确记载。这里的权利要求要素不根据35u.s.c.112的第六段解释，除非使用词语“用于……的部件”来明确地阐述该要素。