减少树类型之间的冗余的制作方法

本原理涉及视频压缩领域。

背景技术：

在hevc视频压缩标准(国际电信联盟，itu-th.265高效视频编码)中，将图片划分(divide)成所谓的编码树单元(ctu)，其尺寸典型地为64×64、128×128或256×256像素。

每个ctu通过压缩域中的编码树来表示。其为ctu的四叉树划分，其中每个叶片称为编码单元(cu)，如图1中所示。

然后，每个cu被给定一些帧内或帧间预测参数(预测信息)。为此，将其在空间上分区(partition)成一个或多个预测单元(pu)，每个pu被分配一些预测信息。在cu级别上分配帧内或帧间编码模式，参见图2。

将编码单元分区成预测单元是根据在比特流中用信号通知的分区类型完成的。对于帧内编码单元，仅使用图3中所示的分区类型2n×2n和n×n。这意指在帧内编码单元中仅使用正方形预测单元。

相反，帧间编码单元可以使用图3中所示的所有分区类型。

根据hevc标准，还按照“变换树”以递归方式将编码单元划分成所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装与所考虑的正方形空间区域相对应的每个图片分量的正方形变换块。变换块是单个分量中的正方形样本块，其中应用相同的变换。

包括压缩域中的编码树单元表示的新兴的视频压缩工具被提出，以便在压缩域中以更灵活的方式来表示图片数据。编码树的这种灵活表示的优点在于，与hevc标准的cu/pu/tu布置相比，它提供增加的压缩效率。

四叉树加二叉树(qtbt)编码工具提供这种增加的灵活性。它包括编码树，其中可以以四叉树和二叉树方式两者将编码单元分割(split)。在图4中图示了编码树单元的这种编码树表示。在图15中图示了块上的qtbt表示。

在编码器侧通过率失真优化过程来决定编码单元的分割，其包括以最小率失真成本确定ctu的qtbt表示。

在qtbt技术中，cu具有正方形或矩形形状。编码单元的尺寸总是2的幂，并且典型地从4到128。

除了这种用于编码单元的各种矩形形状之外，与hevc相比，这种新的ctu表示具有以下不同特性：

·ctu的qtbt分解由两个阶段组成：首先以四叉树方式分割ctu，然后可以以二元方式进一步划分每个四叉树叶片。这在图4的右侧示出，其中实线表示四叉树分解阶段，而虚线表示在空间上嵌入四叉树叶片中的二元分解。

·在帧内切片(intraslice)中，亮度和色度块分区结构是分离的，并且是独立决定的。

·不再采用将cu分区成预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(先前的2n×2n预测单元分区类型)和单个变换单元(不划分成变换树)组成。

然而，与qtbt技术相比需要进一步提高的压缩效率。在“asymmetriccodingunitscodecarchitecture(不对称编码单元编解码器架构)”(ep-ipa16306308.4)的公开内容中，引入具有新的矩形形状的编码单元，其产生于称为不对称分割模式的新的二元分割模式。

技术实现要素：

通过所描述的实施例中的至少一个来解决现有技术的这些和其他缺点和不利，这些实施例涉及用于对视频数据的块进行编码或解码的方法和装置。在至少一个实施例中，提出了组合一组丰富的编码单元分割模式，其旨在提供压缩域中图片的灵活的基于矩形块的表示，同时在空间拓扑方面确保在这些分割模式之间没有冗余。

根据在此描述的至少一个一般实施例，提供一种对视频数据的块进行编码的方法。该方法包括，利用二元分割或三元分割将块划分成至少两个矩形子块，并且然后使用与子块尺寸相对应的变换对子块进行编码。

根据在此描述的至少一个一般实施例，提供一种对视频数据的块进行解码的方法。该方法包括，使用与子块尺寸相对应的逆变换对至少一个子块进行解码，并且然后通过逆分割操作将至少两个子块重组成块。

根据在此描述的另一一般实施例，提供一种用于对视频数据的块进行编码的装置。该装置包括存储器，以及处理器，该处理器被配置为，利用二元分割或三元分割将块划分成至少两个矩形子块，并且然后使用与子块尺寸相对应的变换对子块进行编码。

根据在此描述的另一一般实施例，提供一种用于对视频数据的块进行解码的装置。该装置包括存储器，以及处理器，该处理器被配置为，使用与子块尺寸相对应的逆变换对至少一个子块进行解码，并且然后通过逆分割操作将至少两个子块重组成块。

根据在此描述的至少一个一般实施例，提供以上前四个实施例中的任一个，其中，划分包括，如果所产生的分割不等于三元分割，则在水平或垂直方向上使用不对称分割将块分割成子块，否则使用三元分割模式在水平或垂直方向上将块分割成子块。

根据在此描述的至少一个一般实施例，提供以上前四个实施例中的任一个，其中，划分包括，如果所产生的分割不等于三元分割，则在任何方向上使用不对称分割将块分割成子块，否则使用三元分割模式在任何方向上将块分割成子块。

根据在此描述的另一方面，提供一种非临时性计算机可读存储介质，其包含数据内容，该数据内容根据前述方法实施例中的任何一个的方法或者通过前述装置实施例中的任何一个的装置来生成，用于使用处理器的回放。

根据在此描述的另一方面，提供一种信号，其包括视频数据，该视频数据根据用于对视频数据的块进行编码的前述方法实施例中的任何一个的方法或者通过用于对视频数据的块进行编码的前述装置实施例中的任何一个的装置来生成，用于使用处理器的回放。

根据在此描述的另一方面，提供一种计算机程序产品，其包括指令，该指令在该程序由计算机执行时使该计算机执行前述方法实施例中的任何一个的方法。

根据以下要结合附图阅读的示例性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得明显。

附图说明

图1示出了表示压缩图片的编码树单元和编码树概念的一个示例。

图2示出了将编码树单元划分成编码单元、预测单元和变换单元的示例。

图3示出了编码单元的分区的示例。

图4示出了示例四叉树加二叉树编码树单元表示。

图5示出了qtbt中的附加编码单元二元不对称分割模式的示例。

图6示出了块的三元模式分割。

图7示出了用于处理块不均匀性的块的不同分割。

图8示出了在此描述的视频编码方案中支持的所有编码单元分割模式的集合。

图9示出了块的第一不对称分割(hor_up1/4)，随后是第二不对称分割(hor_down1/3)。

图10示出了可以利用在此描述的编码方案实现的编码单元分割配置(右下)。

图11示出了二元和三叉树分割的语法布置。

图12示出了与通用视频压缩方案介接的所提出的功能块的示例。

图13示出了通用视频解码方案。

图14示出了限制使用不对称二叉树以防止复制三叉树操作的示例。

图15示出了编码块上的四叉树加二叉树表示的一个实施例。

图16示出了现有方法中的限制的示例。

图17示出了使用在此描述的一个一般方面的对视频块进行编码的方法的一个实施例。

图18示出了使用在此描述的一个一般方面的对视频块进行解码的方法的另一实施例。

图19示出了使用在此描述的至少一个一般方面的用于对视频数据的块进行编码或解码的装置的一个实施例。

图20示出了使用在此描述的至少一个一般方面的划分视频数据的块的方法的另一实施例。

图21示出了使用在此描述的至少一个一般方面的划分视频数据的块的方法的另一实施例。

具体实施方式

针对提高的不对称编码单元中的变换系数的熵编码效率来描述方法，从而提供良好的压缩和最小的编码器设计复杂度增加。

为清楚起见，在该描述中，“划分”、“分段”和“分割”都意指相同的事物，其为执行像素块的直线划分的动作。类似地，“分割”和“划分”意指相同的事物，像素的分组作为对块或子块进行划分、分割或分段的结果。

在hevc视频压缩标准中，将图片划分成所谓的编码树单元(ctu)，具有64×64、128×128或256×256像素的典型尺寸。

每个ctu通过压缩域中的编码树来表示。其为ctu的四叉树划分，其中每个叶片称为编码单元(cu)，参见图1。

然后，每个cu被给定一些帧内或帧间预测参数(预测信息)。为此，将其在空间上分区成一个或多个预测单元(pu)，每个pu被分配一些预测信息。在cu级别上分配帧内或帧间编码模式，参见图2。

将编码单元分区成预测单元是根据在比特流中用信号通知的分区类型完成的。对于帧内编码单元，仅使用图3中所示的分区类型2n×2n和n×n。这意指在帧内编码单元中仅使用正方形预测单元。

相反，帧间编码单元可以使用图3中所示的所有分区类型。

根据hevc标准，还按照“变换树”以递归方式将编码单元划分成所谓的变换单元。因此，变换树是编码单元的四叉树划分，并且变换单元是变换树的叶片。变换单元封装与所考虑的正方形空间区域相对应的每个图片分量的正方形变换块。变换块是单个分量中的正方形样本块，其中应用相同的变换。

新兴的视频压缩工具包括压缩域中的编码树单元表示，以便在压缩域中以更灵活的方式来表示图片数据。编码树的这种灵活表示的优点在于，与hevc标准的cu/pu/tu布置相比，它提供增加的压缩效率。

四叉树加二叉树(qtbt)编码工具提供这种增加的灵活性。它包括编码树，其中可以以四叉树(4个子单元)和二叉树(2个子单元)方式两者将编码单元分割。在图4中图示了编码树单元的这种编码树表示。

在编码器侧通过率失真优化过程来决定编码单元的分割，其包括以最小率失真成本确定ctu的qtbt表示。

在qtbt技术中，cu具有正方形或矩形形状。编码单元的尺寸总是2的幂，并且典型地从4到128。

除了这种用于编码单元的各种矩形形状之外，与hevc相比，这种新的ctu表示具有以下不同特性：

·ctu的qtbt分解由两个阶段组成：首先以四叉树方式分割ctu，然后可以以二元方式进一步划分每个四叉树叶片。这在图4的右侧示出，其中实线表示四叉树分解阶段，而虚线表示在空间上嵌入四叉树叶片中的二元分解。

·在帧内切片中，亮度和色度块分区结构是分离的，并且是独立决定的。

·不再采用将cu分区成预测单元或变换单元。换句话说，每个编码单元系统地由单个预测单元(先前的2n×2n预测单元分区类型)和单个变换单元(不划分成变换树)组成。

所描述的实施例涉及压缩的图片编码单元表示的域，并且旨在与qtbt技术相比进一步提高的压缩效率。

在另一应用中(不对称编码单元编解码器架构，ep-epa16306308.4)，提出了在qtbt中引入新的不对称分区。这些新形状包括在宽度和/或高度上等于3·2n的尺寸。此外，在宽度或高度上具有3的倍数的尺寸的cu可以水平地或垂直地以二元方式被进一步分割。我们将该类型的分割称为四分之一分割。

当子块中的一个子块在一个方向上具有3·2n的尺寸时，这些实施例支持利用当前四分之一分割的编码/解码。如果我们在相同的方向上以四分之一分割再次将该子块分割，那么我们将在相同的方向上获得尺寸为3·2^n-2和3²·2^n-2的2个块。例如，两个连续不对称水平顶部分割：首先将块32×32划分成32×8和32×24，然后将第二子块进一步以32×6和32×18划分。

缺点是尺寸为18的块不能除以4，因此它不能被进一步分割。连续不对称分割将导致许多不同的块尺寸。许多不同的块尺寸将需要与每个块尺寸相关联的许多新的变换尺寸。这些变换需要大量存储器用于快速且有效的实现方式。

在第一种现有方法中，引入三叉树。三叉树或三元分割将编码单元或子单元分割成三个部分。优点之一在于，所有子块都是2的幂。主要缺点在于，它不提供足够多的灵活性来优化地选择块的分区，因为它强加三个子块，即使只需要两个子块，例如，当对象的边界穿过边缘附近时(参见图7，三元分割相对于不对称分割)。

第二种现有方法(ep-epa16306308.4)的基本构思是使不对称分割比率取决于块尺寸。对于具有尺寸(w，h)(宽度和高度)、其中高度为2ⁿ的编码单元，不对称分割类型hor_up(水平向上)导致2个子编码单元，其具有相应的矩形尺寸和但是对于具有尺寸(w，h)、其中高度为3·2ⁿ的编码单元，不对称分割类型hor_down(水平向下)将导致2个子编码单元，其具有相应的矩形尺寸和我们将该类型的分割称为三分之一分割。

例如，针对块32×32，第一不对称分割(四分之一分割)导致32×8块和32×24块，针对第二子块的第二不对称分割(三分之一分割)导致32×16子块和32×8子块，如图9中所示。因此，分割尺寸(四分之一/三分之一分割)取决于块的当前尺寸。

因此，可以由编码器选择具有等于3·2ⁿ的宽度或高度的cu。在这种情况下，执行具有3的倍数的尺寸的一些矩形块的帧内预测和帧间处理。另外，执行在宽度或高度上具有3·2ⁿ的尺寸的2d变换，以及随后的变换系数熵编码处理。这些技术方面在hevc或qtbt中不存在。

最近的编码单元分割模式(称为水平或垂直三叉树分割模式)包括将编码单元(cu)划分成3个子编码单元(子cu)，其在所考虑的空间划分的方向上具有相应的等于父cu尺寸的1/4、1/2和1/4的尺寸。这在图6中示出。

所描述的实施例的一个背景是视频编码/解码方案，其中来自图4、图5和图6的所有cu分割模式在视频编码中是激活的，这意指编码器可以选择这些分割模式中的任一个并且将它们用信号通知给解码器。

图8中示出了存在于这样的编解码器中的cu分割模式的完整集合。

图8示出了在此考虑的视频编码方案中支持的所有编码单元分割模式的集合。在实际的视频图像中，该组丰富的编码单元拓扑有助于具有在空间上与原始信号中包含的结构和不连续性相匹配的编码结构。

图11示出了二元和三叉树分割的语法布置。

前述现有方法提供不对称分割处理，其中子cu与父cu之间的尺寸比率取决于父cu的尺寸。这允许级联给定cu的若干个不对称分割操作，可能导致图9的配置。

然而，该方法导致若干个不同的分割操作序列(succession)可以导致给定编码单元的相同空间划分的编码处理。在图9中，可见所获得的拓扑与利用hor_triple分割模式会获得的拓扑相同。因此，在这种情况下存在若干个编码树表示之间的一些冗余。该冗余导致次优编码效率，因为给定的分割语法规范支持若干个方式来执行相同的空间划分。此外，该冗余还导致编码器侧的高复杂度，因为率失真优化处理评估从拓扑视角相同的若干个编码树表示。

所描述的实施例中的至少一个所解决的问题是，当在相同的视频压缩设计中使用三叉树模式和不对称二叉树模式时，如何确保在cu分割操作的不同序列之间没有冗余。

解决该问题的第一种方式是禁止使用具有块尺寸比率(1/3，2/3)的二元不对称分割，如在前述现有方法中公开的那样。在图16中图示了该现有方法中各种被允许和被禁止的分割的示例。在此描述的方法的优点是确保如图9右侧的分割配置无法通过连续不对称二元分割来达到，并且只能通过hor_triple分割模式(如图6中所示的hor_triple分割模式)来达到。

缺点是无法以这种互斥方式利用三叉树和不对称二叉树达到一些拓扑。

在此描述的实施例的基本构思是允许使用现有方法的具有比率(1/3，2/3)的不对称分割模式，同时防止编解码器通过具有自适应块尺寸比率的连续不对称二元分割来效仿三叉树分割。在图10中示出了根据所提出方法的被允许和不允许的分割配置的典型示例。

该方法的优点是允许达到诸如图10右下部分所示的拓扑之类的拓扑。实际上，如果分割比率(1/3，2/3)被禁用，则从不对称然后对称的二元分割产生的24×16示例性cu不能进一步划分成16×16子cu和16×8子cu。

所提出方法包括如下两个特性：

-(1/3，2/3)不对称分割比率可以让编解码器使用不对称分割与已存在cu的嵌入，该已存在cu的尺寸产生于已经在所考虑的编码树中的更高层次级别执行的不对称分割等等。

-对不对称二叉树分割模式的使用作出限制，以防止不对称分割操作的序列模拟任何三叉树模式(ver_triple的hor_triple)。模拟意指产生与另一不同系列的分割操作相同或等效的到编码单元的空间划分。

所提出方法的一个优点是它实现与图10底部的分割配置类似的分割配置。但是所提出方法消除了通过两个连续二元不对称分割达到与图10顶部的分割配置类似的分割配置的需要，因为它可以通过单个三元分割来达到。

图12示出了图像分区块可以相对于典型编码器定位的一个示例。受影响的编解码器模块涉及以具有各种正方形和矩形尺寸的块(参见图10中的105)对要编码/解码的图片的划分。

图13示出了典型解码器，其中会发生逆处理。

图14示出了执行与所提出方法的第二特性相对应的限制处理的方法的一个实施例。

该方法包括以下：

该方法的输入为以下：

-要编码的当前cucurrcu，其具有尺寸宽度、高度、以及记为btdepth的当前二叉/三叉树深度值

-与当前cu相关联的分割模式，记为currsplitmode

该处理的第一步骤包括检查在当前编解码器配置中是否允许三叉树和不对称二叉树两者。如果否，则该处理结束，因为不可能发生通过不对称分割来模拟三元分割模式。

在下一步骤中，执行检查以确定在当前编解码器配置中用于避免模拟三叉树的对不对称分割的限制是否有效。如果否，则该处理结束。

下一步骤检查对当前编码单元是否允许二元不对称分割模式和三元分割模式两者。基本上，这包括检查以下：

-与当前cu相关联的深度级别低于对当前cu允许的最大深度级别。该最大深度级别被选择作为编码器配置参数并被编码到比特流中，例如在序列参数集(sps)或图片参数集(pps)或切片首标中。

-编码/解码系统支持通过三元分割模式或不对称分割模式分割当前cu所导致的子cu尺寸。特别地，这意味着亮度和色度分量中的相关变换尺寸被支持。

-如果对当前cu不允许不对称分割模式或三元分割模式，则该处理结束。

-否则，发生以下：

○对于四个现有二元不对称分割模式中的每一个，该方法测试当前cu的分割模式currsplitmode是否等于所考虑的二元不对称模式。

■如果是，则不允许相对(opposite)的不对称分割模式。相对意指具有相同取向但不同类型的二元不对称模式(例如：hor_up的相对物是hor_down)。

一旦对于4个不对称分割模式中的每一个执行了测试，则该处理结束。

本部分描述用于规范性cu分割模式信令的修改。

表1示出了在没有这里提出的方法的情况下的分割模式的信令的规范。

表1：根据初始不对称cu工具，用于编码cu的bt分割模式语法协定

表2示出了利用这里提出的方法的分割模式的信令的规范。

如可以看出的那样，由于所提出方法而导致的规范性修改在于表中以斜体标记的条件。实际上，变量horizontal_asymmetric_allowed和horizontal_asymmetric_allowed计算为标志splitallowed[hor_up]、splitallowed[hor_bottom]、splitallowed[ver_left]、splitallowed[ver_right]的函数，其取决于图14的处理。

horizontal_asymmetric_allowed＝(splitallowed[hor_up]||splitallowed[hor_bottom])；

vertical_asymmetric_allowed＝(splitallowed[ver_left]||splitallowed[ver_right])；

此外，标志horizontal_asymmetric_type和vertical_asymmetric_type的存在也取决于标志splitallowed[hor_up]、splitallowed[hor_bottom]、splitallowed[ver_left]、splitallowed[ver_right]，其取决于图14的处理。

在第一替代实施例中，由编码器和解码器两者以同步方式执行所提出的用于防止模拟三叉树分割的对使用不对称二叉树分割的限制，以联合地限制通过编码器进行的针对最佳分割模式的率失真搜索的组合，同时提高编码器、比特流和解码器的编码效率。

在第二替代实施例中，仅在编码器侧执行所提出的用于防止模拟三叉树分割的对使用不对称二叉树分割的限制，以加速针对最佳分割模式的率失真搜索，在编码效率方面具有非常有限的损失。

已经关于编码器或编码操作描述了前述实施例。然而，对应的逆操作适用于解码器或解码操作。例如，解码操作可以执行使用处理使得与每个子块尺寸相对应的变换被使用，对包括块的多个子块中的至少一个子块进行解码，以及将多个子块重组成块，其中重组包括划分块的逆操作。重组操作基本上是编码划分操作的逆。

表2：根据这里提出的方法，用于编码cu的bt分割模式语法协定

图17示出了对视频数据的块进行编码的方法1700的一个实施例。该方法在开始框1701开始，并且前进到框1710，以用于利用二元和/或三元分割将块划分成至少两个矩形子块。控制从框1710前进到框1720，以用于使用处理使得与每个子块尺寸相对应的变换被使用，对每个子块进行编码。

图18示出了对视频数据的块进行解码的方法1800的一个实施例。该方法在开始框1801开始，并且前进到框1810，以用于使用处理使得与每个子块尺寸相对应的变换被使用，对包括块的多个子块中的至少一个子块进行解码。然后，控制从框1810前进到框1820，以用于将多个子块重组成块，其中重组包括划分块或分割块的逆操作。

图19示出了用于对视频数据的块进行编码或解码的装置1900的一个实施例。该装置包括处理器1910，处理器1910具有输入和输出端口并且与存储器1920处于信号连接，存储器1920也具有输入和输出端口。该装置可以执行任何前述方法实施例或变型。

图20示出了用于实现前述方法或装置实施例的划分的方法2000的另一实施例。该方法在开始框2001开始，并且前进到框2010，以用于在所产生的分割不等于三元分割的情况下，在水平或垂直方向上使用不对称划分将块分割成子块。否则，控制从框2010前进到框2020，以用于在框2010的所产生的分割确实引起与三元分割等效的结果的情况下，在水平或垂直方向上将块分割成多个子块。

图21示出了用于实现前述方法或装置实施例的划分的方法2100的另一实施例。该方法在开始框2101开始，并且前进到框2110，以用于在所产生的分割不等于三元分割的情况下，使用不对称划分将块分割成多个子块。否则，控制从框2110前进到框2120，以用于在框2110的所产生的分割确实引起与三元分割等效的结果的情况下，将块分割成多个子块。

可以使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(其中的一些可被共享)来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“dsp”)硬件、用于存储软件的只读存储器(“rom”)、随机存取存储器(“ram”)和非易失性存储器。

也可以包括其他传统和/或定制的硬件。类似地，图中所示的任何切换仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来执行，或者甚至手动执行，特定技术可由实现者选择，如根据上下文更具体理解的那样。

本描述说明了本构思。因此将理解，本领域技术人员将能够设计各种布置，该布置虽然未在此明确描述或示出，但是体现本构思并包括在其精神和范围内。

在此叙述的所有示例和条件语言旨在用于教学目的以帮助读者理解本原理和发明人为促进技术所贡献的概念，并且要被解释为不限于这样具体叙述的示例和条件。

此外，在此叙述本原理的原理、方面和实施例以及其具体示例的所有陈述旨在包含其结构和功能等同物。另外，旨在这样的等同物包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元件，而不管结构如何。

因此，例如，本领域技术人员将理解，在此呈现的框图表示体现本原理的说明性电路的概念视图。类似地，将理解，任何流程图表、流程图、状态转换图、伪代码等表示可以基本上表示在计算机可读介质中并因此由计算机或处理器执行的各种处理，无论这样的计算机或处理器是否被明确示出。

在在此的权利要求中，表达为用于执行指定功能的部件的任何元件旨在包含执行该功能的任何方式，包括例如，a)执行该功能的电路元件的组合，或b)任何形式的软件(因此包括固件、微代码等)，其与用于执行该软件的适当电路相结合以执行该功能。由这样的权利要求限定的本原理在于以下事实，即，由各种所述部件提供的功能以权利要求所要求的方式组合和集合在一起。因此认为，可以提供那些功能的任何部件都等同于在此示出的那些部件。

说明书中对本原理的“一个实施例”或“实施例”及其其他变型的引用意指结合实施例描述的特定特征、结构、特性等包括在本原理的至少一个实施例中。因此，在整个说明书各处出现的短语“在一个实施例中”或“在实施例中”以及任何其他变型的出现未必都涉及相同的实施例。