视频信号的处理方法和设备与流程

技术领域

本发明涉及一种用于视频信号的处理方法和设备，并且更确具体而言，涉及用于对视频信号进行编码或解码的视频信号处理方法和设备。

背景技术：

压缩编译是指用于通过通信线来传输数字化信息或者用于将信息变换成适合于存储介质的形式的一系列信号处理技术。例如，压缩编译的对象包括声音、图像和文字。具体而言，用于对图像执行压缩编译的技术被称为视频图像压缩。例如，考虑空间相关性、时间相关性和概率相关性，通过去除过剩信息来实现用于视频图像的压缩编译。

技术实现要素：

技术问题

例如，本发明的一个目的是通过将用于编译、预测和变换的单元分层地分割成适用于编译的多个子单元来有效率地处理视频信号。

本发明的另一方面是提供一种用于视频信号及其语法结构的编译的跳频模式的有效率的应用的方法。甚至将编译信息传输到跳频模式被应用的单元的局部区域，使得能够进行更精确的预测。

本发明的另一目的是通过采用残差信号的空间分布特性来增强 编译效率。

本发明的又一目的是提供一种用于在将变换单元分层地分割的过程中有效率地传输编译块模式信息的方法。

技术的解决方案

考虑到上述问题已经做出本发明，以及用于根据本发明的视频信号的处理方法采用将单一编译单元递归地分割成多个子编译单元的结构和方法。此外，关于该分割方法，提出了一种用于处理未包括在编译单元的最小尺寸中的边缘区域的方法。

根据本发明的视频信号的处理方法提出了一种根据需要而允许将编译信息传输到应用跳频模式的编译单元的预先确定区域的方法和语法结构。

根据本发明的视频信号的处理方法提出了一种将残差数据重新排序以确保基于该残差数据的空间分布特性而能够有效率地编译残差数据的方法。附加地，提出了一种应用变换单元以使得在具有相似特性的残差信号之间能够进行变换的方法。

根据本发明的视频信号的处理方法提出了一种其中在能够被分层地分割的单元结构下通过分层地采用编译块模式信息能够有效率地使用位(bit)的方法。

本发明将在下面提供效果和优势。

首先，关于处理视频信号，通过采用除了具有固定尺寸的编译单元之外的各种尺寸的编译单元，能够增强编译效率。

其次，由于以这种在没有填充的情形下能够将图像的边缘部分编 译的方式来分割图像，所以能够减少附加信息的提供或者不必要的编译处理，这导致进一步提高编译效率。

第三，关于跳频模式的应用，能够根据需要而将编译信息附加地给予应用跳频模式的编译单元的预先确定区域，这使得能够进行更加精确的预测。

第四，在编译残差数据的过程中，通过基于其空间分布特性将残差数据重新排序或者通过采用适合于空间特性的变换单元的尺寸，能够在单一变换单元内允许具有相似特性的残差数据之间的变换。

第五，在能够被递归地分割的单元结构之下，能够分层地采用特定信息，更具体而言是编译块模式信息。本文提出了用于在采用信息时有效率地利用每秒位的多种方法，这导致编译效率提高。

附图说明

图1是根据本发明实施例的视频信号编码设备的示意性框图。

图2是根据本发明实施例的视频信号解码设备的示意性框图。

图3是示出根据本发明实施例的分割单元的示例的视图。

图4是示出用于分层地表示图3的分割结构的方法的实施例的视图。

图5是示出根据本发明实施例的关于预测单元的各种分割方式。

图6A至图6C是示出用于编译应用跳频模式的预测单元的局部区域的方法的不同实施例的视图。

图7A至图7C是示出根据本发明的具有不同尺寸和位置的编译块的不同实施例的视图。

图8是示出生成残差信号和残差信号的空间分布特性的流程的视图。

图9A是示出根据本发明实施例的包括残差重新排序单元的编码器的变换器以及包括残差逆重新排序单元的编码器的逆变换器的框图。

图9B是示出根据本发明实施例的包括残差逆重新排序单元的解码器的逆变换器的框图。

图10是示出根据本发明实施例的在重新排序之前和之后的残差信号的分布的视图。

图11A至图11D是示出根据本发明的用于基于图像的特性划分和重新排序块的方法的不同实施例的视图。

图12A和图12B是示出根据本发明的用于分配具有不同尺寸的变换单元的方法的不同实施例的视图。

图13是示出以不同模式将编译单元分割成预测单元和各自预测单元的边缘区域的视图。

图14是示出用于表示关于在现有H.264/AVC编解码器中的宏块的编译块模式的方法的视图。

图15A至图18是根据本发明示出用于分层地表示其中将单一编译单元分割成多个子编译单元的情形下的编译块模式的方法的不同实施例的视图。

具体实施方式

为了实现上述目标，根据本发明的视频信号的处理方法包括获取指示变换单元是否被分割的分割信息。如果分割信息指示变换单元未被分割，则该方法包括在变换单元上获取编译块模式信息，并且基于编译块模式信息来执行变换单元的逆变换。此处，可以将编译的块模式信息称为指示变换单元是否包括至少一个非零变换系数级别的信息。

在根据本发明的用于视频信号的处理方法中，如果分割信息指示将变换单元分割，则该方法还可以包括将变换单元分割成多个下层变换单元。下层变换单元的宽度和高度可以是变换单元的宽度和高度的一半。

此外，在用于根据本发明的视频信号的处理方法中，如果分割信 息指示变换单元被分割，则该方法还包括在变换单元上获取编译块模式信息。在该情形下，在变换单元上的编译块模式信息可以指示变换单元是否包括具有非零变换系数级别的至少一个下层变换单元。

此外，在用于根据本发明的视频信号的处理方法中，仅当能够将变换单元分割时可以获取分割信息。更具体地，基于变换单元是否能够基于变换单元的位置、变换单元的尺寸和图像的尺寸中的任何之一被分割的确认结果，可以获取分割信息。

可以获取关于亮度信号和色度信号中的每个的根据本发明在用于视频信号的处理方法中采用编译块模式信息。

在用于根据本发明的视频信号的处理方法中，逆变换的变换单元包括残差信号，并且该方法还可以包括根据预先定义顺序将残差信号重新排序。

用于本发明的方式

在下文中，将参考附图来详细描述本发明的示例性实施例。在描述本发明之前，应该理解的是，不使用典型的或字典限制的含义解释在本发明的说明书和权利要求中使用的这些术语或词语，并且基于本发明人能够适当地定义这些术语的概念的原理，被构造成遵循本发明的技术精神的含义和概念，以最佳方式解释本发明。因此，该说明书的描述和这些附图的说明仅被给出为本发明的最优选实施例，并不是旨在表示本发明的所有技术精神。因此，应理解的是，各种等效和修改能够存在，其能够替代在申请时所描述的实施例。

在本发明中，基于下列标准可以解释这些术语，以及甚至可以基于下面的标注来解释在下文中未特定的这些术语。根据需要可以将编译解释为编码或解码，并且信息包括所有值、参数、系数、元素等。根据需要可以不同地解释这些术语的含义，并且本发明不限于此。已 经使用的术语“单元”是指图像处理的基本单元或图像的特定位置，并且例如根据需要可以以相同含义用作术语“块”或“区域”。此外，在该说明中，术语“单元”可以是包括所有编译单元、预测单元和变换单元的概念。

图1是根据本发明实施例的视频信号编码设备的示意性框图。参考图1，本发明的编码设备100通常包括变换器110、量化器115、逆量化器120、逆变换器125、滤波器130、预测器150和熵编译器160。

变换器110通过变换用于输入视频信号的像素值获取变换系数值。例如，可以使用离散余弦变换(DCT)或小波变换(WT)。具体而言，以将输入视频信号分割成具有恒定尺寸的块的方式来执行DCT。在DCT的情形下，在变换区域中根据这些值的分布和特性可以更改编译效率。因此，在本发明的实施例中，为了增强变换效率，在变换的过程中，可以调整数据的设置或变换区域的尺寸。将参考图8至图12B在下文描述该变换方法。

量化器115执行从变换器110输出的变换系数值的量化。逆量化器120执行变换系数值的逆量化，并且逆变换器125使用逆量化变换系数值来恢复原始像素值。

滤波器130执行滤波，用于改善恢复图像的质量。例如，可以包括去块滤波器和自适应环路滤波器。可以输出过滤的图像，或者可以将其存储在贮存器156中，以便用作参考图像。

为了增强编译效率，取代直接编译图像信号，提供了一种包括使用先前编译区域来预测图像的步骤并且通过将原始图像和预测图像之间的残差值添加到预测图像来获取恢复的图像的方法。帧内预测器152在当前图像内执行帧间预测，并且帧间预测154使用在贮存器156中存储的参考图像预测当前图像。更具体地，帧内预测器152从当前图像内恢复的区域来执行帧内预测，并且将帧内编译信息传输到熵编译器 160。帧间预测器154可以包括运动补偿器162和运动估计器164。运动估计器164获取关于特定恢复区域的当前区域的运动向量值。运动估计器164将参考区域的位置信息(例如：参考帧和运动向量)传输到熵编译器160，以允许位置信息被包括在位流中。运动补偿器162使用从运动估计器164传输的运动向量值来执行帧间运动补偿。

熵编译器160通过熵编译量化变换系数、帧间编译信息、帧内编译信息、以及关于从帧间预测器154输入的参考区域的信息，来生成视频信号位流。例如，熵编译器160可以采用可变长度编译(VLC)和算法编译。在可变长度编译中，将输入符号变换成连续码字。码字的长度可以是可变的。例如，通过短码字来表示频繁发生的符号、通过长码字来表示没有频繁发生的符号。可变长度编译可以是基于上下文的自适应可变长度编译(CAVLC)。在算法编译中，连续的数据符号被变换成单一小数。算法编译可以获取表示每个符号所需要的最佳小数位。算法编译可以是基于上下文的自适应二进制算法编译(CABAC)。

图2是根据本发明实施例的视频信号解码设备200的示意性框图。参考图2，本发明的解码设备200通常包括熵解码器210、逆量化器220和逆变换器225、滤波器230以及预测器250。

例如，熵解码器210通过将视频信号位流熵解码，来提取关于每个区域的变换系数和运动向量。逆量化器220执行熵解码变换系数的逆量化，并且逆变换器225使用逆量化变换系数执行初始像素值的恢复。在根据本发明实施例的解码器中，将被编译的数据的空间分布在数据变换之前可以被重新排序。如果在变换区域中的像素在变换之前在该编码器中被重新排序，则需要重新排序的恢复。将参考图8至图12b在下文进行详细描述。

滤波器230通过对图像执行滤波来实现图像质量的改善。因此，滤波器可以包括解块滤波器以减少块失真和/或自适应环路滤波器，以去 除图像的失真。得到的滤波图像可以被输出，或者可以被存储在贮存器256中，以便用作用于下一帧的参考图像。

帧内预测器252从当前图像内编码的抽样来执行预测。在解码器中的帧内预测器252的操作等于上述描述的编码器的帧内预测器152的操作。

帧间预测器254使用在贮存器256中存储的参考图像来估计运动向量，并且生成预测的图像。帧间预测器254可以包括运动补偿器262和运动估计器264。运动估计器264获取表示当前块和将用于编译的参考帧的参考块之间的关系的运动向量，并且将运动向量传输到运动补偿器262。在解码器中的帧间预测器252的操作等于上述描述的编码器中的帧间预测器152的操作。

当从帧内预测器252或帧间预测器254输出的预测值以及从逆变换器225输出的像素值彼此添加时，生成恢复的视频帧。

在下文，在如上所述的编码设备和解码设备的操作中，将详细描述例如用于参考图3至图5将编译单元、预测单元和变换单元分割的方法、用于参考图6和图7以跳频模式编译预先确定区域的方法、参考图8至图12b基于残差信号的空间分布的变换方法、以及参考图14和图18的编译块模式信息的递归和有效使用方法。

编译单元是指基本单元，所述基本单元用于在例如帧内/帧间预测、变换、量化和/或熵编译的上文描述的视频信号处理流程中处理图像。当编译单一图像时将使用的编译单元的尺寸可以不是恒定的。编译单元可以具有方形形式，并且单一编译单元可以被分割成多个子编译单元。

图3是示出根据本发明实施例的分割编译单元的示例的视图。在一 个示例中，可以将具有2N x 2N的尺寸的单一编译单元分割成具有N x N的尺寸的四个子编译单元。可以递归地执行编译单元的这种分割，并且没有必要将所有编译单元分割成具有相同形状。然而，为了在编译和处理中便利的目的，可以将编译单元的尺寸限制在由附图标记310指定的最大尺寸内，或者通过附图标记320指定的最小尺寸内。

关于单一编译单元，指示相应的编译单元是否被分割的信息可以被存储。在一个示例中，假定如图3中所示的单一编译单元被分割成四个方形子编译单元。图4示出用于使用值0和1分层地表示编译单元的分割结构的方法的实施例。在相应单元被划分时，指示编译单元是否被分割的信息可以被分配值“1”，并且当相应单元未被划分时，指示编译单元是否被分割的信息可以被分配值“0”。如图4中所示，如果表示分割是否发生的标识值是1，则可以将匹配相应节点的块不再进一步地分割成四个子块。如果标识值是0，则该块可以不被进一步地分割并且相对于相应的编译单元经受处理过程。

如所理解，不能将块分割成四个方形区域。在该情形下，可以通过将预先定义的分割方法的代码映射到此来表示分割信息。在分割设置条件的一个示例中，如果相应信息值是1，则可以将相应块分割成两个水平矩形子块，如果相应信息值是2，则可以将相应块分割成两个垂直矩形子块，并且如果相应信息值是3，则可以将相应块分割成四个方形子块。此示出分割方法的多个示例，并且本发明不限于此。

使用递归树结构，可以表示上文描述的编译单元的结构。更具体地，假定单一图像或编译单元的最大尺寸与根节点相对应，则将被分割成子编译单元的编译单元具有在数量上等于被分割的子编译单元的子节点。因此，不再被分割的编译单元变成了叶节点。假定仅单一编译单元的方形分割是可能的，则可以将单一编译单元最大地分割成四个子编译单元，并且因此表示相应编译单元的树结构可以采用四叉树的形式。

在编码器的情形下，其考虑视频图像或编译效率的特性(例如：分辨率)的情况下可以选择编译单元的最佳尺寸。包括最佳尺寸的信息或能够推导最佳尺寸的信息可以被包括在位流中。在一个示例中，可以限定编译单元的最大尺寸和树结构的最大深度。在方形分割的情形下，因此，因为与子节点匹配的子编译单元的高度和宽度是与母节点匹配的编译单元的高度和宽度的一半，所以可以基于上文描述的信息来获取编译单元的最小尺寸。可替选地，相反，假定预先定义编译单元的最小尺寸和树结构的最大深度，则根据需要可以从预先定义信息推导出编译单元的最大尺寸。由于在方形分割中将单元的尺寸可以更改成2的倍数，所以通过记录值可以表示编译单元的实际尺寸，其基数是2，以增强传输效率。

针对诸如未进一步分割的编译单元的目标(即，编译单元树的叶节点)，执行增强编译效率的图像预测(运动补偿)。用于实施该预测的基本单元在下文被称为预测单元。这种预测单元可以具有各种形状。在一个示例中，预测单元可以具有对称形状、非对称形状、或者诸如方形和矩形形状的几何形状。图5示出用于预测单元的分割方法的多个实例。位流可以包括指示分割成预测单元是否发生或者被分割的预测单元的形状是什么的信息。可替选地，从其他信息可以推导出该信息。

同时，从预测单元不同地执行用于图像的变换(例如，DCT)。在下文，用于图像变换的基本单元被称为变换单元。例如，用于DCT的变换单元通常具有方形形状，并且与上述编译单元可以相似地被递归分割。变换单元基于图像的特性可以具有最有效率的尺寸，并且可以具有大于或小于预测单元的尺寸的尺寸。然而通常，单一预测单元可以包括多个变换单元。可以与关于编译单元的上文描述相似地表示变换单元的结构和尺寸。在一个示例中，可以将单一变换单元递归地分割成四个子变换单元，并且通过四叉树可以表示变换单元的结构。 通过，与变换单元的结构相关的信息可以由例如预先设置的变换单元树的最大高度(或分割深度)、变换单元的最大尺寸、变换单元的最小尺寸、变换单元的最大尺寸和最小尺寸之间的差、和/或其记录值推导出变换单元的深度和变换单元的尺寸来表示。同时，根据相应单元的预测模式，可以更改变换单元的最大分割深度。此外，开始变换的编译单元的尺寸可以对变换单元的尺寸有影响。

在解码器的情形下，可以获取指示是否将当前编译单元分割的信息。在特定条件下，通过允许获取(传输)该信息可以实现增加的效率。在一个示例中，用于使能当前编译单元分割的条件是，当前编译单元的尺寸的总和小于图像的尺寸并且当前单元的尺寸大于编译单元的预先设置的最小尺寸。因此，仅在这些条件下，可以获取指示分割是否发生的信息。

如果该信息指示编译单元被分割，则将被分割的编译单元的尺寸是当前编译单元的尺寸的一半，以及在当前处理位置的基础上将编译单元分割成四个方形子编译单元。针对被分割的子编译单元，可以重复上文描述的处理。如上文所述，没有必要将编译单元分割成方形子编译单元。未进一步分割的编译单元经受上文描述的处理流程，诸如，例如预测和变换。

相似地，关于变换单元，可以获取指示当前变换单元是否被递归地分割的信息。在一个示例中，如果该信息指示相应变换单元被分割，则可以将相应变换单元递归地分割成多个子变换单元。例如，如果通过‘1’表示分割信息，则可以将变换单元分成四个子变换单元，每个子变换单元具有变换单元的宽度和高度的一半的宽度和高度。与关于编译单元的描述相似，仅在特定条件下通过允许获取(或者传输)分割信息，可以实现增加解码效率。在一个示例中，例如，基于诸如当前变换单元的位置、当前变换单元的尺寸、和/或图像的尺寸的信息，可以确认是否能够将当前变换单元分割。即，用于使能当前变换单元分 割的条件是，当前变换单元的尺寸之和小于图像的尺寸，以及当前变换单元的尺寸大于变换单元的预先设置的最小尺寸。因此，仅在上述条件下可以获取指示分割是否发生的信息。

同时，在如上所述分割图像的情形下，其中图像的尺寸与编译单元的最小尺寸不匹配的情形可能发生。更具体地，在其中如图3中所示将图像分割成多个编译单元的情形下，该图像的边缘部分350可以保持。因此，有必要进行测量，以便去除该图像的剩余边缘部分，以确认编译单元的指配尺寸。通常，可以使用通过根据该图像的尺寸而输入任意值(例如，零或等于外围像素数量的值)来填充图像的边缘部分的方法。然而，此要求编译填充区域，从而导致编译效率劣化。此外，在解码器的情形下，此类问题在解码之后需要除了实际图像区域之外的填充区域的剪切。此外，为了执行剪切，有必要传输附加剪切信息，其可以导致编译效率劣化。因此，有必要根据未分配给编译单元的像素的数量来确定编译单元的尺寸。

根据本发明的实施例，无论编译单元的最小尺寸如何，根据剩余的、未分配的像素的数量，在边界区域可以接连地分割编译单元。在一个示例中，在其中小于与编译单元的最小尺寸匹配的像素的数量的像素的特定数量‘n’保持在边界区域的情形下(即，在x0+cMin>picWidth或y0+cMin>picHeight的条件下，此处x0和y0表示将被分割的当前区域的左上端位置的坐标，picWidth和picHeight分别表示图像的宽度和高度，并且cMin>n)，则将编译单元接连地分割直至与被分割的编译单元的尺寸匹配的像素的数量变成‘n’。

根据本发明的另一方面，可以执行分割，以根据剩余像素的数量来获取具有包括剩余区域的形状的预测单元。如上所述，图5是根据本发明实施例的示出关于预测块的各种分割方式。虽然预测块可以经受对称分割，但是非对称分割或几何分割也是可能的，因此，编码器可以选择适当的分割方式，使得能够将剩余区域适当地包括在被分割的 区域。参考图5，被分割的边缘部分经受编译，而由X指派的区域不包括数据。因此，编码器不对该区域执行编译或信息传输。相似地，解码器可以不需要执行关于该区域的不必要解码。

虽然指示单元被分割成什么形状的信息可以附加地给予解码器，但是因为该解码器基于预先确定规则能够推导出这种预测单元，所以该附加信息的供给是没有必要的。在一个示例中，使用指示是否存在跳频模式的信息、指示预测模式的信息、指示在帧间预测时用于编译单元的分割方法的信息、和/或指示是否可以合并分割单元的信息，可以推导出这种预测单元。

在下文，将描述用于关于运动向量预测和运动补偿的视频信号的处理方法。

基于包括在报头中的信息，可以识别将使用哪种预测模式。在一个示例中，预测模式信息PRED_MODE可以指示帧内预测模式MODE_INTRA、直接预测模式MODE_DIRECT、帧间预测模式MODE_INTER、以及跳频模式MODE_SKIP中的任何之一。在特定情形下，可以通过推导出预测模式信息而非将其传输来减少将要传输的信息的数量。在一个示例中，如果没有接收预测模式信息，则在I图片的情形下，仅帧内预测模式是可能的，并且因此，I图片可以表示帧内预测模式。此外，在P图片或B图片的情形下，可以应用所有上述模式，并且因此，该图片或B图片可以表示预先定义的模式(例如，跳频模式)。

跳频模式是指采用除了在当前预测单元恢复之后关于当前预测单元的运动信息之外的先前编译单元的模式。因此，在跳频模式的情形下，除了指示将要跳频的单元的信息之外的其他信息(例如，运动信息和残差信息)不被传输。在该情形下，从相邻运动向量可以推导出预测所需要的运动信息。

当使用跳频模式时，可以直接使用在先前编译的参考图片内的参考区域的像素值。参考块的像素值使用运动向量预测器可以承担运动补偿。关于运动向量预测器的获取，当采用运动向量补偿时，当前预测块可以包括运动向量信息。

如果关于当前预测单元的信息指示当前预测块在跳频模式中被编译时，使用关于相邻块的运动信息可以推导出关于当前预测块的运动信息。相邻块可以指与当前预测块相邻的块。

在一个示例中，与当前预测块的左侧相邻的块可以被称为相邻块A，与当前预测块的上端相邻的块可以被称为相邻块B，与当前预测块的右上端相邻的块可以被称为相邻块C，以及通过mvA、mvB和mvC可以分别指配其运动向量。在该情形下，从运动向量mvA、mvB和mvC的垂直和水平分量的中心值可以推导出当前预测单元的运动向量预测器。可以将当前预测单元的运动向量预测器用作当前预测块的运动向量。

同时，基于运动向量补偿可以获取关于当前预测单元的运动信息。为了适应性地采用运动向量竞争，在切片的单元或预测块的单元中可以获取指示是否采用运动向量竞争的信息。在一个示例中，在其中运动向量竞争指示信息指定采用运动向量竞争的情形下，基于运动向量竞争来获取运动向量预测器。反之，如果运动向量竞争指示信息指定没有采用运动向量竞争，如上所述从相邻块的运动向量可以获取运动向量预测器。

为了运动向量竞争的目的，可以获取关于当前预测单元的运动向量预测器的候选。可以将与当前预测单元相邻的空间相邻块的运动向量采用为运动向量预测器候选。在一个示例中，可以采用与当前预测单元的左和右上端相邻的块的运动向量。此外，从与当前预测单元相邻的空间相邻块的运动向量，可以推导出水平和垂直分量的中心值， 以及中心值可以被包括在运动向量预测器候选中。暂时相邻块的运动向量也可以包括在运动向量预测器候选中。暂时相邻块的运动向量可以被适应性地用作运动向量预测器候选。同时，可以附加地采用指定在运动向量竞争中是否采用暂时相邻块的运动向量的暂时竞争信息。即，暂时竞争信息可以是指定暂时相邻块的运动向量是否被包括在运动向量预测器候选中的信息。因此，即使当采用运动向量竞争以基于暂时竞争信息获取当前预测块的运动向量预测器时，可以限制将暂时相邻块的运动向量用作运动向量预测器候选。由于暂时竞争信息假定运动向量竞争被采用，所以仅在其中运动竞争指示信息指示运动向量竞争被采用的情形下，获取暂时竞争信息是可能的。

根据上述各种运动向量预测器候选，可以产生运动向量竞争列表。以预先确定顺序来对准运动向量预测器候选。在一个示例中，以从与当前预测块相邻的空间相邻块的运动向量推导中心值的顺序，或者以与当前预测块相邻的空间相邻块的运动向量的顺序，可以对准运动向量预测器候选。此外，以与当前预测块的左端、上端和右上端相邻的相邻块的运动向量的顺序，可以对准空间相邻块的运动向量。此外，在其中将暂时相邻块的运动向量基于暂时竞争信息被用作运动向量预测器候选的情形下，可以将运动向量预测器候选添加到运动向量竞争列表的端部。通过索引信息可以指定运动向量竞争列表的运动向量预测器候选。即，运动向量竞争列表可以由运动向量预测器候选和分配到运动向量预测器候选的索引信息来构成。

使用关于运动向量预测器候选和运动向量竞争列表的索引信息，可以获取当前预测单元的运动向量预测器。此处，关于运动向量预测器候选的索引信息可以指的是指定在运动向量竞争列表内的运动向量预测器候选的信息。在预测单元的单元中可以获取关于运动向量预测器候选的索引信息。

虽然通过减少待被传输的信息量可以实现增强的效率，但是这会 劣化准确性，因为没有传输关于相应单元的信息。

根据本发明的一个实施例，可以将编译信息传输至应用了跳频模式的单元的局部区域。图6A至6C是示出用于将应用了跳频模式的预测单元的局部区域编译的方法的不同实施例的视图。参考图6A至6C，可以将跳频模式应用于局部区域610、630和650，并且局部区域620、640和660可以被编译，以使能编译信息的传输。在这种情形中，除了跳频模式之外的其他预测模式，例如，帧间预测模式或帧内预测模式，可以被应用于这些编译区域。

编译区域的尺寸小于编译单元的尺寸。在一个示例中，如在图6A中所示的，如果编译区域具有方形，则编译区域的尺寸可以由2^N+1x2^N+1(N>1)来表示。在这种情形下，在关于编译区域的信息之中，编译区域的尺寸可以仅由N来表示。在另一示例中，如在图6B中所示的，编译区域可以具有矩形形状。在这种情形下，编译区域的尺寸可由2^N+1x 2^M+1(N>1,M>1)来表示。此外，在关于编译区域的信息中，编译区域的尺寸可以由(N,M)来表示。应指出的是，编译区域必须位于编译单元的边缘。如图6B和图6C中所示的，编译区域可以位于编译区域的中央部分。

对于确定是否使能跳频模式中的局部区域编译或者定义哪个区域被编译，额外的语法是必要的。在一个示例中，序列报头可以包括，例如，指示是否允许跳频区域的一部分编译的标识信息以及指示多少编译区域将在单一跳频模式编译单元中被允许的信息。此外，例如，与每个编译单元相关，序列报头可以包括指示是否编译区域被包括在相应单元的跳频区域中的一部分中的标识、编译区域的数目以及编译区域的起始位置。当然，可以仅在跳频模式能够被部分地编译的假定下，需要该信息。例如，与每个编译区域相关，序列报头可以包括指示预测方法的信息(例如，帧内预测或帧间预测是否被采用)、预测信息(运动向量或帧内预测模式)和残差数据。尤其是，可以以下文 将描述的各种方式来表示编译区域的位置和尺寸。

图7A至图7C是示出根据本发明实施例的用于示出编译区域的尺寸和位置的各种方法的视图。第一方法将索引编号分配给每个编译区域。参考图7A，假定编译区域位于通过将编译单元分割而得到的四个方形子区域中的任何一个。可以以任意顺序，将固有索引编号分配给各个分割的子区域。如在图7A中所示的，从0开始的编号可以从左上区域被顺序分配，并且因此编译区域710的索引编号可以是3。在这种情形中，由于通过将编译单元分割为四个而得到编译区域，所以该编译区域的尺寸可以从编译区域的尺寸来确定。如果存在一个或多个编译区域，则若干索引编号可以被存储。根据本发明的实施例，除了四分之一分割以外的各种分割方式可以被采用，并且，如果必要，可以采用预先确定的分割方式和索引编号分配。预先确定分割区域的使用可以有利地消除除了索引编号以外的其他信息的传输。

第二方法是传输位置向量和编译区域的尺寸。参考图7B，编译区域720可以由位置向量725表示，其是相对于编译区域的左上端点的位置。此外，如上文所述，在方形形状的情形中，编译区域的尺寸可以由2^N+1x 2^N+1来表示，或者在矩形形状的情形中，由2^N+1x 2^M+1来表示，并且因此，仅N的值或N和M的值可以被存储并传输(例如，在图7B中，用于表示编译区域的尺寸的值N为2)。可替选地，可能存在一种方法，其仅允许具有特定比率的长度并且仅传输对角长度值的矩形编译区域。

第三方法是使用关于参考点的索引信息，以便减少位置向量的量值。参考图7C，可以使用表示参考坐标的索引的位置向量735，即相对于相应参考坐标的位置，表示编译区域730的位置。例如，如上文参考图7A所描述的，编译单元可以被分割成四个区域，使得索引编号被分配给各个区，并且其中作为编译区域的起点的左上端位置存在的分割区的左上端可以是参考位置。参考图7C，编译区域可以位于具有2和3 的索引编号的区域上，并且可以与索引编号为2的区域的左上端间隔开(5,3)的距离。在这种情形下，待被存储的信息包括与参考位置相对应的索引编号2、基于参考位置的位置向量(5,3)、表示编译区域的尺寸的索引值(2,1)。

在其中当前预测块不以跳频模式被编译的情形下，当前预测块可以被编译成直接预测模式。直接预测模式指使用完全解码块的运动信息来预测关于当前预测块的运动信息的模式。然而，当前预测块包括残差数据，并且因此不同于跳频模式。

帧间预测可以包括前向预测、后向预测和双向预测。前向预测是使用在当前图片之前临时显示(或输出)的单一参考图片的预测，并且后向预测是使用在当前图片之后临时显示(或输出)的单一参考图片的预测。为此目的，单一条运动信息(例如，运动向量或参考图片索引)可以被获取。双预测可以使用两个参考区域。两个参考区域可以存在于相同参考图片中，或者可以独立存在于不同图片中。参考图片可以在显示当前图片之前或之后被显示(或输出)。双预测可以使用两条运动信息(例如，运动向量和参考图片索引)。

待以帧间模式被编译的预测单元可以以任意方式被分割(例如，对称分割、非对称分割、几何分割)，并且如上文所述，每个分割可以从单一参考图片或两个参考图片被预测。

关于当前预测单元的运动信息可以包括运动向量信息和参考图片索引。运动向量信息可以指运动向量、运动向量预测器、或者差分运动向量，并且也可以指的是指定运动向量预测器的索引信息。差分运动向量是指在运动向量和运动向量预测器之间的差分值。

使用运动向量和参考图片索引，可以获取当前预测块的参考块。在具有参考图片索引的参考图片中存在参考块。此外，通过运动向量 指定的块的像素值可以被用作当前预测单元的预测器。即，采用用于通过从先前解码的图片估计运动来预测当前预测单元的图片的运动补偿。

当连同关于预测当前图像的信息完成当前图像的预测时，在预测图像和实际图像之间的差值，即，残差信号被编译并且被包括在位流中。图8是示出用于运动补偿信号和残差信号的空间分布来生成残差信号的方法。通过从初始信号810减去运动补偿信号820来获取残差信号830。为了执行残差信号的编译，变换和量化必须在先。通常，该编码器基于变换单元的尺寸，从变换单元的左上端开始连续编译与预编码的差。该解码器可以恢复该结果，并且以相同序列将其使用。

然而，考虑到帧间预测的情形下残差信号830的分布，如图8中所示，可能发生其中在初始信号和预测器之间的差增加的情形，即残差信号的能量随着与单元中心的距离增加而增加。如果在单一变换单元中混合该残差值和低残差值，这将劣化编译效率。由于此原因，根据本发明的实施例，可以执行残差信号的重新排序以使得具有相似特性的残差信号，更具体地，具有能量的相似量值的残差信号被设置成彼此空间相邻。

图9A是示出分别进一步包括残差重新排序单元112或残差逆重新排序单元129的变换器100和编码器的逆变换器125的框图，并且图9B是示出进一步包括残差逆重新排序单元229的解码器200的逆变换器225的框图。残差重新排序单元112可以执行残差值(或这些块)的重新排序，使得彼此独立地编译高残差值和低残差值。残差逆重新排序单元129和229以残差重新排序单元的重新排序序列的逆顺序，可以将重新排序的残差信号恢复成初始信号。根据本发明的实施例，编码器的变换器110包括在残差值变换单元114之前的残差重新排序单元112。这允许具有相似特性的残差信号位于彼此空间相邻，从而实现增强变换效率。同样地，逆变换器125还包括在逆变换单元127之后的逆重新排序 单元129，从而执行逆变换信号的逆重新排序并且将其返回成初始信号的空间序列。在编码器中，以变换器的重新排序序列的逆顺序可以执行逆重新排序。

在根据本发明实施例的解码器的逆变换器中，与编码器的逆变换器相似，逆变换单元227获取输入信号的变换结果，并且逆重新排序单元229以编码器的重新排序的逆顺序，将变换结果重新排序，从而获取初始图像序列。

图10示出根据本发明实施例的在重新排序之后残差信号的分布。在一个示例中，图10示出在其中使用在尺寸上为N x N的变换单元来变换在尺寸上为2N x 2N的残差图像的情形下的残差值的分布。在图10中，区域1、4、5和8具有高残差值，并且区域2、3、6和7具有低残差值。假定单一变换单元具有N x N的尺寸，则其的残差值具有不同特性的区域1和区域2被一起变换。这可以在区域3和4的情形下、在区域5和区域6的情形下以及在区域7和区域8的情形下同等地应用。因此，根据本发明的实施例，可以将这些区域如图10的右侧中所示重新排序。以该种方式，可以将具有低残差值的区域2、3、6和7以及具有高残差值的区域1、4、5和8分别编译成单一变换单元。然而，应该注意的是，根据本发明的实施例给出了图10中所示的重新排序方法，并且本发明不限于此。因此，除了图10的方法之外，可以采用各种其他重新排序方法，只要具有相同残差值特性的区域被包括在单一变换单元中。

图11A和图11D是示出根据本发明的基于图像的特性的用于将这些块进行分割和重新排序的方法的各种实施方式的视图。在图11A至图11D中，单一小方形表示一个像素。如上文参考图10所述，基于残差值的特性，可以将每个像素分成图11A中所示的八个块。在下文，为了描述方便，使用与图10相对应的附图标记。

图11B示出根据本发明实施例的重新排序。在图11B中，经由旋转 或对称运动可以将这些块重新排序，以使得当保持被分割的块的形状时，块与单一变换单元的尺寸相对应。图11B的区域1与图11A的区域3相对应，图11B的区域2与图11A的区域2相对应，图11B的区域3和图11A的区域7相对应，图11B的区域4与图11A的区域6相对应，图11B的区域5和图11A的区域1相对应，图11B的区域6和图11A的区域4相对应，图11B的区域7和图11A的区域1相对应，以及图11B的区域8和图11A的区域8相对应。

同时，没有必要保持分割块的形状。图11示出根据本发明的实施例的适当地变换分割的三角形区域以与变换单元的方形区域相符合的流程。关于图11A的区域2和3，以预先确定顺序可以在图11C的区域1和区域2中填充像素。其他区域，例如，图11A的区域6和7可以填入在图11C的区域3和4中；图11A的区域1和4可以填入在图11C的区域5和6中；以及图11A的最后区域5和8可以填入在图11C的区域7和8中。

图11D示出其中菱形区域被适当地变换以与变换单元的方形区域相符合的本发明的实施例。关于区域2、3、6和7，可以以预先确定顺序，将像素填入在图11D的区域1、2、3和4中。图11A的其他区域1、4、5和8以相同方式被填入在区域5、6、7和8中。

同时，上文描述的方法示出用于搜集具有类似特性的残差信号的重新排序流程。如果解码器接收到重新排序的编译信号，则在将这些信号变换成原始信号之前，解码器必须与上述重新排序持续相反地执行重新排序。解码器可以另外地接收指示输入信号是否被重新排序的信息。

上述方法是用于划分并且重新排序像素的方法的一个示例，并且本发明不限于此。可以构想各种其他的实施例。尤其是，将彼此相邻的具有相似特性的残差值重新排序，可以有利地提高编译效率。编码器可以传输关于重新排序方式的信息，或者可以采用先前约定的排序 方式。解码器可以利用该信息来执行变换和逆重新排序。

在本发明的另一实施例中，采用变换单元的若干尺寸以允许具有相似残差能量的样本在单一变换单元内被编译。更具体地说，在具有低残差值的中心部分，采用大尺寸的变换单元，并且在具有高残差值的外部部分处，采用小尺寸的变换单元，从而具有相似特性的信号可以被包括在单一变换单元中。图12A和图12B是示出其中采用不同尺寸的变换单元的情形中变换单元的分配的实施例。参考图12A和图12B，在具有16x 16尺寸的图像中，基于其位置，使用不同尺寸的变换单元可以执行变换，例如，具有4x 4、8x 8、4x 8、或8x 4的尺寸的变换单元。然而，应指出的是，图12A和图12B示出其中不同尺寸的变换单元是可用的一个示例，并且不同尺寸的变换单元可以以不同方式被布置，并且本发明不限于上述实施例。关于变换单元的尺寸改变的信息可以被包括在位流中，并且基于在编码器和解码器之间的先前约定，可以不被包括，以便进一步提高效率。

当编译单元和/或预测单元如上所述地被分割时，分割区域的边缘部分显示出高残差值的可能性高。图13是示出在编译单元内的分别以不同模式分割的预测单元。仅将边缘区域1300的残差值进行编译的方法可以被采用。如上所述，由于变换单元的尺寸独立于预测单元的尺寸，一些区域可以部分地彼此重叠，以便不符合变换单元的尺寸。在这种情形下，可以执行双重残差编译，或者矩形变换单元(例如，具有2x 4或4x 2的尺寸)可以仅应用于重叠区域的周围，以防止双重编译。当然，本实施例可以被扩展到采用较大尺寸变换单元的应用。

用于解码该编译单元的一种方法可以包括获取编译块模式信息。采用编译块模式信息指示单一编译单元是否包括编译系统，即非零变换系数级别。因此，可以将编译块模式信息用于解码器中的变换单元的逆变换。

图14是示出用于在现有H.264/AVC的宏块中显示编译块模式的方法。如图14中所示的，可以将H.264/AVC编解码器、6位(包括用于亮度信号的4位和用于色度信号的2位)用于宏块。在其中宏块的尺寸是2N x 2N(例如，16x 16)的情形下，对于亮度信号，每个N x N(例如，8x 8)尺寸的块可以使用1位。基于相应的块区域是否包括编译系统，即至少一个非零变换系数级别，编译块模式信息可以具有不同值。例如，如果相应的块区域包括至少一个非零变换系数级别，将“1“编译，并且如果该块区域不包括非零变换系数级别，则将”0“编译。

同时，与色度信号相关，关于直流(DC)和交流(AC)分量的信息可以被独立地表示。在一个示例中，与对应于DC分量的编译块模式信息相关，如果色度信号Cr或Cb的DC分量包括至少一个非零变换系数级别，则可以将“1”编译，并且如果DC分量不包括非零变换系数级别，则将“0”编译。在另一示例中，与对应于AC分量的编译块模式信息相关，如果色度信号Cr或Cb的AC分量包括至少一个非零变换系数级别，则将“1’编译，并且如果AC分量不包括非零变换系数级别，则将”0“编译。总之，由于H.254/AVC编解码器采用4:2:0的格式，色度信号的量值是亮度信号的四分之一，但本发明不限于此。如果必要，亮度信号和色度信号可以具有相同量值并且可以使用相同信息量。

图15A至18是示出根据本发明的其中单一变换单元可以被分割成多个变换单元的情形中用于分层表示编译块模式的方法的不同实施例。

如在图15A和15B中所示的，假定具有2N x 2N尺寸的编译单元可以被分割成具有N x N尺寸的四个变换单元。这种分割可以如上所述被递归地执行。在下文中，为了便于描述，其中单一变换单元被分割成多个子变换单元的情形(例如，标识信息指示分割发生)被称为上层，并且其中变换单元不被分割的情形被称为下层。上层的编译块模式信息指示相应的变换单元是否包括具有至少一个编译系统，即非零变换 系数级别的分割的下层变换单元。在一个实例中，如果在相应的变换单元中包括的四个分割的下层变换单元中的任何一个包括非零变换系数级别，“1”可以被分配给用于相应的变换单元的编译块模式信息。此外，如果变换单元不包括非零变换系数级别，则“0”可以被分配给编译块模式信息。与下层相关的编译块模式信息指相应的变换单元是否包括编译系统，即，至少一个非零变换系数级别，如果非零变换系数级别存在于相应的变换单元中，则可以将“1”分配给编译块模式信息，以及如果非零变换系数级别不存在于相应的变换单元中，则分配“0”。

在将变换单元分割时，虽然如果变换单元的编译块模式信息为0，则在相应的编译单元下不存在另外的信息，但是如果编译块模式信息是1，则可以另外使用4位。即，如在图15B中所示的，可以将1位用于指示在编译单元内的每个分割单元是否包括编译系数。

同时，关于色度信号，关于直流(DC)和交流(AC)分量可以被独立地表示。在一个示例中，就上层而言，关于与DC分量相对应的编译块模式信息，如果色度信号Cr或Cb的DC分量包括至少一个非零变换系数，则可以编译“1”，并且如果DC分量不包括非零变换系数，则可以编译“0”。同样，关于与AC分量相对应的编译块模式信息，如果色度信号Cr或Cb的AC分量包括至少一个非零变换系数，则可以编译“1”，并且如果AC分量不包括非零变换系数，则可以编译“0”。关于下层，可以将另外的信息传输至信号Cr和Cb中的每个。在一个示例中，如果DC分量存在于上层(与DC分量相关的位是1)，确认关于下层编译块模式信息是必要的。就下层而言，将1位分配给信号Cr和Cb中的每个。如果用于信号Cr的变换系数存在，则分配“1”，并且如果变换系数不存在，则分配“0”。对于AC分量，也类似地采用该方法。

图16和图16b示出根据本发明另一实施例的用于表示在其中单一编译单元能够被划分成多个子编译单元的情形下的递归编译块模式的方法。关于色度信号，与参考图15A至图15C的上文描述类似，与上 层变换单元相关的编译块模式信息指示相应的变换单元是否在相应区域中包括非零变换系数。与下层变换单元相关的编译块模式信息指示相应的变换单元是否包括非零变换系数。

甚至关于色度信号，可以通过与亮度信号相同的方式，表示编译块模式信息。即，如上所述，以与上文所描述的亮度信号相同的方式，将编译块模式信息分配给色度信号Cr和Cb中的每个，而不考虑DC和AC分量。

通过示例方式，考虑图16A和16B的示例，用于单一亮度信号的变换单元可以被分割成四个小变换单元，并且1个位可以分配给每个变换单元。该位可以包括指示下层变换单元中的任何一个是否包括变换系数的信息。甚至在用于色度信号的变换单元的情形中，同样，基于每个分割的变换单元的尺寸，可以分配1位。如果相应变换单元的编译块模式信息指示变换系数存在(相应位是“1”)，如图16B所示，可以获取指示所述下层变换单元是否包括变换系数的另外信息。

根据本发明的另一实施例，如在图17中所示的，在不考虑分割层的情况下，可以包括仅用于单一变换单元的信息。如在图17中所示的，可以采用指示相应变换单元的所有区域是否包括编译系统，即非零变换系数级别的信息。根据编译效率，可以适当地选择是否在若干分割层的至少一层上存储信息。在一个示例中，可以存储关于包括最大变换单元的最高层的编译块模式信息，并且可以存储关于其所有单元是分割单元(即，位于变换单元树结构的叶节点处的变换单元)的最低层的编译块模式信息。

如上文参考图15A至图15C关于亮度信号所描述的，关于DC和AC分量的信息可以被分别获取。甚至在这种情形中，与上文描述类似，可以仅存储与特定层相关的编译块模式信息。

根据本发明的又一实施例，如在图18中所示的，在不考虑包括分割的单元的层的情形下，可以包括关于单一变换单元的信息。如上文参考16A和16B所描述的，在不将DC和AC分量彼此相区别的情形下，可以获取关于各个信号Cr和Cb的信息。参考图18，指示编译的系数，即非零变换系数级别是否存在于相应的变换单元区域中的信息可以被分配给亮度信号和色度信号这两者。是否存储关于若干分割层中的任何一个层的信息可以考虑编译效率而确定。在一个示例中，关于包括最大变换单元的最高层的编译块模式信息可以被存储，并且关于其所有单元是分割单元(即位于变换单元树结构的叶节点的变换单元)的最低层的编译块模式信息可以被存储。

在上述实施例中，以某些方式，将本发明的配置和特征组合。只要不存在独立的明确提及，每种配置或特征必须被选择性地考虑。此外，通过不与其他配置或特征组合的形式，可以实践每种配置或特征，并且一些配置和/或特征可以被组合，以构建本发明的实施例。在本发明的实施例中描述的操作的顺序可以被改变。任何一个实施例中的一些配置或特征可以被包括在另一实施例中，或者由另一实施例的相应配置或特征来替换。

通过程序形式，可以实现根据本发明的解码/编码方法，该程序能够经由计算机来执行，并且可以被记录在计算机可读记录介质中，并且具有根据本发明的数据结构的多媒体数据也可以被记录在计算机可读记录介质中。计算机可读记录介质可以包括用于存储能够被计算机系统读取的数据的所有种类存储设备。例如，计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备，并且可以以载波形式被实现(例如，经由互联网的传输)。此外，通过编码方法产生的位流可以被存储在计算机可读记录介质中，或者可以通过有线/无线通信网络而被传输。

经由多种方式，诸如硬件、固件、软件或它们的组合，可以实现 根据本发明的这些实施例。在使用硬件的情形下，使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于实施其他功能的电气单元，可以实现上述实施例。在一些情形中，通过控制器可以实现此处描述的实施例。

在使用软件的情形下，根据本发明实施例的流程和功能可以通过另外的软件模块被实现。各个软件模块可以执行此处描述的至少一个功能和操作。通过以适当的编程语言所写的软件应用，可以实现软件代码。软件代码可以被存储在存储器中并且可以由控制器来执行。

如上所述，对于本领域的技术人员将显而易见的是，在不脱离本发明的精神和范围的条件下，可以对本发明做出各种修改和变更。因此，本发明旨在涵盖本发明的修改和变更，只要这些修改和变更在所附的权利要求和其等效内容范围内。

可以将本发明应用到视频信号的编码或解码。