对编码的视频进行解码的方法与流程

技术领域

示例性实施例涉及执行空间域与变换域之间的变换的视频编码和视频解码。

背景技术：

随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于有效地编码或解码高分辨率或高质量视频内容的视频编解码器的需要正在增加。在传统的视频编解码器中，基于具有预定尺寸的宏块根据有限的编码方法对视频进行编码。在传统的视频编解码器中，通过使用均具有相同尺寸的块对宏块执行变换和逆变换，来对视频数据进行编码和解码。

技术实现要素：

技术问题

示例性实施例涉及执行空间域与变换域之间的变换的视频编码和视频解码。

技术方案

根据示例性实施例的一方面，提供了一种对视频进行编码的方法，包括：确定变换单元，其中，所述变换单元是对当前编码单元进行变换的数据单元，编码单元是对视频的当前画面进行编码的数据单元；基于确定的变换单元对当前编码单元的数据进行变换，以对当前编码单元的数据进行编码；将当前编码单元的编码数据、指示当前编码单元的编码数据的编码模式的编码模式信息以及指示对当前编码单元的数据进行变换的变换单元的结构的变换索引信息输出为比特流。

有益效果

根据示例性实施例的视频编码设备和根据示例性实施例的视频解码设备可通过使用根据示例性实施例的变换索引信息来有效地对用于确定具有树结构的变换单元的各种尺寸和形状的信息进行编码和解码，其中，所述信息是在基于编码单元的各种尺寸和形状的视频编码和解码期间执行变换和逆变换所必需的。

附图说明

图1是根据示例性实施例的使用变换索引的视频编码设备的框图；

图2是根据示例性实施例的使用变换索引的视频解码设备的框图；

图3是示出根据示例性实施例的变换单元的结构和变换索引的示图；

图4是示出根据示例性实施例的变换单元的结构和变换索引的示图；

图5和图6是示出根据示例性实施例的使用变换索引的示例的示图；

图7是示出根据示例性实施例的使用变换索引的视频编码方法的流程图；

图8是示出根据示例性实施例的使用变换索引的视频解码方法的流程图；

图9是根据示例性实施例的使用具有树结构的编码单元和变换索引的视频编码设备的框图；

图10是根据示例性实施例的使用具有树结构的编码单元和变换索引的视频解码设备的框图；

图11是用于描述根据示例性实施例的编码单元的构思的示图；

图12是根据示例性实施例的基于编码单元的图像编码器的框图；

图13是根据示例性实施例的基于编码单元的图像解码器的框图；

图14是根据示例性实施例的根据深度的更深层编码单元以及分区(partition)的示图；

图15是用于描述根据示例性实施例的编码单元与变换单元之间的关系的示图；

图16是用于描述根据示例性实施例的与编码深度对应的编码单元的编码信息的示图；

图17是根据示例性实施例的根据深度的更深层编码单元的示图；

图18至图20是用于描述根据示例性实施例的编码单元、预测单元和变换单元之间的关系的示图；

图21是用于描述根据表1的编码模式信息的编码单元、预测单元或分区和变换单元之间的关系的示图；

图22是示出根据示例性实施例的基于具有树结构的编码单元和变换单元使用变换索引的视频编码方法的流程图；

图23是示出根据示例性实施例的基于具有树结构的编码单元和变换单元使用变换索引的视频解码方法的流程图。

最佳模式

根据示例性实施例的一方面，提供了一种对视频进行编码的方法，包括：确定变换单元，其中，所述变换单元是对当前编码单元进行变换的数据单元，编码单元是对视频的当前画面进行编码的数据单元；基于确定的变换单元对当前编码单元的数据进行变换，以对当前编码单元的数据进行编码；将当前编码单元的编码数据、指示当前编码单元的编码数据的编码模式的编码模式信息以及指示对当前编码单元的数据进行变换的变换单元的结构的变换索引信息输出为比特流。

根据示例性实施例的另一方面，提供了一种对编码的视频进行解码的方法，包括：接收编码的视频的比特流并解析接收的比特流；从解析的比特流提取当前编码单元的编码数据、编码模式信息以及变换索引信息，其中，所述当前编码单元是对编码的视频的当前画面进行编码的数据单元，编码模式信息指示当前编码单元的编码数据的编码模式，变换索引信息指示作为对当前编码单元的数据进行变换的数据单元的变换单元的结构；基于变换索引信息对当前编码单元的编码数据执行逆变换，以对以变换单元变换的当前编码单元的编码数据进行解码。

根据示例性实施例的另一方面，提供了一种包括处理器的视频编码设备，所述视频编码设备包括：变换单元确定器，确定变换单元，其中，所述变换单元是对当前编码单元进行变换的数据单元，编码单元是对接收的视频的当前画面进行编码的数据单元；编码单元，基于确定的变换单元对当前编码单元的数据进行变换，以对当前编码单元的数据进行编码；编码数据输出单元，输出当前编码单元的编码数据、指示当前编码单元的编码数据的编码模式的编码模式信息以及指示对当前编码单元的数据进行变换的变换单元的结构的变换索引信息。

根据示例性实施例的另一方面，提供了一种包括处理器的视频解码设备，所述视频解码设备包括：接收器，接收编码的视频的比特流并解析接收的比特流；提取器，从解析的比特流提取当前编码单元的编码数据、编码模式信息以及变换索引信息，其中，所述当前编码单元是对编码的视频的当前画面进行编码的数据单元，编码模式信息指示当前编码单元的编码数据的编码模式，变换索引信息指示作为对当前编码单元进行变换的数据单元的变换单元的树结构；解码器，基于变换索引信息对当前编码单元的编码数据执行逆变换，以对以变换单元变换的当前编码单元的编码数据进行解码。

根据示例性实施例的另一方面，提供了一种包括处理器的视频编码设备，所述设备包括：最大编码单元划分器，将当前画面划分为至少一个最大编码单元；编码单元确定器，通过对于所述至少一个最大编码单元中的每一个最大编码单元，从根据指示所述至少一个最大编码单元被空间划分的次数的深度而分层地构成的所有更深层编码单元中独立地确定用于输出每个更深层编码单元的编码结果的编码深度的编码单元，并确定作为对具有树结构的编码单元中的当前编码单元进行变换的数据单元的变换单元，来确定具有树结构的编码单元(其中，所述具有树结构的编码单元包括在所述至少一个最大编码单元的相同区域中根据深度而分层且在不同区域中处于独立的编码深度的编码单元)，以通过包括基于变换单元的变换来对当前编码单元进行编码；输出单元，对于每一个最大编码单元，对当前画面的编码数据、关于具有树结构的编码单元的编码深度和编码模式的信息以及关于编码深度的编码单元的变换单元的结构的变换索引信息进行编码和输出。

根据示例性实施例的另一方面，提供了一种包括处理器的视频解码设备，所述设备包括：接收器，接收编码的视频的比特流并解析接收的比特流；图像数据和编码信息提取器，从解析的比特流，根据包括在画面被划分成的多个最大编码单元中的每一个最大编码单元中的具有树结构的编码单元，提取画面的编码数据、关于编码深度和编码模式的信息以及关于编码深度的编码单元的变换单元的结构的信息；图像数据解码器，通过对于所述多个最大编码单元中的每一个最大编码单元，基于根据变换索引信息获得的变换单元对编码深度的编码单元执行逆变换来对编码数据进行解码，其中，具有树结构的编码单元包括当所述多个最大编码单元中的至少一个最大编码单元被编码时，在根据指示最大编码单元被空间划分的次数的深度而分层构成的更深层编码单元中与被确定为用于输出编码结果的编码深度对应的编码单元。

根据示例性实施例的另一方面，提供了一种在其上记录有用于执行对视频进行编码的方法的程序的计算机可读记录介质。

根据示例性实施例的另一方面，提供了一种在其上记录有用于执行对视频进行解码的方法的程序的计算机可读记录介质。

具体实施方式

以下，将参照示出示例性实施例的附图更加充分地描述示例性实施例。在示例性实施例中，“单元”根据其上下文可指示或可不指示尺寸单元，“图像”可指示视频的静止图像或运动图像，即，视频自身。

以下，根据示例性实施例，“编码单元”是在编码器侧对图像数据进行编码的编码数据单元和在解码器侧对编码的图像数据进行解码的编码数据单元。此外，“编码深度”指示编码单元被编码的深度。

将参照图1至图8描述根据示例性实施例的基于具有树结构的变换单元通过使用变换索引对视频的编码和解码。将参照图9至图23来描述根据示例性实施例的基于具有树结构的编码单元和变换单元通过使用变换索引对视频的编码和解码。

首先，将参照图1至图8描述根据示例性实施例的用于通过使用变换索引对视频进行编码的方法和设备以及用于通过使用变换索引对视频进行解码的方法和设备。

图1是根据示例性实施例的使用变换索引的视频编码设备10的框图。

参照图1，使用变换索引的视频编码设备10包括变换单元确定器12、编码单元14和编码数据输出单元16。为了便于解释，使用变换索引的视频编码设备将被称作视频编码设备10。可由视频编码处理器(未示出)、中央处理单元(CPU)、图形处理单元(GPU)等有组织地控制视频编码设备10的变换单元确定器12、编码单元14和编码数据输出单元16的操作。

视频编码设备10将接收的视频的当前画面划分为多个数据单元(其中，每个数据单元具有预定尺寸)，并对每一个数据单元执行编码以对当前画面进行编码。以下，对当前画面进行编码的数据单元被称作“编码单元”。视频编码设备10可通过对每个编码单元执行包括帧间预测和帧内预测的预测编码、变换和量化以及熵编码，来对当前画面进行编码。

变换单元确定器12确定变换单元，即，对当前画面的编码单元中的当前编码单元进行变换的数据单元。变换单元可被包括在当前编码单元中，并且可被确定为具有小于或等于当前编码单元的尺寸的数据单元。变换单元确定器12可通过将当前编码单元的高度和宽度二等分(即，将当前编码单元四等分)来产生变换单元。

变换单元确定器12可通过将变换单元的高度和宽度二等分来产生较低等级的变换单元。变换单元12可通过将所有变换单元划分为较低等级的变换单元，来将当前编码单元划分为均具有相同尺寸的变换单元。由于每个变换单元的高度和宽度被二等分，所以当前编码单元可被划分为均具有相同尺寸的变换单元，并且较低等级的变换单元的总数是4的正整数次幂。

变换单元确定器12可确定具有树结构的变换单元，以对当前编码单元进行变换。具有树结构的变换单元包括当前编码单元的变换单元中的最终变换单元，其中，所述最终变换单元的变换结果被确定将被输出。

为了确定具有树结构的变换单元，变换单元确定器12可通过重复地二等分当前编码单元的变换单元中的变换单元的高度和宽度，来产生较低等级的变换单元。变换单元确定器12可确定是否将每个变换单元划分为较低等级的变换单元，上述确定独立于与所述每个变换单元的等级相同的等级上的其它变换单元。

变换单元确定器12可通过对当前编码单元中的具有分层结构的所有等级中的每一个等级的变换单元重复地进行变换，来选择变换误差最小化的等级的变换单元。允许最小变换误差的等级的变换单元可被确定为其变换结果将被输出的最终变换单元。因此，变换单元确定器12可确定根据示例性实施例的具有树结构的变换单元，其中，包括了其变换结果被确定将被输出的最终变换单元。

编码单元14通过产生当前编码单元的残差数据并基于由变换单元确定器12确定的变换单元对残差数据进行变换，来对当前编码单元进行编码。根据示例性实施例的针对视频编码的“变换”指的是用于将视频的空间域的数据变换为其变换域的数据的数据处理技术。由编码单元14针对视频编码执行的变换可包括频率变换、正交变换和整数变换等。

编码数据输出单元16将当前编码单元的编码数据、指示编码模式的信息和变换索引信息输出为比特流。

关于编码模式的信息可包括关于用于对当前编码单元编码的各种方法等的信息。

变换索引信息可以是关于用于对当前编码单元进行变换的变换单元的结构的信息。例如，变换索引信息可包括当前编码单元被划分至成为最终等级的变换单元的划分次数和关于变换单元的尺寸和形状的信息。

变换索引信息可表示当前变换单元是否被划分为较低等级的变换单元。例如，指示当前变换单元是否被划分为较低等级的变换单元的与1比特数据对应的变换单元划分比特可被用作变换索引信息。

根据第一示例性实施例的变换索引信息可指示当前变换单元是否被划分为均具有相同尺寸的变换单元。例如，根据第一示例性实施例的变换索引信息可指示当前编码单元的高度和宽度均被二等分一次而获得四个变换单元，还是当前编码单元的高度和宽度均被二等分两次而获得16个变换单元。换言之，根据第一示例性实施例的变换索引信息可指示当前编码单元被划分成的均具有相同尺寸的变换单元的4的正整数次幂的数值。

根据第二示例性实施例的变换索引信息可表示当前编码单元是否根据例性实施例被划分为根据树结构的具有各种尺寸的变换单元。

可基于变换索引和当前编码单元的分区类型或预测单元类型来确定变换单元的尺寸。例如，与变换索引对应的变换单元的尺寸可根据编码单元的分区类型或预测单元类型而改变。

如果当前变换单元被划分为均具有相同尺寸的变换单元，则可基于变换索引和对应的编码单元的分区类型或预测单元类型来确定变换单元的当前尺寸。此外，如果当前编码单元被划分为根据树结构的具有各种尺寸的变换单元，则可基于变换索引和当前编码单元的分区类型或预测单元类型来确定当前变换单元的尺寸。

根据示例性实施例，变换单元的最大尺寸可等于当前编码单元的尺寸。根据另一示例性实施例，可基于当前预测单元的预测单元类型或分区的分区类型来确定变换单元的最大尺寸。例如，当前变换单元尺寸的最大尺寸可指示包括在当前预测单元或分区中的最大方形的尺寸。

例如，根据第二示例性实施例的变换索引信息可被表示为通过排列各个等级的变换单元的变换单元划分比特而获得的比特串，其中，直到当前编码单元被划分为具有树结构的变换单元而获得所述各个等级的变换单元。根据第二示例性实施例的变换索引信息可包括通过按照以Z字形方式扫描变换单元的顺序排列相同等级的相邻变换单元的变换单元划分比特而获得比特串。当预定变换单元可被划分为具有分层结构的较低等级的变换单元时，根据第二示例性实施例的变换索引信息可包括通过按照以Z字形方式扫描变换单元的顺序排列较低等级的变换单元的变换单元划分比特而获得的比特串。

图2是根据示例性实施例的使用变换索引的视频解码设备的框图。

参照图2，使用变换索引的视频解码设备20包括接收器22、提取器24和解码器26。为了便于解释，使用变换索引的视频解码设备20将被称作视频解码设备20。可由视频解码处理器(未示出)、CPU、GPU等控制视频解码设备20的接收器22、提取器24和解码器26的操作。

为了对接收的视频的当前画面进行解码，视频解码设备20可通过对当前画面的每个编码单元执行熵解码、反量化、逆变换和包括帧间预测/补偿和帧内预测/补偿的预测解码，来对当前画面进行解码。

接收器22接收并解析编码的视频的比特流。提取器24从由接收器22解析的比特流提取当前画面的每个编码单元的编码数据、关于编码模式的信息和当前编码单元的变换索引信息。

解码器26通过根据由提取器24提取的变换索引信息产生当前编码单元的变换单元并基于变换单元对当前编码单元执行逆变换，来对编码数据进行解码。作为编码单元的解码结果，当前画面可被恢复。

变换单元的构思与上面参照图1的视频编码设备10描述的构思相似。换言之，根据示例性实施例的变换单元可以是通过对当前编码单元或较高等级的变换单元的高度和宽度二等分而获得的变换单元。根据示例性实施例的包括在当前编码单元中的所有变换单元可具有相同尺寸。根据另一示例性实施例的变换单元是具有树结构的当前编码单元的变换单元中的一个等级的变换单元，并且可通过重复划分每个等级的变换而被划分为较低等级的变换单元或通过在相邻变换单元之间的独立划分而被划分为较低等级的变换单元。

解码器26可从变换索引信息读取指示当前编码单元被划分至成为最终等级的变换单元的次数的信息、关于变换单元的尺寸和形状的信息等。

解码器26可从变换索引信息读取指示当前变换单元是否被划分为较低等级的变换单元的信息。

解码器26可从根据第一示例性实施例的变换索引读取指示变换单元的等级的信息。在这种情况下，由于当前编码单元被划分为针对每个等级的相同尺寸的变换单元直到最终等级的变换单元被获得，所以解码器26可通过根据变换索引确定变换单元的最终等级并且在当前编码单元被划分为最终等级的变换单元时将较高等级的所有变换单元的高度和宽度二等分，来确定具有相同尺寸的最终等级的变换单元。

解码器26可基于变换索引和当前编码单元的预测单元类型或分区类型，确定变换单元的尺寸。例如，与变换索引对应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。

如果解码器26可划分当前编码单元，然后确定具有相同尺寸的当前变换单元，则可基于变换索引和当前编码单元的预测单元类型或分区类型来确定当前变换单元的尺寸。此外，如果当前编码单元被划分为根据树结构的具有各种尺寸的变换单元，则可基于变换索引和当前编码单元的预测单元类型或分区类型来确定当前变换单元的尺寸。

解码器26可基于根据第二示例性实施例的变换索引信息，确定根据树结构获得的变换单元。例如，根据第二示例性实施例的变换索引信息的比特串可以是通过排列针对每个等级的变换单元的变换单元划分比特而获得的比特串。解码器26可通过读取根据第二示例性实施例的变换索引信息的比特串并划分当前编码单元使得在相同等级上的变换单元之间执行单独划分以及在等级之间执行重复划分，来确定当前编码单元根据树结构被划分成的变换单元。

此时，解码器26可从根据第二示例性实施例的变换索引信息读取相同等级上的变换单元的变换单元划分比特，并且可按照Z字形扫描顺序将较高等级上的变换单元划分为较低等级上的变换单元。当较高等级的变换单元被划分为较低等级的变换单元时，解码器26可按照Z字形扫描顺序读取包括在较高等级的变换单元中的较低等级的变换单元的变换单元划分比特。

由解码器26为了视频解码执行的逆变换可被称作将变换域的数据变换为空间域的数据的处理。由解码器26执行的逆变换的示例可包括频率逆变换、正交逆变换、整数逆变换等。

视频编码设备10和视频解码设备20可通过使用根据示例性实施例的变换索引有效地对用于确定具有树结构的变换单元的各种尺寸和形状的信息进行编码和解码，其中，所述信息对于在基于编码单元的各种尺寸和形状的视频编码和解码期间执行变换和逆变换是必需的。

图3是示出根据第一示例性实施例的变换单元的结构和变换索引的示图。

根据变换索引来示出等级0的变换单元组32、等级1的变换单元组34和等级2的变换单元组36根据，作为根据第一实施例的变换单元结构，其包括相同尺寸的变换单元，以便对编码单元CU030进行变换。根据第一示例性实施例的变换索引可表示编码单元CU030被划分至成为当前等级的变换单元组的次数，即，等级号。

换言之，通过将编码单元CU030的高度和宽度划分0次，等级0的变换单元组32包括与编码单元CU030具有相同尺寸的变换单元TU0。在这种情况下，等级0的变换单元组32的变换索引为0。

通过将编码单元CU030的高度和宽度划分一次，等级1的变换单元组34包括高度和宽度均为编码单元CU030的高度和宽度的一半的变换单元TU10、TU11、TU12和TU13。在这种情况下，等级1的变换单元组34的变换索引为1。

通过将编码单元CU030的高度和宽度划分两次，等级2的变换单元组36包括高度和宽度均为编码单元CU030的高度和宽度的四分之一的变换单元TU20、TU21、TU22、TU23、TU24、TU25、TU26、TU27、TU28、TU29、TU2A、TU2B、TU2C、TU2D、TU2E和TU2F。在这种情况下，等级2的变换单元组36的变换索引为2。

图4是示出根据第二示例性实施例的变换单元的结构和变换索引的示图。

变换单元组40被示出为根据第二示例性实施例的变换单元结构，其包括具有树结构的变换单元，以便对编码单元CU030进行变换。根据第二示例性实施例的变换索引可被表示为针对直到从编码单元CU030获得具有树结构的变换单元为止所使用的每个等级的变换单元划分比特的比特串。

换言之，由于具有与编码单元CU030相同尺寸的等级0的变换单元被划分为等级1的变换单元TU40、TU41、TU42和TU43，针对等级1的变换单元划分比特可被产生并被包括在变换索引中。由于针对相同等级上的变换单元的变换单元划分比特按照Z字形扫描顺序来排列，所以针对等级0的变换单元划分比特可按照针对变换单元TU40、TU41、TU42和TU43的变换单元划分比特的顺序来排列。由于变换单元T40和T41没有被划分，所以针对变换单元TU40的变换单元划分比特0和针对TU41的变换单元划分比特0可被顺序地产生并被包括在变换索引中。

等级1的变换单元TU42被进一步划分为等级2的变换单元TU50、TU51、TU52和TU53。因此，可产生针对等级1的变换单元TU42的变换单元划分比特1。在当前等级的变换单元被划分为较低等级的变换单元时，针对较低等级的变换单元的变换单元划分比特可被包括在变换索引中。因此，针对等级2的变换单元TU50的变换单元划分比特0、针对等级2的变换单元TU51的变换单元划分比特1、针对等级2的变换单元TU52的变换单元划分比特0和针对等级2的变换单元TU53的变换单元划分比特0可被顺序地包括在变换索引中。等级2的变换单元TU51可被进一步划分为等级3的变换单元TU60、TU61、TU62和TU63。等级3的变换单元是最小变换单元或最小单元，等级3的变换单元不会被进一步划分。

换言之，如果针对当前等级的变换单元的变换单元划分比特为1，并且较低等级的变换单元不是最小变换单元或最小单元，则针对较低等级的变换单元的变换单元划分比特可在针对当前等级的变换单元的变换单元划分比特之后连续排列。

最后，由于等级1的变换单元TU43没有被划分，所以变换单元划分比特0可被包括在变换索引中。

因此，针对编码单元CU030的根据第二示例性实施例的变换索引可被确定为1、0、0、1、0、1、0、0、0。如果针对较低等级的变换单元的变换单元划分比特连续为0，则这可被理解为较低等级的变换单元没有被进一步划分。

以这种方式产生的变换单元划分比特从与编码单元具有相同尺寸的等级0的变换单元开始按如下的方式被排列：相同等级上的变换单元的变换单元划分比特按照Z字形扫描顺序来排列，并且如果预定等级的变换单元被划分为具有分层结构的较低等级的变换单元，则针对较低等级的变换单元的变换单元划分比特按照Z字形扫描顺序来排列，从而可确定根据第二示例性实施例的变换索引。

图5和图6是示出根据第二示例性实施例的使用变换索引的示例的示图。

如上参照图4所描述，如果变换单元不被进一步划分，则不会进一步产生变换单元划分比特。因此，根据第二示例性实施例的变换索引可根据最小变换单元或最小单元的尺寸被设置。

当2N×2N尺寸的编码单元50的最小变换单元52具有N×N的尺寸时，编码单元50可仅被划分到获得N×N的变换单元为止，因此针对变换单元组54的编码单元50的变换索引可被设置为1。

另一方面，当2N×2N尺寸的编码单元60的最小变换单元62具有(N/2)×(N/2)的尺寸时，变换单元组64中的N×N尺寸的变换单元可均被再划分一次。因此，针对变换单元组64的编码单元60的变换索引不仅可包括针对等级0的变换单元的变换单元划分比特1，还可包括针对变换单元组64中的等级1的变换单元的变换单元划分比特0、0、0和0。

如上参照图3至图6描述的变换单元可由视频编码设备10的变换单元确定器12来确定，并且变换索引可由编码数据输出单元14编码。视频解码设备20的提取器24可提取变换索引信息，并且视频解码设备20的解码器26可通过读取变换索引来形成变换单元，并对变换单元执行逆变换。

图7是示出根据示例性实施例的使用变换索引的视频编码方法的流程图。

在操作72，确定变换单元，即，对当前画面的编码单元中的当前编码单元进行变换的数据单元。变换单元可被确定为具有小于或等于当前编码单元的尺寸的数据单元，使得变换单元被包括在当前编码单元中，并且可通过对编码单元的高度和宽度二等分来产生变换单元。由于变换单元可形成分层结构，所以可通过对较高等级的变换单元的高度和宽度二等分来产生较低等级的变换单元。例如，当前编码单元内的预定等级的所有变换单元可被划分为较低等级的变换单元，使得可产生与4的正整数次幂的数量一样多的相同尺寸的变换单元。

变换单元可包括当前编码单元的变换单元中的其变换结果被确定为将被输出的最终变换单元。

根据示例性实施例的变换单元的分层结构可以是树结构。当重复地二等分当前编码单元的变换单元中的当前变换单元的高度和宽度时，确定是否与其它变化单元独立地执行所述二等分，因此产生较低等级的变换单元。相同区域内的每一等级上的变换单元可形成分层结构。在以这种方式产生的变换单元中确定最终变换单元，从而输出变换结果，使得可获得根据示例性实施例的具有树结构的变换单元。

可通过重复地针对当前编码单元中的具有分层结构的变换单元的每个等级执行变换并相互比较变换的结果，误差由于针对每个变换单元的变换而最小化的等级的变换单元可被选为其变换结果被输出的最终变换单元。

在操作74，对当前编码单元进行编码，其包括基于变换单元的变换。在操作76，输出当前编码单元的编码数据、关于编码模式的信息和变换索引信息。

根据示例性实施例的关于变换单元的结构的变换索引信息可指示当前变换单元是否被划分为较低等级的变换单元。根据示例性实施例的关于变换单元的结构的变换索引信息可包括当前编码单元被划分至成为最终等级的变换单元的次数和关于变换单元的尺寸和形状的信息。

根据第一示例性实施例的变换索引信息可指示标识从当前编码单元至最终等级的编码单元的划分总次数的等级。每个等级的变换单元可具有相同尺寸。

根据第二示例性实施例的变换索引信息可指示：当前编码单元是否被重复地划分以获得具有树结构的变换单元。根据第二示例性实施例的变换索引信息可具有通过排列变换单元划分比特而获得的比特串的形状，其中，变换单元划分比特指示每个等级的变换单元是否被划分为较低等级的变换单元。可通过按照以Z字形方式扫描变换单元的顺序排列相同等级的相邻变换单元的变换单元划分比特，来获得变换索引信息的比特串。在当前变换单元包括具有分层结构的较低等级的变换单元时，可确定变换索引信息的比特串，从而按照以Z字形方式扫描变换单元的顺序来排列较低等级的变换单元的变换单元划分比特。

图8是根据示例性实施例的使用变换索引的视频解码方法的流程图。

在操作82，用于编码的视频的比特流被接收和解析。

在操作84，从解析的比特流提取当前画面的当前编码单元的编码数据、关于编码模式的信息和变换索引信息。

在操作86，基于根据变换索引信息获得的变换单元对当前编码单元执行逆变换，从而编码数据被解码。作为解码每个编码单元的结果，可恢复当前画面。可基于根据示例性实施例的关于变换单元的结构的变换索引信息读取当前变换单元是否被划分为较低等级的变换单元，并且可确定变换单元。可基于变换单元执行针对当前编码单元的逆变换。

可从根据示例性实施例的关于变换单元的结构的变换索引信息读取直到获得最终等级的变换单元为止当前编码单元被划分的次数、关于变换单元的尺寸、形状等的信息。

可从根据第一示例性实施例的变换索引信息读取指示从当前编码单元至最终等级的变换单元的划分总次数的等级。变换单元的等级指示为了获得均具有相同尺寸的4个变化单元当前编码单元被划分的次数。因此，可确定当前变换单元被划分为均具有相同尺寸的变换单元的变换单元的结构。

从根据第二示例性实施例的变换索引信息读取指示每个等级的变换单元是否被划分为较低等级的变换单元的变换单元划分比特的比特串，直到当前编码单元被重复地划分以获得具有树结构的变换单元。因此，可确定当前编码单元根据树结构被划分成的变换单元的结构。

例如，可按照以Z字形方式扫描变换单元的顺序读取在根据第二示例性实施例的变换索引信息中的相同等级上的相邻变换单元的变换单元划分比特。此外，可按照以Z字形方式扫描较低等级的变换单元的顺序读取根据另一示例性实施例的变换索引信息中的包括在预定等级的变换单元中的具有分层结构的较低等级的变换单元的变换单元划分比特。

首先，将参照图9至图23描述根据示例性实施例的用于通过使用具有树结构的编码单元和变换索引对视频进行编码的方法和设备以及用于通过使用具有树结构的编码单元和变换索引对视频进行解码的方法和设备。

图9是根据示例性实施例的基于具有树结构的编码单元和变换单元使用变换索引的视频编码设备100的框图。

基于具有树结构的编码单元和变换单元使用变换索引的视频编码设备100包括最大编码单元划分器10、编码单元确定器120和输出单元130。为了便于解释，基于具有树结构的编码单元和变换单元使用变换索引的视频编码设备100被称作视频编码设备100。

最大编码单元划分器110可基于图像的当前画面(picture)的最大编码单元来划分当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被划分为至少一个最大编码单元。根据示例性实施例的最大编码单元可以是具有32×32、64×64、128×128、256×256等的尺寸的数据单元，其中，所述数据单元的形状是具有2次方的宽度和高度的方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。

根据示例性实施例的编码单元可通过最大尺寸和深度来表征。所述深度指示编码单元从最大编码单元被空间划分的次数，并且随着深度加深或增加，根据深度的更深层编码单元(deeper coding unit)可从最大编码单元被划分为最小编码单元。最大编码单元的深度是最上层深度，最小编码单元的深度是最下层深度。由于随着最大编码单元的深度加深，与每个深度对应的编码单元的尺寸减小，因此与上层深度对应的编码单元可包括多个与下层深度对应的编码单元。

如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，每一个最大编码单元可包括根据深度被划分的更深层编码单元。由于根据示例性实施例的最大编码单元根据深度被划分，因此包括在最大编码单元中的空间域的图像数据可根据深度被分层地分类。

可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。

编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并根据所述至少一个划分区域确定用于输出最终编码的图像数据的深度。换言之，编码单元确定器120通过以下操作来确定编码深度(coded depth)：根据当前画面的最大编码单元，按照根据深度的更深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度。因此，最终输出与确定的编码深度对应的编码单元的编码图像数据。此外，与编码深度对应的编码单元可被视为被编码的编码单元(encoded coding unit)。

确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。

基于与等于或低于最大深度的至少一个深度对应的更深层编码单元对最大编码单元中的图像数据进行编码，并且基于每一个更深层编码单元来比较对图像数据进行编码的结果。可在比较更深层编码单元的编码误差之后，选择具有最小编码误差的深度。可针对每个最大编码单元来选择至少一个编码深度。

随着编码单元根据深度被分层划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使编码单元在一个最大编码单元中对应于相同深度，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将对应于相同深度的每一个编码单元划分到下层深度。因此，即使图像数据被包括在一个最大编码单元中，图像数据也被划分为根据深度的区域，并且，在所述一个最大编码单元中，编码误差也会根据区域而不同，因此在图像数据中，编码深度会根据区域而不同。因此，在一个最大编码单元中可确定一个或多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。

因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据示例性实施例的“具有树结构的编码单元”包括在所述最大编码单元所包括的所有更深层编码单元中的与将被确定为编码深度的深度对应的编码单元。可在最大编码单元的相同区域中根据深度来分层确定编码深度的编码单元，并且可在不同区域中独立确定编码深度的编码单元。类似地，当前区域中的编码深度可独立于另一区域中的编码深度被确定。

根据示例性实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据示例性实施例的第一最大深度可指示从最大编码单元到最小编码单元的总划分次数。根据示例性实施例的第二最大深度可指示从最大编码单元到最小编码单元的深度等级(depth level)的总数。例如，当最大编码单元的深度为0时，最大编码单元被划分一次的编码单元的深度可被设置为1，并且最大编码单元被划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的5个深度等级，因此，第一最大深度可被设置为4，第二最大深度可被设置为5。

可根据最大编码单元来执行预测编码和变换。还可根据最大编码单元，基于根据等于最大深度的深度或小于最大深度的深度的更深层编码单元来执行预测编码和变换。可根据正交变换或整数变换的方法来执行变换。

由于每当最大编码单元根据深度被划分时，更深层编码单元的数量都增加，所以针对随着深度加深而产生的所有更深层编码单元执行包括预测编码和变换的编码。为了便于描述，现将基于最大编码单元中的当前深度的编码单元描述预测编码和变换。

视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸和形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同数据单元或者可针对每个操作使用不同的数据单元。

例如，视频编码设备100不仅可以选择用于对图像数据进行编码的编码单元，而且还可以选择与所述编码单元不同的数据单元，以针对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可基于与编码深度对应的编码单元(即，基于不再被划分为与下层深度对应的编码单元的编码单元)执行预测编码。下文中，将不再被划分且成为用于预测编码的基础单元(basis unit)的编码单元称作“预测单元”。通过划分预测单元而获得的分区(partition)可包括预测单元或通过划分预测单元的高度和宽度中的至少一个而获得的数据单元。

例如，当2N×2N的编码单元(其中，N是正整数)不再被划分且成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括：通过对预测单元的高度或宽度进行对称划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称划分(诸如1:n或n:1)而获得的分区、通过对预测单元进行几何划分而获得的分区、以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。

视频编码设备100不仅可基于用于对图像数据进行编码的编码单元对该编码单元的图像数据执行变换，还可基于与该编码单元不同的数据单元对编码单元的图像数据执行变换。

如上面参照图1至图8所述，为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的数据单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。

用作变换的基础的数据单元将被称为“变换单元”。还可在变换单元中设置变换深度，其中，所述变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在当前的2N×2N的编码单元中，当变换单元的尺寸也是2N×2N时，变换深度可以是0；在当前编码单元的高度和宽度中的每一个被划分为2等分，总共被划分为4∧1个变换单元，从而变换单元的尺寸为N×N时，变换深度可以是1；在当前编码单元的高度和宽度中的每一个被划分为4等分，即，总共被划分为4∧2个变化单元，从而变换单元的尺寸为N/2×N/2时，变换深度可以是2。例如，可根据分层树结构来设置变换单元，其中，在所述分层树结构中，上层变换深度的变换单元根据变换深度的分层特性而被划分为下层变换深度的四个变换单元。

与编码单元相似，可递归地将编码单元中的变换单元划分为较小尺寸的区域，从而可按区域为单位单独地确定变换单元。因此，可根据具有根据变换深度的树结构的变换来划分编码单元中的残差数据。

根据与编码深度对应的编码单元的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换相关的信息。因此，编码单元确定器120不仅可以确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。

稍后将参照图11和图12来详细描述根据示例性实施例的最大编码单元中的根据树结构的编码单元以及确定分区的方法。

编码单元确定器120可通过使用基于拉格朗日乘子(Lagrangian multiplier)的率失真优化(Rate-Distortion Optimization)来测量根据深度的更深层编码单元的编码误差。

输出单元130在比特流中输出基于由编码单元确定器120确定的至少一个编码深度而编码的最大编码单元的图像数据以及关于根据深度编码的编码模式的信息。

可通过对图像数据的残差数据进行编码来获得编码的图像数据。

关于根据编码深度的编码模式的信息可包括：关于编码深度、关于预测单元中的预测类型、预测模式和变换单元的尺寸的信息。

关于编码深度的信息可通过使用根据深度的划分信息而定义，其中，所述根据深度的划分信息指示是否对下层深度的编码单元，而不是对当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前编码单元中的图像数据进行编码和输出，因此划分信息可被定义为不将当前编码单元划分为下层深度。可选择地，如果当前编码单元的当前深度不是编码深度，则对下层深度的编码单元执行编码，因此划分信息可被定义为对当前编码单元进行划分以获得下层深度的编码单元。

如果当前深度不是编码深度，则对被划分为下层深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在下层深度的至少一个编码单元，所以对下层深度的每个编码单元重复地执行编码，因此可对具有相同深度的编码单元递归地执行编码。

由于针对一个最大编码单元确定具有树结构的编码单元，且针对编码深度的编码单元确定关于至少一个编码模式的信息，因此可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于图像数据根据深度而被分层划分，所以最大编码单元的图像数据的编码深度可根据位置而不同，因此可针对图像数据设置关于编码深度和编码模式的信息。

因此，输出单元130可将关于对应的编码深度和编码模式的编码信息分配给最大编码单元中所包括的编码单元、预测单元和最小单元中的至少一个。

根据示例性实施例的最小单元是通过对构成最下层深度的最小编码单元进行4次划分而获得的矩形数据单元。可选择地，最小单元可以是可包括在所有编码单元、预测单元、分区单元和变换单元中的最大矩形数据单元，其中，所述所有编码单元、预测单元、分区单元和变换单元被包括在最大编码单元中。

例如，通过输出单元130输出的编码信息可被分类为根据编码单元的编码信息和根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式和关于分区的尺寸的信息。根据预测单元的编码信息可包括：关于帧间模式的估计方向、关于帧间模式的参考图像索引、关于运动矢量、关于帧内模式的色度分量和关于帧内模式的插值方法的信息。另外，关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信息可被插入比特流的SPS(序列参数集)或头。此外，通过输出单元130输出的编码信息可包括如上面参照图1至图8所描述的关于根据示例性实施例的变换单元的结构的变换索引信息。

在视频编码设备100中，更深层编码单元可以是通过对上面一层的上层深度的编码单元的高度或宽度进行2次划分而获得的编码单元。换句话说，在当前深度的编码单元的尺寸是2N×2N时，下层深度的编码单元的尺寸是N×N。因此，尺寸为2N×2N的当前深度的当前编码单元可最多包括下层深度的4个编码单元。

因此，视频编码设备100可通过基于考虑当前画面的特性而确定的最大编码单元的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来形成具有树结构的编码单元。另外，由于可使用各种预测模式和变换中的任意一个来对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模式。

因此，如果以传统的宏块对具有高分辨率或大数据量的图像进行编码，则每幅画面的宏块的数量会过度增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在考虑图像的尺寸而增加编码单元的最大尺寸的同时，考虑图像的特性而调整编码单元，所以可提高图像压缩效率。

图10是根据示例性实施例的使用具有树结构的编码单元和变换索引的视频解码设备200的框图。

视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解码器230。针对视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)与参照图9和视频编码设备100所描述的那些术语相同。

接收器210接收编码的视频的比特流并对编码的视频的比特流进行解析。图像数据和编码信息提取器220从解析的比特流提取针对每个编码单元(其中，编码单元具有根据每个最大编码单元的树结构)编码的图像数据，并将提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可从关于当前画面的头或SPS提取关于当前画面的编码单元的最大尺寸的信息。

此外，图像数据和编码信息提取器220从解析的比特流提取针对编码单元(其中，编码单元具有根据每个最大编码单元的树结构)的关于编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据进行解码。

可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编码单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型、关于预测模式和变换单元的尺寸的信息。此外，根据深度的划分信息可被提取作为关于编码深度的信息。此外，图像数据和编码信息提取器220可提取如上参照图1至图8所描述的根据实施例的关于变换单元的结构的变换索引信息，作为提取的关于编码深度和编码模式的信息。

由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是关于被确定为当编码器(诸如视频编码设备100)根据每个最大编码单元对每个根据深度的更深层编码单元重复执行编码时产生最小编码误差的编码深度和编码模式的信息。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码，来恢复图像。

由于关于编码深度和编码模式的编码信息可被分配给对应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可提取关于根据所述预定数据单元的编码深度和编码模式的信息。分配有相同的关于编码深度和编码模式的信息的预定数据单元可被推断为是包括在同一最大编码单元中的数据单元。

图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换句话说，图像数据解码器230可基于针对每个最大编码单元中所包括的具有树结构的编码单元中的每个编码单元所提取的关于分区类型、预测模式以及变换单元的信息，对编码的图像数据进行解码。解码处理可包括包含帧内预测和运动补偿的预测以及逆变换。可根据逆正交变换或逆整数变换的方法来执行逆变换。

图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的预测模式和分区类型的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。

另外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺寸的信息，根据编码单元中的每个变换单元来执行逆变换，以根据最大编码单元执行逆变换。

图像数据解码器230可通过使用根据深度的划分信息，确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度对应的每个编码单元的预测单元的分区类型、预测模式和变换单元的尺寸的信息，对当前最大编码单元中的与每个编码深度对应的至少一个编码单元的编码数据进行解码，并输出当前最大编码单元的图像数据。

换句话说，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配的编码信息集，来收集包含编码信息(其中，该编码信息指示相同的划分信息)的数据单元，收集的数据单元可被认为是将由图像数据解码器230以相同编码模式解码的一个数据单元。

视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用所述信息对当前画面进行解码。换言之，可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。此外，考虑图像数据的量和分辨率来确定编码单元的最大尺寸。

因此，即使图像数据具有高分辨率或大数据量，也可通过使用编码单元的尺寸和编码模式来对所述图像数据进行有效解码和恢复，其中，通过使用从编码器接收的关于最佳编码模式的信息，根据图像数据的特性来适应性地确定所述编码单元的尺寸和编码模式。

现在将参照图11至图21来描述根据示例性实施例的确定具有树结构的编码单元、预测单元和变换单元的方法。

图11是用于描述根据示例性实施例的分层编码单元的构思的示图。

编码单元的尺寸可用“宽度×高度”来表示，且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。

在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64并且最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64并且最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16并且最大深度是1。图11中示出的最大深度指示从最大编码单元到最小解码单元的总划分次数。

如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大，从而不仅提高编码效率，还准确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。

由于视频数据310的最大深度是2，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32和16的编码单元(这是因为通过对最大编码单元划分两次，深度被加深两层)。同时，由于视频数据330的最大深度是1，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元(这是因为通过对最大编码单元划分一次，深度被加深一层)。

由于视频数据320的最大深度是3，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元(这是因为通过对最大编码单元划分三次，深度被加深3层)。随着深度加深，可以精确地表示详细信息。

图12是根据示例性实施例的基于编码单元的图像编码器400的框图。

图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405以及参考帧495对当前帧405中的帧间模式的编码单元执行帧间估计和运动补偿。

从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空间域的数据，并且恢复的空间域的数据在通过去块单元480和环路滤波单元490进行后处理之后，被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。

为了将图像编码器400应用于视频编码设备100中，图像编码器400的所有元件，即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。

具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元中的每个编码单元的预测模式和分区，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。

图13是根据示例性实施例的基于编码单元的图像解码器500的框图。

解析器510从比特流505解析出将被解码的编码图像数据和解码所需的关于编码的信息。编码的图像数据经由熵解码器520和反量化器530被输出为反量化的数据，并且反量化的数据通过逆变换器540被恢复为空间域的图像数据。

帧内预测器550针对空间域的图像数据，对帧内模式的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式的编码单元执行运动补偿。

通过帧内预测器550和运动补偿器560的空间域的图像数据在经由去块单元570和环路滤波单元580进行后处理之后被输出为恢复的帧。此外，经由去块单元570和环路滤波单元580进行后处理的图像数据可被输出为参考帧585。

为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。

为了将图像解码器500应用于视频解码设备200，图像解码器500的所有元件，即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580针对每个最大编码单元，基于具有树结构的编码单元执行操作。

具体地，帧内预测器550和运动补偿器560可基于具有树结构的编码单元中的每个编码单元的分区和预测模式来执行操作，并且逆变换器540基于每个编码单元的变换单元的尺寸执行操作。

图14是示出根据示例性实施例的根据深度的更深层编码单元以及分区的示图。

视频编码设备100和视频解码设备200使用分层编码单元，以考虑图像的特性。可根据图像的特性适应性地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户的输入分别设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸确定根据深度的更深层编码单元的尺寸。

根据示例性实施例，在编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度为4。由于深度沿着分层结构600的垂直轴加深，所以更深层编码单元的高度和宽度均被划分。另外，沿着分层结构600的水平轴示出了预测单元和分区，其中，预测单元和分区是对每个更深层编码单元进行预测编码的基础。

换言之，编码单元610是分层结构600中的最大编码单元，其中，深度为0，尺寸(即，高度乘以宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640以及尺寸为4×4且深度为4的编码单元650。尺寸为4×4且深度为4的编码单元650是最小编码单元。

根据每个深度，沿着水平轴来排列编码单元的预测单元和分区。换言之，如果尺寸为64×64且深度为0的编码单元610是预测单元，则所述预测单元可被划分为包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。

类似地，尺寸为32×32且深度为1的编码单元620的预测单元可被划分为包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624以及尺寸为16×16的分区626。

类似地，尺寸为16×16且深度为2的编码单元630的预测单元可被划分为包括在编码单元630中的分区，即，包括在编码单元630中的尺寸为16×16的分区、尺寸为16×8的分区632、尺寸为8×16的分区634以及尺寸为8×8的分区636。

类似地，尺寸为8×8且深度为3的编码单元640的预测单元可被划分为包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644以及尺寸为4×4的分区646。

尺寸为4×4且深度为4的编码单元650是最小编码单元以及最下层深度(the lowermost depth)的编码单元。编码单元650的预测单元仅被分配到尺寸为4×4的分区。此外，编码单元650的预测单元可被划分为尺寸为4×2的分区652、尺寸为2×4的分区654以及尺寸为2×2的分区656。

为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。

随着深度加深，包括相同范围和相同尺寸的数据的根据深度的更深层编码单元的数量增大。例如，需要四个与深度2对应的编码单元来覆盖包括在一个与深度1对应的编码单元中的数据。因此，为了比较相同数据根据深度的编码结果，与深度1对应的编码单元以及四个与深度2对应的编码单元均被编码。

为了针对深度中的当前深度执行编码，可通过沿着分层结构600的水平轴针对与当前深度对应的编码单元中的每个预测单元执行编码，来为当前深度选择最小编码误差。可选择地，可通过随着深度沿分层结构600的垂直轴加深而针对每个深度执行编码，通过比较根据深度的最小编码误差，来搜索最小编码误差。可将在编码单元610中具有最小编码误差的深度和分区选为编码单元610的编码深度和分区类型。

图15是用于描述根据示例性实施例的编码单元710与变换单元720之间的关系的示图。

视频编码设备100或设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的编码单元对图像进行编码或解码。可基于不大于对应的编码单元的数据单元，选择用于编码期间的变换的变换单元的尺寸。

例如，在视频编码设备100或200中，如果编码单元710的尺寸为64×64，则可使用尺寸为32×32的变换单元720执行变换。

另外，可通过对具有小于64×64的尺寸为32×32、16×16、8×8以及4×4的变换单元中的每一个变换单元执行变换来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。

图16是用于描述根据示例性实施例的与编码深度对应的编码单元的编码信息的示图。

视频编码设备100的输出单元130可对与编码深度对应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元的尺寸的信息820进行编码和发送，作为关于编码模式的信息。

信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，尺寸为2N×2N的当前编码单元CU_0可被划分为以下分区中的任何一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于分区类型的信息800被设置为指示以下分区中的一个：尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。

信息810指示每个分区的预测模式。例如，信息810可指示对由信息800所指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。

信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。此外，编码信息可包括关于变换单元的结构的变换索引信息。

视频解码设备200的图像数据和编码信息提取器220可提取并使用信息800、信息810和信息820以根据每个更深层编码单元来进行解码。

图17是根据本示例性实施例的根据深度的更深层编码单元的示图。

划分信息可用于指示深度的变化。划分信息指示当前深度的编码单元是否被划分为下层深度的编码单元。

用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916以及尺寸为N_0×N_0的分区类型918。虽然图9仅示出了通过对称地划分预测单元910而获得的分区类型912至918，但是分区类型不限于此，预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。

根据每个分区类型，针对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区以及尺寸为N_0×N_0的四个分区重复执行预测编码。可针对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。针对尺寸为2N_0×2N_0的分区仅执行跳过模式下的预测编码。

比较分区类型912至918中包括预测编码的编码的误差，并在分区类型中确定最小编码误差。如果在分区类型912至916中的一个分区类型中编码误差最小，则预测单元910可不被划分到下层深度。

如果在分区类型918中编码误差最小，则在操作920中深度从0变为1以划分所述分区类型918，并且对深度为2且尺寸为N_0×N_0的编码单元930重复执行编码，以搜索最小编码误差。

用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。

如果在分区类型948中编码误差最小，则在操作950中深度从1变为2以划分所述分区类型948，并且对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码，以搜索最小编码误差。

当最大深度为d时，根据每个深度的划分操作可被执行直到深度变为d-1，并且划分信息可被编码直到深度为0至d-2中的一个。换句话说，在操作970将与d-2的深度对应的编码单元划分之后，当执行编码直到深度为d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型994、尺寸为N_(d-1)×2N_(d-1)的分区类型996以及尺寸为N_(d-1)×N_(d-1)的分区类型998。

可对分区类型992至998中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复执行预测编码，以搜索具有最小编码误差的分区类型。

即使分区类型998具有最小编码误差，但由于最大深度为d，所以深度为d-1的编码单元CU_(d-1)不再被划分到下层深度，构成当前最大编码单元900的编码单元的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度为d并且最下层深度为d-1的最小编码单元980不再被划分到下层深度，所以不设置用于最小编码单元980的划分信息。

数据单元999可以是用于当前最大编码单元的“最小单元”。根据示例性实施例的最小单元可以是通过将最小编码单元980划分4次而获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过比较编码单元900的根据深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并且可将对应的分区类型和预测模式设置为编码深度的编码模式。

这样，在所有深度0至d中比较根据深度的最小编码误差，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型以及预测模式可作为关于编码模式的信息被编码和发送。此外，由于从深度0至编码深度来划分编码单元，所以只有编码深度的划分信息被设置为0，并且除了编码深度之外的深度的划分信息被设置为1。

视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度以及预测单元的信息，以对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息将划分信息为0的深度确定为编码深度，并且可使用关于对应的深度的编码模式的信息以进行解码。

图18、图19和图20是用于描述根据示例性实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。

编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度对应的具有树结构的编码单元。预测单元1060是每个编码单元1010的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。

当在编码单元1010中，最大编码单元1000的深度为0时，编码单元1012和1054的深度为1，编码单元1014、1016、1018、1028、1050和1052的深度为2，编码单元1020、1022、1024、1026、1030、1032和1048的深度为3，编码单元1040、1042、1044和1046的深度为4。

在预测单元1060中，通过划分编码单元1010中的编码单元而获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换句话说，在编码单元1014、1022、1050和1054中的分区类型具有2N×N的尺寸，在编码单元1016、1048和1052中的分区类型具有N×2N的尺寸，编码单元1032的分区类型具有N×N的尺寸。编码单元1010的预测单元和分区小于或等于每个编码单元。

按照小于编码单元1052的数据单元中的变换单元1070，对编码单元1052的图像数据执行变换或逆变换。另外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052与预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状方面不同。换句话说，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元分别执行帧内预测、运动估计、运动补偿、变换和逆变换。

因此，对在最大编码单元的每个区域中具有分层结构的编码单元中的每个编码单元递归地执行编码，以确定最佳编码单元，因此可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。表1示出了可由视频编码设备100和视频解码设备200设置的编码信息。

[表1]

视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收的比特流提取关于具有树结构的编码单元的编码信息。

划分信息指示当前编码单元是否被划分为下层深度的编码单元。如果当前深度d的划分信息为0，则当前编码单元不再被划分到下层深度的深度是编码深度，因此可针对编码深度定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对下层深度的四个划分的编码单元独立执行编码。

预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，并仅在尺寸为2N×2N的分区类型中定义跳过模式。

关于分区类型的信息可指示通过对称划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型以及通过非对称划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过以1:3和3:1划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过以1:3和3:1划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。

变换单元的尺寸可被设置为帧内模式下的两种类型以及帧间模式下的两种类型。换句话说，如果变换单元的划分信息为0，则变换单元的尺寸可以是2N×2N(2N×2N是当前编码单元的尺寸)。如果变换单元的划分信息为1，则可通过划分当前编码单元来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。

关于具有树结构的编码单元的编码信息可包括与编码深度对应的编码单元、预测单元以及最小单元中的至少一个。与编码深度对应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。

因此，通过比较邻近数据单元的编码信息，来确定邻近数据单元是否包括在与编码深度对应的相同编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度对应的相应编码单元，因此可确定最大编码单元中的编码深度的分布。

因此，如果基于邻近数据单元的编码信息来预测当前编码单元，则可直接参照和使用与当前编码单元邻近的更深层编码单元中的数据单元的编码信息。

可选择地，如果基于邻近数据单元的编码信息来预测当前编码单元，则使用所述数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并且可参照搜索到的邻近编码单元来预测当前编码单元。

图21是用于描述根据表1的编码模式信息的编码单元、预测单元或分区以及变换单元之间的关系的示图。

最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，所以划分信息可被设置为0。关于尺寸为2N×2N的编码单元1318的分区类型的信息可被设置为以下分区类型之一：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338。

变换单元的划分信息(TU尺寸标志)是变换索引的类型，并且变换单元的当前尺寸可基于当前编码单元的变换索引和预测单元类型或分区类型被确定。

例如，当分区类型被设置为对称(即，分区类型1322、1324、1326或1328)时，如果TU尺寸标志为0，则尺寸为2N×2N的变换单元1342被设置，如果TU尺寸标志为1，则尺寸为N×N的变换单元1344被设置。

另一方面，当分区类型被设置为非对称(即，分区类型1332、1334、1336或1338)时，如果TU尺寸标志为0，则尺寸为2N×2N的变换单元1352被设置，如果TU尺寸标志为1，则尺寸为N/2×N/2的变换单元1354被设置。

因此，与变换索引对应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而变化。

参照图21，TU尺寸标志是具有值0或值1的标志，但是TU尺寸标志不限于1比特，并且当TU尺寸标志从0增加时变换单元可被分层划分以具有树结构。

在这种情况下，可使用根据示例性实施例的变换单元的TU尺寸标志连同变换单元的最大尺寸和最小尺寸来表示已经实际使用的变换单元的尺寸。根据示例性实施例，视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志进行编码的结果可被插入到SPS。根据示例性实施例，视频解码设备200可使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志来对视频解码。

例如，如果当前编码单元的尺寸是64×64且最大变换单元尺寸是32×32，则当TU尺寸标志为0时变换单元的尺寸可以是32×32；当TU尺寸标志为1时变换单元的尺寸可以是16×16；当TU尺寸标志为2时变换单元的尺寸可以是8×8。

作为另一示例，如果当前编码单元的尺寸是32×32且最小变换单元尺寸是32×32，则当TU尺寸标志为0时变换单元的尺寸可以是32×32。这里，TU尺寸标志不能被设置为除0之外的值，这是因为变换单元的尺寸不能小于32×32。

作为另一示例，如果当前编码单元的尺寸是64×64且最大TU尺寸标志是1，则TU尺寸标志为可以是0或1。这里，TU尺寸标志不能被设置为0或1之外的值。

因此，如果在TU尺寸标志为0时将最大TU尺寸标志定义为“MaxTransformSizeIndex”，最小变换单元尺寸定义为“MinTransformSize”，变换单元尺寸定义为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSzie”：

[等式1]

CurrMinTuSzie＝max(MinTransformSize,RootTuSize/

(2^MaxTransformSizeIndex))。

与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSzie”相比，当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。在等式1中，“RootTuSize/(2^MaxTransformSizeIndex)”指示当TU尺寸标志为0时变换单元尺寸“RootTuSize”被划分与最大TU尺寸标志对应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSzie”。

根据示例性实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而变化。

例如，如果当前预测模式是帧间模式，则“RootTuSize”可以通过使用下面的等式2来确定。在等式2中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸。

[等式2]

RootTuSize＝min(MaxTransformSize,PUSize)。

即，如果当前预测模式是帧内模式，则当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中的较小值。

如果当前分区单元的预测模式是帧内模式，则“RootTuSize”可以通过使用下面的等式3来确定。在等式3中，“PartitionSize”指示当前分区单元的尺寸。

[等式3]

RootTuSize＝min(MaxTransformSize,PartitionSize)。

即，如果当前预测模式是帧内模式，则当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸中的较小值。

但是，根据分区单元中的预测模式的类型而变化的当前最大变换单元尺寸“RootTuSize”仅是示例，且不限于此。

根据示例性实施例，当前最大变换单元尺寸“RootTuSize”可等于当前编码单元的尺寸。根据另一示例性实施例，当前最大变换单元尺寸“RootTuSize”可基于当前预测单元或分区的预测单元类型或分区类型而确定。例如，当前最大变换单元尺寸“RootTuSize”可指示包括在当前预测单元或分区中的最大方形的尺寸。

图22是示出根据示例性实施例的基于具有树结构的编码单元和变换单元使用变换索引的视频编码方法的流程图。

在操作1210，当前画面被划分为至少一个最大编码单元。指示可划分的总数量的最大深度可被预先确定。

在操作1220，通过对至少一个划分区域进行编码来确定用于根据所述至少一个划分区域输出最终编码结果的编码深度，并且，确定根据树结构的编码单元，其中，通过根据深度对每一个最大编码单元进行划分来获得所述至少一个划分区域。

每当深度加深，最大编码单元被空间划分，因此最大编码单元被划分为下层深度的编码单元。每一个编码单元可通过与相邻编码单元独立地空间划分而被划分为另一下层深度的编码单元。针对根据深度的每一个编码单元重复地执行编码。

此外，针对每一个更深层编码单元，确定根据具有最小编码误差的分区类型的变换单元。为了在每一个最大编码单元中确定具有最小编码误差的编码深度，可在所有根据深度的更深层编码单元中测量和比较编码误差。

在确定编码单元时，可确定变换单元，其中，所述变换单元为对编码单元进行变换的数据单元。变换单元可被确定为最小化由于对编码单元的变换而引起的误差的数据单元。变换单元可被确定为在单个编码单元中具有相同尺寸。作为在当前编码单元内根据变换深度在每个等级执行变换的结果，可确定基于树结构的变换单元，其中，所述基于树结构的变换单元在根据变换深度的相同区域上的变换单元之间形成分层结构并且独立于在其它区域上的变换单元。

在操作1230，针对每个最大编码单元输出根据编码深度构成最终编码结构的编码的图像数据以及关于编码深度和编码模式的编码信息。关于编码模式的信息可包括指示编码深度的信息或划分信息、指示预测单元的分区类型的信息、指示预测模式的信息、指示变换单元的尺寸的信息和变换索引。关于编码模式的编码信息可与编码的图像数据一起被发送到解码器。

图23是示出根据示例性实施例的基于具有树结构的编码单元和变换单元使用变换索引的视频解码方法的流程图。

在操作1310，编码的视频的比特流被接收和解析。

在操作1320，从解析的比特流提取分配给最大编码单元的当前画面的编码的图像数据、关于根据最大编码单元的编码深度和编码模式的信息。每个最大编码单元的编码深度是在每个最大编码单元中的具有最小编码误差的深度。在对每个最大编码单元进行编码时，基于通过根据深度分层划分每个最大编码单元而获得的至少一个数据单元，对图像数据进行编码。

根据指示编码深度和编码模式的信息，最大编码单元可被划分为具有树结构的编码单元。具有树结构的编码单元中的每一个编码单元被确定为与编码深度对应的编码单元，且被最佳编码为输出最小编码误差。因此，可通过在确定根据编码单元的至少一个编码深度之后以编码单元对每条编码的图像数据进行解码，来提高图像的编码和解码效率。

根据包括在关于编码模式的信息中的变换索引，可确定编码单元内的具有树结构的变换单元。例如，可从变换索引读取从当前编码单元至变换单元的划分次数。在另一实施例中，可确定当前编码单元是否被划分为较低等级的变换单元，因此可从指示是否针对当前编码单元的每一个区域执行从最高层变换单元至较低变换单元的划分的比特串最终读取具有树结构的变换单元的结构。

在操作1330，根据最大编码单元基于关于编码深度和编码模式的信息对每个最大编码单元的图像数据进行解码。解码的图像数据可通过再现设备被再现，存储在存储介质中或通过网络传输。

示例性实施例可被编写为计算机程序，并且可被实现在通用数字计算机中，其中，所述通用数字计算机使用计算机可读记录介质执行程序。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，CD-ROM或DVD)。可选择地，示例性实施例可被实现为信号和计算机可读传输介质(诸如，数据信号)，以通过计算机网络(例如，互联网)进行传输。

示例性实施例的视频编码设备或视频解码设备可包括结合到所述设备的每个单元的总线、连接到所述总线的执行命令的至少一个处理器以及连接到所述总线的存储命令、接收的消息和产生的消息的存储器。

尽管已经参照本发明的示例性实施例具体示出和描述了本发明，但是本领域的普通技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。示例性实施例应该被认为只是描述的意义而不作为限制的目的。因此，本发明的范围不是由本发明的详细描述限定，而是由权利要求限定，并且在该范围内的所有差别将被解释为被包括在本发明中。