元的编码信息和 根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式和关于分区的尺 寸的信息。根据预测单元的编码信息可包括:关于帧间模式的估计方向、关于帧间模式的参 考图像索引、关于运动矢量、关于帧内模式的色度分量和关于帧内模式的插值方法的信息。 另外，关于根据画面、条带或GOP定义的编码单元的最大尺寸的信息以及关于最大深度的信 息可被插入比特流的SPS(序列参数集)或头。此外，通过输出单元130输出的编码信息可包 括如上面参照图1至图8所描述的关于根据示例性实施例的变换单元的结构的变换索引信 息。
[0148] 在视频编码设备100中，更深层编码单元可以是通过对上面一层的上层深度的编 码单元的高度或宽度进行2次划分而获得的编码单元。换句话说，在当前深度的编码单元的 尺寸是2NX 2N时，下层深度的编码单元的尺寸是N XN。因此，尺寸为2N X 2N的当前深度的当 前编码单元可最多包括下层深度的4个编码单元。
[0149] 因此，视频编码设备100可通过基于考虑当前画面的特性而确定的最大编码单元 的尺寸和最大深度，针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元，来 形成具有树结构的编码单元。另外，由于可使用各种预测模式和变换中的任意一个来对每 个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特性来确定最佳编码模 式。
[0150] 因此，如果以传统的宏块对具有高分辨率或大数据量的图像进行编码，则每幅画 面的宏块的数量会过度增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发 送压缩信息并且数据压缩效率降低。然而，通过使用视频编码设备100,由于在考虑图像的 尺寸而增加编码单元的最大尺寸的同时，考虑图像的特性而调整编码单元，所以可提高图 像压缩效率。
[0151] 图10是根据示例性实施例的使用具有树结构的编码单元和变换索引的视频解码 设备200的框图。
[0152] 视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解 码器230。针对视频解码设备200的各种操作的各种术语(诸如编码单元、深度、预测单元、变 换单元和关于各种编码模式的信息）与参照图9和视频编码设备100所描述的那些术语相 同。
[0153] 接收器210接收编码的视频的比特流并对编码的视频的比特流进行解析。图像数 据和编码信息提取器220从解析的比特流提取针对每个编码单元(其中，编码单元具有根据 每个最大编码单元的树结构)编码的图像数据，并将提取的图像数据输出到图像数据解码 器230。图像数据和编码信息提取器220可从关于当前画面的头或SPS提取关于当前画面的 编码单元的最大尺寸的信息。
[0154] 此外，图像数据和编码信息提取器220从解析的比特流提取针对编码单元(其中， 编码单元具有根据每个最大编码单元的树结构）的关于编码深度和编码模式的信息。提取 的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特流中的图像 数据被划分为最大编码单元，从而图像数据解码器230针对每个最大编码单元对图像数据 进行解码。
[0155] 可针对关于与编码深度相应的至少一个编码单元的信息来设置关于根据最大编 码单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的 相应编码单元的分区类型、关于预测模式和变换单元的尺寸的信息。此外，根据深度的划分 信息可被提取作为关于编码深度的信息。此外，图像数据和编码信息提取器220可提取如上 参照图1至图8所描述的根据实施例的关于变换单元的结构的变换索引信息，作为提取的关 于编码深度和编码模式的信息。
[0156] 由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度 和编码模式的信息是关于被确定为当编码器(诸如视频编码设备1〇〇)根据每个最大编码单 元对每个根据深度的更深层编码单元重复执行编码时产生最小编码误差的编码深度和编 码模式的信息。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模 式对图像数据进行解码，来恢复图像。
[0157] 由于关于编码深度和编码模式的编码信息可被分配给对应的编码单元、预测单元 和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可提取关于根据所述 预定数据单元的编码深度和编码模式的信息。分配有相同的关于编码深度和编码模式的信 息的预定数据单元可被推断为是包括在同一最大编码单元中的数据单元。
[0158] 图像数据解码器230通过基于关于根据最大编码单元的编码深度和编码模式的信 息对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换句话说，图像数据解码 器230可基于针对每个最大编码单元中所包括的具有树结构的编码单元中的每个编码单元 所提取的关于分区类型、预测模式以及变换单元的信息，对编码的图像数据进行解码。解码 处理可包括包含帧内预测和运动补偿的预测以及逆变换。可根据逆正交变换或逆整数变换 的方法来执行逆变换。
[0159] 图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的预测模式 和分区类型的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。
[0160] 另外，图像数据解码器230可基于关于根据编码深度的编码单元的变换单元的尺 寸的信息，根据编码单元中的每个变换单元来执行逆变换，以根据最大编码单元执行逆变 换。
[0161] 图像数据解码器230可通过使用根据深度的划分信息，确定当前最大编码单元的 编码深度。如果划分信息指示图像数据在当前深度不再被划分，则当前深度是编码深度。因 此，图像数据解码器230可通过使用关于与编码深度对应的每个编码单元的预测单元的分 区类型、预测模式和变换单元的尺寸的信息，对当前最大编码单元中的与每个编码深度对 应的至少一个编码单元的编码数据进行解码，并输出当前最大编码单元的图像数据。
[0162] 换句话说，可通过观察为编码单元、预测单元和最小单元中的预定数据单元分配 的编码信息集，来收集包含编码信息(其中，该编码信息指示相同的划分信息）的数据单元， 收集的数据单元可被认为是将由图像数据解码器230以相同编码模式解码的一个数据单 J L· 〇
[0163] 视频解码设备200可获得关于当针对每个最大编码单元递归执行编码时产生最小 编码误差的至少一个编码单元的信息，并且可使用所述信息对当前画面进行解码。换言之， 可对在每个最大编码单元中被确定为最佳编码单元的具有树结构的编码单元进行解码。此 外，考虑图像数据的量和分辨率来确定编码单元的最大尺寸。
[0164] 因此，即使图像数据具有高分辨率或大数据量，也可通过使用编码单元的尺寸和 编码模式来对所述图像数据进行有效解码和恢复，其中，通过使用从编码器接收的关于最 佳编码模式的信息，根据图像数据的特性来适应性地确定所述编码单元的尺寸和编码模 式。
[0165] 现在将参照图11至图21来描述根据示例性实施例的确定具有树结构的编码单元、 预测单元和变换单元的方法。
[0166] 图11是用于描述根据示例性实施例的分层编码单元的构思的示图。
[0167] 编码单元的尺寸可用"宽度X高度"来表示，且可以是64 X64、32X 32、16X16和8 X 8。64 X 64的编码单元可被划分为64 X 64、64 X 32、32 X 64或32 X 32的分区，32 X 32的编码 单元可被划分为32 X 32、32 X 16、16 X 32或16 X 16的分区，16 X 16的编码单元可被划分为16 X 16、16 X 8、8 X 16或8 X 8的分区，8 X 8的编码单元可被划分为8 X 8、8 X 4、4 X 8或4 X 4的分 区。
[0168] 在视频数据310中，分辨率是1920X1080,编码单元的最大尺寸是64并且最大深度 是2。在视频数据320中，分辨率是1920X1080,编码单元的最大尺寸是64并且最大深度是3。 在视频数据330中，分辨率是352 X 288，编码单元的最大尺寸是16并且最大深度是1。图11中 示出的最大深度指示从最大编码单元到最小解码单元的总划分次数。
[0169] 如果分辨率高或者数据量大，则编码单元的最大尺寸可以较大，从而不仅提高编 码效率，还准确地反映图像的特性。因此，具有比视频数据330更高分辨率的视频数据310和 320的编码单元的最大尺寸可以是64。
[0170] 由于视频数据310的最大深度是2,因此视频数据310的编码单元315可包括长轴尺 寸为64的最大编码单元以及长轴尺寸为32和16的编码单元(这是因为通过对最大编码单元 划分两次，深度被加深两层）。同时，由于视频数据330的最大深度是1，因此视频数据330的 编码单元335可包括长轴尺寸为16的最大编码单元以及长轴尺寸为8的编码单元(这是因为 通过对最大编码单元划分一次，深度被加深一层）。
[0171] 由于视频数据320的最大深度是3,因此视频数据320的编码单元325可包括长轴尺 寸为64的最大编码单元以及长轴尺寸为32、16和8的编码单元(这是因为通过对最大编码单 元划分三次，深度被加深3层）。随着深度加深，可以精确地表示详细信息。
[0172] 图12是根据示例性实施例的基于编码单元的图像编码器400的框图。
[0173] 图像编码器400执行视频编码设备100的编码单元确定器120的操作，以对图像数 据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式的编码单元执行帧内预测， 运动估计器420和运动补偿器425通过使用当前帧405以及参考帧495对当前帧405中的帧间 模式的编码单元执行帧间估计和运动补偿。
[0174] 从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和 量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被 恢复为空间域的数据，并且恢复的空间域的数据在通过去块单元480和环路滤波单元490进 行后处理之后，被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流 455〇
[0175] 为了将图像编码器400应用于视频编码设备100中，图像编码器400的所有元件， 艮P，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、 反量化器460、逆变换器470、去块单元480和环路滤波单元490在考虑每个最大编码单元的 最大深度的同时，基于具有树结构的编码单元中的每个编码单元执行操作。
[0176] 具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单 元的最大尺寸和最大深度的同时确定具有树结构的编码单元中的每个编码单元的预测模 式和分区，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。
[0177] 图13是根据示例性实施例的基于编码单元的图像解码器500的框图。
[0178] 解析器510从比特流505解析出将被解码的编码图像数据和解码所需的关于编码 的信息。编码的图像数据经由熵解码器520和反量化器530被输出为反量化的数据，并且反 量化的数据通过逆变换器540被恢复为空间域的图像数据。
[0179] 帧内预测器550针对空间域的图像数据，对帧内模式的编码单元执行帧内预测，运 动补偿器560通过使用参考帧585对帧间模式的编码单元执行运动补偿。
[0180] 通过帧内预测器550和运动补偿器560的空间域的图像数据在经由去块单元570和 环路滤波单元580进行后处理之后被输出为恢复的帧。此外，经由去块单元570和环路滤波 单元580进行后处理的图像数据可被输出为参考帧585。
[0181] 为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码 器500可执行在解析器510之后执行的操作。
[0182] 为了将图像解码器500应用于视频解码设备200,图像解码器500的所有元件，即， 解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去 块单元570和环路滤波单元580针对每个最大编码单元，基于具有树结构的编码单元执行操 作。
[0183] 具体地，帧内预测器550和运动补偿器560可基于具有树结构的编码单元中的每个 编码单元的分区和预测模式来执行操作，并且逆变换器540基于每个编码单元的变换单元 的尺寸执行操作。
[0184] 图14是示出根据示例性实施例的根据深度的更深层编码单元以及分区的示图。
[0185] 视频编码设备100和视频解码设备200使用分层编码单元，以考虑图像的特性。可 根据图像的特性适应性地确定编码单元的最大高度、最大宽度和最大深度，或可根据用户 的输入分别设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大 尺寸确定根据深度的更深层编码单元的尺寸。
[0186] 根据示例性实施例，在编码单元的分层结构600中，编码单元的最大高度和最大宽 度均是64,最大深度为4。由于深度沿着分层结构600的垂直轴加深，所以更深层编码单元的 高度和宽度均被划分。另外，沿着分层结构600的水平轴示出了预测单元和分区，其中，预测 单元和分区是对每个更深层编码单元进行预测编码的基础。
[0187] 换言之，编码单元610是分层结构600中的最大编码单元，其中，深度为0,尺寸（即， 高度乘以宽度)为64X64。深度沿着垂直轴加深，存在尺寸为32X32且深度为1的编码单元 620、尺寸为16X16且深度为2的编码单元630、尺寸为8X8且深度为3的编码单元640以及尺 寸为4X4且深度为4的编码单元650。尺寸为4X4且深度为4的编码单元650是最小编码单 J L· 〇
[0188] 根据每个深度，沿着水平轴来排列编码单元的预测单元和分区。换言之，如果尺寸 为64 X 64且深度为0的编码单元610是预测单元，则所述预测单元可被划分为包括在编码单 元610中的分区，即，尺寸为64X64的分区610、尺寸为64X32的分区612、尺寸为32X64的分 区614或尺寸为32X32的分区616。
[0189] 类似地，尺寸为32X32且深度为1的编码单元620的预测单元可被划分为包括在编 码单元620中的分区，即，尺寸为32X32的分区620、尺寸为32X16的分区622、尺寸为16X32 的分区624以及尺寸为16 X 16的分区626。