度和宽度 进行划分以达到变换单元的次数。例如，在2NX2N的当前编码单元中，当变换单元的尺寸 是2NX2N时，变换深度可以为0,当变换单元的尺寸是NXN时，变换深度可以是1，当变换 单元的尺寸是N/2XN/2时，变换深度可以是2。也就是说，还可根据变换深度设置具有树结 构的变换单元。
[0063] 根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需 要关于与预测编码和变换相关的信息的信息。因此，分层编码器110不仅确定具有最小编 码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换 的变换单元的尺寸。
[0064] 以下将参照图3至图12详细描述根据本发明的实施例的最大编码单元中的根据 树结构的编码单元，以及确定分区的方法。
[0065] 分层编码器110可通过使用基于拉格朗日乘数的率失真优化，来测量根据深度的 较深层编码单元的编码误差。
[0066] 熵编码器120在比特流中输出最大编码单元的图像数据和关于根据编码深度的 编码模式的信息，其中，所述最大编码单元的图像数据基于由分层编码器110确定的至少 一个编码深度被编码。编码图像数据可以是图像的残差数据的编码结果。关于根据编码深 度的编码模式的信息可包括关于编码深度的信息、关于在预测单元中的分区类型的信息、 预测模式信息和变换单元的尺寸信息。具体地讲，如以下将描述的，熵编码器120可通过使 用基于变换单元的变换深度确定的上下文模型来对变换单元有效系数标记（c〇ded_bl〇Ck_ flag)cbf进行熵编码，其中，cbf指示非0变换系数是否被包括在变换单元中。以下将描述 熵编码器120中的对与变换单元相关的句法元素进行熵编码的操作。
[0067] 可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根据深度的 划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的 当前深度是编码深度，则对当前编码单元中的图像数据进行编码并输出，因此可定义划分 信息以不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编 码深度，则对更低深度的编码单元执行编码，并因此可定义划分信息以对当前编码单元进 行划分来获得更低深度的编码单元。
[0068] 如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行 编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低 深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编 码。
[0069] 由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编 码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一 个编码模式的信息。另外，由于根据深度对图像数据进行分层划分，因此最大编码单元的图 像数据的编码深度可根据位置而不同，因此可针对图像数据设置关于编码深度和编码模式 的信息。
[0070] 因此，熵编码器120可将关于相应的编码深度和编码模式的编码信息分配给包括 在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
[0071] 根据本发明的实施例的最小单元是通过将构成最低深度的最小编码单元划分为4 份而获得的方形数据单元。可选择地，最小单元可以是包括在最大编码单元中所包括的所 有编码单元、预测单元、分区单元和变换单元中的最大方形数据单元。
[0072] 例如，通过熵编码器120输出的编码信息可被分类为根据编码单元的编码信息和 根据预测单元的编码信息。根据编码单元的编码信息可包括关于预测模式的信息和关于分 区尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧 间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以 及关于帧内模式的插值方法的信息。此外，根据画面、条带或G0P定义的关于编码单元的最 大尺寸的信息和关于最大深度的信息可被插入到比特流的头。
[0073] 在视频编码设备100中，较深层编码单元可以是通过将更高深度的编码单元（更 高一层）的高度或宽度划分成两份而获得的编码单元。换言之，当当前深度的编码单元的 尺寸是2NX2N时，更低深度的编码单元的尺寸是NXN。另外，尺寸为2NX2N的当前深度的 编码单元可包括最多4个更低深度的编码单元。
[0074] 因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元的尺 寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形 成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每 个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模 式。
[0075] 因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面 的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压 缩的信息，并且数据压缩效率降低。然而，通过使用视频编码设备1〇〇,由于在考虑图像的特 征的同时调整编码单元，同时，在考虑图像的尺寸的同时增加编码单元的最大尺寸，因此可 提尚图像压缩效率。
[0076] 图2是根据本发明的实施例的视频解码设备200的框图。
[0077] 视频解码设备200包括解析器、熵解码器220和分层解码器230。用于视频解码设 备200的各种操作的各种术语（诸如编码单元、深度、预测单元、变换单元和关于各种编码 模式的信息）的定义与参照图1和视频编码设备1〇〇描述的各种术语的定义相同。
[0078] 解析器210接收编码视频的比特流以解析句法元素。熵解码器220通过对解析的 句法元素执行熵解码来对指示基于具有结构的编码单元编码的图像数据的句法元素进行 算术解码，并将算术解码后的句法元素输出到分层解码器230。也就是，熵解码器220对接 收的字符串〇和1的形式的句法元素执行熵解码，从而重建句法元素。
[0079] 另外，熵解码器220从解析的比特流，根据每个最大编码单元，提取关于具有树结 构的编码单元的编码深度、编码模式、颜色分量信息、预测模式信息等的信息。提取的关于 编码深度和编码模式的信息被输出到分层解码器230。比特流中的图像数据被划分为最大 编码单元，使得分层解码器230可针对每个最大编码单元对图像数据进行解码。
[0080] 可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据最大编码 单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相 应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外， 根据深度的划分信息可被提取为关于编码深度的信息。
[0081] 由熵解码器220提取的关于根据每个最大编码单元的编码深度和编码模式的信 息是这样的关于编码深度和编码模式的信息：该信息被确定为在编码器（诸如，视频编码 设备1〇〇)根据最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最 小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模 式对图像数据进行解码来重建图像。
[0082] 由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元 和最小单元中的预定数据单元，因此熵解码器220可根据预定数据单元，提取关于编码深 度和编码模式的信息。当关于相应最大编码单元的编码深度和编码模式的信息被分配每个 预定数据单元时，可将被分配了相同的关于编码深度和编码模式的信息的预定数据单元推 断为是包括在同一最大编码单元中的数据单元。
[0083] 此外，如以下将描述的，熵解码器220可通过使用基于变换单元的变换深度确定 的上下文模型来对变换单元有效系数标记cbf进行熵解码。以下将描述在熵解码器220中 对与变换单元相关的句法元素进行熵解码的操作。
[0084] 分层解码器230基于关于根据最大编码单元的编码深度和编码模式的信息，通过 对每个最大编码单元中的图像数据进行解码，来重建当前画面。换言之，分层解码器230可 基于提取出的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码 单元的分区类型、预测模式和变换单元的信息，对编码的图像数据进行解码。解码操作可包 括预测（包含帧内预测和运动补偿）和逆变换。
[0085] 分层解码器230可基于关于根据编码深度的编码单元的预测单元的分区和预测 模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。
[0086]此外，分层解码器230可基于关于根据编码深度的编码单元的变换单元的尺寸的 信息，根据编码单元中的每个变换单元执行逆变换，以便根据最大编码单元执行逆变换。
[0087] 分层解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的至 少一个编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编 码深度。因此，分层解码器230可通过使用关于预测单元的分区类型的信息、关于预测模式 的信息和关于变换单元的尺寸的信息，针对当前最大编码单元的图像数据，对当前深度的 编码单元进行解码。
[0088] 换言之，可通过观察分配给编码单元、预测单元和最小单元中的预定数据单元的 编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可 被认为是将由分层解码器230以相同编码模式进行解码的一个数据单元。
[0089]视频解码设备200可获得关于当针对每个最大编码单元递归地执行编码时产生 最小编码误差的至少一个编码单元的信息，并且可使用所述信息来对当前画面进行解码。 换言之，被确定为每个最大编码单元中的最优编码单元的具有树结构的编码单元的编码的 图像数据可被解码。
[0090] 因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和 编码模式，对图像数据进行有效地解码和重建，其中，通过使用从编码器接收到的关于最优 编码模式的信息，根据图像数据的特征自适应地确定所述编码单元的尺寸和编码模式。
[0091] 现在将参照图3至图13描述根据本发明的实施例的确定具有树结构的编码单元、 预测单元和变换单元的方法。
[0092] 图3是用于描述根据本发明的实施例的编码单元的概念的示图。
[0093] 编码单元的尺寸可被表示为宽度X高度，并可以是64X64、32X32、16X16和 8X8。64X64的编码单元可被划分为64X64、64X32、32X64或32X32的分区，32X32的 编码单元可被划分为32X32、32X16、16X32或16X16的分区，16X16的编码单元可被划 分为16\16、16\8、8\16或8\8的分区，8\8的编码单元可被划分为8\8、8\4、4父8或 4X4的分区。
[0094] 关于视频数据310,分辨率1920X1080、编码单元的最大尺寸64、最大深度2被设 置。关于视频数据320,分辨率1920X1080、编码单元的最大尺寸64、最大深度3被设置。 关于视频数据330,分辨率352X288、编码单元的最大尺寸16、最大深度1被设置。图3中 示出的最大深度表示从最大编码单元到最小编码单元的划分总次数。
[0095] 如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码 效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310 和320的编码单元的最大尺寸可以是64。
[0096] 由于视频数据310的最大深度是2,因此由于通过对最大编码单元划分两次，深度 加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元和长 轴尺寸为32和16的编码单元。同时，由于视频数据330的最大深度是1，因此由于通过对 最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺 寸为16的最大编码单元和长轴尺寸为8的编码单元。
[0097] 由于视频数据320的最大深度是3,因此由于通过对最大编码单元划分三次，深度 加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元和长 轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被精确地表示。
[0098] 图4是根据本发明的实施例的基于具有分层结构的编码单元的视频编码器400的 框图。
[0099] 帧内预测器410针对当前帧405对帧内模式下的编码单元执行帧内预测，运动估 计器420和运动补偿器425通过使用当前帧405和参考帧495分别对帧间模式下的编码单 元执行帧间估计和运动补偿。
[0100] 从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430 和量化器440被输出为量化后的变换系数。量化后的变换系数通过反量化器460和逆变换 器470被重建为空间域中的数据，重建的空间域中的数据在通过去块滤波器480和环路滤 波器490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出 为比特流455。
[0101] 熵编码单元450对与变换单元相关的句法元素，诸如变换单元有效系数标 记（cbf)、有效图、第一临界值标记（coeff_abs_level_greaterl_flag)、第二临界值 标记（coeff_abs_level_greather2_flag)、变换系数的大小信息（coeff_abs_level_ remaining)进行算术编码，其中，cbf指示非0变换系数是否包括在变换单元中，有效图指 示非〇变换系数的位置，第一临界值标记指示变换系数是否具有大于1的值，第二临界值标 记指示变换系数是否具有大于2的值，coeff_abs_level_remaining与基于第一临界值标 记和第二临界值标记确定的基本级别（baseLevel)和实际变换系数（abscoeff)之间的差 相应。
[0102] 为了将视频编码器400应用到视频编码设备100中，视频编码器400的所有元件 (即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器 450、反量化器460、逆变换器470、去块滤波器480和环路滤波器490)在考虑每个最大编码 单元的最大深度的同时，必须基于具有树结构的编码单元中的每个编码单元执行操作。
[0103] 具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码 单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元中的每个编码单元的分区 和预测模式，变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺 寸。
[0104] 图5是根据本发明的实施例的基于编码单元的视频解码器500的框图。
[0105] 解析器510从比特流505解析将被解码的编码图像数据和解码所需的信息。编 码图像数据通过解码器520和反量化器530被