0确定的至少一个深度而被 编码。
[0266] 可通过对图像的残差数据进行编码来获取编码的图像数据。
[0267] 根据深度的划分信息可包括关于深度的信息、关于预测单元中的分区模式的信 息、关于预测模式的信息和关于变换单元的划分的信息。
[0268] 可通过使用根据深度的划分信息来定义关于最终深度的信息，其中，根据深度的 划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的 当前深度是深度，则对当前编码单元进行编码，因此可将划分信息定义为不将当前编码单 元划分到更低深度。可选择地，如果当前编码单元的当前深度不是深度，则对更低深度的编 码单元执行编码，并因此可将划分信息定义为对当前编码单元进行划分W获取更低深度的 编码单元。
[0269] 如果当前深度不是深度，则对被划分到更低深度的编码单元的编码单元执行编 码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深 度的每个编码单元重复执行编码，并且因此可对具有相同深度的编码单元递归地执行编 码。
[0270] 由于针对一个最大编码单元确定具有树结构的编码单元，并且针对具有深度的编 码单元确定划分信息，因此可针对一个最大编码单元确定至少一条划分信息。另外，由于根 据深度对最大编码单元的图像数据进行分层划分，因此最大编码单元的图像数据的深度可 根据位置而不同，因此可针对图像数据设置深度和划分信息。
[0271] 因此，根据一些示例性实施例的输出单元830可将相应深度和关于编码模式的编 码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
[0272] 根据一些示例性实施例的最小单元是通过将构成最低深度的最小编码单元划分 为4份而获取的正方形数据单元。可选择地，根据一些示例性实施例的最小单元可W是可包 括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正 方形数据单元。
[0273] 例如，通过输出单元830输出的编码信息可被分类为根据较深层编码单元的编码 信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的 信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于帖间模式的估计方向的 信息、关于帖间模式的参考图像索引的信息、关于运动矢量的信息、关于帖内模式的色度分 量的信息、W及关于帖内模式的插值方法的信息。
[0274] 根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的 信息可被插入到比特流的头、序列参数集或画面参数集中。
[0275] 还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视频允许的 变换单元的最大尺寸的信息、W及关于变换单元的最小尺寸的信息。输出单元830可对与预 测相关的参考信息、预测信息和条带类型信息进行编码并输出。
[0276] 在根据最简单的实施例的视频编码设备800中，较深层编码单元可W是通过将更 高深度(更高一层）的编码单元的高度或宽度划分成两份而获取的编码单元。换句话说，在 当前深度的编码单元的尺寸是2NX2N时，更低深度的编码单元的尺寸是NXN。另外，尺寸为 2NX2N的具有当前深度的编码单元可包括最多4个具有更低深度的编码单元。
[0277] 因此，视频编码设备800可基于考虑当前画面的特征而确定的最大编码单元的尺 寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形 成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每 个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模 式。
[0278] 因此，如果W传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面 的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难W发送压 缩的信息，并且数据压缩效率降低。然而，通过使用根据一些示例性实施例的视频编码设备 800,由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并且在考虑图像的特征的同 时调整编码单元，因此可提高图像压缩效率。
[0279] W上参照图Ia描述的层间视频编码设备可包括与层数一样多的视频编码设备 800, W便根据多层视频的层对单层图像进行编码。例如，第一层编码器可包括一个视频编 码设备100,第二层编码器可包括与第二层的数量一样多的视频编码设备800。
[0280] 当视频编码设备800对第一层图像进行编码时，编码单元确定器820可针对每个最 大编码单元确定用于根据具有树结构的编码单元的帖间预测的预测单元，并可根据预测单 元执行帖间预测。
[0281] 即使在视频编码设备800对第二层图像进行编码时，编码单元确定器120可针对每 个最大编码单元确定具有树结构的编码单元和预测单元，并可根据预测单元执行帖间预 测。
[0282] 视频编码设备800可用于对第一层图像和第二层图像之间的亮度差进行补偿的亮 度差进行编码。然而，可根据编码单元的编码模式确定是否执行亮度补偿。例如，可仅对尺 寸为2化2N的预测单元执行亮度补偿。
[0283] 图9是根据本发明构思的一些示例性实施例的基于根据树结构的编码单元的视频 解码设备900的框图。
[0284] 设及基于具有树结构的编码单元的视频预测的根据一些示例性实施例的视频解 码设备900包括接收器910、图像数据和编码信息提取器920W及图像数据解码器930。为了 便于描述，设及基于具有树结构的编码单元的视频预测的根据一些示例性实施例的视频解 码设备900将被简称为"视频编码设备900"。
[0285] 用于根据一些示例性实施例的视频解码设备900的解码操作的各种术语(诸如编 码单元、深度、预测单元、变换单元和各种划分信息）的定义与参照图8和视频编码设备100 描述的定义相同。
[0286] 接收器910接收并解析编码视频的比特流。图像数据和编码信息提取器920从解析 的比特流针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到图像数据解 码器930,其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取 器920可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的 最大尺寸的信息。
[0287] 另外，图像数据和编码信息提取器920从解析的比特流根据每个最大编码单元提 取具有树结构的编码单元的最终深度和划分信息。提取的最终深度和划分信息被输出到图 像数据解码器930。换句话说，比特流中的图像数据被划分为最大编码单元，使得图像数据 解码器930针对每个最大编码单元对图像数据进行解码。
[0288] 可针对至少一条深度信息设置根据最大编码单元的深度和划分信息，划分信息可 包括关于相应编码单元的分区模式的信息、关于预测模式的信息和关于变换单元的划分的 信息。另外，根据深度的划分信息可被提取为关于深度的信息。
[0289] 由图像数据和编码信息提取器920提取的根据每个最大编码单元的深度和划分信 息是运样的深度和划分信息:所述深度和划分信息被确定为在编码器(诸如，根据一些示例 性实施例的视频编码设备100)根据每个最大编码单元对根据深度的每个较深层编码单元 重复地执行编码时产生最小编码误差。因此，视频解码设备900可通过根据产生最小编码误 差的编码深度和编码模式对图像数据进行解码来重建图像。
[0290] 由于根据一些示例性实施例的关于深度和编码模式的编码信息可被分配给相应 的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器920 可根据预定数据单元提取深度和划分信息。如果相应最大编码单元的深度和划分信息根据 预定数据单元被记录，则可将被分配相同的深度和相同的划分信息的预定数据单元推断为 是包括在同一最大编码单元中的数据单元。
[0291] 图像数据解码器930可基于根据最大编码单元的深度和划分信息，通过对每个最 大编码单元中的图像数据进行解码来重建当前画面。换句话说，图像数据解码器930可基于 提取出的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元 的分区模式、预测模式和变换单元的信息，对编码的图像数据进行解码。解码处理可包括预 测(包含帖内预测和运动补偿)和逆变换。
[0292] 图像数据解码器930可基于关于根据深度的编码单元的预测单元的分区模式和预 测模式的信息，根据每个编码单元的分区和预测模式执行帖内预测或运动补偿。
[0293] 此外，图像数据解码器930可针对每个编码单元读取关于根据树结构的变换单元 的信息，W便基于每个编码单元的变换单元执行逆变换，W针对每个最大编码单元来进行 逆变换。经过逆变换，可重建编码单元的空间域的像素值。
[0294] 图像数据解码器930可通过使用根据深度的划分信息来确定当前最大编码单元的 深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是深度。因此，图 像数据解码器930可通过使用关于预测单元的分区模式、预测模式和变换单元的尺寸的信 息来对当前最大编码单元中的编码数据进行解码。
[02M]换句话说，可通过观察被分配用于编码单元、预测单元和最小单元之中的预定数 据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数 据单元可被认为是将由图像数据解码器930 W相同编码模式进行解码的一个数据单元。因 此，可通过获取关于每个编码单元的编码模式的信息来对当前编码单元进行解码。
[0296] W上参照图2a描述的层间视频解码设备20可包括与视点数一样多的视频解码设 备900, W便通过对接收的第一层图像流和接收的第二层图像流进行解码来重建第一层图 像和第二层图像。
[0297] 当第一层图像流被接收时，视频解码设备900的图像数据解码器930可将由图像数 据和编码信息提取器920从第一层图像流提取的第一层图像的样点划分为具有树结构的编 码单元。图像数据解码器930可对通过对第一层图像的样点进行划分而获得的具有树结构 的编码单元执行用于帖间预测的根据预测单元的运动补偿，从而重建第一层图像。
[0298] 当第二层图像流被接收时，视频解码设备900的图像数据解码器930可将由图像数 据和编码信息提取器920从第二层图像流提取的第二层图像的样点划分为具有树结构的编 码单元。图像数据解码器930可对通过对第二层图像的样点进行划分而获得的编码单元执 行用于帖间预测的根据预测单元的运动补偿，从而重建第二层图像。
[0299] 提取器920可从比特流获取与亮度差相关的信息，W便补偿第一层图像和第二层 图像之间的亮度差。然而，可根据编码单元的编码模式确定是否执行亮度补偿。例如，可仅 对尺寸为2化2N的预测单元执行亮度补偿。
[0300] 因此，视频解码设备900可获取与在对每个最大编码单元递归地执行编码时产生 最小编码误差的至少一个编码单元有关的信息，并可使用所述信息来对当前画面进行解 码。换句话说，可对每个最大编码单元中的被确定为最优的编码单元的具有树结构的编码 单元进行解码。
[0301] 因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和 编码模式来有效地对图像数据进行解码和重建，其中，所述编码单元的尺寸和编码模式是 通过使用从编码器接收的最优划分信息，根据图像数据的特性而被自适应地确定的。
[0302] 图10是用于描述根据一些示例性实施例的编码单元的概念的示图。
[0303] 编码单元的尺寸可被表示为宽度X高度，并且可W是64 X 64、32 X 32、16 X 16和8 X 8。64 X 64的编码单元可被划分为64 X 64、64 X 32、32 X 64或32 X 32的分区，32 X 32的编码 单元可被划分为32 X 32、32 X 16、16 X 32或16 X 16的分区，16 X 16的编码单元可被划分为16 X 16、16 X 8、8 X 16或8 X 8的分区，8 X 8的编码单元可被划分为8 X 8、8 X 4、4 X 8或4 X 4的分 区。
[0304] 在视频数据1010中，分辨率为1920 X 1080,编码单元的最大尺寸为64,最大深度为 2。在视频数据1020中，分辨率为1920X1080,编码单元的最大尺寸为64,最大深度为3。在视 频数据1030中，分辨率为352X288,编码单元的最大尺寸为16,最大深度为1。图10中示出的 最大深度表示从最大编码单元到最小解码单元的划分总次数。
[0305] 如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码 效率，而且准确地反映图像的特征。因此，具有比视频数据1030更高分辨率的视频数据1010 和1020的编码单元的最大尺寸可W是64。
[0306] 由于视频数据1010的最大深度是2,因此由于通过对最大编码单元划分两次，深度 加深至两层，因此视频数据1010的编码单元1015可包括长轴尺寸为64的最大编码单元和长 轴尺寸为32和16的编码单元。由于视频数据1030的最大深度是1，因此由于通过对最大编码 单元划分一次，深度加深至一层，因此视频数据1030的编码单元1035可包括长轴尺寸为16 的最大编码单元和长轴尺寸为8的编码单元。
[0307] 由于视频数据1020的最大深度是3,因此由于通过对最大编码单元划分=次，深度 加深至3层，因此视频数据1020的编码单元1025可包括长轴尺寸为64的最大编码单元和长 轴尺寸为32、16和8的编码单元。随着深度加深，可准确地表达详细信息。
[0308] 图11是根据一些示例性实施例的基于编码单元的图像编码器1100的框图。
[0309] 根据一些实施例的图像编码器1100执行视频编码设备800的编码单元确定器1520 的对图像数据进行编码的操作。换句话说，帖内预测器1120在当前画面1105中针对每个预 测单元对帖内模式下的编码单元执行帖内预测，帖间预测器1115针对每个预测单元通过使 用当前画面1105和通过恢复的画面缓存器1110获取的参考画面对帖间模式下的编码单元 执行帖间预测。当前画面1105可被划分为最大编码单元，然后最大编码单元可被顺序编码。 运里，可对从最大编码单元按照树结构被划分的编码单元执行编码。
[0310] 通过从与将被编码的当前画面1105的数据减去从帖内预测器1120或帖间预测器 1115输出的每个模式的编码单元的预测数据来产生残差数据，并且所述残差数据针对每个 变换单元通过变换器1125和量化器11130被输出为量化后的变换系数。量化后的变换系数 通过反量化器1145和逆变换器1150被恢复为空间域中的残差数据。空间域中的残差数据被 添加到从帖内预测器1120或帖间预测器1115输出的每个模式的编码单元的预测数据，W被 恢复为当前画面1105的编码单元的空间域中的数据。空间域中的数据通过去块单元1155和 样点自适应偏移(SAO)执行器1160,因此产生恢复的图像。恢复的图像被存储在恢复的画面 缓存器1110中。恢复的画面缓存器1110中存储的恢复的图像可被用作用于另一图像的帖间 预测的参考画面。通过变换器1125和量化器1130而获得的量化的变换系数可通过赌编码器 1135被输出为比特流1140。
[0311] 为了将根据一些实施例的图像编码器1100应用于视频编码设备800,图像编码器 1100的组件（即，帖间预测器1115、帖内预测器1120、变换器1125、量化器1130、赌编码器 1135、反量化器1145、逆变换器1150、去块单元1155和SAO执行器1160)根据每个最大编码单 元基于具有树结构的编码单元之中的每个编码单元执行操作。
[0312] 具体地，帖内预测器1120和帖间预测器1115可在考虑当前最大编码单元的最大尺 寸和最大深度的情况下确定具有树结构的编码单元之中的每个编码单元的分区和预测模 式，变换器1125可确定是否在具有树结构的编码单元之中的每个编码单元中划分根据四叉 树结构的变换单元。
[0313] 图12是根据一些实施例的基于编码单元的图像解码器1200的框图。
[0314] 赌解码器1215从比特流1205解析将被解码的编码图像数据和解码所需的编码信 息。编码图像数据是量化后的变换系数，反量化器1220和逆变换器1225从所述量化后的变 换系数恢复残差数据。
[0315] 帖内预测器1240根据预测单元对帖内模式下的编码单元执行帖内预测。帖间预测 器通过使用通过恢复的画面缓存器1230获取的参考画面，根据预测单元对来自当前画面的 帖间模式下的编码单元执行帖间预测。
[0316] 通过经过帖内预测器和帖间预测器1235将每个模式的编码单元的预测数据和残 差数据相加来恢复当前画面的编码单元的空间域的数据，并且空间域的数据可通过去块单 元1245和SAO执行器1250被输出为恢复的图像。此外，恢复的画面缓存器1230中存储的恢复 的图像可被输出为参考画面。
[0317] 为了在视频解码设备900的图像数据解码器930中对图像数据进行解码，可执行根 据一些实施例的图像解码器1200的赌解码器1215之后的操作。
[0318] 为了将图像解码器1200应用于根据一些实施例的视频解码设备900中，图像解码 器1200的组件（即，赌解码器1215、反量化器1220、逆变换器1225、帖内预测器1240、帖间预 测器1235、去块单元1245和SAO执行器1250)可针对每个最大编码单元基于具有树结构的编 码单元执行操作。
[0319] 具体地，帖内预测器1240和帖间预测器1235可根据具有树结构的编码单元中的每 个编码单元确定分区模式和预测模式，逆变换器1225可针对每个编码单元确定是否划分根 据四叉树结构的变换单元。
[0320] 图10的编码操作和图11的解码操作分别是单层中的视频流编码操作和视频流解 码操作。因此，当图Ia的层间视频编码设备10对至少两个层的视频流进行编码时，图Ia的视 频编码设备100可包括与层数一样多的图像编码器1100。类似地，当图9a的解码器92对至少 两层的视频流进行解码时，图9a的视频解码设备900可包括与层数一样多的图像解码器 1200。
[0321] 图13是示出根据本发明构思的一些示例性实施例的编码单元和分区的示图。
[0322] 根据一些示例性实施例的视频编码设备800和根据一些示例性实施例的视频解码 设备900使用分层编码单元W考虑图像的特征。可根据图像的特征自适应地确定编码单元 的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度 和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
[0323] 根据一些示例性实施例，在编码单元的分层结构1300中，编码单元的最大高度和 最大宽度均是64，最大涂度是3。在此情况下，最大涂度是指编码单兀从最大编码单兀到最 小编码单元被划分的总次数。由于深度沿着根据一些示例性实施例的编码单元的分层结构 1300的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿 着分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行 预测编码的基础。
[0324] 换句话说，编码单元1310是分层结构1300中的最大编码单元，其中，深度为0,尺寸 (即，高度乘宽度)为64X64。深度沿着垂直轴加深，存在尺寸为32X32且深度为1的编码单 元1320、尺寸为16 X 16且深度为2的编码单元1330、尺寸为8X8且深度为3的编码单元1340。 尺寸为8 X 8且深度为3的编码单元1340是最小编码单元。
[0325] 编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换句话说，如果尺 寸为64X64且深度为0的编码单元1310是预测单元，则可将预测单元划分成包括在编码单 元1310中的分区，即，尺寸为64 X 64的分区1310、尺寸为64 X 32的分区1312、尺寸为32 X64 的分区1314或尺寸为32 X 32的分区1316。
[0326] 类似地，可将尺寸为32X32且深度为1的编码单元1320的预测单元划分成包括在 编码单元1320中的分区，即，尺寸为32 X 32的分区1320、尺寸为32 X 16的分区1322、尺寸为 16 X 32的分区1324和尺寸为16 X 16的分区1326。
[0327] 类似地，可将尺寸为16 X 16且深度为2的编码单元1330的预测单元划分成包括在 编码单元1330中的分区，即，包括在编码度单元1330中的尺寸为16X 16的分区、尺寸为16X 8的分区1332、尺寸为8 X 16的分区1334和尺寸为8 X 8的分区1336。
[032引类似地，可将尺寸为8X8且深度为3的编码单元1340的预测单元划分成包括在编 码单元1340中的分区，即，包括在编码单元1340中的尺寸为8X8的分区、尺寸为8X4的分区 1342、尺寸为4 X 8的分区1344和尺寸为4 X 4的分区1346。
[0329] 为了确定最大编码单元1310的深度，根据一些示例性实施例的视频编码设备800 的编码单元确定器120对包括在最大编码单元1310中的与每个深度相应的编码单元执行编 码。
[0330] 随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单 元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个 编码单元中的数据。因此，为了根据深度比较相同数据的编码结果，与深度1相应的编码单 元和四个与深度2相应的编码单元均被编码。
[0331] 为了针对多个深度之中的当前深度执行编码，可沿着分层结构1300的水平轴，通 过对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编 码误差。可选地，随着深度沿着分层结构1300的垂直轴加深，可通过针对每个深度执行编码 来比较根据深度的最小编码误差，W捜索最小编码误差。最大编码单元1310中的具有最小 编码误差的深度和分区可被选为最大编码单元1310的深度和分区模式。
[0332] 图14是用于描述根据本发明构思的一些实施例的编码单元和变换单元之间的关 系的不图。
[0333] 根据一些示例性