间或空间上与当前块31邻近的预测单元。 阳176] 例如，位于当前块31的左下样本的外部左下侧的外围块AO32、位于当前块31的 左下样本的外部左侧的外围块Al33、位于当前块31的右上样本的外部右上侧的外围块BO 34、位于当前块31的右上样本的外部上侧的外围块Bl35、位于当前块31的左上样本的外 部左上侧的外围块B2 36可W是用于获取视差矢量的外围块。
[0177] 当从外围块获取了视差矢量时，层间视频解码设备20可使用获取的视差矢量来 预测当前块31的视差矢量。
[0178] 例如，如果在外围块Al33、B1 35、B0 34、A0 32和B2 36之中存在执行了视差补 偿预测的块，则从执行了视差补偿预测的块获取的视差矢量可被用作当前块31的视差矢 量。 阳179] 如果不存在执行了视差补偿预测的块，则层间视频解码设备20可将从外围块Al33、Bl35、BO34、AO32和B2 36之中的执行了层间预测的块获取的视差矢量用作当前块 31的视差矢量。
[0180] 同时，在当前块31是按照预测模式（诸如2NXN、NX2N、2NXnU、2NXnD、nLX2N、 nRX2N)被划分的预测单元时，可仅使用外围块Al33、B1 35、B0 34、A0 32和B2 36中的四 个块来确定是否执行了视差补偿预测或层间预测，W应用并行算法。例如，在当前块31的 预测模式是NX2N、化X2N或nRX2N并且分区索引为0时，外围块Al33可不被使用。可 选择地，在当前块31的预测模式是2NXN、2NXnU或2NXnD并且分区索引为1时，外围块 Bl35可不被使用。 阳181] 同时，用于预测视差矢量的外围块的位置和数量不限于此，并可被改变。如使用空 间外围块来预测视差矢量的示例，时间外围块可被用于预测视差矢量。 阳182] 现在将在下面参照图5至图7W及语法元素来描述根据实施例的层间视频解码设 备20确定是否可使用外围块来预测第二层当前块的视差矢量W及使用深度图来确定当前 块的视差矢量的方法。 阳183] 图5是根据实施例的使用第一层深度图来确定视差矢量的流程图。
[0184] 在操作51，根据实施例的层间视频解码设备20可确定是否可使用第二层当前块 的外围块来预测视差矢量（dvAvailFlag)。 阳化5] 当在操作52视差矢量是可预测的（dvAvailFlag= = 1)时，在操作53,层间 视频解码设备20可确定第二层图像是否可使用第一层深度图来预测视差矢量（cbpth_refinement_flag[])。 阳186] 如果第一层深度图不可用（cbpth_refinement_flag[] == 0)，则在操作54,层间 视频解码设备20可将预测出的视差矢量确定为第二层当前块的视差矢量。
[0187] 如果第一层深度图可用（depth_refinement_flag[] == 1)，则在操作55,层间 视频解码设备20可使用预测出的视差矢量和第一层深度图来确定第二层当前块的视差矢 量。 阳188] 当在操作52视差矢量是不可预测时（dvAvailFlag== 1)，在操作56,层间视频 解码设备20可设置默认视差矢量。在运一点上，默认视差矢量可被设置为（0,0)。可选择 地，使用第一层深度图确定的全局视差矢量可被确定为默认视差矢量。可使用第一层深度 图的比特深度的中间值（1<<度itDepth-1)来确定全局视差矢量。
[0189] 在操作57,层间视频解码设备20可确定第二层图像是否可使用第一层深度图来 预测视差矢量（depth_refinement_flag[])。 阳190] 如果第一层深度图不可用（cbpth_refinement_flag[] == 0)，则在操作58,层间 视频解码设备20可将默认视差矢量确定为第二层当前块的视差矢量。 阳1W] 如果第一层深度图可用（cbpth_refinement_flag[] == 1)，则在操作59,层间视 频解码设备20可使用默认视差矢量和第一层深度图来确定第二层当前块的视差矢量。 阳192] 图6示出根据实施例的使用默认视差矢量和第一层深度图来确定视差矢量的示 例。
[0193] 当视差矢量不是使用外围块来预测（dvAvailFlag== 0)时，根据实施例的层间 视频解码设备20可使用默认视差矢量（mvDisp)和第一层深度图62来确定通过第二层彩 色图像62解码的第二层当前块61的视差矢量（mvRefine曲isp)。在运一点上，默认视差矢 量（mvDisp)可具有值（0,0)。
[0194] 更详细地讲，层间视频解码设备20可WW第二层当前块61的位置为基准确定第 一层深度图62之中的与默认视差矢量（mvDisp)对应的共同定位参考块63。
[0195] 接下来，层间视频解码设备20可获取所确定的第一层深度图62的参考块63的角 点深度值63-1、63-2、63-3和63-4之中的最大深度值，并将所述最大深度值转换为视差矢 量。 阳196] 例如，使用第二层当前块61的位置（xCb，yCb)、默认视差矢量（mvDisp) 和参考视点索引（refViewiewldx)被转换为尺寸（nCl记)X(nCl记）的视差矢量值 "disparitySamples[][]"可被确定为语法元素。在运一点上，nCbS可指编码单元的尺寸。
[0197] 最后，层间视频解码设备20可使用转换后的视差矢量的水平分量值和默认视差 矢量（mvDisp)的垂直分量值来确定第二层当前块61的视差矢量（mvRefine曲isp)。
[0198] 例如，所确定的视差矢量（mvRefine曲isp)可被表示为（dispa;ritySamples[0] [0]，mvDisp[1])。在运一点上，作为视差矢量的垂直分量值的"mvDisp[1]"可W是0。
[0199] 总之，根据实施例的层间视频解码设备20可将视差矢量的水平分量确定为使用 默认视差矢量和第一层深度图转换的视差矢量，并将视差矢量的垂直分量确定为0。
[0200] 图7示出根据实施例的视差矢量不可预测的示例。 阳201] 当在第二层当前块71的外围块中预测出的视差矢量口_0￥W第二层当前块71为 基准指示在第一层图像72外部的参考块73时，根据实施例的层间视频解码设备20可确定 第二层当前块71的视差矢量不可预测（dvAvail化Ig= = 0)。 阳202] 根据实施例的层间视频解码设备20可确定是否可使用其它各种条件来预测第二 层当前块71的视差矢量。 阳203] 同时，尽管W上参照图4至图7描述的操作由层间视频解码设备20执行，但本领 域普通技术人员将容易理解，相同的操作可由层间视频编码设备10执行。
[0204] 在根据实施例的层间视频编码设备10和根据实施例的层间视频解码设备20中， 如上所述，视频数据可被划分为具有树结构的编码单元，并且编码单元、预测单元和变换单 元被用于对编码单元进行层间预测或帖间预测。在下文中，将参照图8至图20描述根据实 施例的基于具有树结构的编码单元的视频编码方法和设备W及视频解码方法和设备。 阳205] 按照原理，在用于多层视频的编码/解码中，针对第一层图像的编码/解码处理和 针对第二层图像的编码/解码处理可被分开执行。也就是说，当对多层视频执行层间预测 时，单层视频的编码/解码结果被彼此参考，但是针对各个单层视频执行单独的编码/解码 处理。 阳206] 为便于描述，由于将参照图8至图20描述的基于根据树结构的编码单元的视频编 码处理和视频解码处理是对单层视频执行的，因此将仅描述帖间预测和运动补偿。然而，如 参照图Ia至图6所描述的，基本层图像和第二层图像之间的层间预测和补偿被执行W对视 频流进行编码/解码。 阳207] 因此，当根据实施例的层间视频编码设备10的第一层编码器12基于根据树结构 的编码单元对多层视频进行编码时，为了针对各个单视点视频对视频进行编码，层间视频 编码设备10包括与多层视频的层数一样多的图8的视频编码设备100W对视频进行编码， 使得每个视频编码设备100可被控制W对分配的单层视频进行编码。此外，可伸缩视频编 码设备1200可通过使用每个视频编码设备100的单独的单个视点的编码结果来执行视点 间预测。因此，层间视频编码设备10的第一层编码器12可产生基本层视频流和第二层视 频流，其中，在基本层视频流和第二层视频流中，针对各个层级记录对各个层的编码结果。 阳20引类似地，当根据实施例的层间视频解码设备20的第二层解码器26基于根据树结 构的编码单元对多层视频进行解码时，为了针对各个层对接收到的基本层视频流和第二层 视频流进行解码，层间视频解码设备20可包括与多层视点视频的层数一样多的图9的视频 解码设备200,并且视频解码设备200可被控制W对分别分配给视频解码设备200的单层视 频执行解码。此外，层间视频编码设备10可通过使用每个视频解码设备200的单独的单层 的解码结果来执行视点间补偿。因此，层间视频解码设备20的第二层解码器26可产生针 对各个层而被恢复的第一层图像和第二层图像。 阳209] 图8是根据一个或更多个实施例的基于根据树结构的编码单元的视频编码设备 100的框图。
[0210] 设及基于根据树结构的编码单元进行视频预测的视频编码设备100包括LCU划分 器110、编码单元确定器120和输出器130。 阳211]LCU划分器110可基于图像的当前画面的LCU(作为具有最大尺寸的编码单元）， 来对当前画面进行划分。如果当前画面大于LCU，则可将当前画面的图像数据划分为至少一 个LCU。根据一个或更多个实施例的LCU可W是尺寸为32X32、64X64、128X128、256X256 等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。图像数据可 根据所述至少一个LCU被输出到编码单元确定器120。
[0212] 根据一个或更多个实施例的编码单元可由最大尺寸和深度表征。深度表示编码单 元从LCU被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从LCU被划 分到最小编码单元（SCU)。LCU的深度为最高深度，SCU的深度为最低深度。由于随着LCU 的深度加深，与每个深度对应的编码单元的尺寸减小，因此与更高深度对应的编码单元可 包括多个与更低深度对应的编码单元。
[0213] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为LCU，并且每个 LCU可包括根据深度被划分的较深层编码单元。由于根据深度对根据一个或更多个实施例 的LCU进行划分，因此可根据深度对包括在LCU中的空间域的图像数据进行分层地分类。
[0214] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制对LCU的高度和宽度进行分层划分的次数。
[0215] 编码单元确定器120对通过根据深度对LCU的区域进行划分而获取的至少一个划 分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的 深度。换句话说，编码单元确定器120通过根据当前画面的LCUW根据深度的较深层编码 单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定深度。确定的深度和根 据确定的深度的编码图像数据被输出到输出器130。
[0216] 基于与等于或低于最大深度的至少一个深度对应的较深层编码单元，对LCU中的 图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对 较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个 LCU选择至少一个深度。
[0217] 随着编码单元根据深度而被分层地划分并且随着编码单元的数量增加，LCU的尺 寸被划分。另外，即使在一个LCU中编码单元与同一深度对应，也通过分别测量每个编码单 元的图像数据的编码误差来确定是否将与同一深度对应的每个编码单元划分为更低深度。 因此，即使当图像数据被包括在一个LCU中时，在一个LCU中编码误差可根据区域而不同， 因此在图像数据中深度可根据区域而不同。因此，可在一个LCU中确定一个或更多个深度， 并且可根据至少一个深度的编码单元来对LCU的图像数据进行划分。
[0218] 因此，编码单元确定器120可确定包括在LCU中的具有树结构的编码单元。根据 一个或更多个实施例的"具有树结构的编码单元"包括LCU中所包括的所有较深层编码单 元之中的与被确定为深度的深度对应的编码单元。可在LCU的相同区域中根据深度来分层 地确定具有深度的编码单元，并可在不同区域中独立地确定具有深度的编码单元。类似地， 可与另一区域中的深度相独立地确定当前区域中的深度。
[0219] 根据一个或更多个实施例的最大深度是与从LCU到SCU的划分次数有关的索引。 根据一个或更多个实施例的第一最大深度可表示从LCU到SCU的总划分次数。根据一个或 更多个实施例的第二最大深度可表示从LCU到SCU的深度等级的总数。例如，当LCU的深 度是0时，对LCU划分一次的编码单元的深度可被设置为1，对LCU划分两次的编码单元的 深度可被设置为2。运里，如果最小编码单元是对LCU划分四次的编码单元，则存在深度0、 1、2、3和4的5个深度等级，并因此第一最大深度可被设置为4,第二最大深度可被设置为 5。
[0220] 可根据LCU执行预测编码和变换。还根据LCU，基于根据等于或小于最大深度的深 度的较深层编码单元来执行预测编码和变换。 阳221] 由于每当根据深度对LCU进行划分时，较深层编码单元的数量增加，因此对随着 深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述， 在LCU中，现在将基于当前深度的编码单元来描述预测编码和变换。 阳222] 视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或 形状。为了对图像数据进行编码，执行诸如预测编码、变换和赌编码的操作，此时，可针对所 有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。 阳223]例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可 选择不同于编码单元的数据单元，W便对编码单元中的图像数据执行预测编码。
[0224] 为了在LCU中执行预测编码，可基于与深度对应的编码单元（即，不再被划分到与 更低深度对应的编码单元的编码单元）来执行预测编码。W下，不再被划分且成为用于预 测编码的基本单元的编码单元现在将被称为"预测单元"。通过划分预测单元获得的分区可 包括预测单元或通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。 分区是编码单元的预测单元被划分的数据单元，预测单元可W是与编码单元具有相同的尺 寸的分区。 阳2巧]例如，当2NX2N(其中，N是正整数）的编码单元不再被划分，并且成为2NX2N的 预测单元时，分区的尺寸可W是2NX2N、2NXN、NX2N或NXN。分区模式的示例包括通过 对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽 度进行非对称地划分（诸如，1 :n或n:l)而获得的分区、通过对预测单元进行几何地划分 而获得的分区、W及具有任意形状的分区。 阳226] 预测单元的预测模式可W是帖内模式、帖间模式和跳过模式中的至少一个。例如， 可对2NX2N、2NXN、NX2N或NXN的分区执行帖内模式或帖间模式。另外，可仅对2NX2N 的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最 小编码误差的预测模式。 阳227]视频编码设备100不仅可基于用于对图像数据进行编码的编码单元，还可基于与 编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行 变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的数 据单元可包括帖内模式的数据单元和帖间模式的数据单元。
[0228]W与根据树结构的编码单元类似的方式，编码单元中的变换单元可被递归地划分 为更小尺寸的区域。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的 残差数据进行划分。 阳229] 还可在变换单元中设置变换深度，其中，变换深度表示对编码单元的高度和宽度 进行划分W达到变换单元的划分次数。例如，在2NX2N的当前编码单元中，当变换单元的 尺寸是2NX2N时，变换深度可W为0,当变换单元的尺寸是NXN时，变换深度可W为1，当 变换单元的尺寸是N/2XN/2时，变换深度可W为2。换句话说，可根据变换深度设置具有树 结构的变换单元。
[0230] 根据与深度对应的编码单元的编码信息不仅需要关于深度的信息，还需要关于与 预测编码和变换相关的信息的信息。因此，编码单元确定器120不仅确定具有最小编码误 差的深度，还确定预测单元中的分区模式、根据预测单元的预测模式和用于变换的变换单 元的尺寸。 阳231] 稍后将参照图7至图19详细描述根据一个或更多个实施例的LCU中的根据树结 构的编码单元和确定预测单元/分区W及变换单元的方法。 阳232] 编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，测量根据深度 的较深层编码单元的编码误差。
[0233] 输出器130在比特流中输出LCU的图像数据和关于根据深度的编码模式的信息， 其中，所述LCU的图像数据基于由编码单元确定器120确定的至少一个深度被编码。
[0234] 可通过对图像的残差数据进行编码来获得编码图像数据。
[0235] 关于根据深度的编码模式的信息可包括关于深度的信息、关于预测单元中的分区 模式的信息、关于预测模式的信息和关于变换单元的尺寸的信息。
[0236] 可通过使用根据深度的划分信息来定义关于深度的信息，其中，根据深度的划分 信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前 深度是深度，则对当前编码单元中的图像数据进行编码和输出，因此可将划分信息定义为 不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是深度，则对 更低深度的编码单元执行编码，并因此可将划分信息定义为对当前编码单元进行划分来获 得更低深度的编码单元。 阳237] 如果当前深度不是深度，则对被划分到更低深度的编码单元的编码单元执行编 码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深 度的每个编码单元重复执行编码，并且因此可对具有相同深度的编码单元递归地执行编 码。
[0238] 由于针对一个LCU确定具有树结构的编码单元，并且针对具有深度的编码单元确 定关于至少一个编码模式的信息，所W可针对一个LCU确定关于至少一个编码模式的信 息。另外，由于根据深度对图像数据进行分层划分，因此LCU的图像数据的深度可根据位置 而不同，因此可针对图像数据设置划分信息。
[0239] 因此，输出器130可将对应划分信息分配给包括在LCU中的编码单元、预测单元和 最小单元中的至少一个。
[0240] 根据一个或更多个实施例的最小单元是通过将构成最低深度的SCU划分为4份而 获得的正方形数据单元。可选择地，根据实施例的最小单元可W是可包括在LCU中所包括 的所有编码单元、预测单元、分区单元和变换单元中的最大正方形数据单元。 阳241] 例如，由输出器130输出的编码信息可被分类为根据较深层编码单元的编码信息 和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的信息 和关于分区尺寸的信息。根据预测单元的编码信息可包括关于帖间模式的估计方向的信 息、关于帖间模式的参考图像索引的信息、关于运动矢量的信息、关于帖内模式的色度分量 的信息、W及关于帖内模式的插值方法的信息。 阳242] 根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的 信息可被插入到比特流的头、序列参数集或画面参数集。 阳243] 还可通过比特流的头、序列参数集或画面参数集输出关于针对当前视频允许的变 换单元的最大尺寸的信息和关于变换单元的最小尺寸的信息。输出器130可对与W上参照 图Ia至图14描述的SAO操作有关的SAO参数进行编码和输出。
[0244] 在视频编码设备100中，较深层编码单元可W是通过将更高深度（更高一层）的 编码单元的高度或宽度划分成两份而获得的编码单元。换句话说，