1可W是层间视频编码设备10通 过应用各种边界来对当前块进行划分并基于最适边界对当前块进行划分的模式，而DMM模 式-4可W是用于根据当前块的纹理图案将预测块划分为至少两个或更多个块的模式。
[0189] 参照图如，011模式-1下预测的预测块400、420、440和460中的每个被划分为两个 区域。图4c示出在DMM模式-1下对预测块进行划分的四个可能的情况。
[0190] 即使在DMM模式-1下对预测块进行划分的情况下，根据一些示例性实施例的层间 视频解码设备20可通过使用左上像素值、右上像素值、左下像素值和右下像素值来获得从 预测块划分出的每个区域的均值。
[0191] 例如，在第一划分图案400中，基于相应块的左上像素值411、右上像素值412和左 下像素值413计算出区域-1 401的均值，而从相应块的右下像素值414计算出区域-2 402的 均值。
[0192] 在第二划分图案420中，从相应块的左上像素值431计算出区域-1 421的均值，而 从相应块的右上像素值432、左下像素值433和右下像素值434计算出区域-2 422的均值。
[0193] 在第S划分图案440中，从相应块的左上像素值451和右上像素值452计算出区域-1 441的均值，而从相应块的左下像素值453和右下像素值454计算出区域-2 442的均值。
[0194] 在第四划分图案460中，从相应块的左上像素值471和右上像素值472计算出区域-1 461的均值，而从相应块的左下像素值473和右下像素值474计算出区域-2 462的均值。运 里，尽管W上参照图4c描述了关于8x8块的DC值的计算，但在相同的方面可计算关于在DMM 模式-1下产生的16xl6、32x32或64x64预测块的各个区域的均值。
[01M]在另一示例中，可通过使用各个像素值(例如，相应预测块的左上像素值和右下像 素值)来计算出各个区域的均值。例如，在第一划分图案400的情况下，可从相应块的左上像 素值411计算出区域-1 401的均值，而可从相应块的右下像素值414计算出区域-2 402的均 值。
[0196] 图5a是示出根据一些示例性实施例的通过使用预测块的均值和深度查找表来对 深度图像进行编码的方法的流程图。
[0197] 参照图5a，在操作501，预测模式确定器12可确定深度图像的当前块的预测模式。 运里，预测模式可W是D对莫式、平面模式、角模式和深度建模模式(DMM)预测模式中的一个。
[0198] 在操作502,预测块产生器14可基于确定的预测模式产生当前块的预测块。
[0199] 在操作503,均值计算器16可通过使用预测块的与特定位置相应的像素值对预测 块的均值进行预测。
[0200] 在操作504,编码器18可通过使用深度查找表确定与预测块的均值相应的预测索 引。运里，深度查找表是指深度图像的可能的深度值被匹配到索引的表。
[0201] 例如，如果在深度查找表中深度值128被匹配到索引值1，则当预测块的均值是128 时，编码器18可将预测索引确定为1。
[0202] 在操作505,编码器18可确定与当前块相应的原始块的均值。例如，编码器18可确 定与当前块相应的原始深度图像的区域的均值。
[0203] 在操作506,编码器18可通过使用深度查找表来确定与原始块的均值相应的原始 索引。
[0204] 接下来，在操作507,编码器18可对预测模式信息和预测索引与原始索引之间的差 (W下被称为"索引残差值'）进行编码，并将其发送到层间视频解码设备20。因此，层间视频 编码设备10可通过发送与当前预测块的均值相应的索引和与原始块的均值相应的索引之 间的差来减少发送的比特量。
[0205] 图加是示出根据一些示例性实施例的通过使用预测块的均值和深度查找表来对 深度图像进行解码的方法的流程图。
[0206] 在操作511，解析器22可从比特流获得关于深度图像的当前块的预测模式信息。运 里，预测模式信息可指示当前块将在DC模式、平面模式、角模式和深度建模模式(DMM)预测 模式中的哪一预测模式下被预测。
[0207] 在操作512,预测块产生器24可基于获得的预测模式信息产生当前块的预测块。
[0208] 在操作513,均值计算器26可通过使用预测块的与特定位置相应的像素值对预测 块的均值进行预测。
[0209] 例如，可通过使用预测块的左上像素值、右上像素值、左下像素值和右下像素值来 对产生的预测块的均值进行预测。
[0210] 在操作514,解码器28可通过使用深度查找表来确定与预测块的均值相应的预测 索引。
[0211] 在操作515,解码器28可通过使用从比特流获得的索引残差值来确定与当前块的 恢复块的均值相应的恢复索引。运里，如W上关于图5a的操作507所述，索引残差值是指与 预测块的均值相应的索引和与原始块的均值相应的索引之间的差。例如，可通过执行将索 引残差值与预测索引相加的计算来确定恢复索引。
[0212] 在操作516,解码器28可通过使用深度查找表来确定与恢复索引相应的恢复块的 均值。
[0213] 在操作517,解码器28可通过使用关于预测块的均值和关于恢复块的均值来对深 度图像进行解码。例如，可将预测块的均值与恢复块的均值之间的差确定为关于预测块的 DC偏移。因此，可通过将DC偏移与产生的预测块相加来产生恢复块。
[0214] 与通过使用预测块中的与特定位置相应的像素值来对预测块的均值进行预测的 方法相关地，描述了 W上实施例。W下，将参照图6至图7c描述在不产生预测块的情况下通 过使用与当前块邻近的恢复的像素值来对预测块的均值进行预测的示例。
[0215] 图6是示出根据一些示例性实施例的层间视频解码设备的另一示例的示图。
[0216] 参照图6,根据一些示例性实施例的层间视频解码设备600由预测模式确定器610、 均值计算器620和深度查找表索引确定器630组成。
[0217] 如果将被解码的当前块通过使用简化的深度图像编码技术被编码，则预测模式确 定器610确定当前块在包括DC模式、平面模式、角模式和深度建模模式(DMM)预测模式的预 测模式中的哪一预测模式下被编码。运里，简化的深度图像编码技术可表示如W上参照图 Ia至图化描述的通过使用预测块的均值对深度图像进行编码的方法。
[0218] 均值计算器620直接从被解码的当前块的邻近像素值计算出预测块的均值。W下 将参照图7a至图7c给出计算均值的方法的详细描述。
[0219] 深度查找表索引确定器630通过使用深度查找表来确定与由均值计算器620计算 出的预测块的均值相应的索引值。
[0220] 例如，图7a是用于描述根据一些示例性实施例的在DC预测模式下计算预测块的均 值的方法的另一示例的示图。
[0221] 参照图7a，在DC预测模式下产生将被解码的当前块70的预测块之前，均值计算器 620直接从将被解码的当前块70的邻近像素值71产生预测块的均值。例如，如果将被解码的 当前块70是在DC预测模式下通过使用简化的深度图像编码技术被编码的，则通过使用将被 解码的当前块70周围的邻近像素根据下面的等式3计算出值dcVal，并将计算出的dcVal用 作相应块的均值。
[0222] [等式 3]
[0224] 其中，4 = 1〇邑2(11化5)
[0225] 运里，n化S表示将被编码或将被解码的块的水平长度或垂直长度，X'表示关于宽 度方向的索引，y'表示关于长度方向的索引。
[0226] 图7b是用于描述根据一些示例性实施例的在DMM预测模式下计算预测块的均值的 方法的另一示例的示图。
[0227] 参照图7b，在产生将被解码的当前块的预测块之前，均值计算器620直接从将被解 码的当前块的邻近像素值产生预测块的均值。如果当前块的预测模式是DMM模式-1预测模 式，则将当前块划分为两个区域。图7b示出在DMM模式-1预测模式下对当前块进行划分的四 种可行的情况。
[0228] 在第一划分图案中，区域-1 710的邻近像素700和705的平均像素值被计算为相应 区域的均值。然而，在第一划分的图案中，由于不存在相应区域的邻近像素，因此可将深度 值的中值128计算为关于第一划分的图案的DC值。
[0229] 在第二划分图案中，区域-1 740的邻近像素720和725的平均像素值被计算为相应 区域的均值。另外，在第二划分图案中，区域-2 745的邻近像素730和735的平均像素值被计 算为相应区域的均值。
[0230] 在第=划分图案中，区域-1 760的邻近像素750被计算为相应区域的均值。另外， 在第=划分图案中，区域-2 765的邻近像素755的像素值被计算为相应区域的均值。
[0231] 在第四划分图案中，区域-1 780的邻近像素770被计算为相应区域的均值。另外， 在第四划分图案中，区域-2 785的邻近像素775的像素值被计算为相应区域的均值。运里， 尽管W上参照图7b描述了关于8x8块的DC值的计算，但在相同的方面可计算关于16x16、 32x32或64x64预测块的各个区域的DC值。
[0232] 图7c是用于描述根据一些示例性实施例的在平面预测模式下计算预测块的均值 的方法的示图。
[0233] 参照图7c，在产生将被解码的当前块的预测块之前，均值计算器620直接从当前块 的邻近像素值产生预测块的均值。如果将被解码的当前块是在平面预测模式下被编码的， 则可根据图7c的表794之中示出的等式计算相应预测块的均值。
[0234] 例如，在4x4块的情况下，其均值被计算为"(6X (SUMhor+SUMver)+40X (RT+LB) + 26)>>r。运里/'SUMho卢表示位于当前块上方的邻近像素 a、b、c和d的总和791/'SUMver" 表示位于当前块的左侧的邻近像素 f、g、h和I的总和792。"RT"表示位于当前块的右上角的 当前块的邻近像素790,而"LB"表示位于当前块的左下角的当前块的邻近像素793。如上所 述，作为代替在预测模式下产生预测块的像素值的方式，均值计算器620根据表794的等式 直接从自邻近像素值计算出的"SUMhor"、"SUMver"、"RT"和"LB"计算DC值。尽管关于4x4块 给出了根据本实施例的用于值"SUMhor"、"SUMver"、"RT"和"LB"的计算的W上描述，但相同 的处理可应用于更大的块。另外，为了减少编码/解码处理的复杂度，可直接经由使用邻近 像素值3、13、(3、(1、6^、邑、11、；[和^'中的一些像素值的加权计算来计算出0(：值。
[0235] 同时，为了便于解释，W上参照图4a至图4cW及图6至图7c仅描述了由层间视频解 码设备20和600执行的操作，并且省略了由层间视频编码设备10执行的操作。然而，对于本 领域普通技术人员而言显然的是，可由层间视频编码设备10执行与由层间视频解码设备20 和600执行的操作相应的操作。
[0236] 如上所述，根据一些示例性实施例的层间视频编码设备10和根据一些示例性实施 例的层间视频解码设备20可将视频数据的块划分为具有树结构的编码单元，编码单元、预 测单元和变换单元可用于编码单元的层间预测或帖间预测。W下，将参照图8至图20描述根 据一些示例性实施例的基于具有树结构的编码单元和变换单元的视频编码方法、视频编码 设备、视频解码方法和视频解码设备。
[0237] 原理上，在多层视频的编码和解码处理期间，单独地执行第一层图像的编码和解 码处理W及第二层图像的编码和解码处理。换句话说，当对多层视频执行层间预测时，可相 互参考单层视频的编码和解码结果，但根据单层视频执行单独的编码和解码处理。
[0238] 因此，由于为了便于描述W下参照图8至图20描述的基于具有树结构的编码单元 的视频编码和解码处理是用于处理单层视频的视频编码和解码处理，因此仅执行帖间预测 和运动补偿。然而，如W上参照图Ia至图7所述，为了对视频流进行编码和解码，可对基础层 图像和第二层图像执行层间预测和补偿。
[0239] 因此，为了使根据一些示例性实施例的层间视频编码设备的编码器基于具有树结 构的编码单元对多层视频进行编码，层间视频编码设备10可包括与多层视频的层数一样多 的图8的视频编码设备800，W便根据每个单层视频执行视频编码，从而控制每个视频编码 设备800对分配的单层视频进行编码。此外，层间视频编码设备10可通过使用每个视频编码 设备800的单独的视点的编码结果来执行视点间预测。因此，层间视频编码设备的编码器可 产生包括根据层的编码结果的第二层视频流和基本视点视频流。
[0240] 类似地，为了使根据一些示例性实施例的层间视频解码设备的解码器基于具有树 结构的编码单元对多层视频进行解码，层间视频解码设备可包括与多层视频的层数一样多 的图9的视频解码设备900W便针对接收到的第一层视频流和接收到的第二层视频流根据 层执行视频解码，从而控制每个视频解码设备900对分配的单层视频进行解码。此外，层间 视频解码设备900可通过使用每个视频解码设备900的单个层的解码结果来执行层间补偿。 因此，层间视频解码设备的解码器可产生根据层被重建的第二层图像和第一层图像。
[0241] 图8是根据一些示例性实施例的基于根据树结构的编码单元的视频编码设备800 的框图。
[0242] 设及基于根据树结构的编码单元的视频预测的根据一些示例性实施例的视频编 码设备800包括编码单元确定器820和输出单元830。W下，为便于描述，设及基于根据树结 构的编码单元的视频预测的根据一些示例性实施例的视频编码设备10将被简称为"视频编 码设备800"。
[0243] 编码单元确定器820可基于图像的当前画面的最大编码单元来划分当前画面，其 中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当 前画面的图像数据划分为至少一个最大编码单元。根据一些示例性实施例的最大编码单元 可W是尺寸为32X32、64X64、128X128、256X256等的数据单元，其中，数据单元的形状是 宽度和长度为2的若干次方的正方形。
[0244] 根据一些实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大 编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编 码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深度为 最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因 此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0245] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单 元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根 据一些示例性实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中 的空间域的图像数据进行分层分类。
[0246] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限 制最大编码单元的高度和宽度被分层划分的总次数。
[0247] 编码单元确定器820对通过根据深度对最大编码单元的区域进行划分而获取的至 少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图 像数据的深度。换句话说，编码单元确定器820通过根据当前画面的最大编码单元W根据深 度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定最终 深度。将确定的最终深度和根据确定的编码深度的编码的图像数据输出到输出单元830。
[0248] 基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码 单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结 果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针 对每个最大编码单元选择至少一个最终深度。
[0249] 随着编码单元根据深度而被分层地划分并且随着编码单元的数量增加，最大编码 单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分 别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单 元划分到更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，编码误差仍可 根据所述一个最大编码单元中的区域而不同，因此最终深度可根据图像数据中的区域而不 同。因此，可在一个最大编码单元中确定一个或更多个最终深度，并且可根据至少一个最终 深度的编码单元来对最大编码单元的图像数据进行划分。
[0250] 因此，根据一些示例性实施例的编码单元确定器820可确定包括在最大编码单元 中的具有树结构的编码单元。根据一些示例性实施例的"具有树结构的编码单元"包括最大 编码单元中包括的所有较深层编码单元之中的与确定为最终深度的深度相应的编码单元。 可根据最大编码单元的同一区域中的深度来分层地确定最终深度的编码单元，并可在不同 区域中独立地确定最终深度的编码单元。类似地，可与另一区域中的最终深度独立地确定 当前区域中的最终深度。
[0251] 根据一些示例性实施例的最大深度是与从最大编码单元到最小编码单元的划分 次数相关的索引。根据一些示例性实施例的第一最大深度可表示从最大编码单元到最小编 码单元的总划分次数。根据一些示例性实施例的第二最大深度可表示从最大编码单元到最 小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分 一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设 置为2。运里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、 2、3和4的深度等级，并且因此第一最大深度可被设置为4，第二最大深度可被设置为5。
[0252] 可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于 或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
[0253] 由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因 此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便 于描述，在最大编码单元中，现在将基于当前深度的编码单元来描述预测编码和变换。
[0254] 根据一些示例性实施例的视频编码设备800可不同地选择用于对图像数据进行编 码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和赌编码 的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据 单元。
[0255] 例如，视频编码设备800不仅可选择用于对图像数据进行编码的编码单元，还可选 择不同于编码单元的数据单元，W便对编码单元中的图像数据执行预测编码。
[0256] 为了在最大编码单元中执行预测编码，可基于根据一些示例性实施例的与最终深 度相应的编码单元(即，基于不再被划分为与更低深度相应的编码单元的编码单元)来执行 预测编码。W下，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为"预 测单元"。通过划分预测单元而获取的分区可包括预测单元或通过对预测单元的高度和宽 度中的至少一个进行划分而获取的数据单元。分区是编码单元的预测单元被划分的数据单 元，并且预测单元可W是与编码单元具有相同的尺寸的分区。
[0257] 例如，当2NX2N(其中，N是正整数)的编码单元不再被划分并成为2NX2N的预测单 元时，分区的尺寸可W是2N X 2N、2N X N、N X 2N或N X N。根据一些示例性实施例的分区模式 的示例包括通过对预测单元的高度或宽度进行对称地划分而获取的对称分区、通过对预测 单元的高度或宽度进行非对称地划分(诸如，l:n或n:l)而获取的分区、通过对预测单元进 行几何地划分而获取的分区、W及具有任意形状的分区。
[0258] 预测单元的预测模式可W是帖内模式、帖间模式和跳过模式中的至少一个。例如， 可对2N X 2N、2N X N、N X 2N或N X N的分区执行帖内模式或帖间模式。另外，可仅对2N X 2N的 分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小 编码误差的预测模式。
[0259] 根据一些示例性实施例的视频编码设备800不仅可基于用于对图像数据进行编码 的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。 为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元来执行变 换。例如，变换单元可包括帖内模式的数据单元和帖间模式的变换单元。
[0260] 根据一些示例性实施例，W与编码单元根据树结构被划分的方式类似的方式，编 码单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变换深度的具 有树结构的变换单元，对编码单元中的残差数据进行划分。
[0261] 还可在根据一些示例性实施例的变换单元中设置变换深度，其中，变换深度指示 通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在2NX2N的当 前编码单元中，当变换单元的尺寸是2NX 2N时，变换深度可W是0，当变换单元的尺寸是NX N时，变换深度可W是1，当变换单元的尺寸是N/2XN/2时，变换深度可W是2。换句话说，可 根据变换深度设置具有树结构的变换单元。
[0262] 根据深度的划分信息不仅需要关于深度的信息，还需要关于与预测编码和变换相 关的信息。因此，编码单元确定器820不仅确定具有最小编码误差的深度，还确定将预测单 元划分为分区的分区模式、根据预测单元的预测模式W及用于变换的变换单元的尺寸。
[0263] 稍后将参照图9至图19详细描述根据一些示例性实施例的最大编码单元中的根据 树结构的编码单元W及确定预测单元/分区和变换单元的方法。
[0264] 编码单元确定器820可通过使用基于拉格朗日乘数的率失真优化来测量根据深度 的较深层编码单元的编码误差。
[0265] 输出单元830在比特流中输出最大编码单元的图像数据和根据深度的划分信息， 其中，所述最大编码单元的图像数据基于由编码单元确定器12