查找表并且预测块在DC模式或平面模式下被预测，则均值计 算器16通过使用W下像素值来对产生的预测块的均值进行预测:与预测块的左上区域相应 的像素值、与预测块的右上区域相应的像素值、与预测块的左下区域相应的像素值和与预 测块的右下区域相应的像素值。
[0105] 可选择地，如果预测块在DMM预测模式下被预测，则均值计算器16可通过使用W下 像素值来对从预测块划分出的每个区域的均值进行预测:与预测块的左上像素相应的像素 值、与预测块的右上像素相应的像素值、与预测块的左下像素相应的像素值和与预测块的 右下像素相应的像素值。
[0106] 在另一示例中，均值计算器16可通过根据关于当前块的预测模式使用不同位置处 的像素值来对产生的预测块的均值进行预测。
[0107] 在操作17,编码器18可通过使用预测块的均值来对深度图像进行编码。同时，W下 将参照图5a详细描述用于通过使用预测块的均值对深度图像进行编码的编码器18的操作。
[0108] 如上所述，层间视频编码设备10可降低计算预测块的均值的方法的复杂度，因此 可有效地对深度图像进行编码。
[0109] 图2a是根据一些示例性实施例的层间视频解码设备20的框图。
[0110] 根据一些示例性实施例的层间视频解码设备20可包括解析器22、预测块产生器 24、均值计算器26和解码器28。另外，根据一些示例性实施例的层间视频解码设备20可包 括：中央处理器(未示出），控制解析器22、预测块产生器24、均值计算器26和解码器28。可选 择地，解析器22、预测块产生器24、均值计算器26和解码器28中的每个由其自有的处理器 (未示出）来操作，由于处理器(未示出）W相互有机的关系进行操作，因此整个层间视频解 码设备20可被操作。可选择地，解析器22、预测块产生器24、均值计算器26和解码器28可由 层间视频解码设备20外部的外部处理器(未示出)控制。
[0111] 层间视频解码设备20可包括:一个或更多个数据存储单元(未示出），用于存储输 入到解析器22、预测块产生器24、均值计算器26和解码器28的数据和由解析器22、预测块产 生器24、均值计算器26和解码器28输出的数据。层间视频解码设备20可包括用于管理一个 或更多个数据存储单元(未示出）的数据输入和数据输出的存储器控制器(未示出）。
[0112] 为了经由视频解码重建视频，根据一些示例性实施例的层间视频解码设备20可与 安装在其中的内部视频编码处理器或外部视频编码处理器协同地进行操作，W便执行包括 变换的视频解码操作。根据一些示例性实施例的多层视频解码设备20的内部视频编码处理 器可W是单独的处理器，或可选择地，层间视频解码设备20、中央处理设备或图形处理设备 可包括用于执行基本视频解码操作的视频解码处理模块。
[0113] 根据一些示例性实施例的层间视频解码设备20可经由可伸缩编码方法接收根据 层的比特流。由层间视频解码设备20接收的比特流的层数不受限制。
[0114] 例如，基于空间可伸缩性的层间视频解码设备20可接收具有不同的分辨率的图像 序列被编码在不同的层中的流。第一层流可被解码W重建具有低分辨率的图像序列，第二 层流可被解码W重建具有高分辨率的图像序列。
[0115] 作为另一示例，多视点视频可根据可伸缩视频编码方法被解码。当在多个层中接 收到立体视频流时，可对第一层流进行解码W重建左视点图像。可进一步对第二层流进行 解码W重建右视点图像。
[0116] 可选择地，当在多个层中接收到多视点视频流时，可对第一层流进行解码W重建 中屯、视点图像。可进一步对第二层流进行解码W重建左视点图像。可进一步对第=层流进 行解码W重建右视点图像。
[0117] 作为另一示例，可执行基于时间可伸缩性的可伸缩视频编码方法。可对第一层流 进行解码W重建基本帖率图像。可进一步对第二层流进行解码W重建高帖率图像。
[0118] 此外，当存在至少=个第二层时，可从第一层流重建第一层图像，当通过参考第一 层重建图像进一步对第二层流进行解码时，可进一步重建第二层图像。当通过参考第二层 重建图像进一步对第K层流进行解码时，可进一步重建第K层图像。
[0119] 层间视频解码设备20可从第一层流和第二层流获得第一层图像和第二层图像的 编码数据，另外，可进一步获得经由帖间预测产生的运动矢量和经由层间预测产生的预测 信息。
[0120] 例如，层间视频解码设备20可对每层的帖间预测的数据进行解码，并对多个层之 间的层间预测的数据进行解码。可通过基于编码单元或预测单元的运动补偿和层间解码来 执行重建。
[0121] 可通过针对每个层流通过参考经由同一层的帖间预测而预测的重建图像来针对 当前画面执行运动补偿，从而重建图像。运动补偿是运样的操作:通过将通过使用当前画面 的运动矢量确定的参考画面与当前画面的残差组成，来对当前画面的重建图像进行重建。
[0122] 此外，层间视频解码设备20可通过参考第一层图像的预测信息来执行层间解码， W便对经由层间预测而预测的第二层图像进行解码。层间解码是运样的操作：通过使用不 同层的参考块的预测信息对当前画面的预测信息进行重建，W便确定当前画面的预测信 息。
[0123] 根据一些示例性实施例的层间视频解码设备20可执行用于重建通过参考第二层 图像而预测的第=层图像的层间解码。稍后将参照图3描述层间预测结构。
[0124] 层间视频解码设备20根据视频的每个图像的块执行解码。块可W是根据树结构的 编码单元之中的最大编码单元、编码单元、预测单元或或变换单元。W下将参照图8至图20 描述用于基于根据树结构的编码单元的编码和解码的方法。
[0125] 同时，如果根据一些示例性实施例的层间视频编码设备10对多视点视频进行编 码，则层间视频编码设备10可额外地对补充数据(诸如，深度图像)进行编码，因此，可产生 包括比经由解码器输入的视点更多的视点的图像。运里，由于深度图像用于对中间视点图 像进行合成而不是直接被显示给用户，因此，深度图像的恶化可影响合成的图像的质量。
[0126] 深度图像的深度值在对象的边界附近显著改变，并且在对象内部改变不显著。因 此，在与显著改变的深度值相应的对象的边界处发生的误差的最小化可使合成的图像的误 差最小化。另外，可通过相对减少关于深度值改变不显著的对象内部的数据量来提高对深 度图像进行编码的效率。
[0127] 因此，为了对深度图像进行解码，层间视频解码设备20可通过使用特定预测模式 (例如，DC模式、平面模式、角模式或深度建模模式(DMM)预测模式）来产生预测块。具体来 说，层间视频解码设备20可计算关于将被编码的块的DC值（W下，将被称为"均值"），并将计 算出的均值映射到深度查找表，从而确定索引。另外，层间视频解码设备20可经由比特流接 收与恢复块的均值相应的索引和与用于预测块的均值相应的索引之间的差。
[0128] 另外，层间视频解码设备20可通过使用索引之间的差和深度查找表来确定恢复块 的均值，并通过将恢复块的均值与预测块的均值之间的差用作偏移来恢复深度图像。
[0129] 同时，用于将属于预测块的所有像素值求和并将总和除W相应像素的数量的计算 处理可用于计算预测块的均值，其中，运样的用于对像素值进行累加和除法的计算处理会 增加编码设备和解码设备的复杂度。
[0130] 因此，可通过仅使用与预测块的像素之中的位于特定位置处的像素相应的像素值 对预测块的均值进行预测来降低根据一些示例性实施例的层间视频编码的复杂度。
[0131] W下，将参照图2b详细描述根据一些示例性实施例的层间视频解码设备20的操 作。
[0132] 在操作21，解析器22可从比特流获得关于深度图像的当前块的预测模式信息。运 里，预测模式可W是DC模式、平面模式、角模式和深度建模模式(DMM)预测模式之一。运里， DMM预测模式可包括DMM模式-1 (或DMM_WRJ化模式)和DMM模式-4(或DMM_CPREDTEX模式）。
[0133] 另外，解析器22可获得指示当前块的预测模式是不是使用预测块的均值的模式的 信息。
[0134] 在操作23,预测块产生器24可基于获得的预测模式信息产生当前块的预测块。
[0135] 在操作25,均值计算器26可通过使用预测块的与特定位置相应的像素值来对预测 块的均值进行预测。
[0136] 例如，均值计算器26可通过使用W下像素值对预测块的均值进行预测：与预测块 的左上区域相应的像素值、与预测块的右上区域相应的像素值、与预测块的左下区域相应 的像素值和与预测块的右下区域相应的像素值。详细地，作为代替通过使用预测块中的所 有像素值来获得均值的方式，均值计算器26可通过对W下像素值进行加权求和来对预测块 的均值进行预测:与预测块的左上区域相应的像素值、与预测块的右上区域相应的像素值、 与预测块的左下区域相应的像素值和与预测块的右下区域相应的像素值。然而，本发明构 思不限于此，可通过使用每个区域的至少一个或至少更多个像素值(例如，与左上区域相应 的四个像素值和与右上区域相应的四个像素值)来对预测块的均值进行预测。
[0137] 在另一示例中，均值计算器26可将与产生的预测块的右下区域相应的像素值预测 为预测块的均值。
[0138] 另外，均值计算器26可在不同的预测模式下获得不同的关于预测块的均值。
[0139] 例如，如果存在深度查找表并且预测块在DC模式或平面模式下被预测，则均值计 算器26可通过使用W下像素值来对产生的预测块的均值进行预测:与预测块的左上区域相 应的像素值、与预测块的右上区域相应的像素值、与预测块的左下区域相应的像素值和与 预测块的右下区域相应的像素值。
[0140] 可选择地，如果预测块在DMM预测模式下被预测，则均值计算器26可通过使用W下 像素值来对从预测块划分出的每个区域的均值进行预测:与预测块的左上像素相应的像素 值、与预测块的右上像素相应的像素值、与预测块的左下像素相应的像素值和与预测块的 右下像素相应的像素值。
[0141] 在操作27,解码器28可通过使用预测块的均值来对深度图像进行解码。同时，W下 将参照图化详细描述用于通过使用预测块的均值对深度图像进行解码的解码器28的操作。
[0142] 如上所述，层间视频解码设备20可降低计算预测块的均值的方法的复杂度，因此 可有效地对深度图像进行解码。
[0143] W下，将参照图3描述可在根据一些示例性实施例的层间视频编码设备10中执行 的层间预测结构。
[0144] 图3是根据一些示例性实施例的层间预测结构的示图。
[0145] 根据一些示例性实施例的层间视频编码设备10可根据图3的多视点视频预测结构 的再现顺序30对基本视点图像、左视点图像和右视点图像进行预测编码。
[0146] 根据基于相关技术的多视点视频预测结构的再现顺序30,同一视点的图像沿水平 方向被布置。因此，由"左"指示的左视点图像沿水平方向按行被布置，由"中屯、"指示的基本 视点图像沿水平方向按行被布置，由"右"指示的右视点图像沿水平方向按行被布置。与左 视点图像/右视点图像相比，基本视点图像可W是中屯、视点图像。
[0147] 此外，具有相同画面顺序计数(POC)顺序的图像沿垂直方向被布置。图像的POC顺I 序指示形成视频的图像的再现顺序。在多视点视频预测结构的再现顺序30中指示的"P0C X"指示相应列中的图像的相对再现顺序，其中，当值X较小时，再现顺序在前，当值X较大时， 再现顺序在后。
[014引因此，根据基于相关技术的多视点视频预测结构的再现顺序30,由"左"指示的左 视点图像根据POC顺!序(再现顺序)沿水平方向被布置，由"中屯、"指示的基本视点图像根据 POC顺序(再现顺序)沿水平方向被布置，由"右"指示的右视点图像根据PO口顿序(再现顺序） 沿水平方向被布置。此外，位于与基本视点图像相同的列上的左视点图像和右视点图像具 有不同的视点，但具有相同的POC顺序(再现顺序）。
[0149] 四个连续的图像根据视点形成一个画面组(G0P)。每个GOP包括连续的错画面之间 的图像和一个错画面(关键画面）。
[0150] 错画面是随机访问点，当再现视频的同时再现位置从根据再现顺序（即，POC顺序） 布置的图像中被任意选择时，与根据POC顺序的再现位置最接近的另一画面被再现。基本层 图像包括基本层错画面31至35,左视点图像包括左视点错画面131至135,右视点图像包括 右视点错画面231至235。
[0151] 可根据GOP顺序对多视点图像进行再现和预测(重建）。首先，根据多视点视频预测 结构的再现顺序30，根据视点，包括在GOP 0中的图像可被再现，随后包括在GOP 1中的图像 可被再现。换句话说，包括在每个GOP中的图像可按照GOP 0、G0P 1、G0P 2和G0P3的顺序被 再现。此外，根据多视点视频预测结构的编码顺序，根据视点，包括在GOP 1中的图像可被预 测(重建），然后包括在GOP 1中的图像可被预测(重建）。换句话说，包括在每个GOP中的图像 可按照GOP 0、G0P UGOP 2和GOP 3的顺序被预测(重建）。
[0152] 根据多视点视频预测结构的预测顺序30,对图像执行视点间预(层间预巧U)和帖 间预测。在多视点视频预测结构中，箭头开始的图像是参考画面，箭头结束的图像是通过使 用参考画面而预测的图像。
[0153] 可对基本视点图像的预测结果进行编码并W基本视点图像流的形式进行输出，可 对附加视点图像的预测结果进行编码并W层比特流的形式进行输出。此外，左视点图像的 预测编码结果可被输出为第一层比特流，右视点图像的预测编码结果可被输出为第二层比 特流。
[0154] 对基本视点图像仅执行帖间预测。换句话说，I画面类型的基本层错画面31至35不 参考其他图像，但剩余的B画面类型和b画面类型的图像通过参考其他基本视点图像来被预 测。通过参考根据POC顺序在B画面类型的图像之前的I画面类型的错画面W及随后的另一 I 画面类型的错画面来对B画面类型的图像进行预测。通过参考根据POC顺序在b画面类型的 图像之前的I类型的错画面W及随后的B画面类型的图像或者通过参考根据POC顺序在b画 面类型的图像之前的B画面类型的图像W及随后的I画面类型的错画面，来对b画面类型的 图像进行预测。
[0155] 可对左视点图像和右视点图像中的每个执行参考不同视点图像的视点间预测(层 间预测）W及参考同一视点图像的帖间预测。
[0156] 可通过分别参考具有相同的POC顺序的基本视点错画面31至35,对左视点错画面 131至135执行视点间预测（层间预测）。可通过分别参考具有相同的POC顺序的基本视点错 画面31至35或左视点错画面131至135,对右视点错画面231至235执行视点间预测。此外，可 通过参考具有相同的POC顺序的其他视点图像来对除左视点图像131至135和右视点图像 231至235之外的剩余图像执行视点间预测(层间预测）。
[0157] 通过参考同一视点图像来对左视点图像和右视点图像之中的除错画面131至135 W及错画面231至235之外的剩余图像进行预测。
[0158] 然而，可不通过参考同一视点的附加视点图像之中的具有在前再现顺序的错画面 来对左视点图像和右视点图像中的每个进行预测。换句话说，为了对当前左视点图像执行 帖间预测，可对除再现顺序在当前左视点图像之前的左视点错画面之外的左视点图像进行 参考。类似地，为了对当前右视点图像执行帖间预测，可对除再现顺序在当前右视点图像之 前的右视点错画面之外的右视点图像进行参考。
[0159] 此外，为了对当前左视点图像执行帖间预测，可通过参考属于当前GOP且将在当前 左视点图像之前被重建的左视点图像而不是参考属于在当前左视点图像的当前GOP之前的 GOP的左视点图像，来执行预测。同样的处理应用于右视点图像。
[0160] 根据一些示例性实施例的层间视频解码设备20可根据图3的多视点视频预测结构 的再现顺序30对基本视点图像、左视点图像和右视点图像进行重建。
[0161] 可经由参考基本视点图像的视点间视差补偿W及参考左视点图像的帖间运动补 偿来对左视点图像进行重建。可经由参考基本视点图像和左视点图像的视点间视差补偿W 及参考右视点图像的帖间运动补偿来对右视点图像进行重建。可首先对参考画面进行重建 W用于左视点图像和右视点图像的视差补偿和运动补偿。
[0162] 为了对左视点图像进行帖间运动补偿，可经由参考重建的左视点参考画面的帖间 运动补偿来对左视点图像进行重建。为了对右视点图像进行帖间运动补偿，可经由参考重 建的右视点参考画面的帖间运动补偿来对右视点图像进行重建。
[0163] 此外，为了对当前左视点图像进行帖间运动补偿，仅对属于当前左视点图像的当 前GOP且将在当前左视点图像之前被重建的左视点图像进行参考，并且不对属于在当前GOP 之前的GOP的左视点图像进行参考。相同的处理应用于右视点图像。
[0164] W下，参照图4a至图7c，将详细描述用于根据一些示例性实施例的对深度图像进 行编码和解码的方法和设备的对深度图像进行屏幕内预测的方法。
[0165] 图4a是根据一些示例性实施例的用于描述计算预测块40的均值的方法的示图。
[0166] 参照图4a，根据一些示例性实施例的层间视频解码设备20可通过使用预测块40的 与特定位置相应的像素值对预测块40的均值进行预测。运里，可经由DC模式或平面模式下 的预测产生预测块40。例如，如果经由DC模式下的预测产生了预测块40,则可使用已恢复的 邻近参考样点45的均值来填充预测块40的样点值。
[0167] 在8x8预测块40,层间视频解码设备20可将左上像素值41、右上像素值42、左下像 素值43和右下像素值44的均值预测为预测块40的均值。在另一示例中，可经由下面的等式2 所示的加权求和对预测块40的均值进行预测。
[016引[等式2]
[0169] dc = (aiP化+日2口化+日3口巧+Q4P右下+0) > > 丫
[0170] 运里，dc表示预测块的均值，每个P按照示出的顺序表示左上像素值41、右上像素 值42、左下像素值43和右下像素值44，a、e和丫表示获得加权和的变量。
[0171] 同时，尽管仅针对8x8预测块40给出了根据本实施例的W上描述，但相同的处理可 应用于4x4块、16x 16块、32x32块和64x64块。
[0172] 另外，上述的实施例可被实施为根据深度查找表和用于预测块的预测模式的W下 处理。
[0173] 在该处理中，输入为当前画面中的当前块的位置(X化，y化）、变换块的水平长度或 垂直长度nTbS和帖内预测模式predModeIntra。运里，当前块的位置可由当前块的左上样点 的位置表示。另外，该处理的输出为恢复的深度图像的样点深度值resSamples[x][y]。运 里，X和y中的每个可具有0到n町S-I的值。
[0174 ]首先，根据预测模式来确定预测块的像素值pre dSamp 1 e S [ X ] [ y ]。
[0175] 接下来，可基于如下所示的标志Dlt Flag[nuh_laye;r_id]导出恢复的样点深度值 resSamples[x][y]。
[0176] 如果标志Dlt Flag[nuh_laye;r_id]为0,则当X和y正在从0到nTbS之间改变时，可 通过使用预测块的像素值9丘6(15曰1119163^][7]^及从比特流接收到的偏移值0(3〇''361 [xTb] [7化][wedgePatternb] [y]来确定恢复的样点深度值resSamples[x] [y]。
[0177] 如果标志Dlt Flag[nuh_layer_id]为1(存在深度查找表），则可如下所示地导出 变量dcPred[0]和dcPred[l]。
[017引 1、如果帖内预测模式predModeIntra不是 INTRA_DMM_WFULL或 INTRA_DMM_ CPREDTEX，则应用下面的表1。
[0179][表 1]
[0181] 换句话说，基于上面的表1，可将左上像素值、右上像素值、左下像素值和右下像素 值的均值预测为关于预测块的均值dcPred[0]。可通过使用深度查找表来将均值变换为索 引，随后将该索引与从比特流接收到的索引差相加。可通过使用深度查找表对相加的索引 进行逆变换，来获得恢复的均值。另外，可将恢复的均值和预测块的均值之间的差确定为偏 移值。最终，当X和y正在从0到nTbS-1之间改变时，通过使用关于预测块的像素值 predSamples[x][y]和通过使用深度查找表计算出的偏移值来确定恢复的样点深度值 resSamples[x][y]。
[0182] 2、相反，如果帖内预测模式 predModeIntra 是 INTRA_DMM_WFU1X 或 INTRA_DMM_ CPREDTEX,则变量dcPred被设置为化化1。运里，Dc化1表示通过使用当前块的邻近参考样点 而获得的均值。
[0183] 同时，尽管W上针对图4a中示出的实施例描述了用于通过使用预测块的四个角像 素值来获得预测块的均值的示例，但本发明构思不限于此。
[0184] 图4b是用于描述根据一些示例性实施例的计算出预测块的均值的方法的另一示 例的示图。
[0185] 参照图4b，在预测块40处，可将右下像素值45预测为预测块40的均值。
[0186] 同时，仅在特定预测模式下产生了预测块40时，可应用图4b中示出的方法。例如， 仅在DC预测模式下产生了预测块40时，可应用图4b中示出的方法。
[0187] 图4c是用于描述根据一些示例性实施例的通过使用DMM预测模式计算预测块的均 值的方法的示图。
[0188] 运里，DMM预测模式是用于通过根据图案将当前块划分为至少两个区域来执行预 测的模式，其中，针对每个区域计算出均值。同时，DMM预测模式可包括DMM模式-1 (或DMM_ W即化模式)和DMM模式-4(或DMM_CPREDTEX模式）dDMM模式-