前被编码之后被重建 的彩色视频帖块分区相应的深度图帖块分区进行预测。
[0070] 同时，深度图帖解码器26可使用解码的深度图帖和与解码的深度图帖相应的解 码的彩色帖来产生3D图像。在运点上，可从外部接收解码的彩色帖。更具体地说，深度图 帖解码器26可基于解码的深度图帖的编码信息、与解码的深度图帖相应的解码的彩色帖 的编码信息和关于彩色帖和编码图帖之间的相关性的信息，产生多视点图像（诸如左视点 图像和右视点图像）。
[0071] 深度图帖解码器26可从比特流获得差分信息，并使用差分信息对当前预测单元 进行解码。如果确定在不使用差分信息的情况下对当前预测单元进行解码，则深度图帖解 码器26可不从比特流获得差分信息，而对当前预测单元进行解码。
[0072] 同时，深度图帖预测模式确定器24从比特流获得指示是否将当前预测单元划分 为多个分区的信息，并确定是否将当前预测单元划分为一个或更多个分区并对当前预测单 元进行解码。如果确定通过将当前预测单元划分为多个分区来对当前预测单元进行解码， 则深度图预测模式确定器24确定是否使用差分信息对当前预测单元进行解码，其中，所述 差分信息指示通过从比特流获得预测单元的预测信息的与原始深度图帖相应的分区的深 度值和通过获得当前预测单元的预测信息的与深度图帖相应的分区的深度值之间的差。同 时，当前预测单元的预测信息可包括比特流中所包括的指示是否使用差分信息执行解码的 标记。深度图预测模式解码器24基于包括在比特流中的标记确定是否使用差分信息执行 解码。
[0073] 同时，指示是否将当前预测单元划分为多个分区的信息可包括指示预定帖内预测 模式的标记，其中，在所述预定帖预测模式下，通过将当前预测单元划分为一个或更多个分 区来对当前预测单元进行解码。深度图预测模式确定器24可基于该标记来确定是否将当 前预测单元划分为一个或更多个分区并对当前预测单元进行解码。在运点上，预定帖内预 测模式可包括DMM。
[0074] 下面将参照图化详细描述深度图帖解码设备20的操作。
[0075] 图化是根据各种实施例的深度图帖解码方法的流程图。
[0076] 在操作21，彩色帖解码器22基于彩色帖编码信息来重建彩色帖。
[0077] 在操作23,深度图帖解码器26基于深度图帖的划分信息将最大编码单元划分为 一个或更多个编码单元。
[0078] 在操作25,深度图帖解码器26将编码单元划分为用于预测解码的一个或更多个 预测单元。
[0079] 在操作27,深度图预测模式确定器24通过获得指示是否将当前预测单元划分为 分区的信息来确定是否将当前预测单元划分为一个或更多个分区并对当前预测单元进行 解码。
[0080] 在操作28,深度图预测模式确定器24通过从比特流获得预测单元的预测信息来 确定是否使用差分信息来对当前预测单元进行解码，其中，差分信息指示与原始深度图帖 相应的分区的深度值和从当前预测单元的邻近块预测的分区的深度值之间的差。
[0081] 在操作29,深度图帖解码器26基于是否将当前预测单元划分为分区和是否使用 差分信息，使用差分信息来对当前预测单元进行解码。在运点上，深度图帖解码器26可对 当前预测单元进行帖内预测解码。
[0082] 根据各种实施例的深度图帖解码设备20可包括中央处理器（未示出），其中，该 中央处理器总体上控制深度图预测模式确定器24和深度图帖解码器26。可选地，深度图 预测模式确定器24和深度图帖解码器26可由它们各自的处理器（未示出）操作，并且深 度图帖解码设备20总体上可根据运些处理器（未示出）的交互而操作。可选地，深度图预 测模式确定器24和深度图帖解码器26可根据深度图帖解码设备20的外部处理器（未示 出）的控制而被控制。
[0083] 根据各种实施例的深度图帖解码设备20可包括一个或更多个数据存储单元（未 示出），其中，深度图预测模式确定器24和深度图帖解码器26的输入数据和输入数据被存 储在所述一个或更多个数据存储单元中。深度图帖解码设备20可包括观测数据存储单元 (未示出）的数据输入和输出的存储器控制单元（未示出）。
[0084] 根据各种实施例的深度图帖解码设备20可与内部视频解码处理器或外部视频解 码处理器关联地操作W输出视频解码结果，从而执行包括逆变换的视频解码操作。深度图 帖解码设备20的内部视频解码处理器可由中央处理器或图形处理器W及单独的处理器来 实现。
[0085] 图3是根据实施例的视频帖W及由深度相机获得的深度图帖的不图。
[0086] 示出了与彩色视频帖相应的深度图帖32。图3的彩色帖31可W是亮度分量视频 帖Y或色度分量视频帖Cb、化中的一个。
[0087] 参照图3,由于彩色视频帖和深度图帖分别用颜色和深度表示同一时间和视点的 图像，因此在同一视点的彩色视频帖和深度图帖之间存在相关性。因此，根据本发明的实施 例的深度图帖编码设备10和深度图帖解码设备20考虑彩色视频帖31和相应深度图帖32 之间存在的相关性，从彩色视频帖31对相应深度图帖32进行编码，从而提高视频数据的压 缩效率。也就是说，根据本发明的实施例的深度图帖编码设备10基于彩色帖31的编码信 息对深度图帖32进行编码。
[0088] 具体地说，根据本发明的实施例的深度图帖编码设备10和深度图帖解码设备20 可基于像素值将彩色视频帖31的块划分为分区，按照与彩色视频帖31的块相同的方式将 深度图帖32的块划分为分区，使用彩色视频帖31的块分区的邻近像素值和深度图帖32的 块分区的邻近像素值来获得指示彩色视频帖31的块分区和深度图帖32的块分区之间的相 关性的参数，并使用通过使用获得的参数确定的相关性来从彩色视频帖31的块分区预测 相应深度图帖32的块分区。
[0089] 参照图4a至图化来描述根据各种实施例的使用差分信息对深度图的预测单元进 行编码和解码的方法。
[0090] 图4a和图4b是用于描述根据实施例的深度建模模式值MM)的示图，其中，DMM是 用于使用差分信息来对深度图帖进行编码和解码的模式。
[0091] 深度图是通过在宽区域内边缘锐利并且具有近似相同的值来表征。W下将参照图 4a和图4b来描述使用运样的特征来对深度图进行有效地帖内预测的根据本发明的实施例 的DMM。
[0092] 参照图4曰，深度图的当前预测单元被划分为分区41和42或者分区43和44。分区 的类型可W是按直线划分的分区41和42W及按轮廓（contour)线划分的分区43和44,但 不限于此。当前预测单元可按各种方式被划分为一个或更多个分区。例如，深度图帖编码 设备10可使用当前预测单元的深度值尝试所有划分，考虑率失真代价捜索并确定最佳分 区划分形状W将当前预测单元划分为分区。例如，可基于通过应用各种边缘检测方法（诸 如Sobel算法）检测的边缘来捜索并确定最佳分区划分形状。可选地，深度图帖编码设备 10可参考与深度图帖相应的彩色帖来确定划分形状。例如，深度图帖编码设备10可对与当 前预测单元相应的彩色帖的像素值求平均，随后，当每个像素值大于平均时，将当前预测单 元划分为分区43,当每个像素值小于平均时，将当前预测单元划分为分区44,并与相应深 度图帖关联地将当前预测单元划分为分区43和44。当当前预测单元如上所述被划分时，每 个分区的预测值可被确定。
[0093] 将参照图4b描述根据本发明的实施例的确定预测值的方法。参照图4b，深度图帖 编码设备10预测分区的深度值。例如，深度图帖编码设备10使用当前预测单元的邻近块 46来确定相应分区的深度值。可选地，在分区Pl的情况下，可通过计算分区Pl的邻近块 46的平均深度值来确定预测深度值。分区的确定的预测深度值被称为恒定分区值（CPV)。 同时，深度图帖编码设备10可确定原始深度图的分区的深度值。在运点上，原始深度图的 分区的深度值可包括在原始深度图的分区中包括的块的平均值。原始深度图的分区的预测 值和深度值之间的差值被称为增量CPV。计算出的增量CPV被发送到解码设备。深度图帖 编码设备10基于率失真代价执行使增量CPV最优化的处理。
[0094] 参照图4b，右图是示出左图的线45上的块的CPV的曲线图。水平轴y的位置与 最左侧块相关。垂直轴W指示深度值。WpfpdPl表示针对分区Pl预测的〔?￥，1。,。4。2表示针对 分区P2预测的CPV。WufigPi表示原始深度图的分区Pl的CPV。在原始深度图的CPV和预测 的CPV之间产生差。针对分区Pl的差值AWpl和针对分区P2的差值AWp2是增量CPV。 阳0巧]深度图帖解码设备20可通过赌解码、反量化和逆变换来重建增量CPV。深度图帖 解码设备20可像编码阶段一样从预测单元的邻近块预测每个分区的值。可通过将增量CPV 与预测的值相加来重建深度图帖的分区。在运点上，当深度图帖编码设备10不发送增量 CPV时，深度图帖解码设备20可在重建深度图帖的分区时仅重建预测的CPV，并可不重建原 始深度图的CPV，因此产生失真。
[0096] 同时，为了在对深度图帖进行解码时对深度图帖进行有效帖内预测，可使用通过 将当前预测单元划分为分区来预测当前预测单元的各种DMM，而不限于本发明的实施例。模 式"M0DE_DMM_WFU化"是仅使用当前预测编码块来捜索wedgelete分区的帖内预测模式。在 运点上，wedgelete分区是沿对角线从当前预测编码块划分的两个分区。模式"M0DE_DMM_ WPREDIR"是使用当前预测编码块的邻近块来捜索wedgelete分区的帖内预测模式。模式 "MODE_DMM_WPREDTEX"是从相应彩色帖的块捜索wedgelete分区的模式。可基于相应彩色 帖和当前深度图帖之间的相关性来捜索wedgelete分区。模式"MODE_DMM_CPREDTEX"是从 相应彩色帖的块捜索轮廓分区的模式。在运点上，轮廓分区是沿轮廓线从当前预测编码块 划分的两个分区。
[0097] 同时，将划分出的分区的面积预测为当前预测编码块的邻近像素的平均值。在运 点上，上述的模式可包括按原样使用邻近像素的平均值的子模式M0DE_DMM_xxxx和使用通 过将增量DC与邻近像素的平均值相加而获得的值的子模式M0DE_DMM_xxxx呢LTA。因此，使 用通过将增量DC与四个DMM相加而获得的值的四种模式可被使用。在运点上，增量DC是 指增量CPV。
[0098] 然而，分区的类型和数量不受限，并且当前预测单元可被划分为各种形状的分区。 在捜索分区的过程中不限于使用当前块、邻近块或相应彩色帖的块。深度图帖编码设备10 可通过使用其它块来捜索分区。
[0099] 图5是根据实施例的深度图解码设备使用差分信息对当前预测单元进行解码的 方法的流程图。
[0100] 在操作51，深度图预测模式确定器24获得指示是否将当前预测单元划分为分 区的信息"DmmFlag"，并从指示是否将当前预测单元划分为分区的信息"DmmFlag"确定 是否将当前预测单元划分为一个或更多个分区并对当前预测单元进行解码。也就是说， "DmmFlag"确定是否将当前预测单元划分为一个或更多个分区并对当前预测单元进行解 码。可从接收到的比特流获得"DmmFlag"。如果"DmmFlag"为1，则可确定通过将当前预测 单元划分为一个或更多个分区来对当前预测单元进行解码。如果"DmmFlag"为0,则可确定 不通过将当前预测单元划分为一个或更多个分区来对当前预测单元进行解码。 阳101] 在操作52,如果"DmmFlag"为1，则深度图预测模式确定器24获得当前预测单元 的预测信息。在运点上，"Delta_dc_flag"可被获得作为当前预测单元的预测信息。可从 接收到的比特流获得"Delta_dc_flag"。 阳102] 在操作53,深度图预测模式确定器24从获得的当前预测单元的预测信息"Delta_dc_flag"来确定是否使用当前预测单元的差分信息来对当前预测单元进行预测编码。如果 "Delta_dc_flag"为1，则深度图预测模式确定器24可确定使用当前预测单元的差分信息 对当前预测单元进行解码。如果"Delta_dc_flag"为0,则深度图预测模式确定器24可确 定在不使用当前预测单元的差分信息的情况下对当前预测单元进行解码。
[0103] 在操作54,如果"Delta_dc_flag"为1，则深度图帖解码器26将当前预测单元划 分为分区，并使用差分信息对当前预测单元进行预测解码。
[0104] 在操作55,如果"DmmFlag"为0,则深度图帖解码器26不将当前预测单元划分为 分区，并在不使用差分信息的情况下对当前预测单元进行预测解码。 阳1化]在操作56,如果"Delta_dc_flag"为0,则深度图帖解码器26将当前预测单元划 分为分区，并在不使用差分信息的情况下对当前预测单元进行预测解码。 阳106] 同时，虽然在操作51至56描述了深度图帖解码设备20使用差分信息对当前预测 单元进行解码的方法的示例，但是本领域的普通技术人员将容易地理解可由深度图帖编码 设备10来执行参照图5描述的方法。 阳107] 图6a示出根据实施例的用于基于当前预测单元的预测信息使用差分信息对当前 预测单元进行解码的语法的示例。 阳108] 针对当前块的语法cu_extension〇60可包括用于确定是否使用包括在编码单元 中的当前预测单元的差分信息对当前预测单元进行解码的语法62。在运点上，假设先前从 比特流获得DmmFlag[xO+k] [yO+k]。
[0109] 在条件语句 63DmmFlag[xO+k] [yO+j]IIsdc_flag[xO] [yO]中，DmmFlag[xO+k] [yO+j]是指示在当前预测单元中使用作为在深度图像中使用的帖内预测模式的DMM的标 记。也就是说，当DmmFlag[x0+k] [yO+j]为1时，DMM被用于对当前预测单元进行编码，当 DmmFlag[x0+k] [yO+j]为0时，DMM不被用于对当前预测单元进行编码。同时，sdc_flag[x0] [yO]是指示在包括当前预测单元的编码单元中使用分段式DC(SDC)编码工具的标记。当 使用DMM对当前预测单元进行解码DmmFlag[x0+k] [yO+j]或者在包括当前预测单元的编码 单元中使用SDC编码工具对当前预测单元进行编码sdc_flag[x0] [yO]时，通过满足条件 来处理条件语句63的内部内容。在条件语句64中，当包括当前预测单元的编码单元的预 测模式化PredMode[xO] [yO]是帖内预测模式版)DEJNTRA时，可从比特流获得"depth_dc_ flag[x0+k][yO+k]"。
[0110] 同时，如果从比特流获得"depth_dc_flag[x0+k] [yO+k]"，则可根据"depth_dc_ flag[x0+k] [yO+k]"是0还是1来确定是否使用增量DC值来对当前预测单元进行预测解 码。 阳1川例如，"depth_dc_flag"是1，深度图帖解码设备20可从比特流获得增量DC值，并 确定是否使用增量DC值对当前预测单元进行预测解码。更具体地说，对于至少一个分区， 可存在增量DC值。深度图帖解码设备20可WW偏移和绝对值的形式从比特流接收包括在 预测单元中的每个分区的增强DC值，并使用增量DC值对当前预测单元进行预测编码。
[0112] 图化示出根据另一实施例的用于基于当前预测单元的预测信息使用差分信息对 当前预测单元进行解码的语法的示例。
[0113] 针对当前预测单元的语法65包括重复语句66。在重复语句66中，从比特流获 得包括在编码单元中的预测单元的"dmm_flag[xO+i] [yO+j]"。获得的"dmm_flag[xO+i] [yO+j]"是指示在当前预测单元中使用作为在深度图像中使用的帖内预测模式的DMM的标 记。
[0114] 在重复语句67中，当使用作为在深度图像中使用的帖内预测模式的DMM来对当前 预测单元进行编码dmm_flag[xO+i] [yO+j]时，从比特流获得包括在编码单元中的预测单 元的"delta_dc_flag[xO+i] [yO+j] "。"delta_dc_flag[xO+i] [yO+j]"是指不是否在针对 当前预测单元的DMM中使用增量DC值。如果"delta_dc_flag[x0+i] [yO+j]"为1，则可确 定在针对当前预测单元的DMM中使用增量DC值。
[011引 同时，如果从比特流获得了 "delta_dc_flag[xO+;L] [yO+j]"，则可根据"delta_ dc_flag[x0+i] [yO+j]"是0还是1来确定是否使用增量DC值来确定是否对当前预测单元 进行预测解码。在运点上，增量DC是差分信息之一。例如，如果"delta_dc_flag"为1，则 可从比特流获得增量DC值，并可确定是否使用获得的增量DC值来对当前预测单元进行预 测解码。更详细地说，对于至少一个分区，可存在增量DC值。深度图帖解码设备20可WW 偏移和绝对值的形式从比特流接收包括在预测单元中的每个分区的增量DC值，并使用增 量DC值来对当前预测单元进行预测编码。
[0116] W上参照图1至图化描述了深度图帖编码设备10和深度图帖解码设备20。如果 深度图帖解码设备20不使用差分信息对预测单元进行解码，则深度图帖解码设备20可不 必执行从比特流获得差分信息的操作。因此，根据本发明的实施例的深度图帖解码设备20 确定是否使用差分信息对满足预定条件的预测单元进行划分并执行预测解码，并且对于不 满足预定条件的预测单元不执行从比特流获得差分信息的操作。也就是说，针对预测单元 的每个分区发送差分信息。当对于所有预测单元，差分信息为0时，深度图帖解码设备20 不必获得该值也不并确定在预测单元中差分信息是否为0。然而，根据本发明的实施例，当 深度图帖编码设备10确定并发送差分信息时，如果包括在预测单元中的差分信息为0,则 深度图帖编码设备10发送被设置为"1"并被包括在比特流中的标记。当深度图帖解码设 备20在DMM下对深度图进行解码时，深度图帖解码设备20可根据包括在比特流中的标记 值不获得差分信息，并可对当前预测单元进行解码。因此，深度图帖解码设备20可不执行 获得差分信息的不必要操作。
[0117] 在如上所述的根据实施例的深度图帖编码设备10和根据实施例的深度图帖解码 设备20中，视频数据可被划分为具有树结构的编码单元，编码单元、预测单元和变换单元 可被用于对编码单元进行层间预测或帖间预测。W下，将参照图7至图19描述根据实施例 的基于具有树结构的编码单元的视频编码方法和设备W及视频解码方法和设备。
[0118] 为了便于描述，由于将参照图7至图19描述