54 W及赌编码单元56。相应的，模式选择单元40包括运动补偿单元44、运动估值单元42、帖 内预测单元46W及分割单元48。针对视频块重建，视频编码器20也包括逆量化单元58、翻转 转换单元60W及加法器62。也可包括去区块滤波器（图2中未示出），W过滤块界线，去除来 自重建视频的块不自然。若需要，去区块滤波器通常可过滤加法器62的输出。除了去区块滤 波器，也可使用附加滤波器(环中或环后）。为了简洁，运些滤波器并未示出，但若需要，可过 滤加法器50 (其作为环内滤波器)的输出。
[0073] 在编码过程中，视频编码器20接收待编码的视频帖或条带。帖或条带可分成多个 视频块。运动估值单元42和运动补偿单元44对接收的与一个或多个参考帖中的一个或多个 块相对的视频块进行帖内预测编码，W提供时序预测。帖内预测单元46也可对接收的与同 一帖或条带中的一个或多个相邻块相对的视频块(作为待编码的块)进行帖内预测编码，W 提供空域预测。视频编码器20可执行多个编码过程，为视频数据的每个块选择一个合适的 编码模式。
[0074] 进一步地，根据之前编码过程中的分割方案的评估，分割单元48可将视频数据的 块分割为子区块。例如，分割单元48最初可将帖或条带分为最大的编码单元化CU),并根据 率失真分析(如，率失真优化)将每个LCU分割为子编码单元(SUb-CU)。模式选择单元40可进 一步产生四叉树数据结构，其表示将LCU分割为sub-CU。四叉树的叶节点CU可包括一个或多 个预测单元(PU) W及一个或多个转换单元(TU)。
[007引本发明使用的术语"块"指皿VC的语境中的CU、PU或TU中的任一个，或该语境或标 准(如，H.264/AVC中的宏块和子块）中的类似数据结构。CU中包括编码节点和预测单元(PU) W及与编码节点相关联的转换单元(TU)XU的大小对应编码节点的大小，其形状必须是方 形。CU的大小范围是8x8像素到64x64像素或更大像素的树块的大小。每个CU可包括一个或 多个PUW及一个或多个TU。与CU相关的语法数据可能描述了如何将CU分割为一个或多个 PU。分割模式会随着CU是进行跳跃模式还是直接模式编码，帖内预测模式编码还是帖间预 测模式编码的不同而不同。PU可W是非方形分割。关于CU的语法数据也可描述如何根据四 叉树将CU分割为一个或多个TU。?可能是方形或非方形(例如，矩形）。
[0076]模式选择单元40可选择编码模式中的一个，例如，基于错误结果的帖内编码模式 或帖间编码模式，并向加法器50提供产生的帖内编码或帖间编码模块，W产生残差块数据， 并向加法器62提供产生的帖内编码或帖间编码模块，W重建用作参考帖的编码块。模式选 择单元40也向赌编码单元56提供语法元素，如运动矢量、模式内指标、分割信息，W及其他 该种语法信息。
[0077] 运动估值单元42和运动补偿单元44可W是高度集成的，为方便理解，对其分别进 行了解释。运动估值单元42执行的运动估值，是个产生运动矢量的过程，其估计视频块的运 动。例如，运动矢量可指当前视频帖或图中的视频块的PU相对于当前帖（或其他编码单元） 中正在编码的当前块的位移相对于参考帖(或其他编码单元）中的预测块的位移。发现预测 块非常接近待编码的块，且像素差量可由绝对差异和（SAD)、平方差总和（SSD)或其他差量 度量确定。在一些示例中，视频编码器20可计算参考帖存储器64中存储的参考图的分段整 数像素位置的值。例如，视频编码器20可插入参考图的四分之一像素位置、八分之一像素位 置、或其他分数像素位置的值。因此，运动估值单元42可进行相对于全像素位置和分数像素 位置的移动捜索并根据分数像素精度输出运动矢量。
[0078] 通过比较PU的位置和参考图的预测块的位置，运动估值单元42计算帖内编码条带 中视频块的PU的运动矢量。可从第一参考图列表化ist 0)或第二参考图列表化ist 1)中选 择参考图，每个列表都显示了存储在参考帖存储器64中的一个或多个参考图。运动估值单 元42向赌编码单元56与运动补偿单元44发送计算的运动矢量。
[0079] 运动补偿单元44执行的运动补偿可包括基于运动估值单元42确定的运动矢量获 取或产生预测块。此外，在一些示例中，运动估值单元42与运动补偿单元44可进行功能性的 集成。运动补偿单元44接收到当前视频块的PU的运动矢量后，可定位预测块的位置，其中， 参考图列表中的一个参考图的运动矢量指向该预测块。通过用正在编码的当前视频块的像 素值减去预测块的像素值，加法器50产生了残差视频块，并产生了像素差量值，如下将进行 描述。一般情况下，运动估值单元42执行相对照明分量的运动估值，运动补偿单元44将基于 照明分量计算的运动矢量用于色度分量与照明分量。模式选择单元40也可产生与视频块和 视频条带关联的语法元素，其中，视频块和视频条带用于视频解码器30解码视频条带的视 频块。
[0080] 帖内预测单元46可帖内预测当前块，并且可替代运动估值单元42与运动补偿单元 44执行的间预测，如上所述。帖内预测单元46尤其可确定帖内预测模式W用于编码当前块。 在一些示例中，在各自的编码过程中，帖内预测单元46可通过各种帖内预测模式编码当前 块，且帖内预测单元46(或一些示例中的模式选择单元40)可从测试模式中选择要使用的合 适的帖内预测模式。
[0081] 例如，帖内预测单元46可通过各种测试帖内预测模式的率失真分析计算率失真 值，且可从测试模式中选择有最优率失真特征的帖内预测模式。率失真分析一般确定了编 码块和初始未编码块间的失真(或错误)量，将未编码块编码W产生编码块，W及用于产生 已编码块的比特率（即，比特数）。帖内预测单元46可计算各种编码块的失真与各种编码块 的率的比，W确定帖内预测模式显示块的最优率失真的值。
[0082] 除此之外，帖内预测单元46可用于通过深度建模模式(DMM)编码深度图的深度块。 模式选择单元40可判断可用的DMM模式是否会通过率失真优化(RDO)产生比帖内预测模式 W及其他DMM模式更好的编码结果。深度图对应的纹理图像的数据可W存储在参考帖存储 器64中。运动估值单元42与运动补偿单元44也可用于间预测深度图的深度块。
[0083] 选择块的帖内预测模式(如，传统帖内预测模式或DMM模式的一个模式)之后，帖内 预测单元46可向赌编码单元56提供用W指示选择的块的帖内预测模式的信息。赌编码单元 56可编码指示选择的帖内预测模式的信息。视频编码器20可包括传输的比特流装置数据， 其可包括许多帖内预测模式索引表W及许多修改的帖内预测模式索引表(也称为代码字匹 配表）、多种块的编码语境的定义、最可能的帖内预测模式的标示、帖内预测模式索引表、W 及用于每个语境的修改的帖内预测模式索引表。
[0084] 通过用正在编码的初始视频块减去模式选择单元40的预测数据，视频编码器20产 生了残差视频块。加法器50代表一个组件或多个用于执行减法运算的组件。
[0085] 转换处理单元52向残差块应用变换，如离散余弦变换(DCT)或概念上类似的变换， 产生包括残差变换系数值的视频块。转换处理单元52可执行概念上类似DCT的其他变换。也 可采用小波变换、整数变换、子频带变换或其他类型的变换。
[0086] 转换处理单元52向残差块的应用变换，产生残差变换系数的块。该变换可将来自 像素值域的冗余信息转化为转换域，如频域。转换处理单元52可向量化单元54发送产生的 变换系数。量化单元54对变换系数进行量化W进一步减少比特率。量化过程可减少与一些 或所有系数关联的比特深度。通过调整量化参数可改变量化的程度。在一些示例中，量化单 元54则可扫描包括量化的变换系数的矩阵。可选地，赌编码单元56可进行扫描。
[0087] 量化之后，赌编码单元56对量化的变换系数进行赌编码。例如，赌编码单元56可执 行上下文自适应可变长编码(CA化C)、上下文自适应二元算法编码(CABAC)、基于语法的上 下文自适应二元算法编码(SBAC)、概率区间分割赌(PIPE)编码或其他赌编码技术。在基于 语境的赌编码的情况下，其中，语境可基于相邻的块。赌编码单元56进行赌编码之后，编码 比特流可传输至其他设备(如，视频解码器30)或可存档W备之后传输或检索。
[0088] 逆量化单元58和逆变换单元60分别采用逆量化与逆变换，来重建像素域中的残差 块，其之后可用作参考块。通过将残差块与参考帖存储器64的一个帖的预测块相加，运动补 偿单元44可计算参考块。运动补偿单元44可将一个或多个内插滤波器应用到重建的残差 块，来计算用于运动估值的分段整数像素值。加法器62将重建的残差块添加到运动补偿单 元44产生的运动补偿预测块，W产生存储于参考帖存储器64的重建的视频块。运动估值单 元42与运动补偿单元44可将重建的视频块作为参考块，W在后续的视频帖中进行帖内编码 块。
[0089] 图3是示例性的视频解码器30的方框图，该解码器可实现标示对深度图进行编码 的深度建模模式的技术。在图3的示例中，视频解码器30包括赌解码单元70、运动补偿单元 72、帖内预测单元74、逆量化单元76、逆转换单元78、参考帖存储器82 W及加法器80。在一些 示例中，相对于视频编码器20(图2)，视频解码器30-般可执行与编码过程互惠的解码过 程，。运动补偿单元72可产生基于赌解码单元70接收的运动矢量的预测数据，然而帖内预测 单元74可产生基于从赌解码单元70接收的帖内预测模式指标的预测数据。
[0090] 在解码过程中，视频解码器30接收编码视频比特流，该比特流表示编码视频条带 的视频块，W及来自视频编码器20的相关联的语法元素。视频解码器30的赌解码单元70解 码比特流，W产生量化系数、运动矢量或帖内预测模式指标W及其他语法元素。赌解码单元 70向运动补偿单元72转发运动矢量W及其他语法元素。视频解码器30可接收在视频条带水 平和/或视频块水平的语法元素。
[0091] 将视频条带编码为帖内编码（I)条带时，基于标示的帖内预测模式W及当前帖或 图之前解编码的块的数据，帖内预测单元74可产生现有视频条带的视频块的预测数据。将 视频帖编码为帖间编码（即，B，P或GPB)条带时，基于运动矢量W及从赌解码单元70接收的 其他语法元素，运动补偿单元72产生现有视频条带的视频块的预测块。预测块可由一个参 考图列表的一个参考图中产生。通过基于存储于参考帖存储器92中的参考帖的默认构建技 术，视频解码器30可W构建参考图列表，List 0和List 1。
[0092] 根据本发明的技术，赌解码单元70可用于赌解码语法数据，该数据指用于编码深 度块的DMM模式。
[0093] 运动补偿单元72通过解析运动矢量和其他语法元素确定现有视频条带的视频块 的预测信息，并使用预测信息产生当前正在解码的视频块的预测块。例如，运动补偿单元72 使用一些接收的语法元素来确定用于编码视频条带的视频块的预测模式(如，帖内或间预 测），帖间预测条带类型(如，B条带、P条带、或Gro条带），条带的一个或多个参考图列表中的 构建信息，条带的每个帖间编码视频块的运动矢量，条带的每个帖间编码视频块的帖间预 测状态，W及解码现有视频条带中的视频块的其他信息。
[0094] 运动补偿单元72也可W基于内插滤波器执行内插。运动补偿单元72可将内插滤波 器作为视频编码器20在编码视频块的过程中计算参考块的分段整数像素的内插值。此时， 运动补偿单元72可确定来自接收的语法元素的视频编码器20使用的内插滤波器，并采用内 插滤波器来生产预测块。
[00M]根据本发明的技术，帖内预测单元74可用于通过深度建模模式(DMM)编码深度图 的深度块。深度图对应的纹理图像的数据可W存储在参考帖存储器82中。运动补偿单元72 也可用于帖内预测深度图的深度块。
[0096] 根据本发明的技术，帖内预测单元74可用于推导出二元(例如，模形和/或轮廓)分 割模式，W下将进行更完整地描述。
[0097] 在一个示例中，二元分割模式可如W下说明推导出：
[009引在下述公式中，X = O. .nT-1，
[0099] 在下述公式中，y = 0. .nT-1，
[0100] wedgele1:Patte;rn[x] [y] = (Block[油+X] [yI3+y]〉t虹eshold)，
[0101] wedgele1:Patte;rn[x][y]可W是二元分割模式，其定义了深度块分割。Block[xB+ x][yB+y]可应用为纹理块或深度块。Block[xB+x][yB+y]可能是初始纹理块、初始深度块、 重建的纹理块、重建的深度块、参考纹理块、参考深度块、共置的纹理块或共置的深度块。nT 表示目标块的大小。阔值可如W下说明推导出：
[0102] 变量 Siim