行帖内预测，帖内预测单元126可使用多个帖内预测模式W产生用于 PU的预测数据的多个集合。当帖内预测单元126使用帖内预测模式来产生用于PU的预测数 据的集合时，帖内预测单元126可在与帖内预测模式相关联的方向和/或梯度上跨PU的视频 块从相邻PU的视频块扩展样本。相邻PU可在所述PU的上方、右上方、左上方或左侧，假定对 于PU、CU和树块采用从左到右、从上到下的编码次序。帖内预测单元126可取决于PU的大小 而使用各种数目个帖内预测模式，例如33个方向性帖内预测模式。
[0103] 预测处理单元100可从由运动补偿单元124针对PU产生的预测数据或由帖内预测 单元126针对PU产生的预测数据当中选择用于PU的预测数据。在一些实例中，预测处理单元 100基于预测数据集合的速率/失真量度来选择用于PU的预测数据。
[0104] 如果预测处理单元100选择由帖内预测单元126产生的预测数据，那么预测处理单 元100可用信号表示用W产生用于PU的预测数据的帖内预测模式，即，选定帖内预测模式。 预测处理单元100可W各种方式用信号表示所选帖内预测模式。举例来说，有可能所选帖内 预测模式与相邻PU的帖内预测模式相同。换句话说，相邻PU的帖内预测模式可为用于当前 PU的最可能模式。因此，预测处理单元100可产生用W指示选定帖内预测模式与相邻PU的帖 内预测模式相同的语法元素。
[0105] 如上文所论述，视频编码器20可包含层间预测单元128。层间预测单元128经配置 W使用SVC中可用的一或多个不同层(例如，基础或参考层)预测当前块(例如，中的当前 块）。此预测可称作层间预测。层间预测单元128利用预测方法减少层间冗余，借此改进译码 效率且减少计算资源要求。层间预测的一些实例包含层间帖内预测、层间运动预测及层间 残余预测。层间帖内预测使用基础层中的协同定位块的重构来预测增强层中的当前块。层 间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础层的残 余来预测增强层的残余。W下更详细地论述层间预测方案中的每一者。
[0106] 在预测处理单元100选择用于CU的PU的预测数据之后，残余产生单元102可通过从 CU的视频块减去(例如，由减号指示)CU的PU的经预测视频块而产生用于CU的残余数据。CU 的残余数据可包含对应于CU的视频块中的样本的不同样本分量的2D残余视频块。举例来 说，残余数据可包含对应于CU的PU的经预测视频块中的样本的明度分量与CU的原始视频块 中的样本的明度分量之间的差的残余视频块。另外，CU的残余数据可包含对应于CU的PU的 预测视频块中的样本的色度分量与CU的原始视频块中的样本的色度分量之间的差的残余 视频块。
[0107] 预测处理单元100可执行四叉树分割W将CU的残余视频块分割成子块。每一未划 分残余视频块可与CU的不同TU相关联。与CU的TU相关联的残余视频块的大小及位置可基于 或可不基于与CU的PU相关联的视频块的大小及位置。被称为"残余四叉树"（RQT)的四叉树 结构可包含与残余视频块中的每一者相关联的节点。CU的TU可W对应于RQT的叶节点。
[0108] 变换处理单元104可通过将一或多个变换应用到与CU的每一 TU相关联的残余视频 块而产生用于所述TU的一或多个变换系数块。所述变换系数块中的每一者可为变换系数的 2D矩阵。变换处理单元104可将各种变换应用到与TU相关联的残余视频块。举例来说，变换 处理单元104可将离散余弦变换化CT)、方向性变换或概念上类似的变换应用到与TU相关联 的残余视频块。
[0109] 在变换处理单元104产生与TU相关联的变换系数块之后，量化单元106可量化所述 变换系数块中的变换系数。量化单元106可基于与CU相关联的QP值而对与CU的TU相关联的 变换系数块进行量化。
[0110] 视频编码器20可W各种方式使QP值与CU相关联。例如，视频编码器20可对与CU相 关联的树块执行速率失真分析。在速率失真分析中，视频编码器20可通过对树块执行多次 编码操作而产生所述树块的多个经译码表示。在视频编码器20产生树块的不同经编码表示 时，视频编码器20可使不同QP值与CU相关联。当给定QP值与具有最低位速率和失真量度的 树块的经译码表示中的CU相关联时，视频编码器20可用信号表示所述给定QP值与CU相关 联。
[0111] 逆量化单元108和逆变换单元110可分别将逆量化及逆变换应用于变换系数块W 从变换系数块重构残余视频块。重构单元112可W将经重构的残余视频块添加到来自由预 测处理单元100产生的一或多个预测视频块的对应样本，W产生与TU相关联的经重构视频 块。通过W此方式重构CU的每一 TU的视频块，视频编码器20可重构CU的视频块。
[0112] 在重构单元112重构CU的视频块之后，滤波器单元113可执行解块操作W减小与所 述CU相关联的视频块中的成块假象。在执行一或多个解块操作之后，滤波器单元113可将CU 的经重构视频块存储在经解码图片缓冲器114中。运动估计单元122和运动补偿单元124可 使用含有经重构视频块的参考图片来对后续图片的PU执行帖间预测。另外，帖内预测单元 126可使用经解码图片缓冲器114中的经重构视频块对处于与CU相同图片中的其它PU执行 帖内预测。
[0113] 赌编码单元116可从视频编码器20的其它功能组件接收数据。举例来说，赌编码单 元116可从量化单元106接收变换系数块且可从预测处理单元100接收语法元素。当赌编码 单元116接收到数据时，赌编码单元116可W执行一或多个赌编码操作W产生经赌编码数 据。举例来说，视频编码器20可对所述数据执行上下文自适应可变长度译码(CA化C)操作、 CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码 (SBAC)操作、概率区间分割赌(PIPE)译码操作，或另一类型的赌编码操作。赌编码单元116 可输出包含经赌编码数据的位流。
[0114] 作为对数据执行赌编码操作的一部分，赌编码单元116可选择上下文模型。如果赌 编码单元116正执行CABAC操作，那么上下文模型可指示特定二进制数具有特定值的概率的 估计。在CABAC的情况下，术语"二进位"用W指语法元素的二进制化版本的位。
[0"引多层视频编码器
[0116] 图2B为说明可实施根据本发明中描述的方面的技术的多层视频编码器23的实例 的框图。视频编码器23可经配置W处理多层视频帖，例如，用于甜VC及多视图译码。此外，视 频编码器23可经配置W执行本发明的技术中的任一者或全部。
[0117] 视频编码器23包含视频编码器20A及视频编码器20B，其中的每一者可经配置为视 频编码器20且可执行上文相对于视频编码器20所描述的功能。此外，如再使用参考数字所 指示，视频编码器20A和20B可包含系统及子系统中的至少一些作为视频编码器20。虽然将 视频编码器23说明为包含两个视频编码器20A和20B，但视频编码器23不受此限制且可包含 任何数目的视频编码器20层。在一些实施例中，视频编码器23可包含用于存取单元中的每 一图片或帖的视频编码器20。例如，包含五个图片的存取单元可由包含五个编码器层的视 频编码器处理或编码。在一些实施例中，视频编码器23可包含比存取单元中的帖更多的编 码器层。在一些此类情况下，当处理一些存取单元时，一些视频编码器层可能不在作用中。
[0118] 除了视频编码器20A及20B之外，视频编码器23可包含再取样单元90。在一些情况 下，再取样单元90可对所接收的视频帖的基础层上取样W例如创建增强层。再取样单元90 可对与帖的所接收的基础层相关联的特定信息上取样，但不对其它信息上取样。举例来说， 再取样单元90可上取样基础层的空间大小或像素数目，但切片的数目或图片次序计数可保 持恒定。在一些情况下，再取样单元90可不处理所接收的视频及/或可为任选的。例如，在一 些情况下，预测处理单元100可执行上取样。在一些实施例中，再取样单元90经配置W对层 进行上取样且重新组织、重新界定、修改或调整一或多个切片W符合一组切片边界规则及/ 或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取样，但在一些 情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间减小带宽，那 么可对帖进行下取样而不是上取样。
[0119] 再取样单元90可经配置W从较低层编码器(例如，视频编码器20A)的经解码图片 缓冲器114接收图片或帖(或与图片相关联的图片信息)且对所述图片(或所接收的图片信 息)上取样。可接着将所述经上取样图片提供到较高层编码器(例如，视频编码器20B)的预 测处理单元100,所述较高层编码器经配置W编码与较低层编码器相同的存取单元中的图 片。在一些情况下，较高层编码器为从较低层编码器去除的一个层。在其它情况下，在图2B 的层0视频编码器与层1编码器之间可存在一或多个较高层编码器。
[0120] 在一些情况下，可省略或绕过再取样单元90。在运些情况下，可直接或在至少不提 供到再取样单元90的情况下将来自视频编码器20A的经解码图片缓冲器114的图片提供到 视频编码器20B的预测处理单元100。举例来说，如果提供到视频编码器20B的视频数据和来 自视频编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将 参考图片提供到视频编码器20B而没有任何再取样。
[0121] 在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码器 的视频数据，随后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能够 对视频数据上取样或下取样的再取样单元90。在另外其它实施例中，可省略下取样单元94。
[0122] 如图2B中所说明，视频编码器23可进一步包含多路复用器98或mux。多路复用器98 可从视频编码器23输出组合的位流。可通过从视频编码器20A和20B中的每一者取得位流且 交替在给定时间输出哪一位流来创造组合的位流。虽然在一些情况下，可一次一个位地交 替来自两个(或在两个W上视频编码器层的情况下，两个W上)位流的位，但在许多情况下， 不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位流。在另 一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输出位流。 举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个块。在一些 实施例中，可预编程来自多路复用器98的输出流。在其它实施例中，多路复用器98可基于从 视频编码器23外部的系统（例如从包含源模块12的源装置上的处理器)接收的控制信号来 组合来自视频编码器20AJ0B的位流。可基于来自视频源18的视频的分辨率或位速率、基于 链路16的带宽、基于与用户相关联的预订(例如，付费预订与免费预订)或基于用于确定来 自视频编码器23的所要分辨率输出的任何其它因素而产生控制信号。
[012引视频解码器
[0124] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视频 解码器30可经配置W处理视频帖的单层(例如针对肥VC)。此外，视频解码器30可经配置W 执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帖内预测单 元164可经配置W执行本发明中描述的技术中的任一者或全部。在一个实施例中，视频解码 器30可任选地包含层间预测单元166,所述层间预测单元经配置W执行本发明中描述的技 术中的任一者或全部。在其它实施例中，层间预测可由预测处理单元152(例如，运动补偿单 元162及/或帖内预测单元164)执行，在此情况下，可省略层间预测单元166。然而，本发明的 方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的各种组件之间共 享。在一些实例中，另外或替代地，处理器(未图示)可经配置W执行本发明中描述的技术中 的任一者或全部。
[0125] 出于解释的目的，本发明描述在皿VC译码的背景下的视频解码器30。然而，本发明 的技术可W适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然而， 如将关于图3B进一步描述，可复制视频编码器30中的一些或全部W用于多层编解码器的处 理。
[01%]在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件包 含赌解码单元150、预测处理单元152、逆量化单元154、逆变换单元156、重构单元158、滤波 器单元159和经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帖内预测单 元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与相对于图2A的视频 编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含较多、较少 或不同的功能组件。
[0127]视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元 素。当视频解码器30接收到位流时，赌解码单元150可对所述位流执行剖析操作。对位流执 行剖析操作的结果是，赌解码单元150可从所述位流提取语法元素。作为执行剖析操作的一 部分，赌解码单元150可对位流中的经赌编码语法元素进行赌解码。预测处理单元152、逆量 化单元154、逆变换单元156、重构单元158及滤波器单元159可执行重构操作，重构操作基于 从位流提取的语法元素产生经解码视频数据。
[012引如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集NAL 单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行剖析操 作的一部分，赌解码单元150可执行剖析操作，所述剖析操作从序列参数集NAL单元提取且 赌解码序列参数集、从图片参数集NAL单元提取且赌解码图片参数集、从SEI NAL单元提取 且赌解码SEI数据等等。
[0129]此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行剖析操作的部 分，赌解码单元150可执行剖析操作，所述剖析操作从经译码切片NAL单元提取且赌解码经 译码切片。经译码切片中的每一者可包含切片标头W及切片数据。切片标头可W含有关于 切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图片 参数集的语法元素。赌解码单元150可对经译码切片标头中的语法元素执行赌解码操作(例 如，CABAC解码操作），W恢复切片标头。
[0130] 作为从经译码切片NAL单元提取切片数据的部分，赌解码单元150可执行从切片数 据中的经译码CU提取语法元素的剖析操作。所提取的语法元素可包含与变换系数块相关联 的语法元素。赌解码单元150可接着对语法元素中的一些执行CABAC解码操作。
[0131] 在赌解码单元150对未分割的CU执行剖析操作之后，视频解码器30可对未分割的 CU执行重构操作。为对未经分割CU执行重构操作，视频解码器30可对CU的每一 TU执行重构 操作。通过对CU的每一 TU执行重构操作，视频解码器30可重构与CU相关联的残余视频块。
[0132] 作为对TU执行重构操作的一部分，逆量化单元154可对与TU相关联的变换系数块 进行逆量化(例如，解量化）。逆量化单元154可W类似于针对HEVC所提议或由H. 264解码标 准定义的逆量化过程的方式来逆量化变换系数块。逆量化单元154可使用由视频编码器20 针对变换系数块的OJ计算的量化参数QP来确定量化程度，且同样地，确定逆量化单元154应 用的逆量化的程度。
[0133] 在逆量化单元154逆量化变换系数块之后，逆变换单元156可产生用于与变换系数 块相关联的TU的残余视频块。逆变换单元156可将逆变换应用到变换系数块W便产生所述 TU的残余视频块。举例来说，逆变换单元156可将逆DCT、逆整数变换、逆卡忽南-拉维 化arhunen-Loeve)变换化LT)、逆旋转变换、逆定向变换或另一逆变换应用于变换系数块。 在一些实例中，逆变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块 的逆变换。在运些实例中，逆变换单元156可基于在用于与变换系数块相关联的树块的四叉 树的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例如 块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元 156可应用级联的逆变换。
[0134] 在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而精炼PU的预 测视频块。用于将用于W子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法 元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相 同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语 法元素确定由视频编码器20使用之的内插滤波器且使用所述内插滤波器来产生经预测视 频块。
[0135] 如下文参考图8到12进一步论述，所述预测处理单元152可通过执行图8到12中说 明的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解 码）。举例来说，运动补偿单元162、帖内预测单元164或层间预测单元166可经配置W-起或 分开地执行图8到12中说明的方法。
[0136] 如果PU是使用帖内预测编码，那么帖内预测单元164可执行帖内预测W产生用于 PU的经预测视频块。举例来说，帖内预测单元164可基于位流中的语法元素确定用于PU的帖 内预测模式。位流可包含帖内预测模块164可用W确定PU的帖内预测模式的语法元素。
[0137] 在一些情况下，语法元素可指示帖内预测单元164将使用另一PU的帖内预测模式 来确定当前PU的帖内预测模式。举例来说，可能有可能当前PU的帖内预测模式与相邻PU的 帖内预测模式相同。换句话说，相邻PU的帖内预测模式可为用于当前PU的最可能模式。因 此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帖内预测模式与相邻PU 的帖内预测模式相同。帖内预测单元164可随后使用帖内预测模式基于在空间上相邻的PU 的视频块而产生用于PU的预测数据(例如，经预测样本）。
[0138] 如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配 置W使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，化中 的当前块）。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，借此改 进译码效率且降低计算资源要求。层间预测的一些实例包含层间帖内预测、层间运动预测 及层间残余预测。层间帖内预测使用基础层中的位于同一地点的块的重构来预测增强层中 的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使 用基础层的残余来预测增强层的残余。W下更详细地论述层间预测方案中的每一者。
[0139] 重构单元158可使用与CU的TU相关联的残余视频块及CU的PU的预测视频块（即，帖 内预测数据或帖间预测数据，如果适用）来重构CU的视频块。因此，视频解码器30可基于位 流中的语法元素而产生所预测的视频块及残余视频块，且可基于所预测的视频块及残余视 频块而产生视频块。
[0140] 在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作W减少与所 述CU相关联的成块假象。在滤波器单元159执行解块操作W减小与CU相关联的成块假象之 后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器 160可提供参考图片W用于后续运动补偿、帖内预测和在例如图IA或IB的显示装置32等显 示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它 CU的PU执行帖内预测或帖间预测操作。
[014。多层解码器
[0142] 图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器33的实例 的框图。视频解码器33可经配置W处理多层视频帖，例如，用于甜VC及多视图译码。另外，视 频解码器33可经配置W执行本发明的技术中的任一者或全部。
[0143] 视频解码器33包含视频解码器30A和视频解码器30B，其中的每一者可经配置为视 频解码器30并可执行上文关于视频解码器30所描述的功能。此外，如再使用参考数字所指 示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。虽然将视 频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不被如此限制并且可包 含任何数目的视频解码器30层。在一些实施例中，视频解码器33可包含用于存取单元中的 每一图片或帖的视频解码器30。举例来说，可由包含五个解码器层的视频解码器处理或解 码包含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单元中的帖多 的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用 中。
[0144] 除了视频解码器30A及30B之外，视频解码器33还可包含上取样单元92。在一些实 施例中，上取样单元92可上取样所接收的视频帖的基础层W创建将添加到用于帖或存取单 元的参考图片列表的经增强层。此经增强层可存储在经解码图片缓冲器160中。在一些实施 例中，上取样单元92可包含关于图2A的再取样单元90描述的实施例中的一些或全部。在一 些实施例中，上取样单元92经配置W对层进行上取样且重新组织、重新界定、修改或调整一 或多个切片W符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92可 为经配置W对所接收的视频帖的层上取样及/或下取样的再取样单元。
[0145] 上取样单元92可经配置W从较低层解码器(例如，视频解码器30A)的经解码图片 缓冲器160接收图片或帖(或与图片相关联的图片信息)并对所述图片(或所接收的图片信 息）上取样。随后可将此经上取样图片提供到较高层解码器(例如，视频解码器30B)的预测 处理单元152,所述