0经 配置以对层进行上取样且重新组织、重新界定、修改或调整一或多个切片以符合一组切片 边界规则及/或光栅扫描规则。虽然主要描述为对基础层或存取单元中的较低层进行上取 样，但在一些情况下，再取样单元90可对层进行下取样。例如，如果在视频的流式传输期间 减小带宽，那么可对帧进行下取样而不是上取样。
[0112] 再取样单元90可经配置以从较低层编码器（例如，视频编码器20A)的经解码图 片缓冲器114接收图片或帧（或与图片相关联的图片信息）且对所述图片（或所接收的图 片信息）上取样。随后可将经上取样图片提供到较高层编码器（例如，视频编码器20B)的 预测处理单元100,所述较高层编码器经配置以编码与较低层编码器相同的存取单元中的 图片。在一些情况下，较高层编码器为从较低层编码器去除的一个层。在其它情况下，在图 2B的层0编码器与层1编码器之间可存在一或多个较高层编码器。
[0113] 在一些情况下，可省略或绕过再取样单元90。在此些情况下，可直接提供来自视频 编码器20A的经解码图片缓冲器114的图片，或至少不提供到再取样单元90，不提供到视频 编码器20B的预测处理单元100。例如，如果提供到视频编码器20B的视频数据及来自视频 编码器20A的经解码图片缓冲器114的参考图片具有相同的大小或分辨率，那么可将参考 图片提供到视频编码器20B而不进行任何再取样。
[0114] 在一些实施例中，视频编码器23使用下取样单元94下取样待提供到较低层编码 器的视频数据，随后将所述视频数据提供到视频编码器20A。替代地，下取样单元94可为能 够对视频数据上取样或下取样的再取样单元90。在另外其它实施例中，可省略下取样单元 94〇
[0115] 如图2B中所说明，视频编码器23可进一步包含多路复用器98或mux。mux 98可 从视频编码器23输出组合的位流。可通过从视频编码器20A和20B中的每一者取得位流 且交替在给定时间输出哪一位流来创造组合的位流。虽然在一些情况下，可一次一个位地 交替来自两个（或在两个以上视频编码器层的情况下，两个以上）位流的位，但在许多情况 下，不同地组合所述位流。举例来说，可通过一次一个块地交替选定位流来产生输出位流。 在另一实例中，可通过从视频编码器20A和20B中的每一者输出非1:1比率的块来产生输 出位流。举例来说，可从视频编码器20B输出用于从视频编码器20A输出的每一块的两个 块。在一些实施例中，可预编程来自mux 98的输出流。在其它实施例中，mux 98可基于从 视频编码器23外部的系统（例如从包含源模块12的源装置上的处理器）接收的控制信号 而组合来自视频编码器20A、20B的位流。可基于来自视频源18的视频的分辨率或位速率、 基于链路16的带宽、基于与用户相关联的预订（例如，付费预订与免费预订）或基于用于 确定来自视频编码器23的所要分辨率输出的任何其它因素而产生控制信号。
[0116] 视频解码器
[0117] 图3A是说明可实施本发明中描述的方面的技术的视频解码器的实例的框图。视 频解码器30可经配置以处理视频帧的单层（例如针对HEVC)。此外，视频解码器30可经配 置以执行本发明的技术中的任一者或全部。作为一个实例，运动补偿单元162和/或帧内 预测单元164可经配置以执行本发明中描述的技术中的任一者或全部。在一个实施例中， 视频解码器30可任选地包含层间预测单元166,所述层间预测单元经配置以执行本发明中 描述的技术中的任一者或全部。在其它实施例中，层间预测可由预测处理单位152(例如， 运动补偿单元162及/或帧内预测单元164)执行，在此情况下，可省略层间预测单元166。 然而，本发明的方面不限于此。在一些实例中，本发明中描述的技术可在视频解码器30的 各种组件之间共享。在一些实例中，另外或替代地，处理器（未图示）可经配置以执行本发 明中描述的技术中的任一者或全部。
[0118] 出于解释的目的，本发明描述在HEVC译码的背景下的视频解码器30。然而，本发 明的技术可以适用于其它译码标准或方法。图3A中所描绘的实例是针对单层编解码器。然 而，如将进一步相对于图3B所描述，可复制视频解码器30中的一些或全部以用于多层编解 码器的处理。
[0119] 在图3A的实例中，视频解码器30包含多个功能组件。视频解码器30的功能组件 包含熵解码单元150、预测单元152、反量化单元154、反变换单元156、重构单元158、滤波器 单元159及经解码图片缓冲器160。预测处理单元152包含运动补偿单元162、帧内预测单 元164和层间预测单元166。在一些实例中，视频解码器30可执行一般与相对于图2A的视 频编码器20描述的编码遍次互逆的解码遍次。在其它实例中，视频解码器30可包含较多、 较少或不同的功能组件。
[0120] 视频解码器30可接收包括经编码视频数据的位流。所述位流可包含多个语法元 素。当视频解码器30接收到位流时，熵解码单元150可对所述位流执行解析操作。对位 流执行解析操作的结果是，熵解码单元150可从所述位流提取语法元素。作为执行解析操 作的一部分，熵解码单元150可对位流中的经熵编码语法元素进行熵解码。预测处理单元 152、反量化单元154、反变换处理单元156、重构单元158及滤波器单元159可执行重构操 作，重构操作基于从位流提取的语法元素产生经解码视频数据。
[0121] 如上文所论述，位流可包括一系列NAL单元。位流的NAL单元可包含视频参数集 NAL单元、序列参数集NAL单元、图片参数集NAL单元、SEI NAL单元等等。作为对位流执行 解析操作的一部分，熵解码单元150可执行解析操作，所述解析操作从序列参数集NAL单元 提取且熵解码序列参数集、从图片参数集NAL单元提取且熵解码图片参数集、从SEI NAL单 元提取且熵解码SEI数据等等。
[0122] 此外，位流的NAL单元可包含经译码切片NAL单元。作为对位流执行解析操作的 部分，熵解码单元150可执行解析操作，所述解析操作从经译码切片NAL单元提取且熵解码 经译码切片。经译码切片中的每一者可包含切片标头以及切片数据。切片标头可以含有关 于切片的语法元素。切片标头中的语法元素可包含识别与含有所述切片的图片相关联的图 片参数集的语法元素。熵解码单元150可对经译码切片标头中的语法元素执行熵解码操作 (例如，CABAC解码操作），以恢复切片标头。
[0123] 作为从经译码切片NAL单元提取切片数据的部分，熵解码单元150可执行从切片 数据中的经译码CU提取语法元素的解析操作。所提取的语法元素可包含与变换系数块相 关联的语法元素。熵解码单元150可接着对语法元素中的一些执行CABAC解码操作。
[0124] 在熵解码单元150对未分割的⑶执行解析操作之后，视频解码器30可对未分割 的⑶执行重构操作。为对未经分割⑶执行重构操作，视频解码器30可对⑶的每一 TU执 行重构操作。通过对CU的每一 TU执行重建操作，视频解码器30可重建与CU相关联的残 差视频块。
[0125] 作为对TU执行重建操作的一部分，反量化单元154可对与TU相关联的变换系数 块进行反量化（例如，解量化）。反量化单元154可以类似于针对HEVC所提议或由H. 264 解码标准定义的反量化过程的方式对变换系数块进行反量化。反量化单元154可使用由视 频编码器20针对变换系数块的CU计算的量化参数QP来确定量化程度，且同样地，确定反 量化单元154应用的反量化的程度。
[0126] 在反量化单元154反量化变换系数块之后，反变换单元156可产生用于与变换系 数块相关联的TU的残差视频块。反变换单元156可将反变换应用到变换系数块以便产生所 述TU的残差视频块。举例来说，反变换单元156可将反DCT、反整数变换、反卡忽南-拉维 (Karhunen-Loeve)变换（KLT)、反旋转变换、反定向变换或另一反变换应用于变换系数块。 在一些实例中，反变换单元156可基于来自视频编码器20的信令而确定适用于变换系数块 的反变换。在这些实例中，反变换单元156可基于在用于与变换系数块相关联的树块的四 叉树的根节点处的用信号表示的变换来确定反变换。在其它实例中，反变换单元156可从 例如块大小、译码模式或类似者等一或多个译码特性推断反变换。在一些实例中，反变换单 元156可应用级联的反变换。
[0127] 在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而精炼PU的预 测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法 元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的 相同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的 语法元素确定由视频编码器20使用之的内插滤波器且使用所述内插滤波器来产生经预测 视频块。
[0128] 如下文参考图4及5进一步论述，预测处理单元152可通过执行图4及5中说明 的方法而译码（例如，编码或解码）PU(或任何其它参考层及/或增强层块或视频单元）。 举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或单 独地执行图4及5中说明的方法。
[0129] 如果是使用帧内预测被编码，那么帧内预测单元164可执行帧内预测以产生用 于PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU 的帧内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元 素。
[0130] 在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式 来确定当前PU的帧内预测模式。举例来说，可能有可能当前的帧内预测模式与相邻PU 的帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前的最可能模式。 因此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相 邻PU的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相 邻的PU的视频块而产生用于PU的预测数据（例如，经预测样本）。
[0131] 如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经 配置以使用SVC中可用的一或多个不同层（例如，基础或参考层）来预测当前块（例如，EL 中的当前块）。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，借 此改进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动 预测及层间残差预测。层间帧内预测使用基础层中的位于同一地点的块的重构来预测增强 层中的当前块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残差预 测使用基础层的残差来预测增强层的残差。以下更详细地论述层间预测方案中的每一者。
[0132] 重构单元158可使用与⑶的TU相关联的残差视频块及⑶的PU的预测视频块 (即，帧内预测数据或帧间预测数据，如果适用）来重构CU的视频块。因此，视频解码器30 可基于位流中的语法元素而产生所预测的视频块及残差视频块，且可基于所预测的视频块 及残差视频块而产生视频块。
[0133] 在重构单元158重构⑶的视频块之后，滤波器单元159可执行解块操作以减少与 所述CU相关联的成块假影。在滤波器单元159执行解块操作以减少与CU相关联的成块假 影之后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图 片缓冲器160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1A或1B的显示 装置32等显示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中 的视频块对其它CU的PU执行帧内预测或帧间预测操作。
[0134] 多层解码器
[0135] 图3B为说明可实施根据本发明中描述的方面的技术的多层视频解码器33的实例 的框图。视频解码器33可经配置以处理多层视频帧，例如，用于SHVC及多视图译码。另外， 视频解码器33可经配置以执行本发明的技术中的任一者或全部。
[0136] 视频解码器33包含视频解码器30A及视频解码器30B，其中的每一者可经配置为 视频解码器30且可执行上文相对于视频解码器30所描述的功能。此外，如再使用参考数 字所指示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。 虽然将视频解码器33说明为包含两个视频解码器30A和30B，但视频解码器33不被如此限 制且可包含任何数目的视频解码器30层。在一些实施例中，视频解码器33可包含用于存 取单元中的每一图片或帧的视频解码器30。举例来说，可由包含五个解码器层的视频解码 器处理或解码包含五个图片的存取单元。在一些实施例中，视频解码器33可包含比存取单 元中的帧多的解码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可 能不在作用中。
[0137] 除了视频解码器30A及30B之外，视频解码器33还可包含上取样单元92。在一些 实施例中，上取样单元92可上取样所接收的视频帧的基础层以创建将添加到用于帧或存 取单元的参考图片列表的增强型层。此增强型层可存储在经解码图片缓冲器160中。在一 些实施例中，上取样单元92可包含相对于图2A的再取样单元90所描述的实施例中的一些 或全部。在一些实施例中，上取样单元92经配置以对层进行上取样且重新组织、重新界定、 修改或调整一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下， 上取样单元92可为经配置以对所接收的视频帧的层上取样及/或下取样的再取样单元。
[0138] 上取样单元92可经配置以从较低层解码器（例如，视频解码器30A)的经解码图 片缓冲器160接收图片或帧（或与图片相关联的图片信息）且对所述图片（或所接收的 图片信息）上取样。随后可将此经上取样的图片提供到较高层解码器（例如，视频解码器 30B)的预测处理单元152,所述较高层解码器经配置以解码与较低层解码器相同的存取单 元中的图片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况 下，在图3B的层0解码器与层1解码器之间可存在一或多个较高层解码器。
[0139] 在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接提供来自视频 解码器30A的经解码图片缓冲器160的图片，或至少不提供到上取样单元92,不提供到视频 解码器30B的预测处理单元152。例如，如果提供到视频解码器30B的视频数据及来自视频 解码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考 图片提供到视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为 经配置以对从视频解码器30A的经解码图片缓冲器160接收的参考图片上取样或下取样的 再取样单元90。
[0140] 如图3B中所说明，视频解码器33可进一步包含多路分用器99或demux。多路分 用器99可将经编码视频位流分裂为多个位流，其中由多路分用器99输出的每一位流被提 供到不同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和 30B中的每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器（例 如，在图3B的实例中的视频解码器30A及30B)中的每一者之间一次一个位地交替来自在 demux 99处接收的位流的位，但在许多情况下，不同地划分所述位流。举例来说，可通过一 次一个块地交替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频 解码器30A和30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频 解码器30A的每一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由demux 99对位流的划分。在其它实施例中，多路分用器99可基于从视频解码器33外部的系统（例 如从包含目的地模块14的目的地装置上的处理器）接收的控制信号划分位流。可基于来自 输入接口 28的视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订（例 如，付费预订与免费预订）或基于用于确定可由视频解码器33获得的分辨率的任何其它因 素而产生控制信号。
[0141] 直接相依件旗标
[0142] 在一些实例实施方案中（例如，MV-HEVC及SHVC)，存在被称为direct_ dependency_flag的语法元素，其针对特定层指定哪一或哪些层可用于所述特定层的层间 预测。在一个实施例中，direct_dependency_flag是指定是否基于（或取决于）视频数据 的一个层译码视频数据的另一层的二维阵列。此二维阵列可采取值direct_dependency_ flag[i][j]的形式，其中i对应于待译码的层（例如，当前层）且j对应于将参考的 层（例如，参考层）。在此实例中，如果参考层不是当前层的直接参考层，那么direct_ dependency_flag可为0,且如果参考层是当前层的直接参考层，那么direct_dependency_ flag可为1。在一个实施例中，如果direct_depend