的根节点处的用信号表示的变换来确定逆变换。在其它实例中，逆变换单元156可从例 如块大小、译码模式或类似者等一或多个译码特性推断逆变换。在一些实例中，逆变换单元 156可应用级联的逆变换。
[0129] 在一些实例中，运动补偿单元162可通过基于内插滤波器执行内插而精炼PU的预 测视频块。用于将用于以子样本精确度进行运动补偿的内插滤波器的识别符可包含在语法 元素中。运动补偿单元162可使用由视频编码器20在产生PU的经预测视频块期间使用的相 同内插滤波器来计算参考块的子整数样本的内插值。运动补偿单元162可根据所接收的语 法信息而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测视频 块。
[0130] 如下文参考图7A和7B进一步论述，预测处理单元152可通过执行图7A和7B中说明 的方法对PU(或任何其它参考层和/或增强层块或视频单元)进行译码(例如，编码或解码）。 举例来说，运动补偿单元162、帧内预测单元164或层间预测单元166可经配置以一起或单独 地执行图7A和7B中说明的方法。
[0131] 如果PU是使用帧内预测编码，那么帧内预测单元164可执行帧内预测以产生用于 PU的经预测视频块。举例来说，帧内预测单元164可基于位流中的语法元素确定用于PU的帧 内预测模式。位流可包含帧内预测模块164可用以确定PU的帧内预测模式的语法元素。
[0132] 在一些情况下，语法元素可指示帧内预测单元164将使用另一PU的帧内预测模式 来确定当前PU的帧内预测模式。举例来说，可能有可能当前PU的帧内预测模式与相邻PU的 帧内预测模式相同。换句话说，相邻PU的帧内预测模式可为用于当前PU的最可能模式。因 此，在此实例中，位流可包含小语法元素，所述小语法元素指示PU的帧内预测模式与相邻PU 的帧内预测模式相同。帧内预测单元164可随后使用帧内预测模式基于在空间上相邻的PU 的视频块而产生用于PU的预测数据(例如，经预测样本）。
[0133] 如上文所论述，视频解码器30还可包含层间预测单元166。层间预测单元166经配 置以使用在SVC中可用的一或多个不同层(例如，基础层或参考层)预测当前块(例如，EL中 的当前块）。此预测可称作层间预测。层间预测单元166利用预测方法减少层间冗余，借此改 进译码效率且降低计算资源要求。层间预测的一些实例包含层间帧内预测、层间运动预测 及层间残余预测。层间帧内预测使用基础层中的协同定位块的重构来预测增强层中的当前 块。层间运动预测使用基础层的运动信息来预测增强层中的运动。层间残余预测使用基础 层的残余来预测增强层的残余。以下更详细地论述层间预测方案中的每一者。
[0134] 重构单元158可使用与⑶的TU相关联的残余视频块以及⑶的的经预测视频块 (例如，帧内预测数据或帧间预测数据，如果适用）来重构⑶的视频块。因此，视频解码器30 可基于位流中的语法元素产生经预测视频块和残余视频块，且可基于所述经预测视频块和 所述残余视频块产生视频块。
[0135] 在重构单元158重构CU的视频块之后，滤波器单元159可执行解块操作以减少与所 述CU相关联的成块假象。在滤波器单元159执行解块操作以减小与CU相关联的成块假象之 后，视频解码器30可将所述CU的视频块存储在经解码图片缓冲器160中。经解码图片缓冲器 160可提供参考图片以用于后续运动补偿、帧内预测和在例如图1A或1B的显示装置32等显 示装置上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器160中的视频块对其它 CU的PU执行帧内预测或帧间预测操作。
[0136] 多层解码器
[0137] 图3B是说明可实施根据本发明中描述的方面的技术的多层视频解码器31的实例 的框图。视频解码器31可经配置以处理多层视频帧，例如，用于SHVC和多视图译码。另外，视 频解码器31可经配置以执行本发明的技术中的任一者或全部。
[0138] 视频解码器31包含视频解码器30A及视频解码器30B，其中的每一者可经配置为视 频解码器30且可执行上文关于视频解码器30所描述的功能。此外，如再使用参考数字所指 示，视频解码器30A和30B可包含系统及子系统中的至少一些作为视频解码器30。虽然将视 频解码器31说明为包含两个视频解码器30A和30B，但视频解码器31不受如此限制且可包含 任何数目个视频解码器30层。在一些实施例中，视频解码器31可包含用于存取单元中的每 一图片或帧的视频解码器30。例如，可由包含五个解码器层的视频解码器处理或解码包含 五个图片的存取单元。在一些实施例中，视频解码器31可包含比存取单元中的帧更多的解 码器层。在一些此类情况下，当处理一些存取单元时，一些视频解码器层可能不在作用中。
[0139] 除了视频解码器30A及30B之外，视频解码器31还可包含上取样单元92。在一些实 施例中，上取样单元92可对所接收的视频帧的基础层上取样以创建将添加到用于帧或存取 单元的参考图片列表的增强型层。此增强型层可存储在经解码图片缓冲器160中。在一些实 施例中，上取样单元92可包含关于图2A的再取样单元90描述的实施例中的一些或全部。在 一些实施例中，上取样单元92经配置以对层进行上取样且重新组织、重新界定、修改或调整 一或多个切片以符合一组切片边界规则和/或光栅扫描规则。在一些情况下，上取样单元92 可为经配置以对所接收的视频帧的层上取样和/或下取样的再取样单元。
[0140] 上取样单元92可经配置以从较低层解码器(例如，视频解码器30A)的经解码图片 缓冲器160接收图片或帧(或与图片相关联的图片信息)且对所述图片(或所接收的图片信 息）上取样。随后可将此经上取样的图片提供到较高层解码器(例如，视频解码器30B)的预 测处理单元152,所述较高层解码器经配置以解码与较低层解码器相同的存取单元中的图 片。在一些情况下，较高层解码器为从较低层解码器移除的一个层。在其它情况下，在图3B 的层〇解码器与层1解码器之间可存在一或多个较高层解码器。
[0141]在一些情况下，可省略或绕过上取样单元92。在此些情况下，可直接提供来自视频 解码器30A的经解码图片缓冲器160的图片，或至少不提供到上取样单元92,不提供到视频 解码器30B的预测处理单元152。例如，如果提供到视频解码器30B的视频数据及来自视频解 码器30A的经解码图片缓冲器160的参考图片具有相同的大小或分辨率，那么可将参考图片 提供到视频解码器30B而不需要上取样。另外，在一些实施例中，上取样单元92可为经配置 以对从视频解码器30A的经解码图片缓冲器160接收的参考图片上取样或下取样的再取样 单元90。
[0142] 如图3B中所说明，视频解码器31可进一步包含多路分用器99或demux。多路分用器 99可将经编码视频位流分裂为多个位流，其中由多路分用器99输出的每一位流被提供到不 同的视频解码器30A和30B。可通过接收位流来产生多个位流，且视频解码器30A和30B中的 每一者在给定时间接收位流的一部分。虽然在一些情况下，可在视频解码器(例如，在图3B 的实例中的视频解码器30A及30B)中的每一者之间一次一个位地交替来自在多路分用器99 处接收的位流的位，但在许多情况下，不同地划分所述位流。例如，可通过一次一个块地交 替哪一视频解码器接收位流而划分所述位流。在另一实例中，可通过到视频解码器30A和 30B中的每一者的块的非1:1比率来划分位流。举例来说，可针对提供到视频解码器30A的每 一块将两个块提供到视频解码器30B。在一些实施例中，可预编程由多路分用器99对位流的 划分。在其它实施例中，多路分用器99可基于从视频解码器31外部的系统(例如从包含目的 地模块14的目的地装置上的处理器)接收的控制信号划分位流。可基于来自输入接口 28的 视频的分辨率或位速率、基于链路16的带宽、基于与用户相关联的预订(例如，付费预订与 免费预订)或基于用于确定可由视频解码器31获得的分辨率的任何其它因素而产生控制信 号。
[0143] 分辨率改变
[0144] 在当前HEVC扩展草案中，称为single_layer_for_non_irap_f lag的视频参数序列 (VPS)语法元素如下界定："等于1的single_layer_for_non_irap_flag指示存取单元的全 部VCL NAL单元具有相同nuh_layer_id值，或存取单元的VCL NAL单元使用两个nuh_layer_ id值且具有较大nuh_layer_id值的图片是IRAP图片。等于0的single_layer_for_non_ irap_flag指示nuh_layer_id值可或可不受约束超出在本建议|国际标准的其它部分中指 定的约束。"在一些实施例中，本文所描述的技术可仅当single_layer_for_non_irap_flag 等于1时应用。
[0145] 大体上，经译码视频数据组织成网络抽象层(NAL)单元，其中的每一者有效地为含 有整数数目字节的包。视频译码层(VCL)NAL单元含有视频图片的在经译码视频数据中的样 本值。存取单元(AU)是与同时将显示的图片（例如，具有相同图片次序计数的图片）相关联 的￥0^嫩1^单元的集合。因此，举例来说，如果8：[1^16_135^1'_;1；'01'_11011_;!^。_;1^]^等于1，那 么存取单元中的全部图片是来自同一层(例如，当前层），或所述图片属于两个不同层，较高 层中的图片是帧内随机存取点（IRAP)图片。如果存取单元中存在两个图片，一个来自参考 或较低层且另一个来自增强层，那么来自较高层的增强层图片将为IRAP图片。在一个实例 中，增强层图片具有比参考层图片高的分辨率。因此，此旗标(或其它相似旗标)可用以用信 号表示或识别从一个层到另一层的切换。
[0146] 分辨率改变的应用
[0147] 此切换可伴随着分辨率改变(例如，从较低分辨率到较高分辨率，或从较高分辨率 到较低分辨率）。如上文所论述，此分辨率改变的一个应用可在处理视频数据的视频应用程 序(例如，视频会议应用程序、电影流式传输应用程序等)的上下文中。当视频应用程序处理 视频流时，视频应用程序可取决于带宽条件在较低分辨率模式(例如，其中较低分辨率图片 经处理且显示)与较高分辨率模式(例如，其中较高分辨率图片经处理且显示)之间切换。如 果带宽初始地无法支持较高分辨率流式传输，那么应用程序可在较低分辨率模式中处理视 频流，且当带宽改善时，应用程序可切换到较高分辨率模式以使得其可显示较高质量视频。
[0148] 在一个实施例中，分辨率改变可由视频应用程序起始。替代地，用户可决定起始分 辨率改变。分辨率改变可基于例如带宽条件等其它因数自动发生。在一些实施例中，在请求 或起始分辨率改变的时间与译码器实际上切换到对具有不同分辨率的图片进行译码的时 间之间存在延迟。在一个实例中，译码器事先知道即将存在分辨率改变和/或何时分辨率改 变将发生。
[0149] 切换到不同层
[0150]分辨率改变不一定意味着涉及一个以上视频层。举例来说，HEVC允许单层内的分 辨率改变。然而，在此情况下，在改变图片的分辨率之后即刻开始新CVS，且译码器(例如，编 码器或解码器)将从I帧开始。因此，译码器将不能够依赖于任何经先前译码图片以改善译 码效率。通过当存在分辨率改变时切换到不同层，译码器可仍存取较低层的先前经解码图 片且可能使用层间预测对较高层中的图片中的至少一者进行译码，进而改善译码效率。并 且，通过避免对将不显示的其它图片进行译码(例如，通过对整个基础层和整个增强层进行 译码），译码效率也改善。参考图4进一步描述从较低层到较高层的切换。
[0151] 图4展示基础层图片402、404、406和408,以及增强层图片412、414、416和418。在此 实例中，箭头指示解码次序，其在此情况下与显示次序相同。举例来说，在图4中说明的图片 中，基础层图片402是待显示的第一图片，且增强层图片418是待显示的最后图片。在箭头从 基础层图片408向上指向增强层图片412的切换点处，显示两个图片中的仅一者，因为所述 图片属于同一存取单元且因此对应于同一时间。举例来说，仅显示增强层图片412,且不显 示基础层图片408。虽然在图4的实例中解码次序与显示次序相同，但在另一实施例中，解码 次序可不同于显示次序。
[0152] 如图4中所说明，基础层图片和增强层图片属于不同层。基础层图片402到408可使 用其它经先前译码基础层图片译码，且增强层图片412到418可使用其它经先前译码增强层 图片译码。此外，增强层图片412可使用基础层图片408(例如，使用层间预测）译码。在一个 实施例中，增强层图片412到418具有高于基础层图片402到408的分辨率的分辨率。
[0153] 经解码图片缓冲器(DPB)
[0154]大体上，已经译码的图片可存储在经解码图片缓冲器(DPB)中以使得它们可用以 对其它图片进行译码。举例来说，视频译码器可使用DPB中的经先前译码图片的像素值或其 它信息（例如，运动信息)对后续图片进行译码。然而，DPB具有有限空间，且并非全部经译码 图片可存储在DPB中且无限地继续保持在DPB中。因此，从DPB及时移除不必要的图片可改善 DPB管理和存储器使用。
[0155]在上文所论述的实例中，分辨率改变可当应用程序(或应用程序的用户）决定切换 到较高分辨率模式(或较低分辨率模式)时发生。当应用程序切换到较高分辨率模式时，应 用程序将开始对具有比在分辨率改变之前经译码的较低层的图片高的分辨率的较高层(例 如，增强层)的图片进行译码。在切换到较高分辨率之后，先前较低层(例如，参考层，其具有 具有较低分辨率的图片）的参考图片可即刻仍存储在经解码图片缓冲器(DPB)中。然而，此 些参考图片可不再对于解码位流为必要的，因为在切换之后经译码的图片在较高层(例如， 增强层）中。在一个实例中，如果应用程序决定向下切换回到较低层，那么此些参考图片中 的一或多者可用以对未来较低层图片进行译码。然而，如果应用程序保持在较高分辨率模 式中或切换到除较低层外的层，那么可没有任何原因在DPB中保持较低层的那些参考图片 中的任一者。因此，可需要用于从DPB移除先前较低层的参考图片的机制以改善存储器使 用。
[0156] 并且，在一些实施方案中，即使应用程序决定切换回到较低分辨率模式，即使应用 程序仅切换回到较低层的原始较低分辨率也可将新层ID指派给新层。在此情况下，因为对 新层指派新层ID，所以即使具有与新层的图片相同分辨率的一或多个参考图片保持在DPB 中，那些参考图片也无法用以帧间预测新层的图片。因此，为了改善译码效率，当应用程序 仅向下(或向上)切换回到先前分辨率时可能需要防止新层ID的使用。
[0157] 此外，在一些实施方案中，当single_layer_for_non_irap_f lag等于1时，允许应 用程序在层之间切换而无需改变分辨率、颜色格式或位深度。然而，在此情况下，保持在同 一层中而不切换到新层可更有效。
[0158] 从经解码图片缓冲器移除较低层图片
[0159] 当执行分辨率切换时(例如，如图4中所说明），在切换点存在来自高达两个不同层 的图片:较低层(例如，与nuh_layer_id的较小值相关联)和较高层(例如，与nuh_layer_id 的较大值相关联）。如果切换执行(例如，向上或向下)超过一次，那么可涉及更多图片/层。 举例来说，应用程序可在一个存取单元中从层1切换到层2,稍后在另一存取单元中从层2切 换到层3。一般来说，所述两层可被称为"切换来自的层"和"切换到的层"。举例来说，在向上 切换点中，较低层可被称为切换来自的层，且较高层可被称为切换到的层。
[0160] 在一实例实施方案中，当从较低层切换到较高层时，在切换点（例如，切换点AU)处 的存取单元含有来自较低层的图片和来自较高层的图片两者。另一方面，当从较高层切换 到较低层时，切换点AU可具有仅一个图片。举例来说，切换可在两个连续存取单元上发生， 所述连续存取单元中的每一者含有仅一个图片。举例来说，存取单元中的一者可含有来自 较高层的图片，且后续存取单元可含有来自较低层的图片。如下文参考图5进一步描述此配 置。
[0161] 在本发明中，实施例大体上是参考具有一个较低层和一个较高层的实例而描述。 然而，本发明的实施例不限于此配置或受此配置限制，且本文所描述的实施例、方法和技术 可延伸到具有多个较低层和较高层的其它实例。虽然本文所说明的实例大体上具有具有一 个或两个层的AU，但所提议的方法可类似地延伸到其它配置。
[0162] 当分辨率改变发生时，切换来自的层中的图片常常对于在切换点之后(例如，在对 含有来自两个层的图片的AU中的图片进行译码之后）的帧间预测来说不再需要。在一个实 施例中，存储在DPB中的切换来自的层的包含切换点AU中的较低层图片的全部参考图片(例 如，存储在DPB中的较低层的先前经解码图片)被标记为"不用于参考"。在一些实施方案中， 标记为"不用于参考"的任何参考图片在其已经输出（例如，显示)或其将不输出的情况下从 DPB移除。在此实施例中，从DPB移除将不输出或已经输出的切换来自的层的全部图片。通过 从DPB移除在切换点之后将可能不使用的较低层图片，DPB管理和存储器使用可改善。
[0163] 在其中分辨率切换发生在含有基础层图片408和增强层图片412的存取单元中的 图4的实例中，在解码基础层图片408(例如，在切换点处的基础层图片）之后，存储在DPB中 的先前经解码基础层图片402、404和406可标记为"不用于参考"，因为它们对于对基础层图 片进行译码来说不再必要（例如，由于分辨率切换）。此外，可从DPB移除将不输出或已经输 出的基础层图片。在解码增强层图片412(例如，在切换点处的增强层图片)之后，存储在DPB 中的经解码基础层图片408可从DPB移除。在另一实施例中，经解码图片从DPB的任何移除是 在对增强层图片412(例如，切换点AU中的较高层图片)进行译码之后执行。虽然DPB中的图 片的移除大体上本文是在向上切换的上下文中描述，但相似的DPB管理技术可应用于其中 图象分辨率减少的向下切换情形。
[0164] 在一个实施例中，可用信号表示旗标以指示是否应清除DPB。举例来说，如果旗标 设定成1，那么在对较高层中的第一图片进行译码之后清除DPB，且如果旗标设定成0,那么 不清除DPB。所述旗标可在切片标头中用信号表示。
[0165] 在DPB中保持较低层图片用于未来译码
[0166] 在一个实施例中，替代于将DPB中的全部图片标记为"不用于参考"和/或在切换到 不同层之后即刻移除DPB中的全部图片，在DPB中保持切换来自的层的至少一个图片供用于 未来译码。保持在中的此些图片可被称为"等待图片"。致使这些图片保持在中以使 得如果存在向下回到较低分辨率的分辨率切换，那么这些图片可用以对较低分辨率中的一 或多个图片（例如，将在从较高层向下回到较低层的切换之后译码的第一图片）进行译码 (例如，使用帧间预测）。
[0167] 在一个实施例中，每当存在分辨率改变时，便在DPB中保持切换来自的层的至少一 个图片供用于未来译码。举例来说，DPB中保持的图片可为切换点AU中的图片(例如，图4的 基础层图片408)。在另一实例中，中保持的图片可为具有时间ID 0的图片。由于具有时 间ID 0的图片可用以对具有任何值的时间的另一图片进行译码，因此保持具有时间ID 0的 图片可提供在任何时间向下或向上切换回到原始层的灵活性。在一个实施例中，DPB中保持 仅一个图片且在切换到不同层之后即刻移除全部其它图片。在又一实施例中，DPB中保持至 少一个图片用于时间ID的每一值。举例来说，较低层中的图片可具有时间ID值0、1和2。在此 情况下，具有时间ID 0的至少一个较低层图片、具有时