分级的层表示具有 比包括具有较大的最大"temporal id"的图片的可分级的层表示更小的帧率。给定时间层 通常取决于较低的时间层（即，具有较小的"temp〇ral_id"值的时间层）但是不取决于任何 较高的时间层。语法元素"dependencyjd"用于指示CGS层间编码依赖性层次（如早前提 到的，其包括SNR和空间可分级性两者）。在任何时间水平位置，具有较小的"cbp endenCy_ id"值的图片可以用于对具有较大"cbpendencyjd"值的图片的编码的层间预测。语法元 素"quality_id"用于指示FGS或MGS层的质量水平层次。在任何时间位置，并且在相同的 "dependency_id"值的情况下，具有等于QL的"quality_id"的图片使用具有等于QL-I的 "quality_id"的图片来用于层间预测。具有大于0的"quality_id"的经编码的切片可以 被编码为可截断的FGS切片或不可截断的MGS切片。
[0142] 为简单起见，具有"dependency_id"的相同值的一个接入单元中的所有数据单元 (例如，在SVC上下文中的网络抽象层单元或NAL单元）被称为依赖性单元或依赖性表示。 在一个依赖性单元内，具有"quality_id"的相同值的所有数据单元被称为质量单元或层表 不。
[0143] 基本表示（还称为解码的基本图片）是从对具有等于0的"quality_id"的依 赖性单元的视频编码层（VCL)NAL单元进行解码而得到的经解码的图片并且针对该图片 " St〇re_ref_baSe_pic_flag"被设置等于1。还称为经解码的图片的增强表示从规则解码 过程得到，其中针对最高的依赖性表示而呈现的层表示被解码。
[0144] 如早前提到的，CGS包括空间可分级性和SNR可分级性两者。空间可分级性初始 地被设计用于支持具有不同分辨率的视频的表示。对于每个时间实例，VCL NAL单元被编 码在相同的接入单元中并且这些VCLNAL单元能够对应于不同的分辨率。在解码期间，低分 辨率VCL NAL单元提供能够可选地通过对高分辨率图片的最终的解码和重建来继承的运动 场和残差。当与较老的视频压缩标准相比时，SVC的空间可分级性已经被概括为使得基本 层能够作为增强层的经剪切和缩放的版本。
[0145] MGS质量层与FGS质量层类似地利用"quality_id"来指示。对于（具有相同 "dependency_id"的）每个依赖性单元，存在具有"quality_id"等于0的的层并且可以存 在具有"quality_id"大于1的其他层。具有大于0的"quality_id"的这些层是MGS层或 FGS层，取决于切片是否被编码为可截断的切片。
[0146] 在FGS增强层的基本形式中，仅仅使用了层间预测。因此，FGS增强层能够被自由 地被截断，而不引起经解码的序列中的任何误差传播。然而，FGS的基本形式遭受低压缩效 率。该问题由于仅仅低质量图片被用于帧间预测参考而出现。因此已经提出FGS增强的图 片被用作帧间预测参考。然而，当一些FGS数据被丢弃时这可以引起编码-解码不匹配，也 被称为漂移。
[0147] SVC标准草案的一个特征在于FGS NAL单元能够自由地被丢掉或截断，并且SVC 标准的特征在于MGS NAL单元能够在不影响比特流的一致性的情况下被自由地丢掉（但是 不能够被截断）。如以上讨论的，当那些FGS或MGS数据在编码期间已经被用于帧间预测 参考时，对数据的丢掉或截断将导致在解码器侧和在编码器侧的经解码的图片之间的不匹 配。该不匹配还被称为漂移。
[0148] 为了控制由于对FGS或MGS数据的丢掉或截断的漂移，SVC应用以下解决方案：在 某个依赖性单元中，基本表示（通过仅仅对具有"quality id"等于0的CGS图片和所有依 赖的较低层数据进行解码）被存储在解码的图片缓冲器中。当对具有相同的"cbpenden Cy_ id"值的随后依赖性单元进行编码时，包括FGS或MGS NAL单元的所有NAL单元将基本表示 用于帧间预测参考。因此，在较早的接入单元中由于对FGS或MGS NAL单元的丢掉或截断 的所有漂移在该接入单元处被停止。对于具有相同的"dependency_id"值的其他依赖性单 元，所有NAL单元为了高编码效率将经解码的图片用于帧间预测参考。
[0149] 每个NAL单元在NAL单元头中包括语法元素"use_ref_base_pic_flag"。当该元 素的值等于1时，对NAL单元的解码使用在帧间预测过程期间的参考图片的基本表示。语 法元素"store_ref_base_pic_flag"指定是（当等于1时）否（当等于0时）存储当前图 片的基本表示以供未来图片用于帧间预测。
[0150] 具有大于0的"quality_id"的NAL单元不包含与参考图片列表构建和加权的预 测相关的语法元素，即语法元素 "num_ref_active_lx_minusl" (X = 0或1)、参考图片列表 重新排序语法表以及加权的预测语法表不存在。因此，MGS或FGS层必须在需要时从相同 依赖性单元的具有等于〇的"quality_id"的NAL单元继承这些语法元素。
[0151] 在SVC中，参考图片列表包括仅基本表示（当"uSe_ref_baSe_pi C_flag"等于1 时）或仅未标记为"基本表示"的经解码的图片（当"use_ref_base_pic_flag"等于0时）， 但是决不同时包括两者。
[0152] 针对质量可分级性（还被称为信噪比或SNR)和/或空间可分级性的可分级的视 频编解码器可以被实施如下。对于基本层，使用常规的非可分级的视频编码器和解码器。基 本层的经重建/解码的图片被包括在用于增强层的参考图片缓冲器中。在H. 264/AVC、HEVC 以及使用参考图片列表以用于帧间预测的类似的编解码器中，基本层经解码的图片可以被 插入到用于对类似于增强层的经解码的参考图片的增强层图片的编码/解码的参考图片 列表中。因此，编码器可以选择基本层参考图片作为帧间预测参考并指示其在编码的比特 流中与参考图片索引一起使用。解码器从比特流、例如从参考图片索引解码出基本层图片 被用作针对增强层的帧间预测参考。当经解码的基本层图片被用作针对增强层的预测参考 时，其被称为层间参考图片。
[0153] 除了质量可分级性，以下可分级性模式存在：
[0154] ?空间可分级性：基本层图片以比增强层图片更高的分辨率来编码。
[0155] ?比特深度可分级性：基本层图片以比增强层图片更低的比特深度（例如，8比特） 来编码。
[0156] ?色度格式可分级性：基本层图片在色度上提供比增强层图片（例如，4:2:0格式） 更高的保真度（例如，以4:4:4色度格式来编码）。
[0157] ?色彩饱和度可分级性，其中增强层图片比基本层图片的颜色表示具有更丰富/ 更宽广的颜色表示范围--例如增强层可以具有UHDTV(ITU-R BT. 2020)色彩饱和度而基 本层可以具有ITU-R BT. 709色彩饱和度。
[0158] 在所有的以上可分级性情况下，基本层信息能够用于对增强层进行编码以使附加 的比特率开支最小化。
[0159] 能够以两种基本方式来实现可分级性。通过引入用于执行对来自可分级的表示的 更低层的像素值或语法的预测的新编码模式或者通过将较低层图片放置到较高层的参考 图片缓冲器（解码的图片缓冲，DPB)。第一方式是更灵活的并且因此在大多数情况下能够 提供更好的编码效率。然而，第二基于参考帧的可分级性方式能够在对单层编解码器的改 变最小同时仍然实现大多数的编码效率增益可用的情况下非常有效地被实施。基本上，基 于参考帧的可分级性编解码器能够通过利用针对所有层的相同的硬件或软件实施方式来 实施，仅仅注意通过外部装置的DPB管理。
[0160] 可分级的视频编码和/或解码方案可以使用多环路编码和/或解码，其可以被特 征化如下。在编码/解码中，基本层图片可以被重建/被解码以被用作针对在相同层内的 在编码/解码顺序中的随后图片的运动补偿参考图片或者用作用于层间（或视图间或分量 间）预测的参考。经重建/解码的基本层图片可以被存储在DPB中。如果存在，增强层图 片可以类似地被重建/被解码以被用作针对在相同层内的在编码/解码顺序中的随后图片 的运动补偿参考图片或者用作用于更高增强层的层间（或视图间或分量间）预测的参考。 除了经重建/解码的样本值，基本/参考层的语法元素值或从基本/参考层的语法元素值 导出的变量可以在层间/分量间/视图间预测中被使用。
[0161] 例如针对质量可分级性（还称为信噪比或SNR)和/或空间可分级性的可分级的 视频编码器可以被实施如下。对于基本层，可以使用常规非可分级的视频编码器和解码器。 基本层的经重建/解码的图片被包括在用于增强层的参考图片缓冲器和/或参考图片列表 中。在空间可分级性的情况下，经重建/解码的基本层图片可以在其插入到用于增强层图 片的参考图片列表中之前被上采样。基本层经解码的图片可以被插入到用于对类似于增强 层的经解码的参考图片的增强层图片的编码/解码的参考图片列表中。因此，编码器可以 选择基本层参考图片作为帧间预测参考并指示其在编码的比特流中与参考图片索引一起 使用。解码器从比特流、例如从参考图片索引解码出基本层图片被用作针对增强层的帧间 预测参考。当经解码的基本层图片被用作针对增强层的预测参考时，其被称为层间参考图 片。
[0162] 尽管前面的段落描述了具有含有增强层和基本层的两个可分级性层的可分级的 视频编解码器，需要理解，描述能够被概括为在具有多于两层的可分级性层次中的任何两 层。在这种情况下，第二增强层可以取决于编码和/或解码过程中的第一层，并且第一增强 层可以因此被认为是用于对第二增强层的编码和/或解码的基本层。另外，需要理解，可以 存在来自增强层的参考图片缓冲或参考图片列表中的多于一个层的层间参考图片，并且这 些层间参考图片中的每一个可以被认为驻存在用于被编码和/或被解码的增强层的基本 层或参考层中。
[0163] 正在进行的工作是指定对HEVC标准的可分级的和多视图的扩展。被称为MV-HEVC 的HEVC的多视图扩展类似于H. 264/AVC的MVC扩展。类似于MVC，在MV-HEVC中，视图间参 考图片能够被包括在被编码或被解码的当前图片的参考图片列表中。被称为SHVC的HEVC 的可分级的扩展被规划为被指定使得其使用多环路解码操作（不同于H. 264/AVC的SVC扩 展）。当前，针对SHVC调查用于实现可分级性的两种设计。一种是基于参考索引的，其中层 间参考图片能够被包括在被编码或被解码的当前图片的一个或多个参考图片列表中（如 以上描述的）。另一种可以被称为IntraBL或TextureRL，其中例如在CU水平中的特定编 码模式被用于将参考层图片的经解码/重建的样本值用于增强层图片中的预测。SHVC发展 已经集中于空间和粗粒度质量可分级性的发展。
[0164] 有可能使用许多相同的语法结构、语义和针对MV-HEVC和基于参考索引的SHVC的 解码过程。另外，也有可能使用相同的语法结构、语义和解码过程以用于深度编码。此后， 术语HEVC的可分级的多视图扩展（SMV-HEVC)用于指代编码过程、解码过程、语法和语义， 其中无论可分级性类型而使用大量相同的编码（解码）工具，并且其中没有在切片头以下 的语法、语义或解码过程中的变化的基于参考索引的方式被使用。SMV-HEVC可能不限于多 视图、空间以及粗粒度质量可分级性，但是还可以支持其他类型的可分级性，诸如深度增强 的视频。
[0165] 对于增强层编码，HEVC的相同概念和编码工具可以在SHVC、MV-HEVC和/或 SMV-HEVC中使用。然而，采用在参考层中已经编码的数据（包括重建的图片样本和运动 参数，又名运动信息）以有效地对增强层进行编码的附加的层间预测工具可以被集成到 SHVC、MV-HEVC 和 / 或 SMV-HEVC 编解码器。
[0166] 在MV-HEVC、SMV-HEVC和基于参考索引的SHVC解决方案中，块级语法和解码过程 对于支持层间纹理预测未被改变。仅高级语法已经被修改（与HEVC的情况相比）使得来自 相同接入单元的参考层的经重建的图片（必要时被上采样的）能够被用作用于对当前增强 层图片进行编码的参考图片。层间参考图片以及时间参考图片被包括在参考图片列表中。 信号传送的参考图片索引用于指示当前预测单元（PU)是否是从时间参考图片或层间参考 图片来预测的。对该特征的使用可以由编码器控制并在比特流中、例如在视频参数集、序列 参数集、图片参数和/或切片头中被指示。指示可以特定于例如增强层、参考层、增强层和 参考层的对、特定的TemporalId值、特定的图片类型（例如，RAP图片）、特定的切片类型 (例如，P切片和B切片但不是I切片）、具有特定POC值的图片和/或特定接入单元。指 示的范围和/或持久性可以与指示本身一起被指示和/或可以被推测。
[0167] MV-HEVC、SMV-HEVC和基于参考索引的SHVC解决方案中的参考列表可以使用特定 过程来初始化，在所述特定过程中层间参考图片，如果存在，可以被包括在初始参考图片列 表中。层间参考图片被构建如下。例如，时间参考可以首先以与HEVC中的参考列表构建相 同的方式被添加到参考列表（LO, LI)。此后，层间参考可以被添加在时间参考之后。如以上 描述的，层间参考图片可以例如从层依赖性信息来推断，所述层依赖性信息诸如从VPS扩 展导出的RefLay erId[i]变量。层间参考图片在当前增强层切片是P切片时可以被添加到 初始参考图片列表L0,并且可以在当前增强层切片是B切片时被添加到初始参考图片列表 LO和Ll两者。层间参考图片可以以特定顺序被添加到参考图片列表，所述特定顺序能够但 不必针对两个参考图片列表是相同的。例如，与将层间参考图片添加到初始参考图片列表 O中的顺序相比，可以使用相反顺序将层间参考图片添加到初始参考图片列表1中。例如， 层间参考图片可以以nuh_layer_id的升序被插入到初始参考图片O中，而可以使用相反的 顺序来初始化初始参考图片列表1。
[0168] 在编码和/或解码过程中，帧间参考图片可以被当作长期参考图片。
[0169] 在SMV-HEVC和基于参考索引的SHVC解决方案中，层间运动参数预测可以通过将 层间参考图片设置为用于TMVP导出的共同定位的参考图片来执行。两个层之间的运动场 映射过程可以被执行以例如避免在TMVP导出中的块级解码过程修改。运动场映射还能够 被执行用于多视图编码，但是MV-HEVC的当前草案不包括这样的过程。对运动场映射特 征的使用可以由编码器控制并且在比特流中，例如在视频参数集、序列参数集、图片参数和 /或切片头中被指示。指示可以特定于例如增强层、参考层、增强层和参考层的对、特定的 TemporalId值、特定的图片类型（例如，RAP图片）、特定的切片类型（例如，P切片和B切 片但不是I切片）、具有特定POC值的图片和/或特定接入单元。指示的范围和/或持久性 可以与指示本身一起被指示和/或可以被推测。
[0170] 在针对空间可分级性的运动场映射过程中，基于相应参考层图片的运动场来获得 经上采样的层间参考图片的运动场。针对经上采样的层间参考图片的每个块的运动参数 (其可以例如包括水平运动向量值和/或垂直运动向量值以及参考索引）和/或预测模式 可以从参考层图片中的共同定位的块的对应的运动参数和/或预测模式导出。用于导出经 上采样的层间参考图片中的运动参数和/或预测模式的块大小可以例如为16x16。16x16 块大小与HEVC TMVP导出过程中相同，在HEVC TMVP导出过程中，使用了参考图片的经压缩 的运动场。
[0171] 运动场可以被认为包括运动参数。运动参数可以包括但不限于以下类型中的一个 或多个类型：
[0172] ?预测类型（例如，帧内预测、单预测、双预测）的指示和/或参考图片的数量；
[0173] ?预测方向的指示，例如帧间（又名时间）预测、层间预测、视图间预测、视图合成 预测（VSP)以及例如来自纹理图片到深度图片的分量间预测。预测方向可以针对每个参考 图片和/或每个预测类型被指示，并且其中在一些实施例中，视图间预测和视图合成预测 可以联合地被认为是一个预测方向；
[0174] ?参考图片类型的预测，诸如短期参考图片和/或长期参考图片和/或层间参考图 片（其可以例如针对每个参考图片被指示）；
[0175] ?对参考图片列表的参考索引和/或参考图片的任何其他标识符（其可以例如针 对每个参考图片被指示并且其类型可以取决于预测方向和/或参考图片类型并且其可以 伴随有其他相关的信息片断，诸如参考图片列表或对其应用参考索引的类似物）；
[0176] ?水平运动向量分量（其可以例如针对每个预测块或每个参考索引等被指示）；
[0177] ?垂直运动向量分量（其可以例如针对每个预测块或每个参考索引等被指示）；
[0178] ?-个或多个参数，诸如含有运动参数或与运动参数相关联的图片和其参考图片 之间的图片顺序计数差和/或相对相机分离，其可以被用于在一个或多个运动向量预测过 程中对水平运动向量分量和/或垂直运动向量分量的缩放（其中所述一个或多个参数可以 例如针对每个参考图片或每个参考索引等被指示）。
[0179] HEVC标准当前被扩展为支持高保真应用。其中要研究的问题涉及增