间ID 1的至少一个较低层图片以及 具有时间ID 2的至少一个较低层图片保持在中。在一个实例中，针对每一时间ID保持一 个图片，且在切换到不同层之后即刻从DPB移除全部其它图片。
[0168] 在一个实施例中，DPB中保持的图片在位流中显式地用信号表示。举例来说，所述 用信号表示可类似于用信号表示参考图片集合的方式。在另一实施例中，图片是否将保持 在DPB中可存在于切换到的层的图片(例如，切换点AU中的较高层图片）的切片标头中，且可 用信号表示旗标以指示切换在此存取单元中发生。所述旗标还可指示位流中存在指示一或 多个等待图片是否将保持在DPB中的信息。举例来说，一个旗标可指示是否在DPB中保持10 个最后较低层图片。举例来说，可存在指示最近经译码较低层图片是否将保持在DPB中的旗 标。DPB中保持的图片的数目可为1、2、3、10或任何任意数目。中将保持的较低层图片的 数目可由译码器用信号表示或已知。可用信号表示旗标以指示在未来是否将存在回到同一 层的切换。
[0169] 在一个实施例中，如果切换点AU中的较低层图片是DPB中保持的仅有图片，那么较 低层图片标记为"用于长期参考"或"用于短期参考"。在一个实施例中，在视频参数集中指 示是否任何较低层图片保持在DPB中。如上文所论述，虽然本发明的一或多个实例实施例是 在从较低层(例如，较低分辨率层)切换到较高层(例如，较高分辨率层)的上下文中描述，但 所述方法和技术可经修改和/或延伸到其中分辨率减少的向下切换情形。
[0170] 在一些实施方案中，虽然当从较高层切换到较低层时可应用在从较低层切换到较 高层的上下文中描述的同一机制，但可不必应用同一机制（例如，在DPB中保持较高层图片 以使得它们可在向上切换回到较高层之后用于较高层图片的未来译码），因为当在稍后时 间回到较高层时，较高层中的图片可基于同一 AU中的较低层图片通过利用层间预测而经译 码，且来自早得多的时间周期的较高层图片可为不必要的或可不为有用的。在DPB中保持任 何EL图片可能不合意的另一原因是切换点AU中可能存在点AU中的较高层图片应为IRAP图 片的限制。在此情况下，切换点AU中的较高层图片无法使用从其它EL图片的帧间预测而预 测。图5中描绘所提出的机制的实例。
[0171] 图5说明涉及从较低层切换到较高层的分辨率以及从较高层向下切换回到较低层 的另一分辨率的实例。如图5中所示，基础层包含基础层图片502、504、506、508、524、526和 528,且增强层包含增强层512、514、516和518。由虚线指示的基础层图片522是可能实际上 不用信号表示或经译码的虚图片。在图5的实例中，当分辨率向下切换发生时，由于增强层 图片518已经译码且可用于显示，因此不存在对其较低分辨率版本进行译码的原因，因为其 将不显示。
[0172] 在图5中说明的其中分辨率向下切换回到较低分辨率的情境中，可能需要在第一 切换之前在DPB中保持至少一个基础层图片作为时间参考图片（例如，基础层图片508)。举 例来说，其它基础层图片（例如，502、504和506)可标记为"不用于参考"，如上文所描述。在 此情况下，当分辨率向下切换回到较低分辨率时，DPB中保持的基础层图片508可用于基础 层图片524的帧间预测，如从基础层图片508到基础层图片524的箭头指示。
[0173] 在一个实施例中，DPB中保持的图片不是切换点AU中的基础层图片，而是中的 某个其它基础层图片。举例来说，DPB中将保持的图片是紧邻于切换点AU中的基础层图片之 前经译码的图片。在另一实例中，将保持的基础层图片可为来自基础层的任何其它图片。在 另一实施例中，在分辨率切换(或无分辨率改变的简单层切换)之后即刻可在DPB中保持多 个图片。在又一实施例中，DPB中保持的图片是与在切换回到较低层之后的第一较低层图片 (例如，图5中的基础层图片524)具有相同时间ID的最接近图片。举例来说，如果存在向上切 换和后续向下切换，且在向下切换之后的第一基础层图片具有时间ID 1，那么DPB中将保持 的图片可为在向下切换之后时间上最接近于第一基础层图片的图片且具有时间的ID 1。在 另一实施例中，中保持的图片是具有时间ID 0的最接近图片。在另一实施例中，中保 持的图片是在切换回到较低层之后时间上最接近于第一较低层图片的图片。
[0174] 虚设图片
[0175] 在层切换(例如，分辨率切换）的情况下，虚设图片可存在于按显示次序紧跟在切 换点AU之后的存取单元中。图6中说明实例虚设图片。图6展示基础层图片602、604、606、 608、624、626和628,增强层图片612、614、616和618,以及虚图片622,其类似于参考图5描述 的虚图片522。另外，图6包含紧跟在具有基础层图片608和增强层图片612的切换点AU之后 的存取单元中的虚设图片609。并且，虚设图片619存在于紧跟在具有增强层图片618的切换 点AU之后的存取单元中。虚设图片609和619可用以改善参考图片管理。举例来说，虚设图片 可用以实现从DPB的较早参考图片移除。举例来说，可在增强层图片612经译码之前处理虚 设图片609,且包含在虚设图片609中的信息可指示基础层图片602、604、606将从移除。 在此情况下，可能保留在DPB中直到在增强层612已结束译码之后的基础层图片602、604和 606可在增强层612经译码之前从DPB移除。
[0176] 在一个实施例中，虚设图片可将一或多个参考图片标记为"不用于参考"或指示哪 些图片将用于未来参考且因此应保持在中。在一个实施方案中，应保持中的哪些图 片（如果存在）用于未来参考的指示存在于与虚设图片相关联的参考图片集(RPS)中。举例 来说，虚设图片的RPS可指示需要DPB中的图片中的一或多者对虚设图片进行译码。在此情 况下，指示为对虚设图片进行译码所需要的那些图片将保持在DPB中。在另一实施方案中， 与虚设图片相关联的一或多个语法元素或旗标可指示应保持DPB中的哪些图片(如果存在） 用于未来参考。在一个实施例中，虚设图片可含有指示应完全清除DPB(例如，中应不保 持任何图片）的一或多个语法元素或旗标。
[0177] 如果虚设图片与较高层中的图片在同一存取单元中（例如，在虚设图片609和增强 层图片614的情况下），那么允许两个图片为非11^?图片。在一个实施例中，可修改8；[1^16_ layer_for_non_irap_f lag的语义以使得当 8：[1^16_1&5^1'_;1^01'_11011_;[抑口_;1^1&8等于1时涵 盖此情境。更具体来说，结合虚设图片使用可移除切换点AU中的较高层图片应为IRAP图片 的约束。替代地，无论虚设图片使用均可移除切换点AU中的较高层图片应为IRAP图片的约 束。IRAP约束的移除提供较高层图片译码中的更多灵活性，从而允许除层间预测之外还使 用帧间预测。
[0178] 在一个实施例中，虚设图片可由如HEVC工作草案10中指定的单个VCL NAL单元组 成。虚设图片可以将等于0的帧间预测残余译码，且可在切片标头中具有等于0的pic_ 〇Utput_flag(例如，指示将不输出虚设图片）。替代地，虚设图片可仅包含整个切片标头语 法。替代地，虚设图片可仅包含切片标头中的语法元素的部分。举例来说，虚设图片可包含 识别图片的P0C值和参考图片集(RPS)的语法元素。虚设图片中的RPS可指示哪些图片将标 记为"不用于参考"且哪些图片将保持在DPB中（例如，作为等待图片)并且因此被标记为"用 于短期参考"或"用于长期参考"用于在切换到较高层之后的未来参考。
[0179] 切换回到原始层
[0180] 在一个实施例中，当应用程序(或用户）切换回到原始层(例如，图5和6中说明的实 例)时，原始层的层ID(例如，nuh_layer_id的值)用于新层。举例来说，如果应用程序从较低 层切换到较高层且稍后决定切换到包含与先前较低层相同分辨率的图片的另一较低层，那 么先前较低层的层ID用于新较低层。通过迫使新较低层经指派与先前较低层相同的层ID， 帧间预测可用以使用DPB中剩余的先前较低层的图片对新较低层中的图片进行译码。
[0181 ]在一个实施例中，当single_layer_for_non_irap_f lag等于1时，AU中的全部VCL NAL单元的nuh_layer_id的最大值维持为跨越经译码视频序列中的AU相同，除非空间分辨 率、颜色格式或位深度中的至少一者也改变。通过这样做，应用程序可确保层切换伴随着分 辨率改变、颜色格式改变或位深度改变中的至少一者。在一些实施方案中，除非存在分辨 率、颜色格式或位深度的改变，否则保持单层方法(例如，无需切换到不同层)对于实现改进 的译码效率和/或计算复杂性可为合意的。
[0182] 实例流程图
[0183] 图7是说明根据本发明的实施例的用于译码视频信息的方法700的流程图。图7中 说明的步骤可由编码器(例如，如图2A或图2B中所示的视频编码器）、解码器(例如，如图3A 或图3B中所示的视频解码器)或任何其它组件执行。为方便起见，将方法700描述为由译码 器执行，所述译码器可为编码器、解码器或另一组件。
[0184] 方法700开始于框701。在框705中，译码器存储与第一层相关联的视频信息。在框 710中，译码器确定是否开始对不具有对应第一层图片的第二层图片进行译码。举例来说， 译码器可确定在某一时间点之后，仅第二层图片待译码，而无需译码任何第一层图片。在一 个实施例中，译码器可接收开始译码第二层图片的指令或请求。举例来说，在视频会议的上 下文中，视频应用程序可基于带宽条件决定切换到较高分辨率模式以使得较高分辨率图片 可显示给用户。在另一实例中，视频应用程序的用户可选择切换到较高分辨率模式。在从应 用程序或用户接收到此指令之后，译码器可即刻开始对具有较高分辨率的第二层图片进行 译码。在无此指令的存在下或如果译码器另外确定译码器应继续译码基础层图片，那么译 码器在框715中对第一层图片进行译码。
[0185] -旦译码器确定不具有对应第一层图片的第二层图片待译码，那么译码器进行到 框720且存储与第二层相关联的视频信息。在一个实施例中，与第二层相关联的视频信息可 能在框710中的确定之前已经存储于存储器中。在此情况下，译码器可简单地前进到框725。 译码器在框725中开始译码第二层图片。在框730中，译码器处理将从经解码图片缓冲器移 除至少一个第一层图片的指示。在一个实施例中，所述处理包括将所述至少一个第一层图 片标记为不用于参考。在另一实施例中，包括用信号表示指示将从经解码图片缓冲器移除 至少一个第一层图片的旗标。在又一实施例中，所述处理包括接收将从经解码图片缓冲器 移除至少一个第一层图片的指示。
[0186] 在一个实施例中，译码器可实际上从DPB移除至少一个第一层图片。在一个实施例 中，如上文所描述，译码器可移除经解码图片缓冲器中的全部第一层图片。在另一实施例 中，译码器可决定在经解码图片缓冲器中保持一或多个第一层图片用于未来译码且从DPB 移除第一层图片的其余部分。
[0187] 如图7B中所示，在框735中，译码器确定是否开始对不具有对应第二层图片的第一 层图片进行译码。如先前论述，应用程序或用户可例如基于带宽条件起始切换到较低分辨 率模式的请求或指令。当用户经历缓慢因特网连接时，用户可希望减少当前观看的视频的 分辨率以使得图片更流畅地显示。在无此指令的存在下，译码器继续在框740中对第二层图 片进行译码。
[0188] -旦译码器确定不具有对应第二层图片的第一层图片待译码，那么译码器进行到 框745且存储与第一层相关联的视频信息。在框750中，译码器使用经解码图片缓冲器中剩 余的先前经解码第一层图片对第一层图片进行译码。举例来说，如图5中所说明，在切换到 第二层之后即刻已保持在DPB中的基础层图片508可用以在向下切换回到基础层之后对基 础层图片524进行译码。方法700在框755处结束。
[0189] 如上文所论述，图2A的视频编码器20、图2B的视频编码器21、图3A的视频解码器30 或图3B的视频解码器31的一或多个组件（例如，层间预测单元128和/或层间预测单元166) 可用以实施本发明中论述的技术中的任一者，例如确定是否对第一层图片或第二层图片进 行译码、从经解码图片缓冲器移除图片以及使用各种译码方法对第一层和第二层图片进行 译码。
[0190] 在方法700中，图7中所示的框中的一或多者可移除（例如，不执行)和/或方法执行 的次序可切换。举例来说，虽然在图7的实例中与第二层和第一层相关联的视频信息的存储 说明为发生在是否开始译码第二层和第一层图片的相应确定之后，但所述存储可发生在此 些确定之前。在另一实例中，译码器可从不到达框745和750且保持在第二层。在另一实例 中，可在框730中完全清除DPB，且因此可忽略框750(不存在DPB中剩余的第一层图片）。因 此，本发明的实施例不限于图7展示的实例或不受到图7中展示的实例限制，且可在不脱离 本发明的精神的情况下实施其它变化。
[0191] 在一个实施例中，图7的第一和第二层分别是参考层和增强层。在另一实施例中， 第一和第二层分别是增强层和参考层。
[0192] 实施方案实施例#1
[0193] 在一个实施例中，切换来自的层（例如，较低层）的全部图片被标记为"不用于参 考"且潜在地在切换点AU处从DPB移除。在下文的解码过程区段中，以斜体字展示将添加到 所述规范的新部分。
[0194] 检测切换何时发生的方法对于向上切换(例如，从较低层到较高层的切换)和向下 切换(例如，从较高层到较低层的切换)可不同。在向上切换的情况下，通过检查是否一个以 上图片存在于同一存取单元中来执行切换的检测。在向下切换的情况下，通过比较当前存 取单元中的图片的nuh_layer_id和先前存取单元中的图片的nuh_layer_id而执行检测，所 述两个存取单元在解码次序上连续定位。在一些实施方案中，先前存取单元可为在解码次 序中最接近于当前存取单元的一个存取单元，并且具有时间ID 0。
[0195] 实施例#1的解码过程
[0196] 在此部分中，提供HEVC可缩放扩展的草案文本的相关部分以及可对其作出的实例 添加。以斜体字展示与本文所描述的实施例有关的那些部分。
[0197] "子条款8.1中的规范适用于以下添加。
[0198] 当当前图片具有大于0的nuh_layer_id时，以下适用。
[0199] 取决于separate_colour_plane_flag的值，解码过程如下被结构化：
[0200] 如果separate_colour_plane_f lag等于0，在输出当前图片的单一时间调用以下 解码过程。
[0201 ] 否则（separate_colour_plane_f lag等于1)，调用3次以下解码过程。对解码过程 的输入是具有相同colour_plane_id值的经译码图片的所有NAL单元。具有特定colour_ plane_id值的NAL单元的解码过程被指定为如同仅拥有具有特定colour_plane_id值的单 色格式的CVS将存在于位流中。将三个解码过程中的每一者的输出指派给当前图片的3个样 本阵列中的一者，其中分别将具有等于〇、1及2的colour_plane_id的NAL单元指派给SL、Scb 及 SCr〇
[0202]注意-当 separate_colour_plane_f lag 等于 1 且 chroma_format_idc等于 3时，变量 ChromaArrayType被导出为等于0。在解码过程中，评估此变量的值，从而导致等同于单色图 片的操作的操作（当chroma_format_idc等于0时）。
[0203] 对于当前图片CurrPic，解码过程如下操作。
[0204] 对于当前图片的在解码次序上的第一切片的切片片段标头的解码，调用用于开始 解码子条款F.8.1.1中指定的具有大于0的nuh_lay er_id的经译码图片的解码过程。
[0205] 如果ViewScalExtLayerFlag等于1，那么调用子条款G.8.1中指定的用于具有大于 0的nuh_lay er_i d的经译码图片的解码过程。
[0206] 否则，当Dependencyld[nuh_layer_id]大于0时，调用子条款H. 8 · 1 · 1中指定的具 有大于0的nuh_layer_id的经译码图片的解码过程。
[0207] 在已经解码当前图片的所有切片之后，调用用于结束子条款F.8.1.2中指定的具 有大于0的nuh_layer_id的经译码图片的解码的解码过程。"
[0208] 以下语言可添加到所述规范：
[0209] "当当前图片是IRAP图片时，single_layer_for_non_irap_f lag 等于 1，且同一存 取单元中存在具有比当前图片低的nuh_layer_id的值的图片，中的全部参考图片被标 记为'不用于参考'，且先前经解码图片（与当前图片在同一存取单元中）和具有等于0的 PicOutputFlag其它经解码图片从DPB移除。除了当前图片之外，中剩余的那些图片中的 每一者在其输出之后立即从DPB移除。"
[0210] 替代地，以下语言可添加到所述规范：
[0211] "当 single_layer_for_non_irap_flag 等于1 时，以下适用：
[0212] 将变量 switchingFlag 设定成 0。
[0213]当当前图片是IRAP图片且同一存取单元中存在具有比当前图片低的nuh_layer_ id的值的图片时，以下适用。这两个图片的nuh_layer_id值表示为layerldA和layerldB，其 中 layerldB 大于 layerldA，switch in gF lag 设定成 1，且变量 layer Id Switch 设定为 layerldA。
[0214] 当当前存取单元内存在仅一个图片且其nuh_layer_id值小于先前存取单元中的 图片的nuh_layer_id值时，switchingFlag设定成1，layerIdSwitch设定成等于先前存取单 元中的图片的nuh_layer_id值。
[0215] 当 switchingFlag等于1时，DPB 中具有等于 lay erldSwitch的nuh_layer_id的全部 参考图片被标记为'不用于参考'，且先前经解码图片和具有等于〇的PicOutputFlag的其它 经解码图片从DPB移除。除了当前图片之外，DPB中剩余的那些图片中的每一者在其输出之 后立即从DPB移除。"
[0216] 实施方案实施例#2
[0217] 虽然下文展示实例实施方案，但同一想法的其它实施方案也是可能的且应认为在 本发明的范围内。以斜体字展示与本文所描述的实施例有关的那些部分。可使用以下视频 参数集(VPS)语法：
[0219] 可使用以下VPS语义："等于1的keep_base_layer_picture_f lag指定来自基础层 (具有最小nuh_layer_id的参考层）图片的至少一个图片标记为'用于参考'以用于在切换 到较高层之后的未来参考。等于〇的keep_base_layer_picture_f lag指定全部基础层图片 被标记为在层切换之后'不用于参考'。当不存在时，keep_base_layer_picture_flag推断 为等于〇。"
[0220] 替代地，可使用以下VPS语义："等于1的keep_base_layer_picture_f lag指定来自 较低