储器的处理可包括用于将解码的 画面存储在DPB1620中的处理、用于标记参考画面的处理和用于从DPB1620输出解码的 画面和删除解码的画面的处理。
[0214] 视频解码器1610可从由解析单元1605解析的数据获得参考画面集（RPS)。RPS 中包括的参考画面一般可被分类为短期参考画面和长期参考画面。长期参考画面可比短期 参考画面更长时间地存储在DPB1620中。处理长期参考画面的过程可比处理短期参考画 面的过程更复杂，并且比处理短期参考画面的过程花费更长的时间。
[0215] 可通过相应画面的帧号和P0C值中的至少一个来识别DPB1620中存储的画面。另 外，在对多层视频进行编码方面，不仅可用帧号和P0C值还可用画面的层或用于标识视点 的信息来标识DPB1620中存储的画面。
[0216] 在视频解码器1610获得RPS之后，视频解码器1610可构造参考画面列表。视频 解码器1610可基于在参考画面列表中标识的参考画面来对当前画面进行预测解码。参考 画面列表可使用参考画面索引来减少通过预测单元（PU)发送的参考画面信息。
[0217] 可基于条带的类型使用多达两个参考画面列表，并且可经由RPS来发送用于将两 个列表（参考画面列表〇和参考画面列表1)彼此区分开的信息。
[0218] 例如，可针对单向预测的P条带或单向预测的一些B条带构造一个参考画面列表。 另外，可针对双向预测的B条带构造两个参考画面列表。
[0219] 在下文中，将描述根据本发明的实施例的由视频解码器1610解码的画面基于层 间RPS信息被标记的示例。
[0220] 根据本发明的实施例，由视频解码器1610解码的画面可被存储在DPB1620中。当 解码的画面被首次存储在DPB1620中时，DPB控制器1620可默认地将所述解码的画面标 记为短期参考画面。基于随后解码的画面的条带头中包括的RPS信息，被标记为短期参考 画面的画面可被标记为长期参考画面或者不被用作参考画面的画面。
[0221] 根据本发明的实施例，可参考先前被编码和解码的其它层的画面对经由层间预测 编码的画面进行预测。第一层画面被首先解码并被存储在DPB1620中，并且DPB控制器 1630默认地将第一层画面标记为短期参考画面。如果与第一层画面具有相同P0C的第二层 画面参考第一层画面被层间预测，则尝试参考DPB1620中存储的第一层画面来对第二层 画面进行解码。DPB控制器1630基于关于第二层画面的层间RPS信息将被标记为短期参考 画面的第一层画面标记为长期参考画面。层间RPS信息可包括与第二层画面或者在第二层 画面之后解码并与第二层画面具有相同P0C值的画面的参考画面有关的层标识信息。基于 层间RPS信息，可标记存储在DPB1620中的画面。
[0222] 详细地讲，在对第二层画面进行解码之前，DPB控制器1630从第二层画面的条带 头获得层间RPS信息，其中，层间RPS信息与第二层画面以及在第二层画面之后解码并与第 二层画面具有相同P0C值的画面的参考画面有关。DPB控制器1630可基于与具有相同P0C 值的其它层的画面有关的层间RPS信息，将被标记为短期参考画面并存储在DPB1620中的 第一层画面标记为长期参考画面。换句话说，如果第一层画面被用作用于对另一层的画面 进行层间预测的参考画面，则DPB控制器1630可将第一层画面的参考状态从短期参考改变 为长期参考。
[0223] 另外，当第一层画面被层间预测时，DPB控制器1630可获得指示第一层 画面是否被用作用于层间预测的参考画面的信息。指示第一层画面是否被用作用 于层间预测的参考画面的信息可包括标志InterlayerPredictionFlag，其中，标志 InterlayerPredictionFlag指示每个层的画面是否被用作用于对其它层的画面进行层间 预测的参考画面。
[0224] 当第一层画面被解码时，DPB控制器1630可基于指示解码的第一层画面是否被用 作用于层间预测的参考画面的信息，将第一层画面标记为长期参考画面。例如，如果关于 第一层画面的InterlayerPredictionFlag的值是1，则当第一层画面被解码并存储在DPB 1620中时，DPB控制器1630可将第一层画面的参考状态标记为长期参考。当当前AU中的 所有编码的画面被解码时，可将被标记用于长期参考的第一层画面标记为短期参考画面。
[0225] 可基于第一层画面的画面质量和第一层画面的时间标识Temporalld中的至少一 个来确定标志InterlayerPredictionFlag，其中，标志InterlayerPredictionFlag指不第 一层画面是否被用作用于对其它层的画面进行层间预测的参考画面。
[0226] 例如，如果关于第一层画面的Temporalld的值等于或小于指定的参 考值max_tid_il_ref_pic_plusl_l或max_sublayer_for_ilp_plusl- 1, 贝丨J InterlayerPredictionFlag可具有值1。与此相反，如果关于第一层画面的Temporalld 的值大于指定的参考值max_tid_il_ref_pic_plusl-l或max_sublayer_for_ilp_plusl- 1(指定的参考值max_tid_il_ref_pic_plusl-l或max_sublayer_for_ilp_plusl- 1 具有 值 〇)，则InterlayerPredictionFlag可具有值 0〇
[0227] 时间标识Temporalld可以是指示可被用于对当前画面进行编码或解码的画面的 层级值。具有特定时间标识的画面可被用作用于具有相同或更大时间标识的画面的参考画 面。例如，具有时间标识1的画面可被用作用于具有时间标识1或大于1的时间标识（例 如，2、3等）的画面的参考画面。然而，具有时间标识1的画面可不被用作用于具有时间标 识0的画面的参考画面。
[0228] 较小的时间标识可表示较小的显示速率。例如，如果视频解码器1610对仅具有时 间标识〇的画面进行解码，则显示速率可以是每秒7. 5个画面。另外，如果视频解码器1610 对具有时间标识〇和1的画面进行解码，则显示速率可以是每秒15个画面。
[0229] 另外，关于当前画面的RPS可不包括具有比当前画面更大的时间标识的画面， 使得具有等于或小于特定时间标识的时间标识的画面可基于时间上切换（temporal up-switching)而被解码。
[0230] 第一层画面的TemporalId可包括第一层画面所属的时间标识。第一层画 面的InterlayerPredictionFlag越小，则第一层画面就越不可能基于时间下切换 (temporaldown-switching)成为在发送期间被丢弃的画面。换句话说，当第一层画面的 InterlayerPredictionFlag变得更小时，可确定第一层画面具有更好的画面质量或更重 要。因此，根据本发明的实施例，具有比参考值更小的Temporalld的画面可被确定为可在 层间预测期间被参考的画面。
[0231] 在被标记为"不被参考"的解码画面中，可将InterlayerPredictionFlag由于 Temporalld大于参考值而为0的画面直接标记为"不被参考"。具有大的Temporalld 值的画面可具有低的画面质量或低的重要性，因此相应画面可不被参考。然而，这种画 面可在较高的层被参考，因此所述画面不被直接标记为"不被参考"。然而，如果画面的 InterlayerPredictionFlag为0,则该画面与在层间预测期间不在层间被参考的画面相 应，因此相应画面可被直接标记为"不被参考"并从DPB中删除。因此，由于画面可在关于 将被解码的下一画面的RPS信息被获得之前被删除，因此可使DPB的大小最小化。
[0232] 如上所述，当被标记为短期参考画面的第一层画面在层间预测期间被用作参考画 面时，将第一层画面改变为长期参考画面的原因是：在当被标记为短期参考画面的画面被 用作参考画面时基于P0C差对预测的运动矢量进行缩放的同时出现错误。例如，如果预 测的运动矢量被称为mvp，当前画面的P0C被称为P0C1，并且短期参考画面的P0C被称为 P0C2,则参考短期参考画面的当前画面的运动矢量经由缩放处理被获得，其中，所述缩放处 理包括使用P0C差的除法处理（例如，mvpAP0Cl-P0C2))。然而，由于当前画面和参考画面 在层间预测期间具有相同P0C，因此（P0C1-P0C2)为0。因此，如果与当前画面具有相同P0C 的参考画面被用作短期参考画面，则在确定当前画面的运动矢量期间可能出现错误。相反， 在使用被标记为长期参考画面的参考画面的情况下，不经由缩放处理来获得当前画面的运 动矢量，而是基于单独的信息来获得当前画面的运动矢量。因此，如果解码的当前画面可参 考具有相同P0C的另一层的画面被层间预测，则DPB控制器1630将被标记为短期参考画面 的参考画面改变为长期参考画面。
[0233] 视频解码器1610参考被标记为长期参考画面的第一参考画面来执行关于第二层 画面的层间预测，从而恢复第二层画面。在第二层画面被解码之后，视频解码器1610可将 被标记为长期参考画面的第一层画面再次标记为短期参考画面。因此，当在下一AU中具有 不同POC的画面被解码时，可更新被标记为短期参考画面的第一层画面的参考状态，然后 第一层画面可被具有不同POC的画面参考。
[0234] 根据本发明的实施例，在第二层画面被恢复之后，可基于第二层画面所属于的第 二层是否是基本层来将被标记为长期参考画面的第一层画面再次标记为短期参考画面。可 基于第二层画面的nuh_layer_id是否具有大于0的值来确定第二层是否是基本层。换句 话说，当第二层不是基本层，并且第二层画面由于参考被标记为长期参考画面的第一层画 面来执行层间预测而被解码时，可将第一层画面再次标记为短期参考画面。由于层间预测 不参考基本层的画面来执行，因此当针对第二层画面执行层间预测并且第二层不是基本层 时，可将被用作用于对第二层画面进行层间预测的参考画面的第一层画面再次标记为短期 参考画面。
[0235] 将在层间预测期间被用作参考画面的第一层画面从长期参考画面改变为短期参 考画面的原因是：为了基于从另一画面的条带头获得的RPS信息将第一层画面标记为随后 不被使用的状态或者标记为长期参考画面。可能不允许基于从属于另一AU的画面的条带 头获得的RPS信息将属于当前AU的画面从长期参考画面改变为短期参考画面，因此第一层 画面可在画面基于RPS信息被标记之前被标记为短期参考画面。
[0236] 然而，如果第一层画面被用作用于对属于同一AU的两个或更多个画面进行层间 预测的参考画面，则可重复地执行用于将第一层画面从短期参考画面标记为长期参考画面 的处理以及用于在画面被解码之后将第一层画面从长期参考画面标记为短期参考画面的 处理。
[0237] 因此，如果第一层画面被用作用于对同一AU中包括的一个或更多个画面进行层 间预测的参考画面，则根据本发明的实施例的DPB控制器1630可将第一层画面标记为长期 参考画面。例如，DPB控制器1630可基于信息InterlayerPredictionFlag将第一层画面标 记为长期参考画面，其中，信息InterlayerPredictionFlag指示第一层画面是否包括在与 同一AU中包括的一个或更多个画面有关的层间RPS信息中，或者指示第一层画面是否被用 作用于对同一AU中包括的其它画面进行层间预测的参考画面。另外，在同一AU中包括的 画面中的除了第一层画面之外的至少一个画面被解码之后，DPB控制器1630可将第一层画 面从长期参考画面标记为短期参考画面。例如，在同一AU中包括的所有画面被解码之后， DPB控制器1630可将第一层画面从长期参考画面标记为短期参考画面。
[0238] 另外，根据本发明的另一实施例，为了防止重复地进行基于层间RPS信息将第一 参考画面从短期参考画面标记为长期参考画面并在画面被解码之后将第一参考画面从长 期参考画面标记为短期参考画面，解码的第一层画面可被默认地标记为长期参考画面。换 句话说，当视频解码器1610将解码的画面首次存储在DPB1620中时，DPB控制器1630可 默认地将解码的画面标记为长期参考画面，而不是短期参考画面。
[0239] 可基于关于参考画面的信息，参考第一层画面对与被标记为长期参考画面的第一 层画面具有相同P0C的其它层的画面进行层间预测。例如，基于具有与第一层画面的P0C 不同的P0C或属于与第一层画面所属的AU不同的AU的画面的条带头的RPS信息，可将被 标记为长期参考画面的第一层画面标记为短期参考画面，或者可将被标记为长期参考画面 的第一层画面标记为不被用作参考画面。例如，如果基于关于不同AU的RPS信息，第一层 画面可被用作参考画面，则可将第一层画面标记为短期参考画面，或者可将第一层画面保 持为长期参考画面。另外，如果基于关于不同AU的RPS信息，第一层画面不被用作参考画 面，则可将第一层画面标记为不被用作为参考画面，并且从DPB1620删除第一层画面。
[0240] 在下文中，将参照图17至图21描述根据本发明的实施例或者本发明的其它实施 例的对多层视频进行解码的方法。
[0241] 图17和图18是示出根据本发明的实施例的对多层视频进行解码的方法的流程 图。
[0242] 参照图16和图17,在操作1710,视频解码器1610对第一层画面进行解码并将其 存储在DPB1620中，DPB控制器1630将解码的第一层画面标记为短期参考画面。
[0243] 在操作1720,解析单元1605获得关于与第一层画面具有相同第一P0C的第二层 画面的层间RPS信息。关于第二层画面的层间RPS信息可包括与在对第二层画面以及在第 二层画面之后被解码的画面进行层间预测期间所参考的参考画面有关的信息。例如，层间 RPS信息可包括关于在层间预测期间所参考的参考画面的层信息。
[0244] 在操作1730,DPB控制器1630基于层间RPS信息将被标记为短期参考画面的第一 层画面标记为长期参考画面。详细地讲，如果在第二层画面的层间RPS信息中所包括的关 于参考画面的层信息RefLayerld包括关于第一层画面的层信息nuh_layer_id，则DPB控制 器1630可将第一层画面从短期参考画面标记为长期参考画面。
[0245] 在操作1740,如果第一层画面被参考用于对第二层画面进行解码，则视频解码器 1610可参考第一层画面针对第二层画面执行层间预测。
[0246] 在操作1750,视频解码器1610可通过执行层间预测对第二层画面进行解码。与在 操作1710的第一层画面类似，可将解码的第二层画面存储在DPB1620,并且可将解码的第 二层画面标记为短期参考画面。
[0247] 在操作1760,DPB控制器1630可在第二层画面被解码之后将第一层画面标记为短 期参考画面。在同一方面，在第二层画面的情况下，如果与第一层画面类似，第二层画面基 于关于其它画面的RPS信息被标记为长期参考画面，则可在参考第二层画面对层间预测画 面进行解码之后将第二层画面标记为短期参考画面。
[0248] 将被用作参考画面的第一层画面从长期参考画面标记为短期参考画面的原因是： 为了基于从另一画面的条带头获得的RPS信息将第一层画面标记为长期参考画面或标记 为不被用作参考画面。如果画面基于从另一画面的条带头获得的RPS信息被标记，则可能 不允许将画面从长期参考画面标记为短期参考画面，因此第一层画面可在画面基于RPS信 息被标记之前被标记为短期参考画面。
[0249] 与图17不同，图18不出在存在与第一层画面具有相同第一P0C并参考第一层画 面被层间预测的两个或更多个画面的情况下对多层视频进行解码的方法。
[0250] 参照图16和图18,在操作1810,视频解码器1610对第一层画面进行解码并将其 存储在DPB1620中，DPB控制器1630将解码的第一层画面标记为短期参考画面。
[0251] 在操作1820,解析单元1605获得关于与第一层画面具有相同第一P0C的第二层 画面的层间RPS信息。关于第二层画面的层间RPS信息可包括与在对第二层画面以及在第 二层画面之后被解码的画面进行层间预测期间所参考的参考画面有关的信息。例如，层间 RPS信息可包括关于在层间预测期间所参考的参考画面的层信息。
[0252] 在操作1830,DPB控制器1630基于层间RPS信息将被标记为短期参考画面的第一 层画面标记为长期参考画面。详细地讲，如果在第二层画面的层间RPS信息中所包括的关 于参考画面的层信息RefLayerld包括关于第一层画面的层信息nuh_layer_id，则DPB控制 器1630可将第一层画面从短期参考画面标记为长期参考画面。
[0253] 在操作1840,如果第一层画面被参考用于对第二层画面进行解码，则视频解码器 1610可参考第一层画面针对第二层画面执行层间预测。
[0254] 在操作1850,视频解码器1610可通过执行层间预测对第二层画面进行解码。与在 操作1810的第一层画面类似，可将解码的第二层画面存储在DPB1620中，并且可将解码的 第二层画面标记为短期参考画面。
[0255] 在操作1860,DPB控制器1630可确定第二层画面是否是基本层。如果第二层画面 不是基本层，则在操作1870,DPB控制器1630可将被标记为长期参考画面的第一层画面标 记为短期参考画面。如果针对基本层不执行层间预测，则不执行在操作1860之后的与"是" 相应的进一步操作（虽然在图18中被示出）。
[0256] 在同一方面，在第二层画面的情况下，如果与第一层画面类似，第二层画面基于关 于其它画面的层间RPS信息被标记为长期参考画面，则可在参考第二层画面对属于非基本 层的层间预测画面进行解码之后将第二层画面标记为短期参考画面。
[0257] 将被用作参考画面的第一层画面从长期参考画面标记为短期参考画面的原因是： 为了基于从另一画面的条带头获得的RPS信息将第一层画面标记为长期参考画面或标记 为随后不被用作参考画面。如果画面基于从另一画面的条带头获得的RPS信息被标记，则 可能不允许将画面从长期参考画面标记为短期参考画面，因此第一层画面可在画面基于 RPS信息被标记之前被标记为短期参考画面。
[0258] 在操作1880,DPB控制器1630可确定在当前AU之后的下一AU中所包括的画面是 否正在被解码。换句话说，可确定当前AU的画面是否已完成解码并且下一AU的画面是否 正在被解码。
[0259] 如果下一AU的画面正在被解码，则在操作1890，DPB控制器1630可基于来自在下 一AU中所包括的第一条带头的RPS信息来标记第一层画面。换句话说，可基于来自在下一 AU中所包括的第一条带头的RPS信息将第一层画面标记为短期参考画面、长期参考画面或 不被用作参考画面的画面。
[0260] 换句话说，如果在操作1880,存在当前AU的未解码的画面，则解析单元1605可在 操作1820将未解码的画面用作用于操作1820至1880的第二层画面，并获得关于所述未解 码的画面的层间RPS信息。用于操作1820至1880的第一层画面也可以是DPB1620中所 存储的画面之中的至少一个画面。换句话说，多层视频解码设备1600可通过将属于当前AU 的未解码的画面用作第二层画面并将在对第二层画面进行层间预测期间所参考的至少一 个画面用作第一层画面来执行操作1820至1870。
[0261] 根据本发明的实施例的第一层画面可以是DPB1620中所存储的被用作用于对将 被解码的第二层画面进行层间预测的参考画面的画面之中的至少一个画面。
[0262] 可重复操作1820至1880直到属于当前AU的所有画面被解码为止。
[0263] 图19是示出根据本发明的另一实施例的对多层视频进行解码的方法的流程图。 基于根据本发明的另一实施例的对多层视频进行解码的方法，解码的第一层画面可被默认 地标记为长期参考画面。
[0264] 参照图16和图19,在操作1910,视频解码器1610对第一层画面进行解码并将其 存储在DPB1620中，DPB控制器1630将解码的第一层画面标记为长期参考画面。
[0265] 如果第一层画面被参考用于对第二层画面进行解码，则视频解码器1610参考第 一层画面执行关于第二层画面的层间预测。视频解码器1610可基于从关于第二层画面 的层间RPS信息获得的层间参考画面列表，参考第一层画面执行关于第二层画面的层间预 测。如果第二层画面可参考两个或更多个画面被层间预测，则第一层画面可以是两个或更 多个画面。
[0266] 视频解码器1610可通过执行层间预测对第二层画面进行解码。与操作1910的第 一层画面类似，可将解码的第二层画面标记为长期参考画面，并且可将被标记为长期参考 画面的第二层画面用作在随后对另一层的画面执行层间预测时的参考画面。
[0267] 在操作1920,DPB控制器1630可在当前AU中所包括的所有画面被解码之后，确定