到在获得预测的运动矢量期间可能出现的错误，将被用作用于层间预测的参考画面的第一 画面2610从短期参考画面标记为长期参考画面。由于第三画面2630和第一画面2610具 有相同P0C值，因此在获得预测的运动矢量期间可能出现错误，因此第一画面2610可被再 次标记为长期参考画面。可在第三层的第三画面2630被解码之后，再次将被标记为长期参 考画面的第一画面2610标记为短期参考画面。
[0330] 根据本发明的另一实施例，第一层的第一画面2610可在被解码并被存储在DPB 1620中之后被默认地标记为长期参考画面。在具有相同P0C值的第二画面2620和第三画 面2630被编码时，被标记为长期参考画面的第一画面2610可被参考用于层间预测。根据 本发明的另一实施例，可不重复将第一画面2610标记为长期参考画面的处理以及在第二 画面2620或第三画面2630被解码之后将第一画面2610标记为短期参考画面的处理。第 一画面2610可被标记为长期参考画面直到参考第一画面2610被层间预测并具有相同P0C 值的画面被解码为止。可基于关于具有不同P0C值并被包括在下一AU中的画面的RPS信 息来更新第一画面2610的参考画面状态。具有不同P0C值并被包括在下一AU中的画面可 以是在与第一画面2610相同的层上的第四画面2640。
[0331] 可基于关于在与第一层相同的层并具有不同P0C的第四画面2640的RPS信息来 更新第一画面2610的参考画面状态，其中，第一画面2610在被用作用于层间预测的参考画 面之后被标记为长期参考画面或短期参考画面。在图26的情况下，第四画面2640参考第 一画面2610,因此第一画面2610的参考画面状态可基于关于第四画面2640的RPS信息被 标记为短期参考画面或长期参考画面。如果第四画面2640不参考第一画面2610并且第一 画面2610不再被在第四画面2640之后解码的画面2650和2660参考，则第一画面2610的 参考画面状态被更新为不被用作参考画面的画面。
[0332] 图27是用于描述根据本发明的实施例的执行层间预测的示例的示图。
[0333] 参照图27,假设第一层的第一画面2710被首先解码，被标记为短期参考画面，并 被存储在DPB中。如图27中所示，第一层的第一画面2710是用于第二层的第二画面2720、 第三层的第三画面2730和同一层的具有不同P0C的第五画面2750的参考画面。在此情况 下，关于第二层的第二画面2720和第三层的第三画面2730的层间RPS信息可包括第一层 的作为关于将在层间预测期间被参考的参考画面的层信息的信息。
[0334] 因此，当第二层的第二画面2720被解码时，DPB控制器1630可基于关于第二图像 2720的层间RPS信息确定第一画面2710被用作用于对第二画面2720进行层间预测的参考 画面。如上所述，考虑到在获得预测的运动矢量期间可能出现的错误，将被用作用于层间预 测的参考画面的第一画面2710从短期参考画面标记为长期参考画面。
[0335] 当在第二层的第二画面2720被解码之后对第三层的第三画面2730进行解码时， DPB控制器1630可基于关于第三画面2730的层间RPS信息确定第一层的第一画面2710被 用作用于对第三画面2730进行层间预测的参考画面。因此，视频解码器1610可在对第三 画面2730进行解码时参考第一画面2710对第三画面2730进行层间预测。
[0336] 可选地，在第一画面2710被解码之后并在第二画面2720被解码之前，DPB控制 器1630可确定第一画面2710是否被用作用于其它层的画面的参考画面，并标记第一画面 2710。详细地讲，DPB控制器1630可基于指示第一画面2710是否被用作用于其它层的画 面的参考画面的标志将第一画面2710标记为短期参考画面、长期参考画面或不被用作参 考画面的画面。
[0337] 如果基于标志值确定第一画面2710将被用作用于对其它层的画面进行层间预测 的参考画面，则DPB控制器1630可将解码的第一画面2710标记为长期参考画面。可将被 标记为长期参考画面的第一画面2710用作在第二画面2720和第三画面2730被层间预测 时的参考画面。因此，可防止在参考第一画面2710对第二画面2720和第三画面2730进行 层间预测期间出现错误。
[0338] 相反，如果基于标志值确定第一画面2710不被用作用于对其它层的画面进行层 间预测的参考画面，则DPB控制器1630可将解码的第一画面2710标记为短期参考画面或 不被用作参考画面的画面。
[0339] 视频解码器1610可参考被标记为长期参考画面的第一画面2710针对第二画面 2720和第三画面2730执行层间预测解码。参考第一画面2710被解码的第二画面2720和 第三画面2730由DPB控制器1630存储在DPB中，并且可被标记为短期参考画面。可选地， 基于指示第二画面2720和第三画面2730是否被用作用于层间预测的参考画面的标志，可 将第二画面2720和第三画面2730中的每一个标记为短期参考画面、长期参考画面或不被 用作参考画面的画面。如果标志值为1，则第二画面2720或第三画面2730可被标记为长期 参考画面。如果标志值为0,则第二画面2720或第三画面2730中的每一个可被标记为短期 参考画面或不被用作参考画面的画面。可基于画面的Temporalld值是否小于指定的参考 值来获得该标志值。
[0340] 假设第三画面2730是第四画面2740的参考画面。在此情况下，关于第四画面2740 的层间RPS信息可包括第三层的作为关于将在层间预测期间被参考的参考画面的层信息 的信息。
[0341] 因此，当第四画面2740被解码时，DPB控制器1630可基于关于第四画面2740的 层间RPS信息确定第三画面2730被用作用于对第四画面2740进行层间预测的参考画面。 如上所述，考虑到在获得预测的运动矢量期间可能出现的错误，将被用作用于层间预测的 参考画面的第三画面2730从短期参考画面标记为长期参考画面。然而，如果基于标志值， 第三画面2730已被标记为长期参考画面，则不进行将第三画面2730标记为长期参考画面 的操作。
[0342] DPB控制器1630可确定第四画面2740是否被用作用于对其它层的画面进行层间 预测的参考画面。DPB控制器1630可基于指示第四画面2740是否被用作用于对其它层 的画面进行层间预测的参考画面的标志来将第四画面2740标记为不被用作参考画面的画 面，并可从DPB1620删除第四画面2740。参照图27,第四画面2740不被用作用于对其它 层的画面进行层间预测的参考画面。因此，DPB控制器1630可基于针对第四画面2740获得 的信息来确定第四画面2740不被用作用于对其它层的画面进行层间预测的参考画面。DPB 控制器1630可将第四画面2740标记为不被用作参考画面的画面，并从DPB1620删除第四 画面2740。由于第四画面2740可在被解码之后基于指示第四画面2740是否被用作参考画 面的标志值而从DPB1620中被立即删除，因此DPB1620的容量可被最小化。
[0343] 如果当前AU中的所有编码画面被解码，则DPB控制器1630可将第一画面2710、第 二画面2720和第三画面2730标记为短期参考画面。
[0344] 在下文中，将参照图27来描述完成当前AU中的解码并对用于执行下一 AU中的解 码的参考画面进行标记的示例。
[0345] 可基于与同样位于第一层上并具有不同P0C的第五画面2750有关的RPS信息来 更新被标记为短期参考画面的第一画面2710的参考画面状态。具有与第一画面2710的 P0C不同的P0C的第五画面2750属于与第一画面2710所属的AU不同的AU。在图27的情 况下，第五画面2750参考第一画面2710,第一画面2710的参考画面状态可基于关于第五画 面2750的RPS信息被标记为短期参考画面或长期参考画面。如果第五画面2750不参考第 一画面2710,并且第一画面2710不再被在第五画面2750之后解码的其它画面2760、2770 和2780参考，则第一画面2710的参考画面状态被更新为不被用作参考画面的画面。
[0346] 基于与位于相同第二层上并具有不同P0C的第六画面2760有关的RPS信息来更 新被标记为短期参考画面的第二画面2720的参考画面状态。在图27的情况下，第六画面 2760参考第二画面2720,第二画面2720的参考画面状态可基于关于第六画面2760的RPS 信息被标记为短期参考画面或长期参考画面。如果第六画面2760不参考第二画面2720,并 且第二画面2720不再被在第六画面2760之后解码的其它画面2770和2780参考，则第二 画面2720的参考画面状态被更新为不被用作参考画面的画面。
[0347] 被标记为短期参考画面的第三画面2730和第四画面2740在与P0C2值相应的下 一AU中不再被参考，因此第三画面2730和第四画面2740中的每一个的参考画面状态可被 更新为不被用作参考画面的画面。
[0348] 图28示出根据本发明的实施例的用于执行层间预测的代码的示例。
[0349] 参照用于更新被参考以层间预测的画面的代码2810,与当前画面具有相同P0C并 且参考层IDRefLayerld与层IDnuh_layer_id彼此相同的画面RefPicSetlnterLayer 可被标记为长期参考画面。与当前画面具有相同P0C并且参考层IDRefLayerld与 层IDnuh_layer_id彼此相同的画面可以是被参考以对当前画面进行层间预测的画面 RefPicSetlnterLayer。换句话说，可将被用作用于对当前画面进行层间预测的参考画面的 画面标记为长期参考画面。
[0350] 另外，如果具有大于0的层IDnuh_layer_id的画面被解码（2820)，则被参考以对 解码的画面进行层间预测的画面RefPicSetlnterLayer可被标记为短期参考画面（2830)。 换句话说，如果不是基本层的层的画面经由层间预测被解码，则用于层间预测的画面可被 标记为短期参考画面。
[0351] 图29示出根据本发明的另一实施例的用于执行层间预测的代码的示例。
[0352] 参照代码2910,基于存储在DPB中的画面的第一条带中包括的RPS信息，存储在 DPB中的画面可被标记为短期参考画面或不被用作参考画面的画面。
[0353] 参照代码2920,在当前画面的所有条带被解码之后，解码的画面可被标记为长期 参考画面。
[0354] 换句话说，当画面被解码之后，解码的画面可被默认地标记为长期参考画面，并且 层间预测可被执行，因此当前AU中包括的画面可被解码。另外，如果与被标记为长期参考 画面的画面位于同一层上的画面被解码，则可基于与位于同一层上的正被解码的画面有关 的RPS信息对被标记为长期参考画面的画面进行标记。
[0355] 图30示出根据本发明的实施例的基于层间RPS信息执行层间预测的代码的示例。
[0356] 如果当前AU中具有大于0的层IDnuh_layer_id的所有画面被解码（2820)，则 将这样的画面标记为短期参考画面（3020):该画面具有相同P0C值，具有与当前AU中的层 ID相同的层ID，并被标记为长期参考画面。
[0357] 换句话说，如果与不是基本层的层相应的所有画面被解码，则被标记为长期参考 画面的画面可被标记为短期参考画面，并且该画面的参考画面状态可基于关于下一AU中 包括的画面的RPS信息被更新。
[0358] 图31示出根据本发明的实施例的基于层间预测标志执行层间预测的代码的示 例。
[0359] 参照代码3110,在当前画面被解码之后，如果关于解码的当前画面的 InterlayerPredictionFlag的值为1，则解码的当前画面可被标记为长期参考画面，或者， 如果关于解码的当前画面的InterlayerPredictionFlag的值为0,则解码的当前画面可被 标记为短期参考画面。如果关于解码的当前画面的InterlayerPredictionFlag的值为1， 则解码的当前画面可被用作用于对其它层的画面进行层间预测的参考画面，因此，解码的 当前画面可被标记为长期参考画面来执行层间预测。
[0360] 另外，如果具有大于0的层IDnuh_layer_id的所有画面被解码（3120)，则具有相 同P0C值并且InterlayerPredictionFlag值为1的画面可被标记为短期参考画面（3130)。 换句话说，如果与非基本层相应的所有画面被解码，则被用作用于层间预测的参考画面的 画面可被标记为短期参考画面，并且该画面的参考画面状态可基于关于同一AU中包括的 画面的RPS信息被更新。
[0361] 图32示出根据本发明的实施例的获得层间预测标志的代码的示例。
[0362] 参照语法3210,可针对每个层获得max_sublayer_for_ilp_plusl[i]的值。
[0363] 参照代码3220,如果每个层的Temporalld的值小于max_sublayer_for_ilp_ plusl[i]_l，则InterlayerPredictionFlag可具有值 1。如果每个层的Temporalld的值大 于max_sublayer_for_ilp_plusl[i]_l，则InterlayerPredictionFlag可具有值 0〇 换句 话说，可基于各个相应层的Temporalld值来确定每个层的画面是否被用作用于对其它层 的画面进行层间预测的参考画面。
[0364] 图33示出根据本发明的实施例的用于基于层间预测标志对画面进行标记的代码 的示例。
[0365] 参照代码3310和3320,如果关于与当前画面具有相同P0C、与当前 解码的层具有相同的层ID、且未被标记为不被用作参考画面的画面（3310)的 InterlayerPredictionFlag的值为0,则该画面可被标记为不被用作参考画面的画面 (3320)并从DPB1620中被删除。
[0366] 由于具有InterlayerPredictionFlag值0的画面在层间预测期间不被用作参考 画面，因此该画面可被视为是不适合被另一画面参考的画面，并且被标记为不再被用作参 考画面的画面，从而使DPB1620的容量最小化。
[0367] 根据本发明的实施例，可通过反映多层视频中包括的画面之间的层间预测来有效 地传输画面之间的参考关系。另外，根据本发明的实施例，可有效地管理用于对多层视频进 行解码的解码画面缓冲器。
[0368] 本发明也可被实现为计算机可读记录介质上的计算机可读代码（术语计算机包 括能够处理数据的所有装置）。计算机可读记录介质是可存储随后可由计算机系统读取的 数据的任意数据存储装置。计算机可读记录介质的示例包括只读存储器（ROM)、随机存取存 储器（RAM)、CD-ROM、磁带、软盘、光学数据存储装置。
[0369] 虽然本发明构思已参照本发明构思的示例性实施例被具体示出和描述，但是将理 解，可在不脱离权利要求的精神和范围的情况下，在示例性实施例中作出形式和细节上的 各种改变。
【主权项】
1. 一种对多层视频进行解码的方法，所述方法包括： 对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器（DPB)中，并将 第一层画面标记为短期参考画面； 获得关于与第一层画面具有相同第一画面顺序计数（POC)的第二层画面的层间参考 画面集（RPS)信息； 基于所述层间RPS信息将被标记为短期参考画面的第一层画面标记为长期参考画面； 参考第一层画面针对第二层画面执行层间预测； 基于执行层间预测的结果对第二层画面进行解码； 在第二层画面被解码之后，将被标记为长期参考画面的第一层画面标记为短期参考画 面。2. 如权利要求1所述的方法，其中，所述层间RPS信息包括与被用于对第二层画面或在 第二层画面之后解码并具有第一POC的画面进行层间预测的参考画面有关的信息， 在将第一层画面标记为长期参考画面的过程中，如果在所述层间RPS信息中包括的关 于参考画面的层信息RefLayerld包括关于第一层画面的层信息nuh_layer_id，则将被标 记为短期参考画面的第一层画面标记为长期参考画面。3. 如权利要求1所述的方法，还包括： 获得关于在第二层画面之后被解码并与第一层画面具有不同的第二POC的画面的RPS信息； 基于获得的RPS信息来更新被标记为短期参考画面的第一层画面的参考画面状态。4. 如权利要求1所述的方法，其中，将被标记为长期参考画面的第一层画面标记为短 期参考画面的步骤包括：在当前访问单元的层的编码画面中的至少一个编码画面被解码之 后，将被标记为长期参考画面的第一层画面标记为短期参考画面。5. -种对多层视频进行解码的方法，所述方法包括： 对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器（DPB)中； 获得指示第一层画面是否被用作用于层间预测的参考画面的信息； 基于获得的信息对第一层画面进行标记。6. 如权利要求5所述的方法，其中，对第一层画面进行标记的步骤包括：如果第一层画 面被用作用于层间预测的参考画面，则将第一层画面标记为长期参考画面。7. 如权利要求6所述的方法，其中，如果第一层画面被用作用于层间预测的参考画面， 则所述方法还包括： 参考第一层画面针对第二层画面执行层间预测； 基于执行层间预测的结果来对第二层画面进行解码。8. 如权利要求6所述的方法，还包括：在当前访问单元的层的编码画面之中的至少一 个编码画面被解码之后，将被标记为长期参考画面的第一层画面标记为短期参考画面。9. 如权利要求5所述的方法，其中，对第一层画面进行标记的步骤包括：如果第一层画 面不被用作用于对其它层的具有第一POC值的画面进行层间预测的参考画面，则将第一层 画面标记为短期参考画面。10. 如权利要求5所述的方法，其中，获得指示第一层画面是否被用作用于层间预测的 参考画面的信息的步骤包括：基于关于第一层画面的画面质量和时间分层信息之中的至少 一个，获得指示第一层画面是否被用作用于对其它层的具有第一POC值的画面进行层间预 测的参考画面的信息。11. 如权利要求10所述的方法，其中，对第一层画面进行标记的步骤包括：如果第一层 画面不被用作用于对其它层的具有第一P0C值的画面进行层间预测的参考画面，则将第一 层画面标记为不被用作参考画面的画面。12. -种对多层视频进行解码的方法，所述方法包括： 对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器（DPB)中，并将 第一层画面标记为长期参考画面； 在当前访问单元中包括的所有画面被解码之后，获得关于与第一层画面具有不同的第 二P0C的画面的RPS信息； 基于获得的RPS信息来更新被标记为长期参考画面的第一层画面的参考画面状态。13. -种多层视频解码设备，包括： 解码画面缓冲器，存储解码的画面； 解析单元，获得关于与先前解码的第一层画面具有相同的第一画面顺序计数（P0C)的 第二层画面的层间参考画面集（RPS)信息； 解码画面缓冲器控制器，将第一层画面存储在解码画面缓冲器中，将第一层画面标记 为短期参考画面，基于所述层间RPS信息将被标记为短期参考画面的第一层画面标记为长 期参考画面，并在第二层画面被解码之后，将被标记为长期参考画面的第一层画面标记为 短期参考画面； 视频解码器，对多层中包括的画面进行解码，并参考第一层画面针对第二画面进行层 间预测。14. 一种多层视频解码设备，包括： 解码画面缓冲器，存储解码的画面； 解析单元，获得指示第一层画面是否被用作用于层间预测的参考画面的信息； 解码画面缓冲器控制器，将第一层画面存储在解码画面缓冲器中，并基于获得的信息 对第一层画面进行标记； 视频解码器，对多层中包括的画面进行解码。15. 如权利要求14所述的设备，其中，解析单元基于关于第一层画面的画面质量和时 间分层信息之中的至少一个来获得指示第一层画面是否被用作用于层间预测的参考画面 的信息。
【专利摘要】公开了一种对多层视频进行解码的方法，包括以下步骤：对第一层画面进行解码，将解码的第一层画面存储在解码画面缓冲器(DPB)中；将第一层画面标记为短期参考画面；获得关于与第一层画面具有相同第一画面顺序计数(POC)的第二层画面的层间参考画面集(RPS)信息；基于所述层间RPS信息将已被标记为短期参考画面的第一层画面标记为长期参考画面；参考第一层画面对第二层画面执行层间预测；基于执行层间预测的结果对第二层画面进行解码；在第二层画面被解码之后，将已被标记为长期参考画面的第一层画面标记为短期参考画面。
【IPC分类】H04N19/30
【公开号】CN105284115
【申请号】CN201480032588
【发明人】崔秉斗, 朴慜祐, 魏浩千, 尹载元, 李振荣, 曹容振
【申请人】三星电子株式会社
【公开日】2016年1月27日
【申请日】2014年4月7日
【公告号】EP2978221A1, US20160050424, WO2014163452A1