在当前AU之后的下一AU中所包括的画面是否正被解码，并可获得关于属于下一AU的画面 的RPS信息。换句话说，可确定是否当前AU的画面已完成解码并且下一AU的画面正在被 解码。
[0268] 如果下一AU的画面正在被解码，则在操作1950，DPB控制器1630可基于来自在下 一AU中所包括的第一条带头的RPS信息来标记第一层画面。换句话说，可基于来自在下一 AU中所包括的第一条带头的RPS信息将第一层画面标记为短期参考画面、长期参考画面或 不被用作参考画面的画面。
[0269] 图20是示出根据本发明的实施例的基于层间RPS信息对多层视频进行解码的方 法的流程图。
[0270] 参照图16和图20,在操作2010,视频解码器1610对第一层画面进行解码并将其 存储在DPB1620中，DPB控制器1630将解码的第一层画面标记为短期参考画面。
[0271] 在操作2020,解析单元1605获得关于与第一层画面具有相同第一P0C的第二层 画面的层间RPS信息。关于第二层画面的层间RPS信息可包括与在对第二层画面以及在第 二层画面之后被解码的画面进行层间预测期间所参考的参考画面有关的信息。例如，层间 RPS信息可包括关于在层间预测期间所参考的参考画面的层信息。
[0272] 在操作2030,DPB控制器1630基于层间RPS信息将被标记为短期参考画面的第一 层画面标记为长期参考画面。详细地讲，如果在关于第二层画面的层间RPS信息中所包括 的关于参考画面的层信息RefLayerld包括关于第一层画面的层信息nuh_layer_id，则DPB 控制器1630可将第一层画面从短期参考画面标记为长期参考画面。如果第一层画面已被 标记为长期参考画面，则第一层画面可被保持为长期参考画面。
[0273] 在操作2040,如果第一层画面被参考用于对第二层画面进行解码，则视频解码器 1610可参考第一层画面针对第二层画面执行层间预测。
[0274] 在操作2050,视频解码器1610可通过执行层间预测对第二层画面进行解码。与在 操作2010中的第一层画面类似，解码的第二层画面被存储在DPB1620中，并且可被标记为 长期参考画面。与在操作2010中的第一层画面类似，当针对其它画面执行层间预测时，解 码的第二层画面可基于关于各个画面的层间RPS信息被标记为长期参考画面，并被用作用 于层间预测的参考画面。
[0275] 在操作2060,DPB控制器1630可确定属于当前AU的各个层的编码画面之中的 至少一个画面是否被解码。如果属于当前AU的各个层的编码画面中的至少一个画面或所 有画面未被解码，则多层视频解码设备1600可通过将未解码的画面用作第二层画面并将 在对第二层画面进行层间预测期间所参考的至少一个画面作用第一层画面来执行从操作 2020开始的操作。
[0276] 如果确定属于当前AU的各个层的编码画面中的至少一个画面或所有画面被解 码，则在操作2060,DPB控制器1630可将第一层画面标记为短期参考画面。
[0277] 可重复操作1220至2060直到属于当前AU的画面中的至少一个画面或所有画面 被解码为止。
[0278] 如果下一AU的画面正在被解码，则在操作2080，DPB控制器1630可基于来自在下 一AU中所包括的第一条带头的RPS信息来标记第一层画面。换句话说，可基于来自在下一 AU中所包括的第一条带头的RPS信息将第一层画面标记为短期参考画面、长期参考画面或 不被用作参考画面的画面。
[0279] 图21a是示出根据本发明的实施例的基于层间预测标志对多层视频进行解码的 方法的流程图。
[0280] 参照图16和图21a，在操作2101，视频解码器1610对第一层画面进行解码并将其 存储在DPB1620中。
[0281] 在操作2102,解析单元1605可获得以下信息：该信息指示第一层画面是否被用作 用于针对与第一层画面具有相同P0C值的其它层的画面进行层间预测的参考画面。
[0282] 在操作2103,DPB控制器1630可基于在操作2102获得的信息来标记第一层画面。 可基于在操作2102获得的信息将第一层画面标记为长期参考画面、短期参考画面或不被 用作参考画面的画面。
[0283] 图21b是示出根据本发明的实施例的基于层间预测标志对多层视频进行解码的 方法的流程图。
[0284] 参照图16和图21b，在操作2105,视频解码器1610可对第一层画面进行解码并将 其存储在DPB1620中。
[0285] 在操作2110,解析单元1605可获得InterlayerPredictionFlag标志，其中， InterlayerPredictionFlag标志指示第一层画面是否被用作用于对其它层的画面进行层 间预测的参考画面。
[0286] 在操作2115,如果在操作2110获得的标志的值是1，则第一层画面可被用作用于 对其它层的画面进行层间预测的参考画面，因此在操作2120,DPB控制器1630可将第一层 画面标记为长期参考画面。
[0287] 在操作2115,如果在操作2110获得的标志的值是0,则第一层画面不被用作用于 对其它层的画面进行层间预测的参考画面，因此在操作2150,DPB控制器1630可将第一层 画面标记为短期参考画面。在操作2155,可基于来自下一AU的条带头的RPS信息对被标记 为短期参考画面的第一层画面进行标记。可选地，具有标志值〇的第一层画面可被认为是 不适合被用作用于层间预测的参考画面的画面，因此可将该第一层画面标记为不被用作参 考画面的画面，并且从DPB1620删除该第一层画面。换句话说，可将具有标志值0的画面 标记为短期参考画面或者不被用作参考画面的画面。
[0288] 在操作2130,如果第一层画面被参考用于对第二层画面进行解码，则视频解码器 1610可参考第一层画面针对第二层画面执行层间预测。
[0289] 在操作2135,视频解码器1610可通过执行层间预测对第二层画面进行解码。与在 操作2105的第一层画面类似，将解码的第二层画面存储在DPB1620中。与在操作2105的 第一层画面类似，基于解码的第二层画面是否被用作在针对其它画面执行层间预测时的参 考画面，解码的第二层画面可被标记为长期参考画面并被用作用于层间预测的参考画面。
[0290] 在操作2140,DPB控制器1630可确定属于当前AU的各个层的解码的画面之中的 至少一个画面是否被解码。如果属于当前AU的各个层的解码画面中的至少一个画面或所 有画面未被解码，则在操作2145,多层视频解码设备1600可通过将未解码的画面用作第二 层画面并将在对第二层画面进行层间预测期间所参考的至少一个画面用作第一层画面来 执行从操作2130开始的操作。
[0291] 如果确定属于当前AU的各个层的解码的画面中的至少一个画面或所有画面被解 码，则在操作2150,DPB控制器1630可将第一层画面标记为短期参考画面。另外，在操作 2150,DPB控制器1630不仅可将第一层画面标记为短期参考画面，还可将在操作2110获得 的具有标志值1的画面标记为短期参考画面。
[0292] 可重复操作2130至2140直到属于当前AU的画面中的至少一个画面或所有画面 被解码为止。
[0293] 如果下一AU的画面正在被解码，则在操作2155，DPB控制器1630可基于来自在下 一AU中所包括的第一条带头的RPS信息来标记第一层画面。换句话说，可基于来自在下一 AU中所包括的第一条带头的RPS信息将第一层画面标记为短期参考画面、长期参考画面或 不被用作参考画面的画面。
[0294] 在下文中，将详细描述根据本发明的实施例的用于确定被先前解码并被存储在 DPB中的画面的参考画面状态的RPS信息。
[0295] RPS信息是用于管理被先前解码并存储在DPB中的画面的信息。被先前解码并被 存储在DPB中的画面可不再被用作解码过程的参考画面。考虑到DPB的有限容量，必需在 解码过程期间有效地管理存储在DPB中的解码画面。
[0296] 被先前解码并被存储在DPB中的画面被标记为"用于短期参考"、"用于长期参考" 或"不用于参考"。标记为不被用作参考画面的画面的参考画面在预测处理期间不再被用作 参考画面，并从DPB被删除。根据本发明的实施例，可针对每个画面的每个条带用信号发送 RPS信息。例如，RPS信息可被包括在每个画面的第一条带的头中并用信号发送。针对每个 画面的每个条带发送RPS信息的原因是为了保证抗错鲁棒性。另外，根据本发明的实施例， RPS信息可包括与由当前画面以及在当前画面之后被解码的画面所使用的参考画面有关的 信息。
[0297] 图23是示出根据本发明的实施例的用于描述RPS的编码结构的示图。
[0298] 图23示出画面之间的参考关系。箭头指示参考方向。换句话说，示出了 ：画面10 2310被用作用于画面P12320、画面B22330和画面B32340的参考画面。被分配给画面I、B 和P的数字指示解码顺序。换句话说，画面102310、画面P12320、画面B22330、画面B32340 和画面B42350按照注明的顺序被解码。另外，各个画面被排列的顺序表示输出顺序。换句 话说，画面102310、画面B32340、画面B22330、画面B42350和画面P12320按照注明的顺序 被输出。
[0299] 表2示出与具有图23中示出的参考关系的编码结构相应的RPS信息的示例。
[0300] [表 2]
[0301]
[0302] 参照表2,RPS信息可包括例如{:参考画面，被当前画面使用}。"参考画面"是指 这样的画面：该画面基于解码顺序在当前画面之前被先前解码并被存储在DPB中，并被用 作用于当前画面或者在当前画面之后的画面的参考画面。"被当前画面使用"是指示DPB中 存储的画面是被用作用于当前画面的参考画面还是被用作用于在当前画面之后被解码的 画面的参考画面的标志。换句话说，如果标志"被当前画面使用"的值为1，则指示相应画面 被当前画面参考。如果标志"被当前画面使用"的值为0,则指示相应画面被用作用于在当 前画面之后被解码的画面的参考画面。
[0303] 参照图23,画面10 2310是被首先解码的IDR画面。由于不存在按照解码顺序在 IDR画面之前被解码的画面，因此关于作为IDR画面的画面10 2310的RPS信息不被信号发 送。接下来被解码的画面P1 2320将画面10 2310用作参考画面。因此，画面P1 2320的 条带头中包括的RPS信息包括RPS信息{10,1}，指示被先前解码的画面10是被用作用于画 面P1 2320的参考画面还是被用作在画面P1 2320之后被解码的画面。类似地，按顺序解 码的画面B2 2330将被先前解码并被存储在DPB中的画面10 2310和画面P1 2320两者用 作参考画面，关于画面B2 2330的RPS信息包括{10,1}和{P1，1}。
[0304] 由于按顺序解码的画面B3 2340参考画面10 2310和画面B2 2330被预测，因此 关于画面B3 2340的RPS信息包括{10,1}和{B2,1}。画面P1 2320不被用作用于画面B3 2340的参考画面，但被用作用于画面Μ2350的参考画面，其中，画面Μ2350是在画面B3 2340之后被解码的画面。因此，关于画面Β3 2340的RPS信息包括{Ρ1，0}。换句话说，如 果画面Β3 2340的条带头中包括的RPS信息包括{Ρ1，0}，则画面Ρ1 2320不被用作用于当 前正被解码的画面Β3 2340的参考画面，但被用作用于在画面Β3 2340之后被解码的画面 的参考画面。
[0305] 按顺序被解码的画面Μ2350将画面Β2 2330和画面Ρ1 2320用作参考画面。因 此，关于画面Μ2350的RPS信息包括{Ρ1，1}和{Β2,1}。
[0306] 当各个画面根据解码顺序被解码时，被先前解码并被存储在DPB中的画面的参考 状态可基于关于各个画面的RPS信息被改变。例如，关于画面Μ2350的RPS信息不包括 画面10 2310。因此，可确定画面Μ2350和在画面Μ2350之后被解码的画面不再将画面 10 2310用作参考画面，并且画面10 2310可被标记为不被用作参考画面的画面。
[0307] 另外，根据本发明的实施例，在当前画面被解码之前对每个画面的条带头中包括 的RPS彳目息进行解码。
[0308] 图24是示出根据本发明的实施例的对RPS信息进行解码和对当前图像进行解码 的流程图。
[0309] 参照图24,在操作2410,基于关于当前图像的RPS信息标记在DPB中存储的解码 的画面。如果RPS信息不可用或者画面是首次被解码并被存储在DPB中，则相应画面被标 记为短期参考画面。
[0310] 在操作2420,基于关于当前画面的RPS信息从DPB输出或删除DPB中存储的画面。
[0311] 在操作2430,对当前画面进行解码，在操作2440,将解码的当前画面存储在DPB 中，其中，DPB中存储的解码的当前画面被标记为短期参考画面。被标记为短期参考画面的 当前画面的参考画面状态基于关于在当前画面之后被解码的画面的RPS信息而被改变。
[0312] 如上所述，根据本发明的实施例，RPS信息在当前画面被解码之前而被解码，在 DPB中存储的参考画面基于RPS信息被排列，并且当前画面通过使用DPB中的排列后的参考 画面被解码。
[0313] 如上所述，RPS信息被包括在每个画面的条带头中并用信号发送。然而，由于按照 解码顺序不存在在IDR画面之前被解码的画面，因此不针对IDR画面用信号发送RPS信息。 然而，可针对除了IDR画面之外的RAP画面的条带I发送RPS信息，因为可允许按照解码顺 序在画面I之后解码的画面参考在画面I之前解码的画面。
[0314] 可通过指示输出顺序的P0C信息来识别RPS信息中包括的画面中的每一个画面。 可通过使用指示所有P0C值的最低有效位（LSB)的pic_order_cnt_lsb来用信号发送RPS 信息中包括的画面的P0C。
[0315] 另外，根据本发明的实施例的关于RPS信息中包括的参考画面的信息可被分 类为6个子集，包括第一短期RPS信息（RefPicSetStCurrBefore)、第二短期RPS信 息（RefPicSetStCurrAfter)、第三短期RPS信息（RefPicSetStFoll)、第一长期RPS 信息（RefPicSetLtCurr)、第二长期RPS信息（RefPicSetLtFoll)和层间RPS信息 (RefPicSetlvCurr) 〇
[0316] 第一短期RPS信息（RefPicSetStCurrBefore)包括关于这样的短期参考画面的信 息：该短期参考画面与当前画面包括在同一层中，解码顺序和输出顺序两者均在当前画面 之前，并且可被用作用于当前画面的参考画面。
[0317] 第二短期参考RPS信息（RefPicSetStCurrAfter)包括关于这样的短期参考画 面的信息：该短期参考画面与当前画面包括在同一层中，解码顺序在当前画面之前，输 出顺序在当前画面之后，并且可被用作用于当前画面的参考画面。第三短期RPS信息 (RefPicSetStFoll)包括关于这样的短期参考画面的信息：该短期参考画面与当前画面包 括在同一层中，可被解码顺序在当前画面之后的画面参考，并且不被用作用于当前画面的 参考画面。
[0318] 第一长期RPS信息（RefPicSetLtCurr)包括关于这样的长期参考画面的信息：该 长期参考画面与当前画面包括在同一层中，并且可被用作用于当前画面的参考画面。第二 长期RPS信息（RefPicSetLtFoll)包括关于这样的长期参考画面的信息：该长期参考画面 可被解码顺序在当前画面之后的画面参考，并且不被用作用于当前画面的参考画面。
[0319] 层间RPS信息（RefPicSetlvCurr)包括关于这样的参考画面的信息：该参考画面 与当前画面具有相同P0C，属于与当前画面的层不同的层，并且可被用作用于当前画面的参 考画面。
[0320] 如上所述，DPB控制器1630将DPB1620中存储的画面标记为短期参考画面、 长期参考画面或不被用作参考画面的画面。DPB控制器1630可基于第一短期RSP信息 (RefPicSetStCurrBefore)、第二短期RPS信息（RefPicSetStCurrAfter)、第三短期RPS 信息（RefPicSetStFoll)、第一长期RPS信息（RefPicSetLtCurr)和第二长期RPS信息 (RefPicSetLtFoll)来确定DPB1620中存储的画面是否被用作用于当前画面的参考画面。 如果DPB1620中存储的画面被包括在第一短期RPS信息（RefPicSetStCurrBefore)、第二 短期RPS信息（RefPicSetStCurrAfter)、第一长期RPS信息（RefPicSetLtCurr)和层间RPS 信息（RefPicSetlvCurr)中的一个中，则确定DPB1620中存储的画面被用作用于当前画面 的参考画面。如果DPB1620中存储的图像被包括在第三短期RPS信息（RefPicSetStFoll) 和第二长期RPS信息（RefPicSetLtFoll)之中的一个中，则DPB1620中存储的画面不被用 作用于当前画面的参考画面并且可被用作用于在当前画面之后解码的画面的参考画面。
[0321] 图25是用于描述根据本发明的实施例的除了层间RPS信息之外的RPS子集的示 图。
[0322] 在图25中，假设当前画面是画面B14 2550,箭头指示参考方向，并且在画面B14 2550之前解码的画面之中只有画面10 2510和画面P4 2520被标记为长期参考画面。另 外，各个画面被排列的顺序指示输出顺序，而被分配给各个画面的数字指示解码顺序。
[0323] 当画面B14 2550被解码时，画面P8 2530被画面B14 2550参考。由于画面P8 2530的解码顺序和输出顺序两者均在画面B14 2550之前，因此画面B14 2550的第一短期 RPS信息（RefPicSetStCurrBefore)包括画面P8 2530。画面P12 2540 被画面B14 2550 参 考，解码顺序在画面B14 2550之前，但输出顺序在画面B14 2550之后。因此，画面B14 2550 的第二短期RPS信息（RefPicSetStCurrAfter)包括画面P12 2540。虽然画面P13 2560不 被画面B14 2550参考，但是画面P13 2560被在画面B14 2550之后解码的画面B15 2570 参考。因此，画面B14 2550的第三短期RPS信息（RefPicSetStFoll)包括画面P13 2560。
[0324] 画面P4 2520是长期参考画面，并被用作用于画面B14 2550的参考画面。因此， 画面B14 2550的第一长期RPS信息（RefPicSetLtCurr)包括画面P4 2520。画面10 2510 是长期参考画面，并且不被用作用于画面B14 2550的参考画面。然而，画面10 2510被用 作用于在画面B14 2550之后解码的画面B15 2570的参考画面。因此，画面B14 2550的第 二长期RPS信息（RefPicSetLtFoll)包括画面 10 2510。
[0325] 如上所述，根据本发明的实施例的RPS信息不仅包括基于同一层获得的五 个子集，还可包括与被用作用于层间预测的参考画面的画面有关的层间RPS信息 (RefPicSetlvCurr) 〇
[0326] 图26是用于描述层间RPS信息的示图。
[0327] 参照图26,假设第一层的第一画面2610被首先解码，被标记为短期参考画面，并 被存储在DPB中。如图26中所示，第一层的第一画面2610是用于第二层的第二画面2620、 第三层的第三画面2630以及同一层的具有不同POC的第四画面2640的参考画面。在此情 况下，关于第二层的第二画面2620和第三层的第三画面2630的层间RPS信息可包括第一 层的作为关于在层间预测期间将被参考的参考画面的层信息的信息。
[0328] 因此，当第二层的第二画面2620被解码时，DPB控制器1630可基于关于第二画面 2620的层间RPS信息确定第一画面2610被用作用于对第二画面2620进行层间预测的参考 画面。如上所述，考虑到在获得预测的运动矢量期间可能出现的错误，将被用作用于层间预 测的参考画面的第一画面2610从短期参考画面标记为长期参考画面。
[0329] 可在第二层的第二画面2620被解码之后将被标记为长期参考画面的第一画面 2610标记为短期参考画面。然后，当第三画面2630被解码时，可获得关于第三画面2630的 层间RPS信息。基于关于第三画面2630的层间RPS信息，DPB控制器1630可确定第一层 的第一画面2610被用作用于对第三画面2630进行层间预测的参考画面。如上所述，考虑