构建层间参考图像列表的制作方法
【技术领域】
[0001] 本发明涉及构建对于当前图像的层间预测的参考图像的至少一个列表的方法，用 于构建对于当前图像的层间预测的参考图像的至少一个列表的设备，对应的计算机程序， 以及对应的计算机程序产品。
【背景技术】
[0002] 高效视频编码（HEVC)核心标准最近已经由国际电信联盟（ITU-T Rec. H. 265)和运 动图像专家组（MPEG) (IS0/IEC 23008-2/MPEG-H Part 2)完成。对于HEVC标准的分层扩 展在发展中，例如，多视图扩展（MV-HEVC)、3D扩展（3D-HEVC)，以及可扩缩扩展（SHVC)。可 以在将来指定进一步的扩展，或现有扩展的组合。
[0003] HEVC及其扩展广泛使用预测编码工具。从解码器视角，使用用于预测的先前解码 的像素数据来重建像素数据。特别地，对于图像间预测，先前解码的图像，所谓的参考图像， 在当前图像的重建过程中用于预测。
[0004] 根据HEVC规范，每个图像被再分成一个或多个片，以及每个片可以含有多个块 (更具体地，块状编码单元和预测单元)。可以用作用于解码当前片的预测参考的图像被放 置在所谓的参考图像列表中。根据HEVC规范，存在不同类型的片。对于"P片"，至多一个 参考图像可以用于当前块的预测。因此，P片具有一个参考图像列表，被称为"listO"。对 于"B片"，至多两个参考图像可以用于当前块的预测，其也被称为"双向预测"。因此，B片 具有两个参考图像列表，被称为"listO"和"listl"。
[0005] 可以借助于所谓的参考图像索引，通过信号传送用于重建特定块的参考图像。参 考图像索引是在参考图像列表(诸如IistO或listl)中的索引。参考图像索引连同其它数 据被编码在HEVC比特流中作为编码的片数据的一部分。特别地，如果使用变长编码（VLC)， 则用于发送参考图像索引的码字的长度取决于索引值自身。典型地，小的参考图像索引要 求更短的码字。因此，某一参考图像被放置在参考图像列表的更前面，则要求更少的比特来 指示它的使用。因此，为了实现高压缩效率，典型的策略是将频繁用于预测的参考图像放置 在参考图像列表的前面。
[0006] 典型地，在两个步骤过程中来构建参考图像列表，（1)初始参考图像列表构建，随 后（2)参考图像列表修改。步骤1是通过解码器规范被预定义的以及导致初始参考图像列 表。步骤2涉及在片头部中通过信号传送参考图像列表修改命令，以及通过在初始参考图 像列表上应用参考图像列表修改命令而导致最终的参考图像列表。因为发送参考图像列表 修改命令需要另外的比特的传输，因此期望的是，初始参考图像列表被精心设计，以便能够 用很少的比特来指示频繁使用的参考图像，产生高压缩效率。
[0007] 尽管HEVC核心规范仅使用时间邻近图像用于图像间预测，即在相同时间层内的 图像，但是有可能的是，多层HEVC扩展，诸如可扩缩和3D扩展，将使用来自其它层的图像， 例如可扩缩层和/或视图层，作为参考图像。当前草案SHVC、MV-HEVC、和3D-HEVC规范使 用专门（ad-hoc)方法用于参考图像列表构建。因此，为了改进比特效率，需要更高效的方 法用于对于使用跨层参考图像的多层HEVC扩展的参考图像列表构建。
[0008] 在草案 SHVC (JCTVC-L1008)和 MV-HEVC 规范（JCT3V-C1004)中，层标识（即，与其 相关联）对应于例如空间分辨率或质量(对于SHVC)、对应于相机视图（对于MV-HEVC)、或对 应于深度视图（对于3D-HEVC)的一组图像。每个层具有索引i以及由层标识符Iayerjd 来标识(参见以下的语法元素 layer_id_in_nuh[i])。层索引i典型地是对于解码顺序的指 示符。因此，对于每个访问单元（即，采样时间或时刻)，以层索引i的顺序来解码对于每个 层(视图、图像分辨率等）的多达一个图像。
[0009] 此外，一组可扩缩性标识符与每个层相关联(参见以下语法元素 dimensioned[i]
[j])。对于可扩缩性标识符的示例是"Viewld"（标识某一相机视图)，"D印thFlag"（标识 层是否载有深度数据)，"D印endencyld"（在例如空间可扩缩的情况下，指示解码依赖性)， "Qualityld"（指示视频质量)，以及其它。
[0010] 在SHVC和MV-HEVC中，在所谓的视频参数集（VPS)的扩展中通过信号来传送与高 级视频表示有关的参数。以下描绘VPS扩展语法，以及一些有关语义。具体地，如以下描述 的，基于对于每个层i导出了哪些可变数组RefLayerId[i] [j]和NumDirectRefLayers[i]， 使用语法元素"direct_dependency_f lag"通过信号来传送层依赖性
layer_id_in_nuh[i]指定在第i层的视频编码层（VCL)网络抽象层（NAL)单元中nuh_ layer_id语法元素的值D对于从O到vps_max_layers_minusl (包含）范围中的i，当不存 在时，layer_id_in_nuh[i]的值被推断为等于iD当i大于O时，layer_id_in_nuh[i]应 当大于 layer_id_in_nuh[i - 1] D 对于从 O 到 vps_max_layers_minusl (包含)范围中的 i， 变量 LayerIdInVps [layer_id_in_nuh[i]]被设置等于 i。
[0011] dimension_id[i] [j]指定第i层的第j个存在的可扩缩维度类型的标识符。当 不存在时，dimension_id[i][j]的值被推断为等于0。用于dimension_id[i][j]的表示 的比特的数量是 dimension_id_len_minusl[j] + Id 当 splitting_flag 等于 1 时，要求 以下的比特流一致性：dimension_id[i] [j]应当等于（(layer_id_in_nuh[i] & ((1〈〈 dimBitOffset[j+l]) - 1)) >> dimBitOffset[j])。
[0012] 如下来导出指定第i层的第smldx可扩缩维度类型的标识符的变量 Scalabilityld[i] [smldx]和指定第 i 层的视图标识符的变量 Viewld[layer_id_in_ nuh[i]]：
等于〇的direct_dependency_flag[i] [j]指定的是索引为j的层不是对于索引为i 的层的直接参考层。等于1的direct_dependency_flag[i] [j]指定的是索引为j的层可 以是对于索引为i的层的直接参考层。当对于在0到vps_max_layers_minusl范围中的i 和j而言direct_dependency_flag[i] [j]不存在时，它被推断为等于0。
[0013] 如下来导出变量 NumDirectRefLayers [i]和 RefLayerId[i] [j]:
基于RefLayerId[i] [j]和NumDirectRefLayers[i]，如下所描述的，来构建所谓的层 间参考图像集。
[0014] 对于层间参考图像集的解码过程的输出是层间图像RefPicSetInterLayer的更 新的列表。
[0015] 列表RefPicSetInterLayer首先被清空，然后如下来导出：
用于结束具有大于零的nuh_layer_id的编码图像的解码的标记过程的输出是如对于 一些解码图像的"用于短期参考"的潜在更新的标记。
[0016] 以下适用：
如下所描述的，时间参考图像和层间参考图像被组合成两个时间参考图像列表， RefPicListTempO和RefPicListTempl。最终，如下所描述的，应用潜在的参考图像列表修 改命令，以及获得最终的参考图像列表RefPicListO和RefPicListl。
[0017] 在对于每个P或B片的解码过程的开始，调用对于参考图像列表构建的解码过程。
[0018] 通过如在HEVC基础规范（JCTVC-L1003)的子条款8. 5. 3. 3. 2中所指定的参考索 弓丨，来编址参考图像。参考索引是在参考图像列表中的索引。当解码P片时，存在单个参考 图像列表RefPicListO。当解码B片时，除了 RefPicListO之外还存在第二独立的参考图像 列表 RefPicListl。
[0019] 在对于每个片的解码过程的开始时，如下来导出参考图像列表RefPicListO以 及，对于B片，导出RefPicListl。
[0020] 变量 NumRpsCurrTempListO 被设置为等于 Max(num_ref_idx_10_active_minusl + 1，NumPocTotalCurr)以及如下来构建列表 RefPicListTempO:
当片是 B 片时，变量 NumRpsCurrTempListl 被设置为等于 Max (num_ref_idx_ll_ active_minusl + 1，NumPocTotalCurr)以及如下来构建列表 RefPicListTempl:
在以上所概述的参考图像列表初始化过程中，根据在有序数组 RefPicSetInterLayer □中的参考层的顺序，层间参考图像被附加到参考图像列表。根据参 考层的层索引i，从i的小值到大值，在RefPicSetInterLayer□中的参考层的顺序是固定 的。因此，总是使用层索引i的递增顺序来插入在两种初始参考图像列表中的层间参考图 像。这种顺序没有考虑不同的层的潜在的相似性或不相似性，以及因此在压缩效率，或比特 率效率方面不是最优的。
【发明内容】
[0021] 本发明的目的是提供对于以上技术和现有技术的改进的备选方案。
[0022] 更具体地，本发明的目的是提供层间参考图像列表，以及特别是初始参考图像列 表的改进的构建。
[0023] 借助于如由独立权利要求所限定的本发明的不同方面来实现本发明的这些和其 它目的。本发明的实施例特征在于从属权利要求。
[0024] 根据本发明的第一方面，提供了构建对于当前图像的层间预测的参考图像的至少 一个列表的方法。该方法包括：将参考图像插入到参考图像的第一集合或参考图像的第二 集合中。基于与参考图像相关联的可扩缩性标识符的各自值以及与当前图像相关联的可扩 缩性标识符的值，来插入参考图像。该方法还包括：将参考图像的第一集合和参考图像的第 二集合插入到参考图像的至少一个列表中。
[0025] 根据本发明的第二方面，提供了计算机程序。该计算机程序包括计算机可执行指 令，当在被包括在设备中的处理单元上执行计算机可执行指令时，该计算机可执行指令用 于使得该设备执行根据本发明的第一方面的方法。
[0026] 根据本发明的第三方面，提供了计算机程序产品。该计算机程序产品包括计算机 可读存储介质。该计算机可读存储介质具有被包含在其中的根据本发明的第二方面的计算 机程序。
[0027] 根据本发明的第四方面，提供了用于构建对于当前图像的层间预测的参考图像的 至少一个列表的设备。该设备包括：被配置为用于将参考图像插入到参考图像的第一集合 或参考图像的第二集合中的部件。该部件被配置为用于基于与参考图像相关联可扩缩性标 识符的各自值以及与当前图像相关联的可扩缩性标识符的值，来插入参考图像。该部件还 被配置为用于将参考图像的第一集合和参考图像的第二集合插入到参考图像的至少一个 列表中。
[0028] 本发明利用如下理解：能够通过考虑对于在参考层和当前层之间的相似性的指 示，来改进参考图像列表的构建。从