层间参考图像集的解码和参考图像列表构建的制作方法
【技术领域】
[0001] 本公开总体涉及电子设备。更具体地，本公开涉及层间参考图像集的解码系统和 方法以及参考图像列表构建。
【背景技术】
[0002] 电子设备越来越小并且功能越来越强大，以满足消费者的需求并提供便携性和便 利性。消费者变得依赖于电子设备并且要求更多的功能。电子设备的一些示例包括：桌面 计算机、膝上型计算机、蜂窝式电话、智能电话、媒体播放器、集成电路等。
[0003] -些电子设备用于处理和显示数字媒体。例如，如今便携式电子设备允许几乎在 消费者可以去的任何位置处消费数字媒体。此外，一些电子设备可以提供数字媒体内容的 下载或流传输，以供消费者使用和娱乐。
[0004] 数字媒体的广泛流行提出了诸多问题。例如，为存储、发送和回放，高效地表示高 质量数字媒体提出了诸多挑战。根据本讨论可以看出，更高效地表示数字媒体的系统和方 法可能是有益的。
【发明内容】
[0005] 结合附图，考虑以下本发明的具体描述，本发明的上述及其他目的、特征、优点将 更容易理解。
[0006] 本发明的一个实施例公开了一种视频编码方法，包括：获得层间预测子层的最大 数量的信令（signaling);开始针对层间参考图像集（RPS)的解码处理；获得层间图像的时 间标识符的值；确定时间标识符的值是否大于层间预测子层的最大数量减1 ;以及如果层 间图像的时间标识符的值不大于层间预测子层的最大数量减1，则将层间图像添加到层间 参考图像集（RPS)中。
[0007] 本发明的另一个实施例公开了一种被配置用于视频编码的电子设备，包括：处理 器；与处理器电通信的存储器，存储在所述存储器中的指令能够被执行以：获得层间预测 子层的最大数量的信令；开始针对层间参考图像集（RPS)的解码处理；获得层间图像的时 间标识符的值；确定时间标识符的值是否大于层间预测子层的最大数量减1 ;以及如果层 间图像的时间标识符的值不大于层间预测子层的最大数量减1，则将层间图像添加到层间 参考图像集（RPS)中。
【附图说明】
[0008] 图1是示出多个电子设备之间的视频编码的框图。
[0009] 图2是在本发明的系统和方法中使用的图像标记模块的框图。
[0010] 图3是用于标记子层非参考图像的方法的流程图。
[0011] 图4是示出使用本发明的系统和方法的被标记为"不用于参考"的附加图像的框 图。
[0012] 图5是示出层间参考图像集（RPS)更新模块的框图。
[0013] 图6是用于更新层间参考图像集（RPS) (RefPicSetInterLayer)的方法的流程图。
[0014] 图7是示出电子设备上的编码器的一种配置的框图。
[0015] 图8是示出电子设备上的解码器的一种配置的框图。
[0016] 图9示出了可以在发送电子设备中使用的各个组件。
[0017] 图10是示出可以在接收电子设备中使用的各个组件的框图。
【具体实施方式】
[0018] 公开了一种视频编码方法。获得层间预测子层的最大数量的信令。开始针对层间 参考图像集（RPS)的解码处理。获得层间图像的时间标识符的值。确定时间标识符的值是 否大于层间预测子层的最大数量减1。如果层间图像的时间标识符的层间图像的时间标识 符的值不大于层间预测子层的最大数量减1，则将层间图像添加到层间参考图像集（RPS)。
[0019] 层间参考图像集（RPS)可以用于参考图像列表构建。层间图像可以包括与作为当 前层的直接参考层的层相对应的层标识符的值。层间图像可以包括与当前图像的图像序号 相等的图像序号。如果层间预测子层的最大数量的值为〇,并且层间图像是非RAP(随机接 入点）图像，则可以不将层间图像添加到层间参考图像集（RPS)。如果层间预测子层的最大 数量的值为〇,并且层间图像是RAP(随机接入点）图像，则可以将层间图像添加到层间参考 图像集（RPS)中。
[0020] 层间预测子层的最大数量可以具有索引[LayderIdInVps[RefLayerId[Lay erldlnVps [nuh_layer_id] ] [i]]]。替代地，层间预测子层的最大数量可以具有索引 [RefLayerId[LayerIdInVps[nuh_layer_id]] [i]]。层间预测子层的最大数量还可以具有 索引[layer_id_in_nuh[RefLayerId[LayerIdInVps[nuh_layer_id]] [i]]]。层间预测子层 的最大数量还可以具有索引[layer_id_in_nuh[i]]。
[0021] 层间预测子层的最大数量还可以具有索引[i]。层间参考图像列表 RefPicSetInterLayer 可以具有索弓丨[NumInterLayerRPSPics [LayerIdInVps [nuh_layer_ id]]]。NumInterLayerRPSPics[LayerIdInVps[nuh_layer_id]]可以被推导为与 NumDirec tRefLayers[LayerIdInVps[nuh_layer_id]]不同。
[0022] 还公开了被配置用于视频解码的电子设备。所述电子设备包括处理器和与处理器 电通信的存储器。存储在存储器中的指令可以被执行，以获得层间预测子层的最大数量的 信令。存储在存储器中的指令还可以被执行，以开始针对层间参考图像集（RPS)的解码处 理。存储在存储器中的指令还可以被执行，以获得层间图像的时间标识符的值。存储在存 储器中的指令还可以被执行，以确定时间标识符的值是否大于层间预测子层的最大数量减 1。存储在存储器中的指令还可以被执行，如果层间图像的时间标识符的值不大于层间预测 子层的最大数量减1，则将层间图像添加到层间参考图像集（RPS)中。
[0023] 现在参考附图描述各个配置，其中相似的附图标记可以指示功能相似的元件。在 本文附图中一般性描述和示出的系统和方法可以布置和设计为各种广泛的不同配置。因 此，以下对附图示出的多个配置的详细描述不意图限制权利要求的范围，仅作为系统和方 法的示意。
[0024] 图1是不出多个电子设备l〇2a_b之间的视频编码的框图。不出了第一电子设备 102a和第二电子设备102b。然而，应当注意的是，在一些配置中，结合第一电子设备102a 和第二电子设备l〇2b描述的一个或多个特征和功能可以组合到单个电子设备102中。每 个电子设备102可以被配置为对视频进行编码和/或解码。在一种配置中，每个电子设备 可以符合高效视频编码（HEVC)标准。HEVC是H. 264/MPEG-4AVC(高级视频编码）的后继 视频压缩标准，其提供更好的视频质量和更高的数据压缩率。符合HEVC标准的电子设备 102可以包括附加图像标记功能、层间参考图像集（RPS) (RefPicSetInterLayer) 120更新 功能以及参考图像列表构建功能。本文中，图像是单色格式的亮度（Iuma)样本的阵列或者 4 : 2 : 0、4 : 2 : 2及4 : 4 : 4颜色格式的亮度样本的阵列与两个相应色度样本的阵 列。
[0025] 第一电子设备102a可以包括视频编码器182,视频编码器182包括增强层编码器 106和基层编码器109。下文将结合图7详细讨论增强层编码器106和基层编码器109。第 一电子设备l〇2a中包括的每个元件（即增强层编码器106和基层编码器109)可以实现为 硬件、软件或二者的组合。第一电子设备l〇2a可以获得输入图像104。在一些配置中，输 入图像104可以使用图像传感器在第一电子设备102a上捕捉，或者从存储器获取，或者从 另一个电子设备102接收。在一种配置中，视频编码器182可以符合可缩放高效视频标准 (SHVC)或者多视图高效视频编码标准（MV-HEVC)。
[0026] 增强层编码器106可以对输入图像104进行编码，以产生编码数据。例如，增强层 编码器 106可以对输入图像104序列（如视频）进行编码。在一种配置中，增强层编码器 106可以是高效视频编码（HEVC)编码器。在另一种配置中，增强层编码器106可以是可缩 放高效视频标准（SHVC)编码器或多视图高效视频编码标准（MV-HEVC)编码器。编码数据 可以包括在编码的增强层视频比特流110中。增强层编码器106可以基于输入图像104生 成开销（overhead)信令。
[0027] 基层编码器109也可以对输入图像104进行编码。在一种配置中，基层编码器109 可以使用与增强层编码器106使用的相同输入图像104。在另一种配置中，基层编码器109 可以使用与增强层编码器106使用的输入图像104不同（但相似）的输入图像。例如，针 对信噪比（SNR)可缩放性（也称为质量可缩放性），增强层编码器106和基层编码器109可 以使用相同的输入图像104。作为另一个示例，针对空间可缩放性，基层编码器109可以使 用下采用图像。在又一个示例中，针对多视图可缩放性，基层编码器109可以使用不同的视 图图像。基层编码器109可以产生包括在编码的基层视频比特流107中的编码数据。基层 编码器109也可以是可缩放高效视频（SHVC)编码器或者多视图高效视频编码（MV-HEVC) 编码器。
[0028] 编码的增强层视频比特流110和编码的基层视频比特流107每一个都可以包括基 于输入图像104的编码数据。在一个示例中，编码的增强层视频比特流110和编码的基层 视频比特流107可以包括编码图像数据。在一些配置中，编码的增强层视频比特流110和 /或编码的基层视频比特流107还可以包括开销数据，例如序列参数集（SPS)信息、图像参 数集（PPS)信息、视频参数集（VPS)信息、切片首部信息等。
[0029] 第一电子设备102a可以向第二电子设备102b提供层间预测子层的最大数量 (max_sublayer_for_ilp_plusl) 108。层间预测子层的最大数量（max_sublayer_for_ilp_ plusl) 108可以在VPS扩展语法结构中信号通知（即，使用在JCTVC-L1008的F. 7. 4. 3. 1部 分定义的视频参数集原始字节净载荷（RBSP)语义）。
[0030] 可以在编码的基层视频比特流107或编码的增强层视频比特流110中信号通知层 间预测子层的最大数量（max_sublayer_for_ilp_plusl) 108。在一种配置中，可以在开销 数据（例如序列参数集（SPS)信息、图像参数集（PPS)信息、视频参数集（VPS)信息、切片 首部信息等）中向电子设备l〇2b提供层间预测子层的最大数量（max_sublayer_for_ilp_ plusl) 108。在另一种配置中，可以在分离"元数据"比特流或文件中向第二电子设备102b 提供层间预测子层的最大数量（max_sublayer_for_ilp_plusl) 108。
[0031] 第二电子设备102b可以使用层间预测子层的最大数量（max_sublayer_for_ilp_ plusl) 108来确定是否将图像标记为"不用于参考"。第二电子设备102b还可以使用层间 预测子层的最大数量（max_sublayer_for_ilp_plusl) 108来将图像添加到层间参考图像 集（RPS) (RefPicSetInterLayer) 120。RefPicSetInterLayer 可以指代层间参考图像列 表。第二电子设备l〇2b还可以使用层间预测子层的最大数量（max_sublayer_for_ilp_ plusl) 108 来构建参考图像列表（RefPicListORefPicListl)。
[0032] 可以向第二电子设备102b提供编码的增强层视频比特流110。类似地，可以向第 二电子设备l〇2b提供编码的基层视频比特流107。第二电子设备102b可以包括视频解码 器112和基层解码器113。视频解码器112可以包括增强层解码器115。在一种配置中，在 增强层解码器115对编码的增强层视频比特流110进行解码的同时，基层解码器113对编 码的基层视频比特流107进行解码。下文将结合图8进一步详细讨论基层解码器113和增 强层解码器115。在一种配置中，视频解码器112可以符合可缩放高效视频编码（SHVC)标 准。在另一种配置中，视频解码器112可以符合多视图高效视频编码（MV-HEVC)标准。基 层解码器113和增强层解码器115每一个都可以是高效视频编码（HEVC)解码器。基层解 码器112和增强层解码器115还可以是可缩放高效视频编码（SHVC)解码器或者多视图高 效视频编码（MV-HEVC)解码器。
[0033] 在一个示例中，可以使用有线或无线链