电子装置上的参考画面集信令和限制的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求美国临时专利申请No. 61/809, 201的优先权，该美国临时专利申请是 2012 年 1 月 20 日提交的题为"DECODING A PICTURE BASED ON A REFERENCE PICTURE SET ON AN ELECTRONIC DEVICE"的美国专利申请No. 13/355,472的部分连续案，该美国专利申 请是 2012 年 1 月 19 日提交的题为"REDUCING REFERENCE PICTURE SET SIGNAL OVERHEAD ON AN ELECTRONIC DEVICE"的美国专利申请No. 13/354, 277的部分连续案。所有这些文献 整体以引用方式并入本文。
技术领域
[0003] 本公开整体涉及电子装置。更具体地讲，本公开涉及电子装置上的参考画面集间 预测和信令。
【背景技术】
[0004] 电子装置已变得更小更强大以便满足消费者的需要并且改善便携性和便利性。消 费者变得依赖于电子装置并且开始期望增加的功能。电子装置的一些实例包括台式计算 机、膝上型计算机、蜂窝电话、智能电话、媒体播放器、集成电路等。
[0005] -些电子装置用于处理和显示数字媒体。例如，便携式电子装置如今允许几乎在 消费者可能在的任何位置消费数字媒体。另外，一些电子装置可提供数字媒体内容的下载 或串流以便于消费者使用和欣赏。数字媒体越来越普及带来了若干问题。例如，有效地表 示高质量数字媒体以便于储存、传输和回放遇到了若干挑战。从该讨论可以注意到，更有效 地表示数字媒体系统和方法可为有利的。
【发明内容】
[0006] 问题的解决方案
[0007] 本发明的一方面提供一种在电子装置上对参考画面集进行解码的方法，包括：获 得比特流；从所述比特流获得当前画面；以及从所述比特流获得层间参考画面集（RPS)，其 中，如果当前画面是随机访问可解码引导（RADL :random access decodable leading)画 面，贝1J层间RPS中不包括随机访问跳过引导（RASL:random access skipped leading)画 面。
[0008] 本发明的另一方面提供一种在电子装置上信令通知参考画面集的方法，包括：指 示与当前画面对应的先前信令通知的参考画面集（RPS);如果先前信令通知的RPS中的画 面将要用作当前画面的参考画面，则对该画面设定第一标志；以及发送比特流。
[0009] 本发明的另一方面提供一种信令通知参考画面集的电子装置，包括：处理器；存 储器，其与所述处理器电子通信；存储在所述存储器中的指令，所述指令可被执行以：指示 与当前画面对应的先前信令通知的参考画面集（RPS);如果先前信令通知的RPS中的画面 将要用作当前画面的参考画面，则对该画面设定第一标志；并且发送比特流。
[0010] 本发明的另一方面提供一种在电子装置上对参考画面集进行解码的方法，包括： 获得比特流；获得当前画面；获得先前信令通知的参考画面集（RPS);对于先前信令通知的 RPS中的画面，如果所述画面应当用作当前画面的参考画面，则获得第一标志指示；如果第 一标志为正，则从先前信令通知的RPS的至少一个对应值确定第二标志；以及对当前画面 进行解码。
[0011] 本发明的另一方面提供一种对参考画面集进行解码的电子装置，包括：处理器； 存储器，其与所述处理器电子通信；存储在所述存储器中的指令，所述指令可被执行以：获 得比特流；获得当前画面；获得先前?目令通知的参考画面集（RPS);对于先前彳目令通知的 RPS中的画面，如果所述画面应当用作当前画面的参考画面，则获得第一标志指示；如果第 一标志为正，则从先前信令通知的RPS的至少一个对应值确定第二标志；并且对当前画面 进行解码。
【附图说明】
[0012] 图1是示出可实现用于减少参考画面集（RPS)信号开销的系统和方法的一个或多 个电子装置的示例的框图；
[0013] 图2是示出画面组（GOP)的一个配置的框图；
[0014] 图3是示出电子装置上的编码器的一个配置的框图；
[0015] 图4是示出在电子装置上减少RPS信号开销的方法的一个配置的流程图；
[0016] 图5是示出在电子装置上减少RPS信号开销的方法的更具体的配置的流程图；
[0017] 图6是示出在电子装置上减少RPS信号开销的方法的另一更具体的配置的流程 图；
[0018] 图7是示出电子装置上的解码器的一个配置的框图；
[0019] 图8是示出在电子装置上减少RPS信号开销的方法的一个配置的流程图；
[0020] 图9是示出在电子装置上得出部分RPS的方法的一个配置的流程图；
[0021] 图10是示出在电子装置上得出RPS模板的方法的一个配置的流程图；
[0022] 图11是示出在电子装置上创建删除至少一个参考画面的指示的方法的一个配置 的流程图；
[0023] 图12是示出在电子装置上删除至少一个参考画面的方法的一个配置的流程图；
[0024] 图13示出可用在电子装置中的各种部件；
[0025] 图14是示出在电子装置上对画面进行解码的方法的一个配置的流程图；
[0026] 图15是示出在电子装置上对画面进行解码的方法的更具体的配置的流程图；
[0027] 图16是示出在电子装置上对画面进行解码的方法的另一更具体的配置的流程 图；
[0028] 图17是示出在电子装置上信令通知参考画面集的方法的一个配置的流程图；
[0029] 图18是示出在电子装置上信令通知参考画面集的方法的另一配置的流程图；
[0030] 图19是示出在电子装置上信令通知参考画面集的方法的更具体的配置的流程 图；
[0031] 图20是示出在电子装置上预测参考画面集的方法的一个配置的流程图；
[0032] 图21是示出在电子装置上预测参考画面集的方法的另一配置的流程图；并且
[0033] 图22是示出在电子装置上预测参考画面集的方法的更具体的配置的流程图。
[0034] 图23是示出不同画面类型的两个配置的框图。
[0035] 图24是示出层间参考画面集更新模块的框图。
【具体实施方式】
[0036] 描述一种在电子装置上信令通知参考画面集的方法。指示与当前画面对应的先前 信令通知的参考画面集（RPS)。如果先前信令通知的RPS中的画面将要用作当前画面的参 考画面，则对该画面设定第一标志。如果先前信令通知的RPS中的画面不用作当前画面的 参考画面，则不对该画面设定第一标志。发送比特流。
[0037] 可不发送当前RPS的由当前画面使用标志。先前信令通知的RPS可作为在先前信 令通知的RPS的集合中的索引来信令通知。先前信令通知的RPS可包括先前信令通知的 RPS中的另一参考画面的至少一个对应值。所述至少一个对应值可由先前信令通知的RPS 中的第二参考画面的当前画面标志值使用。先前信令通知的RPS可由预测短期参考画面集 存在标志指示。
[0038] 第一标志可以是保持画面标志。当前画面可在随机访问点之后的第一画面组 (GOP)中。先前信令通知的RPS可经由删除操作来信令通知。先前信令通知的RPS可从画 面参数集（PPS)、序列参数集（SPS)、适应参数集（APS)、视频参数集（VPS)和片头（SH)之一 发送。先前信令通知的RPS可从比特流中的元素发送。
[0039] 还描述一种信令通知参考画面集的电子装置。该电子装置包括处理器以及存储在 与所述处理器电子通信的存储器中的可执行指令。该电子装置指示与当前画面对应的先前 信令通知的参考画面集（RPS)。如果先前信令通知的RPS中的画面将要用作当前画面的参 考画面，则该电子装置还对该画面设定第一标志。如果先前信令通知的RPS中的画面不用 作当前画面的参考画面，则该电子装置不对该画面设定第一标志。该电子装置还发送比特 流。
[0040] 还描述一种在电子装置上对参考画面集进行解码的方法。获得比特流。获得当前 画面。获得先前信令通知的参考画面集（RPS)。对于先前信令通知的RPS中的画面，如果该 画面应当用作当前画面的参考画面，则获得第一标志指示。如果第一标志为正，则确定来自 先前信令通知的RPS的至少一个对应值的第二标志。将当前画面解码。
[0041] 可基于第二标志对当前画面进行解码。第一标志可以是保持画面标志。第二标志 可由当前画面标志使用。
[0042] 所述至少一个对应值可从先前信令通知的RPS获得。所述至少一个对应值可由先 前信令通知的RPS中的第二参考画面的当前画面标志值使用。所述至少一个对应值可以是 布尔值。
[0043] 当前画面可在随机访问点之后的第一画面组（GOP)中。先前信令通知的RPS可经 由删除操作来信令通知。先前信令通知的RPS可从画面参数集（PPS)、序列参数集（SPS)、 适应参数集（APS)、视频参数集（VPS)和片头（SH)之一获得。先前信令通知的RPS可从比 特流中的元素获得。
[0044] 还描述一种对参考画面集进行解码的电子装置。该电子装置包括处理器以及存储 在与所述处理器电子通信的存储器中的可执行指令。该电子装置获得比特流。该电子装置 还获得当前画面。该电子装置还获得先前信令通知的参考画面集（RPS)。对于先前信令通 知的RPS中的画面，如果画面应当用作当前画面的参考画面，则该电子装置获得第一标志 指示。如果第一标志为正，则该电子装置从先前信令通知的RPS的至少一个对应值确定第 二标志。该电子装置另外将当前画面解码。
[0045] 本文所公开的系统和方法描述了在电子装置上减少参考画面集（RPS)信号开销 的若干配置。例如，本文所公开的系统和方法描述了对RPS进行编码和解码。例如，描述了 对RPS进行解码的若干方式。另外，还描述了对RPS进行编码以实现减少的信号开销的方 式。
[0046] RPS是与画面关联的参考画面的集合。RPS可包括按照解码顺序在关联画面之前 的参考画面，其可用于关联画面的帧间预测和/或用于按照解码顺序在关联画面之后的任 何画面。RPS描述了解码画面缓冲器（DPB)中的一个或多个参考画面。这在各个画面的片 头中实现。先前的视频编码标准，例如H.264/AVC，以相对方式对参考画面进行参考。DPB 中不是参考画面集的一部分的任何画面可被标记为"未用于参考"。
[0047] DPB可用于存储在解码器处重构（例如，解码）的画面。这些存储的画面然后可 用于例如帧间预测机制。当不按顺序对画面进行解码时，画面可被存储在DPB中以使得它 们可稍后按顺序显示。另外，DPB中的画面可与画面顺序计数（POC)关联。POC可以是这 样的变量，其与各个编码的画面关联并且具有随着按照输出顺序的画面位置增加而增加的 值。换言之，POC可由解码器用来按照正确的顺序传送画面以用于显示。POC还可用于在参 考画面列表构造和解码的参考画面标记期间标识参考画面。
[0048] 在一些配置中，利用相对（例如，delta)参考（例如，利用deltaPOC和 currentPOC(当前POC))或绝对参考（例如，利用P0C)来对参考画面进行参考。例如，DPB 可包含接收的画面的集合。这些接收的画面的子集可使用相对（例如，delta)参考，剩余 接收的画面可使用绝对参考。应当注意的是，本文所述的缓冲器描述和语法的配置中的一 个或多个可与本文所述的方式中的一个或多个组合来实现。
[0049] RPS可包含解码器应保持的所有参考画面的信息的列表。例如，该信息可作为被 称为deltaPOC的索引的集合来存储。deltaPOC可用于计算参考画面的P0C。例如，P0C_ reference = P0C_current+deltaP0C。换言之，利用将要解码的画面的当前POC以及参考 画面的deltaPOC，可按照相对方式来定位参考画面。另外，RPS可存储各个参考画面的时间 ID和/或指示特定参考画面是否被当前画面使用的标志。
[0050] RPS在电子装置处如何工作的示例如下。假定接收帧间（I帧）画面，然后是两个 双向预测（B帧）画面，然后是两个双向预测（b帧）画面。B帧是被其它画面用于预测的双 向预测画面。b帧是不被其它画面用于预测的双向预测画面。.
[0051] 换目之，接收画面的顺序是IoH-bftv在此不例中，GOP大小为4。
[0052] 进一步假定I帧具有POC 0,首先接收的b帧具有POC 1，其次接收的B帧具 有POC 2,首先接收的b帧具有POC 3,首先接收的B帧具有POC 4。换言之，POC顺序为 I0-Wb2-B1。另外，假定I帧用作B1 JjPb1的参考画面；B1用作B JPb2的参考画面；B 2 用作匕和b 2的参考画面。
[0053] 在此示例中，按照解码顺序的第二画面（例如，画面B/P0C 4)将在其RPS中包括 POC 0的画面（例如，I。）。为了存储IQ/P0C 0, B1可将deltaPOC = -4写到其RPS索引值 中。换言之，参考POC相对于当前POC的差被存储在RPS中作为索引值。
[0054] 按照解码顺序的第三画面（即，画面B2/P0C 2)将在其RPS中包括POC 0和POC 4 的画面（例如，B1)。因此，deltaPOC = -2和2的索引值被存储在其RPS中。
[0055] 继续该示例，按照解码顺序的第四画面（即，画面b2/P0C 1)可在其RPS中包括POC 0的画面（例如，I。）和POC 2的画面（例如，B2)二者。另外，b2/P0C 1还可包括POC 4(例 如，B1),因为该画面将用于在未来参考。这里，deltaP0C-l、l、3被存储在其RPS中。应当 注意的是，正和负deltaPOC均可存储在RPS中。
[0056] 该示例最后，按照解码顺序的第5画面（即，画面b/POC 3)可在其RPS中包括POC 2的画面（例如，B2)和POC 4的画面（例如，B1)。因此，deltaPOC = -1和1是存储在Id1 的RPS中作为索引值的相对值。还可注意到，Id1不需要在其RPS中包括POC 0(例如，I。）， 除非Ic将要用于在未来参考。如果POC 0 (例如，I。）没有包括在匕的RPS中，则可将它标 记为"未用于参考"。
[0057] -旦列表并构造了 RPS，就准备好信令通知。有各种方式来信令通知RPS。根据一 个方式，在画面参数集（PPS)中信令通知与处理RPS关联的模板的集合，并且其由各个片利 用在片头中的RPS索引来参考。在另一方法下，可在片头中显性地信令通知RPS。
[0058] 下面的列表（1)示出用于在PPS中通知RPS的语法的一个示例。
[0059] CN 105075266 A 说明书 6/49 页
[0060] 列表（I)
[0061] "partial_ref_pic_set_flag" [i]指示使用完整 RPS[i]来生成部分 RPSd Ref_ flag指定完整RPS[i]的哪一参考索引被复制到部分RPS中。
[0062] "seq_parameter_set_id"标识由画面参数集参考的序列参数集D seq_parameter_ set_id的值将在0至31的范围内，包括端值。
[0063] "pic_parameter_set_id"标识在片头中参考的画面参数集D pic_parameter_set_ id的值将在0至255的范围内，包括端值"entropy_coding_mode_flag"指示将要应用于 语法元素的熵解码方法。
[0064] "num_ref_pic_sets "指定在画面参数集中指定的参考画面集的数量D "num_ negative-pics" 指定尾随的 delta-poc_sO-minusl[i]和 used-by_curr-pic_sO_flag[i] 语法元素的数量a num_positive_pics 指定尾随的"delta_poc_sl_minusl" [i]和 used_ by_curr_pic_sl_flagl[i]语法元素的数量delta_poc_sO_minusl[i]加 1 指定两个画面 顺序计数值之间的绝对差。
[0065] "used_by_curr_pic_sO_flag" [i]等于0指定画面顺序计数小于当前画面的第i 参考画面不用于被当前画面参考。"delta_poc_sl_minusl" [i]加1指定两个画面顺序计 数值之间的绝对差。"used_by_curr_pic_sl_flag"[i]等于0指定画面顺序计数大于当前 画面的第i参考画面不用于被当前画面参考。
[0066] 应当注意的是，针对列表（1)中所使用的参数所给出的定义可应用于本文所给出 的所有列表。另外，在后续列表中给出的参数定义也可应用于先前列出的列表。
[0067] 列表⑵示出在片头中信令通知RPS的语法的一个示例。
[0068]
[0069]
[0070] 列表⑵
[0071] "ref_pic_set_pps_flag"等于1指定当前画面的参考画面集将利用活动画面参 数集中的语法元素来创建。ref_pic_set_pps_f lag等于0指定当前画面的参考画面集将利 用片头中的ref_pic_set()语法结构中的语法元素来创建。
[0072] "ref_pic_set_pps_idx"指定对将用于创建当前画面的参考画面集的活动画面参 数集中指定的参考画面集的列表的索引。
[0073] 另外，可将RPS模板信令通知到解码器以帮助对画面进行解码。模板可用于八 个画面被成组在一起（例如，画面组（GOP))的随机访问常用测试条件。下表1示出用于 随机访问常用测试条件（G0P = 8)的RPS模板。在表1-4中为了方便一些术语已被缩写。 这些术语被如下缩写：Temporal_id(TId)、ref_buf_size(RBS)和 RPS 索引值（RPS Index Values)〇
[0074] CN 105075266 A ^ ^ 8/49 贝
[0075] 表1
[0076] 在表1中，类型（Type)表示使用的帧的类型。在这种情况下，所有帧为B帧。需 要注意的是，未示出的帧0为I帧。在表1中，Temporal_id(TId)指定该帧的时间层ID， ref_buf_size(RBS)是当前画面所需的参考缓冲器大小，ref_pic指示帧是否是其它画面 的参考画面，#ref_pics是参考画面的数量，RPS索引值（RPS Idx Values)表示存储在各个 对应帧的各个RPS中的参考画面的索引值。
[0077] 可针对由于即时解码刷新（IDR)或完全随机访问（CRA)而具有一个或多个不可用 参考画面的帧生成附加的部分RPS。表2示出针对随机访问常用测试条件生成的部分RPS 的模板。
[0078]
[0079] 表 2
[0080] 可从完整RPS创建部分RPS。在表1中，帧1的RPS索引是-8、-10、-12和-16。 表2中的帧1的部分RPS的RPS索引仅为-8。类似地，与表1所示的完整RPS中相比，表 2中的部分RPS中的帧2和3具有较少数量的参考画面。因此，在该示例中，与完整RPS相 比，部分RPS每帧包含较少的RPS索引值。
[0081] 表3示出用于低延迟常用测试条件的模板，其中GOP等于4。
[0082]
[0083] 表 3
[0084] 在表3中，各个GOP具有四个画面。在模板中，对于序列0、1、2、3、4、5、6、7、8、9、 10、11、12、13、14等，还存在与各个POC位置处的画面对应的四个RPS :
[0085] RPS [0]，其具有用于 POC 1 的索引值[-1，-5,-9,-13];
[0086] RPS [1]，其具有用于 POC 2 的索引值[-1-2-6-10];
[0087] RPS [2]，其具有用于POC 3的索引值[-1，-3,-7,-11];以及
[0088] RPS [3]，其具有用于 POC 4 的索引值[-1，-4,-8,-12]。
[0089] 表4示出针对低延迟常用测试条件生成的部分RPS的模板。表4是表3的延续。
[0090]
[0091] 表 4
[0092] 在表4中，针对具有不可用参考画面的帧生成附加的索引参考。参考画面可能由 于IDR或CRA而不可用。当针对低延迟常用测试情况生成部分RPS时，IDR或CRA之后的 GOP中的前几个帧的画面被选择。例如，序列开始处的帧1至4属于第一 G0P，它将使用从 RPS [0]至RPS [3]得出的部分RPS [5]至RPS [8]。帧5至8属于第二GOP并且将使用也从 RPS [0]至RPS [3]得出的部分RPS [9]至RPS [12]。帧9属于第三GOP并且将使用从RPS [0] 得出的部分RPS [13]。
[0093] 在一些配置中，得出部分RPS的电子装置可采用规则来从完整RPS得出部分RPS。 例如，RPS编号7、8、9、11、12和13可全部增加 RPS索引值-2 (以粗体指示）。需要注意的 是，该RPS索引值是相对的，取决于当前帧位置（例如，当前P0C)。另外，RPS编号8、9和10 各自增加 RPS索引值-3 (以粗体指示）。
[0094] 根据已知方式，例如高效视频编码（HEVC)测试模型（圓)5. 0中所指定的方法，在 比特流中信令通知完整RPS和部分RPS二者。例如，在画面的开始处的PPS中发送包括完 整RPS和部分RPS的RPS模板。这导致在比特流中发送的不必要的开销。在PPS中信令通 知RPS模板的这种开销可从例如几百比特至几千比特。另外，在编码器处也执行额外和不 必要的工作以生成部分RPS。因此，本文所公开的系统和方法的有益效果之一在于通过在解 码器侧基于接收的完整RPS生成部分RPS模板而减少了 RPS信令开销。
[0095] 另外，根据已知方式，例如HM5. 0中所指定的方式，在一个RPS内，参考画面索引在 负索