电子装置上的参考画面集信令和限制的制作方法_3

文档序号:9355721阅读:来源:国知局
RPS_deltaP0C值,从负参考画面索引得出的第一个必须等于2。这样,正RPS索引值的处理 可从第二正RPS索引值(例如,6)开始。诸如随机访问(递阶B)的递阶编码结构,正和负 RPS索引的起始之间的对称条件通常为真。这是由于与deltaPOC参考画面有关的各个当前 画面的对称性质。
[0163] 在仅一个正RPS索引值的情况下,电子装置302可跳过正值的处理。例如,对于索 引值[-4,-8, 4],在处理之后,RPS[-4,-8]可被发送到比特流。然后,在接收时,诸如解码器 的接收电子装置可接收RPS索引值[-4, -8],并且针对被解码的当前画面得出参考索引值 [-4,-8, 4]。因此,通过跳过各个当前画面的各个RPS中的第一正参考画面,可在RPS信令 中实现显著的开销节省。
[0164] 例如,列表(6)示出用于在解码器上处理RPS索引值的语法。
[0165]
[0166] 列表(6)
[0167] 列表(6)示出可由解码器处理的语法的一个示例。该语法可由电子装置302利用 结合列表(5)讨论的方法来生成。例如,解码器可检查sy_ertric_flag以看出是否存在 最小负RPS索引值与对应正RPS索引值对称的指示。如果symmertric_flag这样指示,解 码器可对RPS进行解码并且第一正RPS索引值的RPS索引值处使用最小负RPS索引值的绝 对值。将理解,可采用对列表(6)中所列的画面进行解码的其它方法,其对应于上面结合列 表(5)讨论的编码方法。
[0168] 图7是示出电子装置702上的解码器712的一个配置的框图。解码器712可被包 括在电子装置702中。例如,解码器712可以是HEVC解码器。解码器712和/或解码器712 中所包括的所示意的元件中的一个或多个可被实现于硬件、软件或其组合中。解码器712 可接收比特流714 (例如,比特流714中包括的一个或多个编码的画面)以用于解码。在一 些配置中,接收的比特流714可包括接收的开销信息,例如接收的片头、接收的PPS、接收的 缓冲器描述信息等。比特流714中包括的编码的画面可包括一个或多个编码的参考画面和 /或一个或多个其它编码的画面。
[0169] 接收的符号(比特流714中包括的一个或多个编码的画面中)可被熵解码模块 768熵解码,从而生成运动信息信号770和量化、缩放和/或变换的系数772。
[0170] 运动信息信号770可在运动补偿模块774处与来自帧存储器778的参考帧信号 798的一部分组合,其可生成帧间预测信号782。量化、解缩放和/或变换的系数772可由 逆模块762逆量化、缩放和逆变换,从而生成解码的残差信号784。解码的残差信号784可 被加到预测信号792以生成组合的信号786。预测信号792可以是选自由帧内预测模块788 生成的帧间预测信号782或帧内预测信号790的信号。在一些配置中,该信号选择可基于 比特流714 (例如,由比特流714控制)。
[0171] 帧内预测信号790可从来自组合的信号792 (例如,当前帧中)的先前解码的信息 预测。也可由去块滤波器794对组合的信号792进行滤波。所得滤波的信号796可被写到 帧存储器778。所得滤波的信号796可包括解码的画面。
[0172] 帧存储器778可包括如本文所述的DPB。DPB可包括可作为短期或长期参考帧保持 的一个或多个解码的画面。帧存储器778也可包括与解码的画面对应的开销信息。例如, 帧存储器778可包括片头、PPS信息、循环参数、缓冲器描述信息等。这些信息中的一个或 多个可从编码器(例如,编码器304)来信令通知。帧存储器778可提供解码的画面718。
[0173] 解码器712可包括部分RPS确定模块720、RPS模板模块722和/或RPS删除模块 724。部分RPS确定模块720可基于从比特流714获得的信号来生成部分RPS。在一些情 况下,可在解码器712上基于完整RPS确定部分RPS。下面描述关于部分RPS确定模块720 的更多细节。
[0174] RPS模板模块722可在解码器712处得出RPS模板。在一些情况下,RPS模板可基 于针对比特流714接收的信号,例如GOP大小、编码结构和规则来创建。
[0175] RPS删除模块724可在解码器712处接收指示以删除先前接收的RPS。例如,比特 流714可包括PPS中的标志和画面的片头中的比特字段。RPS删除模块724可帮助标识丢 失的参考画面。下面将给出关于RPS删除模块724的更多细节。
[0176] 图8是示出在电子装置702上减少RPS信号开销的方法800的一个配置的流程图。 电子装置702可获得802比特流714。例如,比特流714可从解码器712所在的电子装置 702获得,或者替代地,从另一电子装置获得。
[0177] 电子装置702可基于比特流714获得804G0P。在一些情况下,GOP可被指定为特 定数量的顺序画面,例如四个或八个画面。例如,电子装置702可获得804包括8个画面的 GOP0
[0178] 可存在电子装置702可得出完整RPS的各种方式。在一个配置中,电子装置702 可接收GOP大小、编码接收和其它必要信息,例如PPS。
[0179] 为了得出完整RPS,电子装置702可根据编码结构和GOP大小确定编码顺序。例 如,对于低延迟编码,编码顺序可以是显示顺序。在另一情况下,对于递阶B,编码顺序可采 用最小解码延迟。在类似于图2所示的示例的一个示例中,大小为8的GOP将按照POC 8、 4、2、1、3、6、5、7的顺序来编码。替代地,编码顺序可从最低递阶朝着较高递阶编码。在该示 例中,大小为8的GOP将按照POC 0、8、4、2、6、1、3、5、7的顺序来编码。另外地,可使用标志 来表示使用哪一编码顺序。在一些情况下,所述标志可以是比特标志。
[0180] 为了得出完整RPS,电子装置702还可基于编码结构、时间层id、参考画面的数量 以及由编码器和解码器设定的附加规则来确定参考画面。例如,在具有N参考帧的低延迟 编码的情况下,具有相同或较低时间层的在前画面可总是用作参考画面。然后,对于剩余 N-I参考画面,可指定附加规则来根据编码顺序和/或递阶层选择参考画面。可使用参数来 指定应当使用哪一规则。该参数的示例是reference_picture_selection_rule,在下面与 列表(9)关联来讨论。
[0181] 另外,为了得出完整RPS,电子装置702可按照编码顺序对GOP进行循环(例如, 迭代)。电子装置702可添加或保持稍后将结合后续画面参考的参考画面。这些后续画面 的GOP可与当前画面相同或比当前画面晚。如果参考画面将稍后用于参考,则它可被标记 为用于未来使用。否则,它可被标记为"不用于参考"。
[0182] 电子装置702可基于至少一个相对索引值从完整RPS得出806部分RPS。例如,电 子装置702可尝试得出完整RPS。
[0183] 然而,由于一些参考画面丢失或者没有获得,仅可得出部分RPS。
[0184] 部分RPS可针对由于例如在画面序列的起始处发生的IDR或CRA而具有不可用参 考画面的帧。例如,假定第一画面在POC 8处,具有RPS索引值[-8,-10,-12,-16]。作为首 先接收的画面,还不具有与RPS索引值[-10,-12,-16]对应的参考画面。在该示例中,第一 画面无法使用具有索引参考值[-8,-10,-12,-16]的完整RPS。相反,部分RPS包含索引值 [-8],该索引值表示可用于对画面进行解码的仅有参考画面(例如,POC 8)。
[0185] 电子装置702然后可基于部分RPS对画面进行解码808。换言之,电子装置702可 利用其可用的参考画面来对画面进行解码808。
[0186] 在一些实现方式中,可另外在电子装置302的编码器304侧得出部分RPS。然而, 通过在解码器712处得出部分RPS,由于除了发送完整RPS以外,未发送部分RPS,比特流 714中的RPS开销减少。
[0187] 列表(7)示出用于得出部分RPS的一个方法。
[0188]
[0189] 列表(7)
[0190] 在列表(7)中,"num_full_ref_pic_sets"指定画面参数集中指定的完整参考画 面集的数量。"num_partial_ref_pic_sets"指定画面参数集中指定的部分参考画面集的数 量。"ref_flag"[j]指定完整参考画面集的内容是否被复制到部分参考画面集。
[0191] 图9是示出在电子装置702上得出部分RPS的方法900的一个配置的流程图。为 了对画面进行解码,电子装置702可能需要参考当前画面的RPS。然而,完整RPS可能不可 用。在这种情况下,可构造部分RPS。
[0192] 在一个配置中,部分RPS可由电子装置702来构造。电子装置702可获得902比 特流714并且按照如上所述的类似方式基于比特流获得904G0P。
[0193] 电子装置702可在GOP内的各个画面上迭代906。例如,电子装置702可循环通过 各个画面,并且标识与各个画面对应的RPS索引值。在一些情况下,迭代也可在多个GOP上 进行。
[0194] 电子装置702可标识908当前画面,其中相对索引值对应于当前画面。例如,这可 以是电子装置702试图解码的画面。另外,在标识908当前画面时,电子装置702还可标识 当前画面的P0C。例如,POC可指定GOP中的当前画面的P0C。
[0195] 下面的列表(8)示出用于生成部分RPS的语法的示例。在列表(8)中,"CUrrent_ poc_in_G0P"指定GOP中的当前POC。current_poc_in_GOP在从1至GOP大小的范围内。
[0196]
[0197] 列表(8)
[0198] 电子装置702可在当前画面的完整RPS内的至少一个相对索引值上迭代910。例 如,如果当前画面具有RPS索引值[-1,-5, -9, -13],则电子装置将循环通过位于deltaPOC =-1、deltaPOC = -5、deltaPOC = -9 和 deltaPOC = -13 处的参考画面。
[0199] 电子装置702可确定912对于各个相对索引值参考画面是否可用。在上面的示例 中,电子装置702可尝试访问位于deltaPOC = -1、-5、-9和-13处的参考画面。然而,一个 或多个参考画面可能丢失。
[0200] 确定912参考画面是否可用的一个方法是通过满足条件 currentP0C+refDeltaP0C〈P0C_of_Latest_CRA。P0C_of_Latest_CRA 指示最近的完全随 机访问(CRA)画面的位置。换言之,P0C_of_Latest_CRA是最近IDR或CRA画面的P0C。 如果RPS索引值涉及位于最近CRA画面之前的参考画面,则该参考画面将不可用。因 此,如果满足currentP0C+refDeltaP0C〈P0C_of_Latest_CRA,则相对参考画面丢失并且 不被添加到部分RPS。例如,假定当前画面具有POC 1(例如,POC= 1)并且POC_of_ 1^仏#_〇^为0。同样,假定当前画面具有1^5索引值[-1,-5,-9,-13]。对第一索引值 应用条件currentPOC+refDeltaPOC得到0 (例如,1+-1 = 0)。由于不满足该条件(例 如,1+-1不小于0或POC_of_Latest_CRA),所以第一参考索引值被添加到部分RPS。将 currentPOC+refDeltaPOC 应用于对其它 RPS 参考索引值生成 currentPOC+refDeltaPOC 小 于POC_of_Latest_CRA的结果。因此,其它索引值均不被添加到部分RPS。
[0201] 又如,假定当前画面具有POC 5(例如,POC = 5)。同样,假定当前画面具有RPS 索引值[-1,-5, _9, -13]。对RPS索引值应用条件currentPOC+refDeltaPOC分别得到 [4, 0,-4,-8]。由于前两个值不小于零,所以对应RPS参考索引值被添加到部分RPS。因此, 在此示例中创建的部分RPS具有索引值[-1,-5]。
[0202] 如果参考画面可用,则电子装置702可将该画面添加914到部分RPS。电子装置 702还可利用部分RPS索引值对当前画面进行解码916。
[0203] 在其它配置中,电子装置702可评估部分RPS并且确定插入附加画面。例如,仅具 有对参考画面的一个参考的部分RPS可被修改以包括可用于对该当前画面进行解码的三 个附加参考画面。
[0204] 图10是示出在电子装置702上得出RPS模板的方法1000的一个配置的流程图。 如结合表(1)-(4)讨论的,RPS模板可用于视频编码以帮助处理频繁使用的编码结构。此 类结构的示例是GOP大小等于8或16的随机访问递阶B编码结构。另一示例是GOP大小 等于4或8的低延迟编码结构。
[0205] 在一个配置中,可创建RPS模板。应当注意的是,对RPS模板的创建可在编码器侧 和解码器侧二者处得出,而无需在PPS中发送完整RPS。另外,RPS模板的得出可结合如上 所述部分RPS的创建或独立于部分RPS的创建来进行。
[0206] 电子装置702可获得1002比特流714。电子装置702可获得1004指示创建RPS 模板的标志。例如,该标志可被设置在PPS中并发送。
[0207] 又如,电子装置702可针对常用GOP大小、编码结构、时间层设置和时间交织模式 具有和/或获得用于得出RPS模板的一组规则。
[0208] 利用这些规则,电子装置702可基于减少的信息量来创建1006RPS模板。例如,可 利用关于GOP大小、编码结构和规则的信息来得出RPS模板。例如,编码结构可指定随机接 入(递阶B)或低延迟。例如,规则可指定时间层的设定。下面的列表(9)示出
[0209] 下面的列表(9)示出用于得出RPS的一个方式的语法。
[0210]
[0211] 列表(9)
[0212] "derive_rps_with_model_flag" 指定是否在解码器侧得出 RPS。derive_rps_ with_model_flag 设定为 0 指不在 PPS 中发送 RPS。derive_rps_with_model_flag 设定为 1指示在解码器处得出RPS。
[0213] "coding_structure"等于0意指编码结构是递阶B编码。编码结构等于1表示编 码结构是低延迟编码。
[0214] "G0P_size_log2"是指 GOP 大小的 log2。GOP 大小等于 2(G°P-slze-lDg2)。"number_of_ reference_pictures (i) "指定对于第i递阶层每参考画面列表使用的参考画面的数量(例 如,RefPicListO 和 / 或 RefPicListl)。"reference_picture_selection_rule" 指定由编 码器和解码器通常定义的用于选择参考画面的规则。
[0215] "coding_order"可指定确定编码顺序的规则。coding_order为0可表示第一编 码顺序,coding_order为1可表示第二编码顺序。在一个配置中,例如,coding_order为0 可表示最小解码延迟顺序,c 〇ding_〇rder为1可表示递阶优选顺序(例如,从最低递阶层 到更高递阶层编码)。
[0216] "temporal_layer_exist_flag"指定是否存在不同的时间层。标志等于0意指所 有帧具有相同的时间层,标志等于1意指存在不同的时间层。
[0217] "temporal_id_ordering"指定当前GOP中具有相同temporal_id的画面的排序。 例如,值为1指示当前GOP中具有相同temporal_id的画面在解码顺序上连续。替代地,值 为0指示当前GOP中具有相同temporal_id的画面在解码顺序上交织。
[0218] 利用创建的RPS模板,电子装置702可对画面进行解码1008。在非常用RPS编码 结构的情况下,也可通过直接在PPS和/或片头中发送RPS模板来信令通知RPS模板。
[0219] 图11是示出在电子装置302上创建删除至少一个参考画面的指示的方法1100 的一个配置的流程图。在一些已知实现方式中,例如视频编码联合协作小组(JCTVC)文献 JCTVC-F803_d5中所给出的,不支持指示对先前信令通知的RPS的删除操作。换言之,PPS 不支持发送删除先前发送的RPS的信号。
[0220] 在另一已知实现方式中(例如,JCTVC-G637),提出了参考画面集的修剪。在此 实现方式中,可在PPS中信令通知从特定RPS省略的短期参考画面的数量以用于修剪。在 RPS中信令通知的画面中的一些不可用的一个示例是随机访问点之后的第一 G0P。然而, JCTVC-G637仅用于修剪连续的负画面。
[0221] 在另一已知实现方式中,例如JCT-G198,提出了一种信令方案,其发送恒定 deltaRPS值。另外,发送的字段值(例如,00)可信令通知先前参考画面不应当被使用(例 如,应当被跳过)。
[0222] 在一些已知实现方式中,在各个片头中单独地显性信令通知长期参考画面 (LTRP)。因此,当没有信令通知LTRP时,它将被删除。因此,对于LTRP而言可能不需要发 送删除信号。然而,在信令通知LTRP的一些实现方式中,本文所公开的删除机制可另外应 用于LTRP。
[0223] 本文所公开的系统和方法可在允许信令通知对先前信令通知的RPS的删除操作 方面提供一个或多个附加有益效果。可通过还有效地信令通知新RPS来获得附加有益效 果。在一个配置中,电子装置302可选地接收1102至少一个丢失的参考画面的反馈指示。 该反馈可来自相同或不同的电子装置。例如,对画面进行解码的解码器712可发现RPS中 丢失的参考画面,并且向电子装置302发送关于丢失的参考画面的指示。
[0224] 在另一配置中,302没有接收反馈。相反,电子装置302可在已信令通知新CRA或 IDR画面之后发送删除指示。例如,CRA或IDR画面可触发电子装置发送删除指示,以删除 先前接收的RPS中所列的一个或多个不必要的参考画面。
[0225] 电子装置302可创建1104删除先前提供的RPS中所列的至少一个参考画面的指 示。该步骤可结合接收指示丢失的画面的反馈的步骤或者独立于所述步骤来进行。电子装 置302可在比特流中发送1106该指示。
[0226] 例如,删除指示(例如,删除信号)可在随机访问点之后的第一 GOP之后发送。这 可进行而无需从解码器712接收反馈。删除指示可作为PPS中的标志来发送。例如,在PPS 中发送值为1的标志来指示在片头中存在删除比特字段。替代地,在PPS中发送值为0的 标志来指示在片头中不发送删除比特字段。
[0227] 另外地和/或替代地,可针对指示的RPS中的各个画面作为片头中的比特字段来 发送删除指示。例如,比特字段可在片头中发送指示值〇以指示从指示的RPS删除对应参 考画面,或者比特字段可在片头中发送指示值1以指示对应参考画面应当被保持。可针对 指示的RPS中的各个参考画面在片头中发送比特字段。在另一配置中,可仅针对指示的RPS 中的负参考画面在片头中发送此类比特字段。在一些配置中,删除指示可在PPS和比特字 段二者中发送。
[0228] 下面的列表(10)提供可用在PPS中以发送删除指示的语法的一个示例。依据本 文所公开的系统和方法对语法的修改以粗体表示。
[0229]
[0230] 列表(10)
[0231] 在列表(10)中,delete_pics_info_present_flag等于1指定片头可信令通知 从包括在画面参数集中的短期参考画面集的删除操作。delete_pics_info_present_flag 等于〇指定在片头没有信令通知针对包括在画面参数集中的短期参考画面集的删除操作。 pic_parameter_set_id 和 seq parameter set id 如上所述定义。
[0232] 下面的列表(11)提供可用在片头中以发送删除指示的语法的一个示例。依据本 文所公开的系统和方法对语法的修改以粗体表示。
[0233]
[0234] 列表(11)
[0235] 在列表(11)中,"keep_pic_flag"[j]等于 1 指定具有索引 short_term_ref_pic_ set_idx的画面参数集中的参考画面集的对应第j短期参考画面应当被保持。keep_pic_ flag[j]等于0指定具有索引short_term_ref_pic_set_idx的画面参数集中的参考画面集 的对应第j短期参考画面应当被删除(例如,被省略)。
[0236] "piC_〇rder_Cnt_l Sb"指定画面顺序计数对编码的帧的首字段或者编码的字段的 MaxPicOrderCntLsb 取模。pic_order_cnt_lsb 语法元素的长度为 log2_ max-p i c-order- cnt_lsb_minus4+4 比特a pic_order_cnt_lsb 的值将在 0 至 MaxPicOrderCntLsb-I 的范 围内,包括端值"MaxPicOrderCntLsb" 是指对("pic_order_cnt_lsb+l")的最大可能 值"log2_max_pic_order_cnt_lsb_minus4"如下指定用于画面顺序计数的解码处理的变 量MaxPicOrderCntLsb 的值:MaxPicOrderCntLsb = 2(lDg2-max-p1。-OTder- ent-lsb-minus4+4)。log2_max_ pic_order_cnt_lsb_minus4的值可在0至12的范围内,包括端值。
[0237] "short_term_ref_pic_set_pps_flag"等于1指定当前画面的短期参考画面集将 利用活动画面参数集中的语法元素来创建。short_term_ref_pic_set_pps_flag等于0指 定当前画面的短期参考画面集
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1