随机接入点画面的制作方法_3

文档序号:9383440阅读:来源:国知局
单元的nal_unit_type等于BLA_N_LP时,它不具有任何关联 前导画面。
[0110] 清楚随机接入(clear random access CRA)画面语法规定在随机接入点(RAP)的 位置处使用帧内画面,即,在比特流中的解码器可以开始对画面进行成功解码的位置,而无 需对在比特流中之前呈现的任意画面进行解码。支持随机接入实现高效的信道切换,寻找 操作和动态流传输服务。当开始对CRA画面进行解码时,在解码顺序中位于CRA画面之后 并且在显示顺序(输出顺序)中位于CRA画面之前的一些画面可以包含对在解码器处不可 用的画面的帧间画面预测参考。解码器丢弃这些不可解码的画面,其中解码器在CRA点处 开始其解码处理。这种不可解码的画面被表示为随机接入跳过前导(RASL)画面。可以通 过间断链接接入(BLA)画面来表示来自不同初始编码比特流的接合点的位置。可以通过将 一个比特流中的CRA画面的NAL单元类型改变为指示BLA画面的值,并联系在另一比特流 中的RAP画面的位置处的新比特流,来执行比特流拼接操作。RAP画面可以是IDR、CRA或 BLA画面,在比特流中CRA和BLA画面二者都跟随RASL画面(取决于BLA画面使用的NAL 单元类型的特定值),联系在另一比特流中的RAP画面位置处的新比特流。解码器与BLA画 面相关联的RASL画面,这是由于它们可能因为接合操作而参考在比特流中实际不存在的 画面。在解码顺序中可以在RAP画面之后且输出顺序中在其之前的另一类型的画面是随机 接入可解码前导画面(RADL),其中不包含对在解码顺序中在RAP画面之前的任何画面的参 考。将RASL和RADL画面统称作前导画面(LP)。在解码顺序和输出顺序二者中都在RAP画 面之后的画面被称作尾随画面,不包含对LP的参考以便帧间画面预测。
[0111] 为了进行多个参考画面管理,先前编码的画面的特定集合需要存在于解码画面缓 冲器(DPB)中(参见,图IA的参考画面缓冲器166以及图2A的帧存储器290),以便对比特 流中的其他画面进行解码。为了标识这些画面,在每一分片首部中传送画面顺序计数(POC) 指示符的列表。pic_order_cnt_lsb语法元素规定当前画面的画面顺序计数模数(modulo) MaxPicOrderCntLsbcj pic_order_cnt_lsb 语法元素的长度是 log2_ _max_p i c_or der_cnt_ lsb_minus4+4 比特。pic_order_cnt_lsb 的值的范围为 0 到 MaxPicOrderCntLsb-I (包含 0 和 MaxPicOrderCntLsb-I 在内)。log2_max_pic_order_cnt_lsb_minus4 规定了在对画面 顺序计数的解码处理中使用的变量MaxPicOrderCntLsb的值,如下所示:
[0112] MaxPicOrderCntLsb = 2(log2_max_pic_order_cnt_lsb_minus4+4) (O-I)
[0113] log2_max_pic_order_cnt_lsb_minus4 的值的范围是 0 到 12 (包含在内)。
[0114] 参考画面集(RPS)是与画面相关的参考画面的集合,包括解码顺序中在相关画面 之前的所有参考画面,可以用于对相关画面或解码顺序中在相关画面之后的任何画面进行 帧内预测。图9示出了针对时域预测结构的示例POC值、解码顺序和RPS。在该示例中,所 示的RPS值表示针对PRS的实际POC值。在其他情况下,代替POC值,画面POC值相对当 前画面POC的差值,可以将发信号通知当前画面和参考是否使用所指画面的指示符存储在 RPS 中。
[0115] 由于IDR画面不要求任何先前画面以便进行解码,pic_order_cnt_lsb语法元 素的画面顺序可以被表示为0,因此,减小比特流的比特速率。通过被设置为1的first_ sliCe_in_pic_flag来发信号通知画面在解码顺序中的第一分片。因此,值等于1的语法 元素 first_slice_in_pic_flag用作边界,以便在背对背地发送两个或更多个IDR画面的 情况下识别IDR画面的起始。然而,在一些情况下,不可能区分在视频层属于背对背发送的 IDR画面的片。第一个这种情况是数据分组顺序错乱地到达解码器。第二个这种情况是丢 失含有IDR画面第一片的数据分组。此外,当通过帧内编码将编码视频序列的所有画面发 信号通知为IDR画面时(例如,当使用所有帧内属性),所有画面的pic_order_cnt_lsb值 为0。因此,为了允许解码器区分特定IDR画面与另一 IDR画面,该系统应发信号通知针对 每个画面的不同pic_order_cnt_lsb值。此外,与IDR画面相似且仅具有I分片的BLA画 面可以发信号通知pic_order_cnt_lsb元素的非零值。
[0116] 参考图10,为了增加解码器在对比特流进行解码时的鲁棒性,应发信号通知针对 IDR画面的pic_order_cnt_lsb语法元素。在图10所示的分片首部的实施例中,pic_order_ cnt_lsb规定了针对当前画面的画面顺序计数模数MaxPicOrderCntLsb。pic_order_cnt_ Isbi吾法元素的长度是 log2_max_pic_order_cnt_lsb_minus4+4 比特。pic_order_cnt_lsb 的值的范围是 〇 到 MaxPicOrderCntLsb-I (包括 0 和 MaxPicOrderCntLsb-I 在内)。
[0117] 备选技术方案应包括:不发信号通知针对BLA画面的pic_order_cnt_lsb语法元 素,因此推断为0以便符合IDR信令。因此,优选地,将IdrPicFlag派生(derivation)改 变为还包括BLA。此外,优选地将IdrPicFlag重新命名为IdrBlaPicFlag。附加地,优选地 针对BLA画面修改PicOrderCntVal计算。备选地,可以在保持IdrPicFlag的同时,包括新 标志 IdrBIaPi cFlag。
[0118] 通常,如果画面是IDR画面,则IdrPicFlag为真或1。否则则为假或零。在一种情 况下,将变量IdrPicFlag指定为:
[0119] IdrPicFlag = (nal_unit_type = = IDR_ff_RADL||nal_unit_type = = IDR_N_ LP),其中nal_unit_type表示NAL单元类型。
[0120] 通常,如果画面是IDR画面或BLA画面,则IdrBlaPicFlag应为真或1。否则,则为 假或零。在一种情况下,将变量 IdrBlaPicFlag 指定为 IdrBlaPicFlag = (nal_unit_type ==IDR_ff_RADL|Inal_unit_type = = IDR_N_LP||nal_unit_type = = BLA_ff_LP||nal_ unit_type = = BLA_W_LP I I nal_unit_type = = BLA_N_LP),其中 nal_unit_type 表不 NAL 单元类型。
[0121] 由于BLA画面仅包含I分片并且可以是比特流在解码顺序中的第一画面,或BLA 画面可以随后存在于比特流中,可以使用这种备选技术。每一 BLA画面开始新编码视频序 列,与IDR画面对编码处理具有相同作用,如上所述。因此,发信号通知针对BLA和IDR画 面的pic_order_cnt_lsb值的方式相同将允许解码器对BLA和IDR画面进行相似地处理。
[0122] 参考图11,为了增加解码器在对比特流解码和处理IDR与BLA画面时的一致性,可 以在除了 IDR画面或BLA画面的画面(例如,! IdrBLAPicFlag)的分片片首部中发信号 通知 pic_order_cnt_lsb i吾法元素。
[0123] 参考图12,为了增加解码器在对比特流解码和处理IDR与BLA画面时的一致性,可 以在除了 IDR画面或BLA画面的画面(例如,! IdrBLAPicFlag)的分片首部中发信号通 知pic_order_cnt_lsb语法元素。针对除了 IDR画面之外的画面(! IdrPicFlag),可以发 信号通知分片首部的其他部分。因此,可以针对BLA画面发信号通知分片首部的其他部分。
[0124] 参考图13, piC_〇rder_Cnt_lsb语法元素可以在分片首部的起始。在分片首部起 始的pic_order_cnt_lsb字段更易于使得能够在片首部中首先检查到该字段,以便在对片 内的其他语法元素进行语义分析之前,知道该分片属于哪个画面。这在画面可能顺序错乱 地到达和/或丢失了画面的环境下是有用的。
[0125] 可缩放视频编码是对视频比特流进行编码的技术,其中视频比特流还包含一个或 更多个子集比特流。可以通过从较大视频提取分组数据,来得到子集视频比特流,从而减 小自己比特流所需的带宽。子集比特流可以代表较低的空间分辨率(较小屏幕)、较低的 时域分辨率(较低的帧速率)、或较低质量的视频信号。例如,视频比特流可以包括5个 子集比特流,其中子集比特流中的每个将附加内容添加到基本比特流。Hannuksela等人 的"Test Model for Scalable Extensions of High Efficiency Video Coding(HEVC)',, JCTVC-L0453,Shanghai,2012年10月通过全文引用合并于此。Chen等人的"SHVC Draft Text l",JCTVC-L1008,Geneva,2013年3月通过全文引用合并于此。在以下文献中进行了 附加描述:J.Chen、J· Boyce、Y. Ye、M. EHannuksela 的"SHVC Draft Text 2",JCTVC-M1008, 111(3]16〇11,2013年5月;6.丁6(3]1、1(.如区1161'、¥.〇1611、]\1]^1111111<:861&、]\13〇5^6的"]\^-!?^^ Draft Text4(IS0/IEC 23008-2 :201x/PDAM2)", JCTVC-D1004, Incheon,2013 年 5 月;以 及 K. Suhring、R. Skupin、G. Tech、T. Schierl、K. Rapaka、W. Pu、X. Li、J. Chen、Υ· -K. Wang、 M. Karczewicz、K. Ugur、M. M. Hannuksela ;其中这些文献中的每一个都通过全文引用合并于 此。
[0126] 多视图视频编码是对视频比特流进行编码的技术,其中该视频比特流还包含一个 或更多个代表备选视图的其他比特流。例如,多视图可以使针对立体视频的一对视图。例 如,多视图可以代表不同视角对同一场景的多个视图。多视图通常包含大量视图间统计依 赖性,这是由于图像是不同视角下的同一场景。因此,合并后的时域和视图间预测可以实 现高效的多视图编码。例如,可以不仅根据时域相关帧,而且根据相邻视角帧,来高效地预 测帧。Hannuksela 等人的 "Common specification text for scalable and multi-view extensions",JCTVC-L0452,Geneva,2013年1月通过全文引用合并于此。Tech等人的 "MV-HEVC Draft Text 3 (IS0/IEC 23008-2 :201x/PDAM2)",JCT3V-C1004_d3,Geneva,2013 年I月通过全文引用合并于此。
[0127] 参考图14,视频参数集是描述与视频序列相关的内容的语法。通过许多语法元素 来规定视频参数集语法,以下描述许多语法元素中的一部分。
[0128] vps_extension_offset规定了从NAL单元的起点开始到VPS NAL单元中的下一组 固定长度编码信息的字节偏移。非基本层的VPS信息或视图可以从VPS NAL单元的字节对 准位置开始,具有用于会话谈判和/或容量交换的固定长度编码信息。由vps_eXten Si〇n_ offset规定的字节偏移应有助于布置和接入VPS NAL单元中的信息,而无需进行熵解码。
[0129] vps_extension_flag等于0表明在VPS RBSP语法结构中不存在vps_extension () 语法结构。vps_extension_f lag等于1表明在VPS RBSP语法结构中存在vps_extension () 语法结构。当 vps_max_layers_minusl 大于 0 时,vps_extension_flag 等于 1 〇
[0130] vps_extension2_flag等于0表明在VPS RBSP语法结构中不存在vps_extension_ data_flag语法元素。解码器应忽略VPS NAL单元中在值为1的vps_extension2_flag之 后的数据。
[0131] 因此,视频参数集语法可以使用vps_extension_flag标识出存在具有附加特性 的扩展。参考图15A和15B,视频参数集扩展语法(例如,vps_extension〇)描述了与视频 参数集序列相关的附加语法元素或元数据。由许多语法元素来规定视频参数集扩展语法, 以下描述语法元素中的一部分。
[0132] vps_extension_byte_alignment_reserved_one_bit 可以等于 1〇
[0133] avc_base_layer_flag 等于 1 表明基本层符合 ITU-T H. 264 IIS0/IEC 14496-10, avc_base_layer_flag等于0表明符合另一规定,诸如这里所述的规定。
[0134] Splitting_flag 等于 1 可以表示根据 dimension_id_len_minusl [i]语法元素的 值,将在NAL单元首部中的nuh_layer_id语法元素的比特拆分为具有一定比特长度的η个 片段,且η个片段与在scalability_mask_flag[i]中指出的η个可缩放性维度相关联。当 splitting_flag等于1时,第i层的nuh_layer_id的第j片段的值可以等于dimension_ id[i][j]的值。splitting_flag等于0可以不表示上述限制。
[0135] 当splitting_flag等于1时,即,可以服从以下所述的在dimension_id[i] [j]语 法元素的语义中报告的限制,可以通过比特掩码拷贝,从NAL单元首部中的nuh_layer_id 语法元素得到可缩放指示符,备选地,在dimension_id[i] [j]语法元素的语句中报告的派 生。通过在 dimension_id_len_minusl [ j]的语句中规定的 dimension_id_len_minusl [i] 语法元素和dimBitOffset[i]的值,来定义第i个可缩放性维度的相应比特掩码。
[0136] scalability_mask_flag[i]等于1可以表示存在与表格F-I中的第i个可缩放维 度相对应的dimension_id语法元素。scalability_mask_flag[i]等于0可以表示不存在 与第i个可缩放性维度相对应的dimension_id语法元素。
[0137] 在一个实施例中,scalability_mask index 0可以表示可缩放性维度"多视 图",并可以映射到"Viewld"的Scalabilityld。在一个实施例中,scalability_mask index 1可以表示可缩放维度"空间/SNR可缩放性",并可以映射到"D印endencyld"的 Scalabi Iity Id。在一个实施例中,范围在2到15(包括2和15在内)的scalability_mask 索引可以表示在将来定义的保留的可缩放性。
[0138] dimension_id_len_minusl[j]plus 1 可 以表亦 dimension_id[i] [j]语法元素的比特长度。变量dimBitOffset [0]被设置为等于0,对于在1到 (NumScalabilityTypes-splitting-flag)(包括 1 和(NumScalabilityTypes-splitting- flag在内)范围内的j,如下所示地得到dimBitOffset[j]:
[0140] 当不存在 dimension_id_len_minusl [NumScalabilityTypes-1]时,可以应用如 下值:
[0141] -将 dimension_id_len_minusl [NumScalabilityTypes-1]的值推断为等于 5_dim BitOffset[NumScalabilityTypes-1]〇
[0142] -将 dimBitOffset [NumScalabilityTypes]设置为等于 6。
[0143] vps_nuh_layer_id_present_flag 可以表;是否存在 layer_id_in_nuh[i]语法。
[0144] layer_id_in_nuh[i]可以表;在第 i 层的 VCL NAL 单元中的 nuh_layer_id 语法 元素的值D对于范围在〇到vps_max_layers_minusl (包括0和vps_ _max_layers-minus1 在内)的i,当不存在layer_id_in_nuh[i]时,将layer_id_in_nuh[i]的值推断为等于I 0
[0145] 当 i 大于 0 时,layer-id-in-nuh[i]应大于 layer-id-in-nuh[i_l] D
[0146] 对于范围在 0 到 vps_max_layers_minusl (包括 0 和 vps_max_layers_minusl 在 内)的 i,将变量 LayerIdxIn Vps[layer_id_in_nuh[i]]设置为等于 i〇
[0147] dimension_id[i] [j]可以表明第i层的第j个存在的可缩放性维度类型的指示 符D 用于表示 dimension_id[i][j]的比特的数目是 dimension_id_len_minusl[j]+l 比 特D 当针对 0 到 NumScalabilityTypes-1 (包括 0 和 NumScalabilityTypes-1 在内)范围 内的 j 不存在 dimension_id[i] [j]时,将 dimension_id[i] [j]推断为等于((ayer_id_in_ nuh[i]&((1 << dimBitOffset [j+l])-l)) >> dimBitOffset [j]) 〇
[0148] 如下所述地得到规定第i层的第sml
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1