用于视频信息的可缩放译码的装置和方法_5

文档序号:9872771阅读:来源:国知局
当位流中存在IDR图片时,按解码次序在IDR图片之前的所有图片不由跟随IDR图片的图片 用于预测。当在位流中存在CRA图片时,跟随CRA图片的图片可或可不将按解码次序在CRA图 片之前的图片用于预测。按解码次序跟随CRA图片但使用按解码次序在CRA图片之前的图片 的那些图片可被称作随机存取跳过前导(RA化)图片。可按解码次序跟随IRAP图片且按输出 次序在IRAP图片之前的另一类型的图片为随机存取可解码前导(RADL)图片,其可不含有对 按解码次序在IRAP图片之前的任何图片的参考。如果在CRA图片之前的图片不可用,那么 RA化图片可由解码器丢弃。BLA图片对解码器指示在BLA图片之前的图片可能不对解码器可 用(例如,因为两个位流经拼接在一起且BLA图片为按解码次序的第二位流的第一图片)。含 有作为IRAP图片的基础层图片(例如,具有"0"的层ID值)的存取单元(例如,由跨越多个层 的与相同输出时间相关联的全部经译码图片组成的图片群组)可被称为IRAP存取单元。
[0145] 网络抽象层(NAL)单元和参数集
[0146] 如上文所论述,由编码器或解码器使用的参数可基于可利用它们的译码层级而分 组为参数集。举例来说,由位流中的一或多个经译码视频序列利用的参数可包含在视频参 数集(VPS)中,且由经译码视频序列中的一或多个图片利用的参数可包含在序列参数集 (SPS)中。类似地,由图片中的一或多个切片利用的参数可包含在图片参数集(PPS)中,且对 单个切片特定的其它参数可包含在切片标头中。类似地,在给定时间特定层正在使用(例 如,有效)哪一参数集的指示可在各种译码层级提供。举例来说,如果特定层中的切片的切 片标头参考PPS,那么针对所述切片或含有所述切片的图片激活PPS。类似地,如果PPS参考 SPS,那么针对所述图片或含有所述图片的经译码视频序列激活SPS,且如果SI^参考VPS,那 么针对经译码视频序列或含有所述经译码视频序列的视频层激活VPS。
[0147] 可W参数集NAL单元(例如,SPS NAL单元、PPS NAL单元等)的形式在位流中提供此 些参数集。NAL单元可包括原始字节序列有效负载(RBSP)和NAL单元标头。RBSP可指定参数 集ID(例如,SPS ID),且NAL单元标头可指定层ID,其可指示哪些层可使用SPS。
[014引序列参数集(SPS)原始字节序列有效负载(RBSP)的激活
[0149] SPS RBSP包含可由一或多个图片参数集(PPS)RBSP或含有有效参数集SEI消息的 一或多个SEI NAL单元参考的参数。每一SPS RBSP可初始地视为在解码过程的开始针对任 何层都不有效。对于每一层,在解码过程期间的任何给定时刻至多一个SPS RBSP被视为有 效,且用于特定层的任何特定SPS RBSP的激活导致用于所述特定层的先前有效SPS RBSP (如果存在)的减活。
[0150] 一个SPS RBSP可为用于一个W上层的有效SPS RBSP。举例来说,如果基础层和增 强层两者含有参考PI^的图片,所述PPS又参考具有3的SPS ID的SPS,那么具有3的SPS ID的 SPS是用于参考层和增强层两者的有效SPS RBSP。
[0151] 当SPS RBSP(例如,具有特定SPS ID)尚未已经针对具有X的层ID(例如,nuh_ layer_id)的特定非基础层(例如,具有非零层ID值或大于0的层ID)有效,且通过图片参数 集(PPS)RBSP的激活(例如,其中PPS ID等于SPS RBSP的特定SPS ID)来参考SPS RBSP时,针 对所述特定非基础层激活SPS RBSP。此SI^可被称为用于特定非基础层的有效SPS RBSP,直 到其通过用于所述特定非基础层的另一SPS RBSP的激活而减活。
[0础层初始化图片化IP)
[0153] 在一些译码方案中,层初始化图片("LIP图片")可经界定为作为具有设定成值"r 的NoRaslOu化UtFlag旗标(例如,在值设定成T'的情况下指示将不输出RA化图片且在值设 定成"0"的情况下指示将输出RA化图片的旗标)的IRAP图片的图片或含有初始IRAP存取单 元的图片,所述初始IRAP存取单元是其中基础层图片(例如,具有"0"的层ID值或在位流中 界定的最小层ID的图片)具有设定成值"r的NoRas IOu化UtFlag的IRAP存取单元。
[0154] 在一些实施例中,可在每一LIP图片处激活SPS。举例来说,具有设定成值"r的 NoRaslOu化UtFlag旗标的每一IRAP图片或包含于初始IRAP存取单元中的每一图片,可不同 (例如,指定不同图片分辨率等)于先前激活的SPS的新SPS。然而,在LIP图片不是IRAP图片 (例如,包含于初始IRAP存取单元中的任何图片)且初始IRAP存取单元中的基础层图片是具 有设定成值"0"的旗标NoClrasOu化UtFlag旗标(例如,在值设定成T'的情况下指示将不输 出交叉层随机存取跳过图片且在值设定成"0"的情况下指示将输出交叉层随机存取跳过图 片的旗标)的IDR图片的情况中,不应允许LIP图片激活新SPS。如果在此情况下在此LIP图片 处激活新SPS,具体来说当新SI^的SPS RBSP的内容不同于在初始IRAP存取单元之前先前有 效的SI^的内容时,在不同图片分辨率和错误恢复中可存在问题。举例来说,新SI^可更新分 辨率且使用时间预测来参考不同大小的图片。
[01巧]在一些实施例中,NoClRasOutputFlag和NoRasl0u1:putFlag可为基于包含在位流 中的信息导出的变量。举例来说,NoRaslOu化UtFlag可针对每个IRAP图片(例如,化和/或化 中)导出,且NoClRasOutputFlag可仅针对最低层图片(例如,BL图片)导出。 NoClRasOutputFlag和NoRas IOu 1:putFlag中的每一者的值可指示位流中的一些图片由于某 些参考图片的不可用性而可能不可正确解码。参考图片的此不可用性可在随机存取点处发 生。交叉层随机存取跳过(化-RAS)图片W某些方式为RA化图片的多层等效物。如果解码器 在随机存取点(例如,具有化IRAP图片的存取单元)处开始解码位流,且存取单元中的化图 片不是IRAP图片,那么所述化图片是化-RAS图片。EL中的全部图片可为化-RAS图片(例如, 可解码但不可正确解码)直到IRAP图片在化中发生。当位流中提供此化IRAP图片时,所述 化可称为已经初始化。
[0156] 有效SPS RBSP的持续时间
[0157] 为了防止由作为除在拼接点处外的非IRAP图片的LIP图片对新SI^的激活(可造成 上述问题),可迫使经激活SPS RBSP保持有效达某一时间周期。在一些实施例中,用于特定 层的经激活SPS RBSP将针对所述特定层的整个经译码层范围视频序列(CLVS)保持有效。 化VS可指代在同一层(例如,具有相同层ID值)中的经译码图片的序列,其按解码次序由具 有等于"r的值的NoRaslOu化UtFlag的IRAP图片或具有等于"0"(例如,指示所述图片是层 中的第一图片)的值的Firs巧IcInLayerDecodedFlag的图片组成,接着是全部经译码图片 (如果存在)直到但排除具有等于值"r的NoRaslOu化UtFlag的下一IRAP图片或具有等于值 ('0"的Firs1:PicInLayerDecodedFlag的下一图片。
[015引在一些实施例中,用于特定层的经激活SPS RBSP将如下针对特定层中按解码次序 的图片序列保持有效:(1)如果特定nuh_layer_id值等于0,那么经激活SPS将针对整个CVS 保持有效;W及(2)否则(例如,特定层的层ID不等于0),经激活SI^从特定层中作为IRAP图 片的LIP图片或不是IRAP图片且包含于含有作为IRAP图片且具有T'的NocirasOutputFlag 值的基础层图片的IRAP存取单元中的LIP图片开始保持有效,直到特定层中作为IRAP图片 的下一 LIP图片或含有作为IRAP图片且具有T'的NocirasOutputFlag值的基础层图片的初 始IRAP存取单元。
[0159] 包含拼接点的位流
[0160] 参考图4,将描述具有拼接点的实例位流。图4展示通过拼接位流410和420而产生 的多层位流400。位流410包含增强层化U410A和基础层(BL)410B,且位流420包含化420A 和化420B。化410A包含化图片412A,且化410B包含化图片412BdEL420A包含化图片422A、 424A和426A,且化420B包含化图片422B、424B和426B。多层位流400进一步包含存取单元 (AU)430-460dAU 430包含化图片412A和化图片412B,AU 440包含化图片422A和化图片 422B,AU 450包含化图片424A和化图片424B,且AU 460包含化图片426A和化图片426B。在图 4的实例中,化图片422B是IRAP图片,且AU 440中的对应化图片422A是后置图片(例如,非 IRAP图片),且因此,AU 440是未经对准IRAP AU。并且,应注意AU 440是紧跟在拼接点470之 后的存取单元。
[0161] 虽然图4的实例说明其中两个不同位流接合在一起的情况,但在一些实施例中,当 位流的一部分移除时拼接点可存在。举例来说,位流可具有部分A、B和C,部分B在部分A与C 之间。如果部分B从位流移除,那么剩余部分A和C可接合在一起,且它们接合在一起的点可 被称为拼接点。更一般化地,如本申请案中所论述的拼接点可视为当一或多个用信号表示 或导出的参数或旗标具有预定值时存在。举例来说,在未接收到在特定位置存在拼接点的 特定指示的情况下,解码器可确定旗标(例如,NoClrasOu化UtFlag)的值,且基于旗标的所 述值执行本申请案中描述的一或多种技术。
[01创限制新参数集的激活
[0163] 图5是说明根据本发明的实施例的用于对视频信息进行译码的方法500的流程图。 图5中说明的步骤可由编码器(例如,如图2A或图2B中所示的视频编码器)、解码器(例如,如 图3A或图3B中所示的视频解码器)或任何其它组件执行。为方便起见,将方法500描述为由 译码器执行,所述译码器可为编码器、解码器或另一组件。
[0164] 方法500开始于框501。在框505处,译码器确定增强层化L)图片是否是IRAP图片。 举例来说,如果化图片是IDR图片、CRA图片或BLA图片中的任一者,那么译码器可确定化图 片为IRAP图片。在一些实施例中,译码器通过检查与化图片相关联的NAL单元类型而确定EL 图片是IRAP图片。如果译码器确定化图片是IRAP图片,那么方法500前进到框520。如果译码 器确定化图片不是IRAP图片,那么过程500前进到框510。
[0165] 在框510处,译码器确定EL图片是否在拼接点处。拼接点可指示两个位流接合处的 点。举例来说,第一位流的最后图片可按译码次序紧接着跟随有第二位流的第一图片。在一 些实施例中,译码器可通过确定化图片是否是按译码次序跟随拼接点的第一图片而确定EL 图片是否在拼接点处。如果译码器确定图片在拼接点处,那么方法500前进到框520。如果 译码器确定化图片不在拼接点处,那么方法500前进到框515。如上文参考图4所论述,510中 的确定可包括确定一或多个用信号表示或导出的参数或旗标是否具有预定值。举例来说, 在未接收到在特定位置存在拼接点的特定指示的情况下,编码器或解码器可确定旗标(例 如,NoClrasOutputFlag)的值,且基于所述确定前进到框515或框520。
[0166] 在框515处,译码器不允许新参数集的激活。举例来说,译码器可防止化图片激活 新SPS。译码器可通过致使先前经激活参数集保持有效直到化中的下一 IRAP图片经处理而 不允许新参数集的激活。替代地,译码器可通过致使先前经激活参数集保持有效直到下一 拼接点而不允许新参数集的激活。在又另一实例中,译码器可通过致使先前经激活参数集 保持有效直到含有化图片的经译码视频序列的结束而不允许新参数集的激活。
[0167] 在框520处,译码器允许新参数集的激活。举例来说,译码器可致使增强层与具有 与针对EL先前经激活的参数集不同的参数的新参数集相关联。方法500在525处结束。
[0168] 如上文所论述,图2A的视频编码器20、图2B的视频编码器23、图3A的视频解码器30 或图3B的视频解码器33的一或多个组件(例如,层间预测单元128和/或层间预测单元166) 可用W实施本发明中论述的技术中的任一者,例如确定化图片是否是IRAP图片,确定化图 片是否在拼接点处,W及不允许或允许新参数集的激活。
[0169] 在方法500中,可移除(例如,不执行)图5中所示的框中的一或多者和/或可切换所 述方法执行的次序。举例来说,虽然图5中展示框510,但其可移除W简化译码过程。因此,本 发明的实施例不限于图5展示的实例或不受到图5中展示的实例限制,且可在不脱离本发明 的精神的情况下实施其它变化。
[0170] 对从不激活的参数集的约束
[0171] 在一些译码方案中,可存在针对有效参数集(例如,有效PPS或有效SPS)指定的位 流符合性约束(例如,可经确定为适用且随后由例如译码器附加的约束),W斜体字展示: "pps_scaling_list_ref_laye;r_id指定有效PPS与同当前PPS相同的按比例缩放列表数据 相关联的层的nuh_laye;r_id的值。卵3_3。日1;[]1旨_1131:_'6'_1日761'_1(1的值将在0到62(包含 性)的范围内。当avc_base_laye;r_flag等于1时,位流符合性的要求是pps_scaling_list_ ref_laye;r_id将大于0。位流符合性的要求是当具有等于nuliLayerIdA的nuh_laye;r_id的 PPS针对具有等于1111化日761'1地的]11111_1日761'_1(1的层有效且??5中的卵3_;[]1'61'_3。日1;[]1邑_ lag等于1时,pps_inf e;r_scaling_list_f lag将针对对于具有等于 pps_scaling_ list_ref_laye;r_id的nuh_laye;r_id的层有效的PPS等于0。位流符合性的要求是当具有等 于 niALayerldA 的 nuh_laye;r_id 的 PPS 针对具有等于 niALayerI 地的 nuh_laye;r_id 的层有效 时,具有等于pps_scal ing_l 131:_'6;1^_1曰761'_1(1的]11111_1曰761'_1(1的层将为具有等于 niihLay er I地的nuh_l ay e;r_i d的层的直接或间接参考层。"
[0172] 在一些译码方案中,然而可能需要从不由任何层激活的参数集满足W下约束,W 斜体字展示:"对语法元素的值与从VPS、SPS和PI^中的那些语法元素和其它语法元素导出 的变量的值之间的关系表达的全部约束是仅应用于有效VPS、有效SPS和有效PPS的约束的 表达。如果位流中从不激活的任何VPS RBSP、SPS RBSP和PPS RBSP存在,那么如果其通过在 原本相符的位流中的参考而激活,则其语法元素将具有将符合指定约束的值。"
[0173] 然而,对于例如从不激活的例如VPS、SPS、PPS等参数集,即使考虑第二斜体约束, 也可能难W检查是否针对在位流中但从不激活的参数集满足W上第一斜体约束。运是因为 即使在针对一个层经激活的情况下给定参数集满足约束,同一参数集也可能在针对另一层 经激活的情况下未能满足约束。可通过位流针对单个层用信号表示多个参数集(例如,在激 活之前,无论它们是否经激活),因此无法确定特定位流是否是符合的,除非那些参数集针 对一或多个层经激活。
[0174] 对从不激活的参数集的约束的改变
[0175] 在一些实施例中,从位流符合性检查排除位流符合性约束取决于来自其它参数集 的其它语法元素的从不激活的参数集的语法元素的符合性检查。上文所论述的约束可如下 经修改:"如果位流中从不激活的任何VPS RBSP、SPS RBSP和PPS RBSP存在,那么所述特定 参数集RBSP的语法元素将具有将符合那些指定约束的不取决于另一参数集RBSP的任何语 法元素的值的值。"
[0176] 在一些实施例中,根据某种规则可从位流符合性检查跳过从不激活的参数集的一 些特定语法元素。举例来说,符合性检查仅针对用信号表示此参数集的层检查从不激活的 参数集的符合性约束。上文所论述的约束可如下经修改:"如果位流中从不激活的任何VPS RBSP、SPS RBSP和PPS RBSP存在,那么在其通过W原本符合的位流中的参数集中用信号表 示的层Id参考而经激活的情况下其语法元素将具有将符合指定约束的值。"
[0177] SPS视频可用性信息(VUI)
[0178] SPS VUI包含例如样本纵横比、上方扫描、源视频格式(PAL/NTSC等、样本值范围、 源颜色格式)、字段/帖信息、位流限制(包含交叉层位流限制)。此信息可包含交叉层位流限 审IJ,其可不为层特定的而是应用于全部层。因此,在一些现存译码方案中,此信息可在每一 SPS中重复。
[01巧]在一些实施例中,全部SPS VUI信息可包含在VPS VUI中,且如果针对特定层,SPS 的任何VUI参数必须具有与VPS VUI中不同的值,那么整个SPS VUI可直接在SI^中用信号表 示。否则,SPS不含VUI参数且VUI是从推断。
[01
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1