用于视频序列中的随机存取点图片的经解码图片缓冲器处理的制作方法

用于视频序列中的随机存取点图片的经解码图片缓冲器处理的制作方法
【专利摘要】本发明揭示用于处理视频数据的系统、方法和装置。一些实例接收用于视频数据序列的待解码的当前图片的切片。这些实例还可在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出。其可基于所述非熵译码语法元素解码所述切片。
【专利说明】用于视频序列中的随机存取点图片的经解码图片缓冲器处理
[0001]本申请案主张以下各者的权益:
[0002]2012年5月4日申请的第61/643，100号美国临时申请案，
[0003]2012年4月20日申请的第61/636，566号美国临时申请案，以及
[0004]2012年7月2日申请的第61/667，371号美国临时申请案，
[0005]所述临时申请案中的每一者的全部内容以引用的方式并入本文中。

【技术领域】
[0006]本发明大体上涉及处理视频数据，且更明确地说，涉及视频序列中的随机存取点(RAP)图片的译码。

【背景技术】
[0007]数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDAs)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置、转码器、路由器或其它网络装置，及其类似者。数字视频装置实施视频压缩技术，例如，由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)所定义的标准、目前正在开发的高效率视频译码(HEVC)标准及这些标准的扩展中所描述的视频压缩技术。视频装置通过实施这些视频压缩技术可以更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0008]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(即，视频帧或视频帧的一部分)可分割成视频块，视频块还可被称作树块、译码树单元(CTU)、译码单元(CU)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码
(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它图片中的参考样本的时间预测。图片可被称为帧，且参考图片可被称为参考帧。视频序列还可被称作位流。
[0009]空间或时间预测产生用于待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量及指示经译码块与预测性块之间的差的残余数据编码的。经帧内译码块是根据帧内译码模式及残余数据编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，接着可对残余变换系数进行量化。可扫描起初用二维阵列布置的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码以实现更多的压缩。


【发明内容】

[0010]本发明涉及用于译码经译码视频序列中的随机存取点(RAP)图片的技术。在一些实例中，当待解码的当前RAP图片为例如断链清洁随机存取(CRA)图片或断链存取图片(BLA图片)等断链RAP图片时，语法元素指示经解码图片缓冲器中在解码次序上在所述BLA图片之前的所有图片将不被输出。所述语法元素可提供于所述BLA图片的切片标头中的靠前位置且在所述BLA图片中的每一切片的任何经熵译码切片标头参数之前。在其它实例中，当待解码的当前RAP图片为BLA图片时，将经解码图片缓冲器中的所有参考图片标记为不用于参考。
[0011]在一个实例中，本发明描述一种解码视频数据的方法，所述方法包含:接收用于视频数据序列的待解码的当前图片的切片；在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出；以及基于所述非熵译码语法元素解码所述切片。
[0012]在另一实例中，本发明描述一种用于处理视频数据的装置，所述装置包含一个或多个处理器，所述一个或多个处理器经配置以:接收用于视频数据序列的待解码的当前图片的切片；在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出；以及基于所述非熵译码语法元素解码所述切片。
[0013]在一个实例中，本发明描述一种编码视频数据的方法，所述方法包含:编码用于视频数据序列的当前图片的切片；以及在所述切片的切片标头中编码至少一个经熵编码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵编码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出。
[0014]在一个实例中，本发明描述一种用于编码视频数据的装置，所述装置包含一个或多个处理器，所述一个或多个处理器经配置以:编码用于视频数据序列的当前图片的切片；以及在所述切片的切片标头中编码至少一个经熵编码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵编码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出。
[0015]在另一实例中，本发明描述一种用于解码视频数据的装置，所述装置包含:用于接收用于视频数据序列的待解码的当前图片的切片的装置；用于在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素的装置，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从图片存储缓冲器清空而不被输出；以及用于基于所述非熵译码语法元素解码所述切片的装置。
[0016]在另一实例中，本发明描述一种电脑可读储存媒体。所述计算机可读存储媒体上存储有指令，所述指令在执行时致使装置的一个或多个处理器进行以下操作:接收用于视频数据序列的待解码的当前图片的切片；在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从解码图片缓冲器清空而不被输出；以及基于所述非熵译码语法元素解码所述切片。
[0017]一或多个实例的细节陈述于附图及以下描述中。其它特征、目标及优势将从描述及附图且从权利要求书中显而易见。

【专利附图】

【附图说明】
[0018]图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的实例的框图。
[0019]图2是说明可实施本发明中描述的技术的实例视频编码器的框图。
[0020]图3是说明可实施本发明中描述的技术的实例视频解码器的框图。
[0021]图4是说明形成用于传达视频数据的网络的部分的一组实例装置的框图。
[0022]图5是说明根据本发明中描述的技术的包含RAP图片的实例视频序列的图。
[0023]图6是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的流程图。
[0024]图7是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的流程图。
[0025]图8是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的流程图。
[0026]图9是说明根据本发明中描述的一或多个实例的用于解码切片的实例方法的流程图。
[0027]图10是说明根据本发明中描述的一或多个实例的用于编码切片的实例方法的流程图。

【具体实施方式】
[0028]本发明描述与可用作例如随机存取点或流调适点(例如时间层切换点)等的图片有关的各种视频译码设计。举例来说，此类型的图片可为用于调适位率、帧率或空间分辨率的切换点，其中的每一者将在本发明中大体称为RAP图片。在一些情况下，视频编码器或视频解码器可译码在视频序列中在解码次序上定位在RAP图片之后但在输出次序(即显示次序)上定位在随机存取点或流调适点之前的一或多个图片。这些图片可称为前导图片。前导图片为在解码次序上在RAP图片之后但在输出次序上先于RAP图片的图片。更具体来说，这些图片可称为RAP图片的前导图片。
[0029]清洁随机存取(CRA)图片为一种类型的RAP图片。如果解码从在视频序列中定位在当前CRA图片之前的瞬时解码刷新(IDR)或CRA图片开始，那么可正确地解码当前CRA图片的前导图片。然而，在出现从当前CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。这是因为前导图片(即，在解码次序上定位在当前CRA图片之后但在输出次序上在当前CRA图片之前的图片)可能指向不可用的先前图片(例如，在解码次序上在BLA图片之前的图片)中用于预测参考的块。
[0030]明确地说，当随机存取解码从当前CRA图片开始时，在解码次序上驻留在当前CRA图片之前的图片不可用。因此，在此情况下，前导图片不可解码，且在随机存取解码在CRA图片处开始时通常被丢弃。为防止错误从取决于解码开始处而可能不可用的图片传播，在解码次序及输出次序两者上都在CRA图片之后的所有图片不将在解码次序或输出次序上先于CRA图片的任何图片(其包含前导图片)用作参考图片。
[0031]对于前导图片不可解码(例如，当解码从较靠前的RAP图片开始时)的情况，CRA图片可包含断链旗标。此旗标指示CRA图片的前导图片不可解码，例如因为参考图片归因于正解码的位流的改变而不可有效地用于解码前导图片。此类CRA图片可称为断链清洁随机存取(BLC)图片或断链存取(BLA)图片。
[0032]断链可通常指的是位流中的位置，在该位置中，指示在解码次序上的一些后续图片可能归因于产生位流时所执行的未指定操作而含有显著视觉假影。替代使用断链旗标或除使用断链旗标之外，可使用BLC(或类似BLA)图片来指示视频序列中的断链。BLA或BLC图片可例如用于多种装置中的任一者(例如服务器、媒体感知网络元件(MANE)，或视频编辑器/剪接器)所进行的位流剪接。再次，可认为BLC图片大体类似于BLA图片，如HEVCWD9(见下文)中所描述。尽管术语稍有不同，但BLC或BLA图片可大体指的是其前导图片不可解码的CRA或时间层存取(TLA)图片，这些图片例如在解码从较靠前的RAP图片开始时可能不可解码。
[0033]在本发明的各种实例中，对于BLA或BLC图片，认为前导图片不可解码，因为据了解，在解码次序上在BLA或BLC图片之前(例如，在剪接点之前)的参考图片不可用。根据本发明的实例，为解码当前BLA或BLC图片，可将经解码图片缓冲器中的参考图片标记为不用于由解码器参考。明确地说，当待解码的当前图片为BLA或BLC图片时，可将经解码图片缓冲器(DPB)中的参考图片标记为不用于由解码器参考。在另一实例中，对于BLA或BLC图片的解码，编码器或其它装置可产生且解码器可接收例如旗标(例如n0_0utput_0f_pr1r_pics_flag)等语法元素，其指示可存储在DPB中的在CRA图片或BLA (或BLC)图片之前的所有参考图片将不被输出。在一些实例中，此旗标或其它语法元素可由编码器或其它装置放置在BLA (或BLC)或CRA图片的切片标头中靠前处，例如在经熵解码的元素之前，以使得所述旗标可更容易地解码，且信息可在解码过程中较早地可用或较之于视频解码器更易由其它实体存取。举例来说，为使得功能较少的装置(例如媒体感知网络元件(MANE)可以存取信息而不需要熵解码，no_output_of_pr1r_pics_flag可定位在切片标头中较靠前位置中且先于经熵译码的切片标头参数。
[0034]在另一实例中，译码器可处理经指派以指示何时BLA(或BLC)或CRA图片具有和不具有前导图片的NAL单元类型。注意，BLA图片实质上类似于BLC图片。一般来说，从BLC图片到BLA图片的改变是术语改变，但BLA图片的处理还可包含添加本文所述的NAL单元类型。举例来说，NAL单元类型可包含:NAL单元类型16，BLA_W_LP (具有前导图片的BLA)；NAL单元类型17，BLA_W_DLP (具有可解码前导图片但不具有不可解码前导图片的BLA);且包含NAL单元类型18，BLA_N_LP (不具有前导图片的BLA)。在一些实例中，这些NAL单元类型可用以指示BLA图片可包含可解码和不可解码前导图片两者、仅包含可解码前导图片，还是根本没有前导图片。当BLA图片不具有不可解码前导图片时，所有相关联前导图片(如果存在)都可解码。
[0035]正由ITU-T视频译码专家组(VCEG)及IS0/IEC动画专家组(MPEG)的视频译码联合合作小组(JCT-VC)开发的高效率视频译码(HEVC)描述于各种工作草案中。HEVC标准的新近草案(被称作“HEVC工作草案6”或“WD6”)描述于以下文件中:JCTVC-H1003，布洛斯(Bross)等人，“高效率视频译码(HEVC)文本规范草案6 (High efficiency videocoding (HEVC) text specificat1n draft 6)，，, ITU-T SG16 WP3 的视频译码联合小组(JCT-VC)和ISO/IEC JTC1/SC29/WG11，第8届大会；美国加利福尼亚州圣何塞，2012年2月 I 日至Ij 10 日，从 2012 年 5 月 4 日起，可以从 http://phenix.1nt-evry.fr/ict/docend user/documents/8 San % 20.Tose/wgll/.TCTVC-H1003-v22.zip 下载，其全部内容以引用的方式并入本文中。HEVC的最新的工作草案(WD)(被称为“HEVC WD9”)描述于布洛斯(Bross)等人于2012年10月10日到19日在中国上海(Shanghai，CN)的ITU-TSG16 WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)第11次会议中的文献JCTVC-K1003vl3 “高效率视频编码(HEVC)文本规范草案9(High efficiencyvideo coding (HEVC) text specificat1n draft 9) ” 中，所述草案从 2012 年 12 月 27 日起可从 http://phenix.1nt-evry.fr/ict/doc end user/documents/11 Shanghai/wgl I/TCTVC-K1003-V13.zip下载，所沭草案的全部内容以引用的方式并入本文中。在WD9中，用于指代断链CRA图片的BLC图片术语已改变为BLA图片术语。因此，在本发明中通常可互换地使用BLC与BLA术语来指代断链CRA图片。
[0036]其它实例视频译码标准包含ITU-T H.26UIS0/IEC MPEG-1 VisuaUITU-T H.262或 ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual 及 ITU-T H.264(也称为ISO/IEC MPEG-4 AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。
[0037]现将描述RAP图片的各种方面。随机存取一般是指对从不是位流中的第一经译码图片的经译码图片开始的视频位流的解码。在例如广播和流式传输等许多视频应用中可能需要对位流的随机存取以例如使用户在不同信道之间切换、跳转到视频的特定部分、支持位流剪接，或切换到不同位流以用于流调适(位率、帧率、空间分辨率，等)。视频应用可将RAP图片以规则间隔多次地和/或在所选位置插入至视频位流中以允许此特征。
[0038]编码器和解码器可使用瞬时解码器刷新(IDR)图片用于随机存取。然而，因为IDR图片开始经译码视频序列且始终清理经解码图片缓冲器(DPB)，所以在解码次序上在IDR之后的图片无法使用在IDR图片之前解码的图片作为参考图片。因此，依赖于IDR图片以用于随机存取的位流可具有显著较低的译码效率。为了提高译码效率，在开发HEVC标准时已引入清洁随机存取(CRA)图片的概念以允许在解码次序上在CRA图片之后但在输出次序上先于CRA图片的图片使用在CRA图片之前解码的图片作为参考图片。因此，CRA图片可作为视频序列中的第一经解码图片用于随机存取，或可解码为已解码较靠前RAP(例如IDR或CRA)图片的视频序列的部分。
[0039]在解码次序上在CRA图片之后但在输出次序上先于CRA图片的图片被称作CRA图片的前导图片。如果解码从当前CRA图片之前的RAP图片开始，那么CRA图片的前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。因此，如上文所论述，在HEVC过程中，这些前导图片在CRA图片的随机存取解码期间通常被丢弃。为防止错误从取决于解码开始处而可能不可用的参考图片传播，在解码次序及输出次序两者上在CRA图片之后的所有图片不应将在解码次序或输出次序上在CRA图片前面的任何图片(其包含前导图片)用作参考图片。
[0040]在具有恢复点SEI消息的H.264/AVC中支持随机存取功能性。H.264/AVC解码器实施方案可支持或可不支持所述功能性。在HEVC中，开始于CRA图片的位流被视为相符位流。当位流开始于CRA图片时，CRA图片的前导图片可能指不可用参考图片，且因此无法被正确地解码。然而，HEVC标准指定不输出开始CRA图片的前导图片，因此得名用于CRA图片的“清洁随机存取”。为建立位流符合性要求，HEVC指定解码过程以产生不可用于解码非输出前导图片的参考图片，即不输出的前导图片。然而，相符解码器实施方案不需要遵循彼解码过程，只要解码器实施方案与从经译码视频序列的开始执行解码过程时相比可产生相同输出即可。
[0041]在HEVC中，相符位流可能根本不含有IDR图像，且因此可含有经写码视频序列或经不完全写码视频序列的子组。在HEVC WD6中，如下定义经译码视频序列。
[0042]经译码视频序列为存取单元序列，其包含在解码次序上的IDR存取单元继之以包含所有后续存取单元直到但不包含任何后续IDR存取单元的零个或零个以上非IDR存取单
J Li ο
[0043]“具有断链的CRA图片”的概念描述于沙利文(Sullivan等人)于2012年4月27日到 5 月 7 日在瑞士日内瓦(Geneva, CH)的 ITU-T SG16WP3 和 ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)第9次会议中的文献JCTVC-10404“具有断链的CRA图片(CRA pictures with broken links) ” 中，所述草案从 2012 年 12 月 27 H起可从 http://phenix.1nt-evry.fr/ict/doc end user/documents/9 Geneva/wglI/.TCTVC-10404~v1.Mn下载，所述草案的全部内容以引用的方式并入本文中。在一个实例中，与HEVC WD6中包含的CRA概念相比，在JCTVC-10404中提出另外允许不处于位流的开头的CRA图片具有不可解码的前导图片，就像开始位流的CRA图片那样。在HEVC WD6中，开始一位流的CRA图片允许(在还称为解码次序的位流次序上)跟着归因于缺少在解码次序上在BLA图片之前的参考图片而无法解码的前导图片。然而，不允许在位流中间的CRA图片具有此类不可解码的前导图片。在一个实例中，在JCTVC-10404中提出通过添加将指示此类不可解码前导图片的潜在存在的“断链”旗标来移除此约束。
[0044]“断链”旗标在JCTVC-10404中提议为在切片标头中的CRA图片的图片层级信息或针对图片层级信息在某一其它地方中。在包含调适参数集(APS)的实例中，“断链”旗标可为APS的部分。然而，一些标准并未针对APS而提供。在旗标等于I时，将允许位流含有CRA图片的由于缺少前面的参考图片而不可解码的前导图片，即使位流开始于在位流次序上较靠前的IDR图片或CRA图片也如此。
[0045]对于“断链”旗标等于I的CRA图片，除允许具有如本文中所论述的不可解码前导图片之外，其图片次序计数(POC)最高有效位(MSB)设定到O。此外，断链旗标等于I的CRA图片可包含:no_output_of_pr1r_pics_flag,其致使CRA图片与IDR图片以相同的方式表现；以及 random_access_pic_id,其致使 CRA 图片与 HEVC WD6 中的 IDR 图片的 idr_pic_id以相同方式表现。另外，当前idr_pic_id(如HEVC WD 6中)被重新命名为random_access_pic_id，且应使其约束适用于CRA图片及IDR图片两者而非仅适用于IDR图片。与IDR图片一样，具有等于I的broken_link_flag的CRA图片可激活不同的序列参数集(SPS)、改变图片大小等。
[0046]在一些实例中，在切片标头或APS中用信号通知“断链”旗标将需要将正常CRA图片改变为所谓的断链清洁随机存取(BLC)图片(在本发明中还称为BLA图片)的实体(例如，服务器、媒体感知网络元件(MANE)，或视频编辑器/剪接器)。此实体通常将需要能够对切片标头和/或APS进行熵编码和剖析以编码断链旗标。同样，在需要时识别BLA或BLC图片的实体(例如，服务器、MANE，或视频编辑器)将需要能够对切片标头和/或APS进行熵解码和剖析以找出所述旗标。
[0047]在一些实例中，可能不允许断链CRA (BLA)图片在参数集ID与有效SPS、PPS或APS相同的情况下激活序列参数集(SPS)、图片参数集(PPS)或APS(在由所述图片参考时)。然而，因为BLA图片通常源自在解码次序上与先前图片不同的位流(例如，在位流剪接情况下)，BLA或BLC图片与先前图片可使用不同SPS原始位序列有效负载(RBSP)、PPS RBSP和APS RBSP。因此，在一些实例中，可能BLA或BLC图片与在解码次序上在前的图片可参考(直接或间接)SPS或PPS ID的相同值。另外，在一些实例中，图片还可能参考APS ID的相同值。因此，在解码中使用先前图片的有效SPS、PPS或APS极可能致使BLA或BLC图片以及随后图片(不仅仅是前导图片)的解码不正确。
[0048]在正常CRA 图片中不包含 random_access_pic_id 和 no_output_of_pr1r_pics_flag语法元素的实例中，在需要时将正常CRA图片改变为BLA或BLC图片的实体(例如，月艮务器、媒体感知网络元件(MANE)，或视频编辑器/剪接器)将需要能够对切片标头和/或APS进行熵编码或解码和剖析以编码所述语法元素。
[0049]因为BLA或BLC图片将通常来源于与在解码次序上在前的图片不同的位流，因此如果no_output_of_pr1r_pics_f lag等于O,那么经解码图片缓冲器可能溢位。结果,在解码次序上在后的所有图片可能被不正确的解码或解码器可能甚至崩溃。
[0050]当第一位流的一部分与第二位流的一部分(其中，第二位流的部分从CRA图片(piCA)开始)剪接或级联时，可能不将CRA图片改变为BLA或BLC图片。确切地说，在解码从先前CRA图片或IDR图片或BLA或BLC图片开始且CRA图片picA的前导图片的解码质量可接受但不完美时(例如，当前导图片中的一或多者的检查和与经解码图片杂凑辅助增强信息(SEI)消息中用信号通知的检查并不匹配时，如在HVEC WD6中)的情况下，有可能将PicA保持为CRA图片。然而，此方法缺乏用以在位流中指示以上信息的机制。
[0051]为解决以上问题中的一些，在一实例中，替代使用旗标来指示CRA图片具有断链或指示断链CRA(BLA)图片，可使用相异的NAL单元类型(例如，保留在HEVC WD6中的等于2的NAL单元类型)。在此类实例中，由NAL单元提供的信息可在无需熵编码或解码的情况下使用。此方法可允许实体(例如，服务器、媒体感知网络元件(MANE)，或视频编辑器/剪接器)在需要时将正常CRA图片(对于正常CRA图片，如果不是位流开始，那么所有相关联的前导图片必须可解码(即，可正确地解码))改变为BLA或BLC图片。此还可准许实体(例如，服务器、MANE,或视频编辑器)在需要时识别BLA或BLC图片。
[0052]在一些实例中，替代允许BLC图片激活不同SPS，需要BLC图片激活SPS，即使由BLC图片参考的SPS ID与用于在解码次序上在前的图片的有效SPS的SPS ID相同。此可间接地经由PPS (如在HEVC WD6中)或通过其它方法执行，例如，经由如JCTVC-10338中所描述的群组参数集间接地执行或直接地执行(例如，当SPS ID直接包含在切片标头中时)，或经由缓冲周期SEI消息而间接地执行。可能需要BLC图片激活SPS，因为BLC图片通常来自与在解码次序上在前的图片不同的位流。另外，通常应用具有相同或不同SPS ID的不同SPS RBSP。
[0053]BLC图片还可用以激活PPS。即使由BLC图片参考的PPS ID (经由如JCTVC-10338中所描述的群组参数集间接地，或直接地，例如当PPS ID直接包含在切片标头中时，如在HEVC WD6中)与用于在解码次序上在前的图片的有效PPS的PPS ID相同也可能是此情况。这再次是因为BLC图片通常来自与在解码次序上在前的图片不同的位流，且通常应用具有相同或不同PPS ID的不同PPS RBSP。
[0054]在一些实例中，还需要BLA或BLC图片激活APS (如果其参考APS)，即使由BLA或BLC图片参考的APS ID与用于在解码次序上在前的图片的有效PPS的APS ID相同也是如此。这再次是因为BLA或BLC图片通常来自与在解码次序上在前的图片不同的位流。另外，通常应用具有相同或不同APS ID的不同APS RBSP。
[0055]BLA或BLC图片可视为特殊类型的CRA图片，且可被定义为经译码图片(对于其来说，NAL单元类型为用于BLC图片的NAL单元类型(例如，保留在HEVC WD6中的等于2的NAL单元类型))。具有不同术语但具有类似效果的此定义可适用于BLA图片，如HEVC WD9中所描述。用于非BLA CRA图片(当其在位流和相关联前导图片开始处时)的相同解码过程可应用于解码BLA或BLC图片和相关联前导图片，即使BLA或BLC图片不为位流中的第一图片也是如此。或者，可从CRA图片排除BLA或BLC图片，S卩，可不将BLA或BLC图片视为CRA图片。在这种情况下，用于CRA图片(当其在位流和相关联前导图片开始处时)的相同解码过程适用于解码BLA或BLC图片和相关联前导图片，即使BLA或BLC图片不为位流中的第一图片也是如此。在以下论述中，假定此替代方案适用。
[0056]在一些实例中，BLA或BLC存取单元可被定义为其中经译码的图片为BLA或BLC图片的存取单元。经译码视频序列的定义可改变如下:在解码次序上包含IDR存取单元或BLA或BLC存取单元继之以包含所有后续存取单元直到但不包含任何后续IDR或BLA存取单元的零个或零个以上非IDR和非BLA存取单元。
[0057]替代如在JCTVC-10404中具有仅用于所有IDR图片和BLA图片的random_access_pic_id和no_output_of_pr1r_pics_flag,在另一方法中，两个字段对于所有IDR图片、BLA和所有CRA图片始终存在。对于每一 CRA图片，需要no_output_of_pr1r_pics_f lag等于O。在一些实例中，在需要时，可以更容易地使实体(例如，服务器、媒体感知网络元件(MANE)或视频编辑器/剪接器)将CRA图片改变为BLA图片。
[0058]在另一替代实例中，对于BLA图片，可能需要no_output_of_pr1r_pics_flag等于I。或者，每一 BLA图片不用信号通知no_output_of_pr1r_pics_flag,但图片输出行为与其具有等于I的no_output_of_pr1r_pics_flag的情况相同。作为另一替代，每一BLA图片用信号通知no_output_of_pr1r_pics_flag,但图片输出行为与其具有等于I的no_output_of_pr1r_pics_f lag 的情况相同，而不管用信号通知的 no_output_of_pr1r_pics_flag的值是多少。
[0059]可例如在切片标头中用信号通知用于BLA图片的图片次序计数(POC)最高有效位(MSB)值。如果其被用信号通知，那么在解码过程中所述值将仍被视为等于0，而不管所述值如何。或者，在解码过程中使用用信号通知的POC MSB值，但随后剪接器需要检查且可能改变所述值以与在解码次序上较早的图片的POC值一致。
[0060]当第一位流的一部分与第二位流的一部分(其中，第二位流的部分从CRA图片(PicA)开始)剪接或级联时，剪接器可将来自第一位流的图片保持为CRA图片。在一实例中，当解码从在前的CRA图片、IDR图片或BLA图片开始时，CRA图片的前导图片的解码质量可接受但不完美。举例来说，当前导图片中的一或多者的检查和与经解码图片杂凑SEI消息中用信号通知的检查和(如在HVEC WD6中)不匹配时，解码质量可接受。
[0061]可在位流中用信号通知以上信息的指示。所述信息可经由与来自第一位流的CRA图片相关联的指示用信号通知，例如，作为NAL单元标头或切片标头或所参考的APS中的旗标，或与来自第一位流的CRA图片相关联的SEI消息。所述旗标可称为exact_match_flag。在一实例中，值I指示与来自第一位流的CRA图片相关联的每一前导图片的检查和匹配在经解码图片杂凑SEI消息中用信号通知的检查和(如果存在)。值O指示与来自第一位流的CRA图片相关联的每一前导图片的检查和可或可不匹配在经解码图片杂凑SEI消息中用信号通知的检查和(如果存在)。
[0062]用信号通知前导图片和CRA图片的前导图片的存在的论述提供于JCTVC-10275中，可在下处获得:
[0063]http://Dhenix.1nt-evry.fr/ict/doc end user/documents/9 Geneva/wglI/TCTVC-10275-v2.zip ;及文献 JCTVC-10277，可在下处获得:
[0064]http://Dhenix.1nt-evry.fr/ict/doc end user/documents/9 Geneva/wglI/JCTVC-10277-v3.zip，其论述了用信号通知前导图片和CRA图片的前导图片的存在，其每一者的全部内容以引用的方式并入本文中。在一些实例中，关于用信号通知CRA图片的前导图片的存在的类似想法可适用于BLA或BLC图片。
[0065]使用断链RAP图片(例如BLA或BLC图片)可能存在一些问题。可提供各种改进以解决与例如BLA或BLC图片等断链RAP图片和其它现有视频随机存取方法相关联的此些问题。
[0066]—个问题是对于与CRA图片相关联的前导图片仅定义一个NAL单元类型可能不够充分，因为前导图片还可能是时间层存取(TLA)图片。因此，实施本文所述的系统和方法的编码器和解码器可能需要更多NAL单元类型来识别属于还是TLA图片的前导图片的NAL单元和属于不是TLA图片的前导图片的NAL单元。
[0067]作为另一问题，如果BLA或BLC图片改变视频序列中的图片的空间分辨率，那么如在HEVC WD6中针对位流开始处的CRA图片的前导图片所指定的当前解码过程无法直接应用于BLA或BLC图片的前导图片。在一些情况下，可能看起来空间分辨率对于当前图片与当前图片的参考图片不同。作为另一问题，在HEVC WD6中指定的解码过程中，语法元素slice_type可能不必要地出现于IDR、CRA和BLA或BLC图片的切片的切片标头中。
[0068]本发明大体描述用于RAP图片和用于译码尤其是在视频序列中的断链RAP图片(例如，BLA图片)的各种技术。所述技术中的一些可解决上文所描述的问题中的一或多者，而所述技术中的一些可提供可适用于译码随机存取图片的额外特征。
[0069]在一些实例中，当待解码的当前RAP图片为例如断链清洁随机存取(CRA)图片(BLA图片)等断链RAP图片时，语法元素指示经解码图片缓冲器中在解码次序上在所述BLA图片之前的所有参考图片将不被输出。此语法元素可由编码器编码，且由解码器解码。而且，语法元素可提供于当前断链RAP图片的切片标头中的靠前位置且在当前断链RAP图片中的每一切片的任何经熵译码切片标头参数之前。在一些实例中，在经熵译码语法元素之前(例如在任何ue (V)元素之前)提供语法元素可准许功能较少的装置在无需熵译码的情况下解释所述语法元素。在其它实例中，当待解码的当前RAP图片为断链RAP图片时，将经解码图片缓冲器中的所有参考图片标记为不用于参考。此特征可准许将标准解码过程应用于BLA或BLC图片的前导图片，即使BLA或BLC图片改变空间分辨率也是如此。本发明中描述这些和其它实例技术。
[0070]图1是说明可利用本发明中所描述的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，源装置12产生目的地装置14稍后可解码的经编码视频数据。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频串流装置或类似者。在一些情况下，源装置12和目的地装置14可经装备以用于无线通信。
[0071]在一些情况下，视频编码器20可编码在随机存取点或流调适点(例如，时间层切换点)之后的图片。举例来说，此可为用于调适位速率、帧速率或空间分辨率的切换点。这些图片中的一或多者可为视频序列中的CRA图片的前导图片。如果对视频序列的解码是从视频序列中的当前CRA图片之前的RAP图片开始，那么解码器可正确地解码CRA图片的前导图片。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。举例来说，前导图片可指向不可用的用于预测参考的块。因此，前导图片可能不可在视频解码器30处解码。因此，目的地装置14可通常在随机存取解码期间丢弃这些前导图片。
[0072]在另一实例中，对于BLA或BLC图片，编码器20可编码旗标，例如no_output_of_pr1r_pics_f lag (其可更准确地被称作语法元素),使得不输出DPB中的任何先前图片。在一些实例中，此旗标或语法元素可在熵解码之前处于切片标头中靠前处，使得其可更容易地被解码且所述信息在译码过程中较早地可用。举例来说，由于例如不需要对ri0_0utput_of_pr1r_pics_flag进行熵解码,使得较不复杂的装置(例如MANE)可存取所述信息而不需要解码器。作为说明，no_output_of_pr1r_pics旗标可呈现为非熵译码语法元素,例如，以作为固定长度U(I)元素，而不是经熵译码语法元素，例如，可变长度ue (V)元素。例如紧接在first_slice_segment_in_pic旗标之后且在任何经熵译码语法元素之前可呈现no_output_of_pr1r_pics 方萁标。
[0073]在一个实例中，在(例如)使用存储在参考图片缓冲器中的图片可产生不正确经解码图片时，视频解码器30可将这些图片标记为不用于参考。举例来说，在解码次序或输出次序上在BLA或BLC图片前面的参考图片可能不能用于在解码次序上在BLA或BLC图片之后的前导图片的参考。因此，响应于接收到在解码次序或输出次序上在BLA或BLC图片前面的参考图片可不能用于在解码次序上在BLA或BLC图片之后的前导图片的参考，视频解码器30可将所述参考图片标记为不用于参考。
[0074]在一实例中，视频编码器20可经配置以包含经指派以指示BLA或BLC图片何时具有且不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类型16，BLA_W_LP(具有前导图片的BLA) ;17，BLA_W_DLP(具有可解码前导图片的BLA)；;及18，BLA_N_LP (不具有前导图片的BLA)。
[0075]在一实例中，视频编码器20可处理经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。举例来说，视频编码器20可根据多个不同网络抽象层(NAL)单元类型中的一者来编码图片。所述多个NAL单元类型包含以下各者中的一或多者:(I)断链存取(BLA)图片的经译码切片，其中BLA图片是具有位流中的相关联前导图片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是具有位流中的相关联的可解码前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是在位流中不具有相关联前导图片的BLA图片。
[0076]目的地装置14可接收经编码视频数据。目的地装置可经由链路16解码所接收的数据。链路16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中，链路16可包括使源装置12能够实时地将经编码视频数据直接传输到目的地装置14的通信媒体。可根据通信标准(诸如，无线通信协议)调制经编码视频数据，且将其发射至目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于分组的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或可以用于促进从源装置12到目的地装置14的通信的任何其它设备。
[0077]或者，可将经编码资料从输出接口 22输出到存储装置34。类似地，可通过输入接口从存储装置34存取经编码数据。存储装置34可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置34可对应于可保持由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置34经由流式传输或下载来存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置及本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码的视频数据。这可包含适合于存取存储于文件服务器上的经编码的视频数据的无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。经编码的视频数据从存储装置34的发射可为流式发射、下载发射或两者的组八口 ο
[0078]本发明的技术不必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用，例如空中电视广播、有线电视发射、卫星电视发射、流式视频传输(例如，经由因特网)、编码视频数据以存储于数据存储媒体上、解码存储于数据存储媒体上的视频数据，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频串流、视频回放、视频广播和/或视频电话等应用。
[0079]在图1的实例中，源装置12包含视频源18、视频编码器20及输出接口 22。在一些情况下，输出接口 22可包含调制器/解调制器(调制解调器)及/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如摄像机)、包含先前俘获的视频的视频存档、用于从视频内容提供者接收视频的视频馈入接口及/或用于产生计算机图形数据作为源视频的计算机图形系统，或此类源的组合等源。作为一个实例，如果视频源18是摄像机，那么源装置12和目的地装置14可以形成所谓的相机电话或视频电话。然而，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。
[0080]可由视频编码器20编码所俘获视频、预先俘获的视频或计算机产生的视频。经编码视频数据可经由源装置12的输出接口 22直接发射到目的地装置14。经编码视频数据还可(或替代地)存储到存储装置34上以供稍后由目的地装置14或其它装置存取以用于解码及/或回放。
[0081]目的地装置14包含输入接口 28、视频解码器30及显示装置32。在一些情况下，输入接口 28可包含接收器及/或调制解调器。目的地装置14的输入接口 28经由链路16接收经编码视频数据。经由链路16传达或在存储装置34上提供的经编码视频数据可包含由视频编码器20产生的多种语法元素以供由例如视频解码器30等视频解码器用于解码视频数据。此些语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器中的经编码视频数据包含在一起。
[0082]在一些实例中，目的地装置14的视频解码器30可解码在随机存取点或流调适点(例如时间层切换点)之后的一或多个图片。举例来说，此可为用于调适位率、帧率(即，时间层切换点)或空间分辨率的切换点。这些图片中的一或多者可为前导图片。当发生从BLA或BLC图片的随机存取时，前导图片无法正确地解码。
[0083]在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频解码器30可不将在解码次序及输出次序两者上先于BLA或BLC图片的任何图(其包含前导图片)用作参考图片。
[0084]在各种实例中，视频解码器30在解码BLA或BLC图片时可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，视频解码器30可将经解码图片缓冲器(DPB)中的参考图片标记为不用于参考。
[0085]在另一实例中，编码器20可在位流中包含且解码器30可接收用于待解码的BLA图片的旗标或其它语法元素，例如no_output_of_pr1r_pics_flag。当等于I时，所述旗标指示DPB中的所有先前图片都不输出以用于显示。明确地说，当no_output_of_pr1r_pics_flag等于I时，解码器30清空经解码图片缓冲器中的所有图片存储缓冲器而不输出其含有的图片。在一些实例中，此旗标或语法元素可在熵解码之前呈现于切片标头中极靠前处，使得其可更容易地被解码而不需要熵译码，且所述信息可在译码过程中较早地可用。举例来说，由于例如不需要对no_output_of_pr1r_pics_flag进行熵解码,使得较不复杂的装置(例如MANE)可存取所述信息而不需要解码器。
[0086]在另一实例中，视频解码器30可处理经指派以指示何时BLA或BLC图片具有及不具有前导图片的NAL单元类型。(再次，如上文所描述，BLA图片在概念上与BLC图片大体相同，相同之处在于BLA与BLC图片表不断链CRA图片。)在一个实例中，视频解码器30可根据多个不同网络抽象层(NAL)单元类型中的一者来解码图片。所述多个NAL单元类型包含以下各者中的一或多者:(I)断链存取(BLA)图片的经译码切片，其中BLA图片是具有位流中的相关联前导图片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是具有位流中的相关联的可解码前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是在位流中不具有相关联前导图片的BLA图片。
[0087]在一些实例中，视频解码器30经配置以在其检测到BLA NAL单元类型的情况下将所有参考图片标记为不用于参考。如果解码器30检测到BLA NAL单元类型，那么参考图片不可有效地用于解码BLA图片或在解码或输出次序上在BLA图片之后的任何图片。
[0088]显示装置32可与目的地装置14集成或在目的地装置14外部。在一些实例中，目的地装置14可包含集成显示装置，且还经配置以与外部显示装置介接。在其它实例中，目的地装置14可为显示装置。一般来说，显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。
[0089]视频编码器20和视频解码器30可根据视频译码标准(例如目前正在开发的高效率视频译码(HEVC)标准)来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可以根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4，第10部分，高级视频译码(AVC)，或此类标准的扩展。然而，本发明的技术不限于任何特定译码标准。视频压缩标准的其它实例包含MPEG-2和ITU-T H.263。
[0090]尽管图1中未展示，但在一些方面中，视频编码器20和视频解码器30可各自与音频编码器及解码器集成，且可包含适当的多路复用器-多路分用器(MUX-DEMUX)单元或其它硬件及软件，以处理对共同数据流或单独数据流中的音频与视频两者的编码。在一些实例中，如果适用的话，多路复用器-多路分用器单元可以复合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。
[0091]视频编码器20和视频解码器30各自可实施为例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合等多种合适编码器电路中的任一者。当部分地用软件实施所述技术时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中且使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(编解码器)的部分。
[0092]JCT-VC正在努力开发HEVC标准。所述HEVC标准化努力是基于被称作HEVC测试模型(麗)的视频译码装置的进化的模型。HM假设视频译码装置根据例如ITU-ΤΗ.264/AVC相对于现存装置的几个额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但是HM可提供多达三十三种帧内预测编码模式。
[0093]总的来说，HM的工作模型描述视频帧或图片可以分成包含明度和色度样本两者的一连串树块或最大译码单元(LCU)。树块具有与H.264标准的宏块类似的目的。切片包含译码次序的多个连续树块。视频帧或图片可以分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。举例来说，作为四叉树的根节点的树块可分裂成四个子节点，且每一子节点又可为父节点且可分裂成另外四个子节点。最终的未分裂子节点(为四叉树的叶节点)包括译码节点，即经译码视频块。与经译码位流相关联的语法数据可界定树块可分裂的最大次数，且还可界定译码节点的最小大小。
[0094]CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可以从8x8像素到具有最大64x64像素或更大的树块的大小变动。每一⑶可含有一或多个I3U及一或多个TU。举例来说，与CU相关联的语法数据可描述CU到一或多个I3U的分割。分割模式可以在CU被跳过或经直接模式编码、帧内预测模式编码或帧间预测模式编码之间有区别。PU可以分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU可为正方形或非正方形形状。
[0095]HEVC标准允许根据TU变换，TU可以针对不同⑶而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于HJ。在一些实例中，对应于⑶残余样本可以使用一种被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可以变换与TU相关联的像素差值以产生变换系数，所述变换系数可以经量化。
[0096]一般来说，PU包含与预测过程有关的数据。举例来说，当经帧内模式编码时，PU可包括描述的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包括界定PU的运动向量的数据。举例来说，定义PU的运动向量的数据可以描述运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量指向的参考图片和/或运动向量的参考图片列表(例如，列表O、列表I或列表C)。
[0097]一般来说，TU用于变换及量化过程。具有一或多个的给定⑶还可包含一或多个变换单元(TU)。在预测之后，视频编码器20可计算对应于PU的残余值。残余值包括像素差值，所述像素差值可变换成变换系数、经量化且使用TU进行扫描以产生串行化变换系数用于熵译码。本发明通常使用术语“视频块”来指CU的译码节点。在一些特定情况下，本发明还可使用术语“视频块”来指包含译码节点以及PU及TU的树块，即LCU或CU。
[0098]视频序列通常包含一系列视频帧或图片。图片群组(GOP) —般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，其描述GOP中包含的图片的数目。图片的每一切片可包含切片语法数据，其描述用于相应切片的编码模式。视频编码器20通常对各个视频切片内的视频块进行操作以便编码视频数据。视频块可以对应于CU内的译码节点。视频块可以具有固定或变化的大小，并且根据指定译码标准可以有不同大小。
[0099]作为一实例，HM支持各种I3U大小的预测。假设特定⑶的大小是2Nx2N，则HM支持2Nx2N或NxN的PU大小的帧内预测，及2Nx2N、2NxN、Nx2N或NxN的对称I3U大小的帧间预测。HM还支持用于2NxnU、2NxnD、nLx2N和nRx2N的PU大小的帧间预测的不对称分割。在不对称分割中，不分割⑶的一个方向，而另一方向分割成25 %及75 %。⑶的对应于25 %分区的部分由“η”继之以“上方(U)”、“下方(D)”、“左侧(L)”或“右侧(R)”指示来指示。因而，举例来说，“2NxnU”是指水平地分割的2Νχ2Ν⑶，其中上方有2ΝχΟ.5Ν PU，而下方有2Νχ1.5Ν PU。
[0100]在本发明中，“ΝχΝ”与“N乘N”可以互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸，例如，16x16像素或16乘16像素。一般来说，16x16块将在垂直方向上具有16个像素(y = 16)，并且在水平方向上具有16个像素(x = 16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。一块中的像素可布置成若干行和若干列。此外，块未必需要在水平方向与垂直方向上具有相同数目的像素。举例来说，块可包括NxM像素，其中M未必等于N。
[0101]在使用CU的PU的帧内预测性或帧间预测性译码之后，视频编码器20可以计算⑶的TU的残余数据。可包括空间域(还称为像素域)中的像素数据，且TU在将变换应用到残余视频数据之后可包括变换域中的系数，所述变换例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。所述残余数据可以对应于未编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。
[0102]在任何用于产生变换系数的变换之后，视频编码器20可以执行变换系数的量化。量化大体上是指变换系数经量化以可能减少用于表示系数的数据量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，η位值可在量化期间被下舍入到m位值，其中η大于m。
[0103]在一些实例中，视频编码器20可以利用预定义扫描次序来扫描经量化变换系数以产生可被熵编码的串行化向量。在其它实例中，视频编码器20可以执行自适应扫描。在扫描经量化变换系数以形成一维向量之后，视频编码器20可例如根据上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵编码方法对所述一维向量进行熵编码。视频编码器还20可对与经编码的视频数据相关联的语法元素进行熵编码以供视频解码器30在对视频数据解码时使用。
[0104]为了执行CABAC，视频编码器20可以向待发射的符号指派上下文模型内的一个上下文。举例来说，所述上下文可以涉及符号的相邻值是否为非零。为了执行CAVLC，视频编码器20可以选择用于待发射的符号的可变长度码。VLC中的码字可经建构而使得相对短的代码对应于更有可能的符号，而较长的代码对应于不太可能的符号。以此方式，使用VLC可以举例来说实现优于对待发射的每一符号使用等长码字的位节省。概率确定可基于指派给符号的上下文。
[0105]图2是说明可实施本发明中所描述的用于译码断链RAP图片的技术的实例视频编码器20的框图。视频编码器20可以对视频切片内的视频块执行帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频帧或图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻接帧或图片内的视频中的时间冗余。帧内模式(I模式)可以指若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可以指代若干基于时间的压缩模式中的任一者。
[0106]在图2的实例中，视频编码器20包含分割模块35、预测模块41、滤波器模块63、参考图片存储器64、求和器50、变换模块52、量化模块54，及熵编码模块56。预测模块41包含运动估计模块42、运动补偿模块44，和帧内预测模块46。为了视频块重构，视频编码器20还包括反量化模块58、反变换模块60和求和器62。滤波器模块63既定表不一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)和样本自适应偏移(SAO)滤波器。尽管滤波器模块63在图2中说明为环内滤波器，但在其它配置中，滤波器模块63可实施为环后滤波器(post loop filter)。
[0107]如图2中所说明，视频编码器20接收视频数据，且分割模块35可以将所述数据分割成视频块。此分割还可包含分割成切片、瓦片或其它较大单元，以及视频块分割(例如根据LCU及CU的四叉树结构)。视频编码器20大体上说明编码待编码视频切片内的视频块的组件。所述切片可以划分成多个视频块(且可能划分成被称作瓦片的视频块集合)。预测模块41可基于错误结果(例如，译码速率及失真等级)针对当前视频块选择多种可能译码模式中的一者，例如多种巾贞内译码模式中的一者或多种巾贞间译码模式中的一者。预测模块41可将所得经帧内或帧间译码块提供到求和器50以产生残余块数据，且提供到求和器62以重建经编码块以用作参考图片。
[0108]如上文所论述，在一些情况下，视频编码器20可编码随机存取点或流调适点(例如，时间层切换点)，例如BLA或BLC图片。举例来说，所述编码可发生在熵编码模块56内，所述熵编码模块56可执行熵编码及非熵编码两者。这些图片中的一或多者可为CRA图片的前导图片。如果解码从当前CRA图片之前的RAP图片开始，那么CRA图片的前导图片可被正确地解码。然而，在出现从CRA图片的随机存取时，CRA图片的前导图片无法被正确地解码。举例来说，前导图片可指向不可用的用于预测参考的块。因此，前导图片可能不能在视频解码器30解码。因此，通常在随机存取解码期间丢弃这些前导图片。
[0109]在一实例中，视频编码器20可在切片标头中提供旗标，例如no_output_of_pr1r_pics_flag或语法元素，使得不输出DPB中的先前图片中的任一者，即，在BLA或BLC图片之前的图片。在一些实例中，此旗标(或语法元素)可在熵编码之前处于切片标头中靠前处，使得其可例如在解码器30处更容易地被解码且所述信息可在译码过程中较早地可用。所述语法元素或旗标可由熵编码模块56 (其可执行非熵编码)编码在例如BLA或BLC图片的切片标头中。此对于例如MANE等中间装置可为有用的，使得由语法元素或旗标提供的所述信息可以在不熵解码的情况下可用于中间装置，但其还可有助于解码器在熵解码之前存取此类信息。
[0110]举例来说，视频编码器20 (例如，熵编码模块56)可包含语法元素，所述语法元素指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片。所述语法元素在设定时可致使在解码次序上在当前图片之前且在解码所述当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器清空而不输出。在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元素可包含经熵译码切片标头语法元素及非熵译码切片标头语法元素。在一实例中，指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片的语法元素在任何经熵译码切片标头语法元素之前包含在切片标头中，使得所述语法元素自身未被熵译码。
[0111]在一些实例中，所述语法元素可为no_output_of_pr1r_pics_flag且no_output_of_pr1r_pics_flag 可包含于紧接在 first_slice_in_pic_flag 之后的切片标头中。first_slice_in_pic_flag可为指示切片是否在解码次序上是图片的第一切片的旗标。
[0112]在一实例中，视频编码器20可经配置以包含经指派以指示BLA或BLC图片何时具有且不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类型16，BLA_W_LP(具有前导图片的BLA) ;17，BLA_W_DLP(具有可解码前导图片的BLA);以及18，BLA_N_LP (不具有前导图片的BLA)。这些NAL单元类型可由熵编码模块56 (其可执行非熵编码)编码。因此，基于NAL单元类型，解码器可知晓BLA图片何时具有前导图片及前导图片何时不可解码，例如，在解码从较靠前的RAP图片开始时。因此，此信息可能用于确定前导图片何时可被标记为不用于参考，其可触发解码器将经解码图片缓冲器中的参考图片标记为不用于参考。
[0113]预测模块41内的帧内预测模块46可相对于与待译码当前块在相同的帧或切片中的一或多个相邻块执行当前视频块的帧内预测性译码，以提供空间压缩。预测模块41内的运动估计模块42及运动补偿模块44相对于一或多个参考图片中的一或多个预测块执行当前视频块的帧间预测性译码以提供时间压缩。
[0114]运动估计模块42可经配置以根据用于视频序列的预定模式为视频切片确定帧间预测模式。预定模式可将序列中的视频切片标明为P切片、B切片或GPB切片。运动估计模块42与运动补偿模块44可以高度集成，但出于概念目的分开加以说明。运动估计模块42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可以指示当前视频帧或图片内的视频块的PU相对于参考图片内的预测性块的位移。
[0115]预测性块是被发现在像素差方面与待译码视频块的密切匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差异度量来确定。在一些实例中，视频编码器20可以计算存储在参考图片存储器64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可以内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计模块42可以相对于整数像素位置和分数像素位置执行运动搜索并且输出具有分数像素精确度的运动向量。
[0116]运动估计模块42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表O)或第二参考图片列表(列表I)，其中的每一者识别存储在参考图片存储器64中的一个或一个以上参考图片。运动估计模块42将所计算的运动向量发送到熵编码模块56和运动补偿模块44。
[0117]由运动补偿模块44执行的运动补偿可以涉及基于通过运动估计(可能执行对子像素精确度的内插)确定的运动向量取出或产生预测性块。在接收到当前视频块的PU的运动向量后，运动补偿1旲块44即刻可以在参考图片列表中的一者中定位所述运动向量指向的预测性块。视频编码器20通过从正被译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残余视频块。像素差值形成用于所述块的残余数据，并且可包含明度和色度差分量两者。求和器50表示执行此减法运算的组件。运动补偿模块44还可产生与视频块和视频切片相关联的供视频解码器30在对视频切片的视频块进行解码时使用的语法元素。
[0118]帧内预测模块46可对当前块进行帧内预测，以作为对如上文所描述的由运动估计模块42和运动补偿模块44执行的帧间预测的替代。明确地说，帧内预测模块46可以确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测模块46可以例如在分开的编码编次期间使用各种帧内预测模式对当前块进行编码，并且帧内预测模块46 (或在一些实例中为模式选择模块40)可以从所述测试模式中选择适当帧内预测模式来使用。举例来说，帧内预测模块46可以使用速率失真分析计算用于各种经测试帧内预测模式的速率失真值，并且从所述经测试模式当中选择具有最佳速率失真特性的帧内预测模式。速率失真分析总体上确定经编码块与经编码以产生所述经编码块的原始未编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测模块46可以根据用于各种经编码块的失真和速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。
[0119]在任何状况下，在选择用于块的帧内预测模式之后，帧内预测模块46可将指示用于块的所选帧内预测模式的信息提供到熵编码模块56。熵编码模块56可根据本发明的技术编码指示所选帧内预测模式的信息。视频编码器20可在所发射的位流中包含配置数据。所述位流可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(还称为码字映射表)、用于各种块的编码上下文的定义，以及用于上下文中的每一者的最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示。
[0120]在预测模块41经由帧间预测或帧内预测产生用于当前视频块的预测性块之后，视频编码器20通过从当前视频块减去所述预测性块而形成残余视频块。残余块中的残余视频数据可包含在一或多个TU中且应用到变换模块52。变换模块52使用例如离散余弦变换(DCT)或概念上类似的变换的变换将残余视频数据变换成残余变换系数。变换模块52可将残余视频数据从像素值域转换到变换域，例如频域。
[0121]变换模块52可以将所得变换系数发送到量化模块54。量化模块54对残余变换系数进行量化以进一步降低位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化模块54可以接着执行对包含经量化变换系数的矩阵的扫描。或者，熵编码模块56可以执行所述扫描。
[0122]在量化之后，熵编码模块56对经量化变换系数进行熵编码。举例来说，熵编码模块56可执行上下文自适应可变长度译码(CAVLC)、上下文自适应二进制算术译码(CABAC)、基于语法的上下文自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码方法或技术。在熵编码模块56进行的熵编码之后，可将经编码位流发射到视频解码器30，或将经编码位流存档以供稍后发射或由视频解码器30检索。熵编码模块56还可对正被编码的当前视频切片的运动向量和其它语法元素进行熵编码。
[0123]反量化模块58和反变换模块60分别应用反量化和反变换以在像素域中重建构残余块以供稍后用作参考图片的参考块。运动补偿模块44可以通过将残余块添加到参考图片列表中的一者内的参考图片中的一者的预测性块中来计算参考块。运动补偿模块44还可将一或多个内插滤波器应用于所重建的残余块以计算子整数像素值用于运动估计。求和器62将经重建的残余块相加到由运动补偿模块44产生的运动补偿预测块以产生参考块用于存储在参考图片存储器64中。参考块可由运动估计模块42和运动补偿模块44用作参考块以对后续视频帧或图片中的块进行帧间预测。
[0124]图2的视频编码器20表示经配置以编码用以根据本发明的技术指示在解码次序上在BLA图片之前的参考图片不可用作参考图片的旗标或其它语法元素的视频编码器的实例。
[0125]图3是说明可基于上文所描述的断链RAP图片实施针对流调适和剪接的增强支持所描述的技术的实例视频解码器30的框图。在图3的实例中，视频解码器30包含熵解码模块80、预测模块81、反量化模块86、反变换模块88、求和器90、滤波器模块91及参考图片存储器92。预测模块81包含运动补偿模块82和帧内预测模块84。在一些实例中，视频解码器30可执行与关于来自图2的视频编码器20描述的编码遍次大体上互逆的解码遍次。
[0126]在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联语法元素的经编码视频位流。视频解码器30可从网络实体29接收经编码视频位流。网络实体29可例如为服务器、媒体感知网络元件(MANE)、视频编辑器/剪接器，或经配置以实施上文所描述的技术中的一或多者的其它此类装置。网络实体39可包含或可不包含视频编码器20。如上文所描述，本发明中所描述的技术中的一些可在网络29将经编码经编码视频位流发射到视频解码器30之前由网络实体29实施。在一些视频解码系统中，网络实体29及视频解码器30可为单独装置的部分，而在其它情况下，关于网络实体29描述的功能性可由包括视频解码器30的相同装置执行。
[0127]如上文所论述，在一些实例中，视频解码器30可解码例如BLA图片等断链RAP图片，或在随机存取点或流调适点(例如时间层切换点)之后的图片，例如前导图片。当发生从断链RAP图片的随机存取时，前导图片无法正确地解码。
[0128]在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频解码器30可不将在解码次序及输出次序两者上先于断链RAP图片的任何图片(其包含前导图片)用作参考图片。举例来说，预测模块81可不将参考图片存储器92中存储的在解码次序或输出次序上先于断链RAP图片的任何图片(其包含前导图片)用作参考图片。
[0129]在各种实例中，视频解码器30在解码BLA图片之前可将DPB中的所有参考图片标记为不用于参考。举例来说，可执行熵和非熵解码的熵解码模块80可将参考图片存储器92 (有时被称作经解码图片缓冲器(DPB))中的参考图片标记为不用于参考。视频解码器30 (例如熵解码模块80)可确定当前图片为BLA或BLC图片，且在解码BLA或BLC图片之前将图片存储缓冲器中的参考图片标记为不用于参考。确定当前图片为BLA或BLC图片可包含确定当前图片为CRA图片以及确定当前图片为RAP图片。在当前图片为CRA图片和RAP图片两者时，当前CRA图片为BLA图片。在一些实例中，解码器30的此确定可以基于图片具有BLA NAL单元类型来进行。
[0130]在另一实例中，在解码BLA图片时，解码器30可在经编码位流中接收旗标或语法元素，例如no_output_of_pr1r_pics_flag,使得不输出DPB中的先前图片中的任一者。在一些实例中，此旗标可在熵解码之前呈现在BLA图片的切片的切片标头中较靠前处，使得其可更容易地被解码且所述信息在译码过程中较早地可用。所述旗标或语法元素可由熵解码模块80 (其可执行熵解码及非熵解码两者)解码。在熵编码之前将旗标或其它语法元素放入切片标头中靠前处可允许较不复杂的装置(例如，MANE)存取所述信息而不需要熵解码器，这是因为(例如)不需要将no_output_of_pr1r_pics_flag熵解码。
[0131]在一实例中，视频解码器30可将语法元素(例如，no_output_of_pr1r_pics_flag)放置在位流中以供解码器接收。所述语法元素可指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片。所述语法元素在设定时可致使在解码次序中在当前图片之前且在解码所述当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器被清空而不输出。在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元素可包含一或多个经熵译码切片标头语法元素及一或多个非熵译码切片标头语法元素。在一实例中，指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片的语法元素被包含于任何经熵译码切片标头语法元素之前(例如，在任何ue (V)元素之前)的切片标头中(例如，作为U(I)元素)。在一些实例中，所述语法元素可为no_output_of_pr1r_pics_flag 且 no_output_of_pr1r_pics_flag 可包含于切片标头中，紧接在 first_slice_in_pic_flag之后且在任何经熵译码元素之前。first_slice_in_pic_flag可为指示切片是否在解码次序中是图片的第一切片的旗标。
[0132]在另一实例中，视频解码器30可处理经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。视频解码器30可经配置以包含经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。举例来说，可执行熵解码及非熵解码的熵解码模块80可处理所述NAL单元类型。
[0133]在一个实例中，视频解码器30 (例如，熵解码模块80)可根据多个不同的网络抽象层(NAL)单元类型中的一者来解码图片。所述多个NAL单元类型包含以下各者中的一或多者:(1)断链存取(BLA)图片的经译码切片，其中BLA图片是具有位流中的相关联前导图片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是具有位流中的相关联的可解码前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是在位流中不具有相关联前导图片的BLA图片。在一实例中，所述前导图片包括在显示次序中先于随机存取图片(RAP)但在解码次序中在所述随机存取图片之后的图片。
[0134]视频解码器30的熵解码模块80对位流进行熵解码以产生经量化系数、运动向量和其它语法元素。熵解码模块80将运动向量及其它语法元素转发到预测模块81。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。
[0135]当视频切片经译码为经帧内译码(I)切片时，预测模块81的帧内预测模块84可以基于发信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当视频帧经译码为经帧间译码(即，B、P或GPB)切片时，预测模块81的运动补偿模块82基于从熵解码模块80接收到的运动向量和其它语法元素产生用于当前视频切片的视频块的预测参考块。所述预测参考块可从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可以基于存储在参考图片存储器92中的参考图片使用默认建构技术建构参考帧列表一列表O和列表I。
[0136]运动补偿模块82通过剖析运动向量及其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测参考块。举例来说，运动补偿模块82使用一些接收到的语法元素确定用于对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、切片的参考图片列表中的一者或一者以上的建构信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态和用以对当前视频切片中的视频块进行解码的其它信息。当DPB中的图片被标记为不用于参考时，不存在参考图片可用。因此，视频解码器30将不能够参考用于帧间预测的先前参考图片来解码前导图片。
[0137]运动补偿模块82还可基于内插滤波器执行内插。运动补偿模块82可使用由视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿模块82可根据所接收的语法元素而确定由视频编码器20使用的内插滤波器且使用所述内插滤波器来产生预测参考块。
[0138]反量化模块86将在位流中提供且由熵解码模块80解码的经量化变换系数反量化，即去量化。反量化过程可包含使用由视频编码器20针对视频切片中的每一视频块计算的量化参数以确定应应用的量化程度及同样确定应应用的反量化程度。反变换模块88对变换系数应用反变换，例如反DCT、反整数变换或概念上类似的反变换过程，以便产生像素域中的残余块。
[0139]在运动补偿模块82基于运动向量和其它语法元素产生了当前视频块的预测性块之后，视频解码器30通过将来自逆变换模块88的残余块与运动补偿模块82产生的对应预测参考块求和来形成经解码视频块。求和器90表示可以执行此求和运算的组件。如果需要，还可使用环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改善视频质量。滤波器模块91既定表示一或多个环路滤波器，例如解块滤波器、自适应环路滤波器(ALF)和样本自适应偏移(SAO)滤波器。尽管滤波器模块91在图3中说明为环内滤波器，但在其它配置中，滤波器模块91可实施为环后滤波器。接着将给定帧或图片中的经解码视频块存储在参考图片存储器92中，参考图片存储器92存储参考图片用于后续运动补偿。参考图片存储器92还存储经解码视频用于以后在显示装置(例如图1的显示装置32)上呈现。
[0140]以此方式，图3的视频解码器30表示经配置以解码根据本发明的技术译码的参数集ID的视频解码器的实例。
[0141]图4是说明形成网络100的部分的一组实例装置的框图。在此实例中，网络10包含路由装置104A、104B (路由装置104)和转码装置106。路由装置104及转码装置106既定表示可形成网络100的部分的少数装置。例如交换器、集线器、网关、防火墙、桥接器及其它此些装置的其它网络装置也可包含在网络100内。此外，可沿着服务器装置102与客户端装置108之间的网络路径提供额外网络装置。在一些实例中，服务器装置102可对应于源装置12 (图1)，而客户端装置108可对应于目的地装置14 (图1)。
[0142]一般来说，路由装置104实施一或多个路由协议以经由网络100交换网络数据。在一些实例中，路由装置104可经配置以执行代理或快取存储器操作。因此，在一些实例中，路由装置104可被称为代理装置。一般来说，路由装置104执行路由协议以经由网络100发现路线。通过执行此些路由协议，路由装置104B可发现从自身经由路由装置104A到服务器装置102的网络路线。
[0143]可通过例如路由装置104和转码装置106等网络装置实施本发明的技术，并且可通过客户端装置108实施本发明的技术。以此方式，路由装置104、转码装置106和客户端装置108表示经配置以执行本发明的技术的装置的实例。此外，图1的装置以及图2中所说明的编码器和图3中所说明的解码器也为可经配置以执行本发明的技术的示范性装置。
[0144]举例来说，服务器装置102可包含编码器以编码在随机存取点或流调适点(例如时间层切换点)或其它流调适点之后的一或多个图片。举例来说，此可为用于调适位率、帧率(即，时间层切换点)或空间分辨率的切换点。类似地，客户端装置108可解码在随机存取点或流调适点(例如，时间层切换点)之后的一或多个图片。再次，此可为用于调适位率、帧率(即，时间层切换点)或空间分辨率的切换点。这些图片中的一或多者可为前导图片。当出现从BLA图片的随机存取时，前导图片无法在客户端装置108处正确地解码。
[0145]在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，客户端装置108可不将存储在经解码图片缓冲器(DPB)中的在解码次序及输出次序两者上先于BLA图片的图片(其包含前导图片)用作参考图片。
[0146]在各种实例中，客户端装置108可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，客户端装置108可将解码图片缓冲器(DPB)中的参考图片标记为不用于参考。
[0147]在另一实例中，服务器装置102、客户端装置108或两者可在切片标头中包含语法元素或旗标，且将所述旗标(例如no_output_of_pr1r_pics_flag)编码于位流中，以使得DPB中的所有先前图片都不由视频解码器30处理以解码前导图片或从DPB输出以(例如)供呈现在监视器上。在一些实例中，此旗标可在熵解码之前位于切片标头中靠前处，使得其可更容易地被解码且所述信息在译码过程中较早地可用。在一实例中，这些网络元件装置中的一者可在例如需要剪接或信道切换或流调适(例如时间层切换)时将CRA转换为BLA。使得旗标可在不进行熵译码的情况下加以存取允许不能进行熵解码的网络元件存取所述旗标。
[0148]所述多个NAL单元类型包含以下各者中的一或多者:(I)断链存取(BLA)图片的经译码切片，其中BLA图片是具有位流中的相关联前导图片的BLA图片；(2)BLA图片的经译码切片，其中BLA图片是具有位流中的相关联的可解码前导图片的BLA图片；及(3)BLA图片的经译码切片，其中BLA图片是在位流中不具有相关联前导图片的BLA图片。在一实例中，所述前导图片包括在显示次序上先于随机存取图片(RAP)但在解码次序上在所述随机存取图片之后的图片。
[0149]在各种实例中，构成网络100的路由装置104A、104B和转码装置106还可对在随机存取点或流调适点(例如时间层切换点)之后的图片执行一些处理。举例来说，此可为用于调适位率、帧率(即，时间层切换点)或空间分辨率的切换点。如上文所论述，这些图片中的一或多者可为无法正确地解码的前导图片。
[0150]在一实例中，路由装置104A、104B和转码装置106中的一或多者可不将在解码次序或输出次序上先于CRA图片的任何图片(其包含前导图片)用作参考图片。在另一实例中，路由装置104A、104B和转码装置106中的一或多者可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，路由装置104AU04B和转码装置106中的一或多者可将经解码图片缓冲器(DPB)中的参考图片标记为不用于参考。在另一实例中，路由装置104AU04B和转码装置106或流式传输服务器中的一或多者可使用旗标(例如no_output_of_pr1r_pics_flag)以使得DPB中的所有先前图片都不输出。另外，路由装置104AU04B和转码装置106可处理经指派以指示BLA图片何时具有和不具有前导图片的NAL单元类型。
[0151]图5是说明根据本发明中描述的技术的实例的图。图5说明前导图片可解码与不可解码时的情况的实例。前导图片的可解码性可基于预测性块的位置。另外，前导图片的可解码性可基于当前CRA图片为不是BLA图片的CRA图片还是当前CRA图片为还是BLA图片的CRA图片。(BLA图片为CRA图片的子组。)
[0152]图5的部分200说明呈解码次序的一系列图片。最初，例如视频解码器30(图1和3)或客户端装置108(图4)可将位置202处的RAP图片解码为视频序列中的第一图片。视频解码器30或客户端装置108可接着解码位置204处的可充当参考图片的图片或图片的部分。如图5中所示，位置204在解码次序上为参考图片的可能位置。如果参考图片位于位置204处，且位置206处的图片为不是BLA图片的CRA图片，那么位置208处的前导图片将可解码。相反，如果参考图片位于位置204处且位置206处的图片为还是BLA图片的CRA图片，那么位置208处的前导图片将不可解码。(BLA图片为CRA图片的子组。)
[0153]如果位置202处的RAP图片为RAP图片(在此处，解码开始)且位置206处的当前CRA图片不是BLA图片，那么如上文所描述，位置208处的前导图片可解码。相反，如果位置206处的当前CRA图片为RAP，那么位置206处的当前CRA图片还是BLA图片，且位置208处的前导图片不可解码。这是因为位置204处的预测性块不可用于为位置206处的当前CRA图片的BLA图片。因此，位置204处的预测性块可(I)标记为不用于参考，且(2)no_output_of_pr1r_pics_flag可指示先前图片(直到且包含位置208处的前导图片)不应被输出。
[0154]如图5中所示，位置210在解码次序上为参考图片的另一可能位置。如果参考图片位于位置210处，那么位置208处的前导图片将可解码。
[0155]图5的部分212说明呈输出次序的一系列图片。最初，视频解码器30(图1和3)或客户端装置108 (图4) RAP图片202。视频解码器30或客户端装置108可接着解码可充当位置204处的预测性块的图片或图片的部分。如图5中所示，位置204在输出次序上为预测性块的可能位置。
[0156]在输出次序上，可在位置206处的当前CRA图片之前输出前导图片208，如图5中所示。如图5中所示，位置210在输出次序上为预测性块的另一可能位置。
[0157]图6是说明根据本发明中描述的一或多个实例的用于译码RAP图片的实例方法的流程图。如图6中所示，在一些实例中，视频译码器(例如视频编码器20或视频解码器30)可译码视频序列中的用于随机存取点或流调适点(例如时间层切换点)的BLA图片。举例来说，此可为用于调适位速率、帧速率或空间分辨率的切换点。BLA图片可包含一或多个前导图片。当出现从BLA图片的随机存取时，前导图片无法正确地解码(例如，由解码器30、MANE，或其它解码装置)。
[0158]在一实例中，为防止错误从取决于解码开始处而可能不可用的参考图片传播，视频解码器可不将在解码次序及输出次序两者上先BLA picture的任何图(其包含前导图片)用作参考图片。
[0159]举例来说，视频解码器30可接收并解码语法元素，所述语法元素指示图片存储缓冲器被清空而不从图片存储缓冲器输出任何图片(600)。所述语法元素可由编码器20或中间网络元件包含在经编码视频位流中。视频解码器30可确定语法元素是否指示不应发生先前图片的输出，例如，视频解码器30可检查语法元素(602)以确定其是否经设定，即等于I。当视频解码器30接收到经设定的语法元素时，视频解码器30可致使在解码次序上在当前图片之前且在解码当前图片时驻留在图片存储缓冲器中的图片从图片存储缓冲器清空而不被输出(604)。
[0160]在一些实例中，所述语法元素可为多个语法元素中的一者。另外，所述多个语法元素可包含经熵译码切片标头语法元素及非熵译码切片标头语法元素。在一实例中，语法元素可指示图片存储缓冲器为空的而不从经解码图片缓冲器输出任何图片，且在任何经熵译码切片标头语法元素之前包含在切片标头中。在另一实例中，语法元素可指示图片存储缓冲器中的数据应被忽略和/或重写而不从图片存储缓冲器输出任何图片，且在任何经熵译码切片标头语法元素之前包含在切片标头中。在一些实例中，所述语法元素可为no_ou tpu t_o f _pr i or_p i c s_f lag 且 no_ou tpu t_o f _pr i or_p i c s_f lag 可包含于紧接在 first_slice_in_pic_flag之后的切片标头中。first_slice_in_pic_flag可为指示切片是否在解码次序中是图片的第一切片的旗标。
[0161]图7是说明根据本发明中所描述的一或多个实例的实例方法的流程图。在所说明的实例中，视频译码器可确定当前图片为CRA图片(700)。视频译码器还可确定当前图片为RAP图片(702)。视频译码器可确定当前图片为BLA图片(700)。在其它实例中，视频译码器可使用NAL单元类型来确定当前图片是否为BLA图片。
[0162]在各种实例中，视频译码器可在解码BLA图片之前将DPB中的所有参考图片标记为不用于参考。举例来说，视频解码器30可将参考图片存储器92 (有时被称作经解码图片缓冲器(DPB))中的参考图片标记为不用于参考。因此，所述图片将不用于帧间译码，这将避免可能错误，且在一些实例中可解决空间调适问题。另外，通常这些图片将不输出到例如监视器或屏幕，可在所述监视器或屏幕处观看图片。
[0163]视频解码器30可确定当前图片为BLA图片，且在解码BLA图片之前将图片存储缓冲器中的参考图片标记为不用于参考。在一实例中，标记图片存储缓冲器中的参考图片可在BLA图片包括不可解码BLA图片时发生，不可解码BLA图片在一些实例中可基于NAL单元类型加以确定。在一些实例中，(I)将DPB中的图片标记为不用于参考，(2)使用例如no_output_of_pr1r_pics_flag等语法元素及(3)使用指示BLA图片的NAL单元类型中的一或多者可独立地或以任何组合来使用。
[0164]图8为说明根据本发明中所描述之一或多个实例的实例方法之流程图。视频译码器可处理经指派以指示BLA图片何时具有和不具有前导图片的NAL单元类型。视频译码器可经配置以包含经指派以指示何时BLA图片具有及不具有前导图片的NAL单元类型。举例来说，在一个标准中，包含NAL单元类型16，BLA_W_LP (具有前导图片的BLA) ;17，BLA_ff_DLP (具有可解码前导图片的BLA);以及18，BLA_N_LP (不具有前导图片的BLA)。
[0165]在一个实例中，视频译码器可根据包含以下各自中的一或多者的多个不同网络抽象层(NAL)单元类型中的一者来译码图片。举例来说，视频译码器可确定BLA图片不具有相关联的前导图片(800)，且使用指示BLA图片为在位流中不具有相关联前导图片的BLA图片的NAL单元类型来译码BLA图片的经译码切片或整个BLA图片(802)。视频译码器可确定BLA图片具有相关联的可解码前导图片(804)，且使用指示BLA图片为在位流中具有相关联的可解码前导图片的BLA图片的NAL单元类型来译码经译码切片或整个BLA图片(806)。视频译码器确定BLA图片具有相关联的前导图片(808)，且可使用指示BLA图片为在位流中具有相关联前导图片的BLA图片的NAL单元类型来译码BLA图片的经译码切片或整个BLA图片(810)。在一实例中，如果视频解码器30检测到BLANAL单元类型，那么视频解码器30可例如将DPB中的图片标记为不用于参考。
[0166]在一些实例中，(I)将DPB中的图片标记为不用于参考，⑵使用例如no_output_οf_pr1r_pics_fIag等语法元素及(3)使用指示BLA图片的NAL单元类型中的一或多者可独立地或以任何组合来使用。举例来说，在一些情况下，可使用所有这三者。在其它实例中，可与将DPB中的图片标记为不用于参考结合使用实例NAL单元类型。在另一实例中，可使用不输出先前图片语法元素与将图片标记为不用于参考。在另一实例中，可使用不输出先前图片语法元素与NAL单元类型。
[0167]如本文所使用，BLC是指断链清洁随机存取，BLCL是指在位流中具有相关联前导图片的BLC图片，且BLCNL是指在位流中不具有相关联前导图片的BLC图片。如本文中所论述，BLC图片通常与BLA图片相同。CRA是指清洁随机存取，CRAL是指在位流中具有相关联前导图片的CRA图片，且CRANL是指在位流中不具有相关联前导图片的CRA图片。IDR是指瞬时解码刷新，LPR是指与随机存取点图片相关联的前导图片，NSP是指无甚特别(NothingSpecial Plain)，RAP是指随机存取点，且RPS是指参考图片组。如本文所使用，TLA是指时间层存取，TLAL是指还是LRP图片的TLA图片，TLANL是指不是LRP图片的TLA图片。
[0168]BLA存取单元是指其中经译码图片为BLA图片的存取单元。BLC图片为其中经译码切片的切片标头包含RPS语法而RPS被导出为空而不使用所述RPS语法的RAP图片。BLCL存取单元为其中经译码图片为BLCL图片的存取单元。BLCL图片为其相关联LPR图片存在于位流中的BLA图片。在一些实例中，BLCL存取单元可等效于BLA_W_DLP与BLA_W_LP的组合。BLCNL存取单元为其中经译码图片为BLCNL图片的存取单元。在一些实例中，BLCNL存取单元可等效于BLA_N_LP。BLCNL图片为其相关联LPR图片不存在于位流中的BLA图片。
[0169]在一实例中，CRA存取单元为其中经译码图片为CRA图片的存取单元。CRA图片为其中经译码切片的切片标头包含RPS语法且RPS语法用于导出RPS的RAP图片。CRAL存取单元为其中经译码图片为CRAL图片的存取单元。CRAL图片为其相关联LPR图片出现于位流中的CRA图片。CRANL存取单元为其中经译码图片为CRANL图片的存取单元。CRANL图片为其相关联LPR图片不存在于位流中的CRA图片。
[0170]在一实例中，IDR存取单元为其中经译码图片为IDR图片的存取单元。IDR图片为其中经译码切片的切片标头不包含RPS语法且RPS被导出为空的RAP图片。
[0171]在一实例中，如果在解码次序上的所有先前存取单元都不存在，其条件是由经译码图片参考的每一参数集和在解码次序上的所有后续经译码图片在其激活之后存在，那么IDR图片和在解码次序上的所有后续经译码图片可正确地解码。或者，在另一实例中，IDR图片可如HEVC中所定义(添加先前图片)。
[0172]在其它实例中，IDR图片可如下定义(加上先前注意点):IDR图片可为仅含有I切片的经译码图片。另外，对于实例IDR图片，在解码次序上在IDR图片之后的所有经译码图片都不使用来自在解码次序上先于IDR图片的任何图片的帧间预测。在一实例中，在解码次序上先于IDR图片的任何图片在输出次序上也先于IDR图片。
[0173]前导图片为不是RAP图片且在解码次序上在某一其它特定图片之后且在输出次序上先于所述特定图片的经译码图片。LPR图片为与RAP图片或RAP图片的前导图片相关联的前导图片。
[0174]图片次序计数可为与每一经译码图片相关联的变量，且具有随着在输出次序上图片位置的增加(相对于解码次序上的先前RAP图片)而增加的值。
[0175]在一实例中，RAP存取单元为其中经译码图片为RAP图片的存取单元。RAP图片可为仅含有I切片的经译码图片。对于RAP图片，在解码次序和输出次序两者上皆在RAP图片之后的所有经译码图片不使用来自在在解码次序或输出次序上先于RAP图片的任何图片的帧间预测。在解码次序上先于RAP图片的任何图片的输出应先于RAP图片的输出。如果在解码次序上的所有先前存取单元都不存在，其条件是由经译码图片参考的每一参数集和在解码次序上的所有后续经译码图片在其激活之后存在，那么RAP图片和在解码次序和输出次序两者上的所有后续经译码图片可正确地解码。
[0176]或者，可根据先前论述且如下定义RAP图片。RAP图片可为仅含有I切片且在解码次序和输出次序两者上皆在RAP图片之后的所有经译码图片都不使用来自在解码次序上或输出次序上先于RAP图片的任何图片的帧间预测的经译码图片。在解码次序上先于RAP图片的任何图片在输出次序也先于RAP图片。
[0177]TLA存取单元为其中经译码图片为TLA图片的存取单元。TLA图片为对于其来说，TLA图片和所有经译码图片具有大于或等于TLA图片的temporal_id的temporal_id的经译码图片。在解码次序上在TLA图片之后的TLA图片不应使用来自temporal_id大于或等于在解码次序上先于TLA图片的TLA图片的temporal_id的任何图片的帧间预测。TLAL存取单元为其中经译码图片为TLA图片的存取单元。
[0178]在一些实例中，可定义以下相异VCL NAL单元类型。作为第一实例，可针对IDR图片的经译码切片提供NAL单元类型(例如，nal_unit_type = 5)。对于用于此NAL单元类型，HEVC WD6中的IDR图片概念适用。与其它类型的VCL NAL单元相比，此VCL NAL单元类型的唯一特征是在切片标头中不包含参考图片组(RPS)语法。
[0179]一些实例包含BLCNL图片的经译码切片(在位流中不具有相关联前导图片的BLC图片，例如nal_unit_type = 2)。与IDR图片的经译码切片相比，BLCNL图片的经译码切片在切片标头中包含RPS语法，但RPS语法不用于RPS导出，而是将所有RPS子组导出为空。
[0180]一些实例包含BLCL图片的经译码切片(在位流中具有相关联前导图片的BLC图片，例如，nal_unit_type = 3)。与BLCNL图片相比，在位流中存在与BLCL图片相关联的前导图片。
[0181]一些实例包含CRANL图片的经译码切片(在位流中不具有相关联前导图片的CRA，例如，nal_unit_type = 15)。与BLCNL图片的经译码切片相比，CRANL图片的经译码切片在切片标头中包含RPS语法，且RPS语法用于RPS导出。
[0182]一些实例包含CRAL图片的经译码切片(在位流中具有相关联前导图片的CRA图片，例如，nal_unit_type = 4)。与CRANL图片相比，在位流中存在与CRAL图片相关联的前导图片。
[0183]一些实例包含TLANL图片的经译码切片(不为LFR图片的TLA图片，例如，nal_unit_type = 16)。一些实例包含TLAL图片的经译码切片(还为LPR图片的TLA图片，例如，nal_unit_type = 17)。一些实例包含NSP图片的经译码切片(不为以上各者中任一者的无甚特别图片，nal_unit_type = I)。
[0184]在解码每一 BLC图片(BLCL或BLCNL)图片的切片数据之前，必须由解码器30将经解码图片缓冲器(DPB)中的所有参考图片标记为“不用于参考”，如上文所描述。仅在此操作完成后，才可由解码器30将HEVC WD 6中当前针对在位流开始处的CRA图片的前导图片所指定的当前解码过程直接应用于BLA图片的前导图片，而不管BLA图片是否改变空间分辨率。
[0185]在不进行上述操作的情况下，如果BLA图片不改变空间分辨率，那么如在HEVCWD6中当前针对位流开始处的CRA图片的前导图片所指定的当前解码过程可以由解码器30直接应用于BLA图片的前导图片。然而，如果BLA图片改变空间分辨率，那么如在HEVC WD 6中当前针对位流开始处的CRA图片的前导图片所指定的当前解码过程无法直接应用于BLA图片的前导图片，因为所述情境可显得空间分辨率对于当前图片与当前图片的参考图片不同。
[0186]确保DPB中的所有参考图片在解码每一 BLA图片的切片数据之前都被标记为“不用于参考”的一种方式是将每一 BLA图片的RPS导出为空，而不管切片标头中用信号通知的RPS是否指示非空RPS。举例来说，即使存在RPS，视频解码器30也可以对此进行越权控制，且在图片为BLA图片的情况下将RPS导出或处理为空。
[0187]实际上，如果切片标头中用信号通知的RPS确实指示BLA图片或CRA(CRAL或CRANL)图片的空RPS，那么应该已经将图片译码为IDR图片。
[0188]在一些实例中，RAP图片可定义为仅含有I切片的经译码图片。对于RAP图片，在解码次序和输出次序两者上皆在RAP图片之后的所有经译码图片不使用来自在在解码次序或输出次序上先于RAP图片的任何图片的帧间预测。另外，在解码次序上先于RAP图片的任何图片的输出可先于RAP图片的输出。
[0189]为确保在解码次序上先于RAP图片的任何图片的输出应先于RAP图片的输出，一种方式是使视频编码器20在发射到例如视频解码器30的经译码位流中将n0_0utput_0f_pr1r_pics_flag设定为等于I,如上文所论述。在另一实例中，视频解码器30对于BLA图片可推断no_output_of_pr1r_pics_flag等于I (不管其值如何)。以此方式，允许BLA图片处的剪接操作，其中在经剪接位流中，比BLA图片靠前的图片的POC值大于BLA图片的POC值。明确地说，BLA图片的POC值导出为等于其POC LSB (通过假定POC MSB等于O)，以上情况可容易地发生。确保此情形的另一方式是确保在解码次序上先于BLA图片的图片的输出时间早于BLA图片的输出时间。
[0190]一些实例允许视频编码器20和/或位流剪接器确定使用本文所述的方式中的哪一者。因此，举例来说，在一些实例中，视频编码器20可在BLA图片的切片标头中包含no_output_of_pr1r_pics_flag。在其它实例中，视频编码器20可包含指示存储在视频解码器30处的缓冲器中的图片是否可用于参考的NAL单元类型。因此，例如当使用此些图片进行解码将导致不正确地解码图片时，视频解码器30可将图片标记为不用于参考。
[0191]为通过网络元件实现CRA到BLA图片的简单重写，除将no_output_of_pr1r_pics_flag置于CRA图片的切片标头中之外，还可将其尽可能靠前地包含在切片标头中。此可在任何经熵译码切片标头参数之前，例如在一些实例中紧接first_slice_in_pic_flag之后,如上文所论述。
[0192]在一实例中，两个背靠背BLA图片具有相同POC LSB,且只可能通过random_access_pic_id(或重新命名为rap_pic_id)来对其加以区分。因此，可能优选地使用固定长度码用于rap_pic_id，并且还尽可能靠前地包含在切片标头中，优选不在任何经熵译码切片标头参数之后，例如，紧接 first_slice_in_pic_flag 和 no_output_of_pr1r_pics_flag(例如对于CRA图片和BLA图片两者)之后。可用于图片边界检测的其它切片标头语法兀素(例如，pic_parameter_set_id 和 POC LSB (即，pic_order_cnt_lsb))可类似。
[0193]特定类型(例如，SPS)或所有类型的所有参数集可存在于位流的开始处，即包含在位流中的第一存取单元中。如果如此，那么可以方便地提取特定类型的所有参数集并且发送到带外。举例来说，译码器可在会期描述协议(SDP)中包含在会期协商期间使用的参数。因此，使编码器在位流中包含特定类型或所有类型的所有参数集存在于位流的开始处的指示可为有益的。所述指示可包含在SEI消息、存取单元分隔符或参数集中。举例来说，可对于SPS、图片参数集(PPS)或调适参数集(APS)使用相异的NAL单元类型以指示所有SPS (或PPS或APS)存在于位流的开始处。
[0194]语法元素sliCe_type可基于NAL单元类型是否指示含有切片的图片为IDR图片、CRA图片或BLA图片而条件性地存在于切片标头中。举例来说，如果NAL单元类型指示含有切片的图片为IDR图片、CRA图片或BLA图片，那么slice_type不存在于切片标头中。以其它方式，编码器将slice_type插入切片标头中。当不存在时,slice_type的值指示切片为I切片。
[0195]图9是说明根据本发明中描述的一或多个实例的用于解码切片的实例方法的流程图。在一个实例中，视频解码器30可解码视频数据，包含接收用于视频数据序列的待解码的当前图片的切片(900)。视频解码器30可在切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素。非熵译码语法元素在切片标头中可在经熵译码语法元素之前。另外，非熵译码语法元素可指示在解码次序上在当前图片之前的图片是否从图片存储缓冲器清空而不被输出(902)。在一个实例中，语法元素可为n0_0utput_0f_pr1r_pics_flag。no_output_of_pr1r_pics_flag 可设定到 “I” 以例如指示在解码次序上在当前图片之前的图片何时从图片存储缓冲器清空而不被输出。视频解码器30可基于非熵译码语法元素解码所述切片(904)。
[0196]图10是说明根据本发明中描述的一或多个实例的用于编码切片的实例方法的流程图。编码器20可接收视频数据。视频编码器20可编码用于视频数据序列的当前图片的切片(1000)。
[0197]视频编码器20在切片的切片标头中编码至少一个经熵编码语法元素和至少一个非熵译码语法元素，其中所述非经熵编码语法元素在切片标头中在经熵编码语法元素之前，且指示在解码次序上在当前图片之前的图片是否将从图片存储缓冲器清空而不被输出(1002) ο 在一个实例中，语法兀素可为 no_output_of_pr1r_pics_flag。no_output_of_pr1r_pics_flag可设定到“I”以例如指示在解码次序上在当前图片之前的图片何时从图片存储缓冲器清空而不被输出。
[0198]在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则所述功能可以作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包括计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(I)有形计算机可读存储媒体，其是非暂时性的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
[0199]在又其它实例中，本发明涵盖包括存储于其上的数据结构的电脑可读媒体，其中所述数据结构包含符合本发明的经编码位流。明确地说，数据结构可包含本文所述的NAL单元设计。
[0200]借助于实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或任何其它可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的媒体。同样，任何连接可恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波等无线技术包含于媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地在线数据。上文各者的组合也应包含在计算机可读媒体的范围内。
[0201]可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行所述指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文所述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。
[0202]本发明的技术可以在广泛多种装置或设备中实施，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调，其经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以配合合适的软件及/或固件组合在编解码器硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
[0203]已描述了各种实例。这些及其它实例属于所附权利要求书的范围内。
【权利要求】
1.一种解码视频数据的方法，所述方法包括: 接收用于视频数据序列的待解码的当前图片的切片； 在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出；以及 基于所述非熵译码语法元素解码所述切片。
2.根据权利要求1所述的方法，其中所述至少一个经熵译码语法元素包括多个经熵译码语法元素，且所述非熵译码语法元素在所述切片标头中在所有所述经熵译码语法元素之N /.目U O
3.根据权利要求1所述的方法，其中所述非熵译码语法元素包括no—output—of—pr1r—pics_flag。
4.根据权利要求3所述的方法,其中所述no_output_of_pr1r_pics_flag紧接在指示所述切片是否在解码次序上为所述当前图片的第一切片的语法元素之后被包含在所述切片标头中。
5.根据权利要求1所述的方法，其进一步包括在解码器中解码所述非熵译码语法元素。
6.根据权利要求5所述的方法，其进一步包括在媒体感知网络元件MANE中解码所述语法元素。
7.根据权利要求1所述的方法，其中所述当前图片包括断链存取BLA图片。
8.根据权利要求1所述的方法，其进一步包括: 确定所述当前图片为断链存取BLA图片；以及 在解码所述BLA图片之前将所述经解码图片缓冲器中的至少一个参考图片标记为不用于参考。
9.根据权利要求1所述的方法，其进一步包括根据多个不同网络抽象层NAL单元类型中的一者解码所述当前图片的一或多个切片，其中所述多个NAL单元类型包含以下各者中的一或多者: 断链存取BLA图片的经译码切片，其中所述BLA图片为在位流中具有相关联前导图片的BLA图片； BLA图片的经译码切片，其中所述BLA图片为在所述位流中具有相关联的可解码前导图片的BLA图片；以及 BLA图片的经译码切片，其中所述BLA图片为在所述位流中不具有相关联前导图片的BLA图片。
10.一种用于处理视频数据的装置，所述装置包括一个或多个处理器，所述一个或多个处理器经配置以进行以下操作: 接收用于视频数据序列的待解码的当前图片的切片； 在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出；以 及 基于所述非熵译码语法元素解码所述切片。
11.根据权利要求10所述的装置，其中所述至少一个经熵译码语法元素包括多个经熵译码语法元素，且所述非熵译码语法元素在所述切片标头中在所有所述经熵译码语法元素之前。
12.根据权利要求10所述的装置，其中所述非熵译码语法元素包括n0_0utput_0f_pr1r—pics_flag。
13.根据权利要求12所述的装置,其中所述no_output_of_pr1r_pics_flag紧接在指示所述切片在解码次序上是否为所述当前图片的第一切片的语法元素之后被包含在所述切片标头中。
14.根据权利要求10所述的装置，其进一步包括经配置以解码所述非熵译码语法元素的解码器。
15.根据权利要求14所述的装置，其中所述装置包括经配置以解码所述语法元素的媒体感知网络元件MANE。
16.根据权利要求10所述的装置，其中所述当前图片包括断链存取BLA图片。
17.根据权利要求10所述的装置，其进一步经配置以确定当前图片为断链存取BLA图片；且在解码所述BLA图片之前将经解码图片缓冲器中的至少一个参考图片标记为不用于参考。
18.根据权利要求10所述的装置，其进一步经配置以根据多个不同网络抽象层NAL单元类型中的一者解码所述图片的一或多个切片，其中所述多个NAL单元类型包含以下各者中的一或多者: 断链存取BLA图片的经译码切片，其中所述BLA图片为在位流中具有相关联前导图片的BLA图片； BLA图片的经译码切片，其中所述BLA图片为在所述位流中具有相关联的可解码前导图片的BLA图片；以及 BLA图片的经译码切片，其中所述BLA图片为在所述位流中不具有相关联前导图片的BLA图片。
19.一种编码视频数据的方法，所述方法包括: 编码用于视频数据序列的当前图片的切片；以及 在所述切片的切片标头中编码至少一个经熵编码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵编码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出。
20.根据权利要求19所述的方法，其中所述至少一个经熵编码语法元素包括多个经熵编码语法元素，且所述非熵编码语法元素在所述切片标头中在所有所述经熵编码语法元素之前。
21.根据权利要求19所述的方法，其中所述非熵编码语法元素包括n0_0utput_0f_pr1r—pics_flag。
22.根据权利要求21所述的方法,其中所述no_output_of_pr1r_pics_flag紧接在指示所述切片在解码次序上是否为所述当前图片的第一切片的语法元素之后被包含在所述切片标头中。
23.根据权利要求19所述的方法，其进一步包括在编码器中编码所述非熵译码语法元素。
24.根据权利要求19所述的方法，其中所述当前图片包括断链存取BLA图片。
25.根据权利要求19所述的方法，其进一步包括根据多个不同网络抽象层NAL单元类型中的一者编码所述当前图片的一或多个切片，其中所述多个NAL单元类型包含以下各者中的一或多者: 断链存取BLA图片的经编码切片，其中所述BLA图片为在位流中具有相关联前导图片的BLA图片； BLA图片的经编码切片，其中所述BLA图片为在所述位流中具有相关联的可解码前导图片的BLA图片；以及 BLA图片的经编码切片，其中所述BLA图片为在所述位流中不具有相关联前导图片的BLA图片。
26.一种用于编码视频数据的装置，所述装置包括一个或多个处理器，所述一个或多个处理器经配置以进行以下操作: 编码用于视频数据序列的当前图片的切片；以及 在所述切片的切片标头中编码至少一个经熵编码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵编码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出。
27.根据权利要求26所述的装置，其中所述至少一个经熵编码语法元素包括多个经熵编码语法元素，且所述非熵编码语法元素在所述切片标头中在所有所述经熵编码语法元素之前。
28.根据权利要求26所述的装置，其中所述非熵译码语法元素包括n0_0utput_0f_pr1r—pics_flag。
29.根据权利要求28所述的装置,其中所述no_output_of_pr1r_pics_flag紧接在指示所述切片在解码次序上是否为所述当前图片的第一切片的语法元素之后被包含在所述切片标头中。
30.根据权利要求26所述的装置，其进一步包括用于在编码器中编码所述非熵译码语法元素的装置。
31.根据权利要求26所述的装置，其中所述当前图片包括断链存取BLA图片。
32.根据权利要求26所述的装置，其进一步包括用于根据多个不同网络抽象层NAL单元类型中的一者编码所述当前图片的一或多个切片的装置，其中所述多个NAL单元类型包含以下各者中的一或多者: 断链存取BLA图片的经编码切片，其中所述BLA图片为在位流中具有相关联前导图片的BLA图片； BLA图片的经编码切片，其中所述BLA图片为在所述位流中具有相关联的可解码前导图片的BLA图片；以及 BLA图片的经编码切片，其中所述BLA图片为在所述位流中不具有相关联前导图片的BLA图片。
33.一种用于解码视频数据的装置，所述装置包括: 用于接收用于视频数据序列的待解码的当前图片的切片的装置； 用于在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素的装置，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从图片存储缓冲器清空而不被输出；以及 用于基于所述非熵译码语法元素解码所述切片的装置。
34.根据权利要求33所述的装置，其中所述至少一个经熵译码语法元素包括多个经熵译码语法元素，且所述非熵译码语法元素在所述切片标头中在所有所述经熵译码语法元素之前。
35.根据权利要求33所述的装置，其中所述非熵译码语法元素包括n0_0utput_0f_pr1r—pics_flag。
36.根据权利要求33所述的装置，其进一步包括用于确定当前图片为断链存取BLA图片的装置；以及用于在解码所述BLA图片之前将图片存储缓冲器中的至少一个参考图片标记为不用于参考的装置。
37.根据权利要求33所述的装置，其进一步包括用于根据多个不同网络抽象层NAL单元类型中的一者解码所述当前图片的一或多个切片的装置，其中所述多个NAL单元类型包含以下各者中的一或多者: 断链存取BLA图片的经译码切片，其中所述BLA图片为在位流中具有相关联前导图片的BLA图片； BLA图片的经译码切片，其中所述BLA图片为在所述位流中具有相关联的可解码前导图片的BLA图片；以及 BLA图片的经译码切片，其中所述BLA图片为在所述位流中不具有相关联前导图片的BLA图片。
38.一种其上存储有指令的计算机可读存储媒体，所述指令在执行时致使装置的一个或多个处理器进行以下操作: 接收用于视频数据序列的待解码的当前图片的切片； 在所述切片的切片标头中接收至少一个经熵译码语法元素和至少一个非熵译码语法元素，其中所述非熵译码语法元素在所述切片标头中在所述经熵译码语法元素之前且指示在解码次序上在所述当前图片之前的图片是否将从经解码图片缓冲器清空而不被输出；以及 基于所述非熵译码语法元素解码所述切片。
39.根据权利要求38所述的计算机可读存储媒体，其中所述至少一个经熵译码语法元素包括多个经熵译码语法元素，且所述非熵译码语法元素在所述切片标头中在所有所述经熵译码语法元素之前。
40.根据权利要求38所述的计算机可读存储媒体，其中所述非熵译码语法元素包括no_output_of_pr1r_pics_flag。
41.根据权利要求38所述的计算机可读存储媒体，其进一步包括致使所述一个或多个处理器进行以下操作的代码:确定当前图片为断链存取BLA图片；以及在解码所述BLA图片之前将图片存储缓冲器中的参考图片标记为不用于参考。
42.根据权利要求38所述的计算机可读存储媒体，其进一步包括致使所述一个或多个处理器根据多个不同网络抽象层NAL单元类型中的一者译码所述当前图片的一或多个切片的指令，其中所述多个NAL单元类型包含以下各者中的一或多者: 断链存取BLA图片的经译码切片，其中所述BLA图片为在位流中具有相关联前导图片的BLA图片； BLA图片的经译码切片，其中所述BLA图片为在所述位流中具有相关联的可解码前导图片的BLA图片；以及 BLA图片的经译码切片，其中所述BLA图片为在所述位流中不具有相关联前导图片的BLA图片。
【文档编号】H04N19/70GK104272746SQ201380020817
【公开日】2015年1月7日 申请日期:2013年4月11日 优先权日:2012年4月20日
【发明者】王益魁 申请人:高通股份有限公司