分层视频编码的等级信令的制作方法
【专利摘要】公开了确定分层比特流中的等级id以使相同等级id可用于可分级比特流的所有层的技术。还公开了信令可指示比用于分层比特流的等级id更低的计算要求的子比特流的等级id的技术。
【专利说明】分层视频编码的等级信令
[0001]说明
[0002]相关申请的交叉引用
[0003]本申请要求2012 年 4 月 6 日提交的题为 “Level signaling for layered videocoding (分层视频编码的等级信令)”的美国序列号N0.61/621，093的优先权，该文献的公开通过引用全部结合至此。
【技术领域】
[0004]所公开的主题涉及视频编码，更特定地，涉及与分层比特流中的等级或要求的解码器容量的其它指示的信令关联的信息表示。
【背景技术】
[0005]视频编码是指其中一系列未经压缩的图像被转换成压缩的视频比特流的技术。视频解码是指相反过程。存在许多标准指定了图像和视频解码操作的技术，例如ITU-T Rec.H.264 “用于通用视听服务的先进视频编码”03/2010，可从瑞士 CH-1211日内瓦20，Placede Nat1n 的国际电信联盟(ITU)或 http://www.1tu.1nt/rec/T-REC~H.264 获得,并通过引用全部结合至此，或者高效率视频编码(HEVC) (B.B1ss等人(“高效率视频编码(HEVC)文本规范草案 9，，，可从 http://phenix.1nt-evry.fr/jct doc_end_user/documents/11_Shanghai/wgl l/JCTVC-Kl 003-v 13.zip 获得)，2012 年 12 月，它在下文中被称为“WD9”，该文献通过引用全部结合至此)。
[0006]分层视频编码，也被称为可分级视频编码，是指其中视频比特流可被分成两个或更多个子比特流(被称为层)的视频编码技术。各层可形成层阶级，藉此基层可被独立地编码，而增强层可与基层和/或较低的增强层结合地被编码。
[0007]一些视频解码标准，例如H.264或HEVC,利用概况等级系统(profile levelsystem)以在比特流中发信息通知解码器必须具备以解码比特流的能力。概况(profile)一般指视频编码标准中指定的编码技术(也称“工具”)的选择，而等级一般指每秒解码特定数量的像素、块、宏块、树块、编码单元、或类似单元的要求。因此，等级可表达解码器在特定帧速率下解码高达给定的(未编码)图像尺寸的比特流的能力。在应用标准中，概况和等级可在诸如H.264或HEVC之类的视频编码标准中被指定，或者可由标准过程之外的卖方(vendor)同意。
[0008]H.264在其附录G中包括对支持分层编码的扩展，被称为可分级视频编码或SVC。附录H包括多视图扩展，在下文中称其为多视图视频编码或MVC。没有能用的附录G或H的H.264被称为AVC。
[0009]在SVC中，可对多个空间、质量、或时间层编码，并可依赖于另一个层对一个层进行编码。基层独立于任何其它层，并向后兼容AVC。SVC可对相互编码的宏块使用单环解码，并对内编码的宏块使用多环解码。
[0010]在MVC中，可对多个视图进行编码，并可依赖于另一视图对一视图进行编码。基视图独立于任何其它视图，并向后兼容AVC。MVC使用多环解码，其中如果视图A是对视图B的引用，则必须对视图A和视图B两者进行解码以输出视图B。
[0011]H.264包括序列参数集，它包含与视频序列中所有编码图像有关的信息。在序列参数集中的是概况和等级指示符的句法要素。类似地，在SVC和MVC中，子集序列参数集具有用于概况和等级指示符的句法要素。子集序列参数集被用于非基层或视图，而序列参数集被用于基层或视图。
[0012]SVC和MVC扩展提供对目标层表示或视图表示的子比特流提取的机制，它们的输出是包括与目标层表示本身相关联的NAL单元的有效编码的视频比特流以及具有目标依存性_id、质量_id、时间_id和优先级_id的更低值或相等值的所有层。
[0013]在H.264中，在每个编码的片报头部内存在图像参数集id句法要素，它被称为图像参数集(PPS)。PPS包含对整个编码图像保持恒定、但在两个图像之间变化的参数。PPS中的一个句法要素是对序列参数集id的索引，这称为序列参数集(SPS)。在SVC中相同层或MVC中相同视图中的所有编码的片，在编码的视频序列中，是指同一 SPS或子集序列参数集。
[0014]序列参数集可包含关于图像分辨率、视频可用信息等的信息以及概况和等级指示符。允许MVC中的一个以上的视图引用同一序列参数集。类似地，允许一个以上SVC层引用同一序列参数集。
[0015]H.264通过其概况和等级指示符对顺应(compliant)编码的比特流施加多种限制。概况和等级指示符可指定一致点，并且在比特流中的概况和等级信息的存在可允许解码器或媒体感知网络元素(MANE)确定它是否有能力解码或以其它方式处理特定比特流。概况一般指定这组支持的编码工具，而等级一般指定影响计算要求的约束。
[0016]参照等级，H.264提供将每个可允许的等级id值映射至参数上的约束(诸如最大图像尺寸、比特率、以及宏块吞吐量)的表。特定地，宏块吞吐量限制约束了每秒最大数量宏块或MaxMBPS。在宏块的尺寸为16 X 16个采样时，MaxMBPS紧密地关联于每秒像素率，此外MaxMBPS计算考虑每个编码的图像必须包含整数数量的宏块，并因此垂直和水平分辨率必须被圆整至最近的宏块尺寸。
[0017]对于包括那些用作SVC基层或MVC基视图的(单层/视图)AVC概况，假设最大MB吞吐量被限制以使等级极限MaxMBPS〉= PicSizelnMbs^FrameRate?注意，标准文档中的等级极限的约束条件的描述不假设固定的帧速率，并被表达为对帧之间的最小输出时间的限制。前述方程是H.264描述(它允许可变的帧速率)的简化(假设固定的帧速率)。
[0018]对于与其中多个可分级层或视图将被解码的SVC和MVC相关联的概况，基于层或视图的数量，每秒最大MB吞吐量的解释被修正，如下文所述。
[0019]在SVC扩展中，在非基层的子集序列参数集中，等级极限表达约束:最大MB吞吐量MaxMBPS> = svcPicSizelnMbs*FrameRate,其中 svcPicSizelnMbs 的值基于层的数量、和有效层及其参考层的图像尺寸，同样在固定帧速率的假设下。
[0020]参见图1，示出一种层阶级，其具有基层(101)、使用基层(101)作为它们的参考层的两个空间或SNR增强层(102)和(103)、以及使用基层(101)和增强层(102)作为其参考层的第三空间或SNR增强层(104)。根据H.264，每个层(101)到(104)具有关联的等级(分别为105-108)，它被编码为序列参数集中的等级id字段。与基层(101)关联的等级(105)可指示通过引用H.264中指定的等级表所表达的孤立基层的计算要求。特定地，根据
H.264，可由编码器如此选择基层(101)的编码的等级id，以使得与该等级关联的所有编码参数(例如:最大图像尺寸、每秒宏块吞吐量等等)大于或等于根据该等级解码比特流的要求。
[0021]根据H.264，增强层(102-104)的等级(106-108)可被解码以使与编码等级关联的计算要求大于结合地解码所研究的增强层(102-104)以及其所有参考层的计算要求。例如，增强层(104)的等级指示符(108)被选择为使得对于通过等级指示符(108)指示的所有计算要求而言，相应计算复杂性大于组合地解码所有层(104)及其参考层(102)和(101)所需的计算复杂性。在图1中，这由围绕着层(101)、(102)和(104)的虚线(110)表示。类似地，在增强层(103)的序列参数集内编码的等级指示器(107)可被选择为使组合地解码增强层(103)和基层(101)的计算要求低于等级指示符(107)中指示的计算要求。这是通过在层(101)、(103)周围的间断线(111)表示的。
[0022]在MVC扩展中，在对于非基视图的子集序列参数集中，等级极限表示最大MB吞吐量的约束MaxMBPS〉= (Num Views/2) *PicSizelnMbs*FrameRate,其中 Num Views 是指解码目标输出视图所需的视图数，同样在固定帧速率的假设下。
[0023]在MVC中，由于MB吞吐量基线基于视图数，其SPS参数值相同(例如，具有相同的图像分辨率和VUI数据)的多视图层对于它们的等级指示符值可不同。如果它们不同，它们可指向不同的SPS id，因为在H.264中，每个SPS可仅包含单个等级指示符。替代物(alternative),是指(referring to)具有足够高以指示足以解码所有视图(即便例如仅解码基视图)的计算资源的等级指示符的相同SPS，可能是成问题的。例如，如果正在编码比基视图必需还更高的等级指示符，由于等级指示符指示比单视图解码所需的更高等级(以容纳多视图)，该基视图(其巧合地可能与适于非多视图解码的AVC比特流完全一致)潜在地可能没有在具有充分计算资源的设备上被解码。
[0024]对于SVC和MVC两者，出于一些原因，每个层或视图的一个SPS可能是低效的。为了描述这些原因，对H.264的参数集引用机制简单地予以描述。参见图2，其示出片报头部、PPS、和SPS之间的关系。片报头部(201)可包含可变长度(扩展-Golomb)编码的字段(202)，该字段指示将使用的PPS (203)。对具有IDO的PPS (203)，字段(202)长度为I比特。对于值I或2，字段长度为3比特。对于3和更大的值，其长度至少为5比特。在PPS中，可存在指示SPS(205)的指示(204)。^ SPS(205)内，可存在自引用(206)(在其转换过程中可被用于标识SPS)。注意，视频流可包含许多SPS和PPS,并且在每图像或每视频序列基础上，编码器可通过对片报头部(201)中的适宜PPS ID(202)编码而切换它们。
[0025]对于第一个原因，在H.264中，可能需要在比特流中包括多个SPS (207)(或发送它们至带外)，这些SPS仅由等级指示符(208)区别。然而，SPS的许多其它句法要素也可必需与标准一致。这可导致潜在地许多SPS句法要素的冗余发送(其结果对编码效率有影响)，以允许对不同层或视图信令不同的等级。其次，SPS没有被从片报头部(或其它编码的图像高等级句法要素)被引用，而是通过间接的一个等级:片报头部引用PPS，而PPS引用SPS。为了参照适宜的SPS，应当存在包括对相应SPS的参照的至少一个PPS。PPS进而可仅通过PPS ID与其它PPS(209)区别，PPS ID可以是不同的，因为如前所述需要不同的PPS信令不同的等级。作为结果，可能不仅需要如前所述包含潜在很多冗余值的多个SPS，而且还需要具有很多冗余参数的许多PPS。第三，为了信令片报头部中的不同PPS，当需要信令更多不同PPS ID时，用于信令PPS ID (202)的(可变长度)码字的平均长度可以更长。第四，PPS中涉及(refer to) SPS (204)的码字也是可变长度编码的并且当需要很多SPS时可以更长。且第五，这同样分别适用于SPS(205) PPS(203)内的自引用(206) (210)。
[0026]SVC包括可分级性(scalability)信息SEI消息(SSEI消息)。根据H.264或HEVC，解码器不要求解码并基本作用于所有SEI消息(包括SSEI消息)，尽管在SEI消息上不编码和作用可能消极地影响用户体验。然而，对于诸如资源管理之类的机制，解码器可使用比特流中发现的SSEI消息中可用的信息，并可依赖于包含在正确的SEI消息中的值。SSEI消息提供尤其是关于出现在编码的视频序列中的层数的信息。对于那些层中的每一个，SSEI消息可直接或间接地提供层id值对优先级、依存性、质量、和时间id值的映射，这些值可组合地描述该层在层阶级中的位置，以及描述每个层的很多其它参数。该附加参数中的一些即便在SEI消息中也是任选的，包括概况和等级信息以及平均比特率。SSEI消息中的概况和等级信息可指示与由层id值标识的目标层表示相关联的子比特流的解码能力。可以相同方式解释等级极限，就像序列参数集中包含相同的等级指示符值那样。同时，当被以此方式使用时，SSEI包括足够的信息以允许解码器获得每个可分级层的概况和等级信息，PPS和SPS的前述潜在冗余副本在解码器处可能是必要的(对编码效率具有结果的消极影响)以与H.264 一致。
[0027]类似地，在MVC中，视图可分级性信息SEI消息提供关于编码的视频序列中存在的视图数的信息，并任选地提供与目标图表示关联的子比特流的概况和等级信息。
[0028]类似于H.264，HEVC在序列参数集中具有概况和等级指示符句法要素。等级极限直接地基于像素率(相比H.264的MB率)，但在其它方面功能是相称的。表1示出根据HEVC对于等级的最大像素率和图像尺寸。同样假设固定帧速率，对像素吞吐量具有限制，以使等级极限像素吞吐量MaxLumaPR〉= PicSizeLuma*FrameRate (帧速率)，其中 PicSizeLuma 指像素中的图像的亮度分量:表1
[0029]
【权利要求】
1.一种用于确定解码视频的能力的方法，所述视频包括参考层和引用所述参考层的增强层，所述方法包括: 解码所述参考层的至少一个等级指示符； 解码所述增强层的至少一个等级指示符； 对于所述参考层的至少一个等级指示符，确定用于所述参考层的解码的至少一个计算要求， 对所述增强层的至少一个等级指示符，确定用于所述增强层的解码的至少一个计算要求，结合用于所述参考层的解码的至少一个计算要求与用于所述增强层的解码的至少一个计算要求来生成组合；以及 将所述组合与预定能力相比较； 其中如果所述组合小于所述预定能力，则所述视频可被解码。
2.如权利要求1所述的方法，其特征在于，所述结合包括求和，且所述组合包括和。
3.如权利要求1所述的方法，其特征在于，所述参考层包括基层。
4.如权利要求1所述的方法，其特征在于，所述计算要求包括每秒的像素数量。
5.如权利要求1所述的方法，其特征在于，所述计算要求包括每图像的像素数量。
6.如权利要求1所述的方法，其特征在于，所述计算要求包括比特率。
7.如权利要求1所述的方法，其特征在于，所述结合包括使用媒体知晓网络要素(MANE)。
8.如权利要求7所述的方法，其特征在于，还包括在确定所得和超出所述预定能力后丢弃所述增强层。
9.如权利要求8所述的方法，其特征在于，所述预定能力包括耦合至所述MANE的解码器的能力。
10.如权利要求8所述的方法，其特征在于，所述预定能力包括所述MANE和解码器之间的网络链路的能力。
11.如权利要求1所述的方法，其特征在于，还包括在确定所得和超出所述预定能力之后丢弃所述增强层。
12.如权利要求1所述的方法，其特征在于，所述等级标识符被编码在序列参数集中。
13.一种用于确定解码视频的能力的系统，所述视频包括参考层和引用所述参考层的增强层，所述系统包括: 解码设备，其被配置成: 解码所述参考层的至少一个等级指示符，解码所述增强层的至少一个等级指示符，对于所述参考层中的至少一个等级指示符来确定解码所述参考层的至少一个计算要求； 对于所述增强层的至少一个等级指示符，确定来解码所述增强层的至少一个计算要求； 结合来解码所述参考层的至少一个计算要求和来解码所述增强层的至少一个计算要求以生成组合；以及 将所述组合与预定能力相比较； 其中如果所述组合小于所述预定能力，则所述视频可被解码。
14.一种用于确定解码包括至少一个层和一个时间子层的视频比特流的时间子层的能力的方法，所述方法包括: 解码与所述层相关联的概况id、等级id、和层级id中的至少一个； 解码与所述时间子层相关联的概况id、等级id、和层级id中的至少一个；以及如果与所述时间子层相关联的所述概况id、等级id、和层级id中的至少一个指示所述时间子层的比特流复杂度比由所述层的概况id、等级id、或层级id指示的比特流复杂度更低，则将时间子层确定为可解码的。
15.如权利要求14所述的方法，其特征在于，子层的概况id、等级id、和层级id中的至少一个被编码在补充增强信息(SEI)消息。
16.一种用于确定解码包括至少一个层和一个时间子层的视频比特流中的时间子层的能力的系统，所述系统包括: 解码设备，其被配置成: 解码与所述层相关联的概况id、等级id、和层级id中的至少一个； 解码与所述时间子层相关联的概况id、等级id、和层级id中的至少一个；以及如果与所述时间子层相关联的所述概况id、等级id、和层级id中的至少一个指示所述时间子层的比特流复杂度比由所述层的概况id、等级id、或层级id指示的比特流复杂度更低，则将时间子层确定为可解码的。
17.一种非瞬态计算机可读介质，其包括一组可执行指令以引导处理器执行如权利要求1-12或14-15中一项所述的方法。
【文档编号】H04N5/93GK104205813SQ201380018332
【公开日】2014年12月10日 申请日期:2013年3月25日 优先权日:2012年4月6日
【发明者】J·博伊斯, D·洪, J·翁坎普, S·温格 申请人:维德约股份有限公司