用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备的制作方法

专利名称：：用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备的制作方法
技术领域：
：本发明涉及数字视频编码的
技术领域：
。其为新型可分级性(scalability)——位深度可分级性提供编码(coding)解决方案。
背景技术：
：近年来，在诸如科学成像、数字影院、可放映高质量视频的计算机游戏以及专业工作室和家庭影院的相关应用的许多领域，越来越需要较高的位色彩深度，而非传统的八位色彩深度。因此，现有技术的视频编码标准H.264/AVC已经包括保真度范围扩展(FidelityRangeExtensions,FRExt)，其支持可达14位的样本和可达4:4:4的色度采样(chromasampling)。当前的SVC基准软件JSVM不支持高位深度。然而，现有的高级编码解决方案均不支持位深度可分级性。对于具有两个不同解码器的情景，或对位深度具有不同要求的客户，例如对同一原始视频(rawvideo)要求8位和12位位深度，现有的H.264/AVC解决方案将对12位的原始视频进行编码以产生第一比特流，然后将12位的原始视频转换为8位的原始视频并对其进行编码以产生第二比特流。如果将视频传送到要求不同位深度的不同客户，则必须传送两次，或者将2个比特流一起放入一张磁盘。压縮率和运算复杂度两者的效率都很低。欧洲专利申请EP06291041公开了一种可分级解决方案，该方案一次对整个12位原始视频进行编码从而生成一个比特流，该比特流包含H.264/AVC兼容的基本层(BL)和可分级的增强层(EL)。与另外的第二比特流相比，上述第一比特流上的全部可分级比特流的开销小。如果H.264/AVC解码器在接收端可用，则仅对BL子比特流(sub-bitstream)解码，且经解码的8位视频可在传统的8位显示装置上观看；如果位深度可分级解码器在接收端可用，则BL子比特流和EL子比特流都可以被解码，从而获得12位视频，且其可在支持8位以上的色彩深度的高质量显示装置上观看。
发明内容H.264/AVC可分级性扩展SVC还提供其他类型的可分级性，如空间可分级性。在空间可分级性中，BL和EL中像素的数目是不同的。因此，出现了如何将位深度可分级性与其他可分级性相结合尤其是与空间可分级性结合的问题。本发明提供该问题的解决方案。权利要求1公开了一种编码方法，该方法允许位深度可分级性与其他可分级性相结合。权利要求5公开了相应的解码方法。利用编码方法的设备在权利要求9中公开，利用解码方法的设备在权利要求10中公开。根据本发明，在层间预测中使用基于逆色调映射技术(inversetonemapping)的查询表(LUT)以提高编码效率。当BL片的类型是I片(I-slice)时使用基于逆色调映射技术的LUT。基于在编码器所重构的BLI片和所配置的原始EL片来创建LUT，整个方案可以在SVC的结构中实施，并且支持对其他类型的可分级性、时间、空间以及SNR可分级性的兼容性。在一个实施例中，在两个逻辑步骤中对BL信息增采样，一个逻辑步骤是纹理增采样，另一个逻辑步骤是深度增采样。纹理增采样是增加像素数目的过程，深度增采样是增加每个像素可以具有的值的数目的过程。该值对应于像素的色彩强度。增采样的BL单元被用来预测所配置(collocated)的EL单元，编码器由EL视频数据产生残差，并且该残差可以进一步被编码(通常被熵编码)和传送。将被增采样的BL信息可以是任何粒度，例如单像素单元、像素块、宏块(MBs)或者整个图像。此外，可以在单个步骤中执行两个逻辑增采样步骤。在编码器侧增采样基本层信息，在解码器侧也以同样的方式增采样基本层信息，其中，增采样涉及空间和位深度的特征。而且，可以为帧内编码的图像和帧间编码的图像执行所组合的空间和位深度增采样。具体地，用于对具有基本层和增强层的视频数据进行编码的方法，其中，基本层的像素具有比增强层的像素低的位深度和空间分辨率(resolution)，该方法包括以下步骤以片为层级对基本层数据进行编码，其中，第一基本层片被帧内编码，第二基本层片被帧间编码，重构经编码的基本层片，对所重构的基本层片进行增采样，其中，获得相应增强层片的第一预测形式(version)，其具有比基本层片高的空间、时间或SNR分辨率，为第一帧内编码的基本层片生成色调映射表(LUT)，色调映射表定义了增采样的重构的第一基本层片和相应的原始增强层片之间的各映射，其中，两片被互相比较，其中，不为第二帧间编码的基本层片生成色调映射表，基于该色调映射对增强层片的第一预测形式(version)进行位深度增采样，其中，获得相应增强层片的第二预测形式，其具有比增强层片的第一预测形式高的位深度分辨率，产生增强层残差，该增强层残差是原始增强层片与相应增强层片的第二预测形式之间的差，以及将增强层残差编码成增强层片，其中，增强层片在其片头中包括其相应的色调映射表。根据本发明的一个方面，一种用于对视频数据进行解码的方法包括以下步骤接收增强层信息和基本层信息，从增强层信息中提取色调映射数据，该色调映射数据来自帧内编码的增强层片的片头，对所接收的信息执行逆量化(inversequantization)以及逆变换(inversetransformation)(例如DCT)，其中，经逆量化和逆变换的增强层信息包括残差信息，重构帧内编码的基本层片，对基本层信息进行增采样，其中，像素的数目增加，并且由于增加的像素数目，每个像素的值深度也增加，其中，所重构的基本层片和所提取的色调映射数据被用于帧内编码片，其中，获得预测的增强层信息，以及由预测的增强层信息和经逆量化和逆变换的增强层信息，对重构的增强层视频信息进行重构。在本发明的一个实施例中，用于编码的方法包括以下步骤对BL信息进行帧内编码；重构帧内编码的BL信息；对所重构的BL信息执行空间增采样和色彩位深度增采样；以及产生EL残差，EL残差是当前EL信息(即图像数据)与经空间增采样和色彩位深度增采样的BL信息(即图像数据)之间的差。在本发明的一个实施例中，用于编码的方法包括以下步骤产生BL残差，该BL残差是当前BL图像数据与所预测BL图像数据之间的差(通常用于帧间编码的BL)，其中，预测的BL图像数据可由当前或在前的BL图像预测；对所述BL残差进行编码(即变换和量化)，对编码的BL残差进行重构(逆变换和逆量化)，对重构的BL残差执行残差(空间)增采样和色彩位深度增采样，并生成EL层间残差，EL层间残差为当前EL残差数据与所述空间及色彩位深度增采样的重构的BL残差之间的差。有利地，两种提到的编码器实施例可以组合到一个组合编码器中，该组合编码器可以自适应地对帧内和帧间编码的视频数据进行编码。在本发明的一个实施例中，解码方法还包括以下步骤(隐含地)检测所接收的BL信息被帧内编码；由所接收的经逆量化和逆变换的BL信息重构BL视频；对重构的BL视频进行增采样，其中，增采样包括纹理(空间)增采样和位深度增采样，且其中，获得预测的EL信息；以及由所预测的EL信息和所接收的经逆量化和逆变换的EL信息对重构的EL层视频信息进行重构。在本发明的一个实施例中，解码的方法还包括以下步骤(隐含地)检测所接到的BL信息被帧间编码；从所接收的BL数据中提取BL残差；对所提取的BL残差执行残差(空间)增采样和色彩位深度增采样；从逆量化的和逆变换的EL信息中提取EL残差；由EL残差和增采样的BL残差对重构的EL残差进行重构，并由重构的EL残差和在前重构的EL信息重构EL视频信息。有利地，两种提到的解码器实施例可以组合到一个组合解码器中，该组合解码器自适应地对帧内和帧间编码的视频数据进行解码。根据本发明的另一个方面，一种用于对具有基本层和增强层的视频数据进行编码的设备，其中，基本层具有比增强层低的色彩分辨率和空间分辨率，该设备包括用于以片未层级对基本层数据进行编码的装置，其中，第一基本层片被帧内编码，第二基本层片被帧间编码；用于重构经编码的基本层片的装置；用于对所重构的基本层片进行增采样的装置，其中，获得相应增强层片的第一预测形式，其具有比所述基本层片高的空间、时间或SNR分辨率；用于为第一帧内编码的基本层片生成色调映射表的装置，所述色调映射表定义了增采样的重构的第一基本层片与相应的原始增强层片之间的各映射，其中，两片被相互比较，其中，不为第二帧间编码的基本层片生成色调映射表；用于基于所述色调映射对所述增强层片的第一预测形式进行位深度增采样的装置，其中，获得相应增强层片的第二预测形式，其具有比所述增强层片的第一预测形式高的位深度分辨率；用于产生增强层残差的装置，所述增强层残差是原始增强层片与所述相应增强层片的第二预测形式之间的差；以及用于将所述增强层残差编码成增强层片的装置，其中，所述增强层片在其片头中包括其相应的色调映射表。6在本发明的一个实施例中，用于对视频数据进行编码或解码的设备包括用于执行空间(残差或纹理)增采样的装置和执行色彩位深度增采样的装置，其中用于空间增采样的装置增加BL信息中的值的数目，以及用于色彩位深度增采样的装置增大这些值的色彩范围，其中，获得所空间增采样和色彩位深度增采样的BL数据。根据本发明的另一个方面，编码的可分级视频信号包括帧内编码BL数据和帧内编码EL数据，其中，帧内编码EL数据包括残差，该残差是增采样的BL图像与EL图像之间的差，其中该残差包括差分(differential)纹理信息和差分深度信息。本发明提供的不同实施例的编码解决方案可与H.264/AVC和目前在H.264/AVC可分级扩展(SVC)中定义的所有类型的可分级性兼容。本发明有利的实施例在所附的权利要求、以下的说明和附图中公开。参考本发明的示例性实施例，其示出图1是色彩位深度可分级编码的框图；图2是用于空间可分级性到色彩位深度可分级性的帧内纹理层间预测(intratextureinter-layerpredication)的扩展的编码器；图3是用于空间可分级性到色彩位深度可分级性的残差层间预测(residualinter-layerprediction)的扩展的编码器；图4是用于空间可分级性到色彩位深度可分级性的帧内纹理层间预测的扩展的解码器；图5是用于空间可分级性到色彩位深度可分级性的残差层间预测的扩展的解码器；以及图6是空间可分级性到色彩位深度可分级性的残差层间预测的扩展框架的逻辑等效图。具体实施例方式如图1所示，两个视频用作视频编码器的输入N位原始视频和M位(M<N，通常M=8)视频。M位视频可以由N位原始视频分解获得或者通过其他方式提供。通过利用BL图像，可分级解决方案可以减少两层之间的冗余。一个具有8位色彩、另一个具有N位色彩(N>8)的两个视频流输入到编码器，且输出是可分级的比特流。仅输入一个N位色彩数据流也是可能的，从该N位色彩数据流为BL内部生成M位(M<N)色彩数据流。用所包括的H.264/AVC解码器将M位视频编码为BL。BL的信息可用于提高EL的编码效率。这就是本文中所谓的层间预测。每个画面——一组MB——具有两个接入单元(accessunit)，一个用于BL，另一个用于EL。经编码的比特流被多路复用以形成可分级的比特流。BL编码器包括例如H.264/AVC编码器，利用重构预测用于EL编码的N位色彩视频。如图1所示，可分级比特流示例性包含AVC兼容的BL比特流，其可由BL解码器(传统AVC解码器)解码。然后将在解码器侧执行与在编码器中同样的预测(在评估各指令后)，从而得到预测的N位视频。借助N位预测的视频，EL解码器将使用该N位预测为高质量显示HQ生成最终的N位视频。下面，当使用术语色彩位深度时，其意味着位深度，即每个值的比特数。这通常相应于色彩强度(colorintensity)。在一个实施例中，本发明以SVC空间、时间以及质量可分级性的当前结构为基础，并且由用于增强色彩位深度的位深度可分级性来增强。因此，该实施例与当前的SVC标准是完全兼容的。然而，本领域技术人员很容易将其应用于其他标准。位深度可分级性的关键是位深度层间预测。通过使用层间预测，N位视频与M位视频之间的差被作为EL编码。为了方便说明，下文中将使用如下符号:基本层原始MBBlares:基本层残差MB:基本层重构MB:增强层原始MB:增强层重构MBEL，'.es:增强层残差MBPree{}:色彩位深度层间预测算符(operator)Pret{}:纹理(空间)层间预测算符Prer{}:残差(空间)层间预测算符本发明应用基于逆色调映射技术(inversetonem即ping)(在位深度可分级编码的层间预测中使用)的LUT提高编码效率。基于所重构的BL片与所配置的原始EL片之间的关系在编码器一端创建LUT。通常，为每个亮度/色度通道(Y、Cb和Cr)创建一个LUT。在实践中，不同通道可以共享同一个LUT。然后在层间预测期间在解码器处使用所创建的LUT去相关(decorrelate)BL与EL之间的冗余。LUT插入到位流中，并且可以在解码器一端还原。解码器在层间预测中将使用相同的LUT，从而可以重构高质量的EL。根据本发明的一个方面，仅当BL片被帧内编码(I片)时使用基于逆色调映射技术的LUT。这样具有以下优点与同在当前SVC标准中使用的一样的帧内编码片的单循环解码相兼容，并且与同在当前SVC标准中支持的一样的其他类型可分级性相兼容。示例性地，SVC兼容的MB级位深度可分级编码方案是基于当前的SVC空间可分级性的。下面提供帧内编码和帧间编码的空间可分级性到位深度可分级性的扩展的详细说明。SVC兼容的位深度可分级编码的第一步是如同H.264/AVCFRExt扩展(目前每样点10到14比特)在EL编码和解码中那样支持高比特编码。帧内编码图2示出用于从如同当前SVC标准中使用的空间可分级性到位深度可分级性的帧内纹理层间预测(intratextureinter-layerprediction)扩展的编码器。位深度增采样块BDUp表示到位深度可分级性的扩展，而其他块表示当前的SVC标准中的空间可分级性。该块BDUp是传统SVC帧内编码器和根据本发明的帧内编码器之间的差别(difference)。在图2中，M位基本层MB被输入到BL编码器，而N位增强层MB被输入到EL编码器(N>M)。在当前的SVC标准中，纹理增采样是为空间帧内纹理层间预测设计的。在图2中，纹理增采样TUp的输入是重构的BL宏块BL^，而输出是EL宏块的空间(纹理)预测形式(predictionversion)Pret{BLra}。位深度可分级性是通过紧随纹理增采样TUp之后的位深度增采样BDUp(在该实例中)的步骤实现的。在实践中，首先应用纹理增采样作为空间层间预测是有利的，然后位深度增采样BDUp作为位深度层间预测执行。通过纹理增采样TUp和位深度增采样BDUp，获取N位EL宏块的预测形式Pree{Pret{BLrec}}。类似的残差可通过预测的逆序步骤获得。原始N位EL宏块ELOTg与其预测形式Pre。{Pret{BLM。}}之间的残差EL'Ms通过差值发生器获得。在本发明一个实施例中，与在SVC中一样，残差进一步被变换T、量化Q和熵编码ECm从而形成EL子比特流。在数学表达中，色彩位深度帧内增采样的残差为EL'res=EL。rg_Prec{Pret{BLrec}}，(等式1)其中，Pret{}表示纹理增采样算符。不同形式的编码过程都是可能的，并可通过控制参数来控制。在图2中示出了示例性标记baSe_m0de_flag,该标记判定EL残差是基于重构的EL信息还是基于增采样的BL信息预测的。下文中，给出了在SVC位深度可分级性中使基于LUT的逆色调映射可行的技术方案的说明性实施例。详细地，如表1第46-71行示例性地示出的，一些新的语法元素添加到可分级扩展中的片头内。并且使用下面的表达式inV_t0ne_map_flag等于1表示将在Y通道的层间预测中调用逆色调映射过程。inV_t0ne_imp_flag等于0表示将在Y通道的层间预测中不调用逆色调映射流程(缺省)。lookup_table_luma_inv_tone_nrap_flag等于1表示在Y通道的层间预测中使用基于逆色调映射的查询表。<table>tableseeoriginaldocumentpage10</column></row><table><table>tableseeoriginaldocumentpage11</column></row><table><table>tableseeoriginaldocumentpage12</column></row><table><table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table><table>tableseeoriginaldocumentpage15</column></row><table><table>tableseeoriginaldocumentpage16</column></row><table><table>tableseeoriginaldocumentpage17</column></row><table><table>tableseeoriginaldocumentpage18</column></row><table><table>tableseeoriginaldocumentpage19</column></row><table><table>tableseeoriginaldocumentpage20</column></row><table>表1:可分级扩展中片头内的示例性实施lookup_table_luma_inv_tone_nrap_flag等于0表示在Y通道的层间预测中不使用基于查询表的逆色调映射(缺省)。level_lookup_table_luma_minus8力[]上8表示Y通道的查询表的层数(levelnumber)。offset_val_lookup_table_luma[i]表示Y通道的查询表中的层i通过以下方式所映射到的值如果i不等于O，则Y通道查询表中的层i所映射到的值s[i]等于s[i-l]加上offset—val—lookup—table—luma[i]，其中，s[i-l]是Y通道查询表中的层i_l所映射到的值。如果i等于O，则Y通道查询表中的层i所映射到的值s[i]等于offset—va1—lookup_table_luma[i]。lookup_table_chroma_inv_tone_nrap_flag等于1表示在Cb禾PCr通道的层间预测中使用基于逆色调映射的查询表。lookup_table_luma_inv_tone_nrap_flag等于0表示在Cb和Cr通道的层间预测中不使用基于逆色调映射的查询表(缺省)。lookup_table_chrom_inv_tone_map_override_flag等于0表不在Cb禾口Cr通道的层间预测中再次使用Y通道的查询表(缺省)。lookup_table_chrom_inv_tone_nrap_override—flag等于1表示在Cb和Cr通道的层间预测中使用除Y通道的查询表外的不同查询表。level_lookup_table_chroma_minus8加上8表示Cb禾PCr通道的查询表的层数。offset_val_lookup_table_cb[i]表示Cb通道的查询表中层i通过以下方式所映射到的值如果i不等于0，则Cb通道的查询表中层i所映射到值s[i]等于s[i-l]加上offset—val—lookup—table—cb[i]，其中s[i_l]是Cb通道的查询表中的层i_l所映射到的值。如果i等于O，则Cb通道的查询表中层i所映射到的值s[i]等于offSet_Val_lookup_table_cb[i]。offset_val_lookup_table_cr[i]表示Cr通道的查询表中层i通过以下方式所映射到的值如果i不等于O，则Cr通道的查询表中层i所映射到的值s[i]等于s[i_l]加上offset—val—lookup—table—cr[i]，其中，s[i_l]是Cr通道的查询表中层i_l所映射到的值。如果i等于O，则Cr通道的查询表中层i所映射到的值s[i]等于offSet_Val_lookup_table_cr[i]。LUT是基于原始EL片和增采样重构的BL片产生，因此LUT可以用于在解码器处将增采样重构的BL片映射至EL片。这具有以下优点LUT定义在解码器处可用的片，S卩(增采样)重构的BL片，与具有最高可用质量的EL片，即原始EL片，之间的映射。因此，该方法最佳地适于解码器的需求。在编码器和解码器处，重构帧内编码的BL并且在原始EL和增采样重构的BL之间应用层间预测。对于帧内编码片，如果BL是I片，则为BL/EL片对分别产生LUT，并且LUT与EL片一起被传送。在编码器处通过使用该LUT由重构的BL片预测EL片，并且对残差进行帧内编码和传送。然后在解码器处用LUT重构BL片(I片)，并且与残差相加，其结果是21具有更高色彩位深度的EL片(I片)。对于P片和B片，由于原始BL和EL之间的可能非线性变换，对重构的BL和原始EL效果良好的LUTs可能对残差的效果并不好，所以应该使用LUT之外的另一项技术。关于支持基于逆色调映射的LUT的所添加的语法元素，将所添加的语法元素插入至ljslice_header_in_scalable_extension存在以下两个优点首先，在实践中，不同的片可以具有不同的LUT。在片级中添加新的语法元素允许使用逆色调映射的灵活性。例如，在基于对象的片分割的情况下，由于不同的片具有不同的特征，并且BL片和所配置的EL片之间的关系在不同片中可能是完全不同的。因此，为不同的片创建不同LUTs有利的。另夕卜，当在JSVM中片级语法元素被写入位流时，重构的BL是可用的，然后可以创建LUT。例如，如果LUT信息被写入序列参数集(SPS)或者图像参数集(PPS)，将需要JSVM发生显著改变。帧间编码帧间编码的位深度可分级性的实现不同于帧内编码的位深度可分级性。在当前的SVC标准中，为空间帧间纹理层间预测设计有运动增采样(motionupsampling)和残差增采样。对于帧间编码片(P片和B片)，层间预测不以重构的BL为基础。这使得帧间编码片能够与SVC的空间可分级性兼容。因此，与在空间可分级性中所做的一样，将运动补偿预测应用在EL处。接着对重构的BL和原始EL之间的残差进行变换、量化以及熵编码。关于P片和B片，应用图3和图5所示的技术。也可以使用与I片之一相同的LUT由BL残差预测EL残差，但是由于原始BL与EL之间的可能非线性变换，因此结果不是很好。因此，对重构的BL和原始EL效果良好的LUTs可能对残差的效果不是很好。图3示出用于帧间编码的(P和B)宏块的残差层间预测扩展的编码器。位深度可分级性是通过紧随(空间)残差增采样RUp之后的位深度增采样BDUp步骤实现的。残差增采样RUp的输入是重构的BL残差BLMS,ree,k，该重构的残差BLMS,ree,k是将被传输的BL残差BL^,k的重构形式(如在下面的等式3中所表示的)。在实践中，首先执行运动增采样MUp，然后作为一种空间层间预测执行残差增采样RUp。最后，作为位深度层间预测执行位深度增采样BDUp。通过运动增采样MUp、残差增采样RUp和色彩位深度增采样BDUp，获得N位EL宏块的预测形式Pre。{Pi^{BL_,_J}。与在SVC中一样，最后得到的增强层残差EL'^,k(如在下面(等式3中)定义的)被进一步变换T、量化Q和熵编码从而形成EL子比特流。不同形式的编码过程都是可能的，并可通过控制参数控制。图3中示出了标记base_mode_flag禾口residual_pred_flag，标记base_mode_flag控制EL运动补偿是基于从EL获得的运动矢量还是基于从BL增采样的运动矢量，标记residual_pred_flag控制BL残差是否被用于预测EL残差。如图2所示，basejiiode—flag还用于控制帧内纹理层间预测。图4示出了用于帧内编码的BL图像的示例性解码器，其利用层间预测。在接收经编码的BL和EL信息后，如在多路复用的包化比特流(packetizedbitstream)中，分离BL信息和EL信息，BL信息和EL信息被熵解码。然后应用逆量化Q—工和逆变换T—、对于BL，其处理与传统SVC的一样使用空间帧内预测重构图像，即基于同一图像的先前的重构信息。在去块后，最后生成的BL信号BLra可显示在如上所述的8位色彩深度的标准SVC显示器上。然而，可替换地，该信号也可用来生成配置的EL图像的预测形式Pre。(Pret化L^H:为了该目的，信号BLra被纹理增采样TUp，获得EL图像的纹理预测形式Pret{BLree}，然后使用摘录的查找表进行位深度增采样BDUp。然后，纹理和位深度增采样重构的BL图像Pre。{Pret{BLra}}用于更新4,m——改善的经逆量化和逆变换的EL残差EL'res，从而获得在去块后可作为由HQ显示的EL视频ELM。输出的信号。当然，以EL模式运行的解码器也内部产生BL视频BL^，因为EL预测需要该视频，但BL视频不必在解码器输出端可用。在一个实施例中，解码器具有两个输出端一个用于BL视频BLree，一个用于EL视频ELra，而在另一个是实例中，解码器仅有一个用于EL视频ELre。的输出。如上文对图2的帧内编码器的说明，解码器也可以相应于编码器以不同模式工作。因此，从位流中提取并评估(evaluate)相应的标记，例如，决定是否使用层间预测的指示base_m0de_flag。否则，使用去块化、空间预测以及空间预测图像的更新AuL传统地重构EL图像。图5示出了帧间编码单元如帧间编码的MBs的示例性解码器。在一个实施例中，从可能已经被熵编码并相应解码的BL位流中检测并提取运动数据，以及如果需要可以为EL增采样这些数据。这可以由包括在BL或EL位流中的指示指明。进一步，BL比特流数据被逆量化Q—1以及逆变换T—、从而获得重构的BL残差BLres,k。如果需要BL视频信号BLdec，则BL处理进一步包括包含去块化的传统SVC解码、在帧存储器中存储、运动补偿和以残差BL^,k更新运动补偿的预测图像。如果仅需要EL视频信号，那么可以省略这些步骤。残差BLMS,k用于预测EL数据残差BLMS,k被残差增采样RUp和位深度增采样BDUp增采样以生成预测信号Pre。{Prer{BLres,k}}，其中，残差增采样RUp是一种空间增采样，即值的数目增加，位深度增采样BDUp即位深度增加、因而每个值的可能范围增加。如果配置的EL单元如由标记residual—precLflag所指示的已经用残差层间预测进行了编码，则预测的残差Pre。(Pret化l^。H被用来更新A'工——接收的经逆量化和逆变换的EL残差EL'Ms,k，从而获得实际EL残差ELres,k。所接收的经逆量化和逆变换的EL残差EL'k大体上等于传统空间EL残差R。^和残差RnAx，aAy)之间的差，残差Rra,k—:(aAx，aAy)是由前一单元k-l在编码器中重构然后被增采样的。进一步的EL处理大体上与SVC中的处理类似(然而使用增强的位深度)被用来按照如下步骤更新预测的EL图像S—El^。,k—工二EL^,k—Ax，aAy):即去块化Deblk虹、在帧存储器FM中存储和重构图像ELra,k—工的运动补偿MC。如果所接收的增强层数据ELenc包含运动信息ELMI，则提取该运动信息并将其提供给运动补偿单元MC。可选地，可以使用由BL增采样的运动信息MUp。显然根据本发明的改进的EL残差与SVC空间可分级性中定义的残差不同。然而，如图6所示，其编码大体上相当于帧间编码原始EL宏块EL。rg,k与纹理(空间)和位深度增采样BL宏块Prec{Prer{BLOTg,k}}之间的差。所提出的空间可分级性到位深度可分级性的扩展的一个优点是实现至色彩位深度可分级性的扩展不需要新的预测模式。另一个优点是，特别对于帧间编码，可获得高编码效率，因为最后编码的EL残差是"残差的残差"，因此相当于如(等式3)中定义的层间残差的帧间编码。在实践中，帧间编码中最终编码的EL残差等于原始EL宏块减去运动(增采样运动)补偿重构基准EL宏块，然后减去经运动补偿、残差增采样、随后经位深度增采样形式的配置的BL重构残差。另一个优点是对于帧间编码的情况不需要重构BL宏块。因此可以省略BL重构，从而使得解码器更简单。有利地，色彩位深度可分级性的帧内编码是通过本发明提出的帧内色彩位深度层间预测实现的，在一个实施例中，帧内色彩位深度层间预测紧随帧内纹理层间预测之后。本发明进一步的优点是对其他类型可分级性的完全兼容性、鲁棒性以及对高级技术的可扩展性(extendibility)。具体地，本发明提高了编码效率，同时还保持了单循环解码框架，以将基于LUT的逆色调映射仅应用于基本层的I片。还有一个优点就是重构片用于帧间编码片的增采样，由于仅重构的BL而不是原始BL在解码器处可用。因此在编码器一侧的预测更好地适于在解码器一侧的预测，以便残差更好并且在解码器一侧可以达到更好的预测和重构结果。本发明可以用于可分级的编码器、可分级的解码器以及可分级的信号，尤其可用于视频信号或具有不同质量层和高层间冗余的其他类型信号。应该理解本发明仅以实例的方式进行了说明，在不背离本发明范围的情况下可以对细节进行修改。在说明书和(适当处)权利要求及附图中公开的每个特征可以独立地或以任何合适的组合方式提供。这些特征可以以硬件、软件或者二者的组合(在适当处)实现。权利要求书中出现的标号仅为了说明而不应对权利要求的范围有限制效果。权利要求一种用于对具有基本层和增强层的视频数据进行编码的方法，其中，所述基本层具有比所述增强层低的位深度分辨率和空间、时间和/或SNR分辨率，所述方法包括以下步骤以片为层级对基本层数据进行编码(T，Q)，其中，第一基本层片被帧内编码，第二基本层片被帧间编码；重构(T-1，Q-1)经编码的基本层片；对经重构的基本层片(BLrec)进行增采样(TUp)，其中，获得相应增强层片的第一预测形式(Pret{BLrec})，其具有比所述基本层片高的空间、时间或SNR分辨率；为第一帧内编码的基本层片生成(CM)色调映射表(LUT)，所述色调映射表定义了经增采样的重构第一基本层片(Pret{BLrec})与相应的原始增强层片(ELorg)之间的各映射，其中，这两片被互相比较，其中，不为第二帧间编码的基本层片生成色调映射表；基于所述色调映射对所述增强层片的第一预测形式(Pret{BLrec})进行位深度增采样(BDUp)，其中，获得相应增强层片的第二预测形式(Prec{Pret{BLrec}})，其具有比所述增强层片的第一预测形式高的位深度分辨率；生成增强层残差(EL’res)，所述增强层残差是所述原始增强层片(ELorg)与所述相应增强层片的第二预测形式(Prec{Pret{BLrec}})之间的差；以及将所述增强层残差(EL’res)编码(TEL，QEL，ECEL)成增强层片，其中，所述增强层片在其片头中包括其相应的色调映射表(LUT)。2.根据权利要求1所述的方法，其中，为每个帧内编码片对生成并编码单个色调映射表，其中，不为帧间编码片对生成色调映射表。3.根据权利要求1或2所述的方法，其中，对于帧内编码片，为亮度通道和色度通道生成各自的色调映射表。4.根据权利要求1、2或3所述的方法，其中，对经重构的基本层片(BLra)进行增采样(TUp)的步骤包括在帧间编码的基本层片的情况下，对经重构的基本层残差数据(BLres,ra,k)进行增采样(RUp)。5.—种用于对具有基本层和增强层并且以片为层级被编码的视频数据进行解码的方法，所述方法包括以下步骤接收增强层信息(EL_)和基本层信息(BL_);从所述增强层信息中提取色调映射数据，所述色调映射数据来自帧内编码的增强层片的片头；对所接收的信息执行逆量化(T—0和逆变换(Q—"，其中，经逆量化和逆变换的增强层信息包括残差信息(EL'res);重构(Au，PRpDBL》帧内编码的基本层片；对基本层信息(BLre。，BL_,k)进行增采样(BDUp，TUp)，其中，像素的数目增加，并且由于增加的像素数目，每个像素的值深度也增加，其中，经重构的基本层片和所提取的色调映射数据被用于帧内编码片，其中，获得预测的增强层信息(Pre。{Pret{BLre。}});以及由所述预测的增强层信息(Pre。{Pret{BLre。}})和经逆量化和逆变换的增强层信息，对重构的增强层视频信息(ELM。)进行重构(A2,J。6根据权利要求5所述的方法，其中，仅从增强层的每个片头中提取所述色调映射数据。7.根据权利要求5或6所述的方法，还包括以下步骤从所接收的帧间编码的增强层信息中提取运动信息(EL);以及重构(Debl、，FM，MC，A'2丑)增强层视频(ELj，其中，增强层运动信息被使用。8.—种用于对具有基本层和增强层的视频数据进行编码的设备，其中，所述基本层具有比所述增强层低的位深度分辨率和空间、时间和/或SNR分辨率，所述设备包括用于以片为层级对基本层数据进行编码的装置(T，Q)，其中，第一基本层片被帧内编码，第二基本层片被帧间编码；用于重构经编码的基本层片的装置(T—、Q—0;用于对经重构的基本层片(BLra)进行增采样的装置(TUp)，其中，获得相应增强层片的第一预测形式(PrejBLrJ)，其具有比所述基本层片高的空间、时间或SNR分辨率；用于为第一帧内编码的基本层片生成色调映射表(LUT)的装置(CM)，所述色调映射表(LUT)定义了经增采样的重构第一基本层片(Pret{BLre。})与相应的原始增强层片(ELOTg)之间的各映射，其中，这两片被相互比较，其中，不为第二帧间编码的基本层片生成色调映射表；用于基于所述色调映射对所述增强层片的第一预测形式(Pret{BLre。})进行位深度增采样的装置(BDUp)，其中，获得相应增强层片的第二预测形式(PreJPret化L^H)，其具有比所述增强层片的第一预测形式高的位深度分辨率；用于生成增强层残差(EL'res)的装置，所述增强层残差是原始增强层片(ELOTg)与所述相应增强层片的第二预测形式(Prec{Pret{BLreJ})之间的差；以及用于将所述增强层残差(EL'编码成增强层片的装置(Tm，(k，ECJ，其中，所述增强层片在其片头中包括其相应的色调映射表(LUT)。9.一种用于对具有基本层和增强层并且以片为层级被编码的视频数据进行解码的设备，所述装置包括用于接收增强层信息(EL。)的装置和用于接收基本层信息(BL。)的装置；用于从所述增强层信息中提取色调映射数据的装置，所述色调映射数据来自帧内编码的增强层片的片头；用于对所接收的信息执行逆量化(T—0和逆变换(Q—0的装置，其中，经逆量化和逆变换的增强层信息包括残差信息(EL';用于重构帧内编码的基本层片的装置(Au，PR工，DBL》；用于对基本层信息(BLree，BLMS,k)进行增采样的装置(BDUp，TUp)，其中，像素的数目增加，并且由于增加的像素数目，每个像素的值深度也增加，其中，经重构的基本层片和所提取的色调映射数据被用于帧内编码片，其中，获得预测的增强层信息(Pre。{Pret{BLre。}});以及由所述预测的增强层信息(Pre。{Pret{BLfJ})和经逆量化和逆变换的增强层信息对重构的增强层视频信息(ELra)进行重构的装置(A2,J。10.根据权利要求9或10所述的设备，还包括用于存储所述色调映射表的查询表装置。全文摘要可分级视频比特流可以具有H.264/AVC兼容的基本层(BL)以及可分级增强层(EL)，其中可分级性指的是色彩位深度。H.264/AVC可分级性扩展SVC还提供其他类型的可分级性，例如空间可分级性，这种情况下BL和EL中的像素数目不同。根据本发明，在两个逻辑步骤(TUp，BDUp)中增采样BL信息，一个步骤是纹理增采样，另一个步骤是位深度增采样。纹理增采样是增加像素数目的过程，而位深度增采样是增加每个像素可以具有的值(对应于像素的色彩强度)的数目的过程。增采样的BL数据用来预测所配置的EL。在编码器侧增采样BL信息，并且在解码器侧以相同的方式增采样BL信息，其中，增采样涉及空间和位深度特征。文档编号H04N7/26GK101796841SQ200780053544公开日2010年8月4日申请日期2007年6月27日优先权日2007年6月27日发明者武宇文,王传铭,高永英申请人:汤姆逊许可公司