用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备的制作方法

专利名称：用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备的制作方法
技术领域：
本发明涉及数字视频编码领域。其为新型可分级性
(scalability):位深度可分级性提供了编码(coding)解决方案。
背景技术：
频编码d莫式及它们之间的动态选择。该才示准为可分级^L频编石马 (SVC)的扩展提供不同层并支持增强层(EL)的直接编码或层间 预测的空间可分级性。在直4妄编石马EL中，称为I—NxN的才莫式， 不4吏用层间冗余EL^皮纯帧内编码。
层间预测被用于两种编码模式中，即^BL和残差预测，如果 基本层(BL)被帧内编码则为I—BL，如果BL被帧间编码从而生 成BL残差和EL残差则为残差预测。^f昔助残差预测，EL残差是由 BL残差预测4寻来的。
对于帧内编码的EL宏块(MB), SVC支持两种类型的编码才莫 式，即原始的H.264/AVC I—N x N编码(空间预测， base_mode_flag=0 )和I—BL,用于可分级性的特殊SVC编码才莫式， 其中ELMB是由配置的(collocated) BLMB预测得来的。对于帧间编码，第一步是生成BL和EL差分图像(differential image),称为残差。为对BL残差和EL残差之间的差进4亍编码而 才丸4亍残差层间予贞测。
近年来，在诸如科学成像、数字影院、可放映高质量视频的计 算机游戏以及专业工作室和家庭影院的相关应用的许多领域，越来 越需要较高的位色彩深度，而非传统的8位色彩深度。因此，现有 技术的视频编码标准——H.264/AVC——已经包括保真度范围扩展 (Fidelity Range Extensions, FRExt),其支持可达14 4立的冲羊本和可 达4: 4: 4的色度采才羊。
对于具有两个不同解码器的情景，或对位深度具有不同要求的 客户，例如对同 一原始—见频(raw video )要求8 4立和12 ^f立位深度， 现有的H.264/AVC解决方案将对12位的原始^L频进行编码以产生 第一比特流，然后将12位的原始纟见频转换为8位的原始^L频并对8 位的副本(counterpart)进行编码以产生第二比特流。如果我们想 将视频传送到要求不同位深度的不同客户，我们必须将其传送两 次，例如将2个比特流一起方文入一张》兹盘。压缩率和运算复杂度两 者的效率都很低。
欧洲专利申请EP06291041 7>开了一种可分级解决方案，该方 案一次7于整个12 4立原始纟见频进^f于编；马乂人而生成一个比iN^充，该比 特流包含H.264/AVC兼容的BL和可分级EL。由于冗余减小，与 附加的第二比特流相比上述第 一 比特流上的全部可分级比特流的 开销小。如果H.264/AVC解码器在接收端可用，则仅对BL子比特 流(sub-bitstream )解码，且经解码的8位4见频可在传统的8位显 示装置上7见看；如果位深度可分级解码器在接收端可用，则BL子 比特流和EL子比特流都可以被解码，从而获得12位视频，且其可 在支持8位以上的色彩深度的高质量显示装置上观看。

发明内容
考虑到特殊编码模式的效率取决于图像内容，上述冗余减小的 几率不是非常灵活。不同编码模式可为不同序列优化。如果可减少 更多冗余，且最终比特流更小，则编码才莫式效率更高。本发明为位 深度可分级性情况下的该问题提供解决方案。
4又利要求1 7>开了一种对可分级纟见频#1据进^于编码方法，该方 法允许改进的冗余减小和动态自适应选择最有效编码模式。权利要
求5 7>开了相应的解码方法。
权利要求8中公开了用于编码的相应设备，权利要求9中公开 了用于解码的相应设备。
用于CBDS的EL的三种新SVC兼容编码模式被公开 一种用 于帧内编码，两种用于帧间编码。已经发现直接对层间残差进行编 码对位深度可分级编码更有效。新帧内编码才莫式〗吏用增采样的重构 的BL和原始EL间的残差(EL。rg-BLrec,up )编码，其中4吏用才莫式选 择。大体上，层间残差被作为N位视频取代原始N位EL视频。两 种可能的模式是
1. 由BL预测的残差被变换、量化、和熵编码，以及
2. 该残差^皮附加i也帧内编石马(I—NxN)。
传统上，帧内MB的最佳才莫式是用RDO在原始ELN位视频的 I—BL模式和I—NxN模式间选择的。借助本发明新帧内模式，帧内 MB最佳模式是在N位层间残差的I—BL模式和I—N x N模式间选择的。新帧间编码模式使用来自增采样重构的BL的EL预测(类似 于新帧内才莫式)，而非BL残差。两种可能的帧间编码才莫式(通过标 记切换)是
1. 一使用基于残差(EL。rg-BLrec，叩)的运动估计对该残差进4亍编
石马的；以及
2. 使用BL的运动信息对残差(ELorg-BLrec,up)进行编码，因 而省略EL上的运动估计。
根据本发明，使用位深度增采样对重构的BL信息单元(而非 原始BL信息单元或BL残差)进行增采样，且增采样的重构的BL 信息单元^f皮用来预测配置的BL信息单元。这具有这样的优点，即 编码器中的预测是基于在解码器可用的相同凄t据。因此，在编码器 中生成的差分信息(differential information )或残差与解码器中位深 度增采样解码的BL图像和原始EL图像之间的差匹配的更好，因 此，在解码器重构的EL图像与原始EL图像更接近。
信息单元可具有4壬意粒度，如单^f象素单元， <象素块，MB或其 组。位深度增采样是增加每个像素可具有的值的凄t目的过程。该值 通常相应于像素的色彩强度。因此，微调的色彩复制几率得以增强， JJ^士台i为景(scene) 6勺沐斤变色差(gradual color difference )可更好 地编码和解码以使j皮复制。有利地，与当前的编码方法相比，#见频 凄t据率可以减小。
编码器由原始EL 4见频凄t据和位深度增采样重构的BL数据生 成残差，该残差#皮熵编码并#1传1命。重构的BL信息在编码器侧净皮 与解码器侧相同的方式增采样，其中，增釆样至少涉及位深度。进一步，可对帧内编码图像、帧间编码图像或MB执行增采样。 然而，对帧内和帧间编码的图像可用不同模式。与帧内编码图像或 I帧不同，帧间编码图^f象，也称为P帧或B帧，需要它们重构其他 图像，即，具有其他图像序列号(POC)的图像。
根据本发明一个方面，编码器可以在EL的至少两个不同的帧 内编码模式间选择第一帧内编码模式包括生成增采样重构的BL 和原始EL间的残差，第二帧内编码才莫式又包括该残差的帧内编码。 大体上，层间残差^皮当作EL分支(EL branch)中较高位深度—见频， 取4 专统的4交高4立深度一见频。然后该残差或其帧内编石马形式净皮变 换、量化和熵编码。传统上，帧内MB的最佳才莫式是用RDO在原 始EL视频的I—BL模式和I_N x N模式间选择的。借助本公开的新 帧内模式，最佳帧内MB模式是用RDO在高位深度层间残差的 I_BL才莫式和I_N x N才莫式间选择的。
才艮据本发明另一个方面，编码器可采用帧间编码才莫式，其包括 生成位深度增采样重构的BL和原始EL之间的残差。此外，编码 器可在从BL增釆样的运动矢量和基于增采样重构的BL和原始EL 之间的残差生成的运动矢量间选择EL。可基于经编码的EL数据的 RDO选择。
根据本发明的一个方面，对具有BL和EL的—见频数据进行编 码的方法，其中BL的<象素具有比增强层4象素少的位深度，该方法 包4舌以下步-骤
对BL数据进4于变换和量化；
对经变换和量化的基本层ft据进行逆变换和逆量化，其中，获 得重构的基本层数据；对重构的基本层数据进行增采样，其中，增采样至少涉及位深
度，其中，获得EL数据的预测形式；
生成原始EL数据和EL数据的预测形式之间的残差；
在至少两个不同的帧间编石马才莫式之间选择帧间编石马的EL的情 形，其中，第一帧间编码模式包括使用增采样的BL运动信息，第 二帧间编码才莫式包4舌使用由EL数据生成的运动信息；
对所述经变换和量化的BL数据进行编码；以及
用所选EL编码才莫式对EL残差进行编码，并对指示编码模式 的指令进行编码。
根据本发明一个方面，该编码方法进一步包4舌以下步骤在至 少两种不同的帧内编码模式之间选择帧内编码EL数据的情形，其 中，至少一种而非全部帧内编码模式包括原始EL数据和EL数据 的予员测形式之间的歹戋差的附力口帧内编石马。
有利地，两种纟是及的编码器实施例可组合到 一个组合编码器
被帧内编码(根据指令)的装置自适应地对帧内编码视频数据和帧 间编码一见频凄t据进4亍编码。
根据本发明一个方面，对具有BL和EL的可分级^L频数据进 行解码的方法，其中，BL的像素具有比增强层像素小的位深度， 该方法包4舌以下步艰《
接收经量化和(例如，DCT-)变换的增强层信息和基本层信息 以及解码模式指令；对所接收的EL信息和BL信息执行逆量化和逆变换；
对经逆量化和逆变换的BL信息进行增采样，其中，每个值的 位深度增加，且其中，获得预测的EL信息；以及
从预测的EL信息和经逆量化和逆变换的EL信息重构EL^L频 信息，其中，根据解码模式指令选择解码模式，其中，可能的解码 模式包括
第一才莫式，其中，在帧间编码的EL信息的情况下，使用从EL 信息提取的运动信息对经逆量化和逆变换的EL信息解码；以及
第二模式，其中，在帧间编码的EL信息的情况下，使用从所 述BL信息提取的运动信息对经逆量化和逆变换的EL信息解码。
才艮据本发明一个方面，解码方法净皮进一步i兌明，其中可能的解 码模式进一步包括
第三模式，其中，在帧内编码的EL信息的情况下，经逆量化 和逆变换的EL信息生成EL残差；以及
第四才莫式，其中，在帧内编码的EL信息的情况下，经逆量化 和逆变换的EL信息被帧内解码(使用I一NxN)以获得EL残差。
有利地，两种4是及的解码器实施例可组合到 一个组合解码器 中，该组合解码器可自适应地对帧内编码视频数据和帧间编码视频 数据进行解码。
才艮据本发明的另 一个方面，经编码的可分级视频信号包括经编 码的BL数据、经编码的EL数据和预测型指令，其中，经编码的 EL数据包括为位深度增采样的BL图像和EL图像之间差的残差，歹戋差包4舌差分^^果度4言息(differential bit depth information )，其中， 预测型指令指示是否解码器必须对EL数据^l行空间帧内解码(I—N xN)以再获得涉及位深度增采样的BL图像的残差。
根据本发明另 一个方面，用于对具有基本层和增强层视频数据 进行编码的设备，其中，基本层具有比增强层低的色彩分辨率和空 间分辨率，该设备包括用于对基本层数据进行变换的装置和进行 量化的装置；
用于对经变换和量化的基本层数据进行逆变换的装置和进行 逆量化的装置，其中，获得重构的基本层数据；
用于对重构的基本层数据进行增采样的装置，其中，增采样至 少涉及位深度，且其中，获得增强层信息的预测形式；
用于生成原始增强层数据和增强层数据的预测形式之间的残 差的装置；
用于对帧间编码的增强层的情况在至少两个不同的帧间编码 模式之间进行选择的装置，其中，第一帧间编码模式包括使用增采 样的基本层运动信息，第二帧间编码模式包括使用由所述增强层数 据生成的运动信息；
用于对经变换和量化的基本层数据进行编码的装置；以及用于 使用所选的增强层编码模式对增强层残差进行编码的装置。
才艮据本发明另 一个方面，用于对具有BL和EL的^L频翁:据进 行解码的设备，其中BL具有比EL低的色彩分辨率和空间分辨率， 所述设备包括用于对BL数据进行变换的装置和用于对BL数据 进行量化的装置；用于对经变换和量化的基本层数据进行逆变换的装置和进行逆量化的装置，其中，获得重构的基本层数据；用于对 重构的BL数据进行增采样的装置，其中，增采样至少涉及位深度， 且其中，获得EL信息的预测形式；用于生成原始EL数据和EL数 据的预测形式之间的残差的装置；用于对帧间编码的EL的情况在 至少两个不同的帧间编码模式之间进行选择的装置，其中，第一帧 间编码模式包括使用增采样的BL运动信息，第二帧间编码模式包 括使用由所述EL数据生成的运动信息；用于对经变换和量化的BL 凌史据进4亍编码的装置；以及用于〗吏用所选的EL编码才莫式对EL残 差进行编码的装置。
本发明提供的不同实施例的编码解决方案可兼容H.264/AVC 和目前在H.264/AVC可分级扩展(SVC )中定义的所有类型的可分级性。
本发明有利的实施例在所附的权利要求、下面的说明书和附图 中公开。


参考

本发明的示例性实施例，其示出
图l是色彩位深度可分级编码的框架；
图2是位深度可分级增强层的新型帧内编码模式的编码器框
架；
图3是位深度可分级增强层的两种新型帧间编码模式的编码器
框架；
图4是位深度可分级增强层的两种新型帧间编码才莫式的解码器 才匡架；以及图5是位深度可分级增强层的新型帧内编码模式的解码器框
恕 木。
具体实施例方式
如图1所示，两个#见频用作#见频编码器的1命入NM立原始^L频 和M位(M<N，通常M = 8 )碎见频。M位碎见频可由N 4立原始—见频 分解获得或由其他方式提供。通过利用BL图像，可分级解决方案 可减少两层之间的冗余。 一个具有8位色彩，另一个具有N位色彩
(N>8)的两个视频流输入到编码器，且输出是可分级的比特流。 仅输入一个N位色彩数据流也是可能的，从该N位色彩数据流为 BL内部生成M位(M<N )色彩数据流。用所包括的H.264/AVC编 码器将M位视频编码为BL。BL的信息可用来改善EL的编码效率。
这就是本文中所谓的层间预测。每个画面---组MB——具有两
个4妄入单元(access unit), —个用于BL,另 一个用于EL。经编码 的比特流是多路的，以形成可分级的比特流。BL编码器包括例如 H.264/AVC编码器，重构用于预测N位色彩4见频，该N位色彩4见 频3夺用于EL编石马。
如图1所示，可分级比特流示例性包含AVC兼容的BL比特流， 其可由BL解码器(传统AVC解码器)解码。然后将在解码器侧寺丸 行与在编码器中同样的预测(在评估各指令后)，乂人而得到预测的N 位视频。借助N位预测的视频，EL解码器将使用该N位预测为高 质量显示HQ生成最终的N^f立^L频。
下面，当使用术语色彩位深度时，其意味着位深度，即每个值 的比特凄t。这通常相应于色彩强度(color intensity )。
在一个实施例中，本发明基于SVC空间、时间和质量可分级 性的当前结构，并被用于增强的色彩位深度的位深度可分级性增强。因此，该实施例完全兼容当前的SVC标准。然而，本领域4支
术人员易于使其适应其他标准。
在本发明一个实施例中，可使用三种新型编码模式，其都基于 位深度可分级性的位深度预测。这些新型编码模式被设计来解决如
4可更有效、更灵活;也编石马层间残差的问题。当前的svc标准仅支
持在I_BL才莫式中对层间残差编码，而不选择任4可预测才莫式。对于 帧间编石马，当前的SVC标准不支持直4妻对层间残差进4亍编码。而 是，残差层间预测是为对BL残差和EL残差之间的差进行编码而 执行的。换句话说，层间预测模块的输入是帧间编码中BL的残差， 而非本文中所用的重构的BL。 7>开的三种新型编码才莫式中， 一种 指帧内编码，其他两种指用于基于H.264/AVC编码层间残差的帧间 编码。
帧内编；马才莫式
当前的SVC标准支持两类增强层帧内MB的编码才莫式， 一种 是原始H.264/AVC I_N x N编码模式，另 一种是SVC特殊编码模式 I_BL。在当前的SVC中，1—NxN才莫式对原始ELN比特4见频编码， 而I—BL才莫式直4妄对层间残差编码，而不选择预测才莫式。本发明通 过将层间残差当作N位-f见频，并以层间残差取^原始N位-脱频， 为编码帧内MB增加了新才莫式。借助本发明的新帧内才莫式，在N位 层间残差的编码形式I_N x N和I—BL才莫式之间选择帧内MB最佳 才莫式。具有帧内编码^f莫式的色彩位深度可分级编解码器的帧内编码 一匡架在图2中示出。
才艮据才莫式选择开关MSS， EL残差在变换T、量化Q和熵编码 ECEL前经I—N x N编码或不经I—N x N编码。编码器具有基于RDO 判定编码模式的装置，该装置提供控制信号EL—intra—flag,该信号 还净皮输出用于相应地控制解码器。为此，该判定装置实际上可以才丸行编码，或者^U要照定义的参数对输入图傳4t据进行分析，例如色
彩或紋理平滑度。
相应的解码器在图5中示出。其在输入数据中才企测指令 EL_intra_flag，并响应于该指令在其EL分支中i殳定相应的解码才莫式 MCC，。对于指令EL—intra_flag的一个^直，经逆量化和逆变换的EL 残差EL，w将被如同其用于解码那样使用，而对于指令EL—intra—flag 的另 一个值，空间预测I—N x N将在之前执4亍。指令可包含在，如 宏块条头部4言息(slice header information )中，并对整个宏块条有 效。
帧间编码才莫式
对于帧间编码，当前的SVC标准不支持4吏用重构的基本层画
面的层间预测，但支持基于基本层残差的层间预测，该基本层残差
也就是原始BL M位视频和BL编码器生成的重构的M位副本间的 差。通过对EL利用新帧间编码才莫式，层间预测是4吏用经重构和增 采样的M位BL信息Pre^BLreJ执行的，如图3所示。在编码器的 EL分支中，该层间残差是用至少两种编码模式中的一种编码的。
第一新EL帧间编码才莫式包括以通过运动估计(ME)从EL数 据特别是^^人当前和在前的EL残差获取的运动矢量MVEL对层间残 差MB进4亍编码，而非对EL原始N位MB进4亍编码。
在第二 EL帧间编码模式中，EL的运动矢量是从BL分享的。 ME和运动补偿(MC )计算上复杂，因此该编码方法节省EL编码 器中大量处理功率。通过共享BL运动矢量，编码器的运行时间和 所生成的比特率都可减少。BL运动数据被增采样MVBLUp并用于该 才莫式中的BL MC MCPred。标记base_mode_flag是两种新EL帧间编码才莫式之间的切换， 该标记也与经编码的BL和EL数据一起输出，用于相应地控制解 码器。
相应的解码器在图4中示出。在图4的具体实施例中，BL残 差在位深度增采样BDUp前，还用残差增采样RUp空间增采样。 标记base_mode—flag在输入数据流中被检测并用来控制解码模式 如果标记具有第一值，则从输入EL数据流ELM^是取的运动信息谬皮 用于EL分支。如果标记具有不同的第二值，则来自BL的经增采 样的MUp运动信息被用于EL分支，该信息是从输入数据BL流中 才是取的并且随后^皮增采样。输入BL数据流的其他部分(图像tt据) 被逆量化和逆变换，且最终生成的残差BLw，k被用来构造BL视频 (如果需要)并用于增采样(如果需要EL视频)。大体上，如果可
本发明为色彩位深度可分级编码提供的EL新编码才莫式的两个 主要优点是首先，新编码模式为编码器提供了更多模式选项，其 尤其对RDO有用，因为RDO因而具有更多选项，更好的最优化是 可能的。其次，借助这些新才莫式，层间残差#:直4妄编码，且可实现 更高的编；马岁丈率。
因此，本发明可用于可分级编码器，可分级解码器，和可分级 信号，特别是用于视频信号或者具有不同质量层和高层间冗余的其 他类型的信号。
可以理解本发明^f又是通过例子i兌明的，可以在不偏离本发明范 围的情况下对细节进行修改。在说明书和(适当处)权利要求及附 图中公开的每个特征可以独立地或以任何合适的组合方式提供。这 些特征可(适当处)以硬件、软件或这两者的组合实现。权利要求中出现的标识号仅为了说明而不能对权利要求的范围有限制性效果。
权利要求
1.一种对具有基本层和增强层的视频数据进行编码的方法，其中，所述基本层具有比所述增强层低的色彩分辨率，所述方法包括以下步骤对基本层数据进行变换(T)和量化(Q)；对经变换和量化的基本层数据进行逆变换(T-1)和逆量化(Q-1)，其中，获得重构的基本层数据(BLrec)；对所述重构的基本层数据进行增采样(BDUp)，其中，所述增采样至少涉及位深度，其中，获得增强层数据的预测形式(Prec{BLrec})；生成原始增强层数据和所述增强层数据的预测形式(Prec{BLrec})之间的残差(ELres)；对帧间编码的增强层的情况，在至少两个不同的帧间编码模式之间进行选择，其中，第一帧间编码模式包括使用增采样(MUp)的基本层运动信息(MVBLUp)，第二帧间编码模式包括使用由所述增强层数据生成的运动信息(MVEL)；对所述经变换和量化的基本层数据进行编码(T，Q，ECBL)；以及用所选的增强层编码模式对所述增强层残差(ELres)进行编码(T，Q，ECEL)，并对指示所述编码模式的指令进行编码。
2. 根据权利要求1所述的方法，进一步包括以下步骤对帧内编 码的增强层的情况，在至少两种不同的帧内编码才莫式之间选择，其中，至少一种而非全部帧内编码才莫式包4舌所述残差 (ELres)的附加帧内编码。
3. 根据权利要求1或2所述的方法，其中，在不同编码模式之间 选4奪的步骤包括率失真优化步骤。
4. 根据权利要求1-3中任一项所述的方法，其中，增采样的步骤 还包括空间增采样(RUp)。
5. —种对具有基本层和增强层的可分级视频数据进行解码的方 法，其中，所述基本层具有比所述增强层低的位深度，所述方 法包4舌以下步骤接收经量化和变换的增强层信息和基本层信息以及解码 模式指令；对所接收的增强层信息和基本层信息执行逆量化和逆变换；对经逆量化和逆变换的基本层信息进行增采样，其中， 每个值的位深度增加，且其中，获得预测的增强层信息；以及由预观'J的增强层信息和经逆量化和逆变换的增强层信息 重构重构的增强层视频信息，其中，根据所述解码模式指令选 择解码模式，其中，可能的解码模式包括第一模式，其中，在帧间编码的增强层信息的情况下， 使用从所述增强层信息提取的运动信息对经逆量化和逆变换 的增强层信息解码；以及第二模式，其中，在帧间编码的增强层信息的情况下， 使用从所述基本层信息提取的运动信息对经逆量化和逆变换 的增强层信息解码。
6. 根据权利要求5所述的方法，其中，获得重构的增强层残差(ELres,k),进一步包括以下步骤将所述重构的增强层残差(A，2,el)加到重构的运动补偿增强层信息(S—ELree,w )。
7. 根据权利要求5所述的方法，其中，可能的解码模式进一步包 括第三模式，其中，在帧内编码的增强层信息的情况下， 所述经逆量化和逆变换的增强层信息生成增强层残差；以及第四模式，其中，在帧内编码的增强层信息的情况下，所述经逆量化和逆变换的增强层信息:故帧内解码以获得所述增强层残差。
8. 用于对具有基本层和增强层视频数据进行编码的设备，其中， 所述基本层具有比所述增强层低的色彩分辨率，所述设备包 括用于对基本层数据进行变换(T)和量化(Q )的装置；用于对经变换和量化的基本层数据进行逆变换(T1)和 逆量化(Q-1)的装置，其中，获得重构的基本层数据(BLrec);用于对重构的基本层数据进行增采样的装置(BDUp)， 其中，所述增采样至少涉及位深度，且其中，获得增强层信息 的预测形式(Pree{BLrec});用于生成原始增强层数据和所述增强层数据的预测形式 (Prec{BLrec})之间的残差(ELres)的装置；用于为帧间编码的增强层的情况在至少两个不同的帧间 编码模式之间进行选择的装置，其中，第一帧间编码模式包括 使用增釆样(MUp)的基本层运动信息(MVBLUp)，第二帧间 编码模式包括使用由所述增强层数据生成的运动信息 (MVEL );用于对所述经变换和量化的基本层凄t据进行编码的装置(T, Q， ECBL);以及用于使用所选的增强层编码才莫式对所述增强层残差 (ELres)进行编码的装置(T， Q， ECEIj),和用于对指示所述 编码模式的指令进行编码的装置。
9. 用于对具有基本层和增强层的视频数据进行解码的设备，其中 所述基本层具有比所述增强层低的色彩分辨率，所述设备包 括用于接收经量化和变换的增强层信息和基本层信息以及 解码模式指令的装置；用于对所接收的增强层信息和基本层信息执行逆量化和 逆变换的装置；用于对经逆量化和逆变换的基本层信息进行增采样的装 置，其中，所述每个值的位深度增加，且其中，获得预测的增 强层信息。用于由所述预测的增强层信息和所述经逆量化和逆变换 的增强层信息重构重构的增强层视频信息的装置；以及用于选择解码模式的装置，其中，根据所述解码模式指 令选择解码模式，其中，可能的解码模式包括第一模式，其中，在帧间编码的增强层信息的情况下， -使用/人所述增强层信息提取的运动信息对所述经逆量化和逆 变换的增强层信息解码，以及第二模式，其中，在帧间编码的增强层信息的情况下， 使用从所述基本层信息提取的运动信息对所述经逆量化和逆 变换的增强层信息解码。
10. 根据权利要求9或IO所述的设备，其中，用于增采样的装置 包括用于增加像素数目的装置(RUp),和用于增加每个像素可具有的值的数目的装置(BDUp)。
11, 经编码的可分级纟见频信号，包括经编码的基本层数据、经编码 的增强层凄t据和预测类型指令，其中，所述经编码的增强层凄丈 据包括残差，所述残差为位深度增采样的基本层图像和增强层 图像之间的差，所述残差包括差分位深度信息，其中，所述预 测类型指令指示是否解码器必须对所述增强层数据执行空间 帧内解码(I—NxN)以再获得涉及所述位深度增采样的基本 层图像的所述残差(ELres)。
全文摘要
一种可分级视频比特流可具有H.264/AVC兼容的基本层(BL)和可分级增强层(EL)，这里可分级性涉及色彩位深度。SVC标准允许空间层间预测，其中在EL中生成残差，该残差随后被帧内编码。另一种EL的空间帧内编码模式是纯帧内编码(I_N×N)。本发明公开可一种新型帧内编码模式和两种新型帧间编码模式，特别用于位深度可分级性。该新型帧内编码模式使用模式选择对增采样重构的BL和原始EL间的残差进行编码。两种可能的模式是来自BL的残差预测和该残差的附加帧内编码。该新型帧间编码模式也使用来自重构的BL的EL的预测。在第一帧间编码模式中，残差是使用基于该残差的运动估计编码的。在第二帧间编码模式中，残差是用来自BL的增采样的运动信息编码的。
文档编号H04N7/26GK101601300SQ200680056655
公开日2009年12月9日 申请日期2006年12月14日 优先权日2006年12月14日
发明者武宇文, 高永英 申请人:汤姆逊许可公司