专利名称：用于可扩展视频编码中的层间预测模式编码的方法和系统的制作方法
技术领域：
本发明涉及视频编码领域，并且更具体地涉及可扩展;f见频编码。
技术背景在通常的单层视频方案中，诸如H.264中，在宏块中处理视频 帧。如果宏块(MB)是帧间MB (inter-MB),则一个宏块中的^f象 素可以从一个或者多个参考帧内的像素中预测出来。如果宏块是帧 内MB (intra-MB),则当前帧的MB中的4象素也可以完全从同 一视 频帧内的像素中预测出来。对于帧间MB和帧内MB两者，用以下步骤对MB进行解码 -对MB的语法元素进4于解码，语法元素包纟舌预测才莫式和相关 联的参数；-基于语法元素，取回用于MB的每个分割部分的像素预测值。 MB可以具有多个分割部分，并且每个分割部分可以具有其 自己的模式信息；-执行熵解码以便获得量化系数；-执4亍针对量化系数的逆变换以便重建预测残差(residue);以及一将像素预测值加到重建的预测残差上以便获得MB的重建的像素值。在编码器侧，预测残差是原始像素和它们的预测值之间的差。 对残差进行变换并且量化变换系数。然后使用特定的熵编码方案对 该量化系数进行编码。如果MB是帧间MB,则必须对涉及模式判决的信息进行编码， 诸如 - MB类型，用于指示其是帧间MB;-所使用的特殊帧间预测模式。预测模式指示如何分割MB。 例如，MB可以仅具有大小为16x16的一个分割部分或者两 个16x8的分割部分，并且每个分割部分可以具有不同的运 动信息，等等；- 一个或者多个参考帧索引，用于指示从中获取像素预测值的 参考帧。MB的不同部分可以具有来自不同参考帧的预测值；- 一个或者多个运动矢量，用于指示取得预测值的参考帧上的 位置。如果MB是帧内MB,则必须对例如以下信息进行编码- MB类型，用于指示其是帧内MB;-用于亮度(luma)的帧内预测模式。如果使用帧内4x4模式 来预测亮度信号，则16x16亮度块中的每个4x4块可以具有 其自己的预测模式，并且针对MB对十六个帧内4x4模式进 行编码。如果使用帧内16x16模式来预测亮度信号，则仅一 个帧内16x16模式与整个MB相关联；- 用于色度(chroma )的帧内预测才莫式。在以上任一情况中，大量比特消耗在对模式和相关联的参数进 4亍编；马上。在如Scalable Video Model 3.0 (ISO/IEC JTC 1/SC 29/WG 11N6716, 2004年10月，Palma de Mallorca,西3爽牙)所才是出的可 扩展—见频编码解决方案中，可以在多个层中对^见频序列进^f亍编码， 并且每层是特定空间分辨率或者时间分辨率或者特定质量水平或者 这三者的某种组合的视频序列的一个表示。为了实现良好的编码效 率，使用了一些新紋理预测模式和语法预测模式以减少层间的冗余。 来自基本层的模式继承(MI)在该才莫式中，除了 MI标记以外，针对MB没有附加的语法元素 需要进行编码。MI标记用于指示该MB的模式判决可以从基本层中 对应的MB推导出。如果基本层的分辨率与增强层的分辨率相同，
则所有模式信息可以原样使用。如果基本层的分辨率与增强层的分 辨率不同(例如，基本层的分辨率是增强层的分辨率的一半)，则 增强层所使用的模式信息需要根据分辨率推导出。基本层紋理预测(BLTP)在该模式中，针对整个MB或者部分MB的像素预测值来自基 本层中的7>共定位的MB。需要新语法元素来指示这种预测。这类似 于帧间预测，但是因为预测的位置是已知的所以不需要运动矢量。 该模式在图l中示出。在图l中，Cl是增强层编码中的原始MB， 并且Bl是基本层中重建的MB,用于预测Cl中所使用的当前帧。 在图1中，增强层帧的大小与基本层中帧的大小相同。如果基本层 具有不同大小，则需要对基本层重建的帧进行适当的扩展操作。 残差预测(RP)在该模式中，当两个MB均在帧间模式中进行编码时，基本层 的重建的预测残差用于减少待在增强层中进行编码的残差量。在图l中，基本层中针对块重建的预测残差是(Bl - B0)。增 强层中最佳参考块是EO。在预测Cl中使用的实际预测值是(E0 + (Bl-B0))。实际预测值指的是"调整的残差预测值"。如果在RP模式中计算预测残差，则将得到Cl- (E0+ (B1-B0) ) = (C1-E0) - (B1-B0)。 如果未使用残差预测，则对增强层中常规的预测残差(Cl-E0)进行编码。在RP模式中进行编码的是增强层中第一阶预测残差和基 本层中第 一阶预测残差之间的差。因此该紋理预测模式指的是残差预测。需要一个标记来指示RP模式是否用于对当前MB进行编码。 在残差预测模式中，运动向量mve不必须等于实际编码中的运动 向量mvb 。残差预测模式还可以与MI相组合。在这种情况中，来自基本层 的模式信息用于访问增强层中的像素预测值，E0,然后基本层中重 建的预观'j残差用于预测增强层中的预测残差
发明内容
本发明的主要目的是进一步去除存在于SVC层间的冗余。该目 的可以通过改进层间预观'j模式来实现。即使当在帧内冲莫式中对基本层MB进4亍编码时，也可以通过如 下方式使用MI来实现改进-如果基本层分辨率低于增强层分辨率，则将基本层中的一个4x4块的帧内4x4模式复制到增强层中的多个相邻4x4块。 -如果基本层分辨率低于增强层分辨率并且基本层分辨率在两个维度上均是增强层分辨率的一半，则使用帧内4x4模式作为帧内8x8模式。 残差预测(RP)中的改进可以通过以下方法实现 -直接计算在RP中使用的基本层预测残差； -截去预测残差以减少存储器需求；-在BLTP模式中进行预测残差的穿隧(tunnel);以及 -对RP标记进行有条件编码，以节省标记4立并且减少实施复 杂性。而且，当在基本层紋理预测(BLTP)模式中对增强层进行编码 时，可以执行对基本层的模式信息的穿隧。
图1示出了可扩展视频编码中的紋理预测模式。 图2示出了在残差预测中使用的预测残差的计算。 图3示出了来自空间基本层的编码块式样和帧内模式的使用。 图4是示出了在其中可以实施本发曰7 编码器的框图。
具体实施方式
本发明按照如下改进了层间预观'J模式 当在帧内模式中对基本层MB进行编码时来自基本层的模式继承通常地，仅当基本层中的相应MB是帧间MB时，MI才用于增 强层中的MB。根据本发明，当基本层MB是帧内MB时也使用MI。 如果基本层分辨率与增强层的分辨率相同，则按原样使用该模式。 如果基本层分辨率不相同，则相应地转换模式信息。在H.264中，有三种帧内预测类型帧内4x4、帧内8x8以及帧 内16x]6。如果基本层分辨率低于增强层分辨率，且如果在帧内4x4 模式中对基本层MB的亮度信号进行编码，则基本层中一个4x4块 的帧内4x4模式可以应用于增强层中的多个4x4块。例如，如果基 本层分辨率在两个维度上均是增强层分辨率的 一半，则基本层中的 一个4x4块的帧内预测模式可以由增强层中的四个4x4块使用，如 图2的右侧所示。在另一实施方式中，如果基本层分辨率是增强层分辨率的一半， 并且在一个帧内4x4模式中对基本层MB的亮度信号进行编码，则 基本层中4x4块的帧内4x4模式用作增强层中对应的8x8块的帧内 8x8模式。这是因为就预测方向而言，对帧内8x8模式的定义类似 于顿内4x4模式。如果顿内8x8预测应用于基本层中，则将基本层 的一个8x8块的帧内8x8预测模式应用于增强层的MB中的所有四 个8x8块。即使当基本层的分辨率不同于增强层的分辨率时，也通常可以 原样使用帧内16x16模式和色度预测模式。在基本层紋理预测模式中进行模式信息的穿隧在现有技术中，如果在BLTP模式中从层N-1预测MB,则在 对层N处的该MB进行编码时不需要来自层N - 1的模式判决信息。 根据本发明，层N- 1处的MB的所有模式判决信息由层N处的MB 来继承，并且该信息可以用于对层N+ 1处的MB进行编码，尽管该 信息不可以用于对层N处的MB进行编码。
残差预测(RP)-RP中使用的基本层预测残差的直接计算在对层N处的MB进行编码时用于残差预测的值应该是层N- 1 处的"真实残差"，其定义为层N-1处重建的公共定位块与层N-1处该么、共定位块的非调整的残差预测值(non-residue-adjusted predictor )之间的差，假设对层N - 1处对应的MB进行了帧间编码 (inter-coding )。在解码过程中，可以使用以下两个步骤来计算"标称残差"1. 对量化系数进行反量化(dequantize)，以及2. 针对反量化系数执行逆变换。基本层中的一个4x4块的模式可以由增强层中的四个4x4块来 4吏用，如图2的右侧所示。如果在对该层处的MB进行编码时未使用残差预测，则对于该 层的该MB,标称残差与真实残差相同。如果在对该层处的MB进行 编码时使用了残差预测，则标称残差不同于真实残差，这是因为标 称残差是重建的像素和调整的残差预测值之间的差。用图2的左侧处的3层SVC结构作为例子。如果残差预测未用 于层0处的MB，则标称残差和真实残差两者都是(Bl-BO)。然 而，如果残差预测用于层1处的MB，则标称残差是(E1- (E0 + (Bl-BO)))。该结果可以直接从反量化和反量化系数的逆变换 获得。真实残差是(El - E0)。下文是用于计算层N- 1处的真实残差的两种示例性方法'所述 真实残差将用于层N处的残差预测中 方法 A对层N- 1处的当前帧和它在层N- 1处的参考帧两者^M亍完全 重建，然后就可以轻易计算出层N-1处的真实残差。然而，对于一 些应用而言，期望层2处的帧的重建不要求层0处和层1处的帧的完全重建。
方法B如果残差预测未用于层N- 1处的MB,则层N- 1处的真实残 差与标称残差相同。否则层N-1处的真实残差是层N-1处的标称 残差和层N-2处的真实残差的总和。在图2中，层0处的真实残差是(Bl-B0)并且RP冲莫式用于 对层1处的对应MB进行编码。用于层]处的当前MB的调整的残 差预测值是(50+ (Bl-BO))。层1处的重建的标称预测残差是 (El - (E0+ (Bl-BO))。因此，层1处的真实残差可以计算如 下(El- (E0+ (B1-B0) ) + (Bl-BO) = (El - E0)方法B不需要较低层处的帧的完全重建。这种方法称作真实残差的 "直接计算"。从数学方面看，根据方法A和方法B计算的结果相同。然而在 实际操作中，因为执行不同的截去操作，该结果可以略有不同。根 据本发明，下文是用于计算层N-1处的"真实残差，，的程序，所述 真实残差将用于层N处的残差预测1. 对量化系数进行反量化；2. 针对反量化系数执行逆变换以便获得"层N-l处的标称残3. 如果残差预测未用于层N-1中的MB,则设置"暂时残差(tempResidue )"等于"层N - 1处的标称残差(nominalResidue )，，， 然后进行到步骤5;4. 如果残差预测用于层N- 1中的MB,则设置"暂时残差"等 于"层N- 1处的标称残差"+ "层N- 2处的真实残差(trueResidue)", 然后进行到步骤5;5. 对"暂时残差，，执行截去以便获得层N- 1处的"真实残差"。 在本发明中，真实残差已经被截去，因此其将落入特定范围内，从而节省存储残差数据所需的存储器。可以引入比特流中附加的语
法元素"残差范围(residueRange )"以^_指示动态的残差范围。一 个示例是对于8位视频数据，截去了范围[-128,127]中的残差。更具 侵略性的截去可以应用于确定复杂性与编码效率的4斤衷。系数域中的残差预测在一个实施方式中，残差预测可以在系数域中#1行。如果使用 了残差预测模式，则可以从增强层中的预测残差的变化系数中减去 系数域中的基本层预测残差。然后在该操作之后是增强层中的量化 处理。通过执行系数域中的残差预测，可以避免在所有基本层的空 间域中重建预测残差的逆变化步骤。作为结果，可以极大的减小计 算复杂性。在帧内模式和BLTP模式中进行预测残差的穿隧通常地，如果接近基本层中的MB是帧内MB或者其是通过使 用BLTP模式从它自己的基本层预测出来的，则将预测残差设置为0。 根据本发明，预测残差将传输到上部增强层，但是不加上来自帧内 预测的残差。考虑3层SVC结构如果在层0内在帧内模式中以及 在层1内在帧内模式中对MB进行编码，则层0的预测残差可以用 于层2中。如果在BLTP模式中对当前增强层(例如图2中的层1)中的 MB进行编码，则在一个实施方式中，将^^值为(B1-B0)的其基 本层(层0)的预测残差记录为层1预测残差并且在上部增强层(层 2)的残差预测中使用。并不加上来自层1中的BLTP模式的标称残 差。其类似于上文所讨论的帧内模式。在另一实施方式中，层l中 的值为(El - Bl )的BLTP模式预测残差还被加到基本层预测残差 (Bl - B0)上。由此，用于层2残差预测中的残差是(El - B0)而 不是(Bl - B0)。其在图2的右侧示出。RP标记的有条件编码以节省标记仿-和减少实施复杂性RP标记用于指示RP模式是否用于增强层中的MB。如果可以在 增强层中用于MB的残差预测中的重建的预测残差是零，则残差预 测模式将无助于改进编码效率。根据本发明，在编码器侧，通常在 估计残差预测模式之前检查上述条件。由此，可以减少模式判决中 的大量计算。在编码器侧和解码器侧，如果可以在增强层中用于MB 的残差预测中的重建的预测残差是零，则不对RP标记进行编码。由 此，减少了^^费在对RP标记进行编码的比特数。在对宏块进行编码中，在比特流中对一个或者多个变量进行编 码，以1更指示MB是帧内编码的、帧间编码的或者是在BLTP才莫式 中进行编码的。在此全体变量mbType用于区分这三种预测类型。对于帧内编码的宏块而言，标称预测残差总是0。如果基本层中 没有搭配的(collocated)宏块被帧内编码，则可以在增强层中用于 MB的残差预测中的重建的预测残差是0。例如，在2层SVC结构 中，如果基本层不是被帧间编码的，则可用于对层1中的宏块进行 编码的残差是O,则针对该宏块而言残差预测处理可以省略，并且不 发送残差预测标记。在视频编码中，通常使用编码块式样(CBP)来指示预测残差在 MB中如何分布。值为0的CBP指示预测残差为0。当基本层具有不同分辨率时，基本层中的CBP转换为合适的增 强层扩展，如图3所示。特定示例是基本层分辨率在两个维度上均 是增强层分辨率的一半。通常，针对MB中的每个8x8亮度块来发 送一个CBP位。通过检查在适当位置处的一个CBP位，可以知道来 自空间基本层的预测残差是否是0。其在图3的左侧示出。还可以以 类似方式纟全查色度CBP,以4更确定是否应该使用残差预测。在本发明的一个实施方式中，基本层的mbType和CBP可以用 于推断可以使用在当前MB的残差预测的预测残差是否是0。由此， 可以避免实际逐个像素地;险查MB中的预测残差。应该理解到来自检查CBP和mbType的结果与来自逐个像素检 查预测残差的结果可以不一致，因为 一些附加的处理步骤在基本层 紋理数据被解码后可以应用于基本层紋理数据上，诸如如果基本层 分辨率低于增强层分辨率情况下的上采样操作以及环路(10叩)滤波 操作。例如，如果基本层的分辨率是增强层的分辨率的一半，则基 本层的重建的预测残差将通过2的印子来上采样(参见图3)。在上 采样处理中执行的滤波操作可以将少量能量从非零块漏出到相邻的 零块。如果块的预测残差被逐个像素检查，则可以发现残差非零，尽管从CBP和mb类型推断的信息是0。由此，通过仅检查基本层中的CBP和mbType的值，可以减少 计算复杂性以及存储器存取。码器400的框图。如图4所示，编码器具有两个编码模块410和420， 每个模块具有熵编码器以便产生不同层的比特流。可以理解到编码 器400包括软件程序，用于确定如何对系数进行编码。例如，软件 程序包括用于使用MI的伪代码，即使通过以下方式在帧内编码中对 基本层MB进行编码将基本层中的一个4x4块的帧内4x4模式复 制到增强层中的多个相邻4x4块，以及如果基本层分辨率仅是增强 层分辨率的一半，则使用帧内4x4模式作为帧内8x8模式。软件程 序可以用于直接使用残差预测模式来计算基本层预测残差以及截去 预测残差。总体而言，帧内8x8和帧内4x4是不同的亮度预测类型。帧内 预测的基本思想是使用相邻块中的(已经处理过和重建的)边缘像 素，以<更对正在处理的块中4象素#1行方向预测。特定冲莫式指定预测 方向，诸如右下方向或者水平方向等等。而更详细地是，在水平方 向上，将水平地复制当前块左侧的边缘像素，并且用作当前块的预 测值。在帧内8x8类型中，MB在4个8x8块中处理，并且有一个帧内 8x8预测模式与每个8x8块相关联。在4x4块中，MB在4x4块中处 理。然而，对于两种预测类型，类似地定义了才莫式(预测方向)。 所以在 一 个类型的实施方式中，如果帧的大小在两个维度上均翻倍，
则可以将一个4x4块的预测模式复制到增强层中的4个4x4块。在 另一类型的实施方式中，对于相同的2/1帧的大小关系，可以使用一 个4x4块的预测模式作为增强层中的一个8x8块的帧内8x8模式。在本发明中， 一半的分辨率是对于两个方向而言。但是在一些 应用中，规频可以仅在一个维度中进行下采样。如果在该情况中， 则仅将一个帧内4x4模式复制到增强层中的2个4x4块，则帧内4x4 到帧内8x8的映射将不再有效。由此，尽管在本发明中已经针对本发明的一个或者多个实施方 式进行了描述，但是本领域的技术人员将理解到在不偏离本发明的 范围的前3是下，可以在其形式和细节上进行上述和各种其他改变、 省略和偏离。
权利要求
1.一种使用在可扩展视频编码中的方法，用于减少可扩展视频层中存在的冗余，所述层包括基本层和至少一个增强层，每个层包括至少一个宏块，所述方法的特征在于确定在对所述增强层中的宏块进行编码时是否使用残差预测模式；以及如果使用所述残差预测模式，则将残差预测标记编码到所述增强层比特流中，所述标记用于指示残差预测是否应用于所述增强层中的所述宏块；以及如果未使用所述残差预测模式，则从用于所述宏块的所述增强层比特流中省略所述残差预测标记。
2. 根据权利要求1所述的方法，其特征在于所述确定基于基本 层残差是否是零。
3. 根据权利要求1所述的方法，其特征在于所述确定基于所述 基本层中的宏块被编码的方式。
4. 根据权利要求1所述的方法，其特征在于所述确定基于所述 基本层中搭配的宏块的类型。
5. 根据权利要求3所述的方法，其特征在于如果在所述基本层 中没有所述搭配的宏块被帧间编码，则不使用所述残差预领'j模式。
6. 根据权利要求1所述的方法，其特征在于如果用于所述基本 层宏块的编码块式样是零，则不使用所述残差预测才莫式。
7. 根据权利要求6所述的方法，其特征在于所述基本层和至少 一个增强层具有不同的空间分辨率，并且其中如果根据所述基本层 编码块式样的位被设置为零，则不使用所述残差预测模式，如果发 生了所述基本层的上采样，则所述位对应于将与所述特定增强层宏 块搭配的宏块。
8. 根据权利要求1所述的方法，其特征在于计算模式继承的附 加步骤在所述确定之前或者在所述确定之后。
9. 根据权利要求8所述的方法，其特征在于所述基本层和增强 层具有相等的空间分辨率，并且其中所述增强层中的特定宏块的模 式从所述搭配的基本层宏块中继承，并且所述搭配的基本层宏块是 帧内宏块。
10. 根据权利要求8所述的方法，其特征在于所述增强层具有大于所述基本层的空间分辨率，并且其中所述基本层中的帧内宏块的 模式从基本层宏块继承，如果上釆样，则该基本层宏块将包括所述 特定增强层宏块。
11. 一种用于编码的可扩展视频编码器，用以减少在可扩展视频 层中存在的冗佘，所述层包括基本层和至少一个增强层，每个层包括至少一个宏块，所述编码器的特征在于用于确定在对所述增强层中的宏块进行编码时是否使用残差预 测模式的装置；以及装置，用于在如果使用所述残差预测模式时，将残差标记编码到 所述增强层比特流中，所述标记用于指示残差预测是否应用于所述 增强层中的所述宏块；以及用于在如果未使用所述残差预测模式时，从用于所述宏块的所述 增强层比特流中省略所述残差预领'J标记。
12. 根据权利要求11所述的编码器，其特征在于所述确定基于 基本层残差是否是零。
13. 根据权利要求11所述的编码器，其特征在于所述确定基于 对所述基本层中的所述宏块进行编码的方式。
14. 根据权利要求11所述的编码器，其特征在于所述确定基于 所述基本层中搭配的宏块的类型。
15. 根据权利要求13所述的编码器，其特征在于如果所述基本 层中没有所述搭配的宏块被帧间编码，则不使用所述残差预测模式。
16. 根据权利要求11所述的编码器，其特征在于如果用于所述 基本层宏块的编码块式样是零，则不使用所述残差预测模式。
17. 根据权利要求16所述的编码器，其特征在于所述基本层和 至少 一个增强层具有不同的空间分辨率，并且其中如果根据所述基 本层编码块式样的位被设置为零，则不使用所述残差预测模式，如 果发生所述基本层的上采样，则所述位对应于将与所述特定增强层 宏块搭配的宏块。
18. —种包括具有软件应用的存储介质的软件应用产品，用于在 可扩展视频编码中使用以便减少在可扩展视频层中存在的冗余，所 述层包括基本层和至少一个增强层，每个层包括至少一个宏块，所 述软件应用的特征在于用于执行权利要求1所述的方法步骤的程序 代码。
全文摘要
本发明通过以下操作改进了残差预测即使当在帧内模式中对基本层MB进行编码时也使用MI，例如如果基本层分辨率低于增强层分辨率，则将基本层中一个4×4块的帧内4×4模式复制到增强层中的多个相邻4×4块，如果基本层分辨率低于增强层分辨率并且基本层分辨率在两个维度上均是增强层分辨率的一半，则使用帧内4×4模式作为帧内8×8模式，执行使用在RP中的基本层预测残差的直接计算，截去预测残差以减少存储器需求并在BLTP模式中穿隧预测残差；以及对RP标记进行有条件编码以便节省标记位并且减少实施复杂性。
文档编号H04N7/50GK101129072SQ200680005741
公开日2008年2月20日 申请日期2006年1月12日 优先权日2005年1月12日
发明者J·里奇, M·卡克泽维茨, 王祥林, 鲍亦亮 申请人:诺基亚公司