用中间层残留值预测产生并解码视频序列的设备和方法

专利名称：用中间层残留值预测产生并解码视频序列的设备和方法
技术领域：
本发明涉及视频编码系统，具体地涉及可缩放(scalable)视频编码系统，可结合 视频编码标准H. 264/AVC或新的MPEG视频编码系统一起使用。
背景技术：
标准H. 264/AVC是IUT-T视频编码专家组VCEG和IS0/IEC运动图像专家组(MPEG) 的视频标准化计划的结果。该标准化计划的主要目标是提供一种具有非常良好的压缩行 为、同时产生网络友好的视频表征的清晰视频编码概念，包括例如视频电话的具有“通话特 征”的应用以及没有通话特征的应用(存储、广播、流传输)。除了上述标准IS0/IEC 14496-10之外，还存在与该标准有关的多种出版物。仅作 为示例，参考 “The Emerging H. 264-AVC standard”，Ralf Schafer, Thomas Wiegand and Heiko Schwarz5EBU Technical Review, January 2003。此夕卜，专家出版物"Overview of the H. 264/AVC Video Coding Standard，，，Thomas ffiegand, Gary J. Sullivan, Gesle Bjontegaard and Ajay Lothra, IEEE Transactions on Circuits and Systems for Video Technology, July 2003 以出片反· “Context—based adaptive Binary Arithmethic Coding in the H. 264/AVC Video Compression Standard，，，Detlev Marpe, Heiko Schwarz and Thomas ffiegand,IEEE Transactions on Circuits and Systems for Video Technology, September 2003，包括视频编码标准的不同方面的概述。然而，为了更好地理解，将参考图9至11给出视频编码/解码算法的概述。图9示出了视频编码器的完整结构，视频编码器通常包括两个不同级。通常，第一 级通常进行有关视频的操作，产生输出数据，然后输出数据经过第二级的熵编码，第二级在 图9中由80表示。数据是数据81a、量化变换系数81b以及运动数据81c，其中，将这些数 据81a、81b、81c提供给熵编码器80，以在熵编码器80的输出处产生编码的视频信号。具体地，将输入视频信号分别分割划分为宏块，其中每个宏块具有16X16像素。 然后，选择宏块与片组和片的关联，根据该关联，由图8所示的操作块网络来处理每个片的 每个宏块。应该注意，当视频图像中存在不同的片时，可能高效并行处理宏块。经由图8中 的块编码器控制82来执行宏块与片组和片的关联。存在不同的片，这些片定义如下I片1片是其中片的所有宏块都是使用帧内预测来编码的片。P片除了 I片的编码类型之外，P片的某些宏块也可利用每个预测块的至少一个 运动补偿预测信号，使用帧间预测来编码。B片除了 P片中可用的编码类型之外，B片的某些宏块也可利用每个预测块的两 个运动补偿预测信号，使用帧间预测来编码。
3
上述三种编码类型与早期的标准中的编码类型非常类似，但是如下面所述的，使 用参考图像。下面片的两种编码类型在标准H. 264/AVC中是新的SP片该片也被称为切换P片，其编码成可在不同预编码图像之间有效地切换。SI片SI片也被称为切换I片，其使SP片中的宏块精确地适应直接随机存取和错 误恢复目的。总而言之，片是宏块序列，如果不使用灵活宏块排序FMO的属性，则按照光栅扫描 的顺序对片进行处理，标准中同样定义了 FM0。如图11所示，可将图像分割为一个或多个 片。因此，图像是一个或多个片的集合。在这点上，由于可根据比特流来分析(解析)片的 语法单元，所以片是彼此独立的，其中，可在片所表示的图像范围内正确地对采样值进行解 码，只要所用的参考图像在编码器和解码器中是相同的。然而，需要来自其它片的某些信息 来在片边界上应用解块滤波器(deblocking filter)。FMO特性通过使用片组的概念，来修改将图像划分为片的方式。每个片组是由宏块 到片组的映射所定义的宏块的集合，宏块到片组的映射由图像参数集的内容和来自片头的 某些信息规定。该宏块到片组的映射包括图像中每个宏块的片组标识号，该标识号规定了 有关宏块所属的片组。可将每个片组划分为一个或多个片，因此片是相同片组中的宏块的 序列，该序列按照特定片组的宏块集合中的光栅抽样的顺序来处理。取决于片编码器的类型，可以以一个或多个编码器类型来发送每个宏块。在所有 片编码器类型中，支持被称为intra_4x4或intra_16X16类型的帧内编码，此外，还支持色度预 测模式和I_rcM预测模式。intra_4x4模式基于独立的每个4X4色度块的预测，并且非常适用于对具有突出 细节的图像部分进行编码。另一方面，intra_16X16模式执行整个16X16色度块的预测，并 更适用于对图像的“柔和，，区域进行编码。除了这两个色度预测类型之外，还执行独立的色度预测。作为intra_4x4* intra_16X16的备选，I_4X4编码类型使得编码器简单地省略预测以及变换编码，而直接发送 编码的采样的值。Ι—κ 模式具有以下目的其是编码器精确地表征采样的值。其提供一种 精确地表征非常异常的图像内容的值而不放大数据的方式。此外，其可以确定比特数的确 切边界，编码器需要具有该确切边界以处理宏块而不损失编码效率。与在变换域中执行帧内预测的早期的视频编码标准(即H. 263+和MPEG-4Visual) 相反，H. 264/AVC中的帧内预测总是通过参考分别在要预测的块的左侧和上方的先前编码 的块的相邻采样，在空间域中执行的(图10)。在出现传输错误的某些情况下，这会引起错 误传播，其中，由于帧内编码的宏块中的运动补偿而发生该错误传播。因此，可用信号通知 受限的帧内编码模式，受限的帧内编码模式仅能够预测帧内编码的相邻宏块。在使用intra_4x4模式时，预测空间相邻采样的每个4X4 ±夬。通过使用相邻块中 先前解码的采样，来预测4X4块的16个采样。可对每个4X4块使用9种预测模式之一。 除了 “DC预测”(其中一值用于预测整个4X4块)之外，规定8个方向预测模式。这些模 式适用于预测图像中的方向结构，例如不同角度的边缘。除了帧内宏块编码类型之外，将不同预测或运动补偿编码类型规定为P宏块类 型。每个P宏块类型与将宏块具体分为块形式相对应，块形式用于运动补偿预测。语法支 持以16 X 16、16 X 8、8 X 8或者8 X 16采样的小块尺寸进行划分。在8 X 8采样的划分中，对于每个8X8划分，发送附加的语法单元。该语法单元规定了是否将各个8X8划分进一步 划分为8X4、4X8或者4X4亮度采样和相应的色度采样。通过将各个参考图像的区域移动由平移矢量和图像参考指标规定的量，获得每个 预测编码的MXM小块的预测信号。因此，如果使用四个8X8划分来编码宏块，并且在将每 个8X8划分进一步划分为四个4X4划分时，可在所谓运动场内传输单个P宏块的最大量 为16的运动矢量。在H. 264/AVC中，量化参数片QP用于确定变换系数的量化。该参数可假定52个 值。设置这些值，使得量化参数增加1则意味着量化器步长宽度增加大约12%。这意味着 量化参数增加6则使量化器步长宽度恰好增加因子2。应该注意，步长大小改变大约12% 也意味着比特率减少大约12%。块的量化变换系数通常以Z字形路径来采样，并通过使用熵编码方法来处理。按 照光栅扫描顺序来采样色度分量的2X 2DC次数，并且可通过使用16比特整数值的加法和 移位运算来实现H. 264/AVC中的所有逆变换运算。参考图9，对于视频序列中的每个图像，首先逐个图像将输入信号划分为16X16 像素的宏块。然后，将每个图像提供给减法器84，减法器84减去由包含在编码器中的解码 器85提供的原始图像。然后对减法结果(即空间域的残留信号)进行变换、缩放和量化 (块86)，以获得线81b熵的量化变换系数。为了产生要馈入减法器84的减法信号，首先再 次对量化变换系数进行缩放和逆变换(块87)，以提供给加法器88，加法器88的输出馈入 解块滤波器89，其中，例如，在解块滤波器的输出处监视将要由解码器进行解码的输出视频 信号，以用于控制目的(输出90)。通过使用输出90处的解码的输出信号，在块91中执行运动估计。对于块90中的 运动估计，从图9中可见，提供原始视频信号的图像。标准允许两种不同的运动估计，即前 向运动估计和后向运动估计。在前向运动估计中，关于前一图像来估计当前图像的运动。 然而，在后向运动估计中，使用将来的图像来估计当前图像的运动。将运动估计的结果(块 91)提供给运动补偿块92，特别地，在开关93切换到帧间预测模式时，就像在图9的情况下 一样，运动补偿块92执行运动补偿帧间预测。然而，如果开关93切换到帧内预测，则使用 块490来执行帧内预测。因此，由于对于帧内预测，不执行运动补偿，所以不需要运动数据。运动估计块91分别产生运动数据和运动场，其中，将分别包括运动矢量的运动数 据和运动场发送到解码器，从而可执行相应的逆预测，即使用变换系数和运动数据的重构。 应该注意，在前向预测中，可分别根据紧接的前一图像和多个在前的图像来计算运动矢量。 除此之外，还应该注意，在后向预测中，可使用紧接的相邻的将来图像，当然也可使用其它 的将来图像，来计算当前图像。图9所示的视频编码概念的缺点在于，其未提供简单的可缩放性的可能。如本领 域公知的，术语“可缩放性(scalability)，，表示编码器/解码器概念，其中，编码器提供缩 放的数据流。缩放的数据流包括基本缩放层以及一个或多个增强缩放层。基本缩放层包括 要编码的信号的表征，通常具有较低质量，但同时具有较低数据率。增强缩放层包含视频信 号的另一表征，其提供相对于基本缩放层有提高质量的表征，典型地伴随着基本缩放层的 视频信号表征。另一方面，当然，增强缩放层具有各自的比特需求，因此用于表示要编码的 信号的比特数随每个增强层而增加。
取决于设计和可能性，解码器仅对基本缩放层进行解码，以提供由解码信号表示 的图像的相当差质量的表征。然而，随着每次“增加”另一缩放层，解码器可逐步提高信号 的质量(在有损比特率的情况下)。取决于实现方式和编码器到解码器的传输通道，由于典型地基本缩放层的比特率 很低而有限的传输通道足够，所以传输至少一个基本缩放层。如果传输通道不再有更多的 带宽，则仅传输基本缩放层而不传输增强缩放层。结果，解码器可只产生图像信号的低质量 表征。与数据率太高而使得传输系统不太可能的未缩放情况相比，低质量表征是有利的。如 果传输通道运动传输一个或多个增强层，则编码器将向解码器传输一个或多个增强层，因 此可根据请求，逐步地提高输出视频信号的质量。关于视频序列的编码，可区分两种不同的缩放。一种缩放是时间缩放，因此未传输 视频序列的所有视频帧，而是为了减小数据率，例如，仅传输了每第二个帧、每第三个帧、每 第四个帧等。另一种缩放是SNR缩放(SNR=信噪比)，其中，基本缩放层和第一、第二、第 三、.· ·增强缩放层包括所有的时间信息，但是具有不同的质量。因此，基本缩放层具有低数 据率，但是具有低信噪比，其中，可通过每次增加一个增强缩放层来逐步地提高该信噪比。图9所示的编码器概念的问题在于，它是基于残留值仅由减法器84产生、然后被 处理的事实。在图9所示的通过使用块86、87、88、93、94和84而形成闭合回路的设置中， 基于预测算法来计算这些残留值，其中，量化参数进入闭合回路，即进入块86、87。如果现在 实现简单的SNR缩放，即例如首先用粗量化步来量化预测残留信号，然后通过使用增强层， 用细量化器步长来逐步量化预测残留信号，这将具有以下结果。由于逆量化和预测，特别 地，关于一方面使用原始图像且另一方面使用量化图像而进行的运动估计(块91)和运动 补偿(块92)，将在编码器和解码器中导致量化器步长的“发散”。这导致在解码器一侧产 生增强缩放层非常困难。此外，在解码器一侧处理增强缩放层变得不可能，至少是关于在标 准H. 264/AVC中定义的单元不可能。因此，原因是图9所示的视频编码器中的闭合回路包 含量化。在San Diego2003年12月2日到5日的第九届JVT会议介绍的Hsiko Schwarz， Detlev Marpe 和 Thomas Wiegand 的题为 “SNR-Scalable Extension of H. 264/AVC” 的标 准化文献JVT-I 032tl中，介绍了对H. 264/AVC的可缩放扩展，其中包括关于时间和信噪比 的可缩放性(具有相等或不同时间精度)。因此，引入了时间子带划分的提升表征，这允许 使用运动补偿预测的公知方法。在 J.-R. Ohm, "Complexity and delay analysis of MCTF interframe wavelet structures”，ISO/IECJTC 1/WG llDoc. M8520, July 2002 中描述了其中提升表征用于小 波分析和小波合成的基于小波的视频编码算法。在D. Taubman, "Successive refinement of video :fundamental issues, past efforts and new directions，，，Proc. of SPIE (VCIP，03)，vol. 5150，pp. 649-663，2003中可以找到与可缩放性有关的评述，然而，其 中需要显著的编码器结构改变。根据本发明，一方面实现了编码器/解码器的概念，另一方 面，可缩放的可能性可基于与标准一致的单元，尤其是对于运动补偿。在详细参考图3的编码器/解码器机构之前，首先，参考图4来分别描述编码 器一侧的基本提升方案和解码器一侧的逆提升方案。在W. Sweldens，“A custom design
6construction of biorthogonal wavelets", J. Appl. Comp. Harm. Anal. , vol. 3 (no. 2), pp.186-200,1996 禾口 I.Daubechies and W. Sweldens, "Factoring wavelet transforms into lifting Steps", J. Fourier Anal. Appl.，vol. 4 (no. 3)，pp. 247-269，1998 可找到与 提升方案和小波变换的组合的背景技术有关的详细解释。通常，提升方案包括三步，即多相 分解步骤、预测步骤和更新步骤。分解步骤包括将输入侧的数据流划分为下分支40a的相同第一拷贝以及上分支 40b的相同拷贝。此外，将上分支40b的相同拷贝延迟一时间级(广)，使得具有奇数索引k 的采样s2k+1与具有偶数索引s2k的采样分别经过各个抽取器和下采样器42a、42b。抽取器 42a和42b分别通过去除每第二个采样，来减少上和下分支40b、40a中的采样数。涉及预测步骤的第二区域II包括预测算子43和减法器44。表示更新步骤的第三 区域包括更新算子45和加法器46。在输出侧，存在两个归一化器47、48，用于归一化高通 信号hk (归一化器47)和归一化低通信号Ik (归一化器48)。具体地，多相分解导致给定信号s [k]的奇偶采样的划分。由于相关性结构典型地 示出了局部特性，所以奇偶多相分量高度相关。因此，在最后的步骤中，通过使用整数采样 来执行奇数采样的预测(P)。每个奇数采样S。dd[k] = s[2k+l]的相应预测算子(P)是相邻 偶数采样s_n[k] = s[2k]的线性组合，即P(^even ) W = Σ ^ven [众 + 小
I作为预测步骤的结果，奇数采样由它们各自的预测残留值替代h [k] = Sodd [k] -P (Seven) [k]。应该注意，预测步骤等效于执行两个通道的滤波器组的高通滤波，如在 I. Daubechies and W. Sweldens,"Factoring wavelet transforms into lifting steps，，， J. Fourier Anal. Appl. vol 4 (no. 3)，pp. 247-269，1998 中所示。在提升方案的第三步骤中，通过用预测残留值h[k]的线性组合来替代偶数采样 sCTm[k]，来执行低通滤波。各个更新算子U给出如下U(/ )[A:] =+ 。
I通过用以下值替代偶数采样l[k] = seven[k]+U (h) [k]给出的信号s[k]最终可由l[k]和h[k]表示，其中，每个信号具有二分之一采样 率。由于更新步骤和预测步骤都是完全可逆的，所以可将相应的变换解释为严格采样理想 重构滤波器组。实际上，可以看出，可由一个或多个预测步骤和一个或多个更新步骤的序列 来实现任意双正交族的小波滤波器。对于低通和高通分量的归一化，如已经解释的，给归一 化器47和48提供适当选择的缩放因子F1和Fh。图4在右手边示出了与合成滤波器组相对应的逆提升方案。该方案只包括以相反 顺序以及相反符号来应用预测和更新算子，之后通过使用奇偶多相分量来进行重构。具体 地，图4所示的右边的解码器也包括第一解码器区域I、第二解码器区域II以及第三解码器 区域III。第一解码器区域抵消更新算子45的效果。这通过向更新算子45提供由另一归 一化器50归一化的高通信号来实现。然后，与图4的加法器46相反地，将解码器侧的更新 算子45的输出信号提供给减法器52。相应地，处理预测器43的输出信号，然后将该输出信号提供给加法器53，而不是与编码器侧一样提供给减法器。现在，在每个分支中进行因 子2的信号上采样(块54a、54b)。然后，将上分支向将来移位一个采样，这等效于延迟下分 支，来在加法器55中执行上分支和下分支上的数据流的加法，以在合成滤波器组的输出处 获得重构的信号％。可分别由预测器43和更新算子45来实现多个小波。如果要实现所谓hair小波， 则预测算子和更新算子给出如下PHair(seven) [k] = s[2k]和^^(幻[幻埘幻，使得h[k] = s[2k+l]-s[2k]以及/[幻二对2众]+ |/7[幻=|(对2幻 + 对2众 + 1])分别与hair滤波器的非归一化高通和低通(分析)输出信号相对应。在5/3双正交样条小波的情况下，该小波的低通和高通分析滤波器分别具有5和 3个滤波器抽头，其中，相应的缩放函数是二阶B样条。在诸如JPEG200的静止图像的编码 器应用中，该小波用于时间子带编码器方案。在提升情况下，5/3变换的相应预测和更新算 子给出如下Ps {seven)[k] =+ s[2k + 2])以及[/5/3(/0[幻=^剛 + h[k - 1])图3示出了在编码器一侧和解码器一侧都具有示范性的四个滤波器级的编码器/ 解码器结构的方框图。从图3可见，编码器的第一滤波器级、第二滤波器级、第三滤波器级 和第四滤波器级是相同的。解码器的滤波器级也是相同的。在编码器一侧，每个滤波器级 包括后向预测Mi(l60以及前向预测Μη61作为中心单元。后向预测器60在原理上与图4的 预测器43相对应，而前向预测器61与图4的更新算子相对应。与图4相反，应该注意，图4涉及采样流，其中采样具有奇数索引2k+l，而另一采样 具有偶数索引2k。然而，如已经参考图1所解释的，图3中的注释涉及一组图像而不是一组 采样。如果图像分别具有多个采样和图像，则完全馈入该图像。然后，馈入下一图像等。因 此，不再有奇数和偶数采样，而只有奇数和偶数图像。根据本发明，将针对奇数和偶数采样 所描述的提升方案分别应用于每个都具有多个采样的奇数和偶数图像。现在，图4的逐个 采样预测器43变为后向运动补偿预测60，而逐个采样更新算子45变为逐个图像前向运动 补偿预测61。应该注意，针对两个相继的有关图像来计算运动滤波，运动滤波包括运动矢量且 表示块60和61的系数，并将其作为辅助信息从编码器发送到解码器。然而，本发明概念 的主要优点在于，结合图9所描述的且在标准H. 264/AVC中标准化的单元91、92可容易地 用于计算运动场Mitl和运动场Μη。因此，对于本发明概念，不需要使用新的预测器/更新算 子，而可将在针对功能和效率所检查的视频标准中提到的已有算法用于前向或后向的运动 补偿。具体地，图3所示的所用滤波器组的一般结构示出了在输入64处馈入的具有16 个图像组的视频信号的时间分解。该分解是视频信号的二元时间分解，其中，在图3所示的 实施例中，需要四极24 = 16个图像(表示组大小为16个图像)来实现最小时间分辨率的 表征，该表征即输出28a和输出28b处的信号。因此，如果将16个图像分组，则导致16个
8图像的延迟，这使图3所示的具有四级的概念对于交互式应用更加困难。因此，如果目的是 交互式应用，则优选地形成更小的图像组，例如四个或八个图像的组。然后，相应地减小延 迟，从而可能用于交互式应用。在不需要交互的情况下，例如用于存储等的情况下，可相应 地增加组中图像数目，即组大小，例如增加到32个、64个图像等。在这种方式下，使用基于hair运动补偿提升方案的交互式应用，该应用包括 H. 264/AVC中的后向运动补偿预测(Mitl)，并还包括更新步骤，更新步骤包括前向运动补偿 (Mil)。如H. 264/AVC所示的，预测步骤和更新步骤都使用运动补偿过程。此外，不仅使用运 动补偿，还使用由图9中的附图标记89所表示的解块滤波器89。第二滤波器级还包括下采样器66a、66b、减法器69、后向预测器67、前向预测器68 以及加法器70和另一处理装置，该另一处理装置用于在所述另一处理装置的输出处输出 第二级的第一和第二高通图像，并在加法器70的输出处输出第二级的第一和第二低通图 像。此外，图3的编码器包括第三级和第四级，其中，将16个图像的组馈入第四级输入 64。在也被称为HP4的第四级高通输出72处，输出用量化参数Q量化且相应处理的八个高 通图像。相应地，在第四滤波器级的低通输出73处，输出八个低通图像，这八个低通图像馈 入第三滤波器级的输入74。该级同样用于在也被称为HP3的高通输出75处产生四个高通 图像，并在低通输出76处产生四个低通图像，这四个低通图像馈入第二滤波器级的输入10 并被分解。特别地，应该注意，由滤波器级处理的图像组并不一定必须是来源于原始视频序 列的视频图像，而可以是由下一更高滤波器级在滤波器级的低通输出处输出的低通图像。此外，还应该注意，当简单地省略第四滤波器级并将图像组馈入输入74时，图3所 示针对16个图像的编码器概念可容易地减少为针对八个图像。以相同的方式，可通过添加 第五滤波器级、然后在第五滤波器级的高通输出处输出16个高通图像、并将第五滤波器级 的输出处的十六个低通图像馈入第四滤波器级的输入74，将图3所示的概念扩展为针对32 图像组。编码器一侧的树式概念同样适用于解码器一侧，但是不像编码器一侧一样从高级 到低级，而是在解码器一侧从低级到高级。因此，示意地被称为网络抽象层100的从传输介 质接收数据流，所接收的比特流首先经过另一逆处理装置的另一逆处理，在装置30a的输 出处获得第一级的第一高通图像的重构版本，并在图3的块30b的输出处获得第一级低通 图像的重构版本。然后，与图4的右半部相同，经由预测器61，首先将前向运动补偿预测反 转，然后从低通信号的重构版本中减去预测器61的输出信号(减法器101)。减法器101的输出信号馈入后向补偿预测器60，产生预测结果，在加法器102中 将预测结果与高通图像的重构版本相加。然后，通过使用上采样器104a、104b，使两个信号 (即下分支103a、上分支103b中的信号)变为双倍采样率，然后根据实现方式，使上分支的 信号延迟或“加速”。应该注意，仅通过插入与图像的采样数相对应的数目的零，由桥104a、 104b来执行上采样。以ζ—1示出的单元使上分支103b相对于下分支103a的图像延迟移动 使得两个第二级低通图像依次出现在相对于加法器106的输出侧。第一和第二第二级低通图像的重构版本然后馈入解码器一侧的第二级逆滤波器， 通过逆滤波器组的相同实现，再次与发送的第二级高通图像组合，在第二级的输出101处获得四个第三级低通图像序列。四个第三级低通图像然后在第三级的逆滤波器级中与发送 的第三级高通图像组合，在逆第三级滤波器的输出110处获得序列格式的八个第四级低通 图像。在逆第四级滤波器中，这八个第四级低通图像再次与经由输入HP4从传输介质100接 收的八个第四级高通图像组合，在逆第四级滤波器的输出112处获得16个图像的重构组。因此，在分析滤波器组的每一级中，将两个图像(原始图像或者表示低通信号并 在下一更高级中产生的图像)分解为低通信号和高通信号。低通信号可以当作输入图像的 共有特性的表征，而高通信号可当作输入图像之间的差异的表征。在合成滤波器组的相应 级中，通过使用低通信号和高通信号，再次重构两个输入图像。由于在合成步骤中执行分析步骤的逆运算，所以分析/合成滤波器组(当然没有 量化)确保了理想的重构。损耗仅发生在其它处理装置中的量化中，例如26a、26b、18。如果非常精精细地执 行量化，则可实现良好的信噪比。然而，如果非常粗略地执行量化，则实现相对差的信噪比， 但是具有低的比特率，即要求低。没有SNR可缩放性，利用图3所示的概念，已经实现了时间缩放控制。因此，使用 时间缩放控制120，其形成为在输入侧分别获得高通和低通输出以及其它处理装置(26a、 26b、18、…)的输出，以从这些部分数据流TPl、HPl、HP2、HP3、HP4中产生缩放的数据流， 该缩放的数据流具有基本缩放层的第一低通图像和第一高通图像。然后，第二高通图像的 处理版本容纳在第一增强缩放层中。第三级高通图像的处理版本会被容纳在第二增强缩放 层中，而第四级高通图像的处理版本会被引入第三增强缩放层。因此，仅根据基本缩放层， 解码器可产生具有较低时间质量的低级低通图像序列，即每个图像组的两个第一级低通图 像。随着每个增强缩放层的添加，可一直使每组的重构图像数目翻倍。解码器的功能典型 地由缩放控制来控制，缩放控制形成为检测在数据流中包含多少缩放层以及解码器在解码 期间要考虑多少缩放层。Heiko Schwarz,Detlev Marpe and Thomas Wiegand^ 2003 ^Ξ 12 ^ 8 HM 12 H 在Waikoloa Hawaii 的第十届 JVT会议中介绍的题为“SNR-Scalable Extension of H. 264/ AVC”的JVT文献JVT-J 035示出了图3和图4所示的时间分解方案的SNR可缩放扩展。具 体地，将时间缩放层划分为各个“SNR缩放子层”，其中，用第一粗量化器步长来量化某个时 间缩放层，来获得SNR基本层。然后，执行逆量化，并从原始信号中减去逆量化的结果信号， 获得差值信号，然后用细量化器步长对差值信号进行量化，获得第二缩放层。然而，用细量 化器步长对第二缩放层进行再次量化，从原始信号中减去再次量化后获得的信号，获得另 一差值信号，在用细量化器步长进行量化之后，该差值信号分别表示第二 SNR缩放层和SNR 增强层。因此，可以发现，基于运动步长时间滤波(MCTF)的上述可缩放性方案已经提供了 关于时间可缩放性以及SNR可缩放性的高度灵活性。但是还有一个问题，即多个缩放层的 总比特率仍然远大于在不能够缩放的情况下编码最高质量的图像时所实现的比特率。由于 不同缩放层的辅助信息，可缩放的编码器也许永远不能够获得未缩放情况下的比特率。然 而，具有多个缩放层的数据流的比特率应该尽可能地接近未缩放情况的比特率。此外，可缩放性概念应该对于所有可缩放性类型都提供高度灵活性，这意味着关 于时间和空间的高度灵活性以及关于SNR的高度灵活性。
在具有低分辨率的图像已足够但是希望更高时间分辨率的情况下，高灵活性尤其 重要。例如，当图像中存在快速改变，例如在团体性运动的视频中，除了球之外，还有许多人 同时运动时，会产生这种情况。

发明内容
本发明的目的式提供一种灵活的编码/解码概念，尽管该概念是可缩放的概念， 它也可提供尽可能低的比特率。该目的由根据权利要求1的用于产生编码的视频序列的设备、根据权利要求15的 用于产生编码的视频序列的方法、根据权利要求16的用于对编码的视频序列进行解码的 设备、根据权利要求26的用于对编码的视频序列进行解码的方法、根据权利要求27的计算 机程序或者根据权利要求28的计算机可读介质来实现。本发明基于以下认识不仅利用在缩放层中执行的运动步长预测，可实现比特率 减小，在例如基本层的较低层到例如增强层的更高层的运动补偿预测之后，通过执行残留 图像的中间缩放层预测，可实现具有恒定图像质量的进一步的比特率减小。可以发现，在相同的时间缩放层中，在运动补偿预测之后，优选地关于分辨率或关 于信噪比而缩放的各个所考虑的其它缩放层的残留值在残留值之间也具有相关性。根据本 发明，通过在编码器一侧上提供用于增强缩放层的中间层预测器，与解码器一侧的中间层 组合器相对应，可有利地利用这些相关性。优选地，该中间层预测器自适应地设计用于针对 每个宏块，决定是否值得进行中间层预测，或者该预测是否会导致比特率增加。在预测残留 信号变得大于关于随后的熵编码器的增强层的原始运动补偿残留信号时，出现后一情况。 然而，在多数情况下不会发生这种情况，因此激活中间层预测器并产生显著的比特率降低。此外，在本发明的优选实施例中，还执行增强层的运动数据的预测。因此，还示出 了在例如关于SNR或分辨率的不同质量的缩放层中，不同缩放层中的运动场也彼此具有相 关性，通过提供运动数据预测器，可将该相关性有利地用于根据本发明的比特率降低。在实 现方式中，可以执行预测，其中，并不针对增强层来计算各个运动数据，而是在上采样之后， 发送基本层的运动数据。然而，这会导致增强层中的运动补偿信号大于针对增强层来计算 运动数据的情况。然而，当由于传输期间增强层所节约的运动数据而产生的节约大于由可 能更大的残留值引起的比特率增加时，该缺点没有影响。然而，在实现方式中，可针对增强层来计算各个运动场，其中，将基本层的运动场 并入计算或用作预测器，以便仅传输运动场的残留值。该实现方式具有以下优点完全使用 了两个缩放层的运动数据相关性，并且在运动数据预测之后，运动数据的残留值尽可能地 小。然而，该概念的缺点在于必须传输附加的运动数据残留值。此外，在本发明的优选实施例中，使用SNR可缩放性。这意味着在基本层中利用比 增强层更粗略的量化参数来执行量化。用粗量化器步长量化并再次重构的基本运动预测的 残留值从而用作中间层预测器的预测信号。在理想的SNR可缩放性的情况下，在编码器侧 计算所有缩放层的单个运动场就足够了。关于增强层的运动数据，这同样意味着不必传输 其它增强运动数据，而是来自基本层的增强运动数据可完全用在编码器一侧，用于增强层 的逆运动补偿。然而，当使用引入了量化参数的运动数据的计算时，不同的量化参数导致不 同的运动场。
如果使用空间可缩放性，这意味着基本缩放层具有比增强缩放层更粗略的空间分 辨率，优选地对基本运动预测的残留值进行插值，这意味着从增强缩放层的较低分辨率进 行转换，然后将其提供给中间层预测器。此外，优选地针对每个缩放层执行运动信息的各个计算。然而，在本发明的优选实 施例中，运动数据预测用于数据率降低，数据率降低可包括完整地传输较低缩放层的运动 数据(在缩放之后)，或使用较低缩放层的上采样运动矢量来预测更高缩放层的运动矢量， 然后仅传输比未预测运动数据需要更低数据率的运动数据残留值。在这种情况下，优选地 自适应地设计中间层预测器和增强运动数据预测器。在本发明的优选实施例中，使用组合的可缩放性，其中，基本缩放层和增强缩放层 的空间分辨率和表示所用量化器步长的所用量化参数均不同。在这种情况下，从由于拉格 朗日优化而产生的基本缩放层的先前量化参数开始，计算基本层的量化参数、基本层的运 动数据的失真和比特要求的组合。在运动步长预测之后获得的残留值和所用的基本运动数 据然后用于预测更高缩放层的各个数据，其中，同样从更高缩放层的细缩放参数开始，计算 运动数据、量化参数和失真、增强运动数据的比特要求的最佳组合。


现在参考附图来解释本发明的优选实施例，其中图Ia是本发明的编码器的优选实施例；图Ib是图Ia的基本图像编码器的细节表示；图Ic是中间层预测标志的功能的讨论；图Id是运动数据标志的描述；图Ie是图Ia的增强运动补偿器的优选实施方式；图If是图2的增强运动数据确定装置1078的优选实施方式；图Ig是用于计算增强运动数据和如果需要则为了信号通知和残留数据传输而进 行的增强运动数据处理的三个优选实施例的整体表示；图2是本发明解码器的优选实施例；图3是具有四极的解码器的方框图；图4是示出了时间子带滤波器组的提升分解的方框图；图5a是图4所示的提升方案的功能的表示；图5b是单向预测(hair小波)和双向预测(5/3变换)的两个优选提升规定的表 示；图5c是用于任意选择要由提升方案处理的两个图像的具有运动步长和参考标记 的预测和更新算子的优选实施例；图5d是可逐个宏块将原始图像信息插入高通图像的帧内模式的表示；图6a是用于信号通知宏块模式的示意表示；图6b是根据本发明优选实施例，用于以空间可缩放性来对运动数据进行上采样 的示意表示；图6c是运动矢量差的数据流语法的示意表示；图6d是根据本发明优选实施例的残留值语法增强的示意表示；
12
图7是例如8个图像的图像组的时间移位的整体视图；图8是16个图像的图像组的低通图像的优选时间设置；图9是根据针对宏块的标准H. 264/AVC，示出了编码器的基本编码器结构的整体 框图；图10是包括分别在当前语法单元C的左边和上边的两个相邻像素单元A和B的 环境设置；以及图11是图像分为片的划分的表示。
具体实施例方式图Ia示出了用于产生编码的视频序列的设备的优选实施例，该视频序列具有基 本缩放层和增强缩放层。具有8、16或任意数目图像的图像组的原始视频序列馈入输入 1000。在输出侧，编码的视频序列包含基本缩放层1002和增强缩放层1004。增强缩放层 1004和基本缩放层1002可提供给比特流复用器，该复用器在输出侧产生单个可缩放的比 特流。然而，取决于实施方式，两个缩放层的分离传输也是可以的，并且在一些情况下是有 用的。图Ia示出了用于产生基本缩放层和增强缩放层这两个缩放层的编码器。为了获得 编码器，如果需要，则产生一个或多个其它增强层，重复增强缩放层的功能，其中，总是由紧 接的更低的增强缩放层给更高增强缩放层提供数据，如图1所示，由基本缩放层1002给增 强缩放层1004提供数据。在详细参考诸如SNR可缩放性或空间可缩放性或者空间和SNR可缩放性的组合可 缩放性之类的不同缩放类型之前，首先来示出本发明的基本原理。首先，编码器包括基本运 动补偿器或基本运动估计器1006，用于计算基本运动数据，基本运动数据表示宏块在当前 图像中相对于基本运动补偿器1006在输入侧获得的图像组中另一图像怎样运动。已知用 于计算运动数据的技术，尤其是用于计算宏块的运动矢量的技术，宏块是数字视频图像中 的像素区域。优选地，如在视频编码标准H. 264/AVC标准化一样，使用运动补偿计算。因而， 考虑后一图像的宏块，并确定宏块相对于前一图像怎样“运动”。该运动(在xy方向)由二 维运动矢量表示，该矢量是由块1006针对每个宏块计算的，并经由运动数据线1008提供给 基本图像编码器1010。然后，针对下一图像来计算宏块怎样从前一图像运动到下一图像。在一种实施方式中，在某种程度上表示从第二到第三图像的运动的新的运动矢量 可再次作为二位矢量来传输。然而，为了效率的原因，优选地仅传输运动矢量差，运动矢量 差表示宏块从第二到第三图像的运动矢量与宏块从第一到第二图像的运动矢量之间的差。 可选地，还可使用并不是参考紧接的先前图像而是参考其它先前图像的运动矢量差。然后将块1006所计算的运动数据提供给基本运动预测器1012，基本运动预测器 1012设计用于使用运动数据和图像组来计算残差图像的基本序列。因此，基本运动预测器 执行运动补偿。在某种程度上，分别由运动补偿器和运动估计器进行运动补偿。然后将残 差图像的基本序列提供给基本图像编码器。基本图像编码器形成为在其输出处提供基本缩 放层1002。此外，本发明的编码器包括增强运动补偿器或增强运动估计器1014，用于检测增 强运动数据。将这些增强运动数据提供给增强运算预测器1016，增强运动预测器1016在输 出侧产生残差图像的增强序列，并将增强序列提供给下游的中间层预测器1018。因此，增强运动预测器执行运动补偿，在某种程度上，分别由运动补偿器和运动估计器来进行运动补 m
te ο中间层预测器形成为计算输出侧的增强预测残差图像。取决于实现方式，除了从 块1016获得的数据，即残差图像的增强序列之外，中间层预测器还使用经由点状的旁路线 1020由块1012提供的残差图像的基本序列。可选地，块1018还使用在块1012的输出处提 供并由插值器1022插值的残差图像的插值序列。此外，可选地，中间层预测器还可在基本 图像编码器1010的输出1024处提供残差图像的重构基本序列。从图Ia可见，该残差图像 的重构基本序列可以是插值1022的，或者未插值1020的。因此，通常，中间层预测器使用 残差图像的基本序列来工作，其中，例如，通过块1012的输出处的残差图像的基本序列的 重构或插值，来得到中间层预测器输入1026处的信息。在中间层预测器1018的下游是增强图像编码器1028，增强图像编码器1028形成 为对增强预测残差图像进行编码以获得编码的增强缩放层1004。在本发明的优选实施例中，中间层预测器形成为从中间层预测器1018从增强运 动预测器1016获得的各个信号中逐个宏块且逐个图像地减去在其输出1026处的信号。在 该减法中获得的结果信号表示增强预测残差图像的图像的宏块。在本发明的优选实施例中，自适应地形成中间层预测器。对于每个宏块，提供中间 层预测标志1030，该标志1030表示中间层预测器必须执行预测，或者在另一状态下表示不 必执行预测，但是要将增强运动预测器1016的输出处的相应宏块在没有预测的情况下提 供给增强图像编码器1028。该自适应的实现方式具有以下优点中间层预测仅在有用时才 执行，即在与未执行中间层预测、而直接对增强运动预测器1016的输出数据进行编码的情 况相比预测残留信号导致较低输出图像速率的情况下才执行中间层预测。在空间可缩放性的情况下，抽取器1032设置在增强缩放层和基本缩放层之间，形 成为将在其输入处的具有某种空间分辨率的视频序列转换为在其输出处的具有较低分辨 率的视频序列。如果想要完全的SNR可缩放性，则意味着如果两个缩放层的基本图像编码 器1010和1028分别利用不同的量化参数1034和1036进行操作，则不设置抽取器1032。 这在图Ia中通过旁路线1038示意地示出了。此外，在空间可缩放性的情况下，必须设置插值器1022。在完全的SNR可缩放性的 情况下，不设置插值器1022。而是，采用旁路线1020，如图Ia所示。在一个实施方式中，增强运动补偿器1014形成为完整地计算各个运动场，或者直 接或在上采样器1042的上采样之后，使用基本运动补偿器1006所计算的运动场(旁路线 1040)。在空间可缩放性的情况下，必须设置上采样器1042，将基本运动数据的运动矢量上 采样到更高的分辨率，即缩放。如果增加分辨率是基本分辨率的高和宽的两倍，则增强层中 的宏块(16X16亮度采样)覆盖与基本层中的子宏块(8X8亮度采样)相对应的图像区域。因此，为了能够使用增强缩放层的宏块的基本运动矢量，使基本运动矢量的χ分 量和y分量加倍，即以因子2进行缩放。这将参考图6b详细进行讨论。然而，如果只有SNR可缩放性，则对于所有缩放层而言运动场都是相同的。因此， 仅必须计算一次，并可在低缩放层计算之后，由每个更高缩放层直接使用。对于中间层预测，也可使用基本运动预测1012的输出处的信号。可选地，可使用 线1024上的重构信号。由开关1044来选择这两个信号中的哪一个用于预测。线1024上的信号与块1012的输出处的信号的不同之处在于，该信号已经经过了量化。这意味着线 1024上的信号与块1012的输出处的信号相比具有量化误差。对于中间层预测而选择性地 使用线1024上的信号在单独使用SNR可缩放性或结合空间可缩放性使用SNR可缩放性时 尤其有用，因为块1018处的输出信号包含由第一缩放层产生的量化误差，然后在输入1036 处由增强图像编码器以典型的细量化器步长和改变的量化参数2进行量化，然后写入增强 缩放层1004，所以由基本图像编码器1010所产生的量化误差将“伴随”到更高缩放层。与中间层预测标志1030类似地，将运动数据标志1048馈入图像编码器，因此与此 有关的相应信息包含在增强缩放层1004中，然后由解码器使用，下面将参考图2来进行讨 论。如果使用理想空间可缩放性，可使用基本运动预测器1012的输出信号，即残差图 像的基本序列，代替基本残差图像的重构序列。基于实现方式，可手动地或基于预测效益函数(prediction benefit function) 来进行该开关的控制。这里，应该注意，优选地，自适应地设计所有预测，即运动预测、增强运动数据预测 和中间层残留值预测。这意味着例如对于残差图像的基本序列的图像中的每个宏块或子宏 块，并不一定要有运动数据预测残留值。因此，尽管被称为“残差图像”，残差图像的基本序 列的图像还可分别包含未预测的宏块和子宏块。当图像中出现新的对象时会发生这种情 况。这里，由于预测残留信号变得大于图像中的原始信号，所以运动补偿预测无用。在这种 情况下，在块1016中的增强运动预测中，将停用针对该块(例如宏块或子宏块)的预测算 子和最终的更新算子。此外，为了清楚，提到了残差图像的基本序列，但是也许仅仅残差图像的基本序列 的单个残差图像具有单个实际上包括运动预测残留信号的块。然而，在典型的应用中，每个 残差图像实际上包含大量具有运动预测残留信号的块。在本发明中，这同样应用于残差图像的增强序列。因而，增强层的情况与基本层 的情况类似。因此，在本发明中，残差图像的增强序列是图像序列，其中，在极限情况下，仅 仅单个“残差图像”的单个块具有运动预测残留值，而在该图像的所有其它块以及所有其它 “残差图像”中，由于对于所有这些图像/块，已经停用了运动补偿预测、如果不必要的话还 有运动补偿更新，所以实际上不存在残留误差。根据本发明，这同样适用于计算增强预测残差图像的中间层预测器。典型地，增强 预测残差图像出现在序列中。然而，优选地，自适应地形成中间层预测器。例如，如果发现 从基本层到增强层的基本层的残留数据预测仅对于单个“残差图像”的单个块有用，而对于 该图像的所有其它块、甚至对于增强预测残差图像的序列的其它图像，停用中间层残留数 据预测，则在本发明上下文中，为了清楚，将该序列称为增强预测残差图像。在这点上，应该 注意，当在基本层中的残差图像的相应块中，已经计算了运动补偿残留值，并且对于与该块 相对应的块(例如在相同的χ、y位置)，在增强序列的残差图像中已经执行了运动补偿预 测时，中间层预测器可仅预测残留数据，因此，在该块中，由于运动补偿预测，在增强层中存 在残差。仅在所考虑的两个块中均存在实际的运动补偿预测残留值时，中间层预测器才优 选地变为活动的，来使用基本层的图像中的残差值的块作为增强层的图像中的残差值的块 的预测器，然后仅向增强图像编码器发送该预测的残留值，即，所考虑的图像的该块中的增
15强预测残差数据。下面，参考图Ib来分别讨论基本图像编码器100或增强图像编码器1028和任意 图像编码器的详细视图。在输入侧，图像编码器接收残差图像组并逐个宏块地将其提供给 变换器1050。然后在块1052中对变换的宏块进行缩放，并使用量化参数1034、1036、...来 量化。在块1052的输出处，输出所用的量化参数，即宏块的所用量化器步长以及宏块的 频谱值的量化指标。然后将该信息提供给图Ib中未示出的熵编码器级，熵编码器级包括 Huffman编码器或优选地包括运算编码器，其根据H. 264/AVC，利用已知的CABAC概念来工 作。还将装置1052的输出信号提供给块1054，块1054执行逆缩放和重新量化，以将量化指 标和量化参数再次转换为数字值，然后将数字值提供给块1056的逆变换，以获得重构的残 差图像组，现在，与原始的残差图像组相比，在变换块1050的输入处存在量化误差，量化误 差取决于量化参数和量化器步长。取决于开关1044的控制，将一个信号或另一个信号提供 给插值器1022或中间层预测器1018，以便执行本发明的残留值预测。图Ic示出了中间层预测器标志1030的简单实现方式。如果中间层预测标志置位， 则激活中间层预测器1018。然而，如果该标志未置位，则停用中间层预测器，从而针对该宏 块或从属于该宏块的子宏块来执行同时的操作。原因也许是预测的编码器增益实际上是编 码器损耗，这意味着在块1016的输出处的相应宏块的传输在随后的熵编码中提供了比使 用预测残留值更好的编码器增益。图Id示出了运动数据标志1048的简单实现方式。如果标志置位，则从基本层的上 采样运动数据中得到增强层的运动数据。在SNR可缩放性的情况下，不需要上采样器1042。 这里，当标志1048置位时，可直接从基本运动数据中得到增强层的运动数据。应该注意， 该运动数据“得到”可以是直接接收运动数据或实际预测，其中，块1014从块1014所计算 机的增强缩放层的相应运动矢量中减去从基本层获得的运动矢量，以便获得运动数据预测 值。经由图Ia所示的输出，将增强层的运动数据(如果未执行任何预测)或预测的残留值 (如果执行了实际的预测)提供给增强图像编码器1028，因此它们最终将包含在增强缩放 层比特流1004中。然而，如果执行从缩放了或未缩放的基本缩放层完全接收运动数据，则 不必将增强运动数据写入增强缩放层比特流1004。在增强缩放层比特流中用运动数据标志 1048来通知该事实就足够了。图2示出了用于对编码的视频序列进行解码的设备，该序列包括基本缩放层1002 和增强缩放层1004。增强缩放层1004和基本缩放层1002可来源于比特流解复用器，该解复 用器对具有相应的缩放层的可缩放比特流进行解复用，从共同的比特流中提取基本缩放层 1002和增强缩放层1004。将基本缩放层1002提供给基本图像解码器1060，基本图像解码 器1060形成为对基本缩放层进行解码，以获得解码的残差图像的基本序列和基本运动数 据，并将其提供给输出线1062。然后将线1062处的输出信号提供给基本运动组合器1064， 基本运动组合器1064抵消在块1012中的编码器中引入的基本运动预测器，在输出侧输出 解码的第一缩放层的图像。此外，本发明的解码器包括增强图像解码器1066，用于对增强缩 放层1004进行解码，以在输出线1068处获得增强预测残差图像。此外，输出线1068包括 运动数据信息，例如运动数据标志1070，如果实际上在增强缩放层1004中存在增强运动数 据或增强运动数据残留值，则还包括这些增强运算数据。现在，线1062上的解码的基本序 列由插值器1070进行插值，或者不变地(线1072)提供给中间层组合器1074，以便抵消由图Ia的中间层预测器1018所执行的中间层预测。因此，中间层组合器形成为组合增强预 测残差图像和插值了的(1070)或未插值的(1072)与线1062上的解码的基本序列有关的 信息，以获得残差图像的增强序列，最终将该序列提供给增强运动组合器1076，与基本运动 组合器1064相同，增强运动组合器1076抵消在增强层中执行的运动补偿。增强运动组合 器1076与运动数据确定装置1078相连，提供用于块1076中的运动组合的运动数据。运动 数据实际上可以是增强图像解码器在输出1068处提供的增强层的完整增强运动数据。可 选地，增强运动数据还可以是运动数据残留值。在两种情况下，经由增强运动数据线1080， 将相应数据提供给运动数据确定装置1078。然而，如果运动数据标志1070用信号通知对于 增强层未传输增强运动数据，则取决于直接的(1084)或由上采样器1086的上采样之后的 所用可缩放性，从基本层中获取所需运动数据。此外，在块内的中间层预测的情况下，即没有运动数据残留值的情况下，在解码器 一侧提供增强运动组合器1076与基本运动组合器1064之间的相应连接，取决于空间可缩 放性，该连接具有插值器1090，或在仅使用SNR可缩放性时，该连接具有旁路线。在两层之 间的可选块内预测的情况下，仅将预测残留信号发送到该宏块内的增强层，这由比特流中 的相应信号化信息表示。在这种情况下，除了下面所述的功能之外，增强运动组合器还执行 该宏块的累加，即执行宏块残留值与来自较低缩放层的宏块值之间的组合，并将所组合的 宏块提供给实际的逆运动补偿处理。下面，参考图3至5d，分别来解释基本运动预测器1012或增强运动预测器1016的 优选实施例，即增强运动组合器1076或基本运动补偿器1064。基本上，可使用任何运动补偿预测算法，这意味着也包括图9的92处所示的运动 补偿算法。因此，传统的运动补偿算法也遵从图1所示的系统，然而，其中，停用图4以附图 标记45所示的更新算子U。这导致将图像组分别转换为原始图像、和残留图像以及预测残 留信号或者基于其的残差信号。然而，如果在以已知运动补偿方案实现了如图4所示的更 新算子有效且被计算的增强，如图5a至5d所示，则正常的运动补偿预测计算变为所谓的 MCTF处理，该处理还被称为运动补偿时间滤波。这里，由于原始图像与由更新算子加权的预 测残留信号组合，所以传统运动补偿的正常图像和中间图像通过更新运算分别变为低通图 像。如已经参考图Ia和2所述的，在本发明的优选实施例中，针对每个缩放层来执行 MCTF处理，其中，优选地按照参考图3至5a以及7至8所述的方式来执行MCTF处理。下面，参考图4以及随后的图5a_5来描述运动补偿滤波器的优选地实施例。如已 经解释的，运动补偿时间滤波器(MCTF)由常见提升方案组成，该方案包括三步，即多相分 解、预测和更新。图4示出了相应的分析/合成滤波器组结构。在分析一侧，通过对预测残 留值使用预测算子P和高通信号H，将给定信号的奇数采样滤除偶数采样的线性组合。通过 使用更新算子，将预测残留值h的线性组合与输入信号s的偶数采样相加，来形成相应的低 通信号1。图5a示出了图4所示的变量h和1的等式关系以及算子P和U的基本实施例。由于可完全逆转预测步骤和更新步骤，所以可将相应的变换当作严格采样的理想 重构滤波器组。合成滤波器组包括预测算子和更新算子以与求和过程相反的符号、按照相 反的顺序的应用，其中，使用偶数和奇数多相分量。对于高通/低通分量的归一化，使用相 应的缩放因子F1和Fh。不一定要使用这些缩放因子，但是在编码期间选择了量化器步长时可使用这些缩放因子。f[x,k]示出了空间坐标χ = (x，y)T的视频信号，其中，k是时间坐标。如图5b的 左手边所示，给出了使用hair小波的提升表征的时间分解的预测算子P和更新算子U。对 于5/3变换，相应的算子如图5b的右手边所示。通过如图5c所示修改预测算子和更新算 子，获得对运动补偿时间滤波的增强。具体地，参见参考指标r>0，其允许一般的图像自适 应运动补偿滤波。通过这些参考指标，可确保在图4所示的场景中，不仅两个时间紧随的图 像被分解为高通图像和低通图像，而且可利用序列的第三图像，按照运动补偿的方式对第 一图像进行滤波。可选地，参考指标的适当选择使得可将序列的同一个图像用作运动矢量 的基准。这意味着参考指标允许在八个图像的序列中，所有运动矢量与序列的第四个图像 相关联，从而通过图4中的滤波方案，通过处理这八个图像，最终获得单个低通图像，并且 产生七个高通图像(增强图像)，并且在一个增强图像与每个运动矢量相关联的情况下，所 有运动矢量与原始序列的同一个图像相关联。因此，如果将序列的同一个图像用作对多个其它图像进行滤波的基准，则这导致 时间分辨率缩放并不遵循因子2，这对于某些应用是有利的。总是将同一个图像，即八个图 像的序列的第四个图像馈入图4的分析滤波器组的下分支。低通图像在每次滤波中都是相 同的，即最终产生图像序列的所希望的单个低通图像。当更新参数为零时，基本图像仅仅是 “通过”下分支。与之相比较，高通图像总是取决于原始序列的相应另一个图像和预测算子， 其中，在预测中使用与该输入图像相关联的运动矢量。因此，在这种情况下，最终获得的低 通图像与原始图像序列的某个图像相关联，并且每个高通图像与原始序列的图像相关联， 其中，原始图像与序列的所选基本图像(馈入图4的分析滤波器组的下分支的图像)的偏 差对应于序列(运动补偿)。当每个更新参数Mtll，Mn，M21和M31等于零时，这导致馈入第四 级的下分支73的图像仅仅是“通向”底部。以某种方式，将低通图像TPl “重复地”馈入滤 波器组，而由参考指标控制的其它图像一个接一个地引入图3的输入64。从上述等式可见，运动补偿滤波的预测和更新算子分别提供两个不同小波的不同 预测。当使用hair小波时，实现了单向运动补偿预测。然而，如果使用5/3样条小波，则两 个算子规定了双向运动补偿预测。由于与单向预测相比，双向补偿预测通常减少预测残留值的能量，但是增加运动 矢量速率，所以希望在单项和双向预测之间动态地切换，这意味着可根据基于图像的控制 信号，在hair小波的提升表征和5/3样条小波之间切换。针对时间滤波并不使用闭合反馈 回路的本发明概念可容易地逐个宏块地在两个小波之间切换，从而支持灵活性和数据流节 约，这可最优地以信号自适应方式执行。为了表示运动场或通常的预测数据场Mp和Mu，理想地，可使用H. 264/AVC中已有 的B片的语法。通过级联配对的图像分解级，获得二值树结构，其将2"个图像的组分为个残留 图像和单个低通(或中间)图像，如图7针对八个图像的组所示的。具体地，图7示出了在 第一级滤波器的输出22处的第一级高通图像HPl以及在第一级滤波器的输出24处的第一 级低通图像。图7还示出了从第二级获得的在第二级滤波器的输出16处的两个低通图像 TP2以及高通图像，作为第二级图像。第三级低通图像被提供给第三级滤波器的输出76，而 第三级高通图像以已处理的形式被提供给输出75。八个图像的组最初可包括八个视频图
18像，其中使用图3的解码器而不使用第四滤波器级。然而，如果八个图像的组是八个低通图 像的组，如在第四级滤波器的输出73处所用的，则可将本发明的MCTF分解分别用作基本运 动预测器、增强运动预测器，并用作基本运动组合器或增强运动组合器。因此，通常，在分解2n个图像的组中，传输(2n+1_2)个运动场描述、(2n_0残留图像 以及单个低通(或中间)图像。优选地，分别通过基本控制参数和增强控制参数来控制基本运动补偿器和增强运 动补偿器，来计算量化参数(1034或1036)和运动信息的最佳组合，该组合基于某一速率 是固定的。根据以下方法来执行计算以获得关于某一最大比特率的最佳比。因此，可以发 现，对于较低的比特率，即相对粗略的量化参数，运动矢量比采用相对精细的量化参数的更 高缩放层更加重要。因此，对于粗量化因而低比特率的情况，计算比更高缩放层少的运动数 据。因此，优选地，在更高缩放层中，变为子宏块模式来计算大量运动数据，以用于高比特率 的良好质量和最佳情况，而不是较低比特率，其中，运动数据关于残留数据的重要性比更高 缩放层的情况成比例地增加。这将在下面加以讨论。给定图像A和B，它们是原始图像或表示在先前的分析级中产生的低通信号的图 像。此外，提供亮度采样a[]和b□的相应阵列。如下逐个宏块地估计运动描述Mitl:对于图像B中所有可能的宏块和宏块i的子宏块划分，通过使拉格朗日函数
权利要求
一种用于对具有基本缩放层(1002)和增强缩放层(1004)的编码的视频序列进行解码的设备，包括基本图像解码器(1060)，用于对基本缩放层进行解码，以获得残差图像的解码基本序列和基本运动数据，所述基本运动数据表示当前图像中的宏块相对于图像组中另一图像怎样运动；增强图像解码器(1066)，用于对增强缩放层进行解码以获得增强层残差图像；中间层组合器(1074)，用于将残差图像的解码基本序列或残差图像的插值基本序列与增强层残差图像组合，以获得残差图像的增强序列；增强运动组合器(1076)，形成为通过使用残差图像的增强序列和增强层运动数据，来获得增强缩放层的图像序列，其中，基本缩放层(1002)的图像的分辨率比增强缩放层(1004)的图像的分辨率低，以及所述设备还具有残留值插值器(1070)，用于将残差图像的解码基本序列插值为更高的分辨率。
2.一种用于对具有基本缩放层(1002)和增强缩放层(1004)的编码的视频序列进行解 码的方法，包括步骤对基本缩放层进行解码(1060)，以获得残差图像的解码基本序列和基本运动数据，所 述基本运动数据表示当前图像中的宏块相对于图像组中另一图像怎样运动； 对增强缩放层进行解码(1066)以获得增强层残差图像；将残差图像的解码基本序列或残差图像的插值基本序列与增强层残差图像组合 (1074)，以获得残差图像的增强序列；通过使用残差图像的增强序列和增强层运动数据，执行增强运动组合(1076)，来获得 增强缩放层的图像序列，其中，基本缩放层(1002)的图像的分辨率比增强缩放层(1004)的图像的分辨率低，以及其中，所述方法还包括步骤将残差图像的解码基本序列插值(1070)为更高的分辨率。
全文摘要
视频编码器在基本层(1002)和增强层(1004)中执行运动补偿预测(1906、1012、1014、1016)，通过使用来自基本层的运动数据，确定增强层的运动数据，和/或通过使用来自基本层的残差图像的序列，在增强层的运动补偿预测之后，通过中间层预测器(1018)，预测残差图像的序列。在解码器一侧，中间层组合器用于抵消该中间层预测。因而与没有中间层预测但具有相同图像质量的可缩放方案相比，提高了数据率。
文档编号H04N7/36GK101959066SQ20101024553
公开日2011年1月26日 申请日期2005年9月21日 优先权日2004年10月15日
发明者德特勒夫·马尔佩, 托马斯·威甘德, 海科·施瓦茨 申请人:弗劳恩霍夫应用研究促进协会