专利名称：空间可分级压缩的方法和设备的制作方法
技术领域：
本发明涉及一种视频编码器，特别涉及到使用有效的空间可分级压缩(spatial scalable compression)方案的视频编码器。
背景技术：
由于在数字视频中存在大量的数据，所以在高清晰电视的发展中，传输完整的动画、高清晰度的数字视频信号是一个重要的问题。更加特别地，每个数字图像帧是由象素阵列根据特定系统的显示器分辨率而构成的静态图像。因此包含在高分辨率的视频序列中的未经处理的数字信息量是非常大的。为了减少必须传送的数据量，使用压缩方案来压缩数据。已经建立了不同的视频压缩标准或者方法，包括MPEG-2，MPEG-4和H.263。
可以实现在一个数据流中获得不同的分辨率和/或者质量的视频的许多应用。实现这一目标的方法通常被称为可分级技术。可以在三个坐标轴上应用可分级性。第一个就是时间轴上的可分级性，通常被称为时间可分级性。第二个是质量轴上的可分级性，通常被称为信噪比的可分级性或者是细颗粒可分级性。第三个轴是分辨率轴(图像中象素的数目)，通常被称为空间可分级性或者分层编码。在分层编码中，比特流被分成两个或者更多的比特流或者层。可以结合每个层来构成单个的高质量的信号。例如，基本层可以提供一种较低质量的视频信号，而增强层提供可以增强基本层图像的附加信息。
特别地，空间可分级性可以在不同的视频标准或者解码器性能之间提供兼容。使用空间可分级性，基本层的视频可能具有和输入的视频序列相比较低的分辨率，在这种情况下，增强层承载可以使基本层的分辨率恢复到输入序列水平的信息。
多数的视频压缩标准支持空间可分级性。
图1显示了一种编码器100的框图，该编码器支持MPEG-2/MPEG-4空间可分级性。编码器100包含一个基本编码器112以及一个增强编码器114。基本编码器包含一个低通滤波器以及下采样器120，一个运动估计器122，一个运动补偿器124，正交变换(例如，离散余弦变换(DCT))电路130，一个量化器132，一个可变长度编码器134，一个比特率控制电路135，一个逆量化器138，一个逆变换电路140，开关128，144以及一个内插和上采样(upsample)电路150。增强编码器114包含一个运动估计器154，一个运动补偿器155，一个选择器156，一个正交变换(例如，离散余弦变换(DCT))电路158，一个量化器160，一个可变长度编码器162，一个比特率控制电路164，一个逆量化器166，一个逆变换电路168，开关170和172。在这一领域里，对于单个部件的操作是众所周知的，所以将不进行详细描述了。
不幸的是，这种分层编码方案的编码效率并不是特别好。实际上，对于给定的图像质量，一个序列的基本层和增强层的总比特率大于一次编码的同一序列的比特率。
图2显示了另一个已知的编码器200，它是由DemoGrafx提出的(见US5,852,565)。该编码器包含和编码器100基本上相同的部件，并且对于每个部件的操作都基本上相同，所以将不再描述单个部件。在这一配置中，在输入数据组和上采样器150的上采样输出之间的余差被输入到运动估计器154。为了引导/帮助增强编码器的运动估计，来自基本层的分级运动向量在运动估计器154中被使用，如图2中的虚线所示。但是，这样的配置没有明显地的克服图1所示的配置的问题。
尽管如图1和2所示的空间可分级性得到视频压缩标准的支持，但由于缺乏编码效率，所以并不经常使用可空间分级性。缺乏编码效率指的是对于给定的图像质量，一个序列的基本层和增强层比特率的总和将大于一次编码的相同序列的比特率。
发明概述本发明的一个目的就是通过提供更加有效的、减少编码器所需的比特率的空间可分级压缩方案来克服如上所述的已知的空间可分级性方案的至少一个缺点。
根据本发明的一个实施例，公开了为输入的视频流提供空间可分级压缩的方法和装置。该输入的视频流被下采样，以减少视频流的分辨率。被下采样的视频流被编码以产生一个基本流。基本流被解码，并且经过上变换产生一个重新建立的视频流。在输入的视频流和重建的视频流的各帧之间的期望运动被估计，并且根据放大的基本层和增强层为接收到的数据流的每个帧计算运动向量。从视频流中减去重建的视频流以产生余差流。在运动补偿单元中使用运动向量来计算一个预测流。然后从余差流中减去该预测流。得到的余差流被编码并作为增强的数据流输出。
根据本发明的另一个实施例，重建的视频流以及输入视频流被输入到在增强层上的运动估计单元以及运动补偿单元，因此，运动估计以及运动补偿在放大的基本层和增强层上被执行。
根据本发明的另一个实施例，重建的视频流以及输入视频流被输入到在增强层上的运动估计单元以及运动补偿单元，因此，运动估计以及运动补偿在放大的基本层和增强层上被执行。在执行了运动补偿之后，就从由运动补偿单元输出的预测信号中减去重建的视频流。本发明的实施例可以被应用到双层DVD或者两层广播中，其中第一层是SD层，并且第一层加上第二层组成HD层。
根据下文描述的实施方案将详细说明本发明的这些以及其他的方面。
附图简述现在将要参照附图，通过举实施例来描述本发明，其中图1为一个已知的具有空间可分级性的编码器的方框图；图2为一个已知的具有空间可分级性的编码器的方框图；图3为依照本发明的一个实施例的一个具有空间可分级性的编码器的方框图；图4显示了在放大之后的侧盘(side panels)；图5是依照本发明的另一个实施例的一个具有空间可分级性的编码器的方框图；以及图6是依照本发明的又一个实施例的具有空间可分级性的编码器的方框图。
发明详述图3是依照本发明的一个实施例的一个编码器的原理图。所描述的编码系统300实现了分层压缩，由此，使用信道的一部分来提供低分辨率的基本层，而信道剩下的部分被用来传送边缘(edge)增强信息，由此可以将两个信号重新结合起来以使系统得到高的分辨率。
编码器300包含一个基本编码器312以及一个增强编码器314。基本编码器包含一个低通滤波器以及下采样器320，一个运动估计器322，一个运动补偿器324，一个正交变换(例如离散余弦变换(DCT))电路330，一个量化器332，一个可变长度编码器(VLC)334，一个比特率控制电路335，一个逆量化器338，一个逆变换电路340，开关328、344以及内插和上采样电路350。
一个输入视频块316由分离器318分离，并且被发送到基本编码器312以及增强编码器314。在基本编码器312中，输入块被输入到低通滤波器和下采样器320。低通滤波器降低了视频块的分辨率，然后将该视频块输入到运动估计器322中。运动估计器322把每一帧图像数据作为I-图像，P-图像或者作为B-图像来处理。连续被输入的帧的每一个图像作为一个I-，P-或者B-图像以预设的方式(例如以I，B，P，B，P，……，B，P的顺序)被处理。就是说，运动估计器322参考一个预设的在一系列图像中的参考帧(所述一系列图像被存储在没有显示的帧存储器中)，并且检测宏块的运动向量，就是说，帧的16象素乘16行的小块通过宏块和参考帧之间的模式匹配(块匹配)被编码，以检测宏块的运动向量。
在MPEG中，有四种图像预测模式，就是内编码(帧内编码)，前向预测编码，后向预测编码，以及双向预测编码。一个I-图像就是一个内编码图像，一个P-图像就是一个内编码或者前向预测编码或者后向预测编码图像，以及一个B-图像是一个内编码、前向预测编码或者双向预测编码图像。
运动估计器322在P-图像上执行前向预测，来检测它的运动向量。额外地，运动估计器322对B-图像执行前向预测，后向预测以及双向预测来检测相应的运动向量。通过已知的方法，运动估计器322在帧存储器中寻找和当前输入象素块最为相似的象素块。在这一领域中已知不同的查找算法。它们通常是基于当前输入块的象素和那些候选块的象素之间的平均绝对差值(MAD)或者均方差(MSE)的计算。然后挑选出具有最小的MAD或者MSE的候选块作为运动补偿预测块。它相对于当前输入块的相对位置就是运动向量。
一旦从运动估计器322接收到预测模式并且接收到运动向量，运动补偿器324将会可以根据预测状态模式以及动作运动向量读出存储在帧存储器中的经过编码的和已经进行本地解码的图像数据，并可以将读出的数据作为预测图像输入到算术单元325和开关344中。算术单元325还将接收输入块，并计算输入块和来自运动补偿器324的预测图像之间的差。然后将差值输入到DCT电路330。
如果从运动估计器322仅仅接收到预测模式，就是说，如果预测模式是内编码模式，那么运动补偿器324不会输出一个预测图像。在这种情况下，算术单元325不会执行上述的过程，但代替地可以直接将输入块输出到DCT电路330。
DCT电路330执行来自算术单元33的输出信号的DCT处理，以获得供给量化器332的DCT系数。量化器332根据作为反馈接收到的在缓冲器(没有显示)中的数据存储数量来设定量化步长(量化级)，并且使用量化步长量化来自DCT电路330的DCT系数。经过量化的DCT系数和设定的量化步长一起被输入到VLC单元334中。
VLC单元334依照由量化器332提供的量化步长将由量化器332提供的量化系数变换成为一个可变长度的码字，例如一个霍夫曼码字。得到的经过变换的量化系数被输出到没有显示的一个缓冲器中。量化系数以及量化步长还被输入到逆量化器338，其依照量化步长来解量化量化系数，以便将相同的量化系数变换成为DCT系数。DCT系数被提供给逆DCT单元340，它对DCT系数执行逆DCT。然后得到的逆DCT系数被提供给算术单元348。
算术单元348从逆DCT单元340接收逆DCT系数，以及依赖于开关344的位置接收来自运动补偿器324的数据。为了本地解码原始的图像，算术单元348将来自逆DCT单元340的信号(预测余差)和来自运动补偿器324的预测图像求和。但是，如果预测模式指示的是内编码，逆DCT单元340的输出可以被直接输入到帧存储器中。由算术单元340得到的经过解码的图像被发送到帧存储器，并且被存储到帧存储器中，以便随后作为内编码图像、前向预测编码图像、后向预测编码图像或者双向预测编码图像的参考图像而被使用。
增强编码器314包含一个运动估计器354，一个运动补偿器356，一个DCT电路368，一个量化器370，一个VLC单元372，一个比特率控制器374，一个逆量化器376，一个逆DCT电路378，开关366和382，减法器358和364，以及加法器380和388。另外，增强编码器314还可以包括DC-偏置360和384，加法器362和减法器386。对很多这些部件的操作都与基本编码器312中的相似部件的操作相似，因此，将不进行详细的叙述。
算术单元340的输出也被提供给上采样器350，它通常从已解码的视频流中重建滤波输出分辨率，并且提供一个具有和高分辨率的输入基本上相同的分辨率的视频数据流。但是，由于滤波以及由压缩和解压缩产生的损耗，在重建的数据流中存在一些错误。这些错误在减法单元358中通过从原始的、没有经过修改的高分辨率数据流中减去重建的高分辨率数据流来确定。
根据图3所示的本发明的一个实施例，原始的没有经过修改的高分辨率数据流也被提供给运动估计器354。重建的高分辨率数据流也被提供给加法器388，它增加了来自逆DCT 378的输出(根据开关382的位置可能被运动补偿器356的输出修改)。加法器388的输出被提供给运动估计器354。因此，在放大的基本层和增强层上执行运动估计，以代替在原始高分辨率数据流和重建的高分辨率数据流之间的余差上执行运动估计。该运动估计生成运动向量，其记录了比由图1和2的已知的系统生成的运动向量更好的实际运动。这导致了感知上更好的图像质量，特别是对与专业应用相比具有较低的比特率的用户应用而言。
此外，DC-偏置操作以及紧接着的限幅操作可以被引入到增强编码器314中，其中DC-偏置值360由加法器362添加到由减法单元358输出的余差信号上。此可选的DC-偏置以及限幅操作允许使用现有的标准、例如MPEG，对于增强编码器来讲，象素值在预先确定的范围、例如0……255中。余差信号通常被集中到零附近。通过加上一个DC-偏置值360，样本的中心就可以偏移到该范围的中心，例如对于8比特的视频样本来讲就是128。这一加法的好处就是可以使用增强层所用的编码器的标准部件，以及导致成本有效(IP块的重复利用)的解决方法。在增强层的解码中，需要补偿该DC-偏置，例如通过从被解码的增强层中减去DC-偏置。
图1-3显示的方案的一个缺点就是它们不能很好地处理侧盘。当在基本层和增强层的水平分辨率和垂直分辨率之间的纵横比不相等的时候发生侧盘。为了说明这一点，将要描述一个标准清晰度/高清晰度空间可分级方案。在这一方案中，基本层是一个高清晰的序列，并且基本层加上增强层形成该序列的高清晰度版本。例如一个标准清晰度的图像的分辨率是720×480象素(NTSC)。一个高清晰度图像的分辨率是例如1920×1440象素(ATSC中的一种分辨率)。标准清晰度的图像被放大来适应HD图像，但是它们的纵横比却是不相同的。这导致如图4显示的侧盘。虚线框402表示的是标准清晰度的图像。经过放大的标准清晰度图像由点-划框404表示。为了保持纵横比，高清晰度图像的一部分没有被放大的标准清晰度图像所覆盖，如位于图400的两边的阴影框406所示。
图5是一个编码器的原理图，该编码器可以比前面在图1-3中所描述的编码器更好地侧盘处理。如图5所示，编码器500具有和图3所示的编码器300基本上相同的部件，除了对一些输入和输出进行了重新布线。在编码器300中，在整个图像上执行运动估计但对余差信号进行补偿。在该实施例中，插入放大的基本层的编码器500被加入到运动补偿循环中，以致运动估计以及运动补偿在整个图像上被执行。这导致更好的运动估计以及补偿，进而产生较少的侧盘的问题。因此可以获得更好的编码效率。如图5所示，可以在增强层中加入DC-偏置值，如上面对图3的描述。
图6是另一个编码器600的原理图，该编码器在增强层上对整个图像提供运动估计和补偿。在该实施例中，编码器600将放大的基本层插入到运动补偿循环中，使得运动估计以及运动补偿在放大的基本层和增强层上被执行。另外，放大的基本层被输入到第二运动补偿器604中。在减法器606中，从第一个运动补偿器602的输出中减去第二个运动补偿器604的输出，以便在运动补偿之后去除基本层。减去基本层导致对于典型的比特率来说更好的编码效率。此外，如在图6中所示，DC-偏置以及限幅值可以被插入到增强层中，如上面对图3的描述。
上面描述的本发明的实施例通过在增强层上在运动估计和/或者运动补偿中使用整个图像来降低增强层的比特率，从而提高了空间可分级压缩方案的效率。这特别改善了低比特率应用的编码效率，并且导致感观上更好的图像质量。需要理解本发明不同的实施例并不限于上述步骤的确切的顺序，因为可以交换一些步骤的时序而不影响本发明的整个操作。此外，术语“包含”并不排除其他的部件或者步骤，术语“一个”并不排除多个，并且一个单个处理器或者其他单元可以实现权利要求中所述的多个单元或者电路的功能。
权利要求
1.一种对输入视频流执行空间可分级压缩的设备，包括一个用于编码并以压缩的形式输出视频流的编码器，包含包含具有相对较低分辨率的编码比特流的基本层；包含具有相对较高分辨率的编码比特流的高分辨率的增强层；其中在高分辨率的增强层的运动估计器中使用由基本层和本地解码增强层输出的放大的重建的比特流，以及使用输入视频流，其中运动估计器根据放大的基本层和增强层生成运动向量。
2.一种编码输入视频流的分层编码器，包含用来减少视频流的分辨率的下采样单元；用来编码较低分辨率的基本流的基本编码器；用来解码并且提高基本流的分辨率的上变换单元，以产生重建的视频流；运动估计单元，它接收输入视频流以及重建的视频流，并且根据放大的基本层和增强层来计算接收到的数据流的每个帧的运动向量；第一减法单元，用来从输入视频流中减去重建的视频流以产生余差流；运动补偿单元，它从运动估计单元接收运动向量，并生成预测流；第二减法单元，用来从余差流中减去预测流；以及增强编码器，用来编码来自减法单元的结果数据流并且输出增强流。
3.如权利要求2的编码器，其中在增强层中，在运动检测器以及运动补偿单元之前提供来自基本层的重建的视频流以及输入视频流，并且在运动估计器以及运动补偿单元之后将它们减去，以使运动估计以及运动补偿在放大的基本层和增强层上被执行。
4.如权利要求3的编码器，进一步包含第三减法单元，用来在将预测流输入到第二减法单元之前，从预测流中减去重建的视频流。
5.如权利要求2的编码器，进一步包含DC-偏置单元，用来在将余差流输入到第二减法单元之前，在余差流中加入一个DC-偏置以及限幅值。
6.一种为输入视频流提供空间可分级压缩的方法，包含的步骤有下采样输入视频流，来降低视频流的分辨率；编码经下采样的视频流，来生成一个基本流；对基本流进行解码和上变换以生成重建的视频流；估计在输入视频流和重建的视频流的帧之间的预期的运动，并且根据一个放大的基本层和增强层为接收到的数据流的每个帧计算运动向量；从视频流中减去重建的视频流，来生成一个余差流；在运动补偿单元中使用运动向量来计算一个预测流；从余差流中减去预测流；以及编码得到的余差流，以及输出一个增强流。
7.如权利要求6的方法，其中从基本层得到的重建的视频流和输入视频流被输入到运动补偿单元，以便在放大的基本层和增强层上执行运动补偿。
8.如权利要求7的方法，进一步包含步骤在从余差流中减去预测流之前，从预测流中减去重建的视频流。
9.如权利要求6的方法，进一步包含步骤在从余差流中减去预测流之前，在余差流中加入一个DC-偏置值以及限幅值。
全文摘要
公开了一种通过降低增强层的比特率来增强空间分级压缩方案的效率的方法和设备。通过在增强层的运动估计单元中或者同时在运动估计单元和运动补偿单元中加入来自基本层的重建的视频流以及输入视频流，从而在增强层上的运动估计和/或者运动补偿的过程中使用完整的图像。
文档编号H04N7/46GK1575602SQ02821030
公开日2005年2月2日 申请日期2002年10月14日 优先权日2001年10月26日
发明者R·B·M·克莱恩冈内维克, W·H·A·布鲁斯 申请人:皇家飞利浦电子股份有限公司