图像数据压缩的制作方法

专利名称：图像数据压缩的制作方法
技术领域：
本发明涉及一种对图象信号进行编码以获得比特流的方法、设备和发射机。本发明还涉及自动译码。本发明还涉及接收机、比特流和存储媒体。
EP-0 514 663 A2公开了一种用于利用自适应量化器的运动视频编码的设备和方法。MPEG视频标准定义了压缩视频序列的分层结构。首先，视频画面序列被分成不相交的画面组(GOP)。每个GOP的压缩独立于其它GOP的压缩，以方便随机存取任一画面，并且还限制传输误差的传播。GOP中的每幅画面被分成宏块(MB)。对于彩色画面，一个MB是16×16亮度像素和两个8×8色度像素块的集合。在MPEG中，按亮度的水平和垂直分辨率的一半对两个色度分量进行抽样。这样，MB完全描述了画面的16×16颜色段。在MB中，16×16亮度像素还分成四个8×8像素的亮度块。由实际像素数据(帧内方式)或仅由差错数据(预测的)表示的MB形式的静态或动态画面数据被输入用于变换。此变换是适用每个MB的二维离散余弦变换(DCT)。在应用DCT后，结果系数经历一个进行量化级。采用量化级矩阵均匀对DCT变换系数进行量化。MPEG从可导出量化级的两个参考矩阵中指定一个矩阵。选择使用哪个矩阵取决于MB模式。虽然参考矩阵可在视频序列的开始由编码器定义，但以后它们会保持不变。然而，通过为参考矩阵指定比例因数，MPEG允许动态更改量化级矩阵。对于每个MB，可改变此比例因数。此比例因数的适应是在MB到MB的基础上执行的，并且是基于图像的复杂性和可用比率控制要求而变化的。
本发明的目的是提供进一步的压缩。为此，本发明提供独立权利要求中定义的方法、设备、发射机、代码转换器、接收机、比特流和存储媒体。从属权利要求中定义了有利的实施例。
在本发明的第一实施例中，提供变换系数块，并且给定块中较高频率变换系数比较低频率变换系数衰减得更多。本发明基于以下了解特别是对于获得低比特率，对较高频率变换系数进行衰减比对所有变换系数增加步长更为有利。因为每个预测编码的画面是从前面的画面进行预测的，因此，增加步长会在预测编码的画面中引起累积错误。这样，错误会在GOP上累积。所产生的编码非自然信号可视为在通常约为半秒的GOP时间间隔期间画面质量的“喘息效应”。本发明通过对较高频率系数的衰减来提供进一步的压缩。较低频率系数衰减较少或不衰减。最好是一些较低频率系数保持不受影响，以此减少累积错误。
为使衰减较高频率系数，本发明提供一种对较高频率变换系数有较高量化级的曲线。由于无曲线信息输入结果比特流中，因此通过只使用原量化比例因数进行重构。按照本发明的量化可视为附加量化，在重建中不会将其考虑在内。因此，重建的系数将具有比原系数更小的值。应该指出，所述曲线将量化级表示为系数号的函数(块中的位置)。曲线因而可取决于块中系数的扫描顺序。此外，曲线可视为加权矩阵，其中较高位(较高频率)系数比较低位(较低频率)系数衰减更大(更高的量化级)。
通过将曲线向较低或较高频率移动和/或对曲线进行乘法操作，可容易地调节比特率。
在有利的实施例中，其中多个块中的高频变换系数会被衰减，块依靠其内容自适应性衰减，以便防止出现非自然信号。例如，色度块的衰减比亮度块的衰减少，或者具有高能内容的块比其它块衰减少。在按照本发明的另一个有利实施例中，至少一个选定的高频变换系数不衰减，以便减少非自然信号。例如，这样的选定高频变换系数具有大于给定频率阈值的频率以及大于给定振幅阈值的振幅。
通过下述实施例，本发明的上述和其它方面将变得明显，并将参照下述实施例来阐明本发明的上述和其它方面。
附图中

图1示出了变换系数块；图2示出了使用较高步长对图像信号进行编码时作为时间函数的感觉画面质量的说明。
图3示出了按照本发明的最佳量化曲线；图4示出了按照本发明的发射机的实施例；图5示出了按照本发明的包括比特率代码转换器的接收机的实施例；以及图6示出了可以包含在图5的接收机中的另一个比特率代码转换器。
附图仅示出了理解本发明所需的那些元件。
图1示出了变换系数块。这些系数Ci是通过将数据块从空间域变换到频率域而获得的。在此示例中，画面按8×8像素的数据块来编码。变换结果为8×8变换系数块(因此i＝0...63)。水平空间频率在数据块中从左到右增加，垂直空间频率从顶部到底部增加。左上部系数C0表示DC系数。虽然可使用不同的变换，但最好是执行DCT变换。在图1中，使用“Z”字形扫描来获得变换系数Ci顺序。虽然可以使用另一种扫描，但“Z”字形扫描被广泛使用，例如用在MPEG中。
在MPEG中，通过按预定义量化矩阵中的加权以及量化比例因数来划分系数Ci而对系数Ci进行量化。量化比例因数按宏块来适应。量化矩阵中的加权被安排成使得以较低的精确度对较不重要的系数进行编码。
降低比特率的一种方法是使用较高量化比例因数。因使用较高量化比例因数而引入的错误影响画面质量。在预测编码方法中，象MPEG，在给定画面用于预测其它画面时，给定画面中的错误会影响另一画面。通常限制帧内编码画面降级。
用作预测值的图象中的错误会传递到被预测画面。错误会随所做预测的次数累积。错误累积会产生难以接受影响。在GOP起始和结束之间的预测质量的差别很大。所述影响在图2中说明。感觉的画面质量Ppq显示为时间t的函数。所述影响可称为“喘息效应(breathing)”，即Ppq在GOP期间降低，并在出现新的刷新I画面时突然增加。
根据本发明对较高频率系数Ci进行衰减会减少所述错误累积。在最佳实施例中，用附加量化步长QADD对系数进行量化。因为此附加量化级未放入结果比特流中，所以用量化比例因数与量化矩阵执行重建，而不将附加量化考虑在内。因此，重建的系数将具有比原系数Ci更小的值。结果是系数Ci被衰减了。为反应频率越高重要性越低，用可变量化级对DCT系数进行量化，这取决于其位置。图3示出曲线QC，说明附加量化步长QADD作为量化变换系数Ci的位置的函数。在此实施例中，较高频率变换系数Ci的量化级QADD逐渐增加。最低系数Ci未受影响，保持其输入比特流的值。这样做是为了保护眼睛易于感觉到的低频。在实际实施例中，8个系数始终保持不变。保持较低频率不变有利于防止错误累积。
去除DCT系数顺序中给定位置后的每个系数是可能的。然而，由于DCT的特性，这将造成较低频率的退化。实际上，DCT是一种滤波器组(bank filter)，它提取有关频率范围的值，即DCT系数。然而，滤波器组的不足在于频率范围彼此重叠。因此，对系数进行量化会对较低频率有一些影响。这样，去除给定位置后的全部系数不仅去除高频中包含的能量，而且也会去除较低频率中包含的一些能量，因为高频系数甚至也包含较低频率的能量。因而，对变换系数Ci进行衰减优于去除变换系数Ci。就去除较低频率的能量而论，平滑增加步长会有利。在实际实施例中，使用了对数函数。
可移动曲线QC，用于比特率控制。向左侧移动曲线QC，可降低比特率；向右侧移动，可增加比特率。最好是一些较低频率变换系数不要另外量化。如果较低频率保持不变，累积的错误就会较少。
曲线QC可乘以某个乘数，用于进一步的比特率控制。如果乘数大于一，更粗略地对系数进行量化，比特率就会进一步降低。可以组合执行移动和相乘，也可以单独执行。
可利用预测树来避免错误的传播。在预测序列的开始不应大量量化画面，最好应更多地量化预测序列中末尾的画面。这样，预测是从质量相当高的画面进行。在GOP中，一幅I(帧内编码)画面后面跟着P(预测编码)画面的，P画面通常比I画面量化得更多。此外，最后一幅P画面甚至可能量化得更多。由于每秒显示大约25幅画面，因此每幅画面仅显示0.04秒。在此很短的时段，人眼注意不到质量的下降。有可能压缩最后的P画面，从而造成使用极少的比特数。当前的P画面质量低，但由于观看者注意不到质量的下降且最后的P画面不用于预测另一画面，因此这并不是问题。此策略也可用于B(双向预测编码)画面，因为它们也在预测序列的末尾。通常，B画面比P画面量化得更多，但B画面不能象最后的P画面那样被粗略地量化，因为在GOP中有多幅B画面，而在GOP中质量重复下降会使人感觉到图像整体质量的降低。由于传递到其它画面的错误较少，因此该策略不会造成喘息效应。虽然可以更粗略地量化不止最后一幅P画面，但这并不更有利。
如上所述，可通过移动或相乘量化曲线来更加粗略地量化画面。
图4示出了按照本发明的发射机的实施例。发射机1包括用于获得信号S的装置，例如摄像机10。发射机还包括编码设备2。编码设备最好使用运动估计和运动补偿对图像信号进行编码，虽然对本发明来说这不是必须的。因此，设备2包括运动补偿器MC11和运动估计器ME 18。运动补偿器11向变换编码器12提供运动补偿差信号。此变换编码器12最好对运动补偿信号施行DCT变换。在变换后，变换的信号在量化器Q 13中被量化。这是先有技术中熟知的标准量化。为了进行运动估计，需要重建的画面。因此，设备2包括反量化器IQ 14和反变换编码器IDCT 15，分别执行Q 13和DCT12的反向操作。在连接到ME 18的反运动补偿器IMC 16中得到重建的画面。重建的画面存储在画面存储器MEM 17中。重建的画面被用于要被编码的下一幅画面中的运动估计。将Q 13中获得的量化运动补偿信号提供给按照本发明的附加量化器QADD19。QADD19按照图3所示的曲线对信号施行附加量化。此后在可变长度编码器VLE20中对信号进行编码来获得视频基本流(video elementary stream)V。在VLE 20得到的视频流V的比特率R并将其提供给CPU 21。CPU 21连接到QADD19，以便通过移动和/或相乘曲线来控制比特率。CPU 21还控制设备2的其它部件。QADD可被定义用于8×8像素块。Q 13中使用的量化比例因子按宏块来定义。
QADD最好位于编码回路MC 11...ME 18外。例如对于运动补偿，这意味着可获得的质量比从附加量化信号获得的质量更佳。在由于较好的运动估计而引起的运动补偿的情况下，这很重要，因为良好质量的重建画面意味着可获得更好的编码。运动估计越好，信号S压缩就越好。在复用器22中将视频流V与例如音频基本流(audioelementary stream)A的其它流进行复用来获得传输/程序流TS。
将比特流从原比特率R1编码到新比特率R2被称为比特率代码转换。例如，执行比特率代码转换来统一比特率不同的输入比特流。此外，假定应有足够的播放时间，则对于在数字存储媒体上的存储来说，用于广播的比特率通常太高。因此，经常有必要降低比特率。另外，需要低比特率用于长时间播放模式。本发明最好用于比特率代码转换器。这样的比特率代码转换器可以包含在数字录像机中。比特率代码转换的习惯是级联解码器与编码器。按照本发明，普通的解码器可与编码器级联，编码器对DCT块的高频变换系数进行衰减，例如图4所示的编码器2。
图5示出了接收机的实施例(例如，象D-VHS的数字录像机)。接收机3包括接收装置4和最佳比特率代码转换器5。输入传输/程序流TS1在诸如天线系统的接收装置4中被接收，此后在分用器50中被分用而得到视步基本流V1和音频基本流A1。传输流TS1可由图4所示的实施例发送。视频基本流V1通过可变长度解码器(VLD)51而获得变换系数Ci块。因为对音频基本流进行代码转换几乎不影响比特率，因此音频基本流A1会被旁路。在VLD 51后，将编码的视频流提供给按照本发明的量化器QADD52。在QADD52中，较高频率系数被衰减，如上所述。将附加量化的视频流提供给可变长度编码器(VLE)53来获得新的视步基本流V2。象在如图4中的那样，在VLE 53中得到比特率R2并将其提供给CPU 54来控制QADD52。在复用器55中，将新的视频流V2与分析音频流(parsed audiostream)A1复用而得到新的传输流TS2。新的传输流TS2具有比输入传输流TS1更低的比特率。新的传输流TS2可存储在存储媒体6上。存储媒体6可以是DVD、CD-ROM、(D-VHS)磁带等。
图6示出了另一个最佳比特率代码转换器7，它可以替换图5的接收机中的代码转换器5。代码转换器7得自于全解码器-编码器级联并基于编码器部分的简化。在全解码器-编码器中，编码器计算运动矢量。在编码器中，这些运动矢量仅用于构建比特流。在全解码器-编码器的编码器中由运动估计得到的运动矢量可能不同于原比特流中的运动矢量。或者，至少新的运动矢量涉及宏块，所述宏块的值接近于原矢量涉及的宏块的值。因此，从复杂性的角度来说，在代码转换器中再使用原运动矢量是一个重大的改进。在代码转换器7中，量化变换系数在反量化器70中被反量化而得到反量化变换系数。反量化变换系数在量化器72中被重新量化。在图6中，说明了用于补偿重新量化错误的反馈环路，所述从新量化错误是由于量化器72中新的更高量化步长而产生。这种额外的量化引入了额外的编码错误。为防止这些错误泄漏，对这些错误进行补偿。由于这些错误影响从当前图像预测的图像，因此通过在运动补偿器77中使用原运动矢量对这些错误施行运动补偿。在减法器71中，从下一个锚定帧(anchor frame)减去运动补偿的错误。因此，重构的图像将不受前面图像中产生的错误的影响。这避免了错误累积。为获得重新量化错误，反馈环路还包括反量化器73、减法器74和反DCT单元75。存储器76存储重新量化错误。在DCT单元78中对运动补偿的错误进行变换编码，以便向反量化的信号提供转换编码的运动补偿重新量化错误。如果运动补偿器77适合执行DCT域运动补偿，则可以省略IDCT单元75和DCT单元78。虽然图6所示QADD52在错误补偿回路73至78外，然而本领域的技术人员将明白，需要时，例如为了更好的错误补偿，QADD52也可置于所述回路之内。例如通过将QADD52的输出端连接到IQ 73的输入端而不是将QADD52的输入端连接到IQ 73的输入端，还可以QADD52置于错误补偿回路73至78内。
按照图6的比特率代码转换器的复杂性比全解码器-编码器的低。不过，所述复杂性较图5的比特率代码转换器5的要高。
由于本发明建议的算法的复杂性极低，它很适用，特别是需要象高清晰度(HD)比特流的高吞吐量的代码转换器。HD比特流可被重新量化到较低的比特率，而分辨率仍保持相同。本发明的最佳应用将HD流的比特率降低，用于在存储媒体上存储较低比特率HD流。另一最佳应用是标准清晰度(SD)中的长时间播放模式。
对于一些数据块，由对高频系数进行衰减而引起的非自然信号可能比其它块更多。因此，如果多个块中的块(例如，一组块或一幅或多幅画面)每一个均同样被衰减，则对于某些块，可能产生某些令人讨厌的非自然信号，非自然信号会累积。在本发明的另一实施例中，根据块内容，通过调整这些块的衰减曲线使非自然信号最少化。与引起较少非自然信号或不引起非自然信号的块相比，引起某些非自然信号的块没有那么强烈的衰减(或甚至不衰减)。因为通常只是具有某些特殊性质的块才会引起非自然信号，因而衰减较不强烈的块数量少。因此，较不强烈的压缩对整体压缩只有较小影响。下面给出最好比其它块衰减更低的块的示例。
首先，与亮度系数块相比较，色度系数块没有那么强烈的衰减。当存在具有不同颜色但具有类似亮度的移动对象时，这格外防止产生非自然信号。因为在大多数编码器中，仅对亮度执行运动估计/补偿，对具有类似亮度的移动对象会检测得厉害。有关这些移动对象的信息则主要存在于色度块中。因此，重要的是保留大多数色度信息。此外，因为与亮度信息相比，颜色信息量少，无衰减或仅微弱的衰减对整体压缩只有较小的影响。为了得到简单的实施例，可为色度抽样选择固定的衰减量(例如零)。
此外，具有高能量内容的块，如具有较高频率大振幅的块，衰减可以没有具有较低能量内容的块那么强烈。高能量内容经常表示弱的运动估计/补偿，产生高能量残余。重要的是不要很大程度地影响这些高能量残余，以便提供错误累积。
在本发明的另一实施例中，进一步降低了非自然信号，选定的系数不受衰减的影响，而是不受影响地传输，但其它系数受衰减曲线的影响。选定的系数包括具有频率与振幅分别高于某一频率阈值和某一振幅阈值的系数。对于所有频率，振幅阈值可以相同，但也可以随频率而定。
通常，如果发现高频具有高振幅，例如高于某一阈值，则可以对衰减曲线进行移动或乘法(小于1的因数)操作，以便减轻衰减强度，和/或可以选定某些不受衰减影响的系数。
应该指出，上述实施例是说明而不是限制本发明，并且在不脱离后附权利要求书范围的情况下，本领域的技术人员可设计许多替代的实施例。“画面”一词也指帧、场等。在权利要求书中，括号内的所有标号不应视为对权利要求书进行限制。“包括”一词不排除权利要求所列之外的其它元件或步骤。通过包括几个不同元件的硬件、并且通过合适编程的计算机，可以实现本发明。在列举几个装置的设备权利要求中，这些装置的其中几个可以包含在一个和同一项硬件中。某些措施在相互不同的从属权利要求中被叙述并不表示不能使用这些措施的组合获益。
总之，提供了一种方法和设备，其中对信号进行编码来获得比特流。提供量化变换系数的块。对应于较高频率的变换系数比对应于较低频率的系数衰减更多。为使衰减较高频率系数，本发明提供一种曲线QC，对于与较高频率相对应的变换系数Ci，具有较高量化步长QADD。因为有关附加量化步长QADD的信息不被输入结果比特流中，因此使用原量化级步长进行重建，而不将附加量化考虑在内。因此，重建的系数将具有比原系数Ci更小的值。通过将曲线QC向较低或较高频率移动和/或对曲线QC进行乘法操作，可容易地调节比特率。
权利要求
1.一种对信号(S)进行编码(2)以获得比特流(V，TS)的方法，所述方法包括以下步骤提供(12，13)量化变换系数(Ci)块；以及使所述给定块的较高频率变换系数(Ci)比较低频率变换系数衰减(19)大。
2.权利要求1的方法，其特征在于所述衰减步骤包括通过对较高频率变换系数(Ci)具有较高量化级(QADD)的曲线(QC)来对所述给定块的所述变换系数(Ci)进行量化(19)，而不将与所述曲线(QC)相关的信息放入所述比特流(V，TS)。
3.权利要求2的方法，其特征在于还包括以下步骤对所述曲线(QC)进行移动(19，21)来调节所述比特流(V，TS)的比特率(R)。
4.权利要求2的方法，其特征在于还包括以下步骤对所述曲线(QC)进行乘法操作(19，21)来调节所述比特流(V，TS)的比特率(R)。
5.权利要求2的方法，其特征在于所述信号(S)包括帧内编码和预测编码画面，所述方法包括以下步骤对预测序列末尾的预测编码画面比对所述预测序列开始的预测编码画面进行更粗略的量化(19，21)。
6.权利要求1的方法，其特征在于所述方法还包括以下步骤对所述量化变换系数(Ci)块进行解码(14，15)来获得重建画面，而不是对所述衰减(19)的高频变换系数(Ci)进行解码(14，15)。
7.权利要求1的方法，其特征在于所述方法还包括以下步骤对多个块中的高频变换系数(Ci)进行衰减(19)，其中所述块视其内容而自适应衰减。
8.权利要求7的方法，其特征在于色度块比亮度块衰减(19)少。
9.权利要求7的方法，其特征在于其能量内容高于其它块的块比所述其它块衰减(19)少。
10.权利要求1的方法，其特征在于至少一个选定的高频变换系数(Ci)不衰减(19)。
11.权利要求10的方法，其特征在于所述至少一个选定的高频变换系数(Ci)具有大于给定频率阈值的频率及大于给定振幅阈值的振幅。
12.一种用于对信号(S)进行编码来获得比特流(V，TS)的设备(2)，它包括用于提供量化变换系数(Ci)块的装置(12，13)；以及用于对给定块的高频变换系数(Ci)进行衰减的装置(19)。
13.一种发射机(1)，它包括用于获取信号(S)的装置(10)；以及权利要求12的、用于对所述信号(S)进行编码的设备(2)。
14.一种将编码信号(TS1，V1)进行代码转换(5)的方法，它包括以下步骤对所述编码信号(TS1，V1)进行解码(50，51)来获得量化变换系数(Ci)块；以及对给定块的高频变换系数(Ci)进行衰减(52)。
15.一种对编码信号(TS1，V1)进行代码转换的比特率代码转换器(5)，它包括用于对所述编码信号(TS1，V1)进行解码来获得量化变换系数(Ci)块的装置(50，51)；以及用于对给定块的高频变换系数(Ci)进行衰减(52)的装置。
16.权利要求15的比特率代码转换器(7)，其特征在于所述比特率代码转换器(7)还包括用于对所述量化变换系数进行重新量化来获得重新量化系数的装置(70，72)；以及用于补偿重新量化错误的反馈回路(73-78，71)；所述衰减(52)装置，它被安排用来对所述重新量化系数块中的高频系数进行衰减。
17.一种接收机(3)，它包括用于获取编码信号(TS1，V1)的装置(4，50)；以及权利要求15的、用于对所述编码信号(TS1，V1)进行代码转换的比特率代码转换器(5)。
18.一种包括量化变换系数(Ci)块的比特流(V，TS，V2，TS2)，其中给定块的高频变换系数(Ci)已被衰减。
19.一种存储媒体(6)，权利要求18的比特流(V，TS，V2，TS2)存储在所述存储媒体(6)上。
全文摘要
提供一种对信号进行编码来获得比特流的方法和设备。提供量化变换系数块。对应于较高频率的变换系数比对应于较低频率的系数衰减更多。为了衰减较高频率系数,本发明提供一种曲线(QC),其中对应于较高频率的变换系数C
文档编号H04N7/32GK1364384SQ01800489
公开日2002年8月14日 申请日期2001年1月5日 优先权日2000年1月12日
发明者R·B·M·克莱恩贡尼维克, M·霍尔, W·H·A·布鲁斯 申请人:皇家菲利浦电子有限公司