基于质量的图像压缩的制作方法

专利名称：基于质量的图像压缩的制作方法
背景技术：
一.发明领域本发明涉及图像压缩。本发明尤其涉及利用已编码的离散余弦变换系数数据的自适应分大小的块和子块的基于质量的图像信号压缩方案。
二.相关技术说明在诸如用于放映“影片”或“电影”的视频信号的发送和接收领域中，正在进行对于图像压缩技术的各种改进。许多当前的以及建议的视频系统利用数字编码技术。数字编码为通信链路提供抵抗诸如多径衰落和干扰或信号干扰的损害的健壮性，每种损害将严重降低图像质量。而且数字技术促进数字加密技术的使用，数字加密技术对于政府的以及许多新发展的商业广播应用是有用的或甚至是必需的。
高清晰度电视是受益于改进的图像压缩技术的领域。当最初被提出时，由于过多的带宽要求，高清晰度电视的空中传输(或即使有线或光纤传输)似乎是不实际的。已设计的无线或其它的传输系统一般不能方便地提供足够的带宽。然而，已经实现了可以使数字视频信号的压缩达到能使用合理的带宽传输的水平。这样的信号压缩水平，连同信号的数字传输，使视频系统能以较小的功率和较大的抗信道损害性进行传输，而占据较理想的有用带宽。
许多可用的压缩技术提供显著水平的压缩，但是导致视频信号的质量的降低。一般来说，传送经压缩的信息的技术要求以恒定比特速率传送经压缩的信息。
一种能够提供显著水平的压缩而保留所希望的视频信号质量的压缩技术利用编码离散余弦变换(DCT)系数数据的自适应分大小的块和子块。此技术将在这里称为块大小自适应离散余弦变换(ABSDCT)方法。此技术揭示于美国专利号5,021,891，名为“Adaptive Block Size Image Compression MethodAnd System”之中，并转让给本发明的受让人并在此引用作为参考。DCT技术还揭示于美国专利号5,107,345，名为“Adaptive Block Size ImageCompression Method And System”之中，并转让给本发明的受让人并在此引用作为参考。此外，与微分四叉树变换技术结合的ABSDCT技术的使用揭示于美国专利号5,452,104，名为“Adaptive Block Size Image Compression MethodAnd System”之中，并同样转让给本发明的受让人并在此引用作为参考。这些专利中揭示的系统使用称为“帧内”编码的方法，其中对图像数据的每个帧编码而不考虑其它任何帧的内容。使用ABSDCT技术，可达到的数据率可以从每秒15亿比特左右减少到每秒大约5千万比特而没有图像质量的可辨别的降低。
可以使用ABSDCT技术压缩黑白或彩色图像或表示图像的信号。彩色输入信号可以是YIQ格式，其中对于每个4x4的象素块，Y是亮度或亮度抽样，I和Q是色度或颜色抽样。还可以使用其它已知的诸如YUV、YCbCy或RGB的格式。由于眼睛对颜色的空间灵敏度低，大多数研究都显示了在水平和垂直方向1/4彩色分量的子采样是合理的。因此，可以以4个亮度分量和两个色度分量表示视频信号。
使用ABSDCT，一般将把视频信号分割成象素块进行处理。对于每一块，亮度和色度分量被传送到块数字复用器。例如，16x16(象素)块将被送到块数字复用器，该数字复用器在每个16x16块中安排或组织图像抽样以产生用于离散余弦变换(DCT)分析的数据块以及合成的子块。DCT运算符是一种将时间和空间抽样的信号变换到同一信号的频率表示的方法。通过变换到频率表示，由于可以把量化器设计成利用图像的频率分布特性，DCT技术已被证明是考虑到非常高水平的压缩。在较佳实施例中，将一个16x16 DCT应用于第1阶，将4个8x8 DCT应用于第2阶，将16个4x4 DCT应用于第3阶，以及将64个2x2 DCT应用于第4阶。
DCT运算降低了视频资源中内在的空间冗余度。在进行DCT以后，大部分视频信号能量就趋向于集中在一些DCT系数中。可以使用一种辅助变换，即微分四叉树变换(DQT)，来降低DCT系数中的冗余度。
对于16x16的块以及每个子块，分析DCT系数值以及DQT值(如果使用DQT)来确定编码块或子块所需的比特数。然后，就选择需要最少比特数的块或子块的组合来表示图像段。例如，可以选择两个8x8子块、6个4x4子块以及8个2x2子块来表示图像段。
然后在16x16块中，按次序排列经选择的块或子块的组合。然后DCT/DQT系数值将经受频率加权、量化以及编码(诸如可变长度编码)以为传输作准备。虽然，上述的ABSDCT技术执行地非常出色，但是计算密集。从而以紧凑的硬件实现该技术可能是困难的。
发明概述另一些使硬件实现更有效的技术提供了某些优点。一些系统利用离散余弦变换(DCT)系数数据的自适应分大小的块和子块。虽然部分基于DCT的系统利用质量作为压缩参数，但是与使用基于质量的尺度相反，其它部分数据都基于编码速率。这样的基于编码速率的参数的例子是基于对比度的块大小自适应图像压缩算法的量化步长选择。
本发明是利用离散余弦变换系数数据的自适应分大小的块和子块以及利用基于质量的量化比例因子的基于质量的图像压缩系统和方法。将象素数据块输入编码器。该编码器由块大小分配(BSA)元件组成，该元件将输入块进行分割以用于处理。该块大小分配基于输入块以及被进一步再分割的块的方差。总的来说，如果块和子块的平均值落入不同的预定范围，那么具有较大方差的区域就被再分割成较小块，并且具有较小方差的区域不再分割。这样，首先根据其平均值从其标称值上修改块的方差门限，然后将块的方差与一门限比较，并且如果该方差大于此门限，那么该块就再分割。
块大小分配被馈入变换元件，该变换元件将象素数据变换成频域数据。仅对通过块大小分配选择的块和子块进行变换。然后变换数据通过量化和串行化受到换算。变换数据的量化是基于图像质量尺度被量化的，诸如在对比度、系数计数、速率失真、块大小分配的密度和/或过去的比例因子方面进行调整的比例因子。还可以利用折线扫描使数据串行化以产生数据流。可以以可变长度编码器编码数据流为传输作准备。通过发送信道将已编码的数据发送到解码器，该解码器处重构象素数据为显示作准备。
提供基于质量的图像压缩系统是本发明的一个特点和优点。
通过以逐帧方式管理比特速率允许灵活的图像质量控制是本发明的另一特点和优点。
通过以逐块方式管理比特速率允许灵活的图像质量控制是本发明的另一特点和优点。
伴随着诸如突发运动的活动保持质量图像压缩和数据的比特速率控制是本发明的另一特点和优点。
使用信号噪声比参数以量化图像质量是本发明的另一特特点和优点。
利用在图像的对比度方面进行调整的量化比例因子是本发明的另一特点和优点。
利用在包括图像的DCT块的AC系数计数方面进行调整的量化比例因子是本发明的另一特点和优点。
利用在失真和帧间比特速率方面进行调整的量化比例因子是本发明的另一特点和优点。
利用在过去的量化比例因子方面进行调整的量化比例因子是本发明的另一特点和优点。
附图简述通过下面结合附图阐述的详细说明，本发明的特点和优点将变得更清楚，附图中相同的参考符号在各处均作相同标识并且其中

图1是基于质量的图像处理系统的编码器部分的方块图，该部分包括本发明的基于方差的块大小分配系统和方法；图2是基于质量的图像处理系统的解码器部分的方块图，该部分包括本发明的基于方差的块大小分配系统和方法；图3是说明基于方差的块大小分配中包含的处理步骤的流程图；图4a、4b和4c说明了示例性的块大小分配、相应的四叉树分解以及相应的PQR数据。
图5是说明量化比例因子对每象素率平均比特的关系的曲线图。
图6是基于DCT块的AC系数计数的量化比例因子的流程图。
图7a是基于速率失真的量化比例因子的流程图。
图7b是图7a中基于速率失真的量化比例因子的流程图的延续。
较佳实施例的详细说明为了便于数字信号的数字传输以及享受相应的好处，通常有必要使用某种信号压缩形式。为了达到最后得到图像中的高压缩，保持图像的高质量同样是重要的。此外，计算效率是在许多应用中都很重要的实现硬件紧凑所希望的。
本发明提供基于质量的图像压缩的系统或装置和方法，它在进行图像压缩中考虑到图像质量和计算效率。根据保持目标比特速率的目的控制真正可变速率系统的比特速率，就抑制了保持图像质量的目的。相反，本发明致力于基于质量的速率控制策略。基于质量的图像压缩系统可以在块级上或在帧级上。由于块级系统使用较多的附加比特用于特定块的标识，块级系统一般使用比帧级控制更多的每帧编码比特数。
在详细描述本发明的一个实施例之前，要认识到本发明不局限于下面描述中阐明的以及附图中说明的组件的构造和装配的详细应用。本发明能适用于其它实施例并能以各种方式实现。同样地，认识到在此使用的措词和术语是以描述为目的并且不应被视为是限制的。
本发明的图像压缩是基于离散余弦变换(DCT)技术，诸如揭示于共同待决的美国专利申请序列号09/436,085，1999年11月8日申请的“ContrastSensitive Variance Based Adaptive Block Size DCT Image Compression”中的技术，该专利申请转让给本发明的受让人并在此应用作为参考。要在数字域中处理的图像一般由分成NxN大小的无重叠块的阵列的象素数据组成。可以在每个块上进行二维DCT。由下述关系式定义二维DCTX(k,l)=α(k)β(l)N*MΣm=0N-1Σn=0N-1x(m,n)cos[(2m+1)πk2N]cos[(2n+1)πl2N],0≤k,l≤N-1]]>其中 x(m，n)是NxM块中的位置(m，n)上的象素，X(k，l)是相应的DCT系数。
由于象素值是非负的，DCT分量X(0，0)总是正的并且通常具有大部分能量。实际上，对于典型的图像，大部分变换能量都集中于分量X(0，0)周围。此能量压缩性质使DCT技术成为这样一种有吸引力的压缩方法。
该图像压缩技术利用对比度自适应编码以实现进一步缩减比特速率。已经观察到大多数自然图像由相对缓慢变化的平坦区域以及诸如对象边界和高对比度纹理的忙区域组成。对比度自适应编码方案通过向忙区域分配较多比特并且向较不忙区域分配较少比特来利用此因素。
如上述待决的专利申请序列号09/436,085中所述，对比度自适应编码还可用于降低遮挡效应。遮挡效应在图像的忙区域中较易察觉。然而，已经认识到当使用较小规模的DCT时会降低遮挡效应。当使用2x2 DCT时，虽然每帧比特数性能将遭受损失，但是遮挡效应变得实际上是不可见的。
此外，对比度自适应方法利用帧内编码(空间处理)而不是帧间编码(时空编码)。帧间编码除了较复杂的处理电路之外，从本质上要求多个帧缓冲器。在许多应用中，实际实现需要降低的复杂性。帧内编码还可用于能使时空编码方案受到破坏并拙劣地执行的情况下。例如，因为机械快门造成的积分时间较短，每秒24帧的影片能属于此类别。该短积分时间允许较高度的时间混叠。由于快速运动变得急动，帧间相关的假定就遭到破坏。当包含50Hz和60Hz电源频率时，帧内编码还更易于标准化。当前电视以50Hz或60Hz发送信号。帧内方案的使用，作为一种数字方法，能够适应50Hz和60Hz操作，或者甚至折衷帧速率与空间分辨率，适应每秒24帧影片。
为了图像处理的目的，DCT运算在分割成无重叠块的阵列的象素数据上进行。注意到虽然在此以NxN大小来讨论块大小，可以想像到可以使用各种块大小。例如可以利用NxM的块大小，其中N和M是整数并且M大于或小于N。另一重要方面是块可分成至少1级子块，诸如N/ixN/i，N/ixN/j，N/ixM/j等等，其中i和j是整数。而且，在此描述的示例性的块大小是带有DCT系数的相应块和子块的16x16象素块。进一步想像到可以使用各种其它的诸如两者皆偶或皆奇的整数，如9x9。
图1和图2说明了结合本发明的基于质量的压缩系统的图像处理系统100。该图像处理系统100由压缩接收到的视频信号的编码器104组成。经压缩的信号使用发送信道108进行发送，并且由解码器112接收。解码器112将接收到的信号解码成随后将被显示的图像采样。
一般来说，把图像分割成象素块用于处理。可以使用RGB到YC1C2变换器116将彩色信号从RGB空间变换到YC1C2空间，其中Y是亮度或亮度分量，C1和C2是色度或色彩分量。由于眼睛对颜色的空间灵敏度低，许多系统在水平和垂直方向1/4对C1和C2分量进行子采样。然而，子采样不是必需的。高分辨率图像，即被称为4∶4∶4格式，在一些诸如那些被称为覆盖“数字电影院”的应用中是非常有用的或必需的。两种可能的YC1C2表示是YIQ表示和YUV表示，两者在本领域中众所周知。使用被称为YCbCr的YUV表示的变体也是可能的。
在较佳实施例中，处理Y、Cb和Cr分量的每一个而不进行子采样。从而，象素的16x16块的每个分量的输入被馈入编码器104。以说明为目，说明了Y分量的编码器104。Cb和Cr分量用类似的编码器。编码器104由块大小分配元件120组成，该元件进行块大小分配以为视频压缩作准备。块大小分配元件120根据块中图像的感知特性确定16x16块的块分解。块大小分配根据16x16块中的活动性以四叉树方式将每个16x16的块再分割成较小的块。块大小分配元件120产生四叉树数据，被称为PQR数据，其长度可以是介于1至12比特之间。这样，如果块大小分配确定要分割16x16的块，就设置PQR数据的R比特并且继之以与4个被分割的8x8的块相当的Q数据的4个附加比特。如果块大小分配确定要分割任何8x8的块之一，那么就对每个被再分割的8x8块加入P数据的4个附加比特。
现在参考图3，给出了显示块大小分配元件120的详细操作的流程图。块的方差被用作再分割判决中的度量。在步骤202开始，读取16x16象素块。在步骤204，计算16x16块的方差v16。该方差计算如下 其中N＝16，并且xi，j是NxN块中第i行、第j列的象素。在步骤206，如果块的平均值介于两个预定值之间，首先修改方差门限T16以给出新的门限T’1 6，然后将该块方差与新门限T’16相比较。
如果该方差v16不大于门限T16，那么在步骤208，16x16块的起始地址就被写入临时存储器，并且将PQR数据的R比特设置成0以指出没有再分割该16x16块。然后该算法读取下一16x16象素块。如果方差v16大于门限T16，那么在步骤210，就将PQR数据的R比特设置成1以指示要将该16x16块再分割成4个8x8块。
如步骤212中所示，顺序地考虑4个8x8块(i＝1∶4)以便进一步再分割。对于每个8x8块，在步骤214计算方差v8i。在步骤216，如果块的平均值介于两个预定值之间，首先修改方差门限T8以给出新的门限T’8，然后将该块方差与该新门限相比较。
如果方差v8i不大于门限T8，那么在步骤218，该8x8块的起始地址就被写入临时存储器，并且将相应的Q比特Qi设置成0。然后处理下一8x8块。如果方差v8i大于门限T8，那么在步骤220，就将相应的Q比特Qi设置成1以指示要将该8x8块再分割成4个4x4块。
如步骤222中所示，顺序地考虑4个4x4块(ji＝1∶4)用于进一步再分割。对于每个4x4块，在步骤224计算方差v4ij。在步骤226，如果块的平均值介于两个预定值之间，首先修改方差门限T4以给出新的门限T’4，然后将该块方差与该新门限相比较。
如果方差v4ij不大于门限T4，那么在步骤228，该4x4块的起始地址就被写入临时存储器，并且将相应的P比特Pij设置成0。然后处理下一4x4块。如果方差v4ij大于门限T4，那么在步骤230，就将相应的P比特Pij设置成1以指示要将该4x4块再分割成4个2x2块。此外，将4个2x2块的地址写入临时存储器。
门限T16、T8和T4可以是预定常数。这被称为硬判决。作为备择，可以实现自适应或软判决。例如，软判决根据2Nx2N块的平均象素值改变方差门限，其中N可以是8、4或2。从而，可以把平均象素值的函数作为门限使用。
以说明为目的，考虑下述例子。假设对16x 16、8x8和4x4块Y分量的预定方差门限分别是50、1100和880。换句话说，T16＝50、T8＝1100以及T4＝880。假设平均值的范围是80和100。假定16x16块的计算方差是60。由于60大于T16，并且平均值90介于80和100之间，该16x16块就被再分割成4个8x8块。假定8x8块的计算方差是1180、935、980以及1210。由于8x8块中的两个块的方差超过T8，这两个块就被进一步再分割以产生全部8个4x4子块。最后，假定所述8个4x4块的方差是620、630、670、610、590、525、930以及690，以及相应的平均值是90、120、110、115。由于第1个4x4块的平均值属于范围(80，100)，其门限将降低到小于880的T’4＝200。这样，不但第7个4x4块，而且该4x4块都被再分割。图4a显示了最后所得的块大小分配。图4b显示了相应的四叉树分解。另外，图4c显示了由该块大小分配产生的PQR数据。
注意到使用类似的过程对色彩分量C1和C2分配块大小。可以水平地、垂直地或两者皆可地抽取色彩分量。
另外，注意到虽然以自顶向下的方法描述块大小分配，在该方法中首先计算最大的块(本例中的16x16块)，但是可以使用自底向上的方法作为替代。该自底向上的方法将首先计算最小的块(本例中的2x2块)。
重新参考图1，PQR数据连同所选择的块的地址被馈入DCT元件124。该DCT元件124使用所述PQR数据在所选择的块上进行适当大小的离散余弦变换。仅所选择的块需要经受DCT处理。
图像处理系统100可以随意地包含DCT元件128来降低DCT的DC系数间的冗余。在每个DCT块的左上角遇到一个DC系数。一般来说，DC系数比AC系数大。大小中的差异使得设计有效的可变长度编码器变得困难。因此，降低DC系数间的冗余是有利的。
DQT元件128在每次取2x2的DC系数上进行2-D DCT。以4x4块中的2x2块为起始，在4个DC系数上进行2-D DCT。该2x2 DCT被称为4个DC系数的微分四叉树变换或DQT。接着，连同8x8块中3个相邻的DC系数一起使用DQT的DC系数来计算下一级DQT。最后，使用16x16块中的4个8x8块的DC系数计算DQT。从而，在一个16x16块中相应于DCT和DQT，有一个真正的DC系数并且剩下的是AC系数。
变换系数(DCT和DQT)被馈入量化器量化。在较佳实施例中，使用频域加权掩码(FWM)以及量化比例因子量化DCT系数。FWM是与输入DCT系数的块相同维数的频率加权表。所述频率加权将不同的加权应用于不同的DCT系数。设计所述加权用于加重具有人类视觉或光学系统更为敏感的频率分量的输入采样，并且不加重具有视觉或光学系统较不敏感的频率分量的输入采样。还可以根据诸如视距等因素设计所述加权。
根据经验数据选择所述加权。在这里被引用作为参考的国际标准组织1994年的IS0/IEC JTC1 CD 10918，“Digital compression and encoding ofcontinuous-tone still images-part 1Requirments and guidelines”中揭示了一种设计8x8 DCT系数的加权掩码的方法。一般来说，设计两种FWM，一种用于亮度分量，另一种用于色度分量。通过抽选获得2x2、4x4块大小的FWM表，并且通过内插8x8块的表获得16x16块的FWM表。所述比例因子控制所量化的系数的质量和比特速率。
从而，根据下面的关系式量化每个DCT系数DCTq(i,j)=[8*DCT(i,j)fwm(i,j)*q±12]]]>其中DCT(i，j)是输入DCT系数，fwm(i，j)是频率加权掩码，q是比例因子并且DCTq(i，j)是所量化的系数。注意到根据DCT系数的符号，括号内的第一项被上舍入或下舍入。也使用合适的加权掩码量化DCT系数。然而，可以使用多种表或掩码并将之应用于Y、Cb以及Cr分量中的每一个。
然后用量化比例因子元件换算象素数据块和频率加权掩码。在较佳实施例中，相应于平均比特速率有32个比例因子。不同于其它诸如MPEG2的压缩方法，根据所处理的图像的质量而不是目标比特速率及缓冲器状态来控制平均比特速率。在较佳实施例中，由选择器130预选特定的量化比例元件。虽然应该注意到本发明不要求预选所述量化比例元件。
在一个基于块的实施例中，量化比例因子是基于对比度(132)。已经发现人类视觉系统对高对比度区域比低对比度区域更敏感。基于对比度的量化比例因子使用比特速率和量化比例因子间的预定关系。在实施例中，块大小分配功能根据对比度将MxN块分割成子块，以至在高对比度块中有较多子部分而在低对比度块中有较少子部分。本发明量化对比度作为方差的平方根与平均亮度的比。根据如下关系式给出的块大小分配具体选择量化比例因子Ri=R+12log2{σi2Πk=14(σk2)pk},1≤i≤4]]>其中Ri是第i种块的比特数，δi2是第i种块的方差，pi是从块大小分配功能中获得的第i种块的百分比。使用比特速率和量化比例因子间的预定关系确定量化比例因子。
图5说明了比特速率和量化比例因子间的关系。通过估计一组图像确定描述象素所必需的平均比特数来预定比特速率和量化比例因子间的关系。如该图所示，量化比例因子随每象素平均比特数减少而增大。从而，可以为相应的Ri值选则具体的比例因子Q。
在另一基于块的实施例中，根据DCT的系数计数(136)选择量化比例因子。一般地，系数计数系统和方法要求每块开销1比特。图6说明了量化器比例因子方法300。在块大小分配之后，选择包含NxN数据块的一部分数据(304)。在较佳实施例中，该部分数据包含16行16列象素数据的块。如图3中所描述，在该数据块上进行DCT(308)，并且进一步指定子块。确定每个数据块的门限(312)。可以在任何处理阶段确定该门限。在较佳实施例中，以经验预定所述门限。然后，由下面的关系式确定大小上超过预定门限的AC系数的数量(316) 其中T是门限，X(k，1)表示NxN块中位置(k，l)上的DCT系数，并且M是超过门限的DCT的NxN块中的AC系数的数量。然后根据超过门限T的AC系数的数量分配比例因子(320)。
在估计一部分数据中的第1数据块并分配比例因子以后，选择该部分中的下一NxN数据块(324)。递增比例因子(328)，并且进行另一DCT(332)。确定老的和新的DCT之间的均方误差(336)。递减所述比例因子(340)，并且进行另一DCT(344)。再次确定老的和新的DCT之间的均方误差(348)。比较两个均方误差，将与较低均方误差关联的量化器因子分配给数据块(352)。然后，为该部分数据中的每个数据块重复该循环(356)。在对该部分数据中的每个数据块分配了量化器之后，选择下一部分数据块并继续进行所述循环(360)。
另一个确定量化比例因子的基于块的实施例是基于速率失真的量化器比例器(134)，并且在图7中(400)加以说明。一般地，速率失真量化器以类似于系数计数量化器的方式工作，但是它根据所细查的比例因子的多少要求较多的开销比特。在块大小分配之后，选择包含NxN数据块的一部分数据(404)。在较佳实施例中，该部分数据包含16行16列象素数据块。如图3中所描述，在该数据块上进行DCT(408)，并且进一步指定子块。在任何处理阶段再次确定每个数据块的门限(412)。还确定平均失真D和每象素平均比特速率R(416)。然后，使用对于系数计数方法所描述的关系式，确定大小上超过预定门限(M)的AC系数的数量(420)。然后根据超过门限T的AC系数的数量分配比例因子(424)。
在估计一部分数据中的第1数据块并分配比例因子以后，选择该部分中的下一NxN数据块(428)。从前一块的比例因子上递增比例因子(432)，并且进行另一DCT(436)。确定老的和新的DCT之间的均方误差(440)。然后确定相应于与步骤440中的均方误差速率关联的量化比例因子的平均失真D和每象素平均比特速率R(444)。
然后从前一块的比例因子上递减比例因子(448)，并且进行另一DCT(452)。再次确定老的和新的DCT之间的均方误差(MSE)(456)。然后确定相应于与步骤456中的均方误差速率关联的量化比例因子的平均失真D和每象素平均比特速率R(460)。确定两个平均失真速率D之间以及两个每象素比特速率R之间的差异(464)。然后，通过采取下面的象素速率中的变化量与平均失真速率中的变化量之比来确定两个比例因子(468) 为当前块选择由最大绝对比值中获得的比例因子(472)。然后为该部分数据中的每个数据块重复该循环(476)。在对该部分数据中的每个数据块分配了量化器之后，选择下一部分数据块并继续进行所述循环(480)。
还可以按逐帧方式选择量化比例因子。然而，基于帧的速率控制一般比上述基于块的速率控制达到较低平均比特速率。此外，与以块间方式相反，由于比特变换以帧间方式发生，基于帧的速率控制要求较多地使用缓冲器。
在逐帧量化器实施例中，量化比例因子可以取决于各种块大小分配的密度(图1，方块144)。根据与图像的图像质量相关的度量确定图像的整个帧的量化比例因子。通过确定给定帧的16x16块的数量和8x8块的数量推断图像质量。也就是说，如果给定帧具有的8x8块比16x16块多，就认为该图像较复杂。因此，较复杂的图像一般要求较好的量化以保持质量。相反地，如果给定帧具有的16x16块比8x8块多，就认为该图像较不复杂。因此，可以使用较低的量化比例因子并仍然保持图像质量。从而，对每个帧执行块大小分配算法，并且所述比例因子基于下式L=n16n8,n8≠0]]>其中n16表示帧中的16x16块数，n8表示帧中8x8块数，并且L表示超过门限的比率。在较佳实施例中，根据经验预定所述门限。然后根据L的值以及给定帧的8x8块数选择比例因子。
作为备择，基于帧的量化比例因子可以基于前一帧的量化比例因子(148)。在该实施例中，使用前一帧的比例因子、相应于前一帧比例因子系数+1的比例因子和相应于前一帧比例因子系数-1的比例因子压缩当前帧。在当前帧的压缩期间，如以上逐帧视觉质量方法的讨论所述，从块大小分配信息确定实际比例因子。确定相应于最接近当前帧的实际比例因子的比例因子的经压缩的输出，并且连同其相应的比例因子一起使用。也就是 否则其中q(sn-1)表示前一帧比例因子的系数，q(sn-1+1)表示前一帧之上的一个候补比例因子，q(sn-1-1)表示前一帧之下的一个候补比例因子，以及qn表示当前帧的实际比例因子。
重新参考图1和图2，所述经量化的系数馈入折线扫描串化器152。串化器152以折线方式扫描经量化的系数块以产生经量化的系数的经串行化的流。还可以选择若干不同的折线扫描模式以及除了折线模式之外的模式。虽然可以使用其它大小，但是较佳的技术是对折线扫描使用8x8块大小。
注意到可以把折线扫描串化器152置于量化器132、136、140、144或148之前或之后。最终结果一般是相同的。
在任何情况下，所述经量化的系数流被馈入可变长度编码器156。该可变长度编码器156可以利用继之以哈夫曼编码的0的游程长度编码。在上述美国专利号5,021,891、5,107,345以及5,452,104中详述了此技术，并在这里加以概括。游程长度编码采用经量化的系数并且将0与非0系数相分离。所述0值被称为游程长度值，并且经哈夫曼编码。所述非0值分别经哈夫曼编码。
经修正的经量化的系数的哈夫曼编码也是可能的并且被使用于较佳实施例中。在此，在折线扫描之后，游程长度编码器将确定每个8x8块中的游程长度/大小对。然后这些游程长度/大小对经哈夫曼编码。
从经测量的或理论上的图像的统计信息设计哈夫曼编码。已经观察到大多数自然图像由平坦的或变化较缓的区域以及诸如对象边界和高对比度纹理的忙区域组成。哈夫曼编码和诸如DCT的频域变换通过向忙区域分配较多比特并且向平坦区域分配较少比特来利用这些特点。一般来说，哈夫曼编码利用查表对游程长度和非0值进行编码。按照需要，一般使用多个表，虽然可以使用1或2个表，本发明中较佳的是使用3个表。
使用缓冲器160暂时存储由编码器产生的经压缩的图像信号，然后使用发送信道108将信号传送到解码器112。包含块大小分配信息的PQR数据也被馈入解码器112。所述解码器112包括缓冲器164以及对游程长度值和非0值进行解码的可变长度解码器168。
可变长度解码器168的输出被馈入逆向折线扫描串化器172，该串化器根据所使用的扫描方案对所述系数排序。逆向折线扫描串化器172接收PQR数据以协助将系数适当排序成复合系数块。
使用选择器174将复合块馈入与使用于编码器104的量化器相应的反向量化器176、178、180、182或184，来解除因使用量化比例因子和频率加权掩码而形成的处理。
如果已经应用微分四叉树变换，那么所述系数块被馈入继之以IDCT元件186的IDQT元件186。否则，所述系数块被直接馈入IDCT元件190。所述IDQT元件186和IDCT元件190将所述系数反变换以产生象素数据块。然后必须对该象素数据块进行内插，并将之变换成RGB形式后加以存储，供将来显示。
因此，给出了用于图像压缩的根据象素方差进行块大小分配的系统和方法。基于方差的块大小分配提供了一些优点。由于在确定块大小之后进行离散余弦变换，实现了高效计算。仅需在所选择的块上进行计算密集的变换。此外，由于象素值的方差在数学上易于计算，所述块选择处理是高效的。基于方差的块大小分配的又一优点是它是基于感知的。象素方差是块中活动性的测量，并且给出了存在边缘、纹理等的表示。它有助于获取比诸如平均象素值等计量更详细资料。因此，本发明的基于方差的方案向带有较多边缘的区域分配较小的块，而向较平坦的区域分配较大的块。结果，在重构的图像中可以获得卓越的质量。
又一重要优点是考虑到控制图像质量中的较大精确性和明确性，相对于几种量化比例因子进行块大小分配而不管比特速率。通过考虑基于质量的量化比例因子，图像压缩处于真正可变的比特速率。这就使图像压缩系统可保留所有正好可见的门限之上的区域的详细资料。而且，不同于诸如运动图象专家组(MPEG)压缩技术，基于方差的图像压缩提供了图像质量的较少降低。这对于诸如数字电影领域中的应用是至关重要的。
由于数字视频的高需求，盗版是重大威胁。数字水印是阻止侵犯版权和税收损失的重要要求。由于在感知上重要的图像区域中打水印，基于方差的块大小分配是用于水印的自然候选方案。
给出上述较佳实施例的说明使本领域中的任何普通技术人员能够制作和使用本发明。对于那些本领域的普通技术人员，这些实施例的各种修正将显而易见，并且在此规定的一般原理可以适用于其它实施例而不使用创造能力。这样，本发明并不打算局限于在此所示的实施例，而是要符合在此揭示的原理和新颖特性的最宽泛的范围。
下述权利要求提出了本发明的其它特点和优点。
权利要求
1.一种压缩由象素数据组成的数字图像的方法，其特征在于该方法包括以下步骤读取象素数据块；产生块大小分配将象素块分成象素数据子块；把象素数据子块变换成相应的频域表示；将频域表示换算成数据流，其中换算行为基于与图像质量相关联的质量度量。
2.如权利要求1所述方法，其特征在于所述换算行为进一步包括向所述象素数据子块提供频率加权掩码的行为，使得所述频率加权掩码加重人类视觉系统较敏感的图像部分，并且不加重人类视觉系统较不敏感的图像部分。
3.如权利要求1所述方法，其特征在于所述换算行为进一步包括根据图像质量量化象素数据子块的行为。
4.如权利要求1所述方法，其特征在于所述质量度量是信号噪声比。
5.如权利要求1所述方法，其特征在于所述变换行为执行离散余弦变换。
6.如权利要求1所述方法，其特征在于所述变换行为执行继之以微分四叉树变换的离散余弦变换。
7.如权利要求5所述方法，其特征在于所述换算行为基于逐块方式。
8.如权利要求7所述方法，其特征在于所述换算行为基于象素数据子块的对比度。
9.如权利要求7所述方法，其特征在于所述换算行为基于大小上超过预定门限的子块中AC系数的数量。
10.如权利要求7所述方法，其特征在于所述换算行为基于子块的均方误差。
11.如权利要求5所述方法，其特征在于所述换算行为基于逐帧方式。
12.如权利要求11所述方法，其特征在于所述换算行为基于每帧的块大小分配的数量和大小。
13.如权利要求11所述方法，其特征在于所述换算行为基于前一帧的比例因子。
14.如权利要求1所述方法，其特征在于所述产生行为进一步包括以下行为确定所述象素数据块的象素值的方差；将所述方差与门限值比较；根据比较行为的结果判决6再分割所述块；如果所述判决为再分割所述块，那么就对每个子块重复确定、比较以及产生行为，直到满足预定准则为止；以及指定不再分割的各块或子块作为块大小分配。
15.如权利要求14所述方法，其特征在于所述判决行为要求如果方差大于门限就再分割块。
16.如权利要求15所述方法，其特征在于所述门限是预定的。
17.如权利要求15所述方法，其特征在于所述门限是正被估计的块或子块的象素平均值的函数。
18.如权利要求15所述方法，其特征在于所述门限为每个再分割级别改变。
19.如权利要求14所述方法，其特征在于所述用于不再重复确定、比较和判决等步骤的预定准则基于预选的最小象素数据块的大小。
20.如权利要求1所述方法，其特征在于所述将所述系数数据换算成数据流的行为进一步包括折线扫描所述系数数据。
21.如权利要求21所述方法，其特征在于使用8x8象素块大小进行所述折线扫描行为。
22.如权利要求1所述方法，其特征在于所述换算行为进一步包括将数据流编码成串行化的数据流以为发送作准备。
23.如权利要求22所述方法，其特征在于所述编码行为包括哈夫曼编码器。
24.如权利要求23所述方法，其特征在于所述哈夫曼编码器使用多个查表对游程长度和非0值进行编码。
25.如权利要求24所述方法，其特征在于有3个查表。
26.如权利要求1所述方法，其特征在于所述产生行为基于图像的感知特性。
27.一种基于质量的压缩象素数据的图像压缩系统，其特征在于该系统包括将象素块分割成象素数据子块的块大小分配装置；将象素数据子块变换成相应频域表示的变换装置；以及将频域表示换算成数据流的换算装置，其中所述换算装置基于与图像质量相关联的质量度量。
28.如权利要求27所述系统，其特征在于所述换算装置进一步包括所述象素数据子块的频率加权掩码装置，使得所述频率加权掩码加重人类视觉系统较敏感的图像部分，并且不加重人类视觉系统较不敏感的图像部分。
29.如权利要求27所述系统，其特征在于所述换算装置进一步包括根据图像质量量化所述象素数据子块的量化器。
30.如权利要求27所述的系统，其特征在于质量度量是信号噪声比。
31.如权利要求27所述的系统，其特征在于所述变换装置执行离散余弦变换。
32.如权利要求27所述的系统，其特征在于所述变换装置执行继之以微分四叉树变换的离散余弦变换。
33.如权利要求31所述的系统，其特征在于所述换算装置以逐块方式换算数据。
34.如权利要求33所述的系统，其特征在于所述换算装置基于象素数据子块的对比度。
35.如权利要求33所述的系统，其特征在于所述换算装置基于大小上超过预定门限的子块中AC系数的数量。
36.如权利要求33所述的系统，其特征在于所述换算装置基于子块的均方误差。
37.如权利要求31所述的系统，其特征在于所述换算装置基于逐帧方式。
38.如权利要求37所述的系统，其特征在于所述换算装置基于每帧的块大小分配的数量和大小。
39.如权利要求37所述的系统，其特征在于所述换算装置基于前一帧的比例因子。
40.如权利要求27所述的系统，其特征在于所述块大小分配装置确定所述象素数据块的象素值的方差；将所述方差与门限值比较；根据比较行为的结果判决再分割所述块，其中如果所述判决为要再分割所述块，那么就对每个子块进行重复确定方差、与门限值比较以及判决再分割，直到满足预定准则为止；指定不再分割的各块或子块作为块大小分配。
41.如权利要求40所述系统，其特征在于所述判决再分割要求如果方差大于门限就再分割块。
42.如权利要求41所述系统，其特征在于所述门限是预定的。
43.如权利要求41所述系统，其特征在于所述门限是正被估计的块或子块的象素平均值的函数。
44.如权利要求41所述系统，其特征在于所述门限为每个再分割级别改变。
45.如权利要求40所述的系统，其特征在于所述不再分割的预定准则基于预选的最小象素数据块的大小。
46.如权利要求27所述的系统，其特征在于所述换算进一步包括折线扫描器。
47.如权利要求46所述的系统，其特征在于所述折线扫描器为所述折线扫描器使用8x8象素块大小。
48.如权利要求47所述的系统，其特征在于所述换算装置进一步包括将数据流编码成串行化的数据流以为发送作准备的编码器。
49.如权利要求48所述的系统，其特征在于所述编码器是哈夫曼编码器。
50.如权利要求49所述的系统，其特征在于所述哈夫曼编码器使用多个查表对游程长度和非0值进行编码。
51.如权利要求50所述的系统，其特征在于有3个查表。
52.如权利要求27所述的系统，其特征在于所述产生装置是基于图像的感知特性。
53.一种压缩由象素数据组成的数字图像的方法，其特征在于该方法包括以下步骤读取象素数据块；产生块大小分配将象素块分成象素数据子块；把象素数据子块变换成相应的频域表示；将频域表示换算成数据流，其中换算行为基于与图像质量相关联的质量度量；其中所述换算行为进一步包括向所述象素数据子块提供频率加权掩码的行为，使得所述频率加权掩码加重人类视觉系统较敏感的图像部分，并且不加重人类视觉系统较不敏感的图像部分；并且其中所述换算行为进一步包括根据图像质量量化象素数据子块的行为。
54.如权利要求53所述方法，其特征在于所述质量度量是信号噪声比。
55.如权利要求53所述方法，其特征在于所述变换行为执行离散余弦变换。
56.如权利要求53所述方法，其特征在于所述变换行为执行继之以微分四叉树变换的离散余弦变换。
57.如权利要求53所述方法，其特征在于所述换算行为基于逐块方式。
58.如权利要求57所述方法，其特征在于所述换算行为基于象素数据子块的对比度。
59.如权利要求57所述方法，其特征在于所述换算行为基于大小上超过预定门限的子块中AC系数的数量。
60.如权利要求57所述方法，其特征在于所述换算行为基于子块的均方误差。
61.如权利要求55所述方法，其特征在于所述换算行为基于逐帧方式。
62.如权利要求61所述方法，其特征在于所述换算行为基于每帧的块大小分配的数量和大小。
63.如权利要求61所述方法，其特征在于所述换算行为基于前一帧的比例因子。
64.一种基于质量的压缩象素数据的图像压缩系统，其特征在于该系统包括将象素块分割成象素数据子块的块大小分配装置；将象素数据子块变换成相应频域表示的变换装置；以及将频域表示换算成数据流的换算装置，其中所述换算装置基于与图像质量相关联的质量度量；其中所述换算装置进一步包括所述象素数据子块的频率加权掩码装置，使得所述频率加权掩码加重人类视觉系统较敏感的图像部分，并且不加重人类视觉系统较不敏感的图像部分；并且其中所述换算装置进一步包括根据图像质量量化所述象素数据子块的量化器。
64.如权利要求63所述的系统，其特征在于质量度量是信号噪声比。
65.如权利要求63所述的系统，其特征在于所述变换装置执行离散余弦变换。
66.如权利要求63所述的系统，其特征在于所述变换装置执行继之以微分四叉树变换的离散余弦变换。
67.如权利要求66所述的系统，其特征在于所述换算装置以逐块方式换算数据。
68.如权利要求66所述的系统，其特征在于所述换算装置基于象素数据子块的对比度。
69.如权利要求66所述的系统，其特征在于所述换算装置基于大小上超过预定门限的子块中AC系数的数量。
70.如权利要求66所述的系统，其特征在于所述换算装置基于子块的均方误差。
71.如权利要求66所述的系统，其特征在于所述换算装置基于逐帧方式。
72.如权利要求71所述的系统，其特征在于所述换算装置基于每帧的块大小分配的数量和大小。
全文摘要
对一种基于质量的图像压缩的系统和方法提出权利要求，其中利用离散余弦变换系数数据的自适应大小的块和子块和基于质量的量化比例因子(100)。编码元件(104)中的块大小分配元件(120)选择要被处理的输入象素数据块的块或子块。再分割方差大于门限的块，而不再分割方差小于门限的块。变换元件将所选择的象素值变换成频域(124)。以逐块方式或逐帧方式利用与图像质量相关的比例因子量化频域值(132、134、136、144、148)。然后串行化并编码(152)该数据为发送作准备。
文档编号H04N7/26GK1419787SQ01807347
公开日2003年5月21日 申请日期2001年1月26日 优先权日2000年1月28日
发明者K·S·蒂阿格拉坚, S·A·莫雷 申请人:高通股份有限公司