专利名称：渐进图象编码的制作方法
技术领域：
本发明涉及图象和视频编码的方法与系统以及渐进图象传输的方法与系统。
背景和现有技术渐进图象传输(PIT，即Progressive image transmission)是图象传输方法的一个通用术语，在这种传输方法中，包含在图象中的信息是以这样一种方式来传输的，即随着传送信息的增加，在传输系统的接收端的图象的质量逐渐提高。
渐进图象传输是作为使用诸如公共交换电话网络这样的低容量传输信道的图象传输系统的一部分提出来的。PIT方案的使用能更快地给用户提供可解释的图象。这种传输方式对那些例如需要查看很多图象但其中只有一小部分才有实际意义的情况是很有意义的。这样，在传输过程中用户就可以随时决定拒绝一幅图象并通过在初始阶段拒绝不感兴趣的图象而节省时间。大型图象数据库(例如医学环境中使用的数据库)可得益于这种传输方案。
正因为如此，人们需要一种能用于渐进图象编码且适合于渐进图象编码特征的算法。一种可用于渐进图象编码的方法是联合图象专家组(JPEG)算法。这样，渐进图象传输可以通过频谱选择或逐渐逼近的方法来实现。这例如在“JPEG still image data compressionstandard”(JPEG静止图象数据压缩标准)，Van Nostrand Reinhold,New York,1993,或“The JPEG still picture compression standard”(JPEG静止画面压缩标准)，Communication of the ACM,Vol.34,No.4,April 1988,pp.121-132中均有叙述。
但是，将JPEG算法用于PIT有些不足之处。最大的不足是在传输的初始阶段图象的直观质量差，这主要是因为在高压缩比时块效应的出现。很显然这需要传送较多的信息才能使接收机能够判断出他/她是否对所传送的图象感兴趣。
最近，分割图象编码(SIC)或基于区域的编码(RBC)方法已经在渐进图象传输中应用。基于区域的编码是一种比较新的图象压缩技术，在这种方法中图象被分为强度缓变的区域。分隔不同区域的轮廓采用链码来表示，而在这种区域内的图象强度使用基函数的线性组合来近似地表示。轮廓和区域强度通过信道传送出去以便向接收机提供图象。
基于RBC的算法比在高压缩比时的JPEG算法能提供更好的直观质量。其理由是采用JPEG算法在高压缩比时块效应能够看见。但是在压缩比比较低的时候基于RBC的算法的直观质量不会超过JPEG算法。此外，RBC算法的计算复杂程度也要比JPEG算法高出很多，JPEG算法还具有在比较低的价格上实现商品化的优点。
目前大部分的RBC方法采用基函数的加权和来逼近区域内的灰度值，接着对得到的系数进行量化和编码。这种技术在下述文献中有介绍M.Gilge,“Region-oriented transform coding(ROTC)ofimages”(图象的面向区域的转换编码(ROTC)),Proc.of ICASSP 90,Albuquerque,New Mexico,April 1990,pp.2245-2248,以及M.Kunt,M.Benard,R.Leonardi,“Recent results in high-compression imagecoding”(高压缩图象编码的近况)，IEEE trans.Circuits and systems,Vol.34,November 1987,pp.1306-1336。
在最近基于RBC的方法中给定区域内的基函数是正交的。使用正交函数能够通过很少量的并且数值上平稳的计算独立地得到线性表达式的系数。参看例如W.Philips,C.A.Christopoulos,“Fast segmentedimage coding using weakly separable bases”(利用弱可分基数的快速分段图象编码)，Proc.of ICASSP 94,Adelaide,Australia,April,19-22,1994,Vol.V,pp.345-348。但是RBC算法需要很大的计算量和存储空间。这是因为正交基依赖于区域的形状和大小，这样对每一个区域必须计算新的各自的基函数。
此外，在低压缩比时RBC不能提供比JPEG更好的直观质量。因此在比较低的压缩比时，同其它压缩算法相比，基于RBC的算法失去了它的优势。
发明概要本发明的目的是为PIT提供一种能在传输的所有阶段提供高质量的图象的方法和传输系统。
本发明的另一个目的是提供一种结合RBC和基于块编码方案的静止和运动图象编码方法。
本发明的另一个目的是获得这样一种方法和传输或存储系统，它们利用分割图象编码的良好初始直观质量以及通过JPEG算法所能获得的低价格、高压缩比的特点来提供有效的渐进图象传输。
本发明更进一步的目的是提供这样一种方法和传输系统，它采用的RBC方案在同现有的RBC方案相比时减少了计算的复杂性以及对存储空间的要求。
这些目的和其它目的将通过结合RBC和连续色调压缩算法如JPEG和/或DCT(离散余弦变换)来实现。这样，对于PIT来说，在传输的第一阶段，即在使用高压缩比这样的阶段，采用能对图象提供良好直观质量的某种RBC算法。RBC方案由下列步骤组成(a)将图象分为多个区域；对轮廓图象(并且可能还有每个区域内的象素的均值)进行编码和传送；(b)计算一些(更多的)基函数(如果这些函数没有事先计算)；(c)计算相应的纹理(texture)系数；(d)量化、编码和传输各系数；(e)如果解码器需要额外的信息，那么回到阶段(b)，否则停止传输。
如果在传输的任何阶段由RBC方案得到的直观结果与用像JPEG这样的连续色调压缩算法得到的结果相比较时没有明显的优势时，那么将传送更多的信息，但这时采用连续色调压缩算法如JPEG算法(如果接收机要求较低压缩比的图象的话)来进行压缩。为了利用在使用RBC算法时已经传输了的信息，对每象素8比特的灰度图象在发射机中要进行下面的操作-1．通过取原始图象和在该阶段经过RBC重建后的图象的象素值的差来创建新图象。
-2．给所获得的差值图象的每个象素的值加上128。
-3．对获得的差值图象的所有象素值进行截尾或限幅到
的范围之内，即让每个小于0的值等于0，让每个大于255的值等于255。
-4．用连续色调压缩算法(例如JPEG算法)压缩得到的图象，压缩的比例要保证RBC压缩图象和JPEG压缩图象的传送比特数的总和等于或小于在只采用连续色调压缩算法进行压缩时为了得到具有所需图象的直观质量而需要传送的比特数。
当然也可以用JPEG或别的方法来压缩差值图象而不限制比特数一定要等于或小于使用连续色调压缩算法时所需比特数。编码差值图象的方法还可以是基于可变块尺寸的DCT，如Y.Itoh在“An edge-oriented progressive image coding”(面向边界的分级图象编码)，IEEE Trans.On Circuits and Systems for video technology,Vol.6,No.2,April 1996,pp.135-142中介绍的方法。
需要注意的还有如果所使用的连续色调压缩器可以处理差值操作后的象素值，则加128也是不必要的(并且在这种情况下该值也不需要限制在
的范围之内)。渐进图象传输方法也可以用于编码差值图象，并且它将优选地基于JPEG或基于DCT的方案。当然也可以使用其它适合于编码差值图象的编码方案。以下假设将用JPEG来编码差值图象帧，但并不排除用任何其它连续色调算法的可能性。
为了使接收机能够利用接收到的图象，接收机执行下列步骤-1．接收经过压缩的差值图象。
-2．利用连续色调的编码算法(例如JPEG)重建接收到的差值图象。
-3．从JPEG重建差值图象的每个象素值中减去128。
-4．将在步骤3中得到的图象加到RBC重建图象上去。
注意，如果在编码端没有加128，那么减128的操作就不需要。
为了在传输的第一个阶段得到比较好的直观质量，所使用的RBC算法可以修改为RBC-DCT(离散余弦变换)混合算法。这种混合RBC-DCT将经过分割的图象划分为矩形块。那些完全包含在被分割图象区域内的块将用DCT的基函数或其它预定义的基函数(比如离散富利叶变换(DFT)的基函数)进行编码以形成混合RBC-DFT方案。
各区域的剩余部分以及不能容纳于矩形内的其它区域将采用正交或标准正交基函数(比如特殊的弱可分离(WS)基函数或其它基函数(甚至非正交基函数))进行编码。由于接收机在进行块分割时不需要从发送端得到任何信息，所以不需要传输这些矩形区域的轮廓。
应该注意的是，可以对各区域的不能容纳于矩形中的剩余部分进行检查看它是否能被认为是某区域的一个部分或它是否需要被划分成各单独的子区域。在这种情况下每个子区域将用基函数或用其它对非矩形形状进行编码的方法进行编码。
举例来说可以将象素值进行量化和编码，或者采用一种位平面的编码方案。作为一个可选方法，基函数集可加以修正以适应于子区域的特性。举例来说，如果存在平滑部分，就可以采用多项式。如果发现了有纹理的区域，就可以采用余弦基函数。需要注意的是区域相对较大的情况，比如人的身体，则情况有如下述对象的剩余部分(即不能适配矩形的部分)可由不同的部分(子区域)组成，如头部，手部，腿部等等。在这种情况下可以识别这些子区域，并在这些区域可应用RBC编码(比如多项式表示)。
这样，在图象传输的第一阶段，当压缩比高时由于RBC算法在这个阶段具有提供比JPEG更高图象质量的能力，所以采用混合RBC-DCT方案。如果需要更多的信息，即接收机需要具有更高质量的图象，那么可用JPEG或其它连续色调压缩算法传送这部分的附加信息。
应该注意，在传输的第一阶段可以采用利用任意分割技术的任何RBC方案。如果在应用中提供的是预分割图象，那么就不需要分割。还需要注意切换方案也可能不需要，图象可以单独地使用RBC或混合RBC-DCT方案或渐进模式进行压缩。
图象也可以是彩色图象或每象素比特数也可以是别的数目，这时，可用类似的技术进行压缩。
附图简述现在将参考附图详细介绍本发明，其中-图l是使用基于RBC方案的静止图象传输系统的总体方框图。
-图2是使用组合RBC-JPEG方案的发射机方框图。
-图3是在图2的发射机中执行的逻辑步骤的流程图。
-图4是表示在编码差值图象时执行不同步骤的方框图。
-图5是RBC解压缩器中执行步骤的方框图。
-图6是解压缩差值图象时在解压缩器中执行的步骤的方框图。
-图7是表示用于发送彩色图象的发射机中的逻辑的流程图。
-图8是接收彩色图象时在接收机执行的步骤的流程图。
-图9是采用在RBC算法和连续色调算法之间进行切换的方案的传输原理图。
优选实施例描述在下面的例子中每象素8比特的灰度图象被用做原始图象，当然，也不排除彩色图象。在
图1中给出了使用渐进图象传输方案的传输系统的方框图。该传输系统由发送部分101和接收部分103构成。发送部分包括输入块105和PIT类型的压缩块107。经过PIT压缩的图象在传输信道上传输或送到存储器109，并且被由PIT解压缩器111和用于重建图象的输出113构成的接收部分103接收。
图2给出了PIT块107的处理块。首先使用RBC方案在由RBC压缩器构成的块201中对图象进行压缩。接下来，在块201中根据RBC算法编码后的图象被传送。所使用的RBC算法可以是适合于所传输的图象类型任何算法，这类算法在M.Gilge,“Region-orientedtransform coding(ROTC)of images”(图象的面向区域的转换编码(ROTC)),Proc.of ICASSP 90,A1buquerque,New Mexico,April1990,pp.2245-2248以及W.Philips,C。A.Christopoulos,“Fastsegmented image coding using weakly separable bases”(利用弱可分基函数的快速分区图象编码)，Proc.of ICASSP 94,Adelaide,Australia,April 19-22,1994,Vol.V,pp.345-348中有介绍。
传输第一阶段的传输方案还可以采用类似于在Sikora T.,andMakai B.,“Shape-adaptive DCT for generic coding of video”(视频类编码用的外形适配DCT),IEEE Trans.On Circuits andSystems for Video Technology,Vol.5,No.1,Feb.1995,pp59-62中所述方式来实现。
PIT将继续采用RBC压缩技术，直到接收机(用户)决定他/她不需要具有更高质量的图象、或者是在同样的压缩比条件下采用连续色调压缩器(如在这里的JPEG)之类更为简单的压缩技术就能给用户提供更好或同样的质量时才停止。判决可以根据信噪比(SNR)，均方误差(MSE)或别的准则来进行，并且可以在发射机处判决。
作为一种可选方案，如果发射机或接收机不需要，也可以不在基于RBC的压缩和连续色调压缩之间切换。举例来说，接收机可能对分割后图象的特定的某一或多个区域的细节感兴趣。在这种情况下就可对那/那些区域采用完全RBC或混合RBC-DCT方案。
因此除了JPEG外还可以使用其它编码方法对差值图象进行编码，如块变换编码(BTC)方法，矢量量化方法，小波方法，上述的形状自适应DCT方法等等，然后对8×8,16×16象素块或更大尺寸的块进行DCT。
如果出现上面的后一种情况，即在传输某个阶段的压缩比时JPEG压缩的图象(假设JPEG是所使用的连续色调压缩器)并不比RBC压缩的图象差，那么发射机在做进一步的PIT时将切换到使用JPEG。为了不丢失已经传送的使用RBC的图象中所包含的信息，在该阶段经过RBC压缩后的图象将在块203由解压缩器进行解压缩。
除了RBC方案，也可对某些区域采用不同编码方案的不同方法进行编码，即对不同的区域可以用不同的编码方法。举例来说，有些区域可以进行无损编码而别的区域进行有损编码。这可以由发送端或接收端作出决定。举例来说，当图象以渐进模式接收到时，就可能指定一个需要完美重建的区域。这样一个操作将向发送端发送指令信息，指示发射机完美地重建那个特殊的区域。
因此，在传输的最后阶段，对那个区域可以采用无损技术。或者是某些区域以渐进的或无渐进的模式进行传输或存储，以便使最后的重建是无损的。这在很多医学应用中是很有用的。
在块205原始图象要减去从解压缩得到的图象。接下来得到的图象将由连续色调压缩器器进行压缩，比如在这个例子中的JPEG压缩器。这是在块207进行的，下面将参考图4进一步介绍它的细节。
此外，渐进传输也可以通过提高象素精度来实现。举例来说，当渐进传输中有RBC系数，在开始时每个系数传送4比特最高位。在以后的阶段传送低位的比特。随后如果需要可以计算附加的系数。如果需要还可以切换到连续色调处理器。
在图3中给出了使用RBC-JPEG组合方案的发射机工作的流程图。这样，要传送的图象可以按如下步骤进行压缩。首先在块301获取到图象。接下来在块303对图象进行分割。分割图象的区域轮廓在轮廓编码块305进行编码并且将轮廓发送出去。所使用的算法可以是任何适当的分割算法。
此外，所使用的轮廓编码技术既可以是无损的也可以是有损的。注意发射机和接收机都要使用同样的轮廓信息。经过分割后的图象还要通过提供标签和二值图象的块306来提供给块307。在块307中区域的内部部分用多项式，或适当的基函数集甚至是象素值的简单量化来进行逼近。
在块306要产生二值轮廓图象和标签图象。标签图象是为图象的象素提供标识的图象，使得在分割图象的同一个区域中的所有象素具有相同的标识参考，比如说，在一个区域内的所有象素的标识是l，而另一个区域中的所有象素的标识为2等等。
用于产生多项式的基函数可以是任何基函数集。在下面的描述中将使用在W.Philips and C.A.Christopoulos,“Fast segmented imagecoding using weakly separable bases”(利用弱可分基函数的快速分区图象编码)，Proc.of ICASSP 94,Adelaide,Australia,April19-22,1994,Vol.V,pp.345-348中定义的弱可分离(WS)基函数。
RBC编码部分最好包括下列步骤(a)将图象分割为多个区域；对轮廓图象，以及可能的话，对每个区域中的均值进行编码和传输；(b)计算一些(更多的)基函数；(c)计算对应的纹理系数；(d)对系数进行量化，编码和传输；(e)如果解码器需要额外的信息，那么回到步骤(b)，否则停止传输。
随后将传送多项式的系数。块309将来自接收机的反馈信息提供给发射机。块311根据反馈信息决定是否继续传输。如果决定停止传输，那么发射机到达传输结束的块313。
另一方面，如果决定要继续传输，该方案到达块315。在块315要判断用RBC方案继续是否有优势或下一步的传输是否要用JPEG压缩算法或是其它的连续色调压缩算法来进行。
该判决的基础是两种不同方案在到达块315时在该传输阶段的压缩比条件下的性能，即在该压缩比时如果RBC压缩的图象优于JPEG图象，那么将判决为是，否则将判决为否。
在块315的判决是在预定义的准则基础上进行的，比如主观准则或如SNR或MSE这样的准则，并且方案每次到达块315都要计算该准则。如果在315的判决结果是是，即RBC在较低的压缩比时能提供更好的图象质量，那么方案到达块317，它决定要采用更高的多项式阶数。
作为另一种可选方案，如果所使用的准则不能每次都被计算，那么可用一个门限作为量化准则，它可以决定在传输过程中什么时间要在RBC和像本例中的JPEG之类的连续色调压缩之间进行切换。在两种不同方法之间进行切换的点还可以基于在发射机中所获得的经验，即向发射机提供这样的信息，该信息表明在某一压缩比时在不同方案间切换是有利的。
检测JPEG和RBC这两种方案在传输的某一阶段中哪一种的性能更优的另一途径是并行运行JPEG和RBC。当然从计算的角度来看这样可能不太有效，但是当压缩图象是用于存储目的并且压缩效率是最重要的情况下这种方法是有效的。
因此，可以使用下面这种更实用但是比最优稍差的技术在计算了固定数目的RBC系数后切换到JPEG。举例来说，在一个区域内要计算的系数的最大数目可能是该特定区域内点数的20％。实验表明这种次最优的方法是很好的折中。
此后方案回到块307，在307中图象区域将用多项式进行逼近，这时的多项式将比上次的多项式有更高的阶数。接下来将传送这些高阶的系数并且同以前一样，方案将到达块309。但是如果在块315判决结果是否，即判定在较低压缩比时RBC不能提供更好的质量，则方案到达块319。
在块319通过从原始图象对应的象素值中减去重建的经过解压缩的RBC图象的象素值可得到差值图象。接下来在块321对差值图象进行编码。对块321的编码方案将参考图4在下面做更详细的介绍。
图4给出了差值图象的编码方案。差值图象(即原始图象减去重建的RBC图象)在块401进入该方案。接下来差值图象被提供给做加法的块403。在这个加法块中差值图象的每个象素将被加上128。
接下来在块405中由块403得到的图象的象素值将被限制在原始图象的范围之内，在这种情况下范围是
。这可以通过让所有象素值中小于0的象素取值为0而让所有象素值中大于255的象素取值为255来得到。这样就得到了象素值在
范围之内的图象。
接下来在块407将采用8比特的连续色调压缩器以适当的压缩比对该图象进行压缩。压缩也可以以渐进的方式进行并且可以是无损的压缩算法。在后一种情况下可以实现无损的渐进图象压缩，这在象远程医疗这样的应用中是很有用的。
图5和图6分别给出了传输系统的接收端在接收和解压缩RBC图象和根据参考图4所所述的方案进行压缩的差值图象时所执行的不同步骤。这样在图5中接收到的图象将根据适当的RBC算法进行解码，即该算法对应于所使用的压缩算法。压缩后的图象在块501被接收并且在块503用普通的方式进行重建。
另一方面，如果接收到的图象是参考图4所述的JPEG压缩的差值图象，该图象将根据图6所示的方案进行解压缩。首先JPEG压缩的差值图象在块601被接收。接下来在块603用传统的JPEG解压缩算法对差值图象解压缩。
接下来要从经过解压缩的图象的每个象素值中减去128。这是在块605中完成的。此后在块605中得到的图象将在块607中加到已经接收到的RBC重建后的图象上去，该重建图象已经根据在图5中所述的方法进行了解压缩。
这样每象素8比特的灰度图象就用PIT方式进行了传输，该方式至少包含了两个步骤，但使用的比特数几乎与只采用JPEG算法在一个步骤中传输图象所使用的比特数相同。该传输在接收机中最后重建的图象能提供与只使用JPEG或渐进JPEG算法传输图象相似的质量。
如果要用上面描述的方法来传输每象素的比特数不是8比特的图象，必须做一定的修改。
采用上面所述的同样方式来使用该方法。但是如果在以后的阶段要使用JPEG压缩算法，首先必须要保证JEPG能够处理这类图象，比如说图象的每个象素有12或16个比特。接下来必须调整压缩和解压缩算法使加和减的值不再是128，而是2m-1，其中m是灰度图象每象素使用的比特数。
如果原始图象中每象素的比特数不是8，那么差值图象所规定的或限制的范围也必须修改，以便使差值图象在原始图象的范围之内，即象素值要在范围
之内。
上面介绍了一个用于灰度图象的方案的例子。但是这个方案也可以用于彩色图象，下面将要进行介绍。
彩色图象定义为每一种颜色有N比特，N是正整数。典型的彩色图象由三种颜色来表示，每种颜色有8比特，即每个象素共有24比特。
当上述压缩方案用于彩色图象时，可以对每一种颜色分别用上述的同样方案进行处理。但是如果表示彩色图象的三种颜色不是YUV颜色空间，而比如是RGB(红绿蓝)空间，那么最好将其转换到YUV彩色空间或其它适当的彩色空间，其中Y是亮度分量，U和V是色度分量，因为YUV彩色图象的绝大部分能量集中在Y分量。或者，做为可选方案的压缩方案可以参考图7和8按下面描述的方法来进行。
图7和8分别给出了压缩图象用的传输系统的传输部分和该系统的接收部分。这样，图7的块701表示由RGB彩色分量表示的彩色图象的输入。在块703 RGB彩色图象被转换为YUV彩色图象。
在块705中图象的U和V分量被欠取样(经过适当的低通滤波器之后)，即减小图象的尺寸，举例来说，一幅512×512象素的图象经过在每个方向上以因数2进行欠取样后降低为256×256象素的图象，这样在传输的初始阶段只传输Y分量。然后在块707中对Y分量实施上述的RBC-JPEG算法。
在块705对U和V分量做的欠取样是任选的。同样，对彩色图象进行的分割也可以用适当的技术只对Y分量进行或对整个图象的所有三个分量都进行。
在传输的任意阶段，如果接收机决定他/她需要传送其它颜色分量，这样的要求将传送给发射机，发射机在块709中连续检查是否有这样的要求达到。如果在块709中的判决为否，那么PIT将只对Y继续，块711。如果其判决为是，则该方案切换到利用JPEG算法或其它连续色调压缩器传送U和V分量，块713。另一种可供使用的方案是在每个阶段传送所有分量的信息而不需要得到接收机的请求，这样，接收机在每个阶段都重建彩色图象。
另一种可供使用的方案是对U和V分量也使用RBC。这样，如果块709的判决为是，方案继续到块715，在块715中U和V分量的分割图象是通过对Y分量的标签图象进行欠取样而得到的。接下来在块717对U和V分量运用PIT方案。
在三个分量的彩色图象传输的第一阶段可能包括传输这一分割后的图象，在分割后的图象中每个区域的象素值用均值或在彩色图象的每个区域中的象素用中间颜色取代。
图8显示了彩色图象传输系统的接收部分。压缩后的YUV彩色图象在块801中接收。接下来，图象的分量在块803采用与所使用的压缩方法相对应的算法进行解压缩，即RBC算法或JPEG算法。之后在块805 YUV彩色图象被转换为RGB彩色图象，于是在块807就得到了重建后的图象。
最后，图9是表示上述传输方案的基本概念的原理图。因此原始图象在块901中送入传输系统。接下来图象传输到块903，在块903中切换装置将决定在该PIT阶段要使用何种算法。根据在块903得到的结论，图象要么在块905用RBC压缩器压缩、要么在块907用连续色调压缩器压缩。接下来压缩后的图象根据传输方案在信道909上传输到接收机，接收机包括块911，它识别所使用的压缩算法并且引导接收到的图象到相应的解压缩器。
在上述的方案中发射机在开始时总是根据RBC算法来压缩，接下来，在某些情况下切换到连续色调压缩。在这种情况下在接收机中的切换可以通过在压缩算法切换时从发射机传送一个码字到接收机来实现，接下来，在块911，接收机具有用于检测这种码字的装置并在接收时进行相应地切换。
接下来由相应的解压缩器进行解压缩，要么是块913中的RBC解压缩器，要么是块915中的连续色调解压缩器。接下来图象在块919中重建并显示给用户，块919可以配备到达发射机切换装置903的反馈线917以便命令发射机切换压缩算法或是终止图象的传输、甚至指定图象中需要更好地重建的特定区域。
用多项式来重建区域纹理的一个不足之处是多项式重建图象非常缓慢，即要在图象质量上得到明显的提高需要很多基函数。这是由于这样一个事实，即RBC希望有大的区域(为了限制分配给轮廓编码的比特数)，以及另一个事实，即对大区域纹理的精确重建需要更多的基函数。为了克服这个缺点，使用了另一个方案，即在传输的第一阶段采用混合RBC-DCT方案代替RBC。
在上述的压缩方案中，所用的RBC算法被修改为混合RBC-DCT(离散余弦变换)算法，其目的是在传输的第一阶段得到更好的直观质量。这种混合RBC-DCT算法通过将分割后的图象划分为矩形块来进行。在本例中对256×256象素的图象而言这类块的大小最好是16×16象素。当然，更大或更小的块也可以使用。
接下来那些完全包含在分割图象的一个区域内的块将用DCT基函数或其它预定义的基函数(如DFT基函数)来编码，这将提供混合RBC-DFT方案，而区域的剩余部分以及那些不能容纳于矩形内的区域将用弱可分离(WS)的基函数进行编码或是其它适合于对任意形状的区域进行编码的方式进行编码，这在上面结合图3(块307)的描述中已经做了说明。
这些矩形块的轮廓并不需要传输，因为接收机不需要从发射机得到任何信息就能完成块的划分。需要注意的是，应该检查不能容纳于矩形内的区域的剩余部分是否能够被考虑为区域的一个部分或它是否需要被分为单独的子区域。接下来每个子区域将用上面提到的方法进行编码。
基函数集可以修正以适合于(尽管不是必须的)子区域的特点。举例来说，在平滑的子区域就可以采用多项式。在有纹理的子区域，可以使用余弦基函数。注意在区域相对较大的情况，比如说人的身体。不能容纳于矩形内的对象(即在这种情况下的身体的剩余部分)可能包括不同的部分(子区域)，即头部，手部和腿部等等。在这种情况下子区域可被识别。
进行这种识别的一种简单方法是检查灰度值或颜色的变化。接下来在这些区域进行RBC编码，如用多项式表示。需要注意如果接收机不能识别子区域的划分，那么需要将这种划分传送给接收机。
在划分为块之后就没有必要为这些区域计算基函数。除了可以对这些矩形区域使用预先计算过的DCT基函数之外，还可应用DFT或其它的变换。这将会极大地减少所使用的RBC算法的计算复杂性。此外同只采用RBC的算法相比这种混合的RBC-DCT算法也会减少对存储器的需求。
另一种将分割后的图象划分为矩形块的方法是在开始时把图象划分为尺寸相对较大的矩形块，比如64×64象素，并且只保留那些能够完全包含在区域内的块。接下来该方案用尺寸相对较小的矩形块来划分图象，如32×32象素，同时只保留那些完全包含在区域内的并且在第一次矩形划分中位于较大矩形块(即在这里的64×64块)的外面的块。
这个过程不断地重复下去直到没有可添加的矩形块或是达到了预定义的小矩形如4×4或8×8。其它用于将分割后的图象划分为矩形部分的方法也可以使用，比如基于四叉树(quadtree)的划分或可变块尺寸划分。举例来说，在使用四叉树的情况下，由四叉数划分得到的完全包含在区域内的块将用DCT进行编码。需要注意的是尽管是划分为正方形，但是也可以用其它的尺寸如16×8,32×8,甚至可以是三角形。
举例来说，如果一个区域由40行和30列组成，那么一个尺寸为32×16的矩形区域将能包含在这个区域之内。最后，有些区域或不同尺寸的块不能容纳在其中的区域的剩余部分将由一系列的基函数来进行编码，比如说正交基函数。注意可以进行一次检查以确定区域的剩余部分是否由不同的子区域构成并分别进行编码。还需要注意，如果不能容纳于矩形内的区域的一部分(子区域)比较小，则它可以用较少数目的基函数来表示，或甚至是用均值来表示。
其它将分割后的图象划分为预定义的形状的方法也可以使用，比如由Sikora T.And Makai B.,“Shape-adaptive DCT for genericcoding of video”(视频类编码用的外形适配DCT)，IEEE Trans.onCircuits and System for Video Technology,Vol.5,No.1,Feb.1995,pp.59-62所提出的方法。在进行DCT编码之前，可以从分割图象的添加区域(矩形或非矩形)中减去区域的均值以便减少要编码的信息。
这样，在使用DCT的块中，就能使用用于PIT的JPEG算法，即连续逼近或频谱选择。当切换到使用JPEG的方案时，该方案可以对完全包含在这样的块中的块继续使用连续逼近或频谱选择方法而不需要对这样的块使用差值图象，但图象的其余的块(在差值图象中)将使用JPEG方法，即基于DCT的编码。
需要注意可以避免对整个差值图象使用JPEG编码。这可以按下列步骤来进行如果在切换到JPEG之前一个块已经很好地被重建了，即这种块的质量已经很满意了，那么就没有必要对这个特殊的块应用JPEG.。对此可以用定量的量度如SNR,MSE等等来检查每个重建后的块的结果(在编码器中)。在这种情况下可以避免对差值图象进行编码，节约下来的比特可以分配去编码那些没有很好重建的块，或分配去对那些区域或不能容纳在矩形内的区域的某些部分进行编码。
此外，需要注意的是RBC和混合RBC-DCT方案还可以组合。举例来说，在传输的第一阶段可以使用RBC。接下来，可以通过添加矩形块和用DCT方案编码原始块和重建块(区域的一部分)之间的差值而使用组合的RBC-DCT方案。接下来可以继续使用RBC-DCT方案或切换到连续色调的压缩器如JPEG。这些方案的多种不同的组合也可以使用。
这样我们就介绍了一种综合了RBC和JPEG的优点的PIT方案。所提出的方案所使用的比特数几乎与一开始就只使用JPEG的方案相同(为了在传输的最后阶段得到相似的质量并且在传输的第一阶段有更好的质量)，与此同时，它能快速地给接收机提供可解释的图象使得他/她有可能在传输的早期阶段放弃不需要的图象的传输，从而释放所使用的信道并可用于其它目的。
这里介绍的方案也可以用于编码静止和运动图象。在静止图象的编码中可以使用混合RBC-DCT方案来代替JPEG方案或完全RBC方案。在运动图象压缩中，混合RBC-DCT方案可以用来编码I帧和P及B帧。在运动图象编码的应用中，这里介绍的RBC-DCT方案可以用于编码差值图象，即从原始图象减去预测帧所得到的图象。
权利要求
1．一种特别用于渐进图象传输(PIT)的传输方法，其特征在于使用用于压缩图象的基于区域的编码(RBC)，包括以下步骤获取经过分割的图象，将数字化的图象从发射机传送到接收机，以及在PIT的某些阶段将压缩算法切换到用连续色调压缩算法来压缩图象。
2．根据权利要求1的方法，其特征在于当采用同一判据测量到两种压缩方法的图象质量相同时，就把RBC算法切换到连续色调压缩算法。
3．根据权利要求1或2的方法，其特征在于当从RBC到连续色调压缩的切换被执行时，发射机采取如下步骤-通过取原始图象和在该阶段的经过RBC重建的图象的象素值的差而创建新图象，即差值图象，-给差值图象的每个象素的值加上值2m-1，其中m是原始图象中每个象素使用的比特数，-将所有象素的值限制在
之间，-使用连续色调压缩算法来压缩差值图象并传送压缩后的图象，并且接收机采取相应的下列步骤-利用与连续色调压缩算法相对应的解压缩算法重建接收到的差值图象，-从每个象素中减去2m-1，并且，-将该图象加到RBC重建的图象上去。
4．根据权利要求1-3中任一项的方法，其特征在于分割后的图象被划分为多个矩形区域/或别的在传输前预定义的形状的多个区域，并且对完全包含在已分割的图象区域内的各区域用预定义的基函数进行编码。
5．根据权利要求4的方法，其特征在于，当区域具有矩形形状时，其特征在于在矩形区域内使用的基函数是DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
6．根据权利要求1-5中任一项的方法，其特征在于用于编码已分割的图象区域的RBC方案使用正交或标准正交基函数。
7．根据权利要求1-6中任一项的方法，其特征在于分割后的图象在进行传输之前被划分为矩形区域，并且完全包含在RBC图象区域内的矩形区域要用预定义的基函数进行编码。
8．根据权利要求7的方法，其特征在于所使用的基函数是DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
9．根据权利要求1-8中任一项的方法，在传输的图象是彩色图象的情况下，其特征在于-彩色图象被转换为YUV图象，-在传输的初始阶段在使用RBC时只传送Y分量，-如果接收机/发射机决定要接收/发送别的颜色分量，那么它们将被传送。
10．根据权利要求9的方法，其特征在于其它的颜色分量(U和V)在传送之前是欠取样的。
11．根据权利要求9-10中任一项的方法，其特征在于在传输的第一阶段将传输分割后的图象和每个区域的均值或中间颜色。
12．根据权利要求1-11中任一项的方法，其特征在于所使用的连续色调压缩算法是JPEG或基于DCT的编码方案。
13．一种特别用于渐进图象传输(PIT)的传输方法，它所使用的基于区域编码(RBC)的算法包括分割数字化的图象并从发射机传送到接收机，其特征在于，分割后的图象在传输之前被划分为具有预定义形状的区域，并且那些完全包含在RBC图象的一个区域内的区域将用预定义的基函数来进行编码。
14．根据权利要求13的方法，其特征在于所使用的基函数是DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
15．一种用于根据PIT方案传送数字化的采用RBC压缩算法压缩的图象的发射机，其特征在于在发射机中用于连续色调压缩的装置，以及在RBC压缩算法和连续色调压缩算法之间进行切换的装置。
16．根据权利要求15的发射机，其特征在于这样的装置，它们用于-通过取得原始图象和在该阶段RBC重建的图象的象素值的差来创建新图象，即差值图象，-在差值图象上加上2m-1，其中m是原始图象中每个象素所使用的比特数，-将所有象素的值限制在
之间，其中m是在原始图象中每个象素所使用的比特数，-利用连续色调的压缩器压缩并传输差值图象。
17．根据权利要求15-16中任一项的发射机，其特征在于这样的装置，它用于在发送之前将分割后的图象划分为具有预定义形状的区域，以及利用预定义的基函数对完全包含在分割图象区域内的各区域进行编码。
18．根据权利要求17的发射机，其特征在于用于在编码切换到连续色调编码方案时判断图象的某些部分不再需要进一步传送信息的装置。
19．根据权利要求17-18的发射机，当区域是矩形时，其特征在于在矩形区域中使用的基函数是DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
20．根据权利要求15-19中任一项的发射机，其特征在于用来对图象区域进行编码的RBC压缩器使用正交或标准正交基函数。
21．根据权利要求15-20中任一项的发射机，其特征用于独立发送彩色图象的每种颜色分量的装置。
22．一种用于接收数字化压缩图象的接收机，其特征在于用于接收和解压缩由RBC算法压缩过的图象和用连续色调压缩算法压缩过的图象的装置，以及用于把RBC压缩数据和连续色调压缩数据组合起来以构成完整输出图象的装置。
23．根据权利要求22的接收机，还具有用于接收差值图象的装置，其特征在于以下装置，它们用于-利用与所使用的连续色调压缩算法相对应的解压缩器重建接收到的差值图象，-从每个象素值中减去2m-1，以及-将该图象加到RBC重建的图象上去。
24．根据权利要求22-23中任一项的接收机，其特征在于用于将接收到的分成不同区域的图象划分为矩形块的装置。
25．根据权利要求22-24的接收机，其特征在于用于在接收到码字时在RBC解压缩和连续色调解压缩之间进行切换的装置。
26．一种发射机、特别是利用基于区域编码(RBC)来传送数字化图象的渐进图象的发射机，其特征在于用于在进行传输之前将分割过的图象划分为具有预定义形状的区域的装置，以及用于对完全包含在RBC图象区域内的区域用预定义的基函数进行编码的装置。
27．根据权利要求25-26中任一项的发射机，其特征在于所使用的基函数是DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
28．一种特别用于渐进图象传输(PIT)的传输系统，包括发射机和接收机，其特征在于用于在发射机中压缩数字化图象的基于区域编码(RBC)的压缩器和连续色调压缩器，用于在发射机中将图象传送到接收机的装置，以及用于在发射机中在PIT的某个阶段将使用RBC压缩器进行图象压缩切换到使用连续色调压缩器来进行图象压缩的装置。
29．根据权利要求28的系统，其特征在于用于在发射机中当根据同样的准则测量到的两种压缩器的图象质量相同时从RBC压缩器切换到连续色调压缩器的装置。
30．根据权利要求28或29的系统，其特征在于在发射机中的这样的装置，该装置用于-通过获取原始图象和在该阶段经过RBC重建的图象之间的象素值的差来创建新图象，即差值图象，-给差值图象的每个象素的值加上值2m-1，其中m是在原始图象中每个象素所使用的比特数，-将所有象素的值限制在
之间，-利用连续色调压缩算法对差值图象进行压缩并传输经过压缩的图象，以及在接收机中的这样的装置，该装置用于-利用与连续色调压缩算法相对应的解压缩算法重建接收到的差值图象，-从每个象素值中减去2m-1，-将该图象加到经过RBC重建的图象上去。
31．根据权利要求28-30中任一项的系统，其特征在于在发射机中用于在图象被传输之前将图象划分为具有预定义形状的区域的装置，以及在发射机中用于对那些完全包含在图象区域内的区域采用预定义的基函数进行编码的装置。
32．根据权利要求31的系统，其特征在于该装置被设计成使用DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
33．根据权利要求28-32中任一项的系统，其特征在于RBC压缩器设计成使用正交或正交基函数来编码图象区域。
34．根据权利要求28-33中的任一项的系统，其特征在于用于在发射机中在图象被传输之前将图象划分为具有预定义形状的区域的装置，以及用于对那些完全包含在RBC图象区域内的区域采用预定义的基函数进行编码的装置。
35．根据权利要求34的系统，当区域是矩形时，其特征在于用于对那些完全包含在RBC图象区域内的区域进行编码的装置被设计为使用DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
36．根据权利要求28-35中任一项的系统，在传输的图象是彩色图象时，其特征在于这样的装置，该装置用于-将彩色图象转换为YUV图象，-在使用RBC传输的初始阶段只传送Y分量。
37．根据权利要求36的系统，其特征在于在发射机中用于对其它颜色分量(U和V)进行欠取样的装置。
38．根据权利要求36-37中任一项的系统，其特征在于在发射机中用于只传送分割图象的装置和用于在传送的第一阶段传送每个区域的均值或中间颜色的装置。
39．根据权利要求28-38中任一项的系统，其特征在于连续色调压缩器是JPEG压缩器。
40．一种使用基于区域编码(RBC)压缩器的特别用于渐进图象传输(PIT)的传输系统，包括用于执行数字化图象分割并将图象从发射机传送到接收机的装置，其特征在于，用于在发射机中在图象传输之前将分割后的图象划分为具有预定义形状区域的装置，以及利用预定义的基函数对完全包含在RBC图象区域中的那些区域进行编码的装置。
41．根据权利要求40的系统，其特征在于用于对那些完全包含在RBC图象区域的区域进行编码的装置被设计为使用DCT(离散余弦变换)或DFT(离散富利叶变换)基函数。
42．一种用于对静止图象和/或视频序列进行编码的装置，包括分割装置，其特征在于分割后的图象在编码和存储或传输之前被划分为具有预定义形状的区域，并且要利用预定义的基函数对那些完全包含在这种分割图象区域中的区域进行编码。
全文摘要
用于编码和渐进图象传输(PIT)的方法与系统,其中在传输的初始阶段为了在高压缩比条件下给接收机提供具有良好直观质量的图象,发射机使用被认为具有能力做到这一点的基于区域的编码(RBC)方案。在传输的后续阶段,当RBC的直观质量不再优于其它的压缩技术如JPEG时,PIT切换装置(903)使用连续色调压缩器(907)来进行以后的传输并且不会损失包含在已经传输了的RBC图象中的信息。此外,为了进一步改善传输方案的性能,使用了混合RBC－DCT(离散余弦变换),在这种方法中由RBC算法分割过的图象被划分为矩形块,同时那些完全包含在分割图象区域内的块将用预定义的基函数(如DCT基函数)来传输。此外还公开了用类似方案对视频进行编码的方法。
文档编号H04N7/26GK1212806SQ97192800
公开日1999年3月31日 申请日期1997年3月5日 优先权日1996年3月5日
发明者C·克里斯托波罗斯 申请人:艾利森电话股份有限公司