专利名称：图像信号编码设备和图像信号解码设备的制作方法
技术领域：
本发明涉及压缩编码图像信号的图像信号编码设备和对压缩编码图像信号扩展解码的图像信号解码设备。
数字磁带录象机(VTR)被用作记录/重放电视广播节目或类似节目的图像信号的装置。目前，存在一些数字VTR的格式，例如，用于节目制作的D1标准，用于广播电台的D2标准。就这种节目制作或电台的数字VTR来说，由于要被记录/重放的图像要求极高的质量，因此，通常的做法是不压缩要记录在磁带上的图像信号，或者使用把数据量压缩到1/2的较低压缩率。
同时，商用数字VTR正在被广泛使用。商用数字VTR必须用压缩盒式磁带来完成长时间记录，但是它的图像质量要求比业务用(business use)数字VTR的低。因此，以较高压缩率执行频带压缩从而把图像数据量压缩到近似1/5的压缩格式被采用。商用数字VTR的压缩格式提供了高图像质量，因而它还被用于广播业务的视频设备。这里所使用的高效率压缩方法实际上利用了人眼视觉对色差信息的敏感性低于对图像亮度信息的敏感性的特点，因此色差信号的信息量被减少。图像数据压缩方法将在下面说明。
根据上述的作为用于节目制作或广播电台的数字VTR标准的D1标准，要记录在磁带上的数字图像数据不被压缩，并分别记录亮度信号Y和色差信号Cr、Cb。色差信号是通过从R、G和B三基色消除亮度信号Y而获得的信号。作为色差信号，使用了Cr＝R-Y和Cb＝B-Y这两个信号。例如，亮度信号Y的采样频率为13.5MHz，每个色差信号Cb、Cr的采样频率为6.75MHz。因此，这三种信号的采样频率比值为4∶2∶2。
另一方面，就与上述的商用数字VTR标准一致的图像数据来说，亮度信号Y和色差信号Cb、Cr的采样频率比值被表示为NTSC制式(具有525线)的4∶1∶1或PAL制式(具有625线)的4∶2∶0。也就是说，通过把两个色差信号的采样频率减小到亮度信号采样频率的一半，减小了要在磁带上记录的图像数据的信息量。这样，根据商用的数字VTR标准，信号以下述方式生成基带信号的色度信号的频带变窄，和执行帧内DCT的数字压缩以便把图像数据量压缩到近似1/5以用于记录。
如上所述，相互不同的图像数据压缩系统(格式)被用于数字VTR，而且没有能够处理多个数据压缩格式的数字VTR。因此，例如，当上述的4∶1∶1的压缩图像数据和4∶2∶2的压缩图像数据打算编辑时，编辑工作必须在临时扩展任一个压缩的图像数据之后执行，而且不能避免在重新压缩编辑图像数据中产生的图像质量的降低。
此外，就需要高质图像的广播业务数字VTR来说，在某此情况下需要超出现有数字VTR性能的较高图像质量。例如，需要4∶2∶2的基带，或需要具有低压缩噪音的图像。另外，对商用数字VTR来说，期望采用较高图像质量的标准。
鉴于技术本领域的上述状况，本发明的目的是提供一种图像信号编码设备和一种图像信号解码设备，它们具有对与现有数字图像数据的格式一致的4∶1∶1或4∶2∶0的图像数据和4∶2∶2的高质量图像数据的兼容性。
根据本发明，这里提供了用于压缩编码图像信号的图像信号编码设备，该设备包括第一压缩编码装置，用于转换和压缩编码亮度信号和两个色差信号的采样频率比值4∶2∶2的基本图像信号，使其具有一个亮度信号和两个色度信号的采样频率比值为4∶1∶1或4∶2∶0，以便生成第一压缩数据；编码余数提取装置，用于提取基本图像信号与压缩数据之间的编码余数；和第二压缩编码装置，用于对提取的编码余数压缩编码，以便生成第二压缩数据。
根据本发明，这里还提供了对压缩编码图像信号扩展解码的图像信号解码设备，该设备包括；第一扩展解码装置，用于扩展解码亮信号和两个色差信号的采样频率比值为4∶1∶1或4∶2∶0的预定信号标准的基本图像数据，基本图像数据通过压缩编码原始图像信号生成；第二扩展解码装置，用于扩展解码亮度信号和两个色差信号的采样频率比值为4∶2∶2的增强型数据；和合成装置，用于合成第一扩展解码装置和第二扩展解码装置的输出，以便生成亮度信号和两个色差信号的采样频率比值为4∶2∶2的扩展图像数据。
根据本发明，这里还提供了一种压缩编码图像信号的图像信号编码设备，该设备包括转换装置，用于把亮度信号和两个色差信号的采样频率比值为4∶2∶2的图像信号转换成亮度信号和两个色差信号的采样频率比值为4∶1∶1或4∶2∶0的基本图像信号；第一压缩装置，由转换装置转换的基本图像信号输入第一压缩装置，该第一压缩装置适合完成第一压缩以便输出第一压缩数据；编码余数提取装置，用于提取压缩前的基本图像信号和对压缩数据解码而生成的信号之间的编码余数；和第二压缩装置，代表提取的编码余数的数据输入第二压缩装置，该第二压缩装置适合输出执行数据预定压缩而生成的第二压缩数据。
根据本发明，这里进一步提供了对压缩图像信号的图像信号解码设备，该设备包括第一解码装置，用于对亮度信号和两个色差信号的采样频率比值为4∶1∶1的压缩的第一图像信号解码；第二解码装置，用于对亮度信号和两个色差信号的采样频率比值为4∶2∶2的压缩的第二图像信号解码；和合成装置，用于合成第一解码装置和第二解码装置的输出，以便生成亮度信号和两个色差信号的采样频率比值为4∶2∶2的图像信号。
图1是为用于编码基本数据的本发明第一编码装置的结构的方框图；图2是示出了作为本发明实施例的整个图像信号编码设备的结构的方框图；图3是说明本发明的图像信号编码设备生成的压缩数字图像数据的结构的示意图；图4是为用于解码基本数据的本发明第一图像信号解码装置的结构的方框图；图5是示出作为本发明实施例的整个图像信号解码设备的结构的方框图；图6示出作为本发明实施例的图像信号解码设备的结构改进的方框图；图7是示出了作为本发明实施例的图像信号解码设备的另一种改进的方框图；图8是示出了本发明图像信号编码设备的第一实施例的方框图；图9是示出了本发明图像信号解码设备的第一实施例的方框图；图10是示出了本发明图像信号编码设备的第二实施例的方框图；图11是示出了本发明图像信号解码设备的第二实施例的方框图；图12是示出了本发明图像信号编码设备的第三实施例的方框图；图13是示出了本发明图像信号解码设备的第三实施例的方框图；下面结合附图详细说明本发明的图像信号编码设备和图像信号解码设备的优选实施例。
图1是所示为现有数字VTR编码装置和本发明的图像信号编码设备中第一压缩编码装置的基本结构的方框图。从输入端110输入的作为4∶2∶2的扩展数据的原始图像信号的亮度信号Y被送到分块单元111。从输入端120输入的原始图像信号的色度信号C的两个色差信号Cr、Cb经LPF(低通滤波器)116送给下变频器117，在这里色差信号被下变频到原采样频率的一半，然后送给分块单元111。
分块单元111以宏块(以下称为MB)为基础对来自输入端110的亮度信号Y和来自下变频器117的两个下变频色差信号分块。分块的图像信号被DCT(离散余弦变换)单元112转换成DCT系数，然后由量化器113量化、由VLC(可变长度编码)单元114做可变长度编码、再由成帧单元115成帧。然后，从输出端210输出作为NTSC制式中4∶1∶1的压缩数字图像数据或者作为PAL制式中4∶2∶0的压缩数字图像数据的成帧数据。
图2是所示为整个图像信号编码设备的结构的方框图，具有用于生成图1所示的基本数据的第一压缩编码装置和用于从第一压缩编码装置的输出和4∶2∶2的原始图像信号中提取编码余数以便生成增强型数据的第二压缩编码装置。
在该图像信号编码设备中，通过限定亮度信号Y和色差信号C的采样频率比值为4∶2∶2的原始图像信号的频带来执行压缩以便生成基本数据，并且从压缩编码数据与原始图像数据的差值中生成在压缩编码中丢失的数据(以下称为编码余数数据)的增强型数据。
从输入端110输入的4∶2∶2的原始图像信号的亮度信号Y送给分块单元111。从输入端120输入的色度信号C经LPF(低通滤波器)116和下变频器117也送给分块单元111。
通过使用输入的原始信号的亮度信号Y，和使用已被变换成具有比原始图像信号(Y和C的两个色差信号Cr、Cb的采样频率比值4∶2∶2)的色度信号C的采样频率低的色度信号(Y和色度信号C的两个色差信号Cr、Cb的采样频率比值为4∶1∶1(或在PAL系统的情况中为4∶2∶0))，图像数据的一帧被分成作为DCT变换基本单位的宏块(8象素×8线)。由于对亮度信号的4个信息块(4个样本)来说色差信号只有1个信息块(1个样本)，因此色差信号的一个DCT信息块对应亮度信号的4个DCT信息块。
下变频器117适于把经LPF116提供的两个色差信号Cr、Cb的采样频率变换到低频。特别是，下变频器117把采样频率下变频到原频率的1/2。
LPF116适于执行色差信号的频带限制，以便避免在后续级的下变频器117的采样中生成假信号噪音。
DCT单元112对分块单元111形成的DCT信息块执行作为正交变换类型的DTC(离散余弦变换)。图像数据的象素值被制成非相关的并被变换成频率轴上的数值。对于使用5个宏块作为一个单位的段基，离散余弦变换变换的宏块被临时存储在缓冲器中(未示出)，然后送给量化器113。
对于每个宏块来说，量化器113用预定因数(量化级)除(分割)DCT系数，并四舍五入尾数以执行量化。这里，考虑人眼视觉特性，执行使用不同量化级的自适应量化。此时考虑的视觉特性是即使执行粗量化，图像屏幕上具有高精确度的区域中量化畸变也不明显，而在平滑变化区域中量化畸变可能是明显的。
通过把图像数据的段中每个信息块(例如)划分成4个等级执行上述的自适应量化，然后根据等级数分配构成量化器的不同量化级。这样，通过对屏幕上视觉图像质量畸变明显的信息块增加比特分配，可以改善图像质量。如此量化的图像数据(DCT系数)被送给VLC(可变长度编码)单元114和编码余数提取单元123(下面将进行说明)。
VLC单元114执行可变长度编码，如二维霍曼(Huffman)编码。具体地说，当根据数据量估算选择量化器号(QNo.)时，在上述缓冲器中存储的图像数据段由具有QNo.的量化器量化，然后进行可变长度编码。
成帧单元115执行成帧处理，以便给通过VLC单元114可变长度编码而编码的图像数据的每个分段分配77字节。对上述5个宏块中的数据量超出77字节的宏块来说，溢出数据被打包并被分配给另一个宏块的空闲区域。因而，这些宏块的数据量被量化，具有4∶1∶1或4∶2∶0的亮度信号Y和色差信号Cr、Cb的采样频率的基本图像数据(基本数据)以25兆位/秒的速率从输出端210输出。该基本数据是与上述的现有数字图像数据的格式(DV格式)一致的压缩编码数字图像数据。
从输入端110输入的4∶2∶2的原始图像信号的亮度信号Y、从输入端120输入的4∶2∶2的原始信号的色度信号C和来自量化器113的量化图像数据送给编码余数提取单元123。然后，编码余数提取单元123提取编码余数。
这里提取的编码余数通过(例如)使用具有4∶2∶2的亮度信号Y和色差信号Cr、Cb的采样频率比值的原始图像数据和以采样频率比值变成4∶1∶1或4∶2∶0的方式从色度信号下变频的压缩图像数据(基本数据)的DCT系数来提取。也就是说，编码余数，即，量化中丢失的数据，通过使用原始图像数据和第一压缩装置量化的DCT系数来提取。
编码余数编码器124对是编码余数提取单元123提取的编码余数的图像数据进行编码。在此情况中，可以使用各种编码方法，例如，DCT(离散余弦变换)或副带编码。
成帧单元125对编码余数编码器124编码的编码余数执行成帧操作并从输出端220输出作为增强型数据的成帧编码余数。增强型数据的速率(α兆位/秒)可以根据需要调整，例如，当α＝25兆位/秒时，4∶2∶2的扩展图像数据与基本数据一起以50兆位/秒编码。
增强型数据是包括不包含在基本数据中但却是表示图像细节所必需的亮度信号Y和色度信号C的高频分量的图像数据。通过把增强数据附加到基本数据上，用于业务用数字VTR的4∶2∶2的高质量图像数据的的扩展图像数据可以被形成。上述工作的细节将在下面说明。
在下面的说明中，作为第二压缩编码装置的，编码余数编码器124使用DCT编码作为编码方法，然而，本发明的图像信号编码设备不局限于DCT编码，可以使用各种编码方法，例如，子波变换、副带编码和DPCM(差分脉码调制)。即，作为第二压缩编码装置可以使用任意的编码余数的编码方法。
此外，在以下的说明中将描述实施例，在实施例中，各种方法被用于编码余数提取单元123提取编码余数以及编码余数编码器124的编码。
图3是表示本发明的上述图像信号编码设备通过压缩编码图像信号生成的数字图像信号的结构的示意图。具体地说，本发明的图像信号编码设备生成的压缩编码数据通过把包含亮度信号Y和色度信号C的高频分量的增强型数据附加到作为4∶1∶1(NTSC制式)或4∶2∶0(PAL制式)的基本图像的基本数据上而成。
基本数据是与现有的数字图像数据的压缩格式一致的图像数据。该基本数据的传递率通常是25兆位/秒。增强型数据的传递率(α兆位/秒)根据需要适当调整，例如，在50兆位/秒的4∶2∶2的扩展图像数据通过把增强型数据附加在基本数据上而形成的情况中，增强型数据的传送率为25兆位/秒(α＝25)。
由于有了这种数据结构，因此，如果需要与现有的数字图像数据的格式兼容，也就是说，如果4∶1∶1或4∶2∶0的图像数据是必需的，则仅使用基本数据就足够了。此外，为了获得更高图像质量，实质上是4∶2∶2的扩展图像数据可以通过把包含亮度信号Y和色度信号C的高频分量的增强型数据附加到基本数据来形成。也就是说，把基本数据和增强型数据输入到多路传输器(未示出)，这两个数据在这里被多路传输以输出扩展图像数据。扩展图像数据可以被传输给预定的传输线或记录在预定的记录媒体上。如果扩展图像数据传输给传输线，扩展图像数据被转变成传输线的传输格式，例如，ATM传输线情况中的ATM格式。当然，基本数据和增强型数据也可以传输给预定传输线或预定记录媒体，而无须被多路传输器多路传输。
下面说明本发明的图像信号解码设备。
图4是方框图，它表示了现有数字VTR解码装置和对图像信号编码设备的第一压缩编码装置输出的基本数据解码的第一扩展解码装置的基本结构。输入端130输入的4∶1∶1或4∶2∶0的压缩数字图像数据由解-成帧单元131解-成帧，由VLC(可变长度编码)解码器132解码，由解-量化器133解量化，和由反DCT单元134的反DCT变换进行变换。变换的数据由解-分块单元136解-分块。
来自解-分块单元136的亮度信号Y从输出端230输出，色度信号C经上变频器152和LPF(低通滤波器)153传输并从输出端240输出。
图5至图7是表示本发明的整个解码设备的结构的方框图，该解码设备具有对图4所示的基本数据解码的第一扩展解码装置；和对增强型数据解码的第二扩展解码装置。
本发明的解码设备具有图5至图7所示的不同结构，这是因为解码根据图2所示本发明的编码余数提取单元123提取编码余数的方法而略有不同。
具体地说，图5所示的解码设备具有与这样一种编码设备相对应的结构该编码设备的增强型数据通过从4∶2∶2原始图像(本地解码)与采用扩展下变频、DCT-变换和量化压缩的数据而生成的数据之间的差值中提取编码余数来输出。
图6所示的解码设备具有与这样一种编码设备相对应的结构该编码设备的增强型数据通过从采用下变频原始图像为4∶1∶1并把下变频数据分成宏块而生成的数据与上述本地解码数据之间的差值中提取编码余数来输出。
图7所示的解码设备具有与这样一种编码设备相对应的结构该编码设备的增强型数据通过从采用下变频原始图像为4∶1∶1并执行下变频数据的DCT变换和量化而生成的数据与本地解码数据之间的差值中提取编码余数来输出。
包括提取编码余数的编码余数提取单元123的特定结构的解码设备的结构将在下面进行详细说明。
首先说明图5的结构。
作为具有4∶1∶1或4∶2∶0的采样频率比值的压缩图像数据的基本数据(25兆位/秒)被送给输入端130。增强型数据(α兆位/秒)送给输入端140。
解-成帧单元131对输入端130输入的基本数据执行处理，称之为解-成帧，是图2的图像信号编码设备的成帧单元115进行成帧的逆操作，以便消除成帧。这样，数据返回到通过可变长度编码而编成的DCT系数数据。
VLC(可变长度编码)解码器132适合执行图2所示的图像信号编码设备的VLC(可变长度编码)单元114的编码的逆操作。VLC解码器132执行解码操作，如对二维Huffman编码进行解码，以便对通过可变长度编码编成的数据解码。
解-量化器133执行图2的图像信号编码设备的量化器113的量化的逆操作。即，解-量化器133以上述的(8×8)-象素块为基础把每个DCT系数与量化级相乘。
反DCT(反离散余弦变换)单元134以解-量化块为基础执行反离散余弦变换(反DCT)，该变换是离散余弦变换(DCT)的逆变换。反DCT单元134的输出被送到解-分块单元136，在这里执行图2的分块单元111的处理的逆处理，从而消除了DCT分块数据的分块。解-分块单元136的输出被送给数据合成单元150。
另一方面，解-成帧单元141执行对输入端140输入的增强型数据的解-成帧操作。
通过逆处理图2的图像信号编码设备的编码余数编码器124的编码，解码余数解码器149对已经编码的编码余数的增强型数据解码。然后，解-分块单元146消除DCT分块数据的分块。解-分块单元146的输出送给数据合成单元150。
数据合成单元150合成来自反DCT单元134的基本数据和来自编码余数解码器149的解码增强型数据，合成的数据作为4∶2∶2的重放图像信号从输出端250输出。
上述图像信号解码设备与这样一种编码设备相对应在该编码设备中，提取解码余数以输出使用4∶2∶2的原始图像数据的增强型数据和当输出基本数据的时候临时扩展压缩数据生成的本地解码数据。
图6示出了这样一种图像信号解码设备的结构，在该解码设备中，通过下变频原始图像为4∶1∶1和把下变频图像分成宏块而生成的数据与本地解码数据之间的差值由(上述的)图2所示的图像信号编码设备的编码余数提取单元123提取，以作为编码余数。在这种情况中，由于同样的分块方法被用于基本数据和增强型数据，因此解-分块由设置在数据合成单元150中的公共解-分块单元来执行。因此，图6的结构与图5的结构的不同之处在于解-分块单元136、146包含在数据合成单元150中。
图7示出了这样一种图像信号解码设备的结构，在该解码设备中，提取通过下变频原始图像然后宏分块下变频图像并执行DCT变换及量化而生成的数据与本地解码的数据之间的差值被提取，以作为上述的图2所示的图像数据编码设备中的编码余数。在这种情况中，图7的结构与图5和图6的结构的不同之处在于解-量化基本数据而生成的数据和对编码余数解码而生成的数据被合成后，该合成数据通过反DCT单元134的反DCT变换来变换并由解-分块单元136来解-分块。
图像信号编码设备中提取编码余数的方法可以用下面的方法举例说明，使用了原始图像与通过对下变频图像数据(本地)解码而生成的图像之间的差值(差分图像)的方法使用了原始图像信号的DCT系数与下变频后执行量化和解量化而生成的图像数据的DCT系数之间的差值(系数差值)的方法使用执行图像信号的频带分割的频带分割滤波器(如，副带)和重现被频带分割的图像信号的频带合成滤波器的方法(如上所述)。
下面，结合图8至图13详细说明与包含提取编码余数的编码余数提取单元123的特定结构的编码设备相对应的解码设备的特定结构。
图8示出了一种编码设备，其中，4∶2∶2的原始图像与本地解码数据之间的差值作为编码余数被提取。图9示出了与图8(即，图5的细节)相对应的解码设备的具体结构。
图10示出了一种编码设备的具体结构，其中，编码余数通过分块至4∶1∶1而生成的宏块与本地解码数据之间的差值中提取。图11示出了与图10(图6的细节)相对应的解码设备的具体结构。
图12示出了一种编码设备的特定结构，其中，编码余数从DCT系数与本地解码数据之间的差值中提取。图13示出了与图12(即，图7的细节)。相对应的解码设备的具体结构。
图像信号编码设备适于使用4∶2∶2的原始图像与本地解码图像之间的差值(差分图像)生成增强型数据。
在该图像信号编码设备中，LPF116、下变频器117、分块单元111、DCT单元112、量化器113、VLC单元114和成帧单元115是用于生成基本数据的单元。这些单元的结构和功能与上述的图2所示的图像信号编码设备相同，因此将不作进一步的详细说明。这里主要说明生成增强型数据的单元。与上述图像信号编码设备相同的单元用图8所示的相同参考标号表示，并且不做进一步的详细说明。
在该图像信号编码设备中，通过把4∶2∶2的原始图像信号的色度信号C的采样频率下变频到1/2而生成的信号被加到原始图像信号的亮度信号Y上，因而生成了4∶1∶1或4∶2∶0的图像信号。通过对4∶1∶1或4∶2∶0的图像信号本地解码生成的信号的色度信号C的采样频率被再次上变频为下变频后的采样频率的两倍，然后提取上变频信号与原始图像信号之间的差值，以作为编码余数。
提取图8的图像信号编码设备中的编码余数的单元包括解-量化器118、反DCT单元119、解-分块单元126、LPF单元127、上变频器128、和加法器129。即，该单元与图2所示的图像信号编码设备的余数提取单元123相对应。
解-量化器118对作为基本数据的量化的DCT系数解-量化，和把解-量化DCT系数送给反DCT单元119。
反DCT单元119对已经由解-量化器118解-量化的4∶1∶1或4∶2∶0的图像数据的DCT系数执行反DCT操作(反离散余弦变换)，并把变换的DCT系数送给解-分块单元126。
4∶1∶1或4∶2∶0的本地解码图像信号的色度信号C送给上变频器128和LPF127，以便被上变频。上变频色度信号C被加到本地解码图像信号的亮度信号Y上，然后作为反向输入送入加法器129。
上变频器128使4∶1∶1的本地解码图像信号的色度信号C的采样频率增加两倍，以使加法器129计算4∶2∶2的原始图像信号与4∶1∶1或4∶2∶0的本地解解码图像数据之间的差值。
加法器129从输入端120输入的4∶2∶2的原始图像信号的色度信号C中减去本地解码图像数据，并提取差值作为编码余数。提取的编码余数送入分块单元124a。
加法器129提取的编码余数被编码，并作为增强型数据从输出端220输出。图8的图像信号编码设备具有使用DCT对编码余数进行编码为特征的结构。在这种图像信号编码设备中，用于对编码余数编码的单元包括分块单元124a，DCT单元124b，量化器124c，VLC单元124d和成帧单元125。该单元与图2的图像信号编码设备的编码余数编码器124相对应。
分块单元124a至成帧单元125与图2的分块单元111至成帧单元115相类似，因此，将不作进一步详细的说明。
图9是表示与图8所示的本发明图像信号编码设备的第一实施例相对应的图像信号解码设备的结构方框图。
与图5的图像信号解码设备的单元相同的单元用图9中相同的参考标号表示。在该图像信号解码设备中，从解-成帧单元131到反DCT单元134的单元和从解-成帧单元141到反DCT单元144的单元适用于对从输入端130输入的基本信号扩展解码，这些单元具有图5的图像信号解码设备的对应单元相同的结构，因此，将不作进一步的详细说明。
输入端130输入的数据经过解-成帧单元131、VLC解码器132、解-量化器133、反DCT单元134、解-分块单元136、上变频器152和LPF153被扩展解码。
另一方面，从输入端140输入的增强型数据经过解-成帧单元141、VLC解码器142、解-量化器143、反DCT单元144和解-分块单元146被解码和恢复到差分信号。
从解-分块单元136解码的基本数据的亮度信号Y直接送给加法器155。基本数据的色度信号C经上变频器152和LPF153传输，然后加到亮度信号Y上。从而，上变频到4∶2∶2的基本数据的重现图像信号送给加法器155。
上变频器152和LPF153使本地解码图像信号的采样频率增加两倍，以便4∶2∶2的原始图像信号和4∶1∶1的本地解码图像信号被加法器155相加。
加法器155把来自解-分块单元136的已经被解码并上变频为4∶2∶2的基本数据加到来自解-分块单元146的解码增强型数据上。来自加法器155的图像信号作为重现图像信号从输出端250输出。
下面说明本发明的图像信号编码设备和图像信号解码设备的第二实施例。
图10表示了图像信号编码设备的结构，它使用差分图像和频带分割滤波器来提取编码余数，以便生成增强型数据。
输入端120输入的4∶2∶2的原始图像信号的色度信号C通过LPF(低通滤波器)116和HPF(高通滤波器)216被分割成两个频带，所述的滤波器116和216是分割频带的频带分割滤波器。由于LPF116输出的色度信号C的低频分量的频带与作为基本数据输出的数字图像数据的色度信号的频带相同，因此该低频分量与输入端110输入的亮度信号Y一起编码，以便作为4∶1∶1或4∶2∶0的基本数据从输出端210输出。换句话说，色度信号C的高频分量不包含在基本数据中，色度信号C的高频分量作为频带分割滤波器的HPF216边带上的余数被提取。
加法器129提取编码余数，该编码余数实际上是来自分块单元110的4∶1∶1或4∶2∶0的图像与通过对4∶1∶1或4∶2∶0的图像信号进行DCT编码和经解-量化器118和反DCT单元119对DCT编码图像信号本地解码而生成的图像之间的差值。提取的编码余数是图像信号的亮度信号Y与色度信号C的低频分量之间的差值。
从加法器129提取的编码余数由作为第二压缩编码装置的DCT单元124a进行DCT编码，然后送给量化器124c。
另一方面，HPF216输出的色度信号C的高频分量由下变频器217进行下变频。下变频的高频分量被分块单元211分块，然后由DCT单元212进行DCT编码，最后送给量化器124c。
亮度信号Y与来自DCT单元124a的色度信号C的低频分量之间的余数的DCT系数、和来自DCT单元212的色度信号C的高频分量的DCT系数由量化器124c量化，然后由VLC单元124d的可变长度编码来编码，然后由成帧单元125成帧，最后作为增强型数据从输出端220输出。
图11是表示与图10所示的本发明的图像信号编码设备的第二实施例相对应的图像信号解码设备结构的方框图。
输入端130输入的基本数据经解-成帧单元131、LVC解码器132、解-量化器133和反DCT单元134解码。来自反DCT单元134的DCT系数和作为经解-成帧单元141、VLC解码器142、解-量化器143和反DCT单元144恢复为编码余数的增强型数据部分的亮度信号与色度信号的低频分量之间的差值由加法器154相加，相加信号由解-分块单元136解-分块，变成从输出端230输出的亮度信号Y的输出重放信号。另一方面，色度信号C的低频分量被上变频器152和LPF153上变频，然后，与作为从反DCT单元144输出并经解-分块单元146、上变频器162和LPF163传输的增强型数据的部分的色度信号C的高频分量合成，以便作为色度信号C从输出端240输出。
这样，就能从基本数据和增强型数据中重现4∶2∶2的高质量图像数据。
下面，说明本发明的图像信号编码设备和图像信号解码设备的第三实施例。
图12示出了图像信号编码设备的结构，它使用系数差值和频带分割滤波器提取编码余数，以便生成增强型数据。
该图像信号编码设备与图10的图像信号编码设备不同之处在于原始图像信号的DCT系数与基本数据之间的DCT系数电平上的差值用作生成增强型数据的编码系数，而不使用原始图像信号与对基本数据本地解码生成的图像信号之间的差值。
在这种图像信号编码设备中，用于生成基本数据的从分块单元111至成帧单元115的单元与图10所示的图像信号编码设备中的生成基本数据的单元相似，因此，这里不作进一步的详细说明。这里只说明产生增强型数据的单元。
输入端120输入的4∶2∶2的原始信号的色度信号C被LPF(低通滤波器)116和HPF(高通滤波器)216分割成两个频带。这里，滤波器116和216是分割频带的分割滤波器。由于LPF116输出的色度信号C的低频分量的频带是与作为4∶1∶1或4∶2∶0的基本数据输出的数字图像数据的色度信号C的频带相同的频带，因此该低频分量与输入端110输入的亮度信号Y一起编码，以便作为4∶1∶1或4∶2∶0的基本数据从输出端210输出。
加法器129提取编码余数，该编码余数实际上是由分块单元111分块和由DCT单元DCT变换的4∶1∶1或4∶2∶0的图像的DCT系数与通过形成4∶1∶1或4∶2∶0的图像信号的DCT系数并通过解-量化器118对DCT系数解-量化而生成的DCT系数之间的DCT系数差值。提取的编码余数送如量化器124c。
另一方面，HPF216输出的色度信号C的高频分量由下变频器217下变频。下变频的高频分量由分块单元211分块，然后由DCT单元212进行DCT编码，然后送给量化器124c。
来自加法器129的DCT系数和来自DCT单元212的DCT系数由量化器124c量化，然后由VLC单元124d的可变长度编码进行编码，然后由成帧单元125成帧，并作为增强型数据从输出端220输出图13是表示与图12所示的本发明的图像信号编码设备的第三实施例相对应的图像信号解码设备的结构的方框图。
输入端130输入的4∶1∶1或4∶2∶0的基本数据经解-成帧单元131、VLC解码器132和解-量化单元133恢复为DCT系数。同样地，输入端140输入的增强型数据经解-成帧单元141、VLC解码器142和解量化器143恢复为DCT系数。来自解-量化器133的DCT系数和来自解-量化器143的DCT系数由加法器154相加，并送给反DCT单元134。然后，该生成的信号由解-分块单元136解-分块，并作为亮度信号Y从输出端230输出。
来自加法器154的合成输出通过对原始图像信号的亮度信号Y与色度信号C的低频分量之间的差值的解码来生成。
来自解-分块单元136的输出信号经上变频器152和LPF153上变频，自解-分块单元146的信号经上变频器162和HPF163上变频。然后，这些上变频信号由加法器155相加，并作为色度重现信号C从输出端240输出。
因而，4∶2∶2的扩展图像数据被重现。
在上述实施例中，包含亮度信号Y和色度信号C的高频分量的增强型数据被附加在4∶1∶1或4∶2∶0的基本数据上，从而形成了4∶2∶2的高质量的扩展图像数据。然而，高质量的图像数据的采样频率比值不局限为4∶2∶2，例如可以为4∶4∶4。在这种情况下，附加在基本数据上的增强型数据的频率分量比所述的实施例使用的采样频率高。
在本发明的图像信号编码设备和图像信号解码设备中，通过对亮度信号Y和色度信号C的两个色差信号的采样频率比值为4∶1∶1或4∶2∶0的基本图像数据压缩编码来生成基本数据，该基本数据被附加在包含色差信号C的高频分量的增强型数据上，因而形成了具有大体等于4∶2∶2的采样频率比值的压缩图像数据。由于有了这种数据结构，因此，当需要对现有的图像数字的4∶1∶1或4∶2∶0的格式一致的图像信号兼容时，它足以只转换基本数据。另一方面，当需要能够实现高精度图像的4∶2∶2的扩展图像数据时，增强型数据可以附加在基本数据上。因而，本发明提供了具有对不同压缩格式的这些数字图像数据兼容的高质量图像数据。
权利要求
1.用于压缩编码图像信号的图像信号编码设备，该设备包括第一压缩编码装置，用于转换和压缩编码具有亮度信号和两个色差信号的采样频率比值为4∶2∶2的基本图像信号，使其亮度信号和两个色差信号的采样频率比值为4∶1∶1或4∶2∶0，以便生成第一压缩数据；编码余数提取装置，用于提取基本图像信号与压缩数据之间的编码余数；和第二压缩编码装置，用于对提取的编码余数压缩编码，以便生成第二压缩数据。
2.根据权利要求1所述的图像信号编码设备，其特征在于第一压缩编码装置具有采样频率转换装置，用于转换图像信号的色度信号的采样频率。
3.根据权利要求1所述的图像信号编码设备，其特征在于第一压缩编码装置和第二压缩编码装置使用离散余弦变换执行压缩编码。
4.根据权利要求1所述的图像信号编码设备，其特征在于第二压缩编码装置使用子波变换或副带编码执行压缩编码。
5.根据权利要求1所述的图像信号编码设备，进一步包括一个频带分割滤波器，用于分割图像信号的色度信号的频带。
6.根据权利要求1所述的图像信号编码设备，其特征在于编码余数提取装置提取亮度信号和两个色差信号的采样频率比值为4∶2∶2的原始图像信号与亮度信号和两个色差信号的采样频率比值为4∶1∶1或4∶2∶0的解码图像信号之间的差值。
7.根据权利要求1所述的图像信号编码设备，其特征在于编码余数提取装置提取亮度信号和两个色差信号的采样频率比值为4∶1∶1的解码图像信号与亮度信号和两个色差信号的采样频率比值被变换到4∶1∶1的原始图像信号之间的差值。
8.根据权利要求1所述的图像信号编码设备，其特征在于编码余数提取装置提取亮度信号和两个色差信号的采样频率比值为4∶2∶0的解码图像信号与亮度信号和两个色差信号的采样频率比值变换到4∶2∶0的原始图像信号之间的差值。
9.根据权利要求1所述的图像信号编码设备，其特征在于编码余数提取装置提取亮度信号和两个色差信号的采样频率比值为4∶1∶1的图像信号的DCT系数与亮度信号和两个色差信号的采样频率比值变换到4∶1∶1的原始图像信号的DCT系数之间的差值。
10.根据权利要求1所述的图像信号编码设备，其特征在于编码余数提取装置提取亮度信号和两个色差信号的采样频率比值为4∶2∶0的图像信号的DCT系数与亮度信号和两个色差信号的采样频率比值变换到4∶2∶0的原始图像信号的DCT系数之间的差值。
11.根据权利要求1所述的图像信号编码设备，其特征在于图像信号是NTSC制式的电视信号。
12.根据权利要求1所述的图像信号编码设备，其特征在于图像信号是PAL制式的电视信号。
13.一种图像信号解码设备，用于对压缩编码图像信号扩展解码，该设备包括第一扩展解码装置，用于扩展解码亮度信号和两个色差信号的采样频率比值为4∶1∶1或4∶2∶0的预定信号标准的基本图像数据，该基本图像数据通过压缩编码原始图像信号生成；第二扩展解码装置，用于扩展解码亮度信号和两个色差信号的采样频率比值为4∶2∶2的增强型数据；和合成装置，用于合成第一扩展解码装置和第二扩展解码装置的输出，以便生成亮度信号和两个色差信号的采样频率比值为4∶2∶2的扩展图像数据。
14.根据权利要求13所述的图像信号解码设备，其特征在于第一扩展解码装置具有采样频率变换装置，用于变换图像信号的色度信号的采样频率。
15.根据权利要求13所述的图像信号解码设备，其特征在于第一扩展解码装置和第二扩展解码装置使用反离散余弦变换执行扩展解码。
16.根据权利要求13所述的图像信号解码设备，其特征在于第二扩展解码装置使用反子波变换或副带合成执行扩展解码。
17.根据权利要求13所述的图像信号解码设备，进一步包括一个频带合成滤波器，用于合成第一扩展解码装置和第二扩展解码装置扩展解码的色度信号。
18.根据权利要求13所述的图像信号解码设备，其特征在于预定信号标准的图像信号是NTSC制式的电视信号。
19.根据权利要求13所述的图像信号解码设备，其特征在于预定信号标准的图像信号是PAL制式的电视信号。
20.一种压缩编码图像信号的图像信号编码设备，该设备包括转换装置，用于把亮度信号和两个色差信号的采样频率比值为4∶2∶2的图像信号转换成亮度信号和两个色差信号的采样频率比值为4∶1∶1或4∶2∶0的基本图像信号；第一压缩装置，其中输入由转换装置转换的基本图像信号，该第一压缩装置适合完成第一压缩，以便输出第一压缩数据；编码余数提取装置，用于提取压缩前的基本图像信号与对压缩数据解码而生成的信号之间的编码余数；和第二压缩装置，其中输入代表提取的编码余数的数据，该第二压缩装置适合输出执行数据预定压缩而生成的第二压缩数据。
21.根据权利要求21所述的图像信号编码设备，其特征在于转换装置具有用于转换图像信号的色差信号的采样频率的采样频率转换装置，并根据采样频率转换装置把图像信号转换为基本图像信号。
22.根据权利要求21所述的图像信号编码设备，其特征在于第一压缩装置和第二压缩装置具有离散余弦变换装置，用于执行基本图像信号及输入其中的编码余数的离散余弦变换和压缩。
23.根据权利要求21所述的图像信号编码设备，其特征在于第二压缩装置执行子波变换或副带编码以完成压缩编码。
24.根据权利要求21所述的图像信号编码设备，其特征在于编码余数提取装置具有输入包含压缩数据的信号的解码装置，该解码装置适于对压缩数据解码；和对输入其中的图像信号和由解码装置解码的压缩数据执行运算的运算装置，该运算装置适于计算图像信号与解码的压缩数据之间的差值，以便提取运算装置的输出信号以作为编码余数。
25.根据权利要求21所述的图像信号编码设备，其特征在于编码余数提取装置具有输入压缩数据的解码装置，该解码装置适于对压缩数据解码；和对输入其中的来自变换装置的基本图像信号和由解码装置解码的压缩数据执行运算的运算装置，运算装置适于计算基本图像信号与解码的压缩数据之间的差值，以便提取运算装置的输出信号以作为编码余数。
26.根据权利要求21所述的图像信号编码设备，其特征在于编码余数提取装置具有输入压缩数据的解码装置，该解码装置适于对压缩数据解码；和运算装置，用于计算基本图像信号与解码装置解码的压缩数据的DCT系数之间的差值，以便提取运算装置的输出信号以作为编码余数。
27.根据权利要求21所述的图像信号编码设备，进一步包括频带分割装置，用于分割图像信号的色度信号的频带；其中，频带分割装置输出的色度信号的低频分量和图像信号的亮度信号送给转换装置，以便输出基本图像信号；和频带分割装置输出的色度信号的高频分量和代表来自编码余数提取装置的编码余数的数据一起送入第二压缩装置，并执行代表编码余数和色度信号高频分量的数据的第二压缩操作，以便输出第二压缩数据。
28.一种对压缩图像信号解码的图像信号解码设备，该设备包括第一解码装置，用于对亮度信号和两个色差信号的采样频率比值为4∶1∶1的压缩的第一图像信号解码；第二解码装置，用于对亮度信号和两个色差信号的采样频率比值为4∶2∶2的压缩的第二图像信号解码；和合成装置，用于合成第一解码装置和第二解码装置的输出信号，以便生成亮度信号和两个色差信号的采样频率比值为4∶2∶2的图像信号。
29.根据权利要求28所述的图像信号解码设备，其特征在于第一解码装置具有采样频率变换装置，用于变换图像信号的色度信号的采样频率。
30.根据权利要求28所述的图像信号解码设备，其特征在于第一解码装置和第二解码装置使用反离散余弦变换执行解码。
31.根据权利要求28所述的图像信号解码设备，其特征在于第二解码装置使用反子波变换或副带合成执行解码。
32.根据权利要求28所述的图像信号解码设备，进一步包括频带合成滤波器装置，用于合成第一解码装置和第二解码装置解码的色度信号。
全文摘要
一种图像信号编码设备和一种图像信号解码设备。图像信号编码设备包括:生成第一压缩数据的第一压缩编码装置;提取基本图像信号与压缩数据之间的编码余数的编码余数提取装置;和生成第二压缩数据的第二压缩编码装置。图像信号解码设备包括:扩展解码预定信号标准的基本图像数据的第一扩展解码装置;扩展解码增强型数据的第二扩展解码装置;和合成装置,用于合成第一扩展解码装置和第二扩展解码装置的输出以生成扩展图像数据。
文档编号H04N11/04GK1198044SQ9810698
公开日1998年11月4日 申请日期1998年3月17日 优先权日1997年3月17日
发明者桥野司, 长泽史浩, 早川知男, 泷冢博志 申请人:索尼公司