专利名称：图像压缩装置的制作方法
技术领域：
本发明涉及图像压缩解压缩法、图像压缩装置和图像解压缩装置，更详细地说，涉及对将图像数据分割后的每一个数据块进行正交变换和量化处理的JPEG等图像压缩解压缩法的改良。
背景技术：
作为由静止图像构成的图像数据的压缩解压缩方法，普遍知道一种经CCITT(international Telegraph and TelephoneConsultative Committee国际电报电话咨询委员会)和ISO(International Standards Organization国际标准化组织)标准化后的JPEG(Joint Photographic Expert Group联合图像专家组)规格。在该JPEG规格中，规定了一种图像数据的压缩方法及其解压缩方法，在该方法中，将8×8个像素作为1个数据块，将帧图像分割成多个数据块，而且通过将空间坐标变换成频率坐标来进行。
在JPEG规格的数据压缩器(以下，称作JPEG压缩器)中，将输入的图像数据分割成多个数据块，对每一个数据块进行DCT(Discrete Cosine Transform离散余弦变换)处理和量化处理。在该量化处理中，将利用量化表按每一个DCT系数规定的数据乘以量化因子Q所得到的值作为量化步长使用。利用该量化步长量化由DCT处理所求出的DCT系数，由此，可以不可逆地减少数据量。然后，利用行程(run-length)处理、差分处理和哈夫曼编码处理等进行熵编码处理，生成压缩图像数据。该编码处理是可逆地减少数据量的处理。
另一方面，在JPEG规格的数据解压缩器(以下，称作JPEG解压缩器)中，进行和上述JPEG压缩器相反的处理，恢复图像数据。即，对输入的压缩图像数据进行译码，使用相同的量化表和量化因子Q进行逆量化处理。然后，在逆DCT处理部中进行逆DCT变换，通过合成各数据块来恢复图像数据。
在上述JPEG压缩器中，当要提高数据压缩率时，有必要改变量化表或量化因子Q并增大量化步长。但是，在作为不可逆处理的量化处理中，如果减少太多的数据量，则复原的图像数据的质量会明显下降。而且，该质量的下降是在整个画面上产生的，所以，将导致即使图像中存在重要区域和非重要区域的情形，在该两个区域中，图像质量一样会下降。
为了解决这样的问题，过去曾提出一种使复原后的图像质量对图像中的各个区域都有差异的压缩处理法(例如，专利文献1)。在专利文献1中，公开了一种数据压缩处理器，具有将量化处理前的DCT系数屏蔽的屏蔽电路。在该数据压缩处理器中，通过使屏蔽电路中所使用的屏蔽因区域而不同，对重要区域进行高图像质量的编码，对非重要区域进行低图像质量的编码。
但是，在该数据压缩处理器中，有必要在一连串的DCT处理和量化处理的过程中进行屏蔽处理，所以，存在不能使用像JPEG芯片组那样的通用JPEG压缩处理器，且数据压缩处理器的价格较昂贵的问题。此外，由于上述屏蔽处理是数据块内的处理，故能够减少的数据量有限。
专利文献1特开平06-054310号公报作为解决上述问题的一个提案，本发明申请人进行了现有的专利申请(特愿2003-43367号)。在该现有申请中，公开了一种技术，即作为JPEG压缩处理的前处理，将图像数据分割成多个小区域，对部分小区域进行下降抽样处理。该下降抽样处理是利用下降抽样将分割后的小区域内的图像数据缩小使其和上述块一致、并在该区域的剩余部分内插入填充数据的处理。若使用该方法，则可以使用通用的JPEG压缩处理器来减少数据量，而且，可以使图像质量因图像中的区域而有所不同。
发明内容
本发明是鉴于上述问题提出的，其目的在于提高使用了下降抽样处理的图像压缩装置的数据压缩率。此外，本发明的目的在于提高可使用通用的数据压缩器和数据解压缩器、通过使图像中的每一个区域的质量有所不同来减少数据量的图像压缩装置的数据压缩率。本发明的目的还特别在于，通过使用JPEG压缩器和JPEG解压缩器来实现更高的压缩率。
本发明第1方面的图像压缩装置由下降抽样装置、再配置装置和数据压缩装置构成。下降抽样装置将图像数据分割成大小是块尺寸的整数倍的下降抽样区域。下降抽样装置对该下降抽样区域中的至少一部分下降抽样区域进行下降抽样并减少像素数，生成大小是块尺寸的整数倍的缩小数据。再配置装置在1个下降抽样区域内配置2个或者2个以上的缩小数据，在该下降区域内对剩下的像素插入填充数据，同时，除去未配置缩小数据的下降抽样区域。数据压缩装置将由上述再配置装置生成的图像数据分割成大小为上述块尺寸的块区域，进行包含对各块区域的正交变换和量化处理的压缩处理，从而生成压缩图像数据。利用这样的结构对一部分图像区域进行下降抽样和再配置，并作为数据压缩步骤的前处理，可以在空间上压缩图像数据。
而且，上述下降抽样区域分割装置将图像数据分割成尺寸不同的2个或者2个以上的下降抽样区域，上述下降抽样装置与下降抽样区域的大小相对应，进行缩小率不同的下降抽样，生成同一大小的抽样数据。通过这样的结构，可以将缩小率不同的下降抽样组合使用，并能够提高数据压缩率。
本发明第2方面的图像压缩装置的下降抽样装置对至少一部分下降抽样区域进行下降抽样，生成缩小数据，并将该缩小数据汇集在一起，生成新的下降抽样区域，再对该新的下降抽样区域再度进行下降抽样，生成大小是块尺寸的整数倍的新的缩小数据。通过这样的结构，可以容易将缩小率不同的下降抽样组合起来使用。
本发明第3方面的图像压缩装置进行由亮度数据和色差数据构成的图像数据的压缩处理，由下降抽样区域分割装置、亮度下降抽样装置、亮度数据再配置装置、色差下降抽样装置、色差数据再配置装置和数据压缩装置构成。下降抽样区域分割装置将构成图像数据的亮度数据分割成大小是块尺寸的整数倍的亮度下降抽样区域，将构成上述图像数据的色差数据分割成大小是块尺寸的整数倍的色差下降抽样区域。
下降抽样后的亮度数据由亮度下降抽样装置和亮度数据再配置装置处理。亮度下降抽样装置对至少一部分亮度下降抽样区域进行亮度数据的下降抽样，减少数据量，生成大小是块尺寸的整数倍的缩小亮度数据。亮度数据再配置装置在1个亮度下降抽样区域内配置2个或者2个以上的缩小亮度数据，在该亮度下降抽样区域内对剩下的像素插入填充数据。这时，在亮度下降抽样区域内的规定位置配置缩小亮度数据，而将大小为块尺寸的识别区域保留下来。
另一方面，下降抽样后的色差数据由色差下降抽样装置和色差数据再配置装置进行处理。色差下降抽样装置对根据已进行下降抽样后的亮度下降抽样区域所确定的色差下降抽样区域进行色差数据的下降抽样，减少数据量，生成大小为块尺寸的整数倍的缩小色差数据。色差数据再配置装置在1个色差下降抽样区域内配置2个或者2个以上的缩小色差数据。
通过这样的构成，可以不必在已再配置缩小色差数据的色差下降抽样区域配置识别区域，提高由亮度数据和色差数据构成的图像数据的压缩效率。
本发明第4方面的图像压缩装置除了上述构成之外，还具有色差数据分割装置，将未进行下降抽样的色差下降抽样区域分割成和缩小色差数据大小相同的块，并生成分割色差数据，上述色差数据再配置装置构成为对缩小色差数据和分割色差数据进行再配置。
通过这样的构成，因对于色差数据，不光是缩小数据，对非缩小数据也能够进行再配置，故可以进一步提高由亮度数据和色差数据构成的图像数据的压缩效率。
若按照本发明，可以提高使用了下降抽样处理的图像压缩装置的数据压缩率。此外，可以使用通用的数据压缩器和数据解压缩器，并能够提高通过使图像中的每一个区域的质量不同来减少数据量的图像压缩装置的数据压缩率。特别是，通过使用JPEG压缩器和JPEG解压缩器可以实现更高的压缩率。
图1是表示本发明实施形态1的图像压缩解压缩系统的一个构成例的方框图。
图2是表示图1的发送单元Ut的一个构成例的方框图。
图3是表示图1的接收单元Ur的一个构成例的方框图。
图4是表示图2的图像压缩部11的一个构成例的方框图，示出图像缩小变换器13和JPEG编码器14的详细构成例。
图5是表示一例图像压缩部11中的DS区域分割和下降抽样的图。
图6是表示下降抽样部131的详细构成例的方框图。
图7是表示一例图像缩小变换器13的动作的图。
图8是表示一例量化数据表T1的图。
图9是表示图3的图像解压缩器21的一个构成例的方框图，示出JPEG译码器23和图像放大变换器24的详细构成例。
图10是表示当DS区域是16×16个像素、缩小数据是8×8个像素时DS区域内所有的配置状态的图。
图11是表示将图像数据分割成32×32个像素的DS区域、对8×8个像素的缩小数据进行下降抽样后进行再配置时的情形的图。
图12是表示本发明实施形态3的一例图像压缩解压缩系统的动作的图。
图13是表示当DS区域是16×16个像素、缩小数据是8×8个像素时DS区域内所有的配置状态的图。
图14是表示本发明实施形态4的一例图像压缩解压缩系统的动作的图。
图15是承接图14表示一例图像压缩解压缩系统的动作的图。
图16示出本发明实施形态5的图像缩小变换器13的详细构成。
图17是表示图16的下降抽样部131s的详细构成例的方框图。
图18是表示本发明实施形态5的一例图像压缩解压缩系统的动作的图。
图19示出本发明实施形态5的图像放大变换器24的详细构成。
图20是表示一例YUV422格式的图像数据的图。
图21是表示本发明实施形态6的一例图像压缩解压缩系统的动作的图。
图22是表示本发明实施形态7的图像缩小变换器13的一个构成例的方框图。
图23是表示图22的一例图像缩小变换器13的非缩小数据分割处理之前的处理的图。
图24是表示图22的一例再配置部132s的动作的图。
图25是表示一例在水平方向反复出现重要区域和非重要区域的图像数据的图。
图26示出向实施形态6和7的图像缩小变换器13输入图25的图像数据时的输出数据。
具体实施例方式
<图像传送系统>
图1是表示本发明实施形态1的图像压缩解压缩系统的一个构成例的方框图，示出了一例图像传送系统。该图像传送系统由利用通信网络100连接的发送单元Ut和接收单元Ur构成，可以将图像数据压缩后，从发送单元Ut向接收单元Ur传送。这里，与发送单元Ut连接的图像输入装置101的图像数据向与接收单元Ur连接的图像输出装置102传送。
通信网络100由用来传送数字数据的有线或无线通信线路构成，必要时包含交换机和中继机等。例如，可以利用以态网(登录商标)、因特网、ATM(Asynchronous Transfer Mode异步传输方式)等数据通信网或其它数字网络。
图像输入装置101是提供图像数据的装置，例如，有照相机等摄像装置、扫描器等图像读取装置和HDD(Hard Disc Drive硬盘驱动器)等数据存储装置等构成。在本实施形态中，图像输入装置101生成由RGB格式形成的静止图像数据，并向发送单元Ut输出。再有，本说明书中的静止图像是指由2维展开配置的多个像素构成的图像，包含构成活动图像的各帧图像或帧间的差分图像等。
图像输出装置102是利用从接收单元Ur输出的图像数据的装置，例如，由LCD等显示装置、打印机等图像形成装置和HDD(HardDisc Drive硬盘驱动器)等数据存储装置等构成。
<发送单元>
图2是表示图1的发送单元Ut的一个构成例的方框图。该发送单元Ut由YUV变换部10、图像压缩部11和数据发送部12构成。图像输入装置101生成的图像数据首先在YUV变换部10中变换成YUV格式的图像数据后，在图像压缩部11中经压缩处理，变成数据量减少后的压缩数据。该压缩数据由数据发送部12向通信网络100送出。
YUV变换部10是将RGB格式的图像数据变换成预定的YUV格式(例如YUV410、411、420、422、444)的图像数据的格式变换装置。再有，在从图像输入装置101输入YUV格式的图像数据或者直接对RGB格式的图像数据进行JPEG压缩的情况下，YUV变换部10可以省略。
图像压缩部11由图像缩小变换器13和JPEG编码器14构成。图像缩小变换器13将输入图像分割成多个小区域，对至少一部分小区域降低分辨率，进而，通过重新排列这些小区域使整个图像的尺寸缩小。根据所要求的图像质量，对上述每一个小区域实施该低分辨率。另一方面，JPEG编码器14对图像数据进行JPEG规格的压缩处理，从而生成数据量进一步被减少的压缩数据。
<接收单元>
图3是表示图1的接收单元Ur的一个构成例的方框图。该接收单元Ur由RGB变换部22、图像解压缩部21和数据接收部20构成。从接收单元Ur向通信网络100送出的压缩数据被数据接收部20接收。所接收的压缩数据在图像解压缩部21中进行解压缩处理，复原成YUV格式图像数据。该图像数据在RGB变换部22中变换成RGB格式，并向图像输出装置102输出。
图像解压缩部21由JPEG译码器23和图像放大变换器24构成。从数据接收部20来的压缩数据在JPEG译码器23中进行JPEG规格的解压缩处理，复原成JPEG压缩前的图像数据。解压缩的图像数据利用图像放大变换器24中的重新排列和高分辨率化，放大图像尺寸，复原成低分辨率之前的图像数据。
RGB变换部22将从图像放大变换器24输出的YUV格式的图像数据变换成RGB格式，并向图像输出装置102输出。再有，在向图像输出装置102输入YUV格式的图像数据或者直接对RGB格式的图像数据进行JPEG压缩的情况下，RGB变换部22可以省略。
<图像压缩部>
图4是表示图2的图像压缩部11的一个构成例的方框图，示出图像缩小变换器13和JPEG编码器14的详细构成例。图像缩小变换器13由下降抽样区域分割部(DS区域分割部)130、下降抽样部131和再配置部132构成。
<DS区域分割部>
DS区域分割部130将YUV变换后的图像数据分割成多个DS区域。各DS区域可以是具有任意的像素数、任意形状的区域，但若考虑压缩效率，则最好以JPEG编码器14中使用的块作为基本单位，将其集合体作为DS区域。
因JPEG的块尺寸是8×8个像素，故作为其整数倍的DS区域的尺寸可以考虑是16×16个像素、32×32个像素、24×16个像素和8×32个像素等。但是，当将后述的块尺寸的识别区域插入到各DS区域内时，为了通过再配置来使整个图像区域缩小，有必要将DS区域大小设定为块尺寸的3倍或者3倍以上。
此外，各DS区域可以有不同的尺寸和不同的形状，但是考虑容易进行后述的再配置处理，则最好是同一尺寸和同一形状，进而最好是矩形(特别是正方形形状)。下面，以将整个图像区域分割成16×16个像素构成的同一尺寸的DS区域的情况为例说明本实施形态。
下降抽样部131对至少一部分DS区域进行构成该DS区域的各像素数据的下降抽样，并变换成使像素数减少的缩小数据。若考虑JPEG编码器中的压缩率，则该缩小数据的大小最好是块尺寸的整数倍，这里，假定是和块的尺寸(8×8个像素)一致。
作为下降抽样处理的对象的DS区域根据各DS区域所要求的图像质量来决定。例如，当在整个图像区域中有要求高图像质量的重要区域和不是高图像质量的非重要区域时，只对作为非重要区域的DS区域进行下降抽样处理。例如，对包含重要区域的DS区域直接原样输出输入数据(非缩小数据)，对不包含重要区域的DS区域输出由下降抽样处理得到的缩小数据。
重要区域和非重要区域的判别、即作为下降抽样对象的DS区域的判别可以预先决定，或者由操作者指定。此外，也可以根据未图示的传感器的输出信号自动判别重要区域和非重要区域，还可以根据图像数据来自动判别。例如，可以根据活动图像的帧间的比较结果，将活动区域判定为重要区域。此外，也可以将变化较小的平坦图像区域判定为非重要区域。
下降抽样处理可以利用抽出DS区域内的像素的分样(引き)处理或使用了低通滤波器的滤波处理来实现。这时，可以只使用分样处理来实现下降抽样处理，但是，通过同时实施滤波处理和分样处理，可以实现失真小的高精度下降抽样处理。例如，在作为低通滤波器使用了高斯滤波器(ガウシアンフイルタ)的处理中，将1次高斯滤波器用于图像数据的水平方向，对作为其结果而得到的数据，在垂直方向使用同样的滤波器。这样，对通过高斯滤波器进行了滤波处理后的图像数据进行分样处理，从而可以进行高精度的下降抽样处理。
图5(a)和(b)是表示一例图像压缩部11中的DS区域分割和下降抽样的图。图5(a)示出将整个图像区域分割成16×16像素的DS区域A1的情形。图中的BL是8×8个像素的JPEG块。DS区域分割部130使分割的基准位置(图的左上方)和JPEG的块分割的情形相一致，从而使DS区域A1变成块BL的集合体。下降抽样部131对作为非重要区域的DS区域A1进行下降抽样，使该DS区域内的像素数在纵横方向分别为原来的1/2，变换为8×8像素的缩小数据。同样，图5(b)示出将整个图像区域分割成32×32像素的DS区域A2的情形。作为由DS区域分割部130分割的非重要区域的DS区域A2利用下降抽样部131变换成纵横方向分别下降抽样为原来的1/4的8×8像素的缩小数据。
图6是表示下降抽样部131的详细构成例的方框图。该下降抽样部131是根据DS区域内的各像素数据进行下降抽样的适应型下降抽样部，对于包含轮廓或微小变化的DS区域，使其维持较高的图像质量，另一方面，对于由平坦图像形成的DS区域，使其分辨率降低，从而减少数据量。
该适应型下降抽样部由低通滤波器30、分样处理部31、输出选择部32、减法器33和下降抽样判定部(DS判定部)34构成，输入构成DS区域的16×16像素的像素数据f16(x，y)。像素数据f16(x、y)是DS区域内的坐标(x，y)的亮度数据Y或色差数据U，V。
输入像素数据f16(x、y)在低通滤波器30中除去高频成分，变成低频成分的像素数据fL(x，y)。该像素数据fL(x，y)进而在分样处理部31中每隔1位进行分样，变成由下式表示的8×8像素的像素数据f8(x，y)。
f8(x，y)＝fL(2x，2y)其中x，y＝0，1，2，...，7 (1)即，在低通滤波器30和分样处理部31中进行下降抽样处理，生成缩小数据。输出选择部32选择作为非缩小数据的像素数据f16(x，y)或作为缩小数据的像素数据f8(x，y)中的一者，并将其作为输出像素数据f0(x，y)向再配置部132输出。
DS判定部34根据DS区域内包含的高频成分判定是否进行下降抽样处理，并根据该判定结果切换控制输出选择部32。该DS判定部34由MSH(Mean Square High Frequency component高频成分的均方值)计算部35和阈值比较部36构成，输入在减法器33中求得的高频成分的像素数据fH(x，y)。MSH计算部35可以按照下式求出像素数据fH(x，y)的平方和(MSH)。
MSH=116×16Σx=015Σy=015{fH(x,y)}2---(2)]]>fH(x，y)＝f16(x，y)-fL(x，y) (3)阈值比较部36将由上式求得的MSH和规定的判定阈值Th进行比较，当MSH小于判定阈值Th时，向输出选择部32输出下降抽样后的像素数据f8(x，y)，当大于等于判定阈值Th时，原样输出输入像素数据f16(x，y)。
[再配置部]再配置部132进行下降抽样部131的输出数据的重新排列，生成将整个图像尺寸缩小后的图像数据，向JPEG编码器14输出。从下降抽样部131输出的数据混合有由16×16像素构成的非缩小数据和由8×8像素构成的缩小数据。因此，若将2或者2以上的缩小数据集中起来在同一DS区域内进行再配置，则可以减少DS区域的个数，缩小整个图像的尺寸。
当在下降抽样部131中对连续各DS区域进行下降抽样并连续输出缩小数据时，再配置部132将这些缩小数据按顺序配置在同一个DS区域内。当缩小数据不连续或者连续的次数较少时，在将该缩小数据配置在DS区域内之后，在剩下的部分插入填充数据。填充数据是预定的任意像素数据。再有，将插入了填充数据的区域称作填充区域。
此外，在配置有缩小数据的DS区域内，与上述空区域不同，常常设置由8×8像素构成的填充区域。该填充区域是可识别该DS区域是配置了缩小数据的区域的识别区域，其在DS区域内的位置是预先确定的。缩小区域在DS区域内的配置顺序也是预先确定的，而且，因将空区域变成填充区域，故接收单元Ur可以根据这些填充数据对缩小数据的配置进行复原，不必从发送单元Ut向接收单元Ur另外再传送与缩小数据的配置有关的信息。此外，通过将上述空区域或识别区域作为插入了同一数据的填充区域，可以提高在JPEG编码器14进行压缩处理时的压缩率。
再有，JPEG编码器14不能处理由矩形以外的形状构成的图像数据。因此，再配置部132在减少了DS区域的图像数据的末尾添加只由填充数据构成的DS区域，并将图像数据整形为矩形形状。
图7的(a)～(c)是表示一例图像缩小变换器13的动作的图。DS区域分割部130、下降抽样部131和再配置部132的处理分别从图像数据的左上方开始，在水平方向从左至右按顺序进行。此外，当直到图像数据右端的处理结束后，使处理对象向下方移动，对于位于已处理区域的正下方的区域重复进行同样的处理。
图中的(a)示出DS区域分割的形态。DS区域分割部130对于从图像输入装置101输入的96×96像素的图像数据，将该图像的整个区域分割成36个16×16像素的DS区域(#1～#36)，并将各DS区域的图像数据依次向下降抽样部131输出。其中，#22、#28和#34是重要区域，其余的DS区域是非重要区域。
图中的(b)示出下降抽样的形态。下降抽样部131对于从DS区域分割部130依次输出的各DS区域，判别其是重要区域还是非重要区域。其结果，当判别为是重要区域时，不进行下降抽样，并输出16×16像素的像素数据。另一方面，当判别是非重要区域时，分别进行下降抽样，将纵横像素数减少至原来的1/2，输出由8×8像素构成的缩小数据。
图中的(c)示出了数据再配置的形态。当从下降抽样部131输出缩小数据时，再配置部132按DS区域的左上、右上、左下的顺序进行配置。此外，对DS区域右下的8×8像素插入填充数据，使其变成填充区域(识别区域)。图中，#1～#3配置在最初的DS区域内，#4～#6配置在下面的DS区域内。此后同样，将连续的缩小数据#1～#21每3个为一组配置在DS区域内。
然后，当从下降抽样部131输出非缩小数据#22时，再配置部132将该数据#22配置在新的DS区域内。然后，再输出连续的缩小数据#23～#27，且每3个为一组将其配置在DS区域内。其次，在从下降抽样部131输出非缩小数据#28的时刻，对当前的DS区域只配置2个缩小数据(#26、27)。因此，再配置部132对DS区域的左下方的空区域也插入填充数据，使其变成填充区域。
其次，当按顺序输出缩小数据#29～#33和非缩小数据#34时也完全是同样的配置。而且，在配置了最后的缩小数据的时刻，因该DS区域内剩下空区域(左下)，故对该空区域也插入填充数据。最后，增加只由填充数据构成的3个DS区域，将整个图像的形状整形成矩形，并结束再配置部132的处理。
再有，再配置部132在缩小图像数据时，使缩小的图像数据的水平方向的尺寸(像素数)和原来的图像尺寸一致，只缩小垂直方向的尺寸。这样，若根据原来的图像数据决定与再配置部132的处理方向有关的图像数据的尺寸，则即使没有关于原来的图像尺寸的信息，也可以在图像放大变换器24中正确地进行复原。因此，没有必要从发送单元Ut向接收单元Ur另外传送关于图像尺寸的信息。
此外，YUV格式的图像数据由1个亮度数据Y和2个色差数据U、V构成，所以，上述DS区域分割部130、下降抽样部131和再配置部132分别对这3个数据进行上述处理。
此外，从下降抽样部131向再配置部132输出的数据可以只是缩小数据和非缩小数据，也可以是对已进行下降抽样的DS区域内的空区域插入了填充数据(即，和原图像数据的区域尺寸相同的数据)后的数据。
<JPEG编码器>
JPEG编码器14由块分割部140、DCT处理部141、量化处理部142、编码部143、量化表T1和代码表T2构成(参照图4)。从图像压缩变换器输出的图像数据在块分割部140中分割成由8×8像素构成的多个块。DCT处理部141对分割后的每一个块进行离散余弦变换并求出DCT系数。这样求出的各DCT系数通过量化处理部142，并使用量化表T1进行量化。
图8是表示一例量化表T1的图，用来规定量化步长的数据对水平方向和垂直方向的每一个频率成分呈矩阵状示出。通常，亮度数据和色差数据的量化处理使用不同的量化表，图中的(a)示出亮度数据用量化表的例子，(b)示出色差数据用量化表的例子。这些数据表都由量化步长随频率的增加而增大的数据构成，在这一倾向中，色差用量化表比亮度用量化表更明显。
量化处理部142在量化处理DCT系数时，从量化表T1中读出与该DCT系数对应的数据，将读出的数据进一步乘以量化因子(量化系数)Q所得到的值作为量化步长使用。该量化因子Q是用来调整压缩率和图像质量的任意值，并预先给定。若该量化因子Q增大，则量化步长增大，可以提高数据压缩率，但是，随之会发生块失真。使图像质量降低。
当使用图6所示的适应型下降抽样部131时，若阈值比较部36中的判定阈值Th增大，则可以减少JPEG压缩后的数据量。因此，可以使用较小的量化因子Q来得到所要的压缩率。但是，当该判定阈值Th过大时，亦会招致轮廓或细微变化的区域的图像质量变差。因此，为了使复原后的图像数据有良好的质量，有必要决定判定阈值Th和量化因子Q的组合。即，判定阈值Th根据量化因子Q决定，量化因子Q根据判定阈值Th决定。
编码部143对量化后的AC系数进行块内的行程变换处理，对量化后的DC系数进行块间的差分处理，然后，对这些数据进行使用了熵代码的编码处理。熵代码是具有与出现概率相对应的代码长度的代码体系，普遍知道的有哈夫曼代码。代码表T2保持有哈夫曼代码的代码表，编码部143使用该代码表T2进行上述编码处理。
<图像解压缩部>
图9是表示图3的图像解压缩部21的一个构成例的方框图，示出了JPEG译码器23和图像放大变换器24的详细构成例。
JPEG译码器23由译码部230、逆量化处理部231、逆DCT处理部232、量化表T1和代码表T2构成，进行和JPEG译码器14相反的处理，对压缩数据进行解压缩，并复原JPEG压缩前的图像数据。再有，量化表T1和代码表T2有必要使用和JPEG编码器14相同的数据表，必要时可以附加在压缩数据上，从发送单元Ut向接收单元Ur传送。
译码部230使用代码表T2对压缩数据中的哈夫曼代码进行译码，进而，对差分处理后的DC系数和行程变换后的AC系数进行译码。译码处理后的数据在逆量化处理部231中使用量化表T1进行逆量化，复原每一个块的DCT系数。该DCT系数在逆DCT处理部232中进行逆DCT处理，复原JPEG压缩处理前的图像数据、即复原由图像缩小变换器13缩小后的图像数据。
图像放大变换器24由DS区域分割部240、配置复原部241和内插处理部242构成，进行和图像缩小变换器13相反的处理，复原缩小处理前的图像数据。首先，DS区域分割部240将从JPEG译码器23输出的图像数据分割成多个DS区域。该DS区域使用了和发送单元Ut的DS区域分割部130所使用的DS区域相同的尺寸(这里是16×16像素)。
配置复原部241根据分割后各DS区域存在的填充区域判别该DS区域内的非缩小数据或缩小数据的配置状态，根据该判别结果进行缩小数据的重新排列，然后向内插处理部242输出。
图10的(a)～(e)是表示当DS区域是16×16个像素、缩小数据是8×8个像素时DS区域内的所有的配置状态的图。(a)是DS区域内不存在填充区域的情况，可以判别出配置了非缩小数据。该判别可以通过只判别DS区域内的右下方不是填充区域来进行。(b)～(d)是DS区域内配置了1～3个缩小数据的情形，(e)是DS区域只由填充区域构成的情形，任何一个都可以通过8×8像素构成的填充区域的个数来判别。
再有，考虑在16×16像素的DS区域配置由8×8像素构成的任意个数的填充区域、配置模式的组合有24种的情况，若除去(a)和(e)的配置模式，则变成14种。即，1个填充区域的配置模式有4种，2个的配置模式有6种，3个的配置模式有4种。因此，(b)～(d)情况下的填充区域的配置方法不限于本实施形态的例子，当然可以从上述14种模式中任意选择。
内插处理部242对于从配置复原部241输出的缩小数据，在像素之间内插完毕后使像素数增大，复原成下降抽样之前的原来的大小(即DS区域的尺寸)。该内插处理可以使用LP放大法、线性内插、2次内插、3次内插等。LP放大法是推定下降抽样部抽样时失去的高频成分后复原图像的方法。另一方面，对非缩小数据不进行内插处理。这样，复原成由图像缩小变换器13缩小尺寸之前的图像数据，并向RGB变换部20输出。
再有，YUV格式构成的图像压缩数据由分别将1个亮度数据Y和2个色差数据U、V压缩后的压缩数据构成，所以，上述DS区域分割部240、配置复原部241、内插处理部242分别对这3个压缩数据进行上述处理。
在上述实施形态中，说明了将图像数据分割成16×16像素的DS区域，并对一部分区域进行下降抽样，使其变成8×8像素的例子。但是，本发明不限于这样的像素数。
<32×32的DS区域>
图11的(a)～(c)是表示将图像数据分割成32×32个像素的DS区域、对8×8个像素的缩小数据进行下降抽样后进行再配置时的图。在(a)中，将整个图像区域分割成32×32个像素构成的多个DS区域。在(b)中，对不包含重要区域的DS区域分别进行下降抽样，分别使纵横像素数变为原来的1/4，从而将其变换成8×8个像素的缩小数据。在(c)中，将连续的缩小数据集中起来，再配置在同一个DS区域内，并缩小了整个图像区域的尺寸。
在图11中，与图7的情况相比较，虽然缩小后的整个图像区域的尺寸变大，但是，当进一步增大整个图像区域、并存在多个连续的非重要区域时，可以期待使整个图像区域的尺寸比图7的方法更小。
实施形态2在实施形态1的图像压缩解压缩系统中，图像放大变换器24内的配置复原部241根据DS区域内存在的填充区域的位置，判别非缩小数据和缩小数据的配置。因此，当非缩小数据的一部分或缩小数据与填充区域一致时，配置复原部241有进行错误判别之虞。在本实施形态中，对能够防止这样的误判别的图像压缩解压缩系统进行说明。
一般地，利用JPEG编码器14压缩处理后的图像数据会产生量化误差。即，如果采用任意值作为填充数据，则在图像缩小变换器13中插入到图像数据中的填充数据，之后在经过JPEG压缩处理和JPEG解压缩处理后再向图像放大变换器24输入的时刻，有可能变成不同的数据。这时，配置复原部241不能正确地判别缩小数据。
作为避免这样的误判别的第1对策，考虑在图像放大变换器24中采用即使产生量化误差也能够判别填充数据的判别方法。即，配置复原部241若将处于下述范围内的像素数据判别为填充数据，则即使产生量化误差，也可以正确地判别填充数据，其中该范围以填充数据为中心并具有基于量化误差的最大值的宽度。
此外，作为避免这样的误判别的第2对策，考虑采用不受量化误差影响的值作为填充数据。即，若将量化处理部142中的某一个量化阶(quantizationstep)作为填充数据，则不会因量化处理而使填充数据变成不同的值，可以在配置复原部241中正确地判别缩小数据。
但是，在JPEG编码器14中，由量化表T1和量化因子Q给出量化步长，根据该量化步长决定量化阶。因此，若量化表T1和量化因子Q变化，则量化误差的最大值和量化阶也发生变化，必须改变填充数据。但是，只有作为根据量化步长求出量化阶时的基准值的0与量化步长无关，始终是一个量化阶。因此，在采用上述第2对策，最好采用量化处理时的值0作为填充数据。
在JPEG编码器14内，为了运算处理的方便，从各像素数据减去中心值，进行电平移动，变换成带代码的数据，然后进行DCT处理。接着，在JPEG译码器23内，通过使逆DCT处理结束后的像素数据加上上述中心值，返回到原来的像素数据。因此，可以将该中心值作为填充数据采用。
一般地，各像素数据由8位来表现，取0～255的值，所以，在JPEG编码器14内，从各像素数据中减去该中心值128，再变换成带代码的数据。即，量化处理时刻的DCT系数0相当于像素数据的平均值128。因此，若将填充数据作为像素数据的中心值128，则量化处理时的DCT系数全部为0，与量化步长无关，填充数据不受量化误差的影响。
其次，如上所述，在JPEG规格的压缩解压缩处理中，越是高频成分，越要使用使量化步长增大的量化表T1(参照图8)。因此，在经JPEG压缩解压缩处理后再复原的图像数据中，有可能包含压缩过程中只挤入DC成分的块。在这样的块中，复原后所有像素的值一致，该值变成压缩前的像素单元的平均值(只是整数)。因此，构成JPEG块的像素数据的平均值是接近填充数据的值时，经过JPEG压缩解压缩处理，该JPEG块内的所有像素和填充数据一致，导致可能无法与填充区域相区别。即，配置复原部241对填充区域进行误判别，有可能在图像放大变换器24中不能正确地复原原来的图像数据。
为了防止这样的填充区域的误判别，在再配置部132中，有必要对平均值在128附近的JPEG块进行加工，使该平均值远离128。具体地说，假定经JPEG压缩解压缩处理的块内的平均值的最大变动幅度小于α，则对于JPEG压缩前的平均值与128的差小于α的块，可以改变像素数据，使该平均值变成128+α或128-α。例如，设块内的像素数据是f(x，y)，当满足下式(5)时，有必要预先使图像数据的平均值变成128-α，当满足下式(6)时，有必要预先使图像数据的平均值变成128+α。
128-α<164Σx=07Σy=07f(x,y)≤128---(5)]]>128≤164Σx=07Σy=07f(x,y)<128+α---(6)]]>说明这样的α的决定方法。在JPEG的DCT处理中，DC系数可由下式(7)求出。因此，当使JPEG块内的平均值只改变α时，DC系数只变化16α。例如，当对各像素数据分别加α时，DC系数只增大16α。
DC==14Σx=07Σy=07f(x,y)---(7)]]>如上所述，DC系数在量化处理部142中，利用由量化表T1和量化因子Q决定的量化步长进行量化处理。DC系数时，使用了图8所示的量化表T1的左上端的数据。该数据通常是16，作为量化步长使用了16Q。这时，除了计算精度上的误差，还可以使DC系数的量化误差小于16Q。因此，若16α≥16Q(即α≥Q)成立，则当块内的平均值是128-α和128+α时，JPEG压缩解压缩后该块内的平均值不会变成128。
若考虑像素数据的变更对图像质量的影响，则最好采用尽量小的值作为α，从这样的观点出发，希望设α＝Q。但是，若α＜2Q，则因为原理上复原后的图像数据和α＝Q时相同，所以，若考虑计算精度上的误差，最理想的是将α规定在Q＜α＜2Q的范围内。
具体地，再配置部132使构成16×16像素的非缩小数据的4个各JPEG块(8×8像素)和由8×8像素构成的各缩小数据适用于上式(5)、(6)。结果，当满足上式(5)时，对该块内的各像素加上同一个值，使平均值变成128+α。当满足上式(6)时，从该块内的各像素减去同一个值，使平均值变成128-α。
实施形态3在实施形态1中说明了将整个图像区域分割成同一大小的DS区域时的例子。与此相对，在本实施形态中，说明分割成大小不同的DS区域且使下降抽样的缩小率不同的情况。
图12的(a)～(c)是表示本发明实施形态3的一例图像压缩解压缩系统的动作的图。
图中的(a)示出DS区域分割部130进行DS区域分割的情况。DS区域分割部130对整个图像区域进行分割，使2个或者2个以上尺寸的不同的DS区域混合。这里，使32×32像素构成的较大DS区域和16×16像素构成的较小DS区域相混合。这时，进行分割使重要区域包含在较小的DS区域中。对于非重要区域，将离重要区域较远的部分分割成较大的DS区域，将接近重要区域的部分分割成较小的DS区域。
具体地说，对于从图像输入装置101输入的96×96像素的图像数据，将该图像的整个区域分割成7个较大的DS区域(#1～#3，#4，#7，#10，#13)和8个较小的DS区域(#5，#6，#8，#9，#11，#12，#14，#15)，并向下降抽样部131输出各DS区域的图像数据。其中，#9，#12，#15是重要区域，都分割为较小DS区域。
图中的(b)示出下降抽样部131的下降抽样的状态。下降抽样部131对作为非重要区域的各DS区域进行下降抽样，将其变换成8×8像素构成的缩小数据。即，以和DS区域的尺寸相对应的缩小率进行下降抽样，不管DS区域的大小如何，都变换成同一尺寸的缩小数据。
具体地说，对利用DS区域分割部130分割的32×32像素的较大DS区域(#1～#3，#4，#7，#10，#13)进行下降抽样，使纵横像素数分别缩小至原来的1/4。另一方面，对分割为16×16像素的较小DS区域(#5，#6，#8，#11，#14)进行下降抽样，使纵横像素数分别缩小至原来的1/2。结果，向再配置部132输出16×16像素的非缩小数据(#9，#12，#15)和8×8像素的缩小数据。
图中的(c)示出再配置部132进行数据再配置的情况。再配置部132将缩小数据再配置在较小DS区域(16×16像素)内。这时，在下降抽样部131中进行再配置，区分为下降抽样至原来的1/4后的缩小数据(1/4缩小数据)和下降抽样至原来的1/2后的缩小数据(1/2缩小数据)，在同一DS区域内同时混合1/4缩小数据和1/2缩小数据。
此外，在配置1/4缩小数据和配置1/2缩小数据的情况下，使DS区域内的填充区域和缩小数据的配置不同，可以根据填充区域对它们进行识别。具体地说，当将1/2缩小数据配置在DS区域内时，和实施形态1的情况一样，在右下方配置填充区域，同时按左上、右上、左下的顺序配置缩小数据。另一方面，当将1/4缩小数据配置在DS区域内时，在左上方配置填充区域，同时按右下、左下、右上的顺序配置缩小数据。
因为缩小数据#1～#3是1/4缩小数据，所以在16×16像素的DS区域内的左上方配置填充数据，从右下开始按规定的顺序配置各缩小数据。因缩小数据#4也是1/4缩小数据，故同样配置在下一个DS区域。因为下一个缩小数据#5、#6是1/2缩小数据，故不和缩小数据#4配置在同一个DS区域内，而配置在新的DS区域中。因此，在配置了缩小数据#4的DS区域的空区域内插入填充数据，在下一个DS区域内的右下方配置填充区域，从左上方开始按规定的顺序配置缩小数据#5、#6。因为下一个缩小数据#7是1/4缩小数据，所以，配置在和#5、#6不同的DS区域内。以下同样，按顺序对非缩小数据和缩小数据进行再配置。
若将图中的(c)和图11的(c)进行比较，可知对重要区域都不进行下降抽样，对非重要区域进行下降抽样，无论是否变换成1/4缩小数据，都可以缩小整个图像区域的尺寸。
图13的(a)～(h)是表示当DS区域是16×16个像素、缩小数据是8×8个像素时DS区域内的所有配置状态的图。(a)是DS区域内不存在填充区域的情况，可以判别为配置了非缩小数据。该判别可以是只进行DS区域的左上和右下不是填充区域的判别。(b)～(d)是DS区域内配置了1～3个1/2缩小数据的情况，(e)～(g)是DS区域内配置了1～3个1/4缩小数据的情况，(h)是DS区域只由填充区域构成的情况，任何一个都可以利用8×8像素构成的填充区域的配置来进行判别。再有，(b)～(g)情形的填充区域的配置方法不限于本实施形态的例子，可以在上述14种方法中进行任意选择。
实施形态4在实施形态3中，说明了将整个图像区域分割成大小不同的DS区域且下降抽样的缩小率不同的情况。与此相对，在本实施形态中，说明将整个图像区域分割成大小相同的DS区域且逐级进行下降抽样的情况。
在本实施形态中，下降抽样部131对不包含重要区域的一部分DS区域进行2次(或3次以上)的下降抽样。即，对于多个DS区域，将分别进行下降抽样后得到的多个缩小数据集中起来，对这些缩小数据的集合体再次进行下降抽样。这时，2次下降抽样后的DS区域除了因计算精度引起的误差或因滤波处理引起的误差之外，可以得到和进行缩小率为2倍的下降抽样时相同的结果。即，即使逐级进行下降抽样，也可以得到和实施形态3的情况大致相同的结果。
图14和图15的(a)～(e)是表示本发明实施形态4的一例图像压缩解压缩系统的动作的图。图中的(a)示出DS区域分割部130进行DS区域分割的情况。DS区域分割部130和实施形态1的情况完全相同，将整个图像区域分割成16×16像素的DS区域(#1～#36)。其中，#22、#28、#34是重要区域。
图中的(b)示出下降抽样部131进行1次下降抽样的情况。下降抽样部131对作为非重要区域的各DS区域进行下降抽样，变换成16×16像素构成的1/2缩小数据。在此之前的动作和实施形态1的情况一样。
图中的(c)示出将缩小数据分组的情况。下降抽样部131通过将相邻的4个1/2缩小数据作为1组，从而生成由16×16像素构成的新的DS区域。即，将相邻的缩小数据#1、#2、#7和#8集中起来生成新的DS区域#A，将缩小数据#3、#4、#9和#10集中起来生成新的DS区域#B。以下同样，生成新的DS区域#A～#G。这时，不能分组的缩小数据#15、#16、#21、#27和#33原封不动。
图中的(d)示出下降抽样部131进行第2次下降抽样的情况。第2次下降抽样只对分组后的新的DS区域进行，对这些区域生成由8×8像素构成的1/4缩小数据。在第2次下降抽样结束的时刻，变成和实施形态3的图12(b)相同的状态。
图中的(e)示出了再配置部132的数据再配置的情况。再配置部132将第2次下降抽样后的1/4缩小数据和1次下降抽样后的1/2缩小数据分开来进行再配置，在同一DS区域内1/4缩小数据和1/2缩小不混合在一起。该配置方法和实施形态3的情况一样。
实施形态5在上述实施形态中，说明了图像缩小变换器13和图像放大变换器24分别对亮度数据Y和色差数据U、V进行相同的处理，且对这些数据的处理没有区别的情况。与此相对，在本实施形态中，说明对亮度数据Y的处理和对色差数据U、V的处理不同的情况。
图16是表示本发明实施形态5的图像压缩装置的主要部分的一个构成例的方框图，示出图2的图像缩小变换器13的详细构成。该图像缩小变换器13由YUV共用的DS区域分割部130、每个YUV的3个下降抽样部131、131s和每个YUV的3个再配置部132、132s构成。
DS区域分割部130分别对亮度数据Y和色差数据U、V进行DS区域的分割，进行和实施形态1的情况相同的DS区域分割处理。即，对YUV分别进行DS区域分割，使相同的像素数据属于相同的DS区域。
下降抽样部131是进行亮度数据Y的下降抽样的适用型下降抽样部，和实施形态1一样，判定对象DS区域是不是重要区域，并根据该判定结果进行下降抽样(参照图6)，另一方面，2个下降抽样部131s分别进行色差数据U、V的下降抽样，但是否进行下降抽样则根据亮度数据用的下降抽样部131的判定结果来进行判断。
图17是表示图16的下降抽样部131s的详细构成例的方框图。该下降抽样部131s若与图6的适应型下降抽样部131比较，则在没有用来控制输出选择部32的减法器33和下降抽样判定部34(DS判定部)这一点上有所不同。因此，输出选择部32根据亮度数据Y用的下降抽样部131中的DS判定部34的判定结果进行动作。即，在相同的DS区域，若对亮度数据Y进行下降抽样，则对色差数据U、V也进行下降抽样，若对亮度数据Y不进行下降抽样，则对色差数据U、V也不进行下降抽样。
在配置部132对亮度数据Y进行缩小数据的再配置，并和实施形态1的情况一样，在再配置缩小数据的同时，将由填充数据构成的识别区域配置在已配置了缩小数据的DS区域内的规定位置上。另一方面，再配置部132s对色差数据U、V进行缩小数据的再配置，但此时，即使是配置有缩小数据的DS区域，在该DS区域内也不配置由填充数据构成识别区域。因此，与亮度数据Y相比，在同一DS区域内可以配置更多的缩小数据。
图18是表示本发明实施形态5的一例图像压缩解压缩系统的动作的图。该图涉及和图7(实施形态1)相同的图像数据，图中的(a)示出亮度数据Y的再配置情况，图中的(b)分别示出色差数据U、V的再配置的情况。
与亮度数据Y有关的再配置处理是和在实施形态1中已说明的方法相同的处理，所以，这里省略其说明。对于色差数据U、V，当在DS区域内再配置连续缩小数据时，1个DS区域配置4个缩小数据。因此，当从下降抽样部131s连续输入了5个或者5个以上的缩小数据时，将第5个之后的缩小数据配置在下一个DS区域。即，在达到1个DS区域能配置的最大个数之前，对各DS区域填充并配置缩小数据。另一方面，当连续的缩小数据小于等于3个时，对空区域插入填充数据。在图中，在开头的DS区域配置#1～#4，将#5～#8配置在下一个DS区域。此后同样，将连续的缩小数据#1～#21配置在4个DS区域内。其余的处理和亮度数据Y的情况一样。
这时，由于对已再配置的色差数据U、V不配置由填充数据构成识别区域，故不能在配置复原时根据再配置后的色差数据U、V进行缩小数据和非缩小数据的识别。但是，在本实施形态中，对于色差数据U、V和亮度数据Y，使进行下降抽样的DS区域一致，此外，JPEG压缩后的色差数据U、V和JPEG压缩后的亮度数据Y一起，同时从发送单元Ut向接收单元Ur传送。因此，可以根据再配置后的亮度数据Y，对再配置后的色差数据U、V进行缩小数据和非缩小数据的识别，并能够复原该配置。
图19是表示本发明实施形态5的图像解压缩装置的主要部分的一个构成例的方框图，示出图3的图像放大变换器24的详细构成。该图像放大变换器24由YUV共用的DS区域分割部240、每个YUV的3个配置复原部241、241s和YUV共用的内插处理部242构成。
DS区域分割部240分别对从JPEG译码器23输出的亮度数据Y和色差数据U、V进行DS区域的分割，并进行和实施形态1的情形一样的DS区域分割处理。
配置复原部241进行亮度数据Y的配置复原，和实施形态1一样，判别对象DS区域是缩小数据还是非缩小数据，并根据该判定结果复原这些数据的配置。另一方面，2个配置复原部241s进行色差数据U、V的配置复原，但是，判别对象DS区域是缩小数据还是非缩小数据则利用了亮度数据Y用的配置复原部241的判别结果。
即，对于缩小数据和非缩小数据的配置，若它们出现的顺序一经确定即被惟一地确定了。因此，根据亮度数据Y用的配置复原部241的判定结果，可以知道再配置后的色差数据U、V中的缩小数据和非缩小数据的配置。这样，配置复原部241s就进行了配置复原。
实施形态6在实施形态5中，举例说明了YUV变换部10向YUV444格式进行变换且变换后的亮度数据和色差数据的数据个数相同的情况。与此相对，在本实施形态中，进而说明向YUV422、YUV420等格式的变换且变换后的亮度数据和色差数据的数据个数不同的情况。
一般地，人的眼睛对颜色的识别力比对亮度的识别力弱，水平方向的识别力比垂直方向的识别力弱。在YUV422、YUV420等格式中，利用这样的视觉特性，使色差数据的数据个数比亮度数据少。即，在YUV变换部10中，已将RGB格式变换成YUV422、YUV420等格式的图像数据，其亮度数据Y的数据个数和色差数据的数据个数不一致。因此，在DS区域分割部130中，若分别将亮度数据Y和色差数据U、V分割成尺寸相同的DS区域，则色差数据U、V的各DS区域与亮度数据Y的DS区域不一致，下面，必要时，将色差数据U、V的DS区域称作‘色差DS区域’，将亮度数据Y的DS区域称作‘亮度DS区域’，以示区别。
图20是表示一例YUV422格式的图像数据的图。在YUV422格式的情况下，色差数据U、V的水平数据数是亮度数据Y的一半，各色差数据U、V与在水平方向上相邻的2个亮度数据Y对应。因此，色差DS区域也和水平方向相邻的2个亮度DS区域相对应。
图中的(a)示出对亮度数据Y进行DS区域分割的情况，图中的(b)示出对亮度数据Y进行DS区域分割的情况。由96×96像素构成的YUV422格式的图像数据由96×96个亮度数据Y和各48×96个色差数据U、V构成。亮度数据Y和色差数据U、V在DS区域分割部130中，分别分割成由16×16个数据构成的DS区域，所以，亮度数据Y分割成36个亮度DS区域(#1～#36)，色差数据U、V分割成18个色差DS区域(#1～#18)。这时，色差DS区域#n与亮度DS区域#2n-1和#2n对应(n是1～18的整数)。
色差数据U、V用的下降抽样部131s根据和色差DS区域#n所对应的2个亮度DS区域#2n-1、#2n有关的下降抽样部131的判定结果，对该色差DS区域#n决定是否进行下降抽样。具体地说，当2个亮度DS区域#2n-1、#2n都是重要区域时，将色差DS区域#n确定为重要区域，不进行下降抽样。另一方面，当2个亮度DS区域#2n-1、#2n中的某一个或两者是非重要区域时，将色差DS区域#n确定为非重要区域，并对其进行下降抽样。在图20中，因亮度DS区域#21、#22、#27、#28、#33、#34是重要区域，故色差DS区域的#11、#14、#17变成重要区域。但是，当在2个亮度DS区域#2n-1、#2n中有1个是重要区域而另一个是非重要区域时，可以预先任意决定是否对色差DS区域#n进行下降抽样。
图21是表示本发明实施形态6的一例图像压缩解压缩系统的动作的图。在图21的(a)中，示出对图20所示的亮度数据Y进行数据再配置的情况。此外，在图21(b)中，对图20所示的色差数据U、V示出了数据再配置的情况。
对于向图像缩小变换器13输入的亮度数据Y和从图像缩小变换器13输出的亮度数据Y，再配置部132对从下降抽样131输出的缩小数据进行再配置，使其和水平方向的数据数一致。在图21(a)中，进行再配置使水平方向的数据数变成96个。
和上面完全相同，对于向图像缩小变换器13输入的色差数据U、V和从图像缩小变换器13输出的色差数据U、V，再配置部132s对从下降抽样131s输出的缩小数据进行再配置，使其和水平方向的数据数一致。在图21(b)中，再配置成使水平方向的数据数变成48个。
在本实施形态中，色差DS区域和亮度DS区域不一致，但是，按照YUV格式，色差DS区域与亮度DS区域相对应。因此，和实施形态5的情况一样，根据包含在再配置后的亮度数据Y中的识别信息，可以对再配置后的色差数据U、V识别缩小数据和非缩小数据，并可以复原该配置。
再有，在JPEG压缩器(JPEG芯片等)中，将RGB格式变换成YUV422格式的YUV变换部10设在JPEG编码器14的前一级，作为输入图像数据的格式，有的采用了RGB格式。作为图2的图像压缩部11，当使用这样的JPEG压缩器时，可以将从图像缩小变换器13输出的YUV格式的图像数据暂时变换成RGB格式，并输入到该JPEG压缩器。
这时，在图像缩小变换器的前一级的YUV变换部10中，可以选择YUV444、YUV422等任意格式。当选择YUV422时，图像缩小变换器13和上述本实施形态的情况一样。另一方面，当采用YUV444时，然后，最好考虑在JPEG压缩器内再变换成YUV422，再决定下降抽样处理时的缩小数据的尺寸。即，对于色差数据，最好将水平方向相邻的2个DS区域合成并作为新的DS区域，对该新的DS区域进行下降抽样。
但是，在DS区域分割部130中，使与亮度数据Y和色差数据U、V有关的DS区域的尺寸不同，对于色差数据U、V，若对上述新的DS区域进行分割，则不需要上述合成处理。例如，若是YUV422格式的情况，则DS区域分割部130对于亮度数据Y，可以分割成16×16像素的DS区域，对于色差数据，可以分割成2倍于水平方向的像素数的由32×16像素构成的DS区域。
实施形态7在上述实施形态5和6中，说明了将色差数据U、V的缩小数据填充在1个色差DS区域中再进行配置而对于非缩小数据则不进行这样的再配置的情况，与此相对，在本实施形态中，说明使非缩小数据和缩小数据一起进行再配置的情况。
图22是表示本发明实施形态7的图像缩小变换器13的一个构成例的方框图。该图像缩小变换器13若与图16的情况(实施形态5)比较，则在具有2个非缩小数据分割部134这一点上不同。
非缩小数据分割部134将从色差数据的U、V用的下降抽样部131s输出的非缩小数据分割成和缩小数据相同的尺寸，再向再配置部132s输出。再配置部132s对缩小数据和非缩小数据不加区别，和实施形态5或6中的缩小数据的情况完全一样，对这些数据进行再配置。即，在到达1个色差DS区域内所能配置的最大数之前，对各色差DS区域填充缩小数据或非缩小数据后进行再配置。
图23和图24是表示本发明的实施形态7的一例图像压缩解压缩系统的动作的图。图23是表示图22的图像缩小变换器13中的一例非缩小数据分割处理之前的处理的图。图中的(a)示出了一例从DS区域分割部130输出的色差数据U、V。该色差数据U、V和图20的情况(实施形态6)相同，在DS区域分割部130中，分割成由16×16个数据构成的色差DS区域#1～#18。此外，色差DS区域#11、#14和#17是重要区域，其余的色差DS区域是非重要区域。
图中的(b)示出从下降抽样部131s输出的缩小数据和非缩小数据。对非重要区域进行下降抽样，将其变换成8×8个缩小数据。另一方面，对重要区域不进行下降抽样，16×16个数据作为非缩小数据输出。
图中的(c)示出从非缩小数据分割部134输出的缩小数据和分割数据。非缩小数据分割部134直接输出从下降抽样部131s输入的缩小数据，另一方面，将非缩小数据4分割成和缩小数据相同的大小(8×8)后再输出。这里，对未进行下降抽样的非缩小数据#11、#14、#17分别进行4分割，生成了12个分割数据#11a～#11d，#14a～#14d，#17a～#17d。
图24是表示一例图22的再配置部132s的动作的图。该再配置部132s进行缩小数据和分割数据的再配置。这时，也可以和实施形态5一样，以色差DS区域为单位，4个4个地进行再配置，但是，在本实施形态中，在水平方向按顺序进行配置。即，从图像数据的左上方开始，在水平方向上从左到右按顺序配置，当到达图像数据的右端时，向下移动，再次沿水平方向上从左到右按顺序配置，反复执行上述动作。再有，当配置分割数据时，将构成1个非缩小数据的4个分割数据连续起来进行配置。
这样，当图像缩小变换器13沿水平方向再配置色差数据U、V的情况下，当在图像放大变换器24中复原再配置前的色差数据U、V时，没有必要分割成色差DS区域。因此，从JPEG译码器23输出的色差数据U、V不经过DS区域分割部240而输入到配置复原部241s。
未进行下降抽样的非缩小数据，其大小比缩小数据大，但是，若分割非缩小数据且分割成和缩小数据同样大小的分割数据，则即使缩小数据和非缩小数据混合在一起，也可以对这些数据进行无缝填充和再配置。因此，为了将图像数据整形成矩形形状，只要在最下部追加填充数据即可，可以使再配置后的色差数据U、V的大小更小。
再有，在图像放大变换器24进行复原时，利用配置复原部241，不仅进行缩小数据的配置复原，还进行分割数据的配置复原。分割数据的配置复原处理和缩小数据的配置复原处理一样，当然可以根据包含在亮度数据Y中的识别信息来进行。
图25和图26是用来对实施形态6和7的图像缩小变换器进行比较说明的说明图。图25示出一例在水平方向反复出现重要区域和非重要区域的图像数据。该图像数据是采用了YUV422格式的128×96像素的图像。亮度DS区域和色差DS区域都是由16×16数据尺寸构成，亮度数据Y被分割成48个亮度DS区域#1～#48，色差数据U、V被分割成24个色差DS区域#1～#24。该图像数据在水平方向重复出现重要区域和非重要区域，所以，与实施形态6和7的图像缩小变换器13中的处理结果有明显的差别。
图26示出向实施形态6和7的图像缩小变换器13中输入了图25的图像数据时的输出数据。图中的(a)示出实施形态6的再配置后的状态，(b)示出实施形态7的再配置后的状态。
如上所述，在实施形态6的图像缩小变换器13中，必须在亮度数据Y中插入识别区域，但是，不必在色差数据U、V中插入识别区域。因此，若比较亮度数据Y和色差数据U、V再配置后的大小，则通常色差数据U、V要小一些。但是，在图25所示的图像数据中，因在水平方向重复出现重要区域和非重要区域，故当像YUV422格式的图像数据那样，亮度数据Y和色差数据U、V的水平方向的数据个数不同时，有时上述再配置后的大小关系会发生颠倒。
在图26的(a)中，亮度数据Y被缩小了，但色差数据U、V未被缩小。为了在JPEG编码器14中进行压缩处理，有必要使亮度数据Y和色差数据U、V在垂直方向的长度一致，所以，再配置部132还在亮度数据Y的末尾(虚线包围的部分)追加填充数据。其结果，该图像数据在图像缩小变换器13中完全没有被缩小。
对此，在图26的(b)中，亮度数据Y和色差数据U、V都被缩小，在图像缩小变换器13中进行图像数据的缩小。在实施形态7中，分割色差数据U、V的非缩小数据，和缩小数据一起有效地进行再配置。因此，即使重复出现重要区域和非重要区域，也不会出现像实施形态6那样压缩率颠倒过来。
再有，上述各实施形态的图像压缩部11和图像解压缩部21可以作为在个人计算机等计算机上可执行的计算机程序来提供。此外，JPEG编码器14和JPEG译码器23可以由JPEG芯片、PC用添加插件板(add-on board)等可高速处理的通用硬件构成，图像缩小变换器13和图像放大变换器24可以由计算机程序构成。这些计算机程序可以通过存储在例如CD-ROM等光存储媒体、软盘等磁存储媒体、IC存储器等半导体存储媒体中来提供。此外，也可以通过因特网、LAN(Local Area Network局域网)等通信线路来提供。
权利要求
1.一种图像压缩装置，其特征在于，包括下降抽样区域分割装置，将图像数据分割成大小为块尺寸的整数倍的下降抽样区域；下降抽样装置，对至少一部分下降抽样区域进行下降抽样以减少像素数，生成大小为块尺寸的整数倍的缩小数据；再配置装置，在1个下降抽样区域内配置2个或者2个以上的缩小数据，在该下降抽样区域内对剩下的像素插入填充数据，同时除去未配置缩小数据的下降抽样区域；以及数据压缩装置，将由所述再配置装置生成的图像数据分割成大小为所述块尺寸的块区域，进行包含对各块区域的正交变换和量化处理的压缩处理后，生成压缩图像数据，所述下降抽样区域分割装置将图像数据分割成尺寸不同的2个或者2个以上的下降抽样区域，所述下降抽样装置与下降抽样区域的大小相对应，进行缩小率不同的下降抽样，生成相同尺寸的缩小数据。
2.一种图像压缩装置，其特征在于，包括下降抽样区域分割装置，将图像数据分割成大小为块尺寸的整数倍的下降抽样区域；下降抽样装置，对至少一部分下降抽样区域进行下降抽样以生成缩小数据，将该缩小数据集中在一起，生成新的下降抽样区域，对该新的下降抽样区域再次进行下降抽样，生成大小为块尺寸的整数倍的新的缩小数据；再配置装置，在1个下降抽样区域内配置2个或2个者以上的缩小数据，在该下降抽样区域内对剩下的像素插入填充数据，同时除去未配置缩小数据的下降抽样区域；以及数据压缩装置，将由所述再配置装置生成的图像数据分割成大小为所述块尺寸的块区域，进行包含对各块区域的正交变换和量化处理的压缩处理，并生成压缩图像数据。
3.一种图像压缩装置，其特征在于，包括下降抽样区域分割装置，将构成图像数据的亮度数据分割成大小为块尺寸的整数倍的亮度下降抽样区域，将构成所述图像数据的色差数据分割成大小为块尺寸的整数倍的色差下降抽样区域；亮度下降抽样装置，对至少一部分亮度下降抽样区域进行亮度数据的下降抽样以减少数据个数，生成大小为块尺寸的整数倍的缩小亮度数据；亮度数据再配置装置，在1个亮度下降抽样区域内配置2个或者2个以上的缩小亮度数据，在该亮度下降抽样区域内向剩下的像素中插入填充数据；色差下降抽样装置，对根据已进行了下降抽样的亮度下降抽样区域决定的色差下降抽样区域进行色差数据的下降抽样，以减少数据个数，生成大小为块尺寸的整数倍的缩小色差数据；色差数据再配置装置，在1个色差下降抽样区域内配置2个或者2个以上的缩小色差数据；以及数据压缩装置，将由所述亮度数据再配置装置和色差数据再配置装置生成的亮度数据和色差数据分割成大小为所述块尺寸的块区域，进行包含对各块区域的正交变换和量化处理的压缩处理，并生成压缩图像数据，所述亮度数据再配置装置在亮度下降抽样区域内的规定位置上保留出大小为块尺寸的识别区域，并配置亮度缩小数据。
4.权利要求3记载的图像压缩装置，其特征在于，具有非缩小数据分割装置，将未进行下降抽样的色差下降抽样区域分割成和缩小色差数据相同的大小，并生成分割色差数据，所述色差数据再配置装置对缩小色差数据和分割色差数据进行再配置。
全文摘要
本发明目的在于，在使用了下降抽样处理的数据压缩解压缩法中提高数据的压缩率。图像数据在DS区域分割部(130)中被分割成多个DS区域，不重要的DS区域利用下降抽样部(131)的下降抽样，变换成大小为块尺寸的缩小数据。再配置部(132)在1个DS区域内配置2个或者2个以上的缩小数据，在该DS区域的其余部分插入填充数据，除去没有配置缩小数据的DS区域使整个图像的尺寸缩小。这样，缩小的图像数据输入到JPEG编码器(14)，按每一个块进行DCT处理和量化处理等。复原时，利用JPEG译码器进行解压缩处理后，复原成原来的配置，对缩小数据进行内插处理，从而复原图像数据。
文档编号H04N1/41GK1922858SQ20058000513
公开日2007年2月28日 申请日期2005年2月15日 优先权日2004年2月17日
发明者田渊博士, 田口亮, 岛内和博, 诸桥俊雄 申请人:Toa株式会社