专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及能够适用于对于以MPEG方式压缩编码了的图像数据进行解码的装置等中的图像处理装置和图像处理方法。
在MPEG解码装置中，为了把B图像进行解码需要大容量的存储器(2帧程度的帧存储器等)。因此近年来，作为能够减少所需要的帧存储器容量的技术，例如像“1996年电视学会年会，23-4，关于MPEG解码的帧存储器压缩的讨论”，“1996年电子情报通信学会综合大会，D-320，关于减少环状存储器容量的讨论”等中所示出的那样，提出了在MPEG解码装置的帧存储器中写入压缩的解码图像的方法。
在上述的“关于MPEG解码器的帧存储器压缩的讨论”中，报告了关于以水平8个像素为单位根据一元DPCM进行压缩编码的情况，为了在动补偿时能够简单地从存储器读出数据，采用使用4位的非线性量化方式把压缩率设定为固定的方式。即，该方式是8像素中的初始像素直接用8位进行编码，以后的像素根据DPCM(通过把和前面像素的差分值进行非线性量化)以4位进行编码的方式。根据该方式，能够把64位的8像素数据以(8位×1像素)+(4位×7像素)＝36位进行编码，能够把存储器的容量减少到以前的0.56倍。
但是，在该方式中，得不到整字节的位数的编码数据(设1字节＝8位，36位＝8位×4+4位)。即，将产生4位这样的半截数据。为此，在存储器的存取时需要进行以下那样的特殊处理。
以整字节单位对于存储器的数据进行写入和读出。从而，需要以下的复杂作业，为了在存储器上不发生4位的空区域进行半截数据(4位)的读/写，读出已经写入到帧存储器中的半截4位，在该4位上加入接着应写入数据的起始4位作为一个字节，将该字节写入到帧存储器中。
另外，虽然由DPCM(Differential Pulse Cude Modulation)得到的差分值具有-255到+255的范围，然而在以8像素左右的小范围观看图像时，大多差分值集中在0附近。对此，量化表的值对于上述差分值的范围设定成使得量化误差平均减少的固定值。由此，对于小差分值就要以高于所需要的较大的值进行量化，由此增大了量化误差。
本发明的目的在于提供能够谋求减少量化误差，提高解码图像的图像质量的图像处理装置和图像处理方法。
另外，本发明的另一个目的在于提供能够在写入了图像压缩数据的存储区域中防止产生无用的空区域，能够容易地进行存储器存取的图像处理装置和图像处理方法。
为了达到这样的目的，本发明的图像处理装置是把用于量化差分值的量化系数对应于所输入的图像数据的预定像素数单位的特征切换成最佳值的装置。例如，求出预定像素数单位的图像数据的相邻图像数据间的差分值的最大绝对值作为图像数据的特征，对于上述差分值的最大绝对值选择最佳量化系数进行量化。更具体地讲，在预定像素数单位的图像数据的相邻像素数据间的差分值集中在0附近时，使用更小值的量化系数进行量化。由此，能够对于图像数据的每个预定像素数单位使用最佳量化系数进行量化，能够减小量化误差。
另外，通过在量化装置的输出数据上添加由选择装置选择了的量化系数的信息从而生成固定长度数据，例如生成具有作为存储器存取单位的位数的整数倍的位数这样的固定长度数据，能够消除存储器中无用的空区域，从而不必执行把图像压缩数据写入存储器时的特殊处理。
图1是示出本发明实施形态的图像解码装置的构成的框图。
图2是示出图1的图像解码装置中的压缩器的构成的框图。
图3是图2所示的压缩器中的DPCM.逆量化器的构成的框图。
图4是示出图1的图像解码装置中的扩展器的构成的框图。
图5用于说明图1的图像解码装置中的字节化部分的动作。
图6是以往例和本发明的共同的说明图。
图7示出了在图1的图像解码装置中把块单位的图像压缩数据写入到帧存储器中的处理流程。
图8是示出图1的图像解码装置中的压缩器的变形例的框图。
图9用于说明图8的压缩器的动作。
发明的实施形态以下，根据
本发明的实施形态。
图1是示出作为本发明图像处理装置的实施形态的图像解码装置的构成的框图。
从输入单元1输入的MPEG压缩数据存储到未图示的接收缓冲器中。在接收缓冲器中，MPEG压缩数据吸收I、P、B图像间的编码效率的差别即数据量的差别。在VLD(Variable Length Decoding)2中，把接收缓冲器内的数据顺序地进行可变长度解码，把被可变长度解码了的数据输出到逆量化器(IQ)3中。逆量化器(IQ)3把可变长度解码数据进行逆量化，把逆量化了的数据输出到逆DCT4中。逆DCT4把被逆量化了的数据进行逆正交变换，然后把被逆正交变换了的数据发送到加法器5中。
在从DCT4输出的数据是帧间预测编码图像数据时，其图像数据在加法器5中和从运动补偿器(MC)6中输出的预测图像数据相加，成为被解码了的图像数据并输出到压缩器7中。压缩器7把从加法器5输出的图像数据进行压缩，并且把压缩了的图像数据输出到显示存储器8或者帧存储器9的任一个中。扩展器10a读出并且扩展来自显示存储器8或者帧存储器9的被压缩了的图像数据，使得把帧图像进行交错变换后输出，然后把扩展的图像作为再生图像输出。另外，存储在帧存储器9中的图像压缩数据由扩展器10b扩展，被扩展了的图像压缩数据输入到运动补偿器6中。运动补偿器6在被扩展了的图像压缩数据上进行用于动补偿的处理，把预测图像数据输出到加法器5中。
图2是示出图1所示的压缩器7的构成的框图。
如该图所示，输入单元11输入来自图1所示的加法器5的解码图像数据。特征抽取装置12抽取被输入的解码图像数据的每个固定长度单位的特征，把其特征数据输出到量化表选择装置13中。另外，被输入的图像数据直接通过特征抽取装置12还被输入到DPCM.量化装置14中。
量化表选择装置13具有量化系数不同的多个量化表。量化表选择装置13根据从特征抽取装置12输入的图像数据的特征数据，从上述多个量化表中选择一个最佳量化表，把关于该被选择的量化表的信息(表示该量化表所具有的量化系数的5位的数据)进行编码，输出到字节化装置15中，同时把该被选择的量化表的值(量化系数)输出到DPCM.量化装置14中。
DPCM.量化装置14对于直接通过特征抽取装置12的固定长度度的图像数据进行DPCM(Differential Pulsu Code Mdulation，差分脉码调制)处理，把由该处理得到的DPCM值用由量化表选择装置13所给出的量化表的值(量化系数)进行量化从而得到图像压缩数据，把该图像压缩数据输出到字节化装置15中。
字节化装置15把从DPCM.量化装置14输入的作为被量化为DPCM值的图像压缩数据和从量化表选择装置13输入的量化表的信息进行合成，把合成了的数据字节化(生成由形成整字节的位数构成的固定长度度数据)。这样字节化了的数据写入到图1的显示存储器8或者帧存储器9中。
然而，由于这种方法是通过用量化系数除数据进行，因此有时在把其量化结果进行逆量化(乘以量化系数)时将产生误差。从而，在解码时，通过依次相加包含有误差的逆量化了的差分值，将产生量化误差的积累。
本实施形态中，为了防止这种量化误差的积累，采用了以下结构的DPCM.量化装置14。
图3示出该DPCM.量化装置14的构成。该DPCM.量化装置14的输入单元21输入解码像素数据。减法器22通过从由输入单元21输入的像素数据减去存储在存储器24中的前1个像素数据的解码值，得到作为相邻像素间的差分值的DPCM值。该DPCM值在量化器23中，由从量化表选择装置13给出的量化表的值(量化系数)进行量化。被量化了的DPCM值输入到字节化装置15和逆量化器(IQ)25中。
逆量化器(IQ)25使用量化时所使用的量化表的值把被量化了的DPCM值进行逆量化。加法器26把被逆量化了的DPCM值和存储在存储器24中的前1个像素数据的解码值进行相加，求出新像素数据的解码值。这样求出图像数据的解码值为了供给下一个图像数据的DPCM处理，而写入到存储器24中。
另外，输入到该DPCM.量化装置14的固定长度单位的图像数据中的起始像素数据的值直接输出到字节化装置15中。这时，分别设定存储器24的值为0，量化器23以及逆量化器24中使用的量化系数的值为1。
在本实施形态的图像处理装置中，为了防止量化误差的积累，把前1个像素的逆量化.DPCM解码值在对于下一个像素进行DPCM处理时使用，不过，也可以构成为把所输入的前1个像素数据直接在对于下一个像素数据进行DPCM处理时使用。
其次，说明本实施形态的图像解码装置的扩展器10a，10b的构成。
图4示出该扩展器的构成。如该图所示，从输入单元31输入存储在帧存储器9中的图像压缩数据。量化表信息抽取单元32从该输入的图像压缩数据抽取出量化表信息，供给逆量化器33。逆量化器33把被输入的图像压缩数据(被量化的DPCM值)使用由量化表信息抽取单元31抽取的量化表信息所示的量化系数进行逆量化。被逆量化了的DPCM值在加法器34中通过和存贮在存储器35中的前1个像素数据的解码值进行相加被解码，被解码了的数据通过存储器35输出。
接着，根据图5说明字节化装置15的动作。
这里，把DCT块的一维大小的水平8像素作为固定长度数据的单位，把该数据压缩为6/8倍。另外，固定长度单位的图像压缩数据的起始数据用8位进行压缩编码，其它的7像素用5位进行压缩编码。
图5(1)是水平8像素中的起始像素的8位，从(2)到(8)是水平8像素中起始像素以外的像素的5位。除去量化表信息以外的位数是8+5×7＝43位，所以在以字节为单位进行存储器存取时将产生5位的不足(空区域)。于是，通过把该5位(pt)使用于量化表信息中，能够得到6字节的数据。
不过，起始图像以外的像素的位数不一定是5位。同样，量化表信息的位数也不一定是5位。
在量化表信息中使用5位的情况下，能够准备最多32个量化表即32种量化系数。通过这样能够准备众多的各种各样的量化表(量化系数)，当各个固定长度单位的图像数据的最大DPCM值中有很大的差别时，能够选择更为合适的量化表(量化系数)，使得对于最大DPCM值小的固定长度单位的图像数据选择细量化表(小量化系数)，DPCM值大的固定长度单位的图像数据使用粗量化表(大量化系数)。
图2所示的特征抽取装置12从这些32个量化表中得到用于判断在固定长度单位的图像数据的量化中应该使用的量化表的信息。即，特征抽取装置12把固定长度单位的图像数据中的相邻像素间的差分值的最大绝对值抽取出来作为其固定长度单位的图像数据的特征。然而，也可以把固定长度单位的图像数据中的相邻像素间的差分值分布在哪个值附近判断为固定长度单位的图像数据的特征。
图6示出该32个量化表的例子。这32个量化表实现线性量化。图2所示的量化表选择装置13从由特征抽取装置12抽取出的固定长度单位的图像数据的特征例如相邻像素间的差分值的最大绝对值中，检测出满足图2所列条件的行，把检测出的行的量化表信息(5位)输出到字节化装置15和DPCM量化装置14中。
例如，在差分值的最大绝对值不满16时，选择“1”的量化系数。这时，不会发生由于进行量化和逆量化产生误差。在差分绝对值的最大值大于16小于32的情况下，选择“2”的量化系数。这种情况下的上述误差小于1。在一般的情况下，水平8像素单位的相邻像素间的差分值的最大绝对值非常小，会高频度地使用不产生量化误差的“1”的量化系数。从而，能够减少量化误差。
图7示出在本实施形态的图像解码装置中，把正交变换单位(8×8像素单位)的图像压缩数据写入到帧存储器9中的处理流程。
步骤1是在作为正交变换单位的块(8×8像素单位)的数据处理中，例如把MPEG压缩数据进行解码的步骤。
压缩器7在步骤2中，对于被输入的块中的所有的固定长度单位(水平8像素)的图像数据，依次进行特征抽取，在步骤3中，进行对应于其特征的最佳量化表的选择。在步骤4中，进行DPCM处理和由DPCM处理得到的差分值的量化处理，在步骤5中，把由此得到的图像压缩数据写入到显示存储器8以及帧存储器9中。而且，压缩器7对于下一个固定长度单位的图像数据重复同样的处理。在本例中，重复8次处理。这样，如果对于一个块的全部的固定长度单位的图像数据完成了数据压缩，则进行下一个块的解码处理。
这样，如果依据本实施形态的图像解码装置，从固定长度单位的像素数据的特征中选择使量化误差为最小的最佳量化表的值，根据该被选择的量化表的值量化DPCM值，由此能够减少量化误差，其结果，能够谋求提高解码图像的图像质量。另外，通过把对固定长度单位的图像数据进行固定长度压缩时所发生的存储器的空区域用于量化表信息，能够不增大使用的存储器的容量而实现提高图像的质量。
另外，在本实施形态中，对于把解码图像数据压缩成为6/8倍的情况进行了说明，而在把压缩率设定为5/8倍的情况下空区域为4位，能够准备16个量化表。这样，本发明能够适用于各种压缩率中。
还有，在本实施形态中，对于使用线性量化表的情况进行了说明，而本发明当然也能够适用于使用非线性量化表的情况。
还有，本实施形态中说明了以正交变换的1维大小(水平8像素)为单位进行固定长度度压缩的情况，而本发明也能够适用于进行可变长度压缩的情况。
另外，本实施例中虽然把存储器存取单位取为一个字节，然而在该这存储器存储单位例如是10位的情况下，当然也可以取为10位的整倍数的位数。
接着，说明本图像解码装置中的压缩器7的变形例。
图8示出该变形例的压缩器的构成。如该图所示，从输入单元41输入从图1的加法器5输出的解码图像数据。减法器42求出被输入的固定长度单位的像素数据(这里取为水平8像素)和存储器44中存储的前一像素数据之间的差分值，把所求得的差分值输出到码分离装置43中。码分离装置43把从减法器42输出的数据中的起始像素数据的8位和各差分值的代码位输出到编码输出装置45中，同时把各差分值的绝对值(8位×7)输出到游程长度(run length)编码器46中。游程长度编码器46对于8位×7的差分绝对值数据，从高位位开始进行“0”的游程长度编码，把由此得到的游程长度编码数据输出到可变长度编码器(VLC)47中。可变长度解码器47顺序地把游程长度编码数据进行可变长度编码，并且把被可变长度编码了的数据输出到编码输出装置45中。编码输出装置45把起始像素数据(8位)，差分值的代码位(7位)，以及从可变长度编码器47依次输入的至少一部分可变长度编码数据组合起来进行字节化(做成由形成整字节的位数所组成的固定长度数据)，并将其写入到图1的显示存储器8以及帧存储器9中。
接着，根据图9说明本实施形态的压缩器的动作。
在该图中，从(1)到(8)是水平方向的8像素，纵方向从位0到位7是各像素的差分值数据的低位位到高位位。根据减法器42中的DPCM的处理，从(2)到(8)的像素的差分值数据成为9位。从(2)到(8)的像素的最高位是代码位，除此之外的8位是差分值的绝对值。(1)是像素数据原有的8位。
由于相邻像素间的差分值大多集中在小值，所以差分绝对值部分的高位位是“0”的频度极高。从而，在图8中如果按照箭头的顺序排列各个位，则最初连续有多个“0”数据。在游程长度编码器46中把该“0”的连续数进行游程长度编码，在可变长度编码器(VLC)47中进行可变长度编码，由此进行数据压缩。
编码输出装置45为了输出固定长度的图像压缩数据，优先输出起始像素数据(8位)和差分值的代码位(7位)，在中途截断从可变长度编码器(VLC)47所输入的可变长度编码数据向存储器的输出。这样即使在中途截断可变长度编码数据向存储器的输出，由于使用游程长度编码器46已经把重更性高的高位位进行了编码，所以能够把解码图像的图像质量恶化抑制到最小限度。
以上，作为使用了帧存储器的图像处理装置对于MPEG解码装置进行了说明，然而本发明的适用性并不限定于此。例如，本发明同样地能够适用于在帧存储器中写入图像压缩数据进行帧间压缩的MPEG编码装置中，另外，还能够适用于包含有压缩/扩展图像数据步骤的各种图像处理装置中。
权利要求
1.一种图像处理装置，其特征在于包括用于抽取被输入的图像数据的预定像素数单位的特征的特征抽取装置；用于根据上述被抽取的特征选择量化系数的选择装置；用于求出上述图像数据的预定像素数单位中的相邻像素数据之间的差分值的差分运算装置；用于根据上述被选择的量化系数把上述所求出的差分值进行量化并且输出图象压缩数据的量化装置。
2.权利要求1记述的图像处理装置，其特征在于还具有用于在上述被量化的图像压缩数据上添加上述被选择的量化系数的信息，并作成压缩数据的添加装置。
3.权利要求2记述的图像处理装置，其特征在于还具有用于存储由上述添加装置作成的压缩数据的装置。
4.权利要求1记述的图像处理装置，其特征在于上述量化装置对于被输入的预定像素数单位的图像数据输出固定长度的图像压缩数据。
5.权利要求2记述的图像处理装置，其特征在于上述添加装置在上述被量化的图像压缩数据上添加上述被选择的量化系数的信息作成固定长度的压缩数据。
6.权利要求2记述的图像处理装置，其特征在于上述添加装置在上述被量化了的图像压缩数据上添加上述被选择的量化系数的信息，作成由存储器存取单位的位数的整倍数的位数组成的固定长度的压缩数据。
7.权利要求1记述的图像处理装置，其特征在于上述特征抽取装置抽取上述被输入的图像数据的预定像素数单位中的相邻像素数据之间的差分值的最大绝对值作为上述图像数据的预定像素数单位的特征。
8.权利要求1记述的图像处理装置，其特征在于上述差分运算装置包括用于根据由上述选择装置选择的量化系数把上述量化装置的输出数据进行逆量化，把被逆量化了的数据和前一像素数据的解码值进行相加的解码装置；从上述输入的图像数据的预定像素数单位中的图像数据减去由上述解码装置解码了的图像数据的减法装置。
9.一种图像处理方法，其特征在于包括抽取被输入的图像数据的预定像素数单位的特征的步骤；根据上述被抽取的特征选择量化系数的步骤；求出上述图像数据的预定像素数单位的相邻像素数据间的差分值的步骤；根据上述被选择的量化系数把上述求出的差分值进行量化并输出图像压缩数据的步骤。
10.一种图像处理装置，其特征在于包括用于求出被输入的图像数据的预定像素数单位中的相邻像素数据间的差分值的差分运算装置；用于从各个高位位开始把上述求出的各个差分值的绝对值数据进行游程长度编码的装置；用于把上述被游程长度编码了的数据进行可变长度编码的可变长度编码装置；用于把由上述差分运算装置求出的各差分值的代码位和从上述可变长度编码装置输出过程中的至少一部分可变长度编码数据相结合作成固定长度数据的装置。
11.一种图像处理方法，其特征在于包括求出被输入的图像数据的预定像素数单位中的相邻像素数据间的差分值的步骤；从各个高位位开始把上述所求出的各个差分值的绝对值数据进行游程长度编码的步骤；把上述被游程长度编码了的数据进行可变长度编码的步骤；把上述所求出的各差分值的代码位和至少一部分可变长度编码数据进行结合输出固定长度数据的步骤。
全文摘要
本图像解码装置是求出预定像素数单位的图像数据的相邻像素数据间的差分值的最大绝对值作为图像数据的特征,对于上述差分值的最大绝对值选择最佳量化系数进行量化的装置。更具体地讲,在预定像素数单位的图像数据的相邻像素数据间的差分值集中在0附近时,使用更小值的量化系数进行量化。由此,能够在每个图像数据的预定像素数单位,进行使用最佳量化系数的量化,从而能够减小量化误差。
文档编号H04N7/32GK1195806SQ9810534
公开日1998年10月14日 申请日期1998年2月26日 优先权日1997年2月27日
发明者阿部修司, 福岛道弘 申请人:株式会社东芝