专利名称：图像处理装置和程序的制作方法
技术领域：
本发明涉及一种图像处理装置，本发明特别涉及一种装置和程序，通过对压缩活动图像数据执行图像增强处理来获得压缩处理的活动图像数据。
背景技术：
为使活动图像完美的显示，提高图像质量，在由摄影获得的活动图像上进行诸如灰度校正的处理(在下文指图像增强处理)。日本专利号为3087409的专利就是一种针对灰度校正提出的方法。在这个方法中，首先，对如NTSC信号的视频信号进行A/D转换产生活动图像数据；接着，计算出有关该活动图像数据的亮度柱状图；再以此亮度柱状图为依据产生用于灰度校正的查找表。
最近随着数码相机及带有照相机的移动电话的普及，活动图像常常与如NTSC信号的视频信号和根据如MPEG压缩标准处理的数字压缩数据有关。与静止的图像摄影不同，快门很难用在活动图像摄影上。因此，采用如数码相机的成像设备拍摄的活动图像容易发暗。为了显示已经被数字压缩的包含有压缩图像数据的活动图像，在如NTSC信号的模拟信号情况下，有必要对压缩图像数据进行图像增强处理。
这种活动图像数据记录在记录介质上并以压缩状态传送着。因此，显示活动图像数据的设备需要在活动图像数据已经被压缩的前提下，对该活动图像数据执行显示处理。因此，对压缩的活动图像数据进行图像增强处理产生的处理后的图像数据需要根据该显示设备压缩。
然而，为了通过图像增强处理获得压缩处理的活动图像数据，根据如MPEG压缩标准的数字压缩的活动图像数据(下文指压缩活动图像数据)首先被解码。该解码数据接着进行图像增强处理。在下文，校正(增强)数据被编码产生压缩处理的活动图像数据。由于编码解码活动图像数据需要大量操作，这是一个耗时的处理过程。通信领域也注意到了处理时间长这一问题。
在作为通信形式之一的移动通信领域，移动终端如移动电话已被广泛普及并且其功能已经改善。因此，与图像有关的服务已经提供给这样的移动终端。例如，一些通信中继服务器就具有图像增强功能。当一封电子邮件从一个发送移动电话传递到一个接收移动电话时，中继服务器在附属于从发送移动电话发送的电子邮件中的图像数据上执行如灰度校正、白平衡校正、密度校正、和锐度处理的图像增强处理。此后，中继服务器发送该图像数据给接收移动电话，或为将来下载临时存储该图像数据。如果该图像增强处理在服务器没有很快执行，用户会感觉很郁闷。因此，这个服务不是提高了，而是降低了。而且，如果图像增强处理所需时间很长，该服务器需要具有大容量的存储设备来存储将被处理的图像数据。在这种方式中，服务器变得更昂贵了。
同样的现象也被视频电话领域注意到了。如果图像增强处理不能被很快执行，用户就不能实时看到对方他/她的图像。因此，这样的视频电话变得没有意义，并且通信不能很顺畅地进行。
这个问题在其它领域也被注意到了。比如，当记录在如CD-ROM记录介质中的活动图像数据显示在计算机显示器时，计算机执行适合活动图像显示的图像增强处理。然而，如果图像增强处理延长，象在通信时的情况一样，用户就会感到郁闷。
发明的简述本发明是基于上述情况的考虑而构思的。因此本发明的一个目的是提供一种图像处理装置和程序，通过对压缩活动图像数据执行图像增强处理有效地产生压缩处理的活动图像数据。
本发明的第一图像处理装置是一种图像处理装置，用于通过对压缩活动图像数据执行图像增强处理获得压缩处理活动图像数据。第一图像处理装置包括分割装置，用于把压缩活动图像数据分割为需校正的目标部分和不校正的非目标部分；解码装置，用于通过解码目标部分获得解码数据；校正装置，用于通过对解码数据执行图像增强处理获得校正的解码数据；编码装置，用于对该校正的解码数据编码；和合并装置，用于通过将编码过的目标部分和非目标部分合并获得压缩处理的活动图像数据。
压缩活动图像数据的目标部分是指如果该部分增强能影响整个活动图像数据的图像质量的部分。
非目标部分是指对该部分增强并不影响图像质量的部分。或者，该非目标部分是指不影响作为目标部分的图像质量的部分。换句话说，非目标部分即使其上的图像增强处理没有执行也不太影响图像质量，因此它表示不需要图像增强处理的部分。
这两部分如何分开是依靠产生压缩活动图像数据的压缩方法。活动图像数据通常包括多个帧。在一种压缩方法中，第一帧是独立的，作为参考帧，其它的帧通过与第一帧的差别来表示。在这种情况下，只有第一帧具有独立于其它帧的数据，而其它帧用与第一帧的差别来表示。因此，如果对第一帧进行图像增强处理，其它帧也被校正。换句话说，图像增强处理所需的解码处理只对第一帧进行。因此，第一帧是目标部分，而其它帧是非目标部分。
在这种情况下，第一帧指在压缩的活动图像数据结构中首先出现的帧，不一定指在时间顺序上首先出现的帧。
同时，内部帧和相关帧包括压缩活动图像数据，该数据的产生可根据成为用于活动图像工业主流标准的MPEG，根据用于视频电话的ITU-T H.261和ITU-T H263标准，和根据如用于移动电话的活动图像压缩标准的方法产生。每个内部帧具有不依赖其它帧数据的数据，相关帧包括帧之间的差异。这样，如果图像增强处理在内部帧上进行，包括依赖内部帧数据的相关帧也被校正了。因此，图像增强处理所需的解码处理只对内部帧进行。从而，内部帧是目标部分而相关帧是非目标部分。
尽管相关帧确实包括帧间的差别并依赖于内部帧数据，根据一种压缩方法，相关帧依赖其它帧的程度是不同的。比如，在包括I帧，P帧和B帧的压缩活动图像数据的情况下，I帧是独立于其它帧的。P帧和B帧包括帧之间的差别并且不是独立的。然而，每个P帧只依赖于它前面(过去的)的一帧，而B帧依赖于该帧的前一帧和该帧的后一帧(将来的)。因此，P帧比B帧更独立，通过对P帧执行图像增强处理，图像质量能改善更多。在这种情况下，I帧和P帧是目标部分，而B帧是非目标部分。
为通过校正装置执行目标部分的图像增强处理，目标部分需要首先通过解码装置解码。本发明第一图像处理装置的解码装置最好将目标部分解码为能使校正装置在其上执行图像增强处理的程度。活动图像数据常常以分步方式压缩，并且解码处理通过以压缩相反顺序的逆操作来执行。比如，如果解码根据MPEG压缩的活动图像数据，首先在其上进行可变长解码。可变长解码后的数据接着分解为运动矢量，DCT系数等等。进而运动估算和补偿及DCT的逆过程IDCT被执行。由于图像增强处理能对DCT系数进行，解码处理没必要直到IDCT步骤后执行。因此，解码装置不执行IDCT，而是给校正装置提供DCT系数。校正装置接着对DCT系数执行图像增强处理。在下文的编码步骤，采用了校正的DCT系数，并且寻找DCT系数的步骤变得没必要了。在这种方式，编码处理所需的时间也就缩短了。
本发明的第二图像处理装置是一种装置，用于通过对根据采用第一帧作为参考帧的压缩方法获得的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置。第二图像处理装置包括分割装置，用于把压缩活动图像数据分割为第一帧和其它帧；解码装置，用于通过解码第一帧获得解码的第一帧；校正装置，用于通过对解码的第一帧执行图像增强处理获得校正的解码第一帧；编码装置，用于对该校正的解码第一帧编码获得校正的第一帧；和合并装置，用于通过将校正的第一帧和其它帧合并获得压缩处理的活动图像数据。
本发明的第三图像处理装置是一种装置，用于通过对包括内部帧和相关帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置。第三图像处理装置包括分割装置，用于把压缩活动图像数据分割为内部帧和相关帧；解码装置，用于通过解码内部帧获得解码的内部帧；校正装置，用于通过对解码的内部帧执行图像增强处理获得校正的解码内部帧；编码装置，用于对该校正的解码内部帧编码获得校正的内部帧；和合并装置，用于通过将校正的内部帧和相关帧合并获得压缩处理的活动图像数据。
如上所述，通过根据MPEG或包括内部帧和相关帧的类似压缩，获得压缩的活动图像数据。相关帧通常依赖于内部帧。然而，在一些情况下，相关帧可包括独立数据(即不依赖其它帧的数据)。独立数据被称为内部块，而非独立数据被称为相关块。为处理这种情况，本发明的第三图像处理装置最好还包括块分割装置，用于将相关帧分割为内部块和相关块。在此情况下，解码装置还通过解码内部块获得解码的内部块，并且校正装置还通过对解码的内部块执行图像增强处理获得校正的解码内部块。编码装置还通过编码该校正的解码内部块获得校正的内部块，并且合并装置通过合并校正的内部帧和校正的内部块与相关块获得压缩处理的活动图像数据。
本发明的第四图像处理装置是一种装置，用于通过对包括I帧，P帧和B帧的压缩活动图像数据执行图像增强处理而获得压缩处理活动图像数据的装置。第四图像处理装置包括分割装置，用于把压缩活动图像数据分割为I帧，P帧和B帧；解码装置，用于通过解码I帧和P帧获得解码的I帧和解码的P帧；校正装置，用于通过对解码的I帧和解码的P帧执行图像增强处理获得校正的解码I帧和校正的解码P帧；编码装置，用于对该校正的解码的I帧和校正的解码的P帧编码获得校正的I帧和校正的P帧；和合并装置，用于通过将校正的I帧和校正的P帧与B帧合并获得压缩处理的活动图像数据。
本发明的第四图像处理装置最好还包括块分割装置，用于将B帧分割为内部块和相关块。在此情况下，解码装置还通过解码该内部块获得解码的内部块，并且校正装置还通过对解码的内部块执行图像增强处理获得校正的解码内部块。编码装置接着通过编码该校正的解码内部块获得校正的内部块，并且合并装置通过将校正的I帧，校正的P帧和校正的内部块与相关块合并获得压缩处理的活动图像数据。
本发明的第五图像处理装置是一种装置，用于通过对主要包含每帧DCT系数数据和运动向量数据的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置。第五图像处理装置包括提取装置，用于从压缩的活动图像数据中提取DCT系数数据和运动向量数据；解码装置，用于通过利用DCT系数数据和运动向量数据解码该压缩活动图像数据获得解码数据；校正装置，用于通过对解码数据执行图像增强处理获得校正的解码数据；和编码装置，用于对该校正的解码数据编码获得压缩处理的活动图像数据。第五图像处理装置的特征在于该编码装置利用由提取装置获得的运动向量数据编码该校正的解码数据。
根据MPEG压缩的图像数据，除了表示每帧是内部帧或相关帧的首部信息外，主要包括每帧的DCT系数和运动向量。当压缩活动图像数据被解码和已经解码和图像增强处理后的压缩活动图像数据被编码时，运动向量是必须的。本发明的第五图像处理装置注意到实际寻找运动向量需要大量的编码操作，而运动向量对图像质量如色调的影响却不是很大。因此，运动向量不重新在编码处理中找到，而用在解码处理的运动向量被采用。在此方式下，产生压缩处理的活动图像数据的时间就被缩短了。
本发明的第六图像处理装置是一种装置，用于通过对包括多个帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置。第六图像处理装置包括分割装置，用于把压缩活动图像数据分割为目标帧和非目标帧；解码装置，用于通过解码目标帧获得解码帧；校正装置，用于通过对解码帧执行图像增强处理获得校正的解码帧；编码装置，用于对该校正的解码帧编码获得校正帧；和合并装置，用于通过将校正帧和非目标帧合并获得压缩处理的活动图像数据。第六图像处理装置的特征在于校正装置包括校正参数计算装置，用于通过利用相应的解码帧数据计算每个解码帧的校正参数；参数调整装置，用于通过利用相应将要调整的该校正参数的解码帧之前和/或之后的解码帧的校正参数调整其校正参数获得每个解码帧的调整参数；和校正提取装置，用于利用该调整参数执行每个解码帧的图像增强处理。
目标帧是指，如果在其上执行图像增强处理，影响整个活动图像数据的图像质量的帧。
非目标帧是指，在其上进行增强处理并不影响整个活动图像的图像质量的帧。或者，非目标帧指不像目标帧那样影响图像质量的帧。换句话说，即使在非目标帧上不执行图像增强处理，也不太影响图像质量，因此非目标帧是不需要图像增强处理的帧。
目标帧和非目标帧如何划分依靠产生压缩活动图像数据的压缩方法。活动图像数据通常包括多个帧，并且内部帧和相关帧包括活动图像数据，该数据的压缩可根据成为用于活动图像工业主流标准的MPEG，根据用于视频电话等的ITU-T H.261和ITU-T H263标准，和根据如用于移动电话的活动图像压缩标准的方法压缩。每个内部帧具有不依赖其它帧数据的数据，相关帧包括帧之间的差异。这样，如果图像增强处理在内部帧上进行，包括依赖内部帧的数据的相关帧也被校正了。因此，图像增强处理所需的解码处理只对内部帧进行。从而，内部帧是目标帧而相关帧是非目标帧。
尽管相关帧确实包括帧间的差别并依赖于内部帧数据，根据一种压缩方法，相关帧依赖其它帧的程度是不同的。比如，在包括I帧，P帧和B帧的压缩活动图像数据的情况下，I帧是独立于其它帧的。P帧和B帧包括帧之间的差别并且不是独立的。然而，每个P帧只依赖于它前面(过去的)的一帧，而每个B帧依赖于该帧的前一帧和该帧的后一帧(将来的)。因此，P帧比B帧更独立，通过对P帧执行图像增强处理，图像质量能改善更多。在这种情况下，在第六图像处理装置中，I帧和P帧最好用作目标帧，而B帧用作非目标帧，尽管I帧可单独用作目标帧，而P帧和B帧用作非目标帧。
在通过解码装置解码目标帧获得的解码帧上执行图像增强处理，本发明第六图像处理装置的校正装置基于其上数据，利用校正参数计算装置对每个解码帧计算校正参数。校正装置的参数调整装置接着利用解码帧前和/或后的校正参数调整每个解码帧的校正参数。校正装置的校正提取装置接着利用其上的调整参数对每个解码帧执行图像增强处理。
参数调整装置为每个解码帧设置调整参数，该调整参数为其上校正参数和至少一个相应该解码帧之前和/或后的解码帧的校正参数的平均值。
本发明的第七图像处理装置是一种装置，用于通过对包括内部帧和相关帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置。第七图像处理装置包括分割装置，用于把压缩活动图像数据分割为内部帧，目标相关帧和非目标相关帧；解码装置，用于通过解码内部帧和目标相关帧获得包括解码内部帧和解码目标相关帧的解码帧；校正装置，用于通过对解码帧执行图像增强处理获得校正的解码帧；编码装置，用于对该校正的解码帧编码获得校正帧；和合并装置，用于通过将校正帧和非目标相关帧合并获得压缩处理的活动图像数据。第七图像处理装置的特征在于校正装置，用于通过计算校正参数对解码内部帧和利用紧接着在前于该解码目标相关帧的解码内部帧的校正参数对解码目标相关帧执行图像增强处理。
非目标相关帧是指不是独立的帧，即使其上进行图像增强处理也不影响整个活动图像数据的图像质量。目标相关帧是指，如果在其上执行图像增强处理，影响整个活动图像数据的图像质量比非目标相关帧要多的帧，尽管目标相关帧也不独立。更明确地，如上所述，根据如MPEG的压缩方法压缩的活动图像数据包括内部帧(如上述的I帧)和相关帧。相关帧可被分割为低依赖性帧(如P帧)和高依赖性帧(如B帧)。在这种情况下，I帧可以是第七图像处理装置的内部帧，而P帧和B帧可以分别是目标相关帧和非目标相关帧。
换句话说，本发明的第七图像处理装置通过对内部帧和目标相关帧执行解码处理，图像增强处理和编码处理获得校正帧。压缩处理的活动图像数据接着通过合并校正帧和非目标相关帧而获得。对解码内部帧和解码目标相关帧执行图像增强处理的校正装置，只计算解码内部帧的校正参数并不找出解码目标相关帧的校正参数。然而，校正装置也利用紧接着在前于该解码内部帧的校正参数执行每个解码相关帧的图像增强处理。
在一些情况下，通过一种压缩方法获得的压缩活动图像数据使得只第一帧成为内部帧。在这样的压缩活动图像数据中，只有第一帧是内部帧，而紧接着在前面的解码内部帧是所有目标相关帧的解码第一帧。在这种情况下，校正装置计算解码第一帧的校正参数，并且在其上执行图像增强处理。校正装置也利用解码第一帧的校正参数执行所有目标相关帧的图像增强处理。
在这种情况下，第一帧指在压缩的活动图像数据结构中首先出现的帧，不一定必须指在时间顺序中首先出现的帧。
本发明的第一程序是指使计算机执行的通过对压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序。该图像处理程序包括的步骤为将压缩的活动图像数据分割为需校正的目标部分和不需校正的非目标部分；解码目标部分获得解码数据；对解码数据执行图像增强处理而获得校正的解码数据；对该校正的解码数据编码；和将编码过的目标部分和非目标部分合并获得压缩处理的活动图像数据。
本发明的第二程序是一种使计算机执行的通过对采用根据第一帧作为参考帧的压缩方法获得的压缩活动图像数据进行图像增强处理而获得压缩处理活动图像数据的图像处理程序。该图像处理程序包括步骤把压缩活动图像数据分割为第一帧和其它帧；解码第一帧而获得解码的第一帧；对解码的第一帧执行图像增强处理获得校正的解码第一帧；对该校正的解码第一帧编码获得校正的第一帧；和将校正的第一帧和其它帧合并获得压缩处理的活动图像数据。
本发明的第三程序是一种使得计算机执行的通过对包括内部帧和相关帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序。该图像处理程序包括步骤为把压缩活动图像数据分割为内部帧和相关帧；解码内部帧获得解码的内部帧；对解码的内部帧执行图像增强处理获得校正的解码内部帧；对该校正的解码内部帧编码获得校正的内部帧；和将校正的内部帧和相关帧合并获得压缩处理的活动图像数据。
在这种情况，分割步骤最好还包括将相关帧分割为内部块和相关块的步骤。因此，解码步骤为解码内部块获得解码的内部块的步骤，执行图像增强处理的步骤为对解码内部块执行图像增强处理获得校正的解码内部块的步骤。编码步骤为编码该校正的解码内部块获得校正的内部块的步骤，合并步骤为将校正的内部帧和校正的内部块与相关块合并而获得压缩处理的活动图像数据的步骤。
本发明的第四程序是一种使得计算机执行的通过对包括I帧，P帧和B帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序。该图像处理程序包括将压缩活动图像数据分割为I帧，P帧和B帧；解码I帧和P帧获得解码的I帧和解码的P帧；对解码的I帧和解码的P帧执行图像增强处理获得校正的解码I帧和校正的解码P帧；对该校正的解码的I帧和校正的解码的P帧编码获得校正的I帧和校正的P帧；和将校正的I帧和校正的P帧与B帧合并获得压缩处理的活动图像数据。
分割步骤最好还包括将B帧分割为内部块和相关块的步骤。因此，解码步骤为解码该内部块获得解码的内部块的步骤，执行图像增强处理的步骤为对解码的内部块执行图像增强处理获得校正的解码内部块的步骤。编码步骤为编码该校正的解码内部块获得校正的内部块的步骤，合并步骤是将校正的I帧，校正的P帧和校正的内部块与相关块合并获得压缩处理的活动图像数据的步骤。
本发明的第五程序是一种使计算机执行的通过对主要包含每帧DCT系数数据和运动向量数据的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序。该图像处理程序包括的步骤为从压缩的活动图像数据中提取DCT系数数据和运动向量数据；利用DCT系数数据和运动向量数据解码该压缩活动图像数据获得解码数据；对解码数据执行图像增强处理获得校正的解码数据；和对该校正的解码数据编码获得压缩处理的活动图像数据。编码步骤最好是利用在提取步骤中获得的运动向量数据编码该校正的解码数据的步骤。
本发明的第六程序是一种使计算机执行的通过对包括多个帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序。图像处理程序包括的步骤为把压缩活动图像数据分割为目标帧和非目标帧；解码目标帧获得解码帧；对解码帧执行图像增强处理获得校正的解码帧；对校正的解码帧编码获得校正帧；和将校正帧和非目标帧合并获得压缩处理的活动图像数据。第六程序的特征在于执行图像增强处理的步骤还包括步骤利用相应的解码帧数据计算每个解码帧的校正参数；利用相应将要调整的该校正参数的解码帧之前和/或之后的解码帧的校正参数调整其上的校正参数获得每个解码帧的调整参数；和利用该调整参数执行每个解码帧的图像增强处理。
本发明的第七程序是一种使计算机执行的通过对包括内部帧和相关帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序。该图像处理程序包括的步骤为
把压缩活动图像数据分割为内部帧，目标相关帧和非目标相关帧；解码内部帧和目标相关帧获得包括解码内部帧和解码目标相关帧的解码帧；对解码帧执行图像增强处理获得校正的解码帧；对该校正的解码帧编码获得校正帧；和将校正帧和非目标相关帧合并获得压缩处理的活动图像数据。第七程序的特征在于执行图像增强处理的步骤是通过计算校正参数对解码内部帧和利用紧接着在前于该解码目标相关帧的该解码内部帧的校正参数对解码目标相关帧执行图像增强处理的步骤。
根据本发明第一图像处理装置，通过对压缩活动图像数据执行图像增强处理获得压缩处理的活动图像数据时，压缩的活动图像数据首先被分割为目标部分和非目标部分。接着影响图像质量的目标部分被解码处理和图像增强处理。因此，在没有对非目标部分执行解码处理和图像增强处理时，压缩的活动图像数据能被处理为可以达到实现良好显示效果的压缩处理的活动图像数据。另外，产生压缩处理的活动图像数据所需的时间被缩短了。
在本发明第一图像处理装置中，如果解码装置对目标部分执行解码处理达到允许校正装置在其上执行图像增强处理的程度，解码处理所需时间也就被缩短了。
在本发明第二图像处理装置中，第一帧从根据一种压缩方法产生的压缩活动图像数据中分离出来，该压缩方法利用第一帧作为参考帧，并且只对第一帧进行解码处理，图像增强处理和编码处理。因此，压缩处理的活动图像数据是将校正的第一帧和其它帧合并而获得的。在这种方式，不需要对表示与第一帧差异的其它帧执行解码处理和图像增强处理，因此可以获得能适合显示的压缩处理的活动图像数据，同时缩短了所需时间。
根据本发明第三图像处理装置，把内部帧与压缩的活动图像数据中的相关帧分离，并且解码处理，图像增强处理和编码处理只对内部帧进行。接着，通过将校正的内部帧和相关帧合并而获得压缩处理的活动图像数据。因此，对表示帧之间差别的相关帧执行解码处理，图像增强处理和编码处理可被节省下来。在这种方式，压缩的活动图像数据可被校正为能适合显示的压缩处理的活动图像数据，并且所需的时间也缩短了。
如果第三图像处理装置进一步包括块分割装置，将相关帧分割为相关块和内部块，并且如果图像增强处理(和其上所述的解码处理及编码处理)也对内部块执行，图像质量能进一步提高。
根据本发明第四图像处理装置，压缩的活动图像数据被分割为I帧，P帧和B帧，并且只对I帧和P帧进行解码处理，图像增强处理和编码处理。接着将B帧与校正的I帧和校正的P帧合并而获得压缩处理的活动图像数据。因此，不用对表示与在前和在后帧差别的相关帧执行解码处理，图像增强处理和编码处理了。在这种方式，压缩的活动图像数据可被校正为能适合显示的压缩处理的活动图像数据，同时所需的时间也缩短了。
如果第四图像处理装置进一步包括块分割装置，将B帧分割为内部块和相关块，并且如果图像增强处理(和其上所述的解码处理及编码处理)也对内部块执行，图像质量能提高更多。
本发明第五图像处理装置，从压缩的活动图像数据中提取DCT系数数据和运动向量数据，并且利用DCT系数数据和运动向量数据对压缩的活动图像数据执行解码处理和图像增强处理。当校正图像数据被进行编码处理时，运动向量数据不被重新找到，在解码处理过程中已经被提取的运动向量数据被用于编码处理。在这种方式，活动图像数据可根据图像质量被合适地校正，同时在编码中找出运动向量数据的操作可被避免掉了。因此压缩处理的活动图像数据可有效地产生。
当对包括多个帧的压缩活动图像数据执行图像增强处理时，如果将要校正的每个帧(如内部帧)的校正参数利用相应帧的数据被找到，在一些情况下，校正参数实际上可根据该帧内场景的改变而改变。在这种情况下，当压缩处理的活动图像数据在根据上面的方式找到的校正参数被校正后显示时，亮度改变可导致图像的闪烁变大，因此观看图像数据的用户会不舒服。根据本发明第六图像处理装置，压缩的活动图像数据被分割为目标帧和非目标帧。接着通过只对目标帧执行解码处理，图像增强处理和编码处理而获得校正帧。这时，首先通过解码目标帧获得解码帧。接着依据在前和/或后解码帧找到的校正参数调整基于每个解码帧数据找到的校正参数。利用调整参数对解码帧执行图像增强处理。然后，将编码处理之后获得的校正帧与非目标帧合并来产生压缩处理的活动图像数据。在这种方式，通过减少一些将被解码和编码的数据量来缩短处理时间。另外，在压缩处理的活动图像数据显示时，其上的亮度变化可通过调整校正参数而被抑止。
本发明第七图像处理装置，将压缩的活动图像数据分割为内部帧，目标相关帧和非目标相关帧。只对内部帧和目标相关帧执行解码处理，图像增强处理和编码处理来产生校正帧。接着将校正帧与非目标相关帧合并来产生压缩处理的活动图像数据。当执行图像增强处理时，基于解码内部帧找到校正参数。校正参数不是为目标相关帧而找的，而是将紧接着在前于每个目标相关帧的内部帧的校正参数用作为其上的校正参数。因此，利用校正参数而执行图像增强处理。在这种方式通过减少被解码和编码的数据量来缩短处理数据的时间，校正参数的突然改变可被防止。另外，压缩处理的活动图像数据的亮度变化也在显示时被预防了。
附图的简要说明图1表示作为本发明图像处理装置和图像处理程序第一实施例的移动电话系统A的结构框图；图2A和2B为图1所示的移动电话系统A中的中继服务器100的结构框图；图3为图2所示的中继服务器100的操作流程图；图4为中继服务器100中的运动图像处理单元70的操作流程图；图5表示作为本发明图像处理装置和图像处理程序第二实施例的移动电话系统B的结构框图；图6A和6B为图5所示的移动电话系统B中的中继服务器200的结构框图；图7表示图6所示的中继服务器200的操作流程图；图8为中继服务器200中的活动图像处理单元170的操作流程图；图9表示作为本发明图像处理装置和图像处理程序第三实施例的移动电话系统C的结构框图；图10A和10B为图9所示的移动电话系统C中的中继服务器300的结构框图；图11为图10所示的中继服务器300的操作流程图；图12为中继服务器300中的活动图像操作单元270的操作流程图；图13表示作为本发明图像处理装置和图像处理程序第四实施例的移动电话系统D的结构框图；图14A和14B为图13所示的移动电话系统D中的中继服务器400的结构框图；图15为图14所示的中继服务器400的操作流程图；图16为中继服务器400中的活动图像处理单元370的操作流程图；图17表示作为本发明图像处理装置和图像处理程序第五实施例移动电话系统E的结构框图；图18A和18B为图17所示的移动电话系统E中的中继服务器500的结构框图；图19为图18所示的中继服务器500的操作流程图；图20为中继服务器500中的活动图像处理单元470的操作流程图；图21表示作为本发明图像处理装置和图像处理程序第六实施例的移动电话系统F的结构框图；图22A和22B为图21所示的移动电话系统F中的中继服务器600的结构框图；图23为图22所示的中继服务器600的操作流程图；图24为中继服务器600中的活动图像处理单元570的操作流程图；图25表示作为本发明图像处理装置和图像处理程序第七实施例的移动电话系统G的结构框图；图26A和26B为图25所示的移动电话系统G中的中继服务器700的结构框图；图27为图26所示的中继服务器700的操作流程图；和图28为中继服务器700中的活动图像处理单元670的操作流程图；优选实施例的说明下面，将参照
本发明的图像处理装置和程序的实施例。在以下的解释中，“图像”用“图像数据”表示，图像和图像数据用来表示相同的对象。
图1是表示作为本发明图像处理装置和图像处理程序第一实施例的移动电话系统A的结构框图。如图1所示，第一实施例中的移动电话系统A包括多个移动电话10和用于移动电话10之间中继通信的中继服务器100。移动电话10通过移动电话通信网络20连接到中继服务器100。中继服务器100中继移动电话10之间的话音通信以及电子邮件。下文中，为了更好的理解本发明的范围，将详细说明在两个移动电话10之间发送和接收附有图像数据的电子邮件时中继服务器100的操作。
图2A和2B是表示图1所示的移动电话系统A中的中继服务器100的结构框图。如图2A所示，移动电话系统A中的中继服务器100包括通信单元30，控制单元40，存储单元50，静止图像处理单元60和活动图像处理单元70。通信单元30执行与移动电话10之间的无线发送和接收。控制单元40控制包括通信单元30的整个服务器100的操作。存储单元50在控制单元40的控制下存储除了附属于电子邮件的图像之外的数据T。静止图像处理单元60对附属于电子邮件中的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元70对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。
控制单元40把通过通信单元30从作为发送端的两个移动电话10中的一个接收的电子邮件的数据T存储在存储单元50中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元40接着向静止图像处理单元60输出附属图像。控制单元40接着使静止图像处理单元60对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元40输出附属图像到活动图像处理单元70，使活动图像处理单元70对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元40把校正的静止图像S′或校正的活动图像G′附属到存储在存储单元50中的数据T中，并通过通信单元30把附有处理的图像的电子邮件发送到作为接收端的其他移动电话10。
图2B为图2A所示的中继服务器100中的活动图像处理单元70的结构框图。如图2B所示，活动图像处理单元70包括分割单元72，解码单元74，校正单元76，编码单元80和合并单元82。分割单元72把压缩的活动图像数据G分为将被校正的目标数据G0和不被校正的非目标数据G1。解码单元74通过解码目标数据G0获得解码的数据G01。校正单元76通过对解码的数据G01执行图像增强处理获得校正的解码数据G02。编码单元80通过编码校正的解码数据G02获得编码的校正数据G03。合并单元82通过合并编码的校正数据G03和非目标数据G1获得校正的活动图像数据G′。
编码单元74对目标数据G0执行解码处理到能使校正单元76执行图像增强处理的程度。
图3是中继服务器100的操作流程图。当中继服务器100经通信单元30接收到从发送移动电话10发送的电子邮件和附属其中的图像时(步骤S10)，控制单元40判断附属图像是静止图像S还是活动图像G(步骤S20)。如果附属图像是静止图像S时(步骤S20否)，控制单元40在存储单元50中存储除了附属图像之外的数据T，向静止图像处理单元60输出静止图像S(步骤S25)。静止图像处理单元60对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S30)。控制单元40把校正的静止图像S′附加到存储在存储单元50中的数据T中，通过通信单元30向接收移动电话10发送附有校正的图像的电子邮件(步骤S90)。
在步骤20，如果附属图像被判定为活动图像G时(步骤S20是)，控制单元40在存储单元50中存储除了附属图像之外的数据T，向活动图像处理单元70输出活动图像G(步骤S35)。活动图像处理单元70对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P1)，获得校正的活动图像G′(步骤S40)。控制单元40把校正的活动图像G′附加到存储在存储单元50中的数据T中，通过通信单元30向接收移动电话10发送附有校正的图像的电子邮件(步骤S90)。
图4为中继服务器100中运动图像处理单元70的操作流程图。为了使活动图像处理单元70对活动图像G执行活动图像增强处理P1，首先，分割单元72把压缩的活动图像数据G分为目标数据G0和非目标数据G1(步骤S42)。解码单元74解码目标数据G0，获得解码数据G01(步骤S46)。校正单元76对解码的数据G01执行活动图像增强处理P1，从而产生校正的解码数据G02(步骤S46)。编码单元80编码校正的解码数据G02，获得编码的校正数据G03(步骤S48)。合并单元82接着把编码的校正数据G03与由分割单元72分开的非目标数据G1合并，获得校正的活动图像G′(步骤S50)。校正的活动图像G′发送到控制单元40。
图5表示作为本发明图像处理装置和图像处理程序第二实施例的移动电话系统B的结构框图。如图5所示，第二实施例中的移动电话系统B包括多个移动电话110和用于移动电话110之间中继通信的中继服务器200。移动电话110通过移动电话通信网络120连接到中继服务器200。中继服务器200中继移动电话110之间的话音通信以及电子邮件。为了更好的理解本发明的保护范围，将再次详细说明在两个移动电话110之间发送和接收附有图像数据的电子邮件时中继服务器200的操作。
图6A和6B表示图5所示的移动电话系统B中的中继服务器200的结构框图。如图6A所示，移动电话系统B中的中继服务器200包括通信单元130，控制单元140，存储单元150，静止图像处理单元160和活动图像处理单元170。通信单元130执行与移动电话110之间的无线发送和接收。控制单元140控制包括通信单元130的整个服务器200的操作。存储单元150在控制单元140的控制下存储除了附属在电子邮件上的图像之外的数据T。静止图像处理单元160对附属于电子邮件的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元170对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。活动图像G包括多个帧，并且根据将第一帧作为参考帧的方法被压缩。
控制单元140把通过通信单元130从作为发送端的两个移动电话110中的一个接收的电子邮件中的数据T存储在存储单元150中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元140也向静止图像处理单元160输出附属图像。控制单元140接着使静止图像处理单元1 60对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元140输出附属图像到活动图像处理单元170，使活动图像处理单元170对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元140把校正的静止图像S′或校正的活动图像G′附属到存储在存储单元150中的数据T中，并通过通信单元130把附有校正的图像的电子邮件发送到作为接收端的其他移动电话110。
图6B为图6A所示的中继服务器200中的活动图像处理单元170的结构框图。如图6B所示，活动图像处理单元170包括帧分割单元172，解码单元174，校正单元176，编码单元178和合并单元180。帧分割单元172把压缩的活动图像数据G分为第一帧(下文成为第一帧F0)和其他帧F1。解码单元174通过解码第一帧F0获得解码的第一帧F01。校正单元176通过对解码的第一组帧F01执行图像增强处理获得校正的解码第一帧F02。编码单元178通过编码校正的解码第一帧F02获得编码的第一帧F03。合并单元180通过合并校正的第一帧F03和其他帧F1获得校正的活动图像数据G′。
图7表示中继服务器200的操作流程图。当中继服务器200经通信单元130接收从发送移动电话110发送的附属有图像的电子邮件后(步骤S110)，控制单元140判断附属图像是静止图像S还是活动图像G(步骤S120)。附属图像是静止图像S时(步骤S120否)，控制单元140在存储单元150中存储除了附属图像之外的数据T，向静止图像处理单元160输出静止图像S(步骤S125)。静止图像处理单元160对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S130)。控制单元140把校正的静止图像S′附加到存储在存储单元150中的数据T中，通过通信单元130向接收移动电话110发送附有校正的图像的电子邮件(步骤S190)。
在步骤S120，如果附属图像被判定为活动图像G时(步骤S120是)，控制单元140在存储单元150中存储除了附属图像之外的数据T，向活动图像处理单元170输出活动图像G(步骤S135)。活动图像处理单元170对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P2)，获得校正的活动图象G’(步骤S140)。控制单元140将校正的活动图象G’附加到储存在存储单元150的数据T上，并通过通信单元130把附有校正图象的电子邮件发送给接收移动电话110(步骤S190)。
图8为中继器200中活动图象处理单元170的操作流程图。当活动图象处理单元170对活动图象G执行活动图象增强处理P2时，帧分割单元172首先把压缩的活动图像数据G分割为第一帧F0和其他帧F1(步骤S142)。解码单元174解码第一帧F0，获得解码的第一帧F01(步骤S144)。校正单元176对解码的第一帧F01执行活动图像增强处理P2，从而产生校正的解码第一帧F02(步骤S146)。编码单元178编码校正的解码第一帧F02，获得校正的第一帧F03(步骤S148)。合并单元180将校正的第一帧F03和由帧分割单元172分离的其他帧F1合并，获得校正的活动图像G′(步骤S150)。校正的活动图像G′被发送到控制单元140。
图9表示作为本发明图像处理装置和图像处理程序第三实施例的移动电话系统C的结构框图。如图9所示，第三实施例中的移动电话系统C包括多个移动电话210和用于移动电话210之间中继通信的中继服务器300。移动电话210通过移动电话通信网络220连接到中继服务器200。中继服务器300中继移动电话210之间的话音通信以及电子邮件。为了更好的理解本发明的保护范围，将再次详细说明在两个移动电话210之间发送和接收附有图像数据的电子邮件时中继服务器300的操作。
图10A和10B为图9所示的移动电话系统C中的中继服务器300的结构框图。如图10A所示，移动电话系统C中的中继服务器300包括通信单元230，控制单元240，存储单元250，静止图像处理单元260和活动图像处理单元270。通信单元230执行与移动电话210之间的无线发送和接收。控制单元240控制包括通信单元230的整个中继服务器300的操作。存储单元250在控制单元240的控制下存储除了附属于电子邮件的图像之外的数据T。静止图像处理单元260对附属于电子邮件的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元270对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。活动图像G包括内部帧和相关帧。内部帧是独立的。相关帧包括帧之间的差异，是不独立的。
控制单元240把通过通信单元230从作为发送端的两个移动电话210中的一个接收的电子邮件的数据T存储在存储单元250中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元240还向静止图像处理单元260输出附属图像。控制单元240接着使静止图像处理单元260对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元240输出附属图像到活动图像处理单元270，使活动图像处理单元270对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元240把校正的静止图像S′或校正的活动图像G′附加到存储在存储单元250中的数据T中，并通过通信单元230把附有校正的图像的电子邮件发送给作为接收端的其他移动电话210。
图10B为图10A所示的中继服务器300中的活动图像处理单元270的结构框图。如图10B所示，活动图像处理单元270包括帧分割单元272，块分割单元274，解码单元276，校正单元278，编码单元280和合并单元282。帧分割单元272把压缩的活动图像数据G分为内部帧和相关帧。块分割单元274进一步把相关帧分为内部块和相关块。解码单元276通过解码内部帧和内部块获得解码的内部帧和解码的内部块(下文中共同称为解码的数据M0)。校正单元278通过对解码的数据M0执行图像增强处理获得校正的解码内部帧和校正的解码内部块(下文中共同称为校正的解码数据M01)。编码单元280通过编码校正的解码数据M01获得校正的内部帧和校正的内部块(下文中共同称为校正数据M02)。合并单元282通过将校正的数据M02和相关块合并获得校正的活动图像数据G′。
图11为中继服务器300的操作流程图。当中继服务器300经通信单元230接收从发送移动电话210发送的附属有图像的电子邮件后(步骤S210)，控制单元240判断附属图像是静止图像S还是活动图像G(步骤S220)。附属图像是静止图像S时(步骤S220否)，控制单元240在存储单元250中存储除了附属图像之外的数据T，向静止图像处理单元260输出静止图像S(步骤S225)。静止图像处理单元260对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S230)。控制单元240把校正的静止图像S′附加到存储在存储单元250中的数据T，通过通信单元230向接收移动电话210发送附有校正的图像的电子邮件(步骤S290)。
在步骤220，当附属图像被判定为活动图像G时(步骤S220是)，控制单元240在存储单元250中存储除了附属图像之外的数据T，向活动图像处理单元270输出活动图像G(步骤S235)。活动图像处理单元270对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P3)，获得校正的活动图像G′(步骤S240)。控制单元240把校正的活动图像G′附加到存储在存储单元250中的数据T中，通过通信单元230向接收移动电话210发送附有校正的图像的电子邮件(步骤S290)。
图12为中继服务器300中的活动图像操作单元270的操作流程图。活动图像处理单元270对活动图像G执行活动图像增强处理P3时，帧分割单元272首先把压缩的活动图像数据G分割为内部帧和相关帧(步骤S242)。块分割单元274进一步把相关帧分为内部块和相关块(步骤S244)。解码单元276解码内部帧和内部块，获得解码的数据M0(步骤S246)。校正单元278对解码的数据M0执行活动图像增强处理P3，从而产生校正的解码数据M01(步骤S248)。编码单元280编码校正的解码数据M01，获得校正的数据M02(步骤S250)。合并单元282合并校正的数据M02和相关块，获得校正的活动图像G′(步骤S252)。校正的活动图像G′被发送到控制单元240中。
图13是本发明图像处理装置和程序第四实施例移动电话系统D的结构框图。如图13所示，第四实施例中的移动电话系统D包括多个移动电话310和用于移动电话310之间中继通信的中继服务器400。移动电话310通过移动电话通信网络320连接到中继服务器400。中继服务器400中继移动电话310之间的话音通信以及电子邮件。为了更好的理解本发明的保护范围，将再次详细说明在两个移动电话310之间发送和接收附有图像数据的电子邮件时中继服务器400的操作。
图14A和14B为图13所示的移动电话系统D中的中继服务器400的结构框图。如图14A所示，移动电话系统D的中继服务器400包括通信单元330，控制单元340，存储单元350，静止图像处理单元360和活动图像处理单元370。通信单元330执行与移动电话310之间的无线发送和接收。控制单元340控制包括通信单元330的整个中继服务器400的操作。存储单元350在控制单元340的控制下存储除了附属于电子邮件的图像之外的数据T。静止图像处理单元360对附属于电子邮件的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元370对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。活动图像G根据MPEG等方法压缩的，它包括I帧，P帧和B帧。I帧是独立的。每个P帧只与前一帧相关。每个B帧与前一帧和接下来的一帧相关。
控制单元340把通过通信单元330从作为发送端的两个移动电话310中的一个接收的电子邮件的数据T存储在存储单元350中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元340也向静止图像处理单元360输出附属图像。控制单元340接着使静止图像处理单元360对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元340输出附属图像到活动图像处理单元370，使活动图像处理单元370对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元340把校正的静止图像S′或校正的活动图像G′附加到存储在存储单元350中的数据T中，并通过通信单元330把附有校正的图像的电子邮件发送给作为接收端的其他移动电话310。
图14B为图14A所示的中继服务器400中的活动图像处理单元370的结构框图。如图14B所示，活动图像处理单元370包括帧分割单元372，块分割单元374，解码单元376，校正单元378，编码单元380和合并单元382。帧分割单元372把压缩的活动图像数据G分为I帧，P帧和B帧。块分割单元374把B帧分为内部块和相关块。解码单元376通过解码I帧、P帧和内部块获得解码的I帧、解码的P帧和解码的内部块(下文中共同称为解码的数据N0)。校正单元378通过对解码的数据N0执行图像增强处理获得校正的解码I帧、校正的解码P帧和校正的解码内部块(下文中共同称为校正的解码数据N01)。编码单元380通过编码校正的解码数据N01获得校正的I帧、校正的P帧和校正的内部块(下文中共同称为校正数据N02)。合并单元382通过将校正的数据M02和相关块合并获得校正的活动图像数据G′。编码单元380具有一个参考帧存储器，它在图14B中未示出。当每个校正的解码P帧被编码时，参考帧存储器保存校正的解码I帧的前一帧和/或校正的解码P帧的前一帧的数据作为参考(它是对应的P帧所依据的帧)。保存在参考帧存储器中的数据用于编码对应的校正的解码P帧。
图15为中继服务器400的操作流程图。当中继服务器400经通信单元430接收从发送移动电话310发送的附属有图像的电子邮件后(步骤S310)，控制单元340判断附属图像是静止图像S还是活动图像G(步骤S320)。附属图像是静止图像S时(步骤S320否)，控制单元340在存储单元350中存储除了附属图像之外的数据T，向静止图像处理单元360输出静止图像S(步骤S325)。静止图像处理单元360对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S330)。控制单元340把校正的静止图像S′附加到存储在存储单元350中的数据T中，通过通信单元330向接收移动电话310发送附有校正的图像的电子邮件(步骤S390)。
在步骤S320，当附属图像被判定为活动图像G时(步骤S320是)，控制单元340在存储单元350中存储除了附属图像之外的数据T，向活动图像处理单元370输出活动图像G(步骤S335)。活动图像处理单元370对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P4)，获得校正的活动图像G′(步骤S340)。控制单元340把校正的活动图像G′附加到存储在存储单元350中的数据T中，通过通信单元330向作为接收端的移动电话310发送附有校正的图像的电子邮件(步骤S390)。
图16为中继服务器400中的活动图像操作单元370的操作流程图。活动图像处理单元370对活动图像G执行活动图像增强处理P4时，帧分割单元372首先把压缩的活动图像数据G分割为I帧、P帧和B帧(步骤S342)。块分割单元374进一步把B帧分为内部块和相关块(步骤S344)。解码单元376解码I帧、P帧和相关块，获得解码的数据N0(步骤S346)。校正单元378对解码的数据N0执行活动图像增强处理P4，从而产生校正的解码数据N01(步骤S348)。编码单元380编码校正的解码数据N01，获得校正的数据N02(步骤S350)。合并单元382合并校正的数据N02和相关块，获得校正的活动图像G′(步骤S352)。校正的活动图像G′被发送到控制单元340。
图17为本发明图像处理装置和图像处理程序第五实施例的移动电话系统E的结构框图。如图17所示，第五实施例中的移动电话系统E包括多个移动电话410和用于移动电话410之间中继通信的中继服务器500。移动电话410通过移动电话通信网络420连接到中继服务器500。中继服务器500中继移动电话410之间的话音通信以及电子邮件。为了更好的理解本发明的保护范围，将再次详细说明在两个移动电话410之间发送和接收附有图像数据的电子邮件时中继服务器500的操作。
图18A和18B为图17所示的移动电话系统E中的中继服务器500的结构框图。如图18A所示，移动电话系统E中的中继服务器500包括通信单元430，控制单元440，存储单元450，静止图像处理单元460和活动图像处理单元470。通信单元430执行与移动电话410之间的无线发送和接收。控制单元440控制包括通信单元430的整个中继服务器500的操作。存储单元450在控制单元440的控制下存储除了附属于电子邮件的图像之外的数据T。静止图像处理单元460对附属于电子邮件的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元470对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。活动图像G根据MPEG等方法压缩，它包括包头信息和帧。每帧主要包括DCT系数数据和运动向量数据。
控制单元440把通过通信单元430从作为发送端的两个移动电话410中的一个接收的电子邮件的数据T存储在存储单元450中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元440也向静止图像处理单元460输出附属图像。控制单元440接着使静止图像处理单元460对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元440向活动图像处理单元470输出附属图像，使活动图像处理单元470对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元440把校正的静止图像S′或校正的活动图像G′附加到存储在存储单元450中的数据T中，并通过通信单元430把附有处理的图像的电子邮件发送给作为接收端的其他移动电话410。
图18B为图18A所示的中继服务器500中的活动图像处理单元470的结构框图。如图18B所示，活动图像处理单元470包括提取单元472，解码单元474，校正单元476，和编码单元478。提取单元472从压缩的活动图像数据G中提取DCT系数数据和活动向量数据。解码单元474同时利用DCT系数数据和运动向量数据，通过解码压缩的活动图像数据G获得解码的数据R0。校正单元476通过对解码的数据R0执行图像增强处理获得校正的解码数据R′0。编码单元478通过使用运动向量数据编码校正的解码数据R′0获得校正的活动图像G′。编码单元478具有一个参考帧存储器，它在图18B中未示出。当每帧被编码时，参考帧存储器保存将被编码的对应帧所依据的帧的校正的解码数据R′0。保存在参考帧存储器中的数据作为编码对应帧的参考。
图19为中继服务器500的操作流程图。当中继服务器500经通信单元430接收从发送移动电话410发送的附属有图像的电子邮件后(步骤S410)，控制单元440判断附属图像是静止图像S还是活动图像G(步骤S420)。附属图像是静止图像S时(步骤S420否)，控制单元440在存储单元450中存储除了附属图像之外的数据T，并向静止图像处理单元460输出静止图像S(步骤S425)。静止图像处理单元460对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S430)。控制单元440把校正的静止图像S′附加到存储在存储单元450中的数据T中，通过通信单元430向接收移动电话410发送附有校正的图像的电子邮件(步骤S490)。
当附属图像在步骤S420被判定为活动图像G时(步骤S420是)，控制单元440在存储单元450中存储除了附属图像之外的数据T，向活动图像处理单元470输出活动图像G(步骤S435)。活动图像处理单元470对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P5)，获得校正的活动图像G′(步骤S440)。控制单元440把校正的活动图像G′附加到存储在存储单元450中的数据T中，通过通信单元430向接收移动电话410发送附有校正的图像的电子邮件(步骤S490)。
图20为中继服务器500中的活动图像操作单元470的操作流程图。为了使活动图像处理单元470对活动图像G执行活动图像增强处理P5，提取单元472首先从压缩的活动图像数据G中提取DCT系数数据和运动向量数据(步骤S442)。解码单元474使用DCT系数数据和运动向量数据解码每一帧，获得解码的数据R0(步骤S444)。校正单元476对解码的数据R0执行活动图像增强处理P5，从而产生校正的解码数据R′0(步骤S446)。编码单元478使用每一帧的运动向量数据编码校正的解码数据R′0，获得校正的活动图像数据G′(步骤S448)。校正的活动图像G′被发送到控制单元440。
在作为本发明上述第一到第四实施例的移动电话系统A到D中，压缩的活动图像数据首先将通过诸如色调校正的图像增强处理分为被校正的部分和不被校正的部分。接下来，只对将被校正的部分进行解码处理、图像增强处理和编码处理，然后，与不被处理的部分合并后获得处理后的压缩活动图像数据。因此，为了适当显示处理的压缩活动图像数据可以执行图像增强处理，通过减少将被解码和编码的数据量，产生处理数据所需要的时间被有效地缩短。
作为本发明第五实施例的移动电话系统E使用这一事实，即当对根据MPEG等产生并包括主要具有DCT系数数据和运动向量数据的帧的压缩活动图像数据执行图像增强处理时，运动向量很少影响诸如色调的图像质量。因此，当压缩的活动图像数据在被解码并受到图像增强处理后被编码时，通过使用解码时从压缩的活动图像数据中提取的运动向量数据执行编码处理。以这种方式，在图像增强处理后编码时，用于找到运动向量数据的操作就不必要了，这会缩短处理的时间。因此，通过图像增强处理能够有效地获得被处理的压缩活动图像数据。
图21表示作为本发明图像处理装置和程序第六实施例的移动电话系统F的结构框图。如图21所示，在第六实施例中的移动电话系统F包括多个移动电话510和用于移动电话510之间中继通信的中继服务器600。移动电话510通过移动电话通信网络520连接到中继服务器600。中继服务器600中继移动电话510之间的话音通信以及电子邮件。为了更好的理解本发明的保护范围，将再次详细说明在两个移动电话510之间发送和接收附有图像数据的电子邮件时中继服务器600的操作。
图22A和22B为图21所示的移动电话系统F中的中继服务器600的结构框图。如图22A所示，移动电话系统F中的中继服务器600包括通信单元530，控制单元540，存储单元550，静止图像处理单元560和活动图像处理单元570。通信单元530执行与移动电话510之间的无线发送和接收。控制单元540控制包括通信单元530的整个中继服务器600的操作。存储单元550在控制单元540的控制下存储除了附属于电子邮件的图像之外的数据T。静止图像处理单元560对附属于电子邮件的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元570对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。活动图像G包括内部帧和相关帧。内部帧是独立的。相关帧包括帧之间的差异，不是独立的。
控制单元540把通过通信单元530从作为发送端的两个移动电话510中的一个接收的电子邮件的数据T存储在存储单元550中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元540也向静止图像处理单元560输出附属图像。控制单元540接着使静止图像处理单元560对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元540输出附属图像到活动图像处理单元570，使活动图像处理单元570对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元540把校正的静止图像S′或校正的活动图像G′附加到存储在存储单元550中的数据T中，并通过通信单元530把附有校正的图像的电子邮件发送到作为接收端的其他移动电话510。
图22B为图22A所示的中继服务器600中的活动图像处理单元570的结构框图。如图22B所示，活动图像处理单元570包括帧分割单元572，解码单元574，校正单元576，编码单元584和合并单元586。帧分割单元572把压缩的活动图像数据G分为内部帧和相关帧。解码单元574通过解码内部帧获得解码的内部帧M0。校正单元576通过对解码的内部帧M0执行图像增强处理获得校正的解码内部帧M01。编码单元584通过对校正的解码内部帧M01编码获得校正的内部帧M02。合并单元586通过将校正的内部帧M02和相关帧合并获得校正的活动图像数据G′。
活动图像处理单元570中的校正单元576对解码的内部帧M0执行图像增强处理，它包括参数计算单元578，参数调整单元580和校正执行单元582。参数计算单元578使用与解码的内部帧M0对应的数据，对将被校正的每个解码内部帧M0计算校正参数f。参数调整单元580将对应的解码的内部帧M0和夹在对应解码的内部帧M0之间的两个解码的内部帧M0的校正参数f取平均值。参数调整单元580把该平均值用作对应的解码的内部帧M0的调整参数f。校正执行单元582利用调整的参数f对每个解码的内部帧M0执行图像增强处理，获得校正的解码内部帧M01。
图23为中继服务器600的操作流程图。当中继服务器500经通信单元530接收从发送移动电话510发送的附属有图像的电子邮件后(步骤S510)，控制单元540判断附属图像是静止图像S还是活动图像G(步骤S520)。附属图像是静止图像S时(步骤S520否)，控制单元540在存储单元550中存储除了附属图像之外的数据T，向静止图像处理单元560输出静止图像S(步骤S525)。静止图像处理单元560 对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S530)。控制单元540把校正的静止图像S′附加到存储在存储单元550中的数据T中，并通过通信单元530向接收移动电话510发送附有校正图像的电子邮件(步骤S590)。
在步骤520，如果附属图像被判定为活动图像G时(步骤S520是)，控制单元540在存储单元550中存储除了附属图像之外的数据T，向活动图像处理单元570输出活动图像G(步骤S535)。活动图像处理单元570对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P1)，获得校正的活动图像G′(步骤S540)。控制单元540把校正的活动图像G′附加到存储在存储单元550中的数据T中，并通过通信单元530向接收移动电话510发送附有校正图像的电子邮件(步骤S590)。
图24为中继服务器600中的活动图像操作单元570的操作流程图。当活动图像处理单元570对活动图像G执行活动图像增强处理P1时，帧分割单元572首先把压缩的活动图像数据G分为内部帧和相关帧(步骤S542)。解码单元574解码内部帧，获得解码的内部帧M0(步骤S544)。校正单元576中的参数计算单元578用其中的数据计算每个解码的内部帧M0的校正参数f，把校正参数f输出到参数调整单元580(步骤S546)。参数调整单元580取对应的解码的内部帧M0和夹在中间的两个解码的内部帧M0的校正参数f的平均值，把该平均值作为调整参数f输出到校正执行单元582(步骤S548)。校正执行单元582接着使用调整的参数f对每个解码的内部帧M0执行活动图像增强处理P1，获得校正的解码内部帧M01(步骤S550)。编码单元584编码校正的解码内部帧M01，获得校正的内部帧M02，输出到合并单元586(步骤S552)。合并单元586合并校正的内部帧M02和相关帧，获得校正的活动图像G′(步骤S554)。校正的活动图像G′被发送到控制单元540。
以上已经说明，根据本发明第六实施例的移动电话系统F，中继服务器600中的活动图像处理单元570首先把压缩的活动图像数据G分为内部帧和相关帧，用于执行活动图像增强处理。只有内部帧受到解码处理，活动图像增强处理和编码处理，获得校正的内部帧M02。校正的内部帧接着与相关帧合并，产生处理后的压缩活动图像数据G′。这时，利用校正参数的平均值对每个解码的内部帧执行活动图像增强处理，校正参数的平均值用其中的数据从对应的解码内部帧和夹在中间的两个解码的内部帧中找到。以这种方式，通过减少被编码和解码的数据量，缩短处理时间，调整校正参数能够防止处理后的压缩活动图像在显示时亮度发生变化。
图25表示作为本发明图像处理装置和程序第七实施例的移动电话系统G的结构框图。如图25所示，第七实施例中的移动电话系统G包括多个移动电话610和用于移动电话610之间中继通信的中继服务器700。移动电话610通过移动电话通信网络620连接到中继服务器700。中继服务器700中继移动电话610之间的话音通信以及电子邮件。为了更好的理解本发明的保护范围，将再次详细说明在两个移动电话610之间发送和接收附有图像数据的电子邮件时中继服务器700的操作。
图26A和26B为图25所示的移动电话系统G中的中继服务器700的结构框图。如图26A所示，移动电话系统G的中继服务器700包括通信单元630，控制单元640，存储单元650，静止图像处理单元660和活动图像处理单元670。通信单元630执行与移动电话610之间的无线发送和接收。控制单元640控制包括通信单元630的整个中继服务器700的操作。存储单元650在控制单元640的控制下存储除了附属于电子邮件的图像之外的数据T。静止图像处理单元660对附属于电子邮件的静止图像S执行图像增强处理，获得校正的静止图像S′。活动图像处理单元670对附属于电子邮件的活动图像G执行图像增强处理，获得校正的活动图像G′。
静止图像S，校正的静止图像S′，活动图像G，校正的活动图像G′都被压缩。活动图像G根据MPEG等方法进行压缩，它包括I帧，P帧和B帧。I帧是独立的。每个P帧只与前一帧相关，而每个B帧与前一帧和后一帧相关。
控制单元640把通过通信单元630从作为发送端的两个移动电话610中的一个接收的电子邮件的数据T存储在存储单元650中。如上所述，数据T不包括附属于电子邮件的图像。附属图像是静止图像S时，控制单元640也向静止图像处理单元660输出附属图像。控制单元640接着使静止图像处理单元660对静止图像S执行图像增强处理，获得校正的静止图像S′。附属图像是活动图像G时，控制单元640输出附属图像到活动图像处理单元670，使活动图像处理单元670对活动图像G执行图像增强处理。以这种方式，获得校正的活动图像G′。控制单元640把校正的静止图像S′或校正的活动图像G′附加到存储在存储单元650中的数据T中，并通过通信单元630把附有校正的图像的电子邮件发送到作为接收端的其他移动电话610。
图26B为图26A所示的中继服务器700中的活动图像处理单元670的结构框图。如图26B所示，活动图像处理单元670包括帧分割单元672，解码单元674，校正单元676，编码单元682和合并单元684。帧分割单元672把压缩的活动图像数据G分为I帧，P帧和B帧。解码单元674通过解码I帧和P帧获得解码的I帧I0和解码的P帧P0。校正单元676通过对解码的I帧I0和解码的P帧P0执行图像增强处理获得校正的解码I帧I01和校正的解码P帧P01。编码单元682通过编码校正的解码I帧I01和校正的解码P帧P01获得校正的I帧I02和校正的P帧P02。合并单元684通过将校正的I帧I02、校正的P帧P02和B帧合并获得校正的活动图像数据G′。校正单元676包括参数计算单元678和校正执行单元680。参数计算单元678使用其中的数据，对每个解码I帧I0计算校正参数f。校正执行单元680用校正参数f对每个解码的I帧I0执行图像增强处理，获得校正的解码I帧I01。校正执行单元680也使用前面的解码I帧I0的校正参数对夹在解码的I帧I0和紧接着的解码I帧I0之间的每个解码P帧P0执行图像增强处理。以这种方式，获得校正的解码P帧P01。
图27表示中继服务器700的操作流程图。当中继服务器700经通信单元630接收从发送移动电话610发送的附属有图像的电子邮件后(步骤S610)，控制单元640判断附属图像是静止图像S还是活动图像G(步骤S620)。附属图像是静止图像S时(步骤S620否)，控制单元640在存储单元650中存储除了附属图像之外的数据T，并向静止图像处理单元660输出静止图像S(步骤S625)。静止图像处理单元660对静止图像S执行诸如色调校正的图像增强处理，获得校正的静止图像S′(步骤S630)。控制单元640把校正的静止图像S′附加到存储在存储单元650中的数据T中，并通过通信单元630向接收移动电话610发送附有校正的图像的电子邮件(步骤S690)。
在步骤620，当附属图像被判定为活动图像G时(步骤S620是)，控制单元640在存储单元650中存储除了附属图像之外的数据T，向活动图像处理单元670输出活动图像G(步骤S635)。活动图像处理单元670对活动图像G执行诸如色调校正的图像增强处理(下文中称为活动图像增强处理P2)，获得校正的活动图像G′(步骤S640)。控制单元640把校正的活动图像G′附加到存储在存储单元650中的数据T中，并通过通信单元630向接收移动电话610发送附有校正的图像的电子邮件(步骤S690)。
图28表示中继服务器700中的活动图像操作单元670的操作流程图。当活动图像处理单元670对活动图像G执行活动图像增强处理P2时，帧分割单元672首先把压缩的活动图像数据G分为I帧，P帧和B帧(步骤S642)。解码单元674解码I帧和P帧，获得解码的I帧I0和解码的P帧P0(步骤S644)。校正单元676中的参数计算单元678用其中的数据计算第一个解码I帧I0的校正参数f(步骤S646和S648)。校正执行单元680使用校正参数f对夹在第一个解码I帧I0和第二个解码I帧I0中间的所有的解码P帧执行活动图像增强处理P2(步骤S650)。校正单元676在步骤S648和S650对所有的解码I帧I0和解码P帧P0执行处理(步骤S652否)，获得校正的解码I帧I01和校正的解码P帧P01(步骤S654)。换句话说，参数计算单元678执行计算处理，用其中的数据找出对解码的第i个I帧I0的校正参数f(步骤S648)，并且校正执行单元680利用校正参数f对解码的第i个I帧I0和夹在解码的第i个I帧I0与解码的第(i+1)个I帧I0中间的解码的P帧P0进行校正执行处理(步骤S650)。计算处理和校正执行处理不断重复进行，直到所有的解码I帧和解码P帧都被校正(步骤S652否)。编码单元682编码校正的解码I帧I01和校正的解码P帧P01，获得校正的I帧I02和校正的P帧P02(步骤S656)。合并单元684把校正的I帧I02、校正的P帧P02和B帧进行合并，获得校正的活动图像G′(步骤S660)。校正的活动图像G′被发送到控制单元640。
以上已经说明，根据本发明的第七实施例的移动电话系统G，中继服务器700中的活动图像处理单元670首先把压缩的活动图像数据G分为I帧，P帧和B帧，用于对活动图像数据G执行活动图像增强处理P2。只对I帧和P帧进行解码处理，活动图像增强处理和编码处理，获得校正的I帧I02和校正的P帧P02。校正的I帧I02和校正的P帧P02接着与B帧合并，获得处理后的活动图像数据G′。执行活动图像增强处理时，利用其中的数据找到每个解码的I帧I0的校正参数f，利用校正参数f对相应的解码I帧I0执行活动图像增强处理。对每个解码的P帧P0，没有找到校正参数时，对应的P帧前一个解码I帧I0的校正参数用作对P0的活动图像增强处理的校正参数。以这种方式，将被解码和编码的数据量减少，缩短处理时间。另外，还能够防止校正参数f改变过大，也防止处理后的压缩活动图像数据G′显示时的亮度波动。
尽管上文中说明了本发明的图像处理装置和程序的优选实施例，本发明不限于上述的实施例。在本发明的范围内，能够作出各种修改。
例如，在图9所示的移动电话系统C中，中继服务器300的活动图像处理单元270把压缩的活动图像数据G分为内部帧和相关帧。相关帧进一步被分为内部块和相关块。为改善图像质量，对内部帧和内部块执行解码处理和图像增强处理。但是，压缩的活动图像数据可以只被分为内部帧和相关帧，只在内部帧上执行解码处理和图像增强处理。
同理，如图13所示的移动电话系统D中的活动图像处理单元270，中继服务器400中的活动图像处理单元370也不必把B帧分为内部块和相关块。这时，活动图像处理单元370只对I帧和P帧执行解码处理和图像增强处理。
在图21所示的移动电话系统F中的中继系统600的活动图像处理单元570中，参数调整单元580用对应的解码内部帧和两个夹在解码内部帧中间的内部帧找到的校正参数f的平均值，调整每个解码的内部帧的校正参数f。接着使用以上述方式调整的校正参数f对对应的解码内部帧执行图像增强处理。以这种方式，能够防止数据显示时，处理的压缩活动图像数据的亮度变化明显。但是，在活动图像的照片上，一个活动图像可以有多个场景，比如在某种情况下从门外的场景变到门内的场景。如果在场景变化前后，用帧的平均校正参数对活动图像执行上述的图像增强处理，场景变化可能变得不清楚。对于这种包括场景变化的活动图像数据，可以用场景检测技术检测表示场景变化的边界帧。这时，通过把夹在两个相邻边界帧中间的属于同一场景的帧的校正参数平均，调整校正参数。以这种方式，能够清楚地显示场景变化，同时能够防止处理的压缩活动图像数据中亮度改变过大。
尽管本发明的图像处理装置和程序被应用到了第一到第七的移动电话系统实施例中，但是本发明的应用并不限于移动电话系统。本发明的图像处理装置和程序能够应用到诸如视频电话和活动图像显示装置的任意系统或装置中，它们都是通过对压缩的活动图像数据执行图像增强处理获得处理后的压缩活动图像数据。
权利要求
1.一种图像处理装置，用于通过对压缩活动图像数据执行图像增强处理获得压缩处理的活动图像数据的装置，该图像处理装置包括分割装置，用于把压缩活动图像数据分割为将被校正的目标部分和不被校正的非目标部分；解码装置，用于通过解码目标部分获得解码数据；校正装置，用于通过对解码数据执行图像增强处理获得校正的解码数据；编码装置，用于对该校正的解码数据编码；和合并装置，用于通过将编码过的目标部分和非目标部分合并获得压缩处理的活动图像数据。
2.如权利要求1所述的图像处理装置，其中解码装置解码目标部分到能使校正装置在其上执行图像增强处理的程度。
3.一种图像增强处理装置，用于对通过根据采用第一帧作为参考帧的压缩方法获得的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置，该图像处理装置包括分割装置，用于把压缩活动图像数据分割为第一帧和其它帧；解码装置，用于通过解码第一帧获得解码的第一帧；校正装置，用于通过对解码的第一帧执行图像增强处理获得校正的解码第一帧；编码装置，用于对该校正的解码第一帧编码获得校正的第一帧；和合并装置，用于通过将校正的第一帧和其它帧合并获得压缩处理的活动图像数据。
4.一种图像处理装置，用于通过对包括内部帧和相关帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置，该图像处理装置包括分割装置，用于把压缩活动图像数据分割为内部帧和相关帧；解码装置，用于通过解码内部帧获得解码的内部帧；校正装置，用于通过对解码的内部帧执行图像增强处理获得校正的解码内部帧；编码装置，用于通过对该校正的解码内部帧编码获得校正的内部帧；和合并装置，用于通过将校正的内部帧和相关帧合并获得压缩处理的活动图像数据。
5.如权利要求4所述的图像处理装置进一步包括块分割装置，用于将相关帧分割为内部块和相关块，解码装置还通过解码内部块获得解码的内部块，校正装置还通过对解码的内部块执行图像增强处理获得校正的解码内部块，编码装置还通过编码该校正的解码内部块获得校正的内部块，和合并装置通过将校正的内部帧和校正的内部块与相关块合并获得压缩处理的活动图像数据。
6.一种图像处理装置，用于通过对包括I帧，P帧和B帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置，该图像处理装置包括分割装置，用于把压缩活动图像数据分割为I帧，P帧和B帧；解码装置，用于通过解码I帧和P帧获得解码的I帧和解码的P帧；校正装置，用于通过对解码的I帧和解码的P帧执行图像增强处理获得校正的解码I帧和校正的解码P帧；编码装置，用于对该校正的解码的I帧和校正的解码的P帧编码获得校正的I帧和校正的P帧；和合并装置，用于通过将校正的I帧和校正的P帧与B帧合并获得压缩处理的活动图像数据。
7.如权利要求6所述的图像处理装置进一步包括块分割装置，用于将B帧分割为内部块和相关块，解码装置还通过解码该内部块获得解码的内部块，校正装置还通过对解码的内部块执行图像增强处理获得校正的解码内部块，编码装置还通过编码该校正的解码内部块获得校正的内部块，和合并装置通过将校正的I帧，校正的P帧和校正的内部块与相关块合并获得压缩处理的活动图像数据。
8.一种图像处理装置，用于通过对主要包含每帧DCT系数数据和运动向量数据的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置，该图像处理装置包括提取装置，用于从压缩的活动图像数据中提取DCT系数数据和运动向量数据；解码装置，用于通过利用DCT系数数据和运动向量数据解码该压缩活动图像数据获得解码数据；校正装置，用于通过对解码数据执行图像增强处理获得校正的解码数据；和编码装置，用于对该校正的解码数据编码获得压缩处理的活动图像数据，其中该编码装置利用由提取装置获得的运动向量数据编码该校正的解码数据。
9.一种图像处理装置，用于通过对包括多个帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置，该图像处理装置包括分割装置，用于把压缩活动图像数据分割为目标帧和非目标帧；解码装置，用于通过解码目标帧获得解码帧；校正装置，用于通过对解码帧执行图像增强处理获得校正的解码帧；编码装置，用于对该校正的解码帧编码获得校正帧；和合并装置，用于通过将校正帧和非目标帧合并获得压缩处理的活动图像数据，其中该校正装置包括校正参数计算装置，用于通过利用相应的解码帧数据计算每个解码帧的校正参数；参数调整装置，用于通过利用将要调整的该校正参数相应的解码帧之前和/或之后的解码帧或帧组的校正参数，调整其校正参数获得每个解码帧的调整参数；和校正执行装置，用于利用该调整参数执行每个解码帧的图像增强处理。
10.如权利要求9所述的图像处理装置，其中参数调整装置为每个解码帧设置调整参数，该调整参数为其上的校正参数和至少一个相应该解码帧之前和/或后的解码帧的校正参数的平均值。
11.一种图像处理装置，用于通过对包括内部帧和相关帧的压缩活动图像数据执行图像增强处理而获得压缩处理的活动图像数据的装置，该图像处理装置包括分割装置，用于把压缩活动图像数据分割为内部帧，目标相关帧和非目标相关帧；解码装置，用于通过解码内部帧和目标相关帧获得包括解码内部帧和解码目标相关帧的解码帧；校正装置，用于通过对解码帧执行图像增强处理获得校正的解码帧；编码装置，用于对该校正的解码帧编码获得校正帧；和合并装置，用于通过将校正帧和非目标相关帧合并获得压缩处理的活动图像数据，其中校正装置通过计算校正参数对解码内部帧和利用紧接着在前于该解码目标相关帧的解码内部帧的校正参数对解码目标相关帧执行图像增强处理。
12.一种使计算机执行的通过压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括的步骤为将压缩的活动图像数据分割为需校正的目标部分和不需校正的非目标部分；解码目标部分获得解码数据；对解码数据执行图像增强处理而获得校正的解码数据；对该校正的解码数据编码；和将编码过的目标部分和非目标部分合并获得压缩处理的活动图像数据。
13.一种使计算机执行的通过对采用根据第一帧作为参考帧的压缩方法获得的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括的步骤把压缩活动图像数据分割为第一帧和其它帧；解码第一帧而获得解码的第一帧；对解码的第一帧执行图像增强处理获得校正的解码第一帧；对该校正的解码第一帧编码获得校正的第一帧；和将校正的第一帧与其它帧合并获得压缩处理的活动图像数据。
14.一种使计算机执行的通过对包括内部帧和相关帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括的步骤为把压缩活动图像数据分割为内部帧和相关帧；解码内部帧获得解码的内部帧；对解码的内部帧执行图像增强处理获得校正的解码内部帧；对该校正的解码内部帧编码获得校正的内部帧；和将校正的内部帧与相关帧合并获得压缩处理的活动图像数据。
15.如权利要求14所述的程序，分割步骤还包括将相关帧分割为内部块和相关块的步骤，解码步骤是解码内部帧和内部块获得解码的内部帧和解码的内部块的步骤，执行图像增强处理的步骤是对解码的内部帧和解码的内部块执行图像增强处理获得校正的解码内部帧和校正的解码内部块的步骤，编码步骤是对该校正的解码内部帧和校正的解码内部块编码获得校正的内部帧和校正的内部块的步骤，和合并步骤是将校正的内部帧和校正的内部块与相关块合并获得压缩处理的活动图像数据的步骤。
16.一种使计算机执行的通过对包括I帧，P帧和B帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括将压缩活动图像数据分割为I帧，P帧和B帧；解码I帧和P帧获得解码的I帧和解码的P帧；对解码的I帧和解码的P帧执行图像增强处理获得校正的解码I帧和校正的解码P帧；对该校正的解码的I帧和校正的解码的P帧编码获得校正的I帧和校正的P帧；和将校正的I帧和校正的P帧与B帧合并获得压缩处理的活动图像数据。
17.如权利要求16所述的程序，分割步骤进一步包括分割B帧为内部块和相关块的步骤，解码步骤是解码该I帧，P帧和内部块获得解码的I帧，解码的P帧和解码的内部块的步骤，执行图像增强处理的步骤是对解码的I帧，解码的P帧和解码的内部块执行图像增强处理获得校正的解码I帧，校正的解码P帧和校正的解码内部块的步骤，编码步骤是对该校正的解码I帧，校正的解码P帧和校正的解码内部块编码获得校正的I帧，校正的P帧和校正的内部块的步骤，合并步骤是将校正的I帧，校正的P帧和校正的内部块与相关块合并获得压缩处理的活动图像数据的步骤。
18.一种使计算机执行的通过对主要包含每帧DCT系数数据和运动向量数据的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括的步骤为从压缩的活动图像数据中提取DCT系数数据和运动向量数据；利用DCT系数数据和运动向量数据解码该压缩活动图像数据获得解码数据；对解码数据执行图像增强处理获得校正的解码数据；和对该校正的解码数据编码获得压缩处理的活动图像数据，其中编码步骤是利用在提取步骤中获得的运动向量数据编码该校正的解码数据的步骤。
19.一种使计算机执行的通过对包括多个帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括的步骤为把压缩活动图像数据分割为目标帧和非目标帧；解码目标帧获得解码帧；对解码帧执行图像增强处理获得校正的解码帧；对校正的解码帧编码获得校正帧；和将校正帧和非目标帧合并获得压缩处理的活动图像数据，其中执行图像增强处理的步骤还包括步骤利用相应的解码帧数据计算每个解码帧的校正参数；利用相应将要调整的该校正参数的解码帧之前和/或之后的解码帧或帧组的校正参数，调整其上的校正参数获得每个解码帧的调整参数；和利用该调整参数对每个解码帧执行图像增强处理。
20.一种使计算机执行的通过对包括内部帧和相关帧的压缩活动图像数据进行图像增强处理而获得压缩处理的活动图像数据的图像处理程序，该图像处理程序包括的步骤为把压缩活动图像数据分割为内部帧，目标相关帧和非目标相关帧；解码内部帧和目标相关帧获得包括解码内部帧和解码目标相关帧的解码帧；对解码帧执行图像增强处理获得校正的解码帧；对该校正的解码帧编码获得校正帧；和将校正帧和非目标相关帧合并获得压缩处理的活动图像数据，其中执行图像增强处理的步骤是通过计算校正参数对解码内部帧和利用紧接着在前于该解码目标相关帧的解码内部帧的校正参数对解码目标相关帧执行图像增强处理的步骤。
全文摘要
获得压缩处理的活动图像数据的处理过程可通过对压缩活动图像数据进行图像增强处理被有效地执行。在移动电话系统中继服务器的活动图像处理单元中，分割单元把附属于一封电子邮件的压缩活动图像数据分割为将校正的目标部分和不校正的非目标部分。解码单元解码目标部分产生解码数据。校正单元对解码数据执行图像增强处理获得校正的解码数据。编码单元对该校正的解码数据编码而获得编码校正数据。合并单元将编码的校正数据和非目标部分合并获得压缩处理的活动图像数据。
文档编号H04N7/50GK1525738SQ20041003308
公开日2004年9月1日 申请日期2004年2月14日 优先权日2003年2月14日
发明者野中俊一郎, 树, 池谷直树 申请人:富士胶片株式会社