专利名称：图像编码数据变换装置的制作方法
技术领域：
本发明涉及输入对数字化的输入图像信号进行编码处理所得的第一图像编码数据、输出对该第一图像编码数据进行数字信号处理的第二图像编码数据的图像编码数据变换装置。
图16是表示例如在特开平2-179186号公报中所示的先有图像编码数据变换装置的框图，是多地点间的电视会议系统的例示。在图中，1是呼出站，2是中继站，3是呼入站，10是这些站的图像编码器，20是图像解码器。101是输入图像，102是图像编码数据，103是解码图像信号。104是图像再编码数据，105是解码图像信号。
下面对操作进行说明。
对输入到呼出站1的图像编码器10的输入图像101进行编码处理，把所得的图像编码数据102发送到中继站2。在中继站2，由图像解码器20接收该图像编码数据102，并对其进行解码处理，利用图像编码器10对所得的解码图像信号103再次进行编码处理，生成图像再编码数据104。这样，把通过再次编码处理生成的图像再编码数据104发送到呼入站3，在呼入站3，用图像解码器20对中继站2中继的图像再编码数据104进行解码处理，作为解码图像信号105来使用。
在使用具有这样的解码中继功能的中继站2进行电视会议时，在呼出站1和呼入站3间的编码方式不同时，为改变编码数据的发生量和各种参数(图像页和帧率等)，对中继站2接收的图像编码数据102进行一次解码，得到解码图像信号103后，通过对解码图像信号再次编码成图像再编码数据104来谋求匹配。
这样，在上述先有的图像编码数据变换装置中，为边中继边复制图像编码数据，采用对图像编码数据进行一次解码后进行再编码处理的方式。
由于先有的图像编码数据变换装置按以上那样来构成，所以，为边中继边变换图像编码数据102，对图像编码数据解码成一次解码图像信号103后，由于采用了进行与解码图像信号103的内容无关的再次编码处理，所以，存在着变换后的解码图像信号105的图像质量变差或中继、变换处理中的延迟变大进而是装置规模扩大等问题。
本发明为解决上述问题而做，目的在于提供能够减少图像质量的变差、缩短处理延迟、缩小装置规模且提高变换效率那样地进行图像编码数据变换的图像编码数据变换装置。
有关本发明的第一方面，图像编码数据变换装置在图像编码数据分析器中对第一图像编码数据进行第一数字信号处理、生成信号处理后的编码数据，同时，在图像编码数据合成器中使用与该信号处理后的编码数据与第一图像编码数据有关的多个信息、根据与该第一图像编码数据有关的多个信息对信号处理后的编码数据进行第二数字信号处理，生成第二图像编码数据。
有关本发明的第二方面，图像编码数据变换装置在用第一图像编码数据生成信号处理后的编码数据的过程中，图像编码数据分析器具有提取与第一图像编码数据有关的多个信息并输入到图像编码数据合成器中的功能。
有关本发明的第三方面，图像编码数据变换装置设有分解器，用于从该第一图像编码数据分解出与第一图像编码器数据有关的多个信息，图像编码数据合成器使用该信息生成第二图像编码数据，所述的第一编码数据不能从生成第一图像编码数据时使用的该第一图像编码数据提取。
有关本发明的第四方面，图像编码数据变换装置设有信息提取推测器，图像编码数据分析器使用对第一图像编码数据进行图像解码、作为信号处理后的编码数据输出的图像数据，提取或推测与第二数字信号处理时所需的第一图像编码数据有关的多个信息，图像编码数据合成器使用该信息生成第二图像编码数据。
有关本发明的第五方面，图像编码数据变换装置用图像编码数据合成器生成第二图像编码器数据图像，第二图像编码数据图像的数据量与输入到图像编码数据分析器的第一图像编码数据的数据量不同。
有关本发明的第六方面，图像编码数据变换装置利用图像编码数据合成器生成第二图像编码数据，第二图像编码数据的解码处理顺序与输入到图像编码数据分析器的第一图像编码数据的解码处理顺序不同。
有关本发明的第七方面，图像编码数据变换装置利用图像编码数据合成器生成第二图像编码数据，第二图像编码数据包含的图像大小与输入到图像编码数据分析器的第一图像编码数据包含的图像大小在时间或空间上不同。
有关本发明的第八方面，图像编码数据变换装置用图像编码数据合成器生成第二图像编码数据，第二图像编码数据包含的图像信号的时间序列与输入到图像编码数据分析器的第一图像编码数据包含的图像信号的时间序列不同。
有关本发明的第九方面，图像编码数据变换装置用图像编码数据合成器生成第二图像编码数据，在对其解码后的每一单位时间中包含的解码图像信号的数目与输入到图像编码数据分析器的第一图像编码数据的数目不同。
图1是表示根据本发明的实施形态1的图像编码数据变换装置的结构的框图；图2是表示上述实施形态中的编码处理装置的结构例的框图；图3是用于说明上述编码处理装置中的编码方式的简图；图4是表示上述实施形态中的解码处理装置的结构例的框图；图5是表示根据本发明的实施形态2的图像编码数据变换装置的结构的框图；图6是表示根据本发明的实施形态3的图像编码数据变换装置的结构的框图；图7是表示根据本发明的实施形态4至7的图像编码数据变换装置的详细结构的框图；图8是表示根据本发明的实施形态8和9的图像编码数据变换装置的详细结构的框图；图9是表示根据本发明的实施形态10的图像编码数据变换装置的详细结构的框图；图10是表示根据本发明的实施形态11的图像编码数据变换装置的详细结构的框图；图11是表示根据本发明的实施形态12的图像编码数据变换装置的详细结构的框图；图12是表示根据本发明的实施形态13的图像编码数据变换装置的详细结构的框图；图13是表示根据本发明的实施形态14的图像编码数据变换装置的详细结构的框图；图14是表示根据本发明的实施形态15的图像编码数据变换装置的详细结构的框图；图15是表示根据本发明的实施形态16的图像编码数据变换装置的详细结构的框图；图16是表示先有的图像编码数据变换装置的结构的框图。
下面，说明本发明的一个实施形态。(实施形态1)图1是同时示出了根据本发明的实施形态1的图像编码数据变换装置、用该图像编码数据变换装置对数字信号处理的输入图像信号进行编码处理的编码处理装置和用该图像编码数据变换装置对处理的图像编码数据进行解码处理的解码处理装置的框图。在图中，30是图像编码数据变换装置，40是编码处理装置，50是解码处理装置，200是输入到编码处理装置40的数字化输入图像信号，220是在编码处理装置40对其输入图像信号200进行编码处理所得的第一图像编码数据，240是在图像编码数据变换装置30对该第一图像编码数据220进行数字信号处理所得的第二图像编码数据，250是在解码处理装置50对该第二图像编码数据240进行解码所得的解码图像信号。
另外，在图像编码数据变换装置30中，310是对来自编码处理装置40的第一图像编码数据200进行第一数字信号处理的图像编码数据分析器，320是图像编码数据合成器，该图像编码数据合成器接收该图像编码数据分析器310输出的、信号处理后的编码数据和与第一图像编码数据有关的多个信息，对该信号处理后的编码数据，通过根据与第一图像编码数据有关的多个信息进行第二数字信号处理来生成第二图像编码数据240。另外，221是从上述图像编码数据分析器310发送给图像编码数据合成器320的信号处理后的编码数据，222是与同样的第一图像编码数据有关的多个信息，223是指示输入到图像编码数据合成器320的所变换的数据量和所变换的图像大小等变换的信息。
进而，在编码处理装置40中，401是用输入图像信号200进行离散余弦变换(下称DCT)等运算、生成变换系数的变换器，402是对用该变换器401生成的变换系数进行标量量化处理、生成量化指数的量化器，403是对该量化器402生成的量化指数用哈夫曼码等进行可变长度编码处理、生成第一图像编码数据220的可变长度编码器。另外，在解码处理装置50中，501是对第二图像编码数据240进行可变长度解码处理的可变长度解码器，502是对在该可变长度解码器501解码的量化指数进行逆标量量化处理的逆量化器，503是为了对由该逆量化器502逆量化的变换系数得到解码图像信号250而进行逆DCT运算的逆变换器。另外，作为该编码处理装置40和解码处理装置50，只示出了用于实现基本功能的机器。
下面对操作进行说明。
把数字化的输入图像信号200输入到由变换器401、量化器402及可变长度编码器403构成的编码处理装置40中，成为进行了编码处理的第一图像编码数据220。下面，对该编码处理装置40的操作进行详细说明。
图2是表示用于说明编码处理装置40的操作的具体结构的一个例子的框图。另外，401是变换器，402是量化器，403是可变长度编码器，用于实现将输入图像信号200编码处理成第一图像编码数据220的基本功能，其他部分是为了实现运动补偿预测功能而添加的。在图中，404是存储输入图像信号200的当前编码对象帧存储器，405是减法器，将从该当前编码对象帧存储器404读出的当前帧图像201减去来自后述的运动补偿预测器的预测帧图像210，生成预测误差帧图像202。203是用变换器401输出该预测误差帧图像202的DCT运算结果的变换指数，204是由量化器402根据该变换系数203的标量量化生成的、输出到可变长度编码器403的量化指数，205是同样的量化参数。406是对量化器402输出的量化指数204进行逆量化的逆量化器，407是通过逆DCT运算对用该量化器406进行逆量化所得的变换系数206进行逆变换处理的逆变换器，408是把用该逆变换器407、由逆变换处理生成的局部预测误差帧图像207与来自后述运动补偿预测器的预测帧图像210相加的加法器。409是存储加法器408的加法结果的局部解码帧图像208的先行编码帧存储器，410是根据用该先行编码帧存储器409读出的先行帧图像209和从当前编码对象存储器帧404读出的当前帧图像201来生成到上述减法器405及加法器408和预测帧图像210和到可变长度编码器403的运动向量211的运动补偿预测器。另外，可变长度编码器403根据来自该运动向量211和量化器402的量化参数205及来自量化器402的量化指数204生成第一图像编码数据220。
在图2所示结构的编码处理装置40中，例如在根据国际标准化机构(ISO)和国际电气标准会议(IEO)的联合会议的国际标准化方式移动图像专家组(MPEG1)所示的编码处理装置中，首先在当前编码对象帧存储器404中存储数字化的输入图像信号200，把用该当前编码对象帧存储器404读出的编码对象的当前帧图象201输入到减法器405中，计算与来自运动补偿预测器410的预测帧图像210的差，生成预测误差帧图像202。接着，用变换器401对该预测误差帧图像202实施DCT运算，进行变换处理，生成变换系数203。接着，在量化器402中，监视该变换系数203的代码量，进行反馈控制，使代码量固定，或者根据输入图像信号200的分散等的测量进行反馈控制、通过量化步骤进行标量量化处理。这样，接着在可变长度编码器403中，对量化器402生成的量化指数204根据量化器402生成的量化参数205、运动补偿预测器410生成的运动向量211和哈夫曼码等进行可变长度编码处理，生成第一图像编码数据220，一边通过通信线路传送第一图像编码数据220，一边利用CD只读存储器(CD-ROM)和磁带等存储在存储媒体上。
另外，在逆量化器406中对在量化器402中生成的量化指数204进行逆量化，由逆变换器407对所得的变换系数206加以逆DCT运算进行逆变换处理，生成局部预测误差帧图像207。接着把这样得到的局部预测误差帧图像207输入到加法器408，同来自运动补偿预测器410的预测帧图像210相加，生成局部解码帧图像208，在先行编码帧存储器409中进行存储。接着，在运动补偿预测器410中，对该先行编码帧存储器409读出的先行编码帧图像209，使用由当前编码对象帧存储器404读出的当前帧图像201进行模式匹配运算，生成产生最小误差的运动补偿结束的预测帧图象，把它输出到减法器405及加法器408。
这里，在MPEG1运动补偿预测方式中，如图3所示，存在着帧内编码方式、前向运动补偿帧间预测编码方式，双向运动补偿帧间预测编码方式。I图像(帧内编码方式帧图像)F(0)和F(9)不进行运动补偿预测(不生成预测帧图像210)。为将I图像作为运动补偿预测的参考图像使用，需要提高解码图像的质量，另一方面，由于不进行运动补偿预测，故代码量变得相当多。P图像(前向运动补偿帧间预测编码方式帧图像)F(3)和F(6)只使用在时间上处于之前的图象(例如对F(3)是F(0)，对F(6)是F(3))进行运动补偿预测。由于P图像作为运动补偿预测的参考图像使用，所以，需要提高某程度的解码图象的图像质量。B图象(双向运动补偿帧间预测编码方式帧图像)F(1)、F(2)、F(4)、F(5)、F(7)和F(8)使用在时间上处于前后的两个图像进行运动补偿预测，由于B图像不做为运动补偿预测的参考图像使用，所以也可进行粗的量化。这样，由于从双向进行运动补偿，所以，例如用具有固定的移动的时序提高前后的I图像和P图像的图像品质时，只用运动向量就可得到解码图像，代码量很少便可解决问题。
另外，在当前编码对象帧存储器404是图3所示的编码方式时，以F(0)→F(3)→F(1)→F(2)→F(6)→F(4)→F(5)→F(9)→F(7)→F(8)的顺序输出帧图像。
图像编码数据变换装置30把该编码处理装置40对输入图像信号200进行编码处理生成的第一图像编码数据220变换“编码数据的大小”、“被编码图像的大小”、“不同的编码方式”和“图像序列”中的一个，重新生成第二图像编码数据240。也就是说，用图像编码数据分析器310接收来自编码处理装置40的第一图像编码数据220，在该图像编码数据分析器310中分析该第一图像编码数据221，生成信号处理后的编码数据220，在该信号处理后的编码数据221的生成过程中，提取并输出与第一图像编码数据有关的多个信息222。接着，在图像编码数据合成器320中，利用与该信号处理后的编码数据221和第一图像编码数据有关的多个信息222重新生成第二图像编码数据240，输出到解码处理装置50中。这样，该图像编码数据合成器320与图像编码数据分析器310相反。考虑将图像编码数据分析器310作为在中间前进行第一图像编码数据220解码的图像解码器的一部分时，能够考虑将图像编码数据合成器320作为图像编码器的一部分，图像编码数据合成器320利用图像编码数据分析器310，对在前半期间进行解码的信号处理后的编码数据221进行再次编码。
下面，参照附图详细地进行说明。
在编码处理装置40中，把通过数字化的输入图像信号200对数字动态图像信号等进行编码处理所得的第一图像编码数据220输入到图像编码数据变换装置30的图像编码数据分析器310中。图像编码数据分析器310具有对该第一图像编码数据220进行可变长度解码处理功能和对解码的量化指数进行逆量化处理的功能等，输入第一图像编码数据220后，分析第一图像编码数据220。也就是说，对输入的第一图像编码数据220，使用上述可变长度解码处理和逆量化处理的功能进行第一数字信号处理，把与进行该第一数字信号处理后的结果的信号处理的编码数据221和在进行该第一数字信号处理的过程中从第一图像编码数据220中提取的第一图像编码数据有关的多个信息222输出到图像编码数据合成器320中。
一方面，图像编码数据合成器320具有对来自该图像编码数据分析器310的信号处理后的编码数据221进行该变换系数的删除/添加/校正等进行系数校正处理的功能，另一方面，具有对进行系数校正的数据进行量化的功能和对该量化的指数进行可变长度编码处理的功能等。输入与信号处理后的编码数据221和第一图像编码数据有关的多个信息222及指示变换的信息223后，对该信号处理后的编码数据221，图像编码数据合成器320使用上述系数校正处理、量化处理和可变长度编码处理等功能进行编码数据的合成处理。即，对信号处理后的编码数据221，根据与第一图像编码数据有关的多个信息222和指示变换的信息223进行第二数字信号处理，生成进行该第二数字信号处理的结果的第二图像编码数据240。这里，在图像编码数据分析器进行第一数字信号处理的过程中，在不把第一图像编码数据220解码成图像而是将其变换成第二图像编码数据240时，使用与用第一图像编码数据220提取的第一图像编码数据有关的多个信息222。这样生成的第二图像编码数据240边通过通信线路传送，边利用CD-ROM和录像带等存储在存储媒体上，送到解码处理装置50。
这样，边通过通信线路进行传送，边利用CD-ROM和录像带等存储在存储媒体上，在解码处理装置50中解码处理作为传送/记录信息的第二图像编码数据240，作为解码图像信号250输出。即，该解码处理装置50是构成上述编码处理装置40的逆过程的装置。
图4是用于说明上述解码处理装置50的操作的、表示具体结构的一个例子的框图，501是可变长度解码器，502是逆量化器，503是逆变换器，实现将第二图像编码数据240解码处理成解码图像信号250的基本功能，其他部分是为实现运动补偿预测的功能而添加的。在图中，241是利用可变长度解码器501、由第二图像编码数据240的可变长度解码处理所得的量化指数，242是同一量化参数，243是同一解码运动向量，244是逆量化器502对该逆量化指数241进行逆量化而生成的变换系数，245是逆变换器503对该变换系数244进行逆DCT运算而生成的预测误差帧图像。504是把该预测误差帧图像245与来自后述的运动补偿预测器的预测帧图象248进行相加的加法器，246是该加法器504输出的当前帧图像，505是存储该当前帧图象246并将其作为解码图像信号250读出的当前解码对象帧存储器。506是存储当前帧图像246、并在下一周期中作为先行帧图像247读出的先行解码帧存储器，507是利用该先行帧图像247及当前帧图像246、根据来自可变长度解码器501的解码运动向量243来生成向上述加法器504的预测帧图像248的运动补偿预测电路。
在图4所示结构的解码处理装置50，将第二图像编码数据240输入到该可变长度解码器501中，第二图像编码数据240通过对第一图像编码数据220进行第一和第二数字信号处理来生成，边通过通信线路进行传送，边使用CD-ROM和录像带等存储在存储媒体上。在可变长度解码器501，对输入的第二图像编码数据240进行可变长度解码处理，解码成量化指数241，同时生成量化参数242和解码运动向量243。接着，对该可变长度解码器501解码的量化指数241，在逆量化器502，根据来自可变长度解码器501的解码量化参数242进行逆标量量化处理，得到逆量化的变换系数244。接着，在逆变换器503对在逆量化器502逆量化的变换系数244进行逆DCT运算，生成预测误差帧图像245。接着，把由该逆变换器503逆变换的预测误差帧图像245输入到加法器504中，与来自运动补偿预测器507的预测帧图像248进行相加，生成解码对象的当前帧图像246。将该当前帧图像246存储在当前解码对象帧存储器505中，利用当前解码对象帧存储器505，作为解码图像信号250进行读出和输出。另外，该当前帧图像246也可存储在先行解码帧存储器506中，在下一帧的运动补偿预测时将其作为先行解码帧图像247读出，送到运动补偿预测器507。在运动补偿预测器507，利用该先行解码帧图像247和加法器504输出的当前帧图像246，根据来自可变长度解码器501的解码运动向量243生成向加法器504的预测帧图像248。
另外，上述说明是对在编码处理装置40及解码处理装置50中进行运动补偿预测处理的情况进行的说明，但即使省去该运动补偿预测处理也可以。
如上所述，根据该实施形态1，在为生成第二图像编码数据240而进行第二数字信号处理时，由于使用与在对第一图像编码数据220进行第一数字信号处理的过程中提取的第一图像编码数据有关的多个信号222，所以，具有不需要为进行该第二数字信号处理添加特殊的信息、不需要无用的信息、信息量效率好的优点。(实施形态2)在上述实施形态1中，就使用与在对第一图像编码数据220进行第一数字信号处理的过程中提取的第一图像编码数据有关的多个信号222、对信号处理后的编码数据221进行第二数字信号处理生成第二编码数据240做说明，但也可以在下面情况下使用在第一图像编码数据220中合成在编码处理装置40对输入图像信号200进行编码处理并生成第一数字编码信号220时使用的、在图像编码数据变换装置30对第一图像编码数据220进行第一数字信号处理的过程中不能提取的信息，并将其送到图像编码数据变换装置30，在图像编码数据变换装置30，从第一图像编码数据220分离出信息，将其作为与该第一图像编码数据有关的多个信息，在对第一图像编码数据220进行第二数字信号处理时使用。
图5是同时示出了根据本发明的实施形态2的图像编码数据变换装置30、编码处理装置40及解码处理装置50的框图，在与实施形态1的各个部分相当的部分添加了和图1相同的符号，省略其说明。在图中，404是合成器，把设在编码处理装置40中的、该编码处理装置40对输入图像信号200进行编码处理时在变换器401和量化器402中使用的、在图像编码数据变换装置30中对第一图像编码数据220进行第一数字信号处理的过程中不能提取的信息与由可变长度编码器403输出的第一图像编码数据220进行合成，260是由该合成器404输出的合成数据。340是分离器，设置在图像编码数据变换装置30中，由编码处理装置40发送的合成数据260把第一图像编码数据220和第一数字信号处理的过程中不能提取的信息进行分离，224是基于该第一数字信号处理的过程中不能提取的信息的、与第一图像编码数据有关的多个信息。另外，把在分离器340分离的第一图像编码数据220输入到图像编码数据分析器310，把与第一图像编码数据有关的多个信息224输入到图像编码合成器数据320。
接着对操作进行说明。
这里编码处理装置40基本上和实施形态1中的装置同样地操作，对数字化的输入图像信号200进行编码处理，得到第一图像编码数据220。然而，在该编码处理时使用变换器401和量化器402，在图像编码数据变换装置30中，把第一图像编码数据220进行第一数字信号处理的过程中不能提取的信息发送到合成器404，在合成器404中把它与可变长度编码器403输出的第一图像编码数据220进行合成、生成合成数据260，把该合成数据260发送到图像编码数据变换装置30，这一点与实施形态1的情况不同。另外，由该变换器401及量化器402输出的、在图像编码数据变换装置30中对第一图像编码数据220进行第一数字信号处理的过程中不能提取的信息因所适用的编码方式而异，例如在假定MPEG1时，输出从变换器401确定变换器的种类时使用的参数，输出从量化器402确定量化特性的使用的参数。
在图像编码数据变换装置30，这样，在接收编码处理装置40发送的合成数据260后，在分离器340中，根据第一图像编码数据220和在第一数字信号处理过程中不能提取的信息，把它和与第一图像编码数据有关的多个信息224进行分离。并且，由分离器340把分离的第一图像编码数据220输入到图像编码数据分析器310，图像编码数据分析器310对该第一图像编码数据220进行第一数字信号处理，把进行该第一数字信号处理的结果的信号处理后的编码数据221输出到图像编码数据合成器320。因此，这种情况图像编码数据分析器310可看作为图像解码器的一部分。一方面，把与在分离器340分离的第一图像编码数据有关的多个信息224输入到图像编码数据合成器320。另一方面，该图像编码数据合成器320与图像编码数据分析器310相反，输入与这些信号处理后的编码数据221和第一图像编码数据有关的多个信息224后，根据指示规定所变换的数据量和变换图像大小等变换的信息223进行第二数字信号处理，进行编码数据的合成处理。因此，这时图像编码数据合成器320可看作图像编码器的一部分。另外，该图像编码数据合成器320中的编码数据的合成处理不使用与图像编码数据分析器310提取的第一图像编码数据有关的多个信息222，而是使用分离器340用合成数据260分离的与第一图像编码数据有关的多个信息224，进行和实施形态1相同的操作。这里，与该第一图像编码数据有关的多个信息224是在将第一图像编码数据220解码成图像并变换成第二图像编码数据240时所用的信息，但在生成第二图像编码数据240时，为提高比与第一图像编码数据有关的多个信息222还高的图像质量，能够使用该信息。进行第二数字信号处理的结果所生成的第二图像编码数据240边通过信号线路进行传送，边用CD-ROM和录像带等记录在存储媒体中。将该第二图像编码数据240输入到解码处理装置50中，与实施形态1的情况完全相同，解码处理成解码图像信号250。
这样，在该实施形态2中，为在图像编码数据合成器320中进行第一数字信号处理，根据第一数字信号处理的过程中不能提取的信息、使用与第一图像编码数据有关的多个信息224，因此，与不使用它时相比，具有存在着进行高效率变换的可能性的效果。(实施形态3)在上述各实施形态中，对下述情况进行了说明根据在将图像编码数据分析器310作为图像解码器的一部分、将图像编码数据合成器作为图像编码器的一部分、与对第一图像编码数据220进行第一数字信号处理的过程中提取的第一图像编码数据有关的多个信息222或在编码处理装置40中的第一图像编码数据220合成的、在第一数字信号处理的过程中不能提取的信息，使用与第一图像编码数据有关的多个信息224，对信号处理后的编码数据221进行第二数字信号处理，生成第二图像编码数据240；但也可以在下述情况下使用将图像编码数据分析器310作为图像解码器，将图像编码数据合成器320作为图像编码器，利用通过对第一图像编码数据220进行第一数字信号处理进行解码所得到的信号处理后的编码数据221，提取或推测对该信号处理后的编码数据221进行再编码所需的信息，将其作为与第一图像编码数据有关的多个信息，对第一图像编码数据220进行第二数字信号处理。
图6是同时示出了这样的根据本发明的实施形态3的图像编码数据变换装置30、编码处理装置40及解码处理装置50的框图，与实施形态1的各部分相当的部分添加了和图1相同的符号，其说明省去。在图中，350是信息提取推测器，利用图像编码数据分析器310通过对第一图像编码数据220进行第一数字信号处理解码信号处理后的编码数据221，提取或推测对该信号处理后的编码数据221进行第二数字信号处理和再编码所需的信息，将其作为与第一图像编码数据有关的多个信息发送到图像编码数据合成器320。225是与由该信息提取推测器350输出的第一图像编码数据有关的多个信息。
接着对操作进行说明。
另外，由于直到编码处理装置40对输入图像信号200进行编码处理生成第一图像编码数据220为止的过程以及到解码处理装置50对第二图像编码数据240进行解码处理生成解码图像信号250为止的过程和实施形态1的情况相同，所以省略其说明，这里对图像编码数据变换装置30的操作进行说明。
图像编码数据变换装置30用编码处理器装置40接收第一图像编码数据220后，在图像编码数据分析器310中，对输入的第一图像编码数据220进行第一数字信号处理，将其解码，把解码的图像数据作为信号处理后的解码数据221，输出到信息提取推测器350及图像编码数据合成器320中。在信息提取推测器350，从该图像编码数据分析器310输入的、信号处理后的编码数据221来提取或推测在图像编码数据合成器320中进行第二数字信号处理时所需的、与第一图像编码数据有关的多个信息225，将其输出到图像编码数据合成器320。向图像编码数据合成器320同时输入与该第一图像编码数据有关的多个信息225、来自图像编码数据分析器310的信号处理后的编码数据221和指示规定变换数据量和变换图像大小等变换的信息223，图像编码数据合成器320根据这些信息，对信号处理后的编码数据221进行第二数字信号处理，进行图像编码处理，生成第二图像编码数据240。这里，用信号处理后的图像编码数据221提取或推测与第一图像编码数据有关的多个信息225，把第一图像编码数据220解码成图像后，在再次构建及构建其他第二图像编码数据240时使用信息提取推测器350。根据该图像编码数据变换装置把这样生成的第二图像编码数据240输出到解码处理装置50。
这样，根据本实施形态3，由于根据输入的第一图像编码数据220从解码的信号处理后的编码数据221提取或推测图像编码数据合成器320中的第二数字信号处理所需的、与第一图像编码数据220有关的多个信息225，在解码时不需要特殊处理，所以具有使图像编码数据变换装置30的结构变得简单的效果。(实施形态4)图7是表示减少第一图像编码数据220和第二图像编码数据240间的数据量、本发明的实施形态4的图像编码数据变换装置30的图像编码数据分析器310和图像编码数据合成器320的内部结构的框图。在图中，311是用省略了图示的编码处理装置40进行输入的第一图像编码数据220的可变长度解码处理的可变长度解码器，226是输出用该可变长度解码器311进行解码处理的结果的量化指数。312是对该量化指数226进行逆量化处理的逆量化器，227是输出利用该逆量化器312进行逆量化处理后的结果的变换系数，将该逆量化的变换系数227作为信号处理的编码数据221进行输出。利用该实施形态4的图像编码数据分析器310包括这些可变长度解码器311及逆量化器312。
另外，321是系数删除/添加/校正器，它根据指示规定变换数据量的变换的信息223，用图像编码数据分析器310把作为信号处理后的编码数据221进行发送的逆量化的变换系数227的一部分进行删除、添加或校正；228是输出利用该系数删除/添加/校正器321进行校正处理的结果的、校正处理后的变换系数。322是对该校正处理后的变换系数228进行量化处理的量化器，229是利用该量化器322输出量化处理的结果的量化指数。323是把对信号量化指数229进行编码处理所得的第二图像编码为数据240输出到省略了图示的解码处理器50的可变长度编码器。根据实施形态4，图像编码数据合成器320包括这些系数删除/添加/校正器321、量化器322和可变长度编码器323。
接着对操作进行说明。
这里，对输入图像信号200进行编码处理，生成第一图像编码数据220，将其输入到该图像编码数据变换装置30的编码处理装置40(省略图示)和对该图像编码数据变换装置30输出的第二图像编码数据240进行解码处理、生成解码图像信号250的解码处理装置50(省略图示)，将包括变换处理和量化处理的变换编码作为基本编码方式，且图像编码数据分析器310是解码处理的一部分时，在图像编码数据分析器310中，通过对第一图像编码数据220逆量化来提取变换系数或量化指数，删除该逆量化的变换系数或量化指数的一部分，同时根据变换数据量的比例进行剩下的变换系数或量化指数的校正。由此，与只删除变换系数或量化指数的一部分相比，可以进行考虑到逆变换后的图象质量的数据量的变换。
下面，参照附图具体地进行说明。
可变长度解码器311输入第一图象编码数据220后，该可变长度解码器311就参照预先准备的表格进行可变长度解码处理，输出与输入的第一图像编码数据220相对应的量化指数260。下面示出了表格的一个例子。
[表1
对上面表格中的6个数据，根据发生概率分配代码，数据的发生概率越长，分配的代码就越短，数据的发生概率越低，分配的代码就越高。这样，根据量化指数的发生概率来对应添加长度不同的编码数据，根据可变长度解码器311的可变长度解码处理，通过提取来自这样的表格的代码(编码数据)的对应数据来进行。
这样，把可变长度解码器311输出的量化指数226输入到逆量化器312中，在逆量化器312，对输入的量化指数226，通过根据可变长度解码器311输出的量化参数(省略图示)进行逆量化处理，生成逆量化的变换系数227，将其作为信号处理后的编码数据221输出到图像编码数据合成器320。另外，该数字处理中的量化一般可用除法运算来实现，与此相反，逆量化可用乘法运算来实现。
把指示变换的信息223输入到图像编码数据合成器320的系数删除/添加/校正器321中，根据利用指示该变换的信息223发送的变换数据量、作为信号处理后的编码数据221用图像编码数据分析器310进行发送，删除逆量化器312逆量化的变换系数227的一部分，同时根据指示上述变换的信息223所规定的变换数据量的比例进行剩下的变换系数的校正。
该实施形态4利用该图像编码数据变换装置30减少数据量进行变换，但由于在变换系数上减少数据量时，意味着低频成分的变换系数比高频成分的变换系数大，所以考虑解码图象的质量，从高频成分删除变换系数是有益的。这里，删除变换系数位置的数据对实现减少数据量的目的很有效，但减少的变换系数影响解码的图像的质量。为防止该现象，在实施形态4中删除变换系数227的一部分，根据指示变换的信息223所规定的变换数据量的比例进行该变换系数的其他部分的校正。此时，预先预测删除的变换系数227的一部分对解码图像的影响，对该变换系数227的剩下的部分进行校正，使该影响成为最小极限。
这样，系数删除/添加/校正器321把输入的变换系数227的一部分删除、校正其他部分所生成的校正处理后的变换系数228输入到量化器322。在量化器322对该校正处理后的变换系数228进行量化处理，生成量化指数229，将其输入到可变长度编码器323，在可变长度编码器323，通过根据量化器322输出的量化参数(省略图示)对输入的量化指数229进行可变长度编码处理，生成第二图像编码数据240，将其输出到解码处理装置50。
这样，根据该实施形态4，由于利用图像编码数据的分析器40来删除作为信号处理后的编码数据221进行发送的变换系数227的一部分，所以，可减少数据量，另外，由于根据变换数据量的比例来校正删除了一部分的变换系数227的剩下的部分，所以，与简单地去掉变换系数相比，具有能够提高解码图象质量效果。(实施形态5)在上述实施形态4中，对在第一图像编码数据220和第二图像编码数据240间减少数据量时删除逆量化的变换系数或量化指数的一部分、同时根据变换数据量的比例校正变换系数的情况进行了说明，但也可以利用提取的变换系数或量化指数、通过对删除对象的变换系数或量化指数附近的变换系数或量化指数进行加权来删除变换系数或量化指数的一部分亦可。
在这样的利用该实施形态5的图像编码数据变换装置，在逆量化器312进一步对用可变长度解码器311解码第一图像编码数据220所得的量化指数226进行逆量化，在图7所示的图像编码数据分析器310将所得的变换系数227作为信号处理后的编码数据221送到图像编码数据合成器320。在图像编码数据合成器320，把接收的变换系数227输入到系数删除/添加/校正器321，在删除该变换系数227的一部分时，对删除对象的变换系数附近的变换系数进行加权，据此来删除接收的变换系数227的一部分。即，系数删除/添加/校正器321在删除变换系数227的一部分前，检查与删除对象的变换系数和其周围的变换系数的相关性，在进行变换系数的变更和加权、使对解码图像的图象质量的影响成为最小限度的基础上，进行删除对象的变换系数的删除。
这样，根据本实施形态5，与实施形态4时相同，与简单地去除变换系数的情况相比，具有能够提高解码图像质量的效果。(实施形态6)在上述实施形态4和实施形态5中是对在第一图像编码数据220和第二图像编码数据240间减少数据量的情况进行的说明，但反之增大数据量也可以。即，在把新的变换系数或量化指数添加到逆量化的变换系数或量化指数、增加数据量时，根据变换数据量的比例来添加，进行变换系数的校正。
这样，在根据该实施形态6的图像编码数据变换装置的情况下，在图7所示的图像编码数据分析器310，用可变长度解码器311解码第一图像编码数据220，在逆量化器312对所得的量化指数226进行逆量化，把所得的变换系数227送到图像编码数据合成器320。在图像编码数据合成器320，在系数删除/添加/校正器321中，使用接收的变换系数227和用图像编码数据解码顺序所得的图像类型、在为增大变换后的第二图像编码数据240的数据量而添加新的变换系数时，根据指示变换的信息223规定的变换数据量的比例来进行新添加的变换系数的校正，把对解码图像的图像质量的影响减少到最小限度。
这里，在第一图像编码数据220和第二图像编码数据240间增大数据量时，与减小该数据量时相同，若考虑对解码图像的图像质量的影响，对高频成分添加变换系数或量化指数是有益的。另外，一般说来，数据量的改变在进行高频区的变换系数或量化指数的添加时要比低频区的变换系数或量化指数改变时大。
这样，根据该实施形态6，因为根据变换数据量的比例来校正添加的新变换系数或量化指数，所以，与简单地添加变换系数或量化指数时相比，具有可以考虑逆变换后的图像质量来添加数据量、可得到更高图象质量变换的效果。(实施形态7)在上述实施形态6，在第一图像编码数据220和第二图像编码数据240间增大数据量，因此，在向逆量化的变换系数或量化指数添加新的变换系数或量化指数时，根据变换数据量的比例来校正该添加的变换系数或量化指数，对这一情况做了说明，但也可以进行包括添加对象的变换系数或量化指数及其附近的变换系数或量化指数的变换系数或量化指数的预测、添加变换系数或量化指数。
这样，在根据实施形态7的图像编码数据变换装置的情况下，在图7所示的图像编码数据分析器310，用可变长度解码器311解码第一图像编码数据220，用逆量化器312对所得的量化指数226进行逆量化，把所得的变换指数227送到图像编码数据合成器320。在图像编码数据合成器320，在该系数删除/添加/校正器321中接收变换系数227、使用该接收的变换系数227增加变换后的第二图像编码数据240的数据量时，对包括新添加的变换系数和该添加对象的变换系数附近的变换系数的变换系数进行预测，添加变换系数。
这样，根据实施形态7，由于对添加对象及其附近的变换系数或量化指数进行预测来添加变换系数或量化指数，所以，与简单地添加变换系数或量化指数时相比，具有可得到视觉上容易看到的图象、能进行更高图象质量变换的效果。(实施形态8)图8是就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了在第一图像编码数据220和第二图像编码数据240间减少数据量的、本发明的实施形态8的图像编码数据变换装置30的框图。在图中，230是一个编码图像信息，它是表示图像类型的参数，是对由编码处理装置40(省略图示)输入的第一图像编码数据220进行可变长度解码处理的可变长度解码器311输出的解码处理的结果。对其他部分，与图7相当的部分都添加相同的符号，省略其说明。在可变长度解码器311时输出量化指数226和编码图像信息230或系数删除/添加/校正器321根据指示变换的信息223、使用变换数据量和该编码图像信息230来进行变换系数227的部分删除、添加或补偿等校正这一点，与实施形态4中的不同。所谓上述编码图像信息230，是以图像为单位进行多重化的参数，表示图像的大小、图像的编码类型(MPEG1的帧内编码、单向运动补偿帧间预测编码、双向运动补偿帧间预测编码)、图像中使用的向量最大值、图像中使用的自适应参数等属性。
接着对操作进行说明。
在根据实施形态8的图像编码数据变换装置，在图像编码数据分析器310中，通过使用对第一图像编码数据220进行逆向量化所得的变换系数或量化指数和该第一图像编码数据220的解码过程中所得的图像类型、提高删除在之后的编码中进行预测时不使用的图像类型中所含的变换系数或量化指数的比例，可以抑制总体的图像质量恶化。
在图8所示的图像编码数据分析器310，用可变长度解码器311解码第一图像编码数据220，把解码结果的量化指数226送到逆量化器312，把解码过程中所得的编码图象信息230送到图像编码数据合成器320。在逆量化器312对接收的量化指数226进行逆量化，把所得的变换系数227作为信号处理后的编码数据221送到图像编码数据合成器320。一方面，在图像编码数据合成器320，同时把逆量化的变换系数227、编码图像信息230和指示规定变换数据量的变换的信息223输入到系数删除/添加/校正器321，另一方面，删除接收的变换系数227的一部分。此时，在后面编码中表示预测所不能使用的编码图像的情况下，提高变换系数的删除比例。这里，在接收的编码图像信息230中包括如上的图像的编码类型，例如在该编码类型表示MPEG1中的双向运动补偿帧间预测编码时，由于该图像信息不用于之后的编码，所以即使由于数据量的减少而引起图象质量劣化，也不必担心该劣化在时间上会持续。因此，通过在这样的图像信息中增加变换系数的删除比例，能够提高数据量的删除效率。
这样，根据实施形态8，编码帧在下一时间单位的编码中不使用时，就增大数据量的减少，这样，总体上具有可进行效率高的数据删减的效果。(实施形态9)在上述实施形态8中，在后面预测时表示不能使用的编码图像的情况下，提高变换系数的删除比例，对此进行了说明，但在后面预测时表示可使用的编码图像时，降低变换系数的删除比例亦可。即，在图8所示的图像编码数据分析器310中，在使用通过对第一图像编码数据220进行逆量化所得的变换系数或量化指数和第一图像编码数据220的解码过程中所得的图像类型、之后的编码中为预测所使用的图像类型时，降低减少变换系数或量化指数的比例。这样，能够使用预测来进行抑制将来继续劣化的变换。
这样，根据该实施形态9，在下一时间单位的编码使用编码帧时，通过把数据量的减少变小，总体上具有可进行效率高的数据删减的效果。(实施形态10)图9是在第一图像编码数据220和第二图像编码数据240间减少数据量、就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了本发明的实施形态10的图像编码数据变换装置30的框图。在图中，231是用对编码处理装置40(省略图示)输入的第一图像编码数据220进行可变长度解码处理的可变长度解码器311输出其解码处理的结果、作为表示图像块的预测类型的编码参数的编码块信息，对其他部分，与图8的相当部分添加相同的符号，省略其说明。另外，在可变长度解码器311同时输出量化指数226、编码图像信息230、该编码块信息231或系数删除/添加/校正器321，同时使用由指示变换的信息223规定的变换数据量、编码图像信息230和该编码块信息231进行变换系数227的一部分的删除、添加或补偿等校正这一点，与实施形态4不同，另外，所谓上述编码块信息231是与编码的最小单位的编码块(在MPEG1等中称作微块)有关的信息，指示在编码块中使用的量化参数、运动向量、运动补偿预测的有无等。
接着，对操作进行说明。
在根据实施形态10的图像编码数据变换装置中，在图像编码数据分析器310，使用对该第一图像编码数据220逆量化所得的变换系数或量化指数及在该第一图像编码数据220的解码过程中所得的图像类型和图像块的预测类型，在存在着之后的编码中预测所使用的图像类型或之后的预测不使用的图像块时，通过提高该图像块所含的变量系数或量化指数的删除比例，可以防止将来继续变差，总体上可进行抑制图像质量变差的变换。
在图9所示的图像编码数据分析器310，用可变长度解码器311对第一图像编码数据220解码，解码结果所得的量化指数226送到逆量化器312，在解码过程中所得的编码图像信息230及编码块信息231送到图像编码数据合成器320。在逆量化器312对接收的逆量化指数226进行逆量化，把所得的变换系数227作为信号处理后的编码数据221送到图像编码数据合成器320。一方面，在图像编码数据合成器320，同时向系数删除/添加/校正器321输入逆量化的变换系数227、编码图像信息230、编码块信息231和指示规定变换数据量的变换的信息223，另一方面，删除接收的变换系数227的一部分。此时，不是以编码图像为单位，而是可进行更精细控制的图象块为单位，根据接收的编码块信息231判断在之后的编码是否使用该图像块的信息，即使在之后的编码中存在预测使用的编码图像，在该图像块表示之后的编码中预测不使用的块时，提高变换系数的删除比例。
这样，根据实施形态10，向编码图像信息230添加，也使用编码块信息231，由于判断是否提高变换系数或量化指数的删除比例，所以，具有可进行更精细单位的控制、可进行更高质量的变换的效果。(实施形态11)图10示出了以使第一图像编码数据的220和第二图像编码数据240的解码处理顺序不同的方式变换的、就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了本发明的实施形态11中的图像编码数据变换装置30的框图。在图中，311是用省略了图示的编码处理装置40对输入的第一图像编码数据220进行可变长度解码处理的可变长度解码器。226是利用该可变长度解码器311输出解码处理的结果的，作为编码参数的量化指数，230是同一编码图像信息，231是同一编码块信息，232是同一量化参数信息，233是同一运动向量信息，这些信息作为信号处理后的编码数据221输出到图像编码合成器320。利用实施形态11的图像编码数据分析器310包括该可变长度解码器311。另外，上述量化参数信息232及运动向量信息233作为编码块信息231的一个进行定位。
324是编码参数校正/变换器，用图像编码数据分析器310把作为进行信号处理后的编码数据221传送的量化指数226、编码图像信息230、编码块信息231、量化参数信息231及运动向量信息233等编码参数变换成适合变换后的编码方式。323是可变长度编码器，对该编码参数校正/变换器324的变换输出进行编码处理，把所得的第二图像编码数据240输出到省略了图示的解码处理器50。根据实施形态11的图像编码数据合成器320包括这些编码参数校正/变换器324和可变长度编码器323。
接着，对操作进行说明。
这里，在构成为使输入到图像编码数据分析器310的第一图像编码数据220的解码处理顺序和由图像编码数据合成器320输出的第二图像编码数据240的解码顺序不同时，进行下述处理。例如现在考虑输入的第一图像编码数据220是MPEG1、输出的第二图像编码数据240为TV电话、TV会议用的编码方式H.261的情况。在图像编码数据分析器310，根据用可变长度编码器311输入的MPEG1、用第一图像编码数据220提取量化指数226、编码图像信息230、编码块信息231、量化参数信息232及运动向量信息233等编码参数、作为信号处理后的编码数据221输出到图像编码数据合成器320。把在图像编码数据合成器320接收的信号处理后的编码数据221输入到编码参数校正/变换器324，把这些编码的参数从MPEG1的表现形式变换到H.261表现形式。
具体地说，在这样把MPEG1的图像编码数据变换成H.261的图像编码数据时、例如进行运动向量信息233的变换时，在MPEG1对于存在的半象素单位的运动向量，在H.261只能得到整像素精度的运动向量，因此，编码参数校正/变换器324只提取最适合MPEG1的运动向量的整数部分，进行将其作为H.261的运动向量使用的变换处理，同样，对量化参数信息232和量化指数226等其他编码参数，也不限于以完全相同的方式使用MPEG1和H.261，在H.261中理所当然地将其变换为适当的参数值。这样，对用编码参数校正/变换器310变换成适合变换后的编码方式的H.261的各种编码参数，在可变长度编码器323合成成第二图像编码数据240并输出。
这样，根据本实施形态11，即使在把输入到图像编码数据分析器310的第一图像编码数据220变换成与其解码处理顺序不同的第二图像编码数据240、并由图像编码数据合成器320进行输出时，由于把第一图像编码数据220解码成一次图像后，不需要用图像编码器利用该编码方式对其再次编码，所以，具有可实现装置的小型化和低价格化的效果。(实施形态12)图11是变换成在第一图像编码数据220和第二图像编码数据240之间的不同的图像大小、就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了本发明的实施形态12的图像编码数据变换装置30的框图，在与图7相当的各部分上添加相同的符号，省略其说明。另外，在本实施形态12中，在根据指示变换的信息223规定改变的图像大小、系数删除/添加/校正器321根据指示该变换的信息223使用变换的图像大小进行用逆量化器312逆量化的变换系数227的删除和校正等这一点上，与实施形态4中的不同。
接着，对操作进行说明。
这里，例如在使输入到图像编码数据分析器310的第一图像编码数据220中所含的图像信号的图像大小和图像编码数据合成器320输出的第二图像编码数据240中所含的图像信号的图像大小不同那样地进行变换时，且通过将分别用运动向量进行包括运动补偿预测处理、变换处理和量化处理的变换编码作为基本的编码处理如图2所示生成第一图像编码数据220的编码处理装置40或如图4所示生成用于解码第二图像编码数据240的解码处理装置50时，在图像编码数据分析器310提取逆量化的变换系数或量化指数、对提取的变换系数或量化指数进行增减时，根据变换的图像大小的比例进行增减，进行变换系数或量化指数的校正。这样，可抑制在变换图像大小时容易发生的、分辨率极端恶化和不自然的情况。
下面，参照附图具体地进行说明。
在图11所示的图像编码数据分析器310，在逆量化器312进一步对在可变长度解码器311解码第一图像编码数据220所得的量化指数226逆量化，把所得的变换系数227作为信号处理后的编码数据211送到图像编码数据合成器320。在图像编码数据合成器320，同时把指示变换的信息223和接收的变换系数227输入到系数删除/添加/校正器321。系数删除/添加/校正器321在对逆量化的变换系数227进行增减时，根据指示变换的信息223规定的变换图像大小的比例来进行增减的变换系数的删除/添加/修正等校正。这里，例如在考虑缩小图像大小时，通过在缩小时图像大小减少原图像大小的采样数，所含的频率成分变低。因此，需要某种形式的区域限制，但此时在变换系数227上进行限制。即，抑制高频成分，进行为变换成图像大小小的编码数据的校正。用系数删除/添加/校正器321把该校正处理后的变换系数228输入到量化器322，用量化处理生成量化指数229，把通过在可变长度编码器323中对其量化指数229进行可变长度编码处理所得的第二图像编码数据240输入到解码处理装置50。
这样，根据实施形态12，如图像大小改变、在进行编码数据的变换时，通过根据变换的图像大小来校正增减的变换系数，具有可以抑制在变换图像大小时容易发生的分辨率的极端恶化和不自然、能够防止图像大小改变后图像质量降低的效果。(实施形态13)在上述实施形态12，在第一图像编码数据220和第二图像编码数据240间变换成不同的图像大小时，根据改变增减的变换系数的图像大小的比例进行校正，进行变换系数的增减，对上述情况做了说明，但也可以根据变换图像大小的比例来校正在提取的运动补偿时使用的运动向量的大小、把第一图像编码数据220变换成图像大小与其图像大小不同的第二图像编码数据240亦可。
图12是就图像编码数据分析器310和图像编码数据合成器320的内部结构、示出了本发明的实施形态13中的图像编码数据变换装置30的框图。在图中，233是运动向量信息，是在用可变长度解码器311对编码处理装置40(省略图示)输入的第一图像编码数据220进行可变长度解码处理的过程中输出的，用于运动补偿。对其他部分，与图11相当的部分添加相同的符号，省略其说明。在可变长度解码器311同时输出量化指数226和运动向量信息233、或者系数删除/添加/校正器321同时使用在指示变换的信息223中规定的变换图像信息中规定的图像大小和其运动向量信息233来进行变换系数227的增减和校正等修改这一点，与实施例12中的有所不同。
接着，对操作进行说明。
在图12所示的图像编码数据分析器310，在可变长度解码器311对第一图像编码数据220进行解码，把解码结果的量化指数226送到逆量化器312，把解码过程中所得的运动向量信息233送到图像编码数据合成器320。对在逆量化器接收的量化指数226进行逆量化，把所得的变换系数227作为信号处理后的编码数据221送到图像编码数据合成器320。一方面，在图像编码数据合成器320，同时把逆量化的变换系数227、运动向量信息233和规定变换图像大小的指示变换的信息223输入到系数删除/添加/校正器321。另一方面，在系数删除/添加/校正器321，根据用指示其变换的信息223指定的变换图像大小的比例来校正运动向量的大小。这样，如果根据图像大小大小的改变比例来改变运动向量的大小时，就可以原样使用变换前使用的向量。因此，即使在基于这里计算的向量进行再检索时，与从最初开始检索的情况相比，能够提高检索效率。
这样，根据本实施形态13，根据变换的图像大小比例来校正运动向量的大小，所以具有下述效果能够提高变换后的图像编码数据中的运动向量的检索效率、通过以校正的运动向量为基准在较窄的范围内的运动补偿检索可以和在更宽范围的运动补偿检索范围内的运动补偿检索具有相同的特性。(实施形态14)图13是就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了变换第一图像编码数据220的图像时间序列和第二图像编码数据240的图像时间序列的、本发明的实施形态14中的图像编码数据变换装置30的框图，在与图12相当的部分上添加相同的符号，省略其说明。再者，在本实施形态14中，利用指示变换的信息223规定变换图象的序列信息。
在图中的图像编码数据分析器310内，313是对逆量化器312输出的逆量化的变换系数227进行逆DCT运算等逆变换处理的逆变换器，314是把该逆变换器313的处理结果和后述的运动补偿器的处理结果进行相加的加法器。234是作为信号处理后的编码数据221、由加法器314输出的解码图像，315是暂时存储该解码图像234的帧存储器，316是可变长度解码器311根据解码过程中生成的运动向量信息233对从帧存储器315读出的一周期前的解码图像进行运动补偿处理、把处理结果输出到加法器314的运动校正器。
另外，在图像编码数据合成器320，325是对量化器322输出的变换系数229进行逆量化的逆量化器，326是对该逆量化器325的输出进行逆DCT运算等逆变换的逆变换器，327是把逆变换器326的处理结果和后述运动检索器输出的帧图像相加的加法器。328是暂时存储用该加法器327进行相加输出的帧存储器，329是运动检索器，输入从该帧存储器328读出的一个周期前的图像数据、来自图像编码数据分析器310的运动向量信息233、作为信号处理后的编码数据221的解码图像234和指示规定变换图像的序列信息的变换的信号223，根据上述变换的图像序列信息推测运动向量的大小，根据其结果进行运动检索。235是由该运动检索器329向上述加法器327及后述减法器输出的帧图像。330是减法器，用于计算作为信号处理后的编码数据221从图像编码数据分析器310发送的解码图象234与该运动检索器329输出的图像数据235的差。331是用DCT运算对该减法器330的输出进行变换处理、把处理结果输入到量化器322的变换器。
接着，对操作进行说明。
这里，例如在输入到图像编码数据分析器310的第一图像编码数据220中所含的图像信号的时间序列和从图像编码数据合成器320输出的图像编码数据240中所含的图像信号的时间序列的顺序不同那样地进行变换时，并且通过使用各运动向量将包括运动补偿预测处理、变换处理和量化处理的变换编码作为基本的编码处理、分别如图2那样生成第一图像编码数据220的编码处理装置40、如图4那样生成用于解码第二图像编码数据240的解码处理装置50时，在图像编码数据分析器310中提取运动补偿使用的运动向量，根据运动检索器329中的变换图像序列信息，推测提取的运动向量的大小。这样，在变换编码图像类型等时，通过将推测的运动向量作为基准进行检索，即使在伴有大量运算的运动检索范围更窄时，也能够确保和更宽范围的运动补偿检索范围时具有相同的效率。
在图13所示的图像编码数据分析器310，用可变长度解码器解码第一图像编码数据220，把解码结果的量化指数226送到逆量化器312，把解码过程中所得的运动向量信息233送到图像编码数据合成器320，同时，把运动向量信息233也输入到运动补偿器316。在逆量化器312对量化指数226逆量化，由逆变换器313利用逆DCT运算等对所得的变换系数227进行逆变换处理，输入到加法器314。一方面，对从帧存储器315中读出的一周期前的解码图像，运动补偿器316根据可变长度解码器311接收的运动向量信息233进行运动补偿处理，将其结果输入到加法器314。另一方面，加法器314把逆变器313及运动补偿器316发送的帧图像进行相加，生成解码图像234，将其作为信号处理后的编码数据221，送到图像编码数据合成器320。这样，图像编码数据分析器310进行带有常规的运动补偿的变换编码方式的解码操作同等的操作，同时把作为信号处理后的编码数据221的解码图像234和由可变长度解码器311提取的运动向量信息233也输出到图像编码数据合成器320。
在图像编码数据合成器320，同时把其解码图像234、运动向量信息233和指示规定了变换图像序列的信息的变换的信息223输入到运动检索器329。再者，在运动检索器329中，用逆量化器325对量化器322输出的变换系数229进行逆量化，在逆变器326，利用DCT运算等对逆量化器325的输出进行逆变换处理，输入从帧存储器328读出的一个周期前的图像数据，帧存储器328存储用加法器327对逆变换器326的处理结果和该运动检索器329的处理结果进行相加的结果。在运动检索器329生成这些信息和帧图像235，实现带有常规的运动补偿的变换编码方式的编码操作相同的操作，但使用由指示变换的信息223规定的变化图像的序列信息及来自图像编码数据分析器310的运动向量信息233推测当前编码数据的运动向量，根据其结果进行运动检索。把运动补偿器329输出的帧图像235输入到减法器330，计算与来自图像编码数据分析器310的、作为信号处理后的编码数据221进行发送的解码图像234的差。在变换器331进行DCT运算，对该减法器330的运算结果进行变换处理，进而用量化器322进行量化处理，由可变长度编码器323把所得的变换系数编码成第二图像编码数据240。这样，在图像编码数据合成器320，输入来自图像编码数据分析器310的解码图像234和运动向量信息233，进行和带有常规的运动补偿的变换编码方式的编码操作相同的处理，但在运动检索器329中，根据指示变换的信息223、根据变换图像的序列信息来推测由图像编码数据分析器提取的运动向量的大小，根据其结果进行运动检索。
这样，根据实施形态14，通过进行改变再生时的图像的时间序列和变换后的图像的时间序列的变换，能够减少编码的延迟，另外，在改变该图像的时间序列的变换中，通过根据变换图像的序列信息来推测运动向量的大小，具有能够利用变换后的运动向量提高编码效率等效果。(实施形态15)图14是变换第一图像编码数据202中所含的图像信号的个数和第二图像编码数据20中所含的图像信号的个数、就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了本发明的实施形态15的图像编码数据变换装置30的框图，在与图8相当的各部分，添加了相同的符号，省略其说明。另外，在本实施形态15中，指示变换的信息223是规定图像的帧率信息的信息，在系数删除/添加/校正器321根据指示该变换的信息223、使用图像的帧率信息来进行用逆量化器312逆量化的变换系数227的删除和校正等这一点，与实施形态8中有所不同。
接着，对操作进行说明。
这里，例如，在进行变换以使在把从图像编码数据合成器320输出的第二图像编码数据解码成图像时的各时间单位中所含的解码图像信号的个数与把输入到图像编码数据分析器310的第一图像编码数据210解码成图像时的各时间单位中所需的解码图像信号的个数不同时，使用图像编码方式作为从第一图像编码数据220提取的信息，该图像编码方式是表示之后进行图像的编码时不使用的图像时，就删除该图像数据。这样，能够进行不给后来图像质量造成大影响的帧率变换。
在图14所示的图像编码数据分析器310，用可变长度解码器311解码第一图像编码数据220，把解码结果的量化指数226发送到逆量化器312，把解码过程中所得的编码图像信息230送给图像编码数据合成器320。在逆量化器312对该量化指数226进行逆量化，把所得的变换系数227作为信号处理后的编码数据221，送到图像编码数据合成器320。一方面，在图像编码数据合成器320，同时向系数删除/添加/校正器321输入逆量化的变换系数227、编码图像信息230和指示规定图像帧率信息的变换的信息223，另一方面，在系数删除/添加/校正器321，根据变换系数227、编码图像信息230及指示变换的信息223中规定的图像的帧率信息进行判断，当表示在之后的编码中预测不使用的编码图像时，应用和实施形态8的情况相同的考虑来删除其图像数据，等效地进行帧率的变换。
这样，根据实施形态15，通过使变换后的第二图像编码数据240中所含的图像信号的个数和变换前的第一图像编码数据220中所含的图像信号的个数是不同的值，具有使在不同方式的电视信号间的变换变得容易的效果。(实施形态16)图15是就图像编码数据分析器310和图像编码数据合成器320的内部结构示出了本发明的实施形态16的从第一图像编码数据220的解码图像推测量化参数、使用量化参数生成第二图像编码数据240时的量化中所用的图像编码数据变换装置30的框图，与图13相当的部分添加了相同的符号，省略其说明。在图中，236是逆变换器313对逆量化器312输出的变换系数227进行逆DCT运算等所解码的解码图像，作为信号处理后的编码数据221发送到图像编码数据合成器320。332是利用作为该信号处理后的编码数据221进行发送的解码图像236来推测生成第一图像解码数据220时的量化参数的量化推测器，237是用量化推测器332输出到量化器322的量化参数信息，238是变换器331利用上述解码图像236生成的变换系数。
接着对操作进行说明。
在对第一图像编码数据220的图像率和第二图像编码数据240的图像率进行变换时，在图像编码数据分析器310中，作为从第一图像编码数据220提取的信息提取量化中的量化参数，在图像编码数据合成器320中使用该量化参数进行量化。这样，图像编码数据分析器310进行解码处理，图像编码数据合成器320进行编码处理，在变换前后的比特率、编码方式相同时，可进行质量最好的变换。另外，即使在比特率不同的情况下，也能够通过根据其比例控制量化参数来进行最佳变换。
在图15所示的图像编码数据分析器310，用可变长度解码器311对第一图像编码数据220进行可变长度解码，生成量化指数226，逆量化器312对量化指数226进行逆量化，生成变换系数227。逆变换器313对该变换系数227进行逆DCT运算等，生成解码图像236，将其作为信号处理后的编码数据221，送出到图像编码数据合成器320。这样，图像编码数据分析器310进行和常规的解码操作相同的操作，作为信号处理后的编码数据221输出解码图像236。一方面，在图像编码数据合成器320，把作为该信号处理后的编码数据221发送的解码图像236输入到变换器，另一方面，进行DCT运算等的变换处理，把生成的变换系数238输入到量化器322。再者，把上述解码图像236也输入到量化器推测器332，在量化器推测器332从接收的解码图像236生成第一图像编码数据220时进行量化参数推测，把推测结果的量化参数信息237发送到量化器322。下面，根据来自量化器推测器332的量化参数信息237，量化器322对来自变换器331的变换系数238进行量化处理，可变长度编码器323对该量化指数进行编码处理，生成并输出第二图像编码数据240。
这样，根据实施形态16，从解码图像236来推测量化参数，能够提高新生成的第二图像编码数据240的图像质量，在中继传送等用途中能够保持变换后的图像质量，特别是如变换前后的帧率相同的话，通过使用推测的量化参数，即使在经过几次反复编码时，也能保持其图像质量。另外，即使在帧率不同时，也具有通过根据其比例控制量化参数来进行最佳的变换等效果。(实施形态17)不仅仅限于在上述各实施形态中所示的通信图像的结构，当然也能够构成多地点间的图像变换系统和存储媒体中的图像数据的复制等系统。
另外，在上述各实施形态示出了在系数删除/添加/校正器324、编码参数校正/变换器321、量化器推测器332等变换中将进行中心分配任务的部分配置在图像编码数据合成器320中，但并不一定需要将它们配置在图像编码数据合成器320，根据构成的方法不同，将它们配置在图像编码数据分析器310中，或将它们独立地配置在外部都可以。
如上所述，根据本发明的第一方面，对第一图像编码数据进行第一数字信号处理，生成信号处理后的编码数据，根据与第一图像编码数据有关的多个信息，对该信号处理后的编码数据进行第二数字信号处理，生成第二图像编码数据，由于是这样的结构，所以，通常把第一图像编码数据解码成解码图像后，同对和其解码图像无关的第二图像编码数据进行再编码处理的情况相比，具有能够减少变换后的图像质量劣化、得到可缩短处理延迟、减小装置规模的图像编码数据变换装置的效果。
根据本发明的第二方面，在用第一图像编码数据生成信号处理后的编码数据的过程中，提取与第一图像编码数据有关的多个信息，据此对信号处理后的编码数据进行第二数字信号处理、生成第二图像编码数据，因为这样来构成，所以在用于生成第二编码数据的第二数字信号处理时，不需要附属特殊信息，在不需要无用信息的信息量方面具有能够得到效率高的图像编码数据变换装置的效果。
根据本发明的第三方面，合成并发送第一图像编码信息，该信息在生成第一图像编码数据时使用，不能从该第一图像编码数据提取，用分离器分离与第一图像编码数据有关的多个信息，根据它来对信号处理后的编码数据进行第二数字信号处理，生成第二图像编码数据，由于是这样的结构，所以，在进行为生成第二编码数据的第二数字信号处理时可使用在第一数字信号处理的过程中不能提取的信息，与不使用该信息的情况相比，具有得到了能够进行效率高的变换的图像编码数据变换装置的效果。
根据本发明的第四方面，利用用第一图像编码数据解码作为信号处理后的编码数据的图像数据、用信息提取推测器提取或推测与第二数字信号处理所需的第一图像编码数据有关的多个信息，根据它来对信号处理后的编码数据进行第二数字信号处理，生成第二图像编码数据，因为这样来构成，在进行解码时不需要进行特殊处理，所以，具有得到了能够使装置结构简单化的图像编码数据变换装置的效果。
根据本发明的第五方面，用编码数据合成器生成第二图像编码数据图像，第二图像编码数据图像的数据量和输入到图像编码数据分析器的第一图像编码数据的数据量不同，因为这样来构成，所以具有减少变换后的图像质量的劣化和处理延迟、得到了向数据量不同的图像编码数据进行变换的图像编码数据变换装置的效果。
根据本发明的第六方面，用图像编码数据合成器生成第二图像编码数据，第二图像编码数据的解码处理顺序和输入到图像编码数据分析器的第一图像编码数据的解码处理顺序不同，因为这样来构成，所以，在生成不同编码方式的图像编码数据时，具有可进行变换后的图像质量高的变换的效果。
根据本发明的第七方面，用图像编码数据合成器生成第二图像编码数据，第二图像编码数据所含的图像大小和输入到图像编码数据分析器的第一图像编码数据所含的图像大小在时间或空间上不同，因为是这样来构成，所以，具有变换后的图像质量高、得到了容易向时间或空间上的图像大小不同的图像编码数据进行变换的图像编码数据变换装置的效果。
根据本发明的第八方面，利用图像编码数据合成器生成第二图像编码数据，第二图像编码数据具有与输入到图像编码数据分析器的第一图像编码数据所含的图像信号的时间序列不同的图像信号的时间序列，因为这样来构成，所以，具有变换后的图像质量高、得到了容易向含有不同图像信号的时间序列的图像编码数据进行变换的图像编码数据变换装置的效果。
根据本发明的第九方面，利用图像编码数据合成器生成第二图像编码数据，它在解码时的各单位时间所具有的解码图像信号的个数与第一图像编码数据不同，因为这样来构成，所以，具有变换后的图像质量高、得到了容易进行向其所含的图像数与解码图像信号所含的图像数不同的图像编码数据变换的图像编码数据变换装置的效果。
权利要求
1.一种图像编码数据变换装置，将对数字化的输入图像信号进行编码处理的编码处理装置生成的第一图像编码数据作为输入，对所述第一图像编码数据进行数字信号处理，生成第二图像编码数据，其特征在于，包括图像编码数据分析器，对所述第一图像编码数据进行第一数字信号处理，生成信号处理后的编码数据；图像编码数据合成器，使用与从所述图像编码数据分析器输出的信号处理后的编码数据和第一图像编码数据有关的多个信息，根据与所述第一图像编码数据有关的多个信息，对所述信号处理后的编码数据进行第二数字信号处理，生成所述第二图像编码数据。
2.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据分析器具有在对第一图像编码数据进行第一数字信号处理、生成信号处理后的编码数据的过程中提取与第一图像编码数据有关的多个信息的功能；图像编码数据合成器使用与所述的图像编码数据分析器输出的、进行所述信号处理后的编码数据和所述第一图像编码数据有关的多个信息，根据与所述第一图像编码数据有关的多个信息，对所述信号处理后的编码数据进行第二数字信号处理，生成第二图像编码数据。
3.权利要求1记载的图像编码数据变换装置，其特征在于，设有分离器，从第一图像编码数据中分离与第一图像编码数据有关的多个信息，在第一图像编码数据中合成并发送多个信息，在生成第一图像编码数据时不能从使用的该第一图像编码数据提取所述的多个信息；图像编码数据合成器使用与图像编码数据分析器输出的信号处理后的编码数据和所述分离器输出的第一图像编码数据有关的多个信息，根据与所述第一图像编码数据有关的多个信息，对所述信号处理后的编码数据进行第二数字信号处理，生成第二图像编码数据。
4.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据分析器对第一图像编码数据进行第一数字信号处理将其解码，把解码的图像数据作为信号处理后的编码数据输出；设有信息提取推测器，从所述图像编码数据分析器生成的信号处理后的编码数据提取或推测第二数字信号处理所需的、与第一图像编码数据有关的多个信息；图像编码数据合成器使用与所述图像编码数据分析器输出的信号处理后的编码数据和所述信息提取推测器输出的、与第一图像编码数据有关的多个信息，根据与所述第一图像编码数据有关的多个信息，对所述信号处理的编码数据进行所述的第二数字信号处理，生成第二图像编码数据。
5.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据合成器根据来自图像编码数据分析器的、与第一图像编码数据有关的多个信息，在对来自所述图像编码数据分析器的信号处理后的编码数据进行第二数字信号处理、生成第二图像编码数据时，所述第二图像编码数据的数据量和输入到所述图像编码数据分析器的第一图像编码数据的数据量不同。
6.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据合成器根据来自图像编码数据分析器的、与第一图像编码数据有关的多个信息，在对来自所述图像编码数据分析器的信号处理后的编码数据进行第二数字信号处理、生成第二图像编码数据时，所述第二图像编码数据的解码处理顺序和输入到所述图像编码数据分析器的第一图像编码数据的解码处理顺序不同。
7.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据合成器根据来自图像编码数据分析器的、与第一图像编码数据有关的多个信息，在对来自所述图像编码数据分析器的信号处理后的编码数据进行第二数字信号处理、生成第二图像编码数据时，所述第二图像编码数据所含的图像信号的图像大小与输入到所述图像编码数据分析器的第一图像编码数据中所含的图像信号的图像大小在时间或空间上不同。
8.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据合成器根据来自图像编码数据分析器的、与第一图像编码数据有关的多个信息，在对来自所述图像编码数据分析器的信号处理后的编码数据进行第二数字信号处理、生成第二图像编码数据时，所述第二图像编码数据所含的图像信号的时间序列和输入到所述图像编码数据分析器的第一图像编码数据所含的图像信号的时间序列不同。
9.权利要求1记载的图像编码数据变换装置，其特征在于，图像编码数据合成器根据来自图像编码数据分析器的、与第一图像编码数据有关的多个信息，在对来自所述图像编码数据分析器的信号处理后的编码数据进行第二数字信号处理、生成第二图像编码数据时，在对所述第二图像编码数据解码时的每一单位时间所含的解码图像信号的个数与输入到所述图像编码数据分析器的第一图像编码数据所含的每一单位时间的解码图像信号的个数不同。
全文摘要
解决图像编码数据变换装置中变换后的图象质量变差、变换处理延迟增大、装置规模扩大等问题。在图像编码数据分析器中,对第一图像编码数据进行第一数字信号处理,生成信号处理后的编码数据,将与该信号处理后的编码数据和第一图像编码数据有关的多个信息输入到图像编码数据合成器中,根据与第一图像编码器有关的多个信息,对信号处理后的编码数据进行第二数字信号处理,生成第二图像编码数据。
文档编号H04N7/30GK1172998SQ9711023
公开日1998年2月11日 申请日期1997年4月3日 优先权日1996年8月5日
发明者西川博文, 浅井光太郎, 村上笃道 申请人:三菱电机株式会社