专利名称：运动图像代码串变换装置及其方法
技术领域：
本发明涉及为了有效地传输、存储，显示图像而用更少的代码量使图像信息变为数字信号的高效率编码中的代码串的变换。特别是涉及编码方法根据图像预测类型具有成为图像间预测的参照图像的帧和不成为参照图像的帧的情况。
需要把通过由MPEG等所代表的运动图像高效率编码所编码的代码串变换为不同的数据速率，或者把可变传输速率变换为固定传输速率。在此情况下，对图像进行完全解码并用不同的速率再次进行编码是基本原则，但是，如果基本的编码处理相同，则信息的一部分可以原封不动地使用。
具体地说，可以在再编码中原封不动地使用运动矢量(MV)信息，而省略需要进行很多运算的运动矢量的检测。并且，由于动态补偿图像间预测处理不变，所以由再编码所引起的劣化仅是量化的不同，可达到最小限度。这样的处理方法记载在1993年图像编码讨论会预稿集1-6「图像的再编码中的编码控制的研究」中。
图5表示现有的运动图像代码串的变换装置的一个构成例子。
从代码串输入端子1输入的进行了动态补偿图像间预测编码的代码串中的预测残留误差的代码串和MV的代码串通过可变长解码器3恢复为固定长的代码。作为固定长代码而得到的DCT(离散余弦变换)系数通过逆量化器4而变为系数值，供给逆DCT 5。
逆DCT 5把8×8个系数变换为重放预测残留误差信号，供给加法器10。通过加法器10，预测信号与该重放预测残留误差信号相加，而成为重放图像。
另一方面，从可变长解码器3所输出的运动矢量(MV)供给动态补偿预测器8、可变长编码器15和动态补偿预测器17。
这样得到的重放图像信号供给图像存储器9和预测减法器12。动态补偿预测器8根据MV对在图像存储器9中所存储的图像进行动态补偿，形成预测信号。所得到的预测信号供给上述加法器10。
下面与图5一起对再编码系统进行说明。从加法器10所得到的重放图像信号在预测减法器12中减去由动态补偿预测器17所提供的预测信号，成为预测残留误差，提供给DCT 13。DCT 13进行DCT的变换处理，把所得到的系数提供给量化器14。量化器14以预定的步宽对系数进行量化，把成为固定长的代码的系数提供给可变长编码器15和逆量化器22。量化步长与传输速率变更相对应，而与逆量化器4的量化步长不同。可变长编码器15通过可变长代码来压缩固定长的预测残留误差，还要对MV进行可变长编码，将所得到的代码串从代码串输出端子7输出。
另一方面，通过逆DCT 21和逆量化器22来进行DCT 13和量化器14的逆处理，重放图像间预测残留误差。所得到的重放图像间预测残留误差在加法器20中与图像间预测信号相加，而成为重放图像，提供给图像存储器18。在图像存储器18中所存储的重放图像在动态补偿预测器17中按照由可变长解码器3所提供的MV，制作图像间预测信号，提供给预测减法器12和加法器20。
其中，由于动态补偿图像间预测处理在解码部和编码部中是相同的，所以也可考虑把加法器10和减法器12相互抵消，只进行图像内处理即可。而且，由于DCT 13是对逆DCT 5的可逆变换处理，而相互抵消，仅进行再量化即可。
但是，在解码系统的图像存储器9中所存储的重放图像和在再编码系统的图像存储器18中所存储的重放图像，由于量化处理不同而成为量化误差不同的图像，预测信号略有不同。这样，当省略图像间预测处理时，尽管在一次的预测处理中没有大的误差，但是，在循环型预测处理中误差累积，而产生很大的偏差。即，当省略预测处理时，虽然处理大大简化，但是发生了由上述误差所引起的画质变差。
现有的运动图像代码串变换装置不论图像的预测类型如何，在所有的帧上都进行解码和再编码，存在处理量和画质变差的问题。
而且，不论图像的预测类型如何，都得不到解码图像而进行图像间预测残留误差的再量化，由循环型的预测而产生误差的累积，画质劣化成为问题。鉴于上述问题，本发明从输入的代码串中仅对成为参照帧的帧进行解码，把一部分独立帧作为预测帧来进行再编码。而且，本发明的目的是，提供一种运动图像代码串变换装置，仅对不成为预测参照帧的双向预测帧进行预测残留误差的再量化，由此，减小处理量并降低画质劣化，使传输速率变化。
本发明的运动图像代码串变换装置及其方法，在进行了动态补偿图像间预测的运动图像的代码串的变换中，对输入的代码串进行帧分离，使通过帧内独立编码的帧的一部分帧作为第一代码，使成为图像间预测的参照帧的帧作为第二代码，使上述第一代码和上述第二代码之外的帧作为第三代码；把对第二代码进行解码而得到的重放图像作为参照图像，把对第一代码进行解码而得到的重放图像作为被编码图像，来进行帧间预测编码，对再编码的代码和上述第二代码、第三代码进行多重处理，作为图像编码方法变换的代码串。
本发明的运动图像代码串变换装置及其方法，在进行了动态补偿图像间预测的运动图像的代码串的变换中，对输入的代码串进行帧分离，使不成为图像间预测的参照帧的帧作为第一代码，使成为图像间预测的参照帧的帧作为第二代码，把上述第一代码分离成与图像间预测处理相关的代码和图像间预测残留误差的代码，对上述预测残留误差的代码进行可变长解码，对进行逆量化而得到的重放值进行再量化，对进行可变长编码而得到的再编码预测残留误差和与上述图像间预测处理相关的代码进行多重处理所得到的代码与上述第二代码进行多重处理，成为代码量变换的代码串。
在本发明中，从输入的代码串中，仅对成为参照帧的帧进行解码，把一部分独立帧作为预测帧来进行再编码，由于独立帧成为预测帧，因此代码量减少。由于不进行独立帧的动态补偿处理，量化也相对变细，因此重放图像的画质劣化较小。这样，即使通过代码串变换对重放图像进行再编码，也可接近于从原图像直接编码的情况。
而且，由于仅对不成为预测的参照帧的双向预测帧进行预测残留误差的再量化，因此，通过再量化而减少了代码量。由再量化所产生的重放图像的变化仅限于该帧，而不影响其他帧。
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中
图1是表示本发明的运动图像代码串变换装置的第一实施例的构成的图；图2是表示本发明的运动图像代码串变换装置的第二实施例的构成的图；图3是表示本发明的运动图像代码串变换装置的第三实施例的构成的图；图4是表示本发明的帧类型和代码量的样子的图；图5是表示现有的运动图像代码串变换装置的一个构成例子的图。
<第一实施例的运动图像代码串变换装置>
下面对本发明的运动图像代码串变换装置的第一实施例进行说明。在MPEG中，具有进行帧内独立编码的I帧、进行单方向帧间预测编码的P帧、进行双向帧间预测的B帧的三种类型。随帧类型的不同发生代码量大为不同，平均的比率为I∶P∶B为6∶2∶1。I帧和P帧为帧间预测的参照帧，而B帧仅进行帧间预测，不成为参照帧。
在仅由I帧和P帧构成的情况下，I帧之前的P帧不成为参照帧。
帧类型的构成随用途而变更。在卫星广播、地面波广播、CATV等中所传输的代码串为15帧(0.5秒)中有一次I帧。这是因为在通过信道切换而改变解码的代码串时，在后续的I帧到来之前，解码不能开始，因此，I帧的间隔不能过长。除I帧之外，从编码效率上看，每3帧中有一次P帧，其余的作为B帧。另一方面，在保存所广播的代码串的情况下，没有重放中的信道切换，作为15帧一次的I帧的必要性不大。如果只从为了防止处理运算误差的累积的更新上看，可以为60帧(2秒)一次即可。因此，把所广播的代码串的一部分的I帧变换为P帧。
图1表示为了保存所广播的代码串而进行变换时的构成，与图5的现有例子相同的构成部件使用相同的编号。在图1中，与图5相比较，增加了帧分离器2、帧多重处理器6、运动推定器16、开关11。另一方面，没有用于局部解码的加法器20、逆DCT 21、逆量化器22。在实施例中，与现有例子不同之处是由帧类型所产生的解码、再编码处理的切换，而各部分的处理内容大致相同。
首先，从解码系统进行说明。在图1中，从代码串输入端子1输入的代码首先被帧分离器2分为成为预测参照帧的I帧和P帧及不成为预测参照帧的B帧。再将I帧分离为变换为P和不变换为P的帧。I帧和P帧的代码提供给可变长解码器3。
除变换为P帧的I帧之外的全部的帧被提供给帧多重处理器6。其中，I帧的原样剩余的部分为60帧(4次的I帧)一帧的程度。该周期预先决定，根据处于代码串的各帧的首部的帧编号来进行控制。而且，帧分离器2把该控制信息提供给开关11。
I帧和P帧的代码由可变长解码器3恢复为固定长度的代码。作为固定长度代码而得到的DCT系数在逆量化器4中成为系数值，提供给逆DCT 5。逆DCT 5把8×8个系数变换为重放预测残留误差信号(在I帧中为重放图像信号)，提供给加法器10。加法器10在P帧中把由动态补偿预测器8所提供的预测信号与重放预测残留误差信号相加，而得到重放图像信号。在I帧中相加的预测信号为0值，可直接得到重放图像信号。
这样得到的重放图像信号提供给图像存储器9、运动推定器16和开关11。图像存储器9保持重放图像，提供给动态补偿预测器8。动态补偿预测器8在P帧中按照由可变长解码器3所提供的运动矢量(MV)信息对参照帧的重放图像进行动态补偿，把预测信号提供给加法器10。在I帧中输出0值。
下面与图1一起对再编码系统进行说明。开关11按照与帧同步的控制信息进行切换，仅把变换为P帧的I帧提供给减法器12。除此之外的帧，将重放图像信号提供给图像存储器18。为了向P帧变换，再编码的重放图像信号在减法器12中减去由动态补偿预测器17所提供的预测信号，成为预测残留误差，提供给量化器14。DCT 13进行DCT变换处理，所得到的系数提供给量化器14。量化器14以预定的步宽对系数进行量化，把成为固定长度代码的系数提供给可变长编码器15。
另一方面，存储在图像存储器18中的重放图像信号提供给动态补偿预测器17。在本实施例中，由于再编码(向I帧或者P帧的变换)不是连续进行，因此，参照帧不会再编码。这样，一定能够使用由解码系统得到的图像，不需要再编码中的局部解码系统。动态补偿预测器17按照由运动推定器16所提供的MV来制作图像间预测信号，提供给减法器12，由此，来进行图像间预测编码。运动推定器16求出被编码帧与其参照帧之间的MV。本实施例的被编码帧由于原来是I帧，所以一般不存在MV，需要通过运动推定来求出MV。但是，在MPEG中，即使I帧，有时也传输用于解决误码的MV，在此情况下，可以原样使用该MV。
帧多重处理器6对上述的来自帧分离器2的输出和来自可变长编码器15的输出进行帧多重处理，输出代码串。<第二实施例的运动图像代码串变换装置>
下面使用图2来对本发明的运动图像代码串变换装置的第二实施例进行说明。
在节目制作中使用的VTR等，从画质的稳定性、图像编辑性等考虑要使I帧的频率非常高，不使用P帧，仅用I帧和B帧来进行编码。在此情况下，在多帧中虽然1帧为I帧，但是，由于I帧的代码量较多，所以传输速率较高。
本实施例是把仅有这样的I帧和B帧的代码串变换为正常广播用的代码串的例子。本实施例与第一实施例相同的是把I帧变换为P帧，但不同的是在输入的代码串中不包含P帧。图2表示其构成，与图1的第一实施例相同的构成部件使用相同的编号。在图2中，与图1相比较，在解码系统中没有作为图像间处理部的动态补偿预测器8、图像存储器9、加法器10，增加了在再编码中作为局部解码部的开关19、加法器20、逆DCT 21、逆量化器22。
首先，从解码系统进行说明。在图2中，从代码串输入端子1输入的代码通过帧分离器2仅把I帧提供给可变长解码器3，把除变换为P帧的I帧之外的全部帧提供给帧多重处理器6。其中，I帧的原样剩余的部分只是15帧中的一帧。该周期被预先决定，根据处于代码串的各帧的首部的帧编号来进行控制。而且，帧分离器2把该控制信息提供给开关11和开关19。
与图1一样I帧的代码由可变长解码器3、逆量化器4、逆DCT 5进行解码，所得到的重放图像提供给开关11和运动推定器16。
下面对再编码系统进行说明。在图2中，开关11和19按照与帧同步的控制信息进行切换，把变换为P帧的I帧提供给减法器12。除此之外的帧，向图像存储器18提供重放图像信号。所得到的变换为P帧的I帧的重放图像由减法器12、DCT 13、量化器14与图1一样进行编码，预测残留误差提供给可变长编码器15和逆量化器22。可变长编码器15把预测残留误差作为用可变长代码压缩的代码，MV也进行可变长编码，将两者进行多重处理，所得到的代码串提供给帧多重处理器6。
在本实施例中，与第一实施例不同，再编码是连续进行的，由于在再编码中，把变换为P帧的帧作为参照帧，因此，需要局部解码系统。逆量化器22和逆DCT 21进行DCT 13和量化器14的逆处理，所得到的重放预测残留误差由加法器20与预测信号相加，成为重放图像。开关19在进行再编码的帧中，把从加法器20输出的重放图像传导给图像存储器。在图像存储器18中，变换为P帧的帧存储再编码的局部解码图像，I帧的原样的帧存储原来的代码串的解码图像。
在图像存储器18中所存储的参照图像在动态补偿预测器17中按照由运动推定器16所提供的MV而成为图像间预测信号，提供给减法器12和加法器20。运动推定器16在参照帧与被编码帧之间求出MV，提供给动态补偿预测器17和可变长编码器15。<第三实施例的运动图像代码串变换装置>
下面使用图3来对本发明的运动图像代码串变换装置的第三实施例进行说明。
本实施例为变更量化的变换处理，由于图像间预测处理完全不变，所以在解码图像中产生由再量化所引起的误差。但是，再量化仅对不成为图像间预测的参照帧的B帧进行，因此，对其他的帧不产生影响，不会发生误差累积等问题。
图3是表示本实施例的构成的图，与图1的第一实施例相同的构成部件使用相同的编号。在图3中，与图1相比较，没有DCT处理部分和图像间预测处理部分，而有代码分离器33和代码多重处理器34。而且，帧分离器31和帧多重处理器32的动作与图1的帧分离器2和帧多重处理器6不同。
首先，从解码系统进行说明。在图3中，从代码串输入端子1输入的代码通过帧分离器31分离成成为预测参照帧的I帧和P帧及不成为参照帧的B帧。I帧和P帧的代码提供给帧多重处理器32，B帧的代码提供给代码分离器33。在代码分离器33中，B帧的代码分离为MV等的预测处理的代码和DCT系数等的预测残留误差的代码。预测处理的代码提供给代码多重处理器34，预测残留误差的代码提供给可变长解码器3。B帧的预测残留误差的代码通过可变长解码器3恢复为固定长度的代码。作为固定长代码而得到的DCT系数在逆量化器4中成为重放系数值。
下面对再编码系统进行说明。量化器14以预定步长对系数进行再量化，把成为固定长代码的系数提供给可变长编码器15。可变长编码器15把预测残留误差作为用可变长代码压缩的代码提供给代码多重处理器34。代码多重处理器34对预测处理的代码和预测残留误差的代码进行多重处理，把得到的代码串提供给帧多重处理器32。帧多重处理器32对I、P帧和被再量化了的B帧进行多重处理，从代码串输出端子7输出代码串。可变长解码器3、逆量化器4、量化器14、可变长编码器15的具体处理内容与图1的实施例相同。
第三实施例可以将第一实施例和第二实施例相组合同时进行。在此情况下，I、P帧由第一实施例和第二实施例进行变换处理，B帧由第三实施例进行变换处理。<代码量>
在图4中表示了通过代码串的变换而使帧类型和各帧的代码串变化的例子。在制作用的代码串的情况下，I帧每3帧中有一帧，其他的为B帧。当I帧的代码量平均为900kbit，B帧的代码量平均为150kbit时，如果为30帧/1秒，则传输速率为12Mbps。
帧类型的构成随用途而变更。在卫星广播、地面波广播、CATV等中所传输的代码串为15帧(0.5秒)有一次的I帧。这是因为在通过信道切换而改变解码的代码串时，在后续的I帧到来之前，解码不能开始，因此，I帧的间隔不能过长。除I帧之外，从编码效率上看，应为3帧有一次的P帧，其余的作为B帧。另一方面，在保存所广播的代码串的情况下，没有重放中的信道切换，使15帧中有一次I帧的必要性不大。只从为了防止处理运算误差的累积的更新上看，60帧(2秒)中有一次即可。因此，把所广播的代码串的一部分的I帧变换为P帧。
这样，在广播用代码串的情况下，在图2的第二实施例的代码串变换装置中，I帧的15帧仍为1帧，其他的变换为P帧。B帧原封不动。结果，I帧为每15帧中有1帧，P(I)帧为每3帧有1帧。P帧的代码量平均为300kbit。传输速率为7.2Mbps。
在保存用的情况下，在图1的第一实施例的代码串变换装置中，I帧在60帧中仍为1帧，其他的变换为P帧。在图3的第三实施例的代码串变换装置中，B帧的代码量为75kbit，传输率为4.8Mbps。
在本发明中，从输入的代码串中，仅对成为参照帧的帧进行解码，把一部分独立帧作为预测帧进行再编码。不成为预测的参照帧的双向预测帧不被解码，直接多重处理为再编码的代码串，因此，解码和再编码的处理量减少。由于独立帧成为预测帧，因此，代码量变少，能够通过变换来减少代码量(传输速率)。由于再编码仅对独立帧进行，所以重放图像的画质劣化减少。
在本发明中，仅对不成为预测的参照帧的双向预测帧进行预测残留误差的再量化，由此，双向预测帧的代码量变少。独立帧和单向预测帧的代码量原封不动，因此，能够减少全体的代码量(传输速率)。再量化仅对不成为预测的参照帧的双向预测帧进行，因此，重放图像的变化仅限于该帧，不影响其他帧。解码和再编码不是针对所有图像间处理，处理量极少。
权利要求
1.一种运动图像代码串变换装置，对已进行了动态补偿图像间预测的运动图像的代码串进行变换，其特征在于，包括帧分离装置，对输入的代码串进行帧分离，使通过帧内独立编码的帧的一部分帧作为第一代码，使成为图像间预测的参照帧的帧作为第二代码，使上述第一代码和上述第二代码之外的帧作为第三代码；解码装置，对上述第一代码进行解码，得到第一重放图像，对上述第二代码进行解码，得到第二重放图像；编码装置，把上述第二重放图像作为参照图像，把上述第一重放图像作为被编码图像，进行帧间预测编码，得到被再编码了的代码；帧多重处理装置，对上述再编码的代码、上述第二代码和上述第三代码进行多重处理，得到图像编码方法变换了的代码串。
2.一种运动图像代码串变换装置，对已进行了动态补偿图像间预测的运动图像的代码串进行变换，其特征在于，包括帧分离装置，对输入的代码串进行帧分离，使不成为图像间预测的参照帧的帧作为第一代码，使成为图像间预测的参照帧的帧作为第二代码；代码分离装置，把上述第一代码分离成与图像间预测处理相关的代码和图像间预测残留误差的代码；解码装置，对上述预测残留误差的代码进行可变长解码及逆量化后得到重放值；再编码装置，对上述重放值进行再量化和可变长编码，得到再编码预测残留误差；代码多重处理装置，对上述再编码预测残留误差和与上述图像间预测处理相关的代码进行多重处理，而得到第三代码；帧多重处理装置，把上述第二代码与上述第三代码进行多重处理，得到代码量变换的代码串。
3.一种运动图像代码串变换方法，对已进行了动态补偿图像间预测的运动图像的代码串进行变换，其特征在于对输入的代码串进行帧分离而使通过帧内独立编码的帧的一部分帧作为第一代码，使成为图像间预测的参照帧的帧作为第二代码，使上述第一代码和上述第二代码之外的帧作为第三代码；对上述第一代码进行解码，得到第一重放图像，对上述第二代码进行解码得到第二重放图像；把上述第一重放图像作为参照图像，把上述第二重放图像作为被编码图像，进行帧间预测编码，得到再编码的代码；对上述再编码的代码、上述第二代码和上述第三代码进行多重处理，而得到图像编码方法变换的代码串。
4.一种运动图像代码串变换方法，对已进行了动态补偿图像间预测的运动图像的代码串进行变换，其特征在于对输入的代码串进行帧分离，使不成为图像间预测的参照帧的帧作为第一代码，使成为图像间预测的参照帧的帧作为第二代码；把上述第一代码分离成与图像间预测处理相关的代码和图像间预测残留误差的代码；对上述预测残留误差的代码进行可变长解码和逆量化后得到重放值；对上述重放值进行再量化、进行可变长编码，得到再编码预测残留误差；对上述再编码预测残留误差和与上述图像间预测处理相关的代码进行多重处理，而得到第三代码；把上述第二代码与上述第三代码进行多重处理，而得到代码量变换了的代码串。
全文摘要
本发明的运动图像代码串变换装置包括:帧分离装置,对输入的代码串进行帧分离,使通过帧内独立编码的帧的一部分帧作为第一代码,使成为图像间预测的参照帧的帧作为第二代码,其余帧作为第三代码;解码装置,对第一和第二代码解码,得到第一和第二重放图像;编码装置,把第二重放图像作为参照图像,第一重放图像作为被编码图像,进行帧间预测编码;帧多重处理装置,对再编码的代码、第二代码及第三代码进行多重处理,得到变换的代码串。
文档编号H04N7/26GK1246768SQ9910986
公开日2000年3月8日 申请日期1999年7月16日 优先权日1998年8月5日
发明者杉山贤二 申请人:日本胜利株式会社