专利名称：运动图象编码装置的制作方法
技术领域：
本发明涉及一种用于运动图象编码装置的其产生的位速率不同于压缩编码运动图象数据的位速率的位速率控制方法。
背景技术：
近来，根据数字信号处理技术的发展，可以压缩和编码运动图象数据。另外，随着计算机网络的发展，通过各种传输通路发送和接收压缩的编码的运动图象数据的机会在增加。例如，TV广播电视台，预先迭加的大量的运动图象数据压缩编码和存储，和作为VOD(需要的视频节目)，在用户的要求下，在传输的通路上传送该压缩的编码运动图象数据。
然而，在传输通路上传输压缩编码运动图象数据的情况下，有时传输通路上可以传输的位速率不同于运动图象的位速率，而且在运动图象数据的位速率大的情况下，当运动图象传输时，存在在接收数据中产生延时并且不可能实时重现运动图象数据这样的问题。因此，为了实时重现运动图象，必须降低运动图象的位速率。还有，必须调整运动图象数据的位速率为可以由接收图象运动图象数据的接收终端设备可以接收的位速率。另外，即使在压缩编码运动图象数据中没有完整帧而只有部分帧图象被挖取和传输的情况下，当挖取的运动图象数据的位速率超过传输通路可以传输的位速率时，必须实施降低位速率的处理。如上所述，当通过各种接收终端设备和传输通路传输运动图象数据时，必须通过调整将运动图象数据的位速率改变为各种位速率，并且通过一时间周期来处理该速率控制，因此在数据传输中产生了延时。
另外，当VOD服务器给正比于连接到VOD服务器上的终端设备数目的多个终端设备发送多个运动图象数据时，由于速率控制处理变得很繁重，VOD服务器的负载变得很大，可以同时连接的终端数目受到限制。因此，迅速改变运动图象数据位速率的位速率控制方法是绝对必要的。
在诸如控制压缩编码运动图象数据的位速率的常规技术的情况下，开始运动图象数据解码成为未压缩的运动图象数据，以及再编码，从而改变位速率的方法是公知的。然而在这种方法中，由于运动图象数据解码一次和再一次编码，这种处理过程的负担过大，还存在这样的问题，即迅速改变位速率和产生运动图象数据是困难的。
另外，作为减轻再编码处理和增加处理速度的常规技术，在JP-A-8-23539披露的技术是公知的。在图38中，示出了常规运动图象编码装置的结构。在图38中，运动图象编码装置5001包括连接到输入装置5007的可变长度解码装置5002，再量化装置5003，可变长度编码装置5004，缓冲存储装置5005，和缓冲器占有量检测装置5006，该运动图象编码装置连接到输出装置5008。
接下来将描述运动图象编码装置的操作过程。在图38中，输入装置5007输入每一帧的编码的运动图象数据到可变长度解码装置5002，并且输入该目标位速率到再量化装置5003。然后，可变长度解码装置5002对输入数据进行可变长度解码，和计算出量化的DCT(离散余弦变换)系数，并且输出到再量化装置5003。然后，再量化装置5003再量化被量化的DCT系数，并输出到可变长度编码装置5004。在这方面，再量化装置5003将由输入装置5007输入的位速率与由缓冲器占有量检测装置5006输入的缓冲器占有量进行比较，并且设定量化值，以满足预定的位速率，以及进行再量化。这里量化值意味着在量化中划分DCT系数的值。另外，可变长度编码装置5004对再量化的DCT系数进行可变长度编码，并给缓冲存储器装置5005提供可变长度编码的运动图象数据。缓冲存储器装置5005向输出装置5008输出由可变长度编码装置5004输入的运动图象数据，并且向缓冲器占有量检测装置5006输出运动图象数据的数据量。在缓冲器占有量检测装置5006加上该数据量和检测该缓冲器占有量后，给再量化装置5003输出数据的总量。
如上所述，当使用运动图象编码装置5001，由压缩编码运动图象数据控制位速率，和重新产生运动图象数据，通过输入运动图象数据进行一次可变长度解码，再量化和可变长度编码的处理过程产生运动图象数据。也就是，由于运动图象数据解码和再一次编码的反向量化处理，使计算负担加重，并且难以迅速进行速率控制。另外，由多帧构成运动图象数据和由于当运动图象数据压缩编码时，为了提高效率，通常使用在时间上与前面一帧的相关的帧，并使用帧间预测编码。于是，当运动图象数据包括进行帧间预测编码的帧时，当使用运动图象编码装置进行再量化时就出现了问题。
当使用帧间预测编码时，在运动图象编码装置5001中进行再量化的帧(pi)与时间上随后的一帧(pi+1)进行帧间预测编码，并且当(pi+1)帧解码时，该帧是附加所必要的帧。
然后，当在运动图象编码装置5001中进行再量化时，由于再量化装置改变输入数据的量化值，再量化前的帧(pi)不同于后面进行再量化的帧(pi′)。因此，当由于再量化而改变的pi′加到进行反向量化的(pi+1)时，(pi+1)被解码，由于原先加上的pi与pi′间存在差别，所以该解码的图象就恶化了。此后，pi与pi′间存在的差别称作运动补偿误差。也就是帧间预测编码用于运动图象数据，当使用运动图象编码装置5001产生运动图象数据时，由于运动补偿误差使得图象质量恶化。另外，为了防止图象质量恶化，进行再量化的帧的下一帧必须再编码包含的运动补偿，于是出现了处理时间进一步增加这样的问题。
在常规运动图象编码装置中，当先前编码的运动图象数据的位速率变化并且重新产生运动图象数据时，在运动图象数据一次解码和再次再量化后必须再次编码，并且难于迅速产生运动图象数据。
当使用常规运动图象编码装置和在进行再量化的下一帧中通过进行再量化控制速率时，由于运动补偿误差引起图象质量恶化，所以很难进行不引起图象质量恶化的速率控制。
发明内容
本发明的目的在于解决上述的问题。也就是，该目的在于当编码运动图象数据的位速率变化和重新产生运动图象数据时，无须解码运动图象数据就可以迅速产生运动图象数据，和不会由于运动补偿误差而导致的图象质量恶化。
为了解决上述问题，将上述的压缩编码运动图象数据输入到运动图象编码装置中，并产生和输出位速率不同的新的运动图象数据，本发明的结构如下。
首先，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有速率校正数据产生装置，在该数据中位数量随区域不同而不同，其中在p帧(帧间预测编码图象)中位产生量是大的，而且可以进行速率变化。
根据上面所述，当由先前编码的运动图象数据重新产生运动图象数据时通过调整目标位速率，和选择和替代在输入运动图象数据中位数量是不同的速率校正数据，不需要解码运动图象数据，通过改变位速率就可以迅速产生运动图象数据。另外，通过在位数量大的区域中产生速率校正数据，可以有效地改变位速率。
第二，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有一个装置，用该装置给先前确定的一个区域产生速率校正数据，在该速率校正数据中位数目是不同的，并且可以改变该速率，并且当进行运动估算时，在p帧(帧间预测编码图象)中涉及下一帧的概率是低的。
因此，当从先前编码的运动数据重新产生运动图象数据时，通过选择和替换在输入的运动图象数据中的位数目是不同的速率校正数据，通过调整目标位速率，无须解码运动图象数据，位速率就可以改变，并且可以迅速产生运动图象数据。另外，通过在涉及下一帧的概率是低的区域中产生速率校正数据，由于限制运动估算的搜索范围，可以减小预测编码效率的下降。
第三，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有在p帧中产生位数目不同的速率校正数据的装置，和装备有运动补偿装置，它用于当预测下一帧运动时，进行运动补偿而不涉及具有速率校正数据的区域。
因此，当由先前编码的运动图象数据重新产生运动图象数据时，甚至当通过选择位数目不同的速率校正数据，产生运动图象数据时，在输入的运动图象数据中，由于该区域不经受运动估算，可以防止由于数据的替换产生的运动补偿误差。
第四，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有在p帧中，当预测运动时，给涉及下一帧的程度是低的区域产生位数目不同的速率校正数据并且可改变位速率的装置。
根据上面所述，当运动图象数据产生装置产生运动图象数据时，不降低帧间预测编码的编码效率，可以产生运动图象数据。
第五，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有一个装置，它通过除去原图象中的高频分量，和进行帧间的预测编码给运动图象数据的每个帧p产生速率校正数据。
根据上面所述，当无须解码对应目标位速率的先前编码的运动图象数据时，通过选择除去高频分量编码的速率校正数据的每个区域，可以迅速进行精确的位速率控制。
第六，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有一个装置，该装置用于在每个区域产生表示在其中的位可被删除的后面部分区域的区域信息作为速率校正数据。
根据前面所述，在从编码的运动图象数据产生新的运动图象数据的运动图象编码装置中，通过调整目标位速率，当输入运动图象数据的每个区域被选择和后面部分的位被删除除时，可以迅速进行位速率控制。
第七，产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备有一个装置，该装置用于给每个p帧产生位数目不同的I帧，作为速率校正数据。
因此，在从先前的编码运动图象数据产生新的运动图象数据的运动图象编码装置中，通过调整目标位速率，和用位数目不同是速率校正数据的I帧替代输入运动图象数据的P帧，可以无须解码输入的运动图象数据，迅速进行位速率控制。
第八，在产生输入给运动图象数据编码装置的运动图象数据的运动图象数据产生装置装备装置的情况下，其中一个装置用于确定在每帧中挖出的区域，和为至少多于一个在该帧中挖出的每一个区域，产生可以进行速率校正的速率校正数据，另一个是运动补偿装置，它用于在运动补偿和挖出区域的时候，禁止在具有前一帧中的速率校正数据的区域外面作运动估算，当从先前编码的运动图象数据中挖出帧的一部分和重新产生对应目标位速率运动图象数据时，通过选择位数目不同的数据，无须解码运动图象数据，就可以控制位速率和迅速产生运动图象数据。另外，由于不在挖出区域的外面作运动估算，甚至通过使用挖出的帧部分的区域，进行解码可以不产生运动补偿误差。
图1是表示在本发明的第一实施例中运动图象数据产生装置结构的方框图；图2是表示在本发明的第一实施例中运动图象编码装置的结构的方框图；图3是表示在本发明的第二实施例中运动图象数据产生装置结构的方框图；图4是表示在本发明的第三实施例中运动图象数据产生装置结构的方框图；图5是表示在本发明的第四实施例中运动图象数据产生装置结构的方框图；图6是表示在本发明的第五实施例中运动图象数据产生装置结构的方框图；图7是表示在本发明的第五实施例中运动图象编码装置结构的方框图；图8是表示在本发明的第六实施例中运动图象数据产生装置结构的方框图；图9是表示在本发明的第六实施例中运动图象编码装置结构的方框图；图10是表示本发明的第一实施例中帧内部划分区域的示例；
图11是表示本发明的第一实施例中的压缩帧缓冲器结构的示图；图12是表示本发明的第一实施例中的速率校正区域数据；图13是表示本发明的第一实施例中的压缩帧数据的示图；图14是表示本发明的第一实施例中的运动图象数据结构的示图；图15是表示本发明的第一实施例中速率校正数据的数据结构的示图；图16是表示本发明的第一实施例中的速率校正数据的内容的示图；图17是表示本发明的第一实施例中的速率校正数据标题结构的示图；图18是表示本发明的第三实施例中相关区域数据的示图；图19是表示本发明的第四实施例中压缩帧数据的示图；图20是表示本发明的第四实施例中速率校正数据标题结构的示图；图21是表示本发明的第四实施例中运动图象编码装置结构的示图；图22是表示本发明的第四实施例中速率控制方法的流程的示图；图23是表示本发明的第五实施例中视频数据包结构的示图；图24是表示本发明的第五实施例中视频数据包终端数据结构的示图；图25是表示本发明的第五实施例中速率校正数据结构和速率校正标题结构的示图；图26是表示本发明的第五实施例中速率校正数据的数据内容的示图；图27是表示本发明的第六实施例中速率校正数据结构和速率校正标题结构的示图；图28是表示本发明的第六实施例中速率校正数据的数据内容的示图；图29是表示在本发明的第七实施例中运动图象数据产生装置结构的示图；图30是表示在本发明的第七实施例中在1帧内挖出区域示例的示图；图31是表示在本发明的第七实施例中速率校正区域数据结构的示图；图32是表示在本发明的第七实施例中压缩帧数据结构的示图；图33是表示在本发明的第七实施例中速率校正数据结构的示图；图34是表示在本发明的第七实施例中速率校正数据标题结构的示图；图35是表示在本发明的第七实施例中运动图象编码装置结构的示图；图36是表示在本发明的第五实施例中视频数据包结构数据的示图；图37是表示在本发明的第六实施例中I帧编码装置结构的示图；图38是表示作为常规技术的运动图象编码装置结构的方框图。
具体实施例方式
使用图1至37，下面将描述本发明的实施例。在这方面，本发明不限定于这些实施例，但是在不脱离本发明构思的范围内，本发明可以有各种模式。
在第一实施例中，将描述运动图象编码装置及其方法，使用该运动图象编码装置，不需要使用对预先压缩编码的运动图象数据解码而进行位控制和重新产生运动图象数据。
最初，下面将描述预先产生输入给运动图象编码装置的运动图象数据的运动图象数据产生装置。
在图1中，示出了预先产生具有迅速进行速率控制的运动图象数据的运动图象数据产生装置的结构。
在图1中，运动图象数据产生装置101具有连接到输入装置116的帧输入装置117；运动补偿装置102；DCT转换装置103；量化装置104；可变长度编码装置105；进行解码的反向量化装置106；反向DCT转换装置107；和存储被解码帧的帧存储器108；还具有连接到可变长度编码装置105和成功检测具有最大位数目的最大位数目区域检测装置110；参考禁止区域存储装置109；连接到DCT转换装置103上的压缩帧缓冲器112；连接到压缩帧缓冲器112和进行量化的量化装置111；和可变长度编码装置113，还具有连接到可变长度编码装置105、参考禁止区域存储装置109和可变长度编码装置113的压缩帧数据组合装置114，和与运动图象数据组合，并且具有连接到输出装置115的结构。
下面将描述这样构成的运动图象数据产生装置的操作。
开始，输入装置116给帧输入装置117输入未压缩图象。当帧输入装置117接收由压缩帧数据组合装置114输入的帧编码结束信号时，未压缩的一帧数据输入到运动补偿装置102。然而，当输入第一帧数据时，它不依赖于帧编码结束信号，和同时当从输入装置116输入数据时，该未压缩帧数据输入到运动补偿装置102。
然后，当运动补偿装置102对从输入装置117输入的未压缩的帧数据进行帧间预测编码时，在与从帧存储器108输入的帧前面一帧高度相关的区域被检测后，进行相减，并给DCT转换装置103输出被减的帧数据。在这个情况下，运动补偿装置102不对由参考禁止区域存储器109输入一帧的前面的一帧的参考禁止区域进行运动检测。另外，不对帧内进行编码的数据进行运动补偿，并将该输入数据输出到DCT转换装置。
DCT转换装置103对由运动补偿装置102输入的帧数据进行DCT转换，并向量化装置104和压缩帧缓冲器112输出DCT系数。
在图10中，示出了帧中区域的划分方法的示例。这里，图10中所示的区域是由任意数目的宏块(例如16×16象素)构成的，可以是任意的形状，而不限定为图10所示的形状。另外，图11示出了压缩帧缓冲器的结构。该压缩帧缓冲器分别地连续地容纳对应图10中每个区域的量化量和DCT系数。
量化装置104量化由DCT转换装置103对图10中所示的每个区域转换得到的DCT系数，和该量化的DCT系数输出到反向量化装置106和可变长度编码装置105，并且用于量化的量化值输出到压缩帧缓冲器112。该压缩帧缓冲器112使得由DCT转换装置103为图10中所示的每个区域输入的一帧DCT系数和由量化装置104输入的量化值如图11所示分别地相互对应，并存储该量化值。
可变长度编码装置105对量化的DCT系数进行可变长度编码，并输出到最大位数目区域检测装置110和压缩帧数据组合装置114。这里，由可变长度编码装置105编码的数据称为正常帧数据。
另外，反向量化装置106对量化装置104量化的DCT系数进行反向量化，和将其输出到反向DCT转换装置107。该反向DCT转换装置107对由反向量化装置106得到的DCT系数进行反向DCT转换，和将其输出到运动补偿装置102。该运动补偿装置102使用反向DCT转换系数和由帧存储器输入一帧的前面的一帧的解码帧解码该帧，和重新解码帧存储器的帧。然而，对于I帧，转换的反向DCT帧存储在帧存储器中。
如上所述，在可变长度编码装置105中，当完成一帧的编码时，在由可变长度编码装置105编码的帧中，最大位数目区域检测装置110按照来自包括最大位数目的区域的具有更大的位数目的区域的顺序检测预定数目的区域，和输出该表示检测区域的速率校正区域数据给参考禁止区域存储器109和压缩帧缓冲器112。在图12中，示出了速率校正区域数据的示例。在图12中，块区域表示由帧最大位区域检测装置选择的区域，和这个区域定义为参考禁止区域。
参考禁止区域存储器109输出表示由最大位数目区域检测装置110检测的区域的校正区域数据给运动补偿装置102和压缩帧数据组合装置114。于是压缩帧缓冲器112关断DCT系数和相应于从压缩帧缓冲器内部到由最大位数目区域检测装置110输入的校正区域数据的参考禁止区的区域的量化值，并输出它们到量化装置111。该量化装置111在从压缩帧缓冲器112输入量化值s之前和之后，使用多个量化值s，对从压缩帧缓冲器112输出的DCT系数执行量化，并且将其输出到可变长度编码装置113。
在量化装置111中，当使用不同的量化值执行量化时，可以产生位数目不同的数据。
例如，当用量化值Q＝2对图象平面尺寸是CIF(352×288)，和帧速率是30fps输入数据流进行量化时，制成MPEG4数据流，其位速率是约1.6Mbps，当Q＝6时，约384kbps，当Q＝16时，约128kbps，和当Q＝30时，约56kbps，可以产生对应量化值Q的位速率不同的数据。
可变长度编码装置11 3对由量化装置111量化的DCT系数进行可变长度编码，和产生具有区域数、每个区域的校正数据数、区域号码和作为标题信息的各个校正数据的数据规模的速率校正数据，并且将其输出到压缩帧数据组合装置114。这里，由可变长度编码装置113产生的数据定义为速率校正数据。在图15中，示出了速率校正数据的结构，和在图16中示出了速率校正数据的内容。另外，在图17中示出了速率校正数据标题的结构。在图17中，速率校正数据标题1502具有一种结构，其中位数目不同的校正数据每一个区域中的数目，通过变化区域数和量化值产生的，和区域号码和分别的校正数据的位数目作为固定长度数据存储。这里，区域的顺序是这样定义的，在这个顺序中位数是较大的。于是在图15中，速率校正数据具有一种结构，其中校正数据继速率校正数据标题1502之后存储，并且按一定的区域顺序，在该顺序中校正数据的位数目是比较大的。在图13中示出了压缩帧数据的结构。在图13中，压缩帧数据具有一种结构，其中速率校正区域数据和速率校正数据在正常的帧数据是后顺序地存储。
压缩帧数据组合装置114按图13所示的顺序存储由可变长度编码装置105输入的正常的帧数据，由参考禁止区域存储装置109输入的校正区域数据，和由可变长度编码装置113输入速率校正数据，并且将其作为压缩帧数据1301输出到输出装置115，并输出表示一帧的编码完成的帧编码结束信号到帧输入装置117。图14示出了运动图象数据的结构。在图14中，运动图象数据1401具有一种结构，其中压缩帧数据是顺序地存储的。
编码的运动图象数据1401具有一种结构，其中，对于每一帧，正常的帧数据，表示速率校正数据存在的区域的速率校正区域数据和位数目不同的速率校正数据按顺序安排。之后，具有速率校正数据的区域，也就是参考禁止区域禁止运动估算时来自下一帧的参考，和由于处在不从下一帧接收运动估算的条件下，甚至当这个区域的数据用速率校正数据替代，和进行位速率变化时，当下一帧解码时不产生运动补偿误差。
接下来，运动图象编码装置的结构示于图2，用图1所示的运动图象编码装置编码的运动图象数据用作输入数据，并且无须解码输入数据而进行速率控制，并且重新产生速率变化的运动图象数据。
在图2中，运动图象编码装置201具有连接到输入装置202的数据分离装置207，位数目计算装置203，速率校正数据选择装置204，位速率控制装置205和运动图象组合装置208，并且具有接到输出装置206的结构。
下面将描述如此构成的运动图象编码装置的操作。在图2中，输入装置202向数据分离装置207输入压缩的编码运动图象数据1301和由用户确定的目标位速率。当由输入装置292输入数据时，数据分离装置207输入每一帧的目标位帧给位速率控制装置205，并且还按照顺序从输入的运动图象数据的标题数据取出数据，和输入每一帧的正常的帧数据至位数目计算装置203，和输入该速率校正区域数据和每一帧的速率校正数据至速率校正数据选择装置204。这里，当输入装置202输入不是运动图象数据的第一帧的帧时，在从速率校正数据选择装置204接收帧编码结束信号后，进行分别的数据输入。
位数目计算装置203计算输入的正常帧数据的位数目，并向位速率控制装置205输出位数目，和给速率校正数据选择装置输出正常帧数据。
位速率控制装置205将从输入装置202输入的目标位速率与从位数目检测装置203输入的当前的位数目比较，和得到不满足目标位速率所必须的位数目或足够的位数目，并且输出到速率校正数据选择装置204。
速率校正数据选择装置接收由位速率控制装置205输入的作为位速率误差的位数目，和为了给由数据分离装置207输入的速率校正区域数据所示的区域满意的目标位速率，它将正常帧数据中的区域的位数目与存储在速率校正数据标题1502中的多个校正数据的位数目比较，当该数据被替代时，通过它位速率误差变小的校正数据，按存储区域的顺序选择，和通过用选择的校正数据替代正常帧数据中的数据，改变位数目。另外，当位数目误差大时，从下一个区域选择校正数据，和通过替代数据，改变位数目。通过重复上述的处理，其中位数目误差最小的运动图象数据输出到运动图象组合装置208，并且一帧编码结束信号输出到数据分离装置207。
运动图象组合装置208顺序地连接从速率校正数据选择装置204输入给每一帧的帧数据，并产生运动图象数据和输出至输出装置206。
这里，当由速率校正数据选择装置204选择区域和该数据替代对应的位数目时存在这样的问题，即由于数据的替代引起运动补偿误差，该替代数据称作在常规方法中I帧之后的运动补偿，并且引起图象质量的恶化，然而在本发明中，由于在图1中运动图象数据产生装置中参考禁止区域存储装置109禁止对具有速率校正数据的区域的参考，即使当校正数据被选择和替代，也不引起运动补偿误差。因此，无须解码运动图象数据，通过选择校正数据，可以迅速进行速率控制，而不引起由于运动补偿误差产生的图象质量恶化。
另外，在本实施例中，由最大位数目区域检测装置110检测的区域数由对应的用户确定，可以改变对于输入数据的多少％的位速率，区域的数目越大，位速率变化的范围就越大。然而，当区域数增加时，由于用于运动估算的参考区域变窄，编码效率降低。为了解决这一问题，最大位区域检测装置110从按顺序排列的具有最大位的区域检测该区域，在该顺序中位数目是较大的。这由于在帧中压缩编码数据不总是具有一致的位数目，有一些情况，具有较大位数目的区域局部地存在，当校正数据提供给位数目大的区域时，很容易变化位速率，并且参考禁止区域可以减少。
另外，由最大位区域检测装置110选择的每个区域的速率校正数据的号码和各自的量化值的值还影响位速率变化的宽度。例如，当正常帧数据的量化以Q＝6进行，位速率是约384kbps，作为具有速率校正数据的区域，从位数目是大的区域选择具有约3/4总数的数据的多个区域。当考虑到位偏离时，这些区域的面积小于3/4。对于这些区域，使用量化值Q＝2，Q＝30，产生约1.6Mbps和约56kbps两种速率校正数据。包括速率校正数据的整个数据大小是约1.6Mbps。当包括速率校正数据的运动图象数据与速率校正数据结合时，位速率变化可以在约1.5Mbps至约64kbps范围内任意进行，并可以产生与各种传输路径的位速率匹配的运动图象数据。
另外，涉及速率变化的计算费用是低的，和位速率是不同的多个数据流可以迅速地产生。还有，当位速率不同的的数据流从开始时间准备时，其位速率是固定的，和它的数据大小变大。与这样的情形相比，在本实施例中，可以假定当数据大小稍微大于假定的最大位速率时就足够了。
如上所述，在本实施例中，提供有不对参考禁止区域进行运动补偿的运动补偿装置和产生具有共同的速率校正数据的运动图象数据的运动图象数据产生装置，以及选择对应位速率的速率校正数据的区域选择装置，因此，该装置无须解码运动图象数据就可以迅速进行速率控制，和不引起由于运动补偿误差产生的图象质量恶化。并且可以迅速产生位速率不同的多个数据流，从而，它的实际作用是大的。
在第二实施例中，下面将描述一种装置，在该装置中无须解码的预先编码的图象数据而进行速率控制，并重新产生运动图象数据，及该装置特征在于作为产生速率校正数据的选择方法，使用运动估算时间很难参考到的已知区域。
在本实施例中，运动图象编码装置与实施例1相同，通过它对先前编码的运动图象数据进行速率变化，并重新产生运动图象数据。
下面将描述运动图象产生装置，通过该运动图象产生装置，迅速进行速率控制的运动图象编码装置输入的运动图象数据是先前产生的。
在图3中，示出了运动图象数据产生装置的结构，通过该运动图象产生装置，产生了具有迅速进行速率控制的数据结构的运动图象数据。
在图3中，该运动图象产生装置具有连接到输入装置116的帧输入装置117；运动补偿装置；DCT转换装置103；量化装置104；可变长度编码装置105；进行解码的反向量化装置106；反向DCT转换装置107；和存储解码的帧数据的帧存储器108；连接到可变长度编码装置105并且选择产生速率校正数据的区域的速率校正区域选择装置310；参考禁止区域存储装置109；连接到DCT转换装置103的压缩帧缓冲器112；连接到压缩帧缓冲器112和进行量化的量化装置111；可变长度编码装置113；连接到可变长度编码装置105，参考禁止区域存储装置109，和和可变长度编码装置113，提供有组合运动图象数据的压缩帧数据组合装置114；及输出装置115。
下面将描述如此构成的运动图象编码装置的操作。
在图3中，除了速率校正选择装置310以外的操作完全相同于实施例1。在图3中，可变长度编码装置105对从量化装置104输入的量化的DCT系数以相同于实施例1中的方式进行可变长度编码，并将其输出到速率校正区域选择装置310和压缩帧数据组合装置114。这里，由可变长度编码装置105编码的数据称作正常的帧数据。
如上所述，当完成正常的帧数据的编码时，速率校正区域选择装置310从可变长度编码装置105中编码的帧数据选择速率校正区域，并且向参考禁止区域存储装置109和压缩帧缓冲器112输出图12中所示的表示选择区域的速率校正区域数据1201。这里，选择作为速率校正区域的区域是这样的区域，在下一帧运动图象预测时参考该区域的概率是低的，例如，作为帧的边缘部分，并且定义作为先前存储在速率校正区域选择装置310中的已知区域。
在本实施例中，禁止速率校正的区域在运动估算时被参考，并通过禁止该参考，由于运动估算时搜索区域小，存在有预测编码效率低的可能性。因此，在运动估算的时候，以选择作为速率校正区域的方式定义几乎不参考的区域。因此，甚至当在运动估算的时候搜索区域变小时，由于该区域最初被参考的可能性很小，实际的搜索区域不小，也就是可以防止预测编码效率的降低。压缩帧缓冲器112之后的操作与实施例1相同。
因此编码运动图象数据对于每帧来说具有这样的结构，压缩编码正常帧数据，表示区域存在速率校正数据的速率校正区域数据，包括多个校正数据的速率校正数据，该数据的位数是不同的，和具有速率校正数据的区域处在这样的状况，在运动估算的时候，不为下一帧所参考。
如上所述，当以与实施例1相同的方式输入编码的运动图象数据时，通过使用图2所示的运动图象编码装置，对应目标位速率的速率校正数据被选择，并且被正常帧数据中的数据所替代，通过产生新的运动图象数据，无须解码该数据，就可以迅速控制该速率。
另外，产生速率校正数据的区域定义为已知的区域，诸如在运动估算时几乎不参考的帧的边缘部分，对应速率变化的范围的用户可以确定该区域的尺寸，还有，速率校正数据的数目和每个区域中的量化值有助于位速率变化的宽度。
例如，当正常帧数据以Q＝24量化时(尺寸CIF，帧速率30fps)，位速率变为约100kbps。至此，几乎不进行运动估算的帧的大约总共40％比例的区域定义作为速率校正数据区域，以两种量化值Q＝16和31，对分别的量化数据进行量化，和产生具有对应约128kbps和32kbps的位速率的速率校正数据。当速率校正数据与具有这些速率校正数据的运动图象数据组合时，位速率可以在约128kbps和64kbps间任意变化，并可以迅速产生对应传输通路频带的波动的运动图象数据。还有，位速率变化计算的费用是低的，并且位速率不同的多个运动图象可以迅速地产生。
在本实施例中，与实施例1比较，位速率的变化的范围是小的，但是本发明特征在于，设定为参考禁止区域的区域具有难于预测的特征，所以可以防止编码效率的下降。另外，运动图象数据的大小大约是128kbps，几乎等于位速率变化的最大值。
如上所述，在本发明中，当提供了运动图象数据产生装置时，其中为在运动估算时所涉及可能性低的区域和与目标位速率匹配的控制装置产生位数目不同的多个速率校正数据，由于在运动估算时预测编码效率不降低，不引起因运动补偿误差产生的图象质量恶化，迅速进行速率控制，可以迅速产生多个位速率不同的运动图象数据，从而它的实际作用是大的。
在第三实施例中的运动图象数据产生装置将在下面描述，在该装置中，由先前编码的运动图象数据，不需要解码就可以进行速率控制，和重新产生运动图象数据，其中该装置具有用于运动图象，通过使用运动估算时的相关程度选择速率校正区域以产生位数目不同的多个数据的装置。
另外，在本实施例中，用先前编码的运动图象数据进行速率控制和重新产生运动图象数据的运动图象编码装置完全与实施例1中的相同。
在图4中示出了运动图象数据产生装置的结构。在图4中，运动图象数据产生装置401有连接到输入装置116上的帧输入装置117；运动补偿装置402；DCT转换装置103；量化装置104；可变长度编码装置105；解码用的反向量化装置106；反向DCT转换装置107；存储解码的帧数据的帧存储器108；连接到运动补偿装置402上的参考区域存储装置410；速率校正区域选择装置412；连接到DCT反向转换装置404的压缩帧缓冲器112；量化装置111；可变长度编码器113；速率校正区域选择装置412；连接到可变长度编码器113和可变长度编码器105上的压缩帧组合装置414，和输出装置115。
下面将描述如此构成的运动图象产生装置的操作。在运动图象编码装置401中，输入装置116，帧输入装置117，DCT转换装置103，量化装置104，可变长度编码装置105，反向量化装置106，反向DCT转换装置107，和产生正常帧数据的帧存储器108完全与实施例1中的相同。在这个结构中，当正常帧数据完全产生时，可变长度编码装置405向帧输入装置117输出帧编码结束信号。在这种方式中，当为一帧产生正常帧数据时，帧输出装置117向运动补偿装置402输出下一个未压缩的帧数据。
运动补偿装置402不对I帧进行运动补偿，并且输出到DCT转换装置103，在非I帧的情况下，使用前面的一帧和由帧输入装置输入的帧，进行运动补偿。另外，在前面的一帧，涉及到运动估算时的区域信息输出到参考区域存储器装置410。
图18示出了参考区域数据。该参考区域数据是这样的数据，其中存储了每个区域的相关程度。在该参考区域数据中，每个区域装置的相关程度意味着在该区域中的象素中，在运动估算时与下一帧相关的总象素数示于图18，它是这样界定的，区域的颜色越重，相关程度就越高。
参考区域存储器装置410存储由运动补偿装置402输入的参考区域，和输出表示参考区域的参考区域数据给速率校正选择装置412。
速率校正区域选择装置412，在输入的参考区域数据中，从低的参考区域开始按顺序选择预定数目的区域，作为速率校正数据区域。另外，该选择的区域是由帧输入装置当前输入的帧的前一帧中的速率校正区域，和输出表示选择的速率校正区域的速率校正区域数据1201到压缩帧缓冲器112和运动图象数据组合装置414。还有，压缩帧缓冲器112，量化装置111和可变长度编码装置113与实施例1相同。
运动图象数据组合装置414，如图13所示，组合由可变长度编码装置405输入的正常帧数据，由速率校正区域选择装置412输入的速率校正区域数据和由可变长度编码装置113输入的速率校正数据。在本实施例中，如实施例1和2中所示，在运动估算时由于不进行设定参考禁止区域，和不限定搜索区域，该搜索区不限定，和实施例1和2相比提高了预测编码作用。
如上所述，通过使用编码的运动图象作为输入，以及图2中运动图象编码装置，当如实施例1产生新的运动图象数据时，无须解码该数据就可以迅速进行速率控制。另外，由于选择了运动估算时参考程度低的区域作为具有速率校正数据的区域，甚至当在控制时选择该速率校正数据，也不引起运动补偿误差。还有，按参考程度较低区域的顺序选择的区域号码，可以由对应位速率变化范围的用户确定。并且，在各个区域中速率校正数据的数量和量化值有助于位速率变化的宽度。
例如，当以Q＝24进行正常帧数据的量化(大小CIF，帧速率30fps)，该位速率大约是100kbps。与此相反，参考程度低的和帧的面积比总共大约是30％的区域被定义作为速率校正数据区域，对于各个区域，以两个量化值Q＝16和32进行量化，和产生了具有对应128kbps和32kbps的位速率的速率校正数据。当速率校正数据与具有这个速率校正数据的运动图象数据组合时，可以在128kbps和64kbps间任意变化位速率，可以迅速产生对应传输通路的频带波动的运动图象数据。另外，根据该位速率变化的计算成本较低，并且位速率不同的多个运动图象数据可以迅速产生。另外运动图象数据的大小大约是128kbps，它几乎等于位速率变化的最大值。在这个例子中，位速率变化的范围小于实施例1，然而，由于不提供参考禁止区域，可以防止编码效率的下降，并且由于具有速率校正数据的区域是实际参考程度低的区域，所以伴随数据替代的运动补偿误差可以抑制到很小。
如上所述，在本实施例中，提供了具有运动估算时参考程度低的区域的速率校正数据的运动图象数据结构和选择速率校正数据和变化位速率的运动图象数据产生装置，因此由于运动估算的预测编码效率不降低和当速率校正数据使用时产生的运动补偿误差降低，和速率控制可以迅速进行，位速率不同的多个运动图象数据可以迅速地产生，所以它的实际作用是大的。
下面描述第四实施例，在第四实施例的无须解码先前编码的运动图象数据和进行速率控制以及产生新的运动图象数据的装置中，该装置的特征在于在整个帧上，输入的运动图象数据具有位数目稍微不同的速率校正数据。
在图5中，示出了运动图象数据产生装置的结构，用该装置对进行速率控制的运动图象编码装置的输入数据进行先前的编码。在图5中，运动图象产生装置501具有连接到输入装置116的帧输入装置117；运动补偿装置102；DCT转换装置103；量化装置104；可变长度编码装置105，进行解码的反向量化装置106；反向DCT转换装置107；和帧存储器108。另外，运动图象编码装置501还有连接到帧输入装置117的低通滤波器503；连接到低通滤波器503的运动补偿装置102；DCT转换装置103；量化装置104；连接到量化装置104和进行解码的反向量化装置106；反向DCT转换装置107，和帧存储器108。另外，还有连接到可变长度编码装置105的压缩帧数据组合装置504；和输出装置115。
下面将描述如此构成的运动图象数据产生装置的操作。在该运动图象数据产生装置501中，帧输入装置117，运动补偿装置102，DCT转换装置103，量化装置104，可变长度编码装置105，反向量化装置106，反向DCT转换装置107，和帧存储器108是以实施例1中相同方式产生正常帧数据的功能块。
再者，在图5中，低通滤波器503使得未压缩的帧通过低通滤波器，减少输入帧中的高频信息，并输出至运动补偿装置102。此后，使用DCT转换装置103，量化装置104，可变长度编码装置506，反向量化装置106，反向DCT转换装置107，和帧存储器108，以正常帧数据产生相同的方式，用相同的量化值，产生帧数据。在这方面，这里所产生的帧数据是通过低通滤波器503减少输入帧中的高频分量，编码产生的数据，该数据的位数少于正常帧数据，而且具有这样的结构，其中如图10所示，1帧中整个区域的校正数据，这个数据称之为速率校正数据。该可变长度编码装置506对速率校正数据，如图20中所示校正数据标题，进行计算，该并且输出速率校正数据和速率校正数据标题至运动图象组合装置20。该速率校正数据标题具有这样的结构，它在速率校正数据1帧中有多个区域，并且有每个区域中的位数。
压缩帧数据组合装置504将由可变长度编码装置105输入的正常帧数据，由可变长度编码装置506输入的速率校正数据标题和图19中所示的速率校正数据组合一起，并且将其输出到输出装置115。
如上所述，在本实施例中，具有速率校正数据的结构应用到1帧中的所有区域，并通过减少未压缩帧的高频分量，由可变长度编码装置105输出的正常帧各自的数据量，以及由可变长度编码装置106输出的速率校正数据稍微不同。
如上所述输入编码的运动图象数据，无须解码数据进行速率控制，和重新产生运动图象数据的运动图象编码装置的结构示于图21。在图21中，运动图象编码装置2101具有连接到输入装置202的数据分离装置207；位数量计算装置203；速率校正数据选择装置2104；位速率控制装置205；运动图象数据组合装置208；和与该装置连接的输出装置206。
下面将描述如此构成的运动图象编码装置2101的工作过程。在图21中，除去了速率校正数据选择装置2104的功能块的操作之外其余与实施例1完全相同。使用由位速率控制装置205输入的位速率误差，由数据分离装置207输入的速率校正数据标题，速率校正数据，和由数量计算装置203输入的正常帧数据，速率校正数据选择装置2104进行速率控制，以致减小位速率误差。图22中示出了速率的处理过程。
如图22所示，步骤1最初，判断位速率误差的正或负，当是负或者是零时，该程序结束，当该误差是正时，位将超出。步骤2涉及到速率校正数据标题，和选择位数量的最大区域。步骤3对于选择的区域，由速率校正数据替代正常帧数据。步骤4在数据替代后，更新位速率误差，和程序进行到速率误差判断处理过程。
重复上述的处理过程直到位速率误差变负，和当该处理过程完成时，帧数据输出到运动图象数据组合装置。该运动图象数据组合装置依次连接输入给每1帧的帧数据，和产生运动图象数据，并且输出到输出装置206。
在本实施例中，在速率校正数据通过低通滤波器后，由于以正常帧相同的量化值量化，与没有低通滤波编码的正常数据比较，只有很小的位数量差，和通过选择多个区域有速率校正数据，可以进行精确的速率控制。
由对应位速率变化区域范围的用户可以确定低通波器的频率特性。例如，在用于运动图象数据的具有这样特性的低通滤波器的情况下，通过该低通滤波器的编码数据是64kbps，在该运动图象数据中编码后的位速率是128kbps，可以产生这样的运动图象数据，其中精确的位速率变化可能在128kbps和64kbps之间的范围内。另外，由于位速率变化产生的计算成本是低的，因而，位速率不同的多个运动图象数据可以迅速地生成。
另外，由于速率校正数据和正常数据的图象质量差与如实施例1，2，和3通过变化量化值产生图象数据的情形比较是小的，因此本实施例的特征在于由于选择速率校正误差引起的运动补偿误差较小。
如上所述，在本实施例中，对于帧中的整个区域，提供了具有除去高频分量和编码产生的速率校正数据的运动图象数据结构和通过它选择对应目标位的速率校正数据和进行速率控制的运动图象编码装置，因此由于运动补偿误差的减小，可以迅速进行精确速率控制，和可以迅速产生位速率不同的多个运动图象数据，它的实际作用是大的。
在第五实施例中，下面将描述，在用它由先前编码的运动图象数据，无须解码该数据，进行速率控制，和重新产生运动图象数据的装置中，该装置的特征在于输入运动图象数据具有这样的结构，在该结构中可以在速率控制时减小位数目。该装置由运动图象数据产生装置和运动图象编码装置两个装置构成，在前者中运动图象数据是先前编码的，在后者中，进行速率控制和产生运动图象数据。
首先，将描述运动图象数据产生装置，产生具有通过运动图象数据产生装置在速率控制时有可能减小位数量的结构的运动图象数据，然后将描述运动图象编码装置，通过该装置进行速率控制，和产生运动图象数据。
在图6中，示出了运动图象数据产生装置的结构。在图6中，运动图象数据产生装置601包括连接到输入装置602的运动图象编码装置603；在由连续的任意数目的宏块构成的视频数据包数据中选择可划分位置的数据划分位置选择装置605；视频数据包终端数据产生装置606和存储速率校正信息的速率校正数据产生装置607；还提供有连接到视频数据包产生装置604和速率校正数据产生装置607的运动图象数据组合装置608，和与装置608连接的输出装置609。
下面将描述如上所述构成的运动图象数据产生装置601的操作过程。开始，输入装置602输入未压缩的图象到用于每一帧的运动图象编码装置603。然后，运动图象编码装置603进行运动补偿，DCT转换，量化，和对在由连续任意的宏数据块构成的视频数据包单元中的输入帧进行可变长度编码处理过程。另外，运动图象编码装置603在编码的时候存储每个视频数据包的最后宏块的开始位置，并产生视频数据包结构数据。该视频数据包结构数据示于图36中。在图36中，视频数据包结构数据记录视频数据包的总数，和各个视频数据包中的最后宏块的开始位置。
于是运动图象编码装置603输出编码的视频数据包到数据划分位置选择装置605和运动数据组合装置608，并且输出该视频数据包结构数据到数据划分位置选择装置605。这里，视频数据包可以有例如图10中所示的相同结构，但是，必须是每个视频数据包由水平方向上的连续宏数据块构成。
数据划分位置选择装置605选择在输入视频数据包的各个最后宏数据块在速率控制时可以删除的区域，并确定它的边界作为视频数据包划分位置。在每个视频数据包中连续宏数据块被依次接纳，和在每个宏数据块中，由于量化的DCT系数的可变长度标志从低频率端依次接纳，所以在视频数据包最后宏数据块中，后面的可变长度标记对应高频DCT系数。因此，如图2 3所示，视频数据包最后宏数据块在速率控制时被划分，和从每个视频数据包的最后宏数据块的后面选择删除随后数据的位置。也就是数据划分位置选择装置605使得在视频数据块的最后宏数据块的后面接纳的高频DCT系数是可以删除的区域。另外，由于与低频分量相比高频分量较小，即使当信息被删除时在对图象质量方面的影响中，通过删除高频分量，使得图象质量的恶化很小。然后数据划分位置选择装置605相继向速率校正数据产生装置607输出选择位置的信息以及它的位数量，并输出该选择的位置和每个视频数据包的信息到视频数据包终端数据产生装置606。
视频数据包终端数据产生装置606对由数据划分位置选择装置605选择位置开始的第一个可变长度标记计算，当该标记是视频数据包的最后一个时，如图24所示，可变长度标记产生视频数据包终端数据，当其是视频数据包最后一个时，将字节调整的添加位加到该视频数据包终端数据上，并输出到速率校正数据产生装置607。这里，为了调整字节成行，将填充位加到视频数据包终端数据上。随后速率校正数据产生装置607收集由数据划分位置选择装置605输入的划分位置，跟随在该位置后的位数量，由视频数据包终端数据产生装置606输入的视频数据包终端数据，作为速率校正数据，并输出到压缩帧数据组合装置608。图25表示了实施例5中的速率校正数据结构和速率校正数据标题结构。另外，图26表示了图2 5中所示速率校正数据的数据内容。该速率校正数据具有图25和26所示的结构，它是由速率校正数据标题，和多个视频数据包终端数据构成的，该速率校正数据标题有这样的结构，它包括1帧的视频数据包数，表示每一个视频数据包划分位置的位数，可以删除的在划分位置后面的位数，和视频数据包终端数据的位数。
最后，运动图象数据组合装置608依次将由视频数据包产生装置604输入的每1帧的正常视频数据包与由速率校正数据产生装置607输入的每1帧的速率校正数据组合在一起，调整和产生运动图象数据，并且输出到输出装置609。
接下来，将描述进行速率控制和从由运动图象数据产生装置产生的运动图象数据产生运动图象数据的运动图象编码装置。
图7中示出了运动图象编码装置的结构。在图7中，运动图象编码装置701具有连接到输入装置702的速率校正数据抽取装置703，数据压缩装置704，以及连接到输入装置702、速率校正数据抽取装置703和数据合成装置704的位速率控制装置705，并且具有连接到装置706D装置707。下面将描述上述结构的工作过程。运动图象编码装置701具有由输出装置609输出的作为输入的运动图象数据，并且进行速率变化和重新产生运动图象数据。
输入装置702将包括每1帧的视频数据包的编码的运动图象数据输入到速率校正数据抽取装置703，并且输入目标位速率到位速率控制装置705。该速率校正数据抽取装置703从输入的运动图象数据中抽取速率校正数据，并输出到位速率控制装置705，并输出不是速率校正数据的正常视频数据包到数据合成装置704。该数据合成装置704组合输入的视频数据包，并且合成帧数据，和输出产生的位数量到位速率控制装置705，及输出合成的帧数据到速率校正装置706。另外，位速率控制装置705，比较从输入装置702输入的目标位速率与从数据合成装置704输入的位数量，和计算位速率误差，满足目标位速率，当位数量超量时，涉及到由速率校正数据抽取装置703输入的速率校正数据中的速率校正数据标题，和从被删除了位的位置视频数据包选择和输出对应表示位置的速率校正数据标题的校正数据到速率校正装置706。这里，删除了位的视频数据包的选择方法如下依视频数据包之次序选择视频数据包，在该视频数据包中，删除速率校正数据标题中的位数是比较大的，并且该位被删除，和可以删除的位数不同于位速率误差，和通过加上终端数据的位数量，该位速率误差被更新，和选择处理过程连续进行直到目标位速率满意为止。
对于由位速率控制装置705输入的视频数据包，速率校正装置706删除容纳在速率校正数据标题中可以被删除的数据位位置后面的位，而且由速率控制装置706输入的视频数据包终端数据被插入取代它们，而且被速率校正的帧数据输出到输出装置707。该输出装置707合成从速率校正装置706输入的每1帧的运动图象数据，和产生运动图象数据。
如上所述，删除最终的视频数据包的宏数据块的后面位置的位，以便进行速率校正，该删除等效于除去视频数据包的最终宏数据块的高频分量，而且具有如同进行可变长度解码和去量化情况的相同的效果，并且位速被降低。另外，由于不必要进行解码处理过程，所以处理过程就变得轻松了，并且可以迅速进行速率控制。
还有，速率校正数据数等于视频数据包的数目，并且视频数据包的数目可以由对应位速率变化范围的用户设定。例如，在1个视频数据包的大小是整个帧的百分之几的情况下，这个数据包的规模是很小的，并且可以删除的后面部分的位数据量对应1个视频数据包的数据量的10％左右，当输入数据大约是64kbps时，可以产生其中的位速率可以在64kbps至56kbps范围内变化的数据。因此，为了应付网络的波动，可以迅速进行位速率的变化。另外，本实施例的特征在于速率校正数据可以比实施例1至4中的更小。
如上所述，在本实施例中，提供了它的后面部分的位可以删除的视频数据包的结构，具有速率校正数据的运动图象数据结构以及运动图象编码装置，在速率校正数据中，位置信息和终端数据被存储，运动图象编码装置涉及速率校正数据以及删除视频数据包的后面部分的位和进行速率控制，从而，无须解码运动图象数据就可以迅速进行速率控制，它的实际作用是大的。
在第六实施例中，下面将描述在运动图象编码装置中，由先前编码的运动图象数据，不需要解码该数据就可以进行速率控制，和重新产生运动图象数据，该运动图象编码装置的特征在于，输入的运动图象数据具有作为速率校正数据，具有I帧的结构，该帧是编码的图象，在该帧中它的位数不同于正常的帧。最初将描述运动图象数据产生装置，在该装置中，产生了作为运动图象编码装置的输入的运动图象数据，接下来，将描述运动图象编码装置，用该装置，由运动图象数据产生装置编码的运动图象数据，不需要解码该数据就可以进行速率控制。
在图8中，示出了产生运动图象编码装置的输入运动图象数据的运动图象数据产生装置的构成。该运动图象数据产生装置具有连接到输入装置802的帧输入装置808，P帧编码装置803，位数量缓冲器804，与位数量缓冲器804相连的I帧编码装置805，连接到P帧编码装置803和I帧编码装置805的压缩帧数据组合装置809，运动图象数据组合装置806，以及与809相连的输出装置807。
下面将描述如前所述构成的运动图象数据产生装置的工作过程。帧输入装置808输入未压缩的图象到P帧编码装置803和用于每1帧的I帧编码装置805。该P帧编码装置通过运动补偿，DCT转换，量化，和可变长度编码处理过程进行P帧编码，并且输出编码的帧到压缩帧数据组合装置809，并且输出编码帧的位数量到位数量缓冲器804。该位数量缓冲器804输出该输入的位数量到I帧编码装置805。
然后，I帧编码装置805通过DCT转换，量化和可变长度编码处理对由输入装置802输入的帧进行I帧编码，并且输出该编码帧到压缩帧数据组合装置809。这里，I帧编码装置805的详细结构示于图37。在图37中，I帧编码装置连接到输入装置3701，并且由DCT转换装置3702，DCT系数存储器3703，量化装置3704，可变长度编码装置3705，和量化值确定装置3706构成，和连接到输出装置3707。在图37中，输入装置3701对应图8中所示的帧输入装置808的输出，和位数量缓冲器804的输出，并且输入未压缩帧到DCT转换装置3702和输入位数量到量化值确定装置3706。该DCT转换装置3702DCT转换输入的未压缩数据，并输出到DCT系数存储器3703。该DCT系数存储器3703在内部存储器中存储输入的DCT系数，和输入DCT系数到量化装置3704。另外，当DCT系数信号从量化值确定装置3706输入时，存储在内部存储器中的DCT系数输出到量化装置3704。该量化装置3704使用从量化系数存储器输入的DCT系数和从量化值确定装置输入的量化值进行量化，并输出到可变长度编码装置3705。可变长度编码装置3705对输入的数据进行可变长度编码，并输出该可变长度编码数据和它的位数量到输出装置3707，并且输出该位数量到量化值确定装置3706。
量化值确定装置3706在内部存储器中存储从输入装置3701输入的位数量，并输出先前确定的量化值到量化装置3704。另外，当从可变长度编码装置3705输入位数量时，它将与存储在内部存储器中的位数量比较，并且确定下一个量化值，以使位数量变小，并将量化值输出到量化装置3704，及将该DCT系数输出信号输出到DCT系数存储器3703。另外，通过使用从可变长度编码装置3705输入的位数量，内部存储器被更新。
在上述处理重复由用户先前确定的速率校正数据块的次数后，量化值确定装置3706输出I帧编码结束信号到输出装置3707。
如前所述，I帧编码装置805产生多个I帧，它的位数不同于输入的位数，并且输出产生的I帧和它的位数到压缩帧数据组合装置。最后，压缩帧数据组合装置809依次组合来自P帧编码装置803的输入的P帧数据与由多个I帧数据产生的速率校正数据和从I帧编码装置805输入的它的位数，并且输出到输出装置807。图27是表示在第六实施例中的速率校正数据结构与速率校正数据标题结构。另外，在图28中示出了图27中所示速率校正数据的内容。该速率校正数据如图27和28所示，由速率校正数据标题和多个I帧构成。该速率校正数据标题具有这样的结构，其中的I帧号码与各自的位数量接纳在固定的长度上。
接下来在图9中示出了运动图象编码装置的结构，其中由运动图象数据产生装置801编码的运动图象数据作为输入，进行速率控制而不需要解码，并且重新产生运动图象数据。运动图象编码装置901具有这样的结构，它具有连接到输入装置902的速率校正数据抽取装置903，和连接到输入装置902和速率校正数据抽取装置的位速率控制装置905，连接到位速率控制装置905和速率校正数据抽取装置903的速率校正装置906，以及连接到装置906的输出装置907。
下面将描述上述构成的运动图象编码装置的操作过程。输入装置902输入由运动图象数据产生装置801编码的用于每1帧的运动图象数据给速率校正数据抽取装置903，并且输入该目标位速率到位速率控制装置905。该速率校正数据抽取装置903从输入的数据抽取速率校正数据，并输出到位速率控制装置905，并输出不是速率校正数据的该正常P帧数据到速率校正装置906，并且输出该P帧的位数量到位速率控制装置905。
随后，位速率控制装置905比较由输入装置902输入的目标位速率与由速率校正数据抽取装置903输入的位数量，并且当位速率满足时，前面的1帧不进行帧跳跃，其中不需要速率校正的控制信号输出到速率校正装置906。与此相反，当位速率不满足，或者前面的一帧被跳过去时，速率校正数据标题涉及速率校正数据中的I帧，满足目标位速率的I帧被选择，并且该被选择的I帧输出到速率校正装置706。另外，甚至当速率校正数据被使用，当位数量超出时，帧跳跃控制信号输出到速率校正装置906，并且不管帧跳跃控制信号是否被省略，该信息存储在内部存储器中。
还有，当不必要的速率校正控制信号从位速率控制装置905输入时，速率校正装置906输出从速率校正数据抽取装置903输入的帧给输出装置907，并且当I帧从位速率控制装置905输入时，该I帧输出到输出装置907，和当该帧跳跃控制信号从位速率控制装置905输入时，该帧跳跃控制信号输出到输出装置907。最后，输出装置集合从速率校正装置906输入的每1帧的帧数据，和帧跳跃控制信号，并且产生运动图象数据。在这一点上，当输入帧跳跃控制信号时，该帧被跳过去。
在本实施例中，由于输入的运动图象数据具有作为速率校正数据的I帧，甚至当在速率控制时进行帧跳跃时，使用I帧作为下一帧，所以可以防止运动补偿。
另外，I帧的个数是速率校正数据和当速率校正数据产生时的量化值，可以由对应位速率变化范围的用户设定。例如，当以量化值Q＝2和位速率约等于1.6mbps进行正常帧数据的量化时，使用Q＝6和Q＝29两个量化值进行量化，作为速率校正数据，并且产生约384kbps和64kbps的数据。当同时使用速率校正数据或帧跳跃时，可以产生运动图象数据，其中可能发生约从1.6mbps至约64kbps范围的任意位速率变化。
如前所述，在本实施例中，当运动图象数据产生装置具有产生它的位数是不同的I帧作为速率校正数据的装置时，并且该运动图象编码装置具有速率校正数据，选择I帧和进行速率控制，不要解码输入的运动图象数据就可以迅速进行速率控制的装置，另外可以防止当进行帧跳跃时产生的运动补偿误差，并且可以迅速产生位速率不同的运动图象数据，所以它的实际作用是大的。
在下面将描述的第七实施例中，用先前编码的运动图象数据，而不用解码该数据进行速率控制，并且重新产生运动图象数据，运动图象编码装置的特征在于运动图象数据帧中的部分区域被挖出，并且该帧的大小不同于输入的运动图象数据，和产生它的大小是挖出的帧大小的运动图象数据。当该大小是从输入图象数据的帧挖出的大小和产生运动图象时，由于位速率是不均匀的，该位的不规则取决于挖出的部分，并且为了挖出，必须位速率是变化的。
首先描述运动图象数据产生装置，通过它，产生作为运动图象编码装置的输入的运动图象数据，其次，描述运动图象编码装置，通过它，用先前编码的运动图象数据，不要解码该数据就可以进行速率控制，并且重新产生运动图象数据。
在图29中，示出了产生运动图象编码装置的输入运动图象数据的运动图象数据产生装置的结构。在图29中，运动图象编码装置2901具有，连接到输入装置116的帧输入装置117；运动补偿装置2902；DCT转换装置103；量化装置104；可变长度编码装置105；进行解码的反向量化装置106；反向DCT转换装置107；存储解码的帧的帧存储器108；连接到可变长度编码装置105，检测具有最大位数的区域的最大位数区域检测装置2910；参考禁止区域存储器装置109；连接到DCT转换装置103的压缩帧缓冲器112；连接到压缩帧缓冲器112进行量化的量化装置2911；可变长度编码装置2913；连接到可变长度编码装置105，参考禁止区域存储装置109和可变长度编码装置2913的组合运动图象数据的压缩帧数据组合装置2914；以及连接到装置2914的输出装置115。在图29中，除去压缩帧数据组合装置2914之外其它的运动补偿装置2902，最大位数区域检测装置2910，量化装置2911，可变长度编码装置2913功能块的工作过程完全相同于实施例1。
图30示出了挖取区域的示例。在图30中1帧划分成由实线包围的4个挖出区域。在本实施例中的由运动图象数据产生装置产生的运动图象数据不同于输入的帧大小，并且具有这样的结构，例如，由运动图象编码装置可以产生运动图象数据，以后将描述之，在图30中示出了任意挖去的帧尺寸。
在实施例1中，最大位数区域检测装置110依次从包括图10中所示的1帧中多个区域中的最大位数量范围选择多个区域，对于该选择的区域，通过由量化装置111改变量化值，产生了位数不同的速率校正数据。
与此相反，在本实施例中，最大位数区域检测装置2910，例如图30所示，在1帧中划分出多个挖出的区域(由实线标示的矩形区)，依次从挖出的有最大位数的区域选择多个区域，并且输出选择的每个区域到参考禁止区域存储装置109和压缩帧缓冲器112。在这一点上，图30中所示挖出的区域是个例子，并且挖出的区域可以任意地确定。另外，通过对由参考禁止区域存储装置和不同于目前编码的挖出区域位置的挖出区域输入的速率校正数据31中所示的参考禁止区域禁止运动估算，运动补偿装置2902进行运动补偿。例如，当对挖出区域1进行运动补偿时，在从帧存储器108输入一帧的前一帧中，只由除了该挖出区域1中的参考禁止区域外的区域进行运动估算。假定，当对挖出的区域外的部分进行运动估算时，由于当该区域是从一帧的内部挖出和产生运动图象数据时，没有参考图象用作运动补偿，可以不进行解码。如上所述，通过提供有限的运动估算，不仅使用整个帧，而且可以仅使用每个挖出的区域，对编码了的运动图象数据进行解码，通过从编码的运动图象数据挖出部分，可以构成运动图象数据。
量化装置2911改变量化值和使用DCT系数和由从压缩帧缓中器112输入的速率校正区域数据中所示的参考禁止区域选择每个区域的量化值进行量化，也就是由最大位数区域检测装置2910选择的，并且产生位数不同的数据，并分别输出到可变长度编码装置2913。
可变长度编码装置2913对位数不同的，由量化装置2911输入的每个参考禁止区域的DCT系数进行可变长度编码，并且产生作为标题信息的该具有分别的数据大小和区域号码的速率校正数据，和输出到压缩帧数据组合装置114。这里，由可变长度编码装置2913产生的数据称作速率校正数据。在图33中，示出了速率校正数据的结构。在图33中，速率校正数据标题3302具有如图34中所示这样的结构，每个区域中的校正数据的数目，帧中的区域数目，和分别的校正数据的位数被容纳作为固定的长度数据。于是，该速率校正数据具有这样的结构，校正数据继速率校正数据标题后面依次容纳其中。
压缩帧数据组合装置2914如图32所示，依次链接由可变长度编码装置105输入的正常帧数据，由参考禁止区域存储装置109输入的速率校正区域数据，和由可变长度编码装置2913输入的速率校正数据，并且产生压缩帧数据和输出到输出装置115。
其次，在图35中，示出了运动图象编码装置的结构，用它从由图29中的运动图象编码装置编码的运动图象数据挖出帧中的一部分而无须编码，并且在挖取之后进行位速率调整，和重新产生运动图象数据。
在图35中动图象编码装置3501具有这样的结构，它具有连接到输入装置3502的分离装置3507；位数计算装置2303；速率校正数据选择装置2404；位速率控制装置205；运动图象数据组合装置208；以及连接到装置208的输出装置206。下面将描述以上所述的动图象编码装置结构的操作过程。在图35中，除去输入装置3502和数据分离装置3507之外的功能块的工作过程完全相同于实施例1。
输入装置3502给数据分离装置207输入由运动图象数据产生装置2901压缩编码的运动图象数据，目标位速率，表示图30中所示1帧挖取方法的挖取区域信息和表示输入数据的哪部分被挖取的挖取区域号码。当该数据通过输入装置3502输入到数据分离装置3507时，目标位速率输入到每一帧的位速率控制装置205，并且依次从输入的运动图象数据的前端取出数据，对对应挖取区域号码的正常帧数据进行挖取和组合，并且输入到每1帧的位数量计算装置203，以及对应速率校正区域数据和挖取区域号码的速率校正数据输入到速率校正数据选择装置204。
一般说来，在对于先前编码的图象数据，帧的部分被挖出，产生帧大小不同的新的运动图象数据的情况下，当从这样的区域，即不是挖出先前编码的图象数据的区域，进行运动估算时，产生了可以无须解码的问题。这也就是为什么解码挖出区域所必须的参考数据不存在于挖出区域的内部的原因。也就是由于必须参考数据存在于挖出区域的外部，不可能简单地进行挖出，和为了挖出帧的部分和产生帧大小不同的新的运动图象数据，必须是一旦整个帧解码后，挖出区域的内部再次编码，由于存在这样的问题，加大了处理的负担。
与此相反，在本实施例中，当数据分离器3507从正常帧数据挖出挖出区域号码表示的区域数据和组合成大小不同的新的帧时，由于只在相同区域进行挖出区域的运动估算，就不存在由于挖出而产生运动补偿误差和不能解码的情况。因此，无须解码该数据就可以挖出和组合。另外，在挖出之后可以进行位速率变化，而不需要解码通过以示例1中的相同方式由调整目标位速率选择的速率校正数据。
另外，具有速率校正数据的区域数和每个区域的速率校正数据可以由对应位速率变化范围的用户设定，并具有如实施例1相同的效果，然而，在挖出之后进行的位速率调整仅需要少量的速率校正数据。例如，当挖出的区域是4个，正常帧数据的量化值Q＝8和位速率大约是256kbps时，作为速率校正数据，在各自的挖出区域中至少一个位数量大的区域被选择，和当产生其中使用量化值Q＝20进行量化的约96kbps的速率校正数据时，在挖出之后产生的位速率的调整就足够了。也就是当挖出的区域是4个，和位速率大约是256kbps时，挖出整个帧的1/4区域挖出帧的位速率必须是约64kbps，然而，在实际中，由于位数量的偏离，存在超过64kbps的区域。在本实施例中，产生速率校正数据，和使用在挖出区域时的速率校正数据，那个区域的位速率可以得到调整。
如上所述，在本实施例中，提供了运动图象数据结构，通过它帧中部分区域被挖出和组合的装置，和选择对应该位速率的速率校正数据的区域选择装置，上述的结构有这样的区域，该区域具有位数量不同于每个挖出的区域的速率校正数据，因此，不需要解码运动图象数据就可以迅速地挖出帧的部分，并且不产生图象质量的恶化，另外，可以进行位速率的调整，和可以产生它的帧大小不同的新的运动图象数据。并且它的实际效果是大的。
另外，在本实施例中，当在1帧中产生具有参考禁止区域和速率校正数据的区域的一个点变化到产生的每个挖出的区域，并且随后，对于运动补偿，在挖出区域的外面不进行运动估算，它表明可以得到这样的作用，不仅通过无须解码编码了的运动图象数据就可以进行速率控制，而且通过挖出无须解码该数据的帧的部分，可以产生帧大小不同的运动图象数据。对于实施例2至6，通过进行相同的变化，帧中的部分被挖出，可以产生运动图象数据。
另外，在实施例1至7中描述了运动图象数据产生装置在正常帧数据后面容纳速率校正数据，然而，该容纳的位置不限定于此。例如，当运动图象数据产生装置在运动图象数据中在用户数据开始标记后面容纳，可以使用正常的运动图象解码装置再现该数据。
这里，用户数据开始标记例如在作为MPEG编码标准说明书的ISO/IEC11172-2中所示，是表示区域开始的，该区域用于进一步扩展，并且正常的运动图象解码装置从用户数据开始标记跳过该数据至下一个开始标记，进行解码。因此，在实施例1至7中，可以使用正常的运动图象解码装置重现由运动图象数据产生装置产生的运动图象数据。
还有，在本实施例中，运动图象编码装置的输入数据和输出数据相互比较，或者位速率不同的的多个输出数据比较，当位安排局部不同时，它以这种方式构成，即该位安排容纳在用户数据中，或者不是正常帧数据的位置。
另外，当单色帧输入时，由运动图象数据产生装置输出的每一帧运动图象数据具有周期性的结构，在该非正常帧数据中，作为速率校正数据，包括完全相同的周期性的数据，该区域间的区域号码周期性地排布。由于完全相同的速率校正数据也包括在帧间，所以运动图象数据具有周期性的结构。
如上所述，首先，当运动图象数据具有这样的结构，该结构有位数不同的速率校正数据，对于在P帧中位数量大的区域中(帧间的预测编码图象)，在由先前编码的运动图象数据重新产生运动图象数据的情况下，通过选择对应目标位速率的位数量不同的数据，无须解码该运动图象数据就可以变化位速率，以及可以迅速地产生运动图象数据。
第二，在运动图象数据具有其中位数量不同的速率校正数据和可以进行速率变化的情况下，在预定的区域，在该区域中运动估算时涉及到来自下一帧的概率，在P帧中是低的(帧间预测编码图象)，通过在对应目标位速率的输入运动图象数据中，从它的位数量不同的速率校正数据选择一个数据，由先前编码的运动图象数据重新产生运动图象数据，无须解码运动图象数据就可以变化该位速率，并且可以迅速产生运动图象数据，另外，通过在涉及下一帧的概率低的区域中产生速率校正数据，可以减少由于运动估算中的检索区域限制的影响造成的预测编码效率的下降。
第三，在运动图象数据产生装置中，在下一帧运动估算时通过提供禁止参考的运动补偿装置给在具有进行编码的运动图象数据的P帧中的速率校正数据的区域，当从编码的运动图象数据重新产生运动图象数据时，甚至通过对对应目标位速率的位数量不同的速率校正数据的选择，可以防止由于数据变化引起的运动补偿误差。
第四，在运动图象数据产生装置中，当产生运动图象数据的P帧时，对于一个区域，其中，在运动估算时表示用作参考前一帧该区域的参考程度数据被记录，和通过使用该参考区域数据，该区域被选择作为参考程度低的区域，通过提供产生位数量不同的速率校正数据的装置，不降低帧间预测编码效率，可以进行运动图象编码。另外，当由先前编码的运动图象数据重新产生运动图象数据时，通过选择对应目标位速率的位数量不同的数据，无须解码该数据就可以迅速变化位速率，并且可以产生运动图象数据。
第五，在在运动图象数据产生装置中，通过提供产生数据的装置，在该装置中对原始图象进行帧间预测编码成为运动图象数据的P帧，还提供一个装置，用该装置除去原始图象中的高频分量，并通过进行帧间预测编码，产生位数量不同的速率校正数据，当无须解码编码的运动图象数据重新产生运动图象数据时，通过选择速率校正数据中的多个区域，其中高频分量被除去和被编码，并且位数量不同，可以迅速进行精确的位速率控制。
第六，在运动图象数据产生装置中，通过提供产生位置和运动图象数据的每个视频数据包的终端数据的装置，在该位置随后的位可以删除，在由编码的运动图象数据产生新的运动图象数据的运动图象编码装置中，通过选择对应目标位速率的视频数据包，和通过删除后面的位，可以迅速进行位速率控制。
第七，在运动图象数据产生装置中，在一种情况下，提供了一个装置，该装置产生位数量不同的多个I帧，作为速率校正数据，给运动图象数据的P帧，当由先前编码的运动图象数据重新产生运动图象数据时，通过选择或帧跳跃对应目标位速率的速率校正数据，可以迅速进行位速率控制，并且可以产生运动图象数据。
第八，在提供了一种结构的情况下，在该结构中为在帧中确定的至少一个挖出的区域提供一个区域，该区域同时具有在运动图象数据的P帧中(帧间预测编码图象)位数量不同的速率校正数据，并且运动图象数据产生装置具有一个运动补偿装置，在该装置中，不从不同的挖出区域和具有速率校正数据的区域进行运动估算，当从先前编码的运动图象数据挖出帧中的一部分和重新产生运动图象数据时，通过选择对应目标位速率的位数量不同的数据，无须解码运动图象数据就可以控制位速率，并且不产生运动补偿误差，以及可以迅速产生运动图象数据。
权利要求
1.一种输入未压缩运动图象数据的运动图象数据产生装置，包括量化装置；和速率校正数据产生装置，用来产生在位速率变化时使用的速率校正数据，从而产生具有除了正常运动图象数据流之外的速率校正数据的运动图象数据。
2.根据权利要求1的运动图象数据产生装置，其中所说的速率校正数据产生装置进行的量化不同于所述量化装置在运动图象数据的每一帧中位产生量比较大的区域进行的量化，并且产生速率可以变化的速率校正数据。
3.根据权利要求1的运动图象数据产生装置，其中所说的速率校正数据产生装置在运动图象数据的P帧中进行的量化不同该量化装置于在运动估算时间涉及的可查验性低的区域进行的量化，并且产生速率可以变化的速率校正数据。
4.根据权利要求1至3的运动图象数据产生装置，还包记录表示在运动图象数据的每帧中具有速率校正数据区域的参考禁止区域信息的装置；和进行运动补偿的运动补偿装置，其中，当执行对下一帧中的予测运动时，由参考禁止区域信息表示的区域是禁止参考的区域。
5.根据权利要求1的运动图象数据产生装置，还包括用来进行运动补偿和输出在运动估算时涉及到的参考区域信息的运动补偿装置；和其中所说的速率校正数据产生装置使用参考区域信息和选择在该帧中参考程度低的区域，从而产生相对于所选择的区域速率可以变化的速率校正数据。
6.根据权利要求1的运动图象数据产生装置，其中所说的速率校正数据产生装置从原来的图象删除高频分量，和进行与所说的量化装置相同的量化，并且产生速率能够变化的速率校正数据。
7.根据权利要求1的运动图象数据产生装置，其中所说的速率校正数据产生装置根据相应于宏数据块(例如16×16象素)的连续任意数目所构成的区域判定一个位置，在该位置后面的位被删除，以及产生在其中记录有位置信息的速率可以变化的速率校正数据。
8.根据权利要求1的运动图象数据产生装置，其中所说的速率校正数据产生装置产生其是该帧内部的编码图象的I帧，并且产生速率可以变化的速率校正数据。
9.一种输入未压缩运动图象数据的运动图象数据产生装置，包括量化装置；和用于产生速率校正数据的速率校正数据产生装置，该速率校正数据是当速率变化时使用的数据；和用来判定通过挖出可以解码的帧部分的挖出区域，从而产生具有除正常运动图象数据流之外的速率校正数据的装置。
10.根据权利要求9的运动图象数据产生装置，其中的速率校正数据产生装置产生到每一帧分别挖出的区域中的至少一个区域的速率可以变化的速率校正数据。
11.根据权利要求9的运动图象数据产生装置，还包括一个进行运动补偿的运动补偿装置，在该运动补偿装置中禁止涉及在前一帧具有速率校正数据的区域和不同的挖出区域进行运动估算。
12.一种用来产生和输出运动图象数据的运动图象编码装置，该运动图象数据的位速率与在先压缩编码的输入运动图象数据是不同的，该运动图象编码装置包括位速率校正装置，通过该装置参考包含在输入运动图象数据中的速率校正数据改变位速率，从而输入的运动图象数据无须解码就可以变化位速率。
13.根据权利要求12的运动图象编码装置，其中所说的速率校正装置使用包括在输入的运动图象数据中的位数量不同的速率校正数据，和通过替代对应目标位速率的先前编码的运动图象数据，进行位速率变化。
14.根据权利要求12的运动图象编码装置，其中所说的速率校正装置选择一个区域，在该区域中包括在对应目标位速率的输入运动图象数据中的速率校正数据中表示的位可以删除，通过删除该位，进行位速率的变化。
全文摘要
当运动图象数据位速率变化,和重新产生运动图象数据时,无须解码运动图象数据,迅速实现运动图象数据的产生,和不产生由于运动补偿误差引起的图象质量的恶化。未压缩运动图象数据输入到量化装置和产生速率变化时所使用的速率校正数据的速率校正数据产生装置,并且产生具有除了正常运动图象数据流之外的运动图象数据。从而通过选择和替代在输入的运动图象数据中的位数不同的速率校正数据,通过调整目标位速率,无须解码运动图象数据就可以变化位速率和迅速产生运动图象数据。
文档编号H04N7/26GK1343075SQ0112593
公开日2002年4月3日 申请日期2001年7月6日 优先权日2000年7月7日
发明者本田义雅, 小宫大作, 上野山努 申请人:松下电器产业株式会社