专利名称：图像编码方法、图像编码装置及图像记录载体的制作方法
技术领域：
本发明是关于图像编码方法、图像编码装置及图像记录载体，特别是关于在将运动图像的图像信号存储到光盘、磁盘及磁带等图像记录载体上进行编码、记录的系统，及经由传送通道传送运动图像的图像信号的系统中使用的图像编码方法、装置及记录载体。
历来，在例如像电视会议系统、电视电话系统等的远距离传送移动图像的图像信号的系统和将移动图像的图像信号存贮到光盘、磁盘及磁带等图像记录载体上并将所存贮的运动图像的图像信号进行再生的系统中，为了有效地利用传送通道(或图像记录载体)，利用图像信号所具有的行相关和帧相关来对图像信号进行所谓的高效率编码，减少空间轴方向和时间轴方向的冗余度，只传送有意义的信息，以此来提高传送效率。
例如在空间轴方向的编码处理(下面称之为帧内编码处理)中，如图7A中所示，例如，使用图像信号的行相关，在时刻t1、t2、t3…传送构成运动图像的各图像PC1、PC2、PC3…时，对应该传送处理的图像数据，通过例如在同一扫描行内进行一维编码，或者例如将图像划分为许多数据块，对各数据块的图像数据进行二维编码，来进行数据压缩以提高传送效率。
另外，在时间轴方向的编码处理(下面称之为帧间编码处理)中，利用图像信号的帧相关进行例如所谓的预测编码，亦即如图7B中所示，顺次求邻接的图像PC1与PC2、PC2与PC3…之间对应的每一像素的图像数据的差分(所谓的预测误差)即图像数据PC12、PC23…，通过传送这些图像数据PC12、PC23…进行数据压缩，提高传送效率。
这样，与传送图像PC1、PC2、PC3…的全部图像数据的情况相比，用很少的数据量便可传送图像信号。
在上述帧间编码处理的预测编码中，为了进一步提高效率，例如可以采用以宏模块为单位进行移动补偿预测。就是说，例如画面中央的人物移动时，通过检测画面中运动物体的运动，只修正这一运动部分之前的图像中用于预测的图像数据的位置、进行预测编码，便可提高编码效率。但是，即使这样作，对于物体移动后出现的部分，还是必须发送许多数据。因此，通过不仅对上述前向进行移动补偿预测，而且对后向或者将两者组合进行移动补偿预测，便可进一步提高编码效率。
具体说，如图8A所示那样，在要传送的运动图像的图像信号VD的第0、第1、第2、第3…帧的帧数据F0、F1、F2、F3…的宏模块中，在帧之间顺序有分别用动向量X0、X1、X2、X3…表示的图像的变化时，发送端的装置将每隔指定帧数(例如1帧)的帧即第2、第4、…帧指定为内插帧，并对这些内插帧，如图8B所示那样，利用指定的内插帧处理生成传送内插帧数据F2X、F4X…。对于其余的非内插帧，对帧数据F1、F3…进行指定的编码处理，生成传送非内插帧数据F1X、F3X…。
例如，分别以宏模块为单位求经过移动补偿的帧数据F3与帧数据F2之间的差分SP2(预测误差)、经过移动补偿的帧数据F1与帧数据F2间的差分SP3、对经过移动补偿的帧数据F1、F3进行内插处理所得的帧数据与帧数据F2间的差分SP4，并将帧数据F2的宏模块SP1与这些差分进行比较。并且，将这些数据SP1～SP4中数据产生量最小的数据作为以宏模块为单位的传送内插数据F2X，以后，按照同样的方法生成与各内插帧对应的传送内插数据F4X…。另外，对非内插帧的帧数据F1、F3…分别进行例如DCT变换处理和可变长编码处理等，生成传送非内插帧数据F1X、F3X…。
并且，将这些传送非内插帧数据F1X、F3X…和传送内插帧数据F2X、F4X…与移动矢量X0、X1、X3…的数据一起作为传送数据DATA传送给接收端的装置。
另一方面，接收端的装置对所传送来的传送数据DATA(传送非内插帧数据F1X、F3X…、传送内插数据F2X、F4X…、移动矢量X0、X1、X3…的数据)进行与发送端编码处理对应的译码处理，对帧数据F0、F1、F2、F3…进行再生。结果，通过不仅对前向进行移动补偿预测，而且对后向或者将两者组合的进行移动补偿预测，便可进一步提高编码效率。
下面，说明具有上述功能的图像编码装置及图像译码装置。
如图9所示，图像编码装置60具有将输入图像信号VD分离为亮度信号和色差信号的预处理电路61、将由该预处理电路61输出的亮度信号、色差信号分别变换为数字信号的模/数(以后，简称为A/D)变换电路62a、62b、存储A/D变换电路62a、62b输出的亮度数据、色差数据(下面统称为图像数据)的帧存储器组63、由帧存储器组63按块(字组)格式读出图像数据的格式变换电路64和对由格式变换电路64输出的图像数据块进行高效编码处理的编码器65。
并且，预处理电路61将输入图像信号VD分离成亮度信号和色差信号;A/D变换电路62a、62b分别将亮度信号、色差信号变换成由8位构成的亮度数据、色差数据;帧存储器组63存储这些亮度数据和色差数据。
格式变换电路64按照块格式读出存放在帧存储器组63中的图像数据(亮度数据和色差数据);编码器65利用指定的高效编码对这样读出的图像数据进行编码处理，输出位流。
并且，这种位流通过传送通道及光盘、磁盘、磁带等图像记录载体所组成的传送媒体70，传送给图像译码装置80。
如上述图9所示，图像译码装置80具有与上述编码器65相对应的译码器81、将由该译码器81再生的图像数据变换成帧格式的格式变换电路82、存放该格式变换电路82输出的图像数据的帧存储器组83、将由该帧存储器组83读出的亮度数据、色差数据变换成模拟信号的D/A变换电路84a、84b和将该D/A变换电路84a、84b输出的亮度信号、色差信号混合后生成输出图像信号的后处理电路85。
并且，译码器81通过进行与编码器65的高效编码相对应的译码对位流进行译码处理，再生块格式图像数据，格式变换电路82将此图像数据变换为帧格式存储到帧存储器组83内。
D/A变换电路84a、84b将由帧存储器组83读出的亮度数据、色差数据分别变换成亮度信号和色差信号;后处理电路85则将这些亮度信号和色差信号予以混合生成输出图像信号。
具体地说，预处理电路61及A/D变换电路62a、62b，在如上述将亮度信号及色差信号变换成数字信号的同时，对于色差信号为了使上下左右方向的像素数目成为亮度信号的1/2而削减数据量后，将进行时间轴多重化处理而得到的亮度数据与色差数据传送给帧存储器组63。
并且，由帧存储器组63像上述那样按块格式读出亮度数据及色差数据。即，例如1帧的图像数据，如
图10A所示那样，分割成N片;各片则如图10B所示作成包含M个宏模块;各宏模块如图10C所示是由8×8个像素组成的块单位，包括上下左右相邻的4个亮度块的亮度数据Y1、Y2、Y3、Y4以及与这4个亮度块对应的范围内的由8×8个像素组成的色差块的色差数据Cb、Cr。并且，由帧存储器组63读出亮度数据和色差数据，以使在数据片内以宏模块为单位图像数据是连续的、在宏模块内按Y1、Y2、Y3、Y4、Cb、Cr的顺序连续。这样，按块格式读出的图像数据输给编码器65。
编码器65，如图11所示，具有移动矢量检测电路101，此移动矢量检测电路101以宏模块为单位检测按块格式供给的图像数据的移动矢量。亦即，移动矢量检测电路101，利用帧存储器组63中所存放的前向原图像和/或后向原图像，以宏模块为单元检测当前参考图像的移动矢量。此时，移动矢量的检测，将以宏模块为单位的帧间差分的绝对值之和为最小的作为其移动矢量。并且，将所检测的移动矢量传送给移动补偿电路113等，将以宏模块为单位的帧间差分的绝对值之和输给帧内/前向/后向/双向预测判断电路103。
此帧内/前向/后向/双向预测判断电路103根据该值决定参考块的预测模式，并根据所决定的预测模式控制预测编码电路104以使以宏模块为单位进行帧内/前向/后向/双向预测的切换。预测编码电路104具有加法电路104a、104b、104c及转换开关104d，采用帧内编码模式时，选择输入图像数据本身，采用前向/后向/双向预测模式时，选择输入图像数据与各预测图像的各像素的差分(后面称差分数据)，并将选择的数据输给DCT电路105。
DCT电路105利用图像信号的二维相关性，以数据块为单位时输入图像数据或差分数据进行DCT变换，并将所得到的系数数据输给量化电路106。
量化电路106利用对每一宏模块或数据片所确定的量化步长(量化尺度)对系数数据进行量化，将所得的量化数据输给可变长编码(下面简称为VLC)电路107及反量化电路108。这里，该量化所采用的量化步长取决于利用对后述的发送缓冲存储器109的缓冲余量进行反馈而发送缓冲存储器109不会溢出的值，该量化步长也输送给VLC电路107和反量化电路108。
VLC电路107将量化数据与量化步长、预测模式、移动矢量一起进行可变长编码，并作为传送数据供给发送缓冲存储器109。
发送缓冲存储器109暂时存储此传送数据后，通过以一定的位速率读出，使传送数据平滑后，作为位流输出，同时，按照保留在存储器中的残余数据量将宏模块单位的量化控制信号反馈给量化电路106，以此来控制量化步长。这样，发送缓冲存储器109便对作为位流而产生的数据量进行调整，以维持存储器中保存适当的余留数据(不致产生上溢或下溢的数据量)。例如，若发送缓冲存储器109的数据余留量增大到允许的上限时，发送缓冲存储器109就通过利用量化控制信号增大量化电路106的量化步长，来降低量化数据的数据量。另一方面，当发送缓冲存储器109的数据余量减少至允许的下限时，发送缓冲存储器109就通过利用量化控制信号减小量化电路106的量化步长，来增大量化数据的数据量。
这样，从缓冲存储器109输出器位流以一定的位速率，如上述那样通过传送通路及由光盘、磁盘、磁带等图像记录载体组成的传送媒体70，传送给图像译码装置80。
另一方面，反量化电路108将由量化电路106提供的量化数据进行反量化处理后，再生与上述DCT电路105输出对应的系数数据(量化失真进行加法运算)，并将此系数数据输送到反离散余弦变换(IDCT)电路110。
IDCT电路110将此系数数据进行IDCT变换后采用帧内编码模式时，再生与输入图像数据对应的图像数据，采用前向/后向/双向预测模式时，再生与预测编码电路104的输出对应的差分数据，并输给加法电路111。
采用前向/后向/双向预测模式时，从后述移动补偿电路113输出的经过移动补偿处理的预测图像数据输给该加法电路111，通过将此经过移动补偿处理的预测图像数据与差分数据相加，再生与输入图像数据对应的图像数据。
并且，将这样再生的图像数据储存到帧存储器112内，亦即，反量化电路108～加法电路111组成局部译码电路，根据预测模式，将量化电路106输出的量化数据进行局部译码，然后，将所得到的译码图像作为前向预测图像或后向预测图像置入帧存储器112内。帧存储器112由多个帧存储器构成，进行帧存储器的组合转换，按照编码的图像，单一的帧作为前向预测图像数据输出，或者作为后向预测图像数据输出。另外，在双向预测时，将前向预测图像数据和后向预测图像数据例如求平均后输出。这些预测图像数据，是与经后述的译码器81再生的图像完全相同的图像，此后的图像处理就根据这一预测图像进行前向/后向/双向预测编码处理。
亦即，由帧存储器112读出的图像数据传送给移动补偿电路113，此移动补偿电路113根据移动矢量对预测图像数据进行移动补偿后，将经过移动补偿的预测图像数据输给预测编码电路104和加法电路111。
下面，对译码器81给以说明。
位流通过传送媒体70输入译码器81。此位流如图12所示，通过接收缓冲器201输入可变长译码(IVLC)电路202。IVLC电路202根据该位流再生量化数据、移动矢量、预测模式、量化步长等。这些量化数据及量化步长输给反量化电路203，移动矢量输给移动补偿电路207，预测模式输给加法电路205。
反量化电路203～加法电路205的动作与编码器61的局部译码电路相同;帧存储器组206、移动补偿电路207的动作分别与译码器61的帧存储器112、动补偿电路113相同;根据量化数据、移动矢量、预测模式、量化步长等进行译码处理。
如上所述，在已有的装置中，编码器65产生的位流的编码位速率是与传送媒体70的传送速率一齐调整为恒定的，用这种限制控制数据的产生量即编码器65的量化电路106的量化步长。换言之，例如在图案复杂的图像连续时，就通过增大量化步长来抑制数据产生量，相反，在简单图案的图像连续时，就减小量化步长使数据产生量增加，保持固定的速率，以使不致引起缓冲存储器109发生上溢或下溢。
因而在已有的装置中，在复杂的图像连续时，量化步长增大，图像质量便降低;当简单图像连续时，量化步长减小，不能从总体上得到均匀的图像质量。
而且，将位流存储到数据容量有限的图像记录载体中时，为避免使图案复杂的图像的质量降低得太大，必须对全体采用高速率的固定速率，以使不会损坏这些复杂图案的图像质量。这样，便减少记录时间。
为解决上述问题，本发明的第1图像编码方法的特征在于至少将输入图像信号的一部分进行编码，生成第一编码数据，根据该第一编码数据每隔规定时间的数据量及可利用的数据总量求得每一上述规定时间的编码率，按照此编码率在每一上述规定时间内对上述输入图像信号进行编码，生成第二编码数据。
本发明的第二图像编码方法的特征在于在上述第一图像编码方法中，至少将上述输入图像信号的一部分以一定的量化步长加以量化，生成上述第一编码数据。
本发明的第三图像编码方法的特征在于在上述第一图像编码方法中，将上述可利用的数据总量根据每一上述规定时间的数据量按比例分配，求上述每一规定时间的编码率。
本发明的第四图像编码方法的特征在于至少对输入图像信号的一部分进行规定的预测编码和/或规定的变换编码，生成第一系数数据，对此第一系数数据以一定的量化步长进行量化，生成第一量化数据，对此第一量化数据进行可变长编码，生成第一位流，根据该第一位流的数据量及可利用的数据总量求每一规定时间的编码率，对上述输入图像信号进行上述规定的预测编码和/或上述规定的变换编码，生成第二系数数据，利用根据上述每一规定时间的编码率的量化步长对上述第二系数数据进行量化，生成第二量化数据，将此第二量化数据进行可变长编码，生成第二位流。
本发明的第五图像编码方法的特征在于在上述第四图像编码方法中，根据上述第一位流中每一帧的数据量及可利用的数据总量对上述每一帧求上述编码率。
本发明的第六图像编码方法的特征在于在上述第四图像编码方法中，根据上述位流中每一由多个帧构成的GOP的至少一部分数据量及可利用的数据总量对上述每一GOP求上述编码率。
本发明的第七图像编码方法的特征在于在上述第六图像编码方法中，根据与上述GOP中的图像内编码图像及前向预测编码图像对应的数据量，求上述每一GOP的编码率。
本发明的第八图像编码方法的特征在于在上述第四图像编码方法中，将上述可利用的数据总量根据每一规定时间的上述第一位流的数据量按比例分配，求上述每一规定时间的编码率。
本发明的第九图像编码方法的特征在于对输入图像信号的每一规定的图像单位求编码的难易度，根据此编码难易度及可利用的数据总量，对上述规定的图像单位设定编码率，和用以使上述各图像单位的编码率与上述设定的每一图像单位的编码一致而对上述输入图像信号进行编码。
本发明的第十图像编码方法的特征在于在上述第九图像编码方法中，上述规定的图像单位为一帧。
本发明的第十一图像编码方法的特征在于在上述第九图像编码方法中，上述规定的图像单位为由多个帧所组成的GOP。
本发明的第十二图像编码方法的特征在于在上述第九图像编码方法中，对上述输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码，生成系数数据，对该系数数据以一定的量化步长进行量化，求上述编码的难易度。
本发明的第一图像编码装置的特征在于具有对输入图像信号的至少一部分进行量化生成第一编码数据的第一编码器、根据第一编码器输出的第一编码数据的每一规定时间的数据量及可利用的数据总量求上述每一规定时间的编码率的编码控制器、根据该编码控制器输出的每一规定时间的编码率在上述每一规定时间内对上述输入图像信号进行编码以生成第二编码数据的第二编码器。
本发明的第二图像编码装置的特征在于在上述第一图像编码装置中，上述第一编码器设有对上述输入图像信号的至少一部分以一定的量化步长进行量化的量化装置。
本发明的第三图像编码装置的特征在于在上述第一图像编码器中，上述编码控制器将上述可利用的数据总量根据上述每一规定时间的数据量按比例分配，求上述每一规定时间的编码率。
本发明的第四图像编码装置的特征在于设有对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码生成第一系数数据的第一编码器、对该第一编码器输出的第一系数数据以一定的量化步长进行量化生成第一量化数据的第一量化装置、对该第一量化装置输出的量化数据进行可变长编码生成第一位流的第一可变长编码器、根据此第一可变长编码器输出的第一位流的数据量及可利用的数据总量求每一规定时间的编码率的编码控制器、对上述输入图像信号进行上述规定的预测编码和/或上述规定的变换编码生成第二系数数据的第二编码器、以根据上述编码控制器输出的每一规定时间的编码率所决定的量化步长将上述第二编码器输出的第二系数数据加以量化生成第二量化数据的第二量化装置和对该第二量化装置输出的第二量化数据进行可变长编码生成第二位流的第二可变长编码器。
本发明的第五图像编码装置的特征在于在上述第四图像编码装置中，上述编码控制器根据上述第一位流中每一帧的数据量及可利用的数据总量求上述一帧的上述编码率。
本发明的第六图像编码装置的特征在于在上述第四图像编码装置中，上述编码控制器根据由上述第一位流中由多个帧构成的每一GOP的至少一部分的数据量及可利用的数据总量求上述每一GOP的上述编码率。
本发明的第七图像编码装置的特征在于在上述第六图像编码装置中，上述编码控制器根据与上述GOP中的图像内编码图像及前向预测编码图像的数据量求每一上述GOP的编码率。
本发明的第八图像编码装置的特征在于在上述第四图像编码装置中，上述编码控制器将上述可利用的数据总量根据每一规定时间的上述第一位流的数据量按比例分配，求上述每一规定时间的编码率。
本发明的第九图像编码装置的特征在于设有求输入图像信号的规定的每一图像单位的编码难易度的难易度计算装置、根据该难易度计算装置输出的编码难易度及可利用的数据总量设定上述规定的每一图像单位的编码率的编码率设定装置和用以使上述各图像单位的编码率与上述编码率设定装置设定的每一图像单位的编码率相一致而对上述输入图像信号进行编码的编码器。
本发明的第十图像编码装置的特征在于在上述第九图像编码装置中，上述难易度计算装置求每一帧的上述编码难易度。
本发明的第十一图像编码装置的特征在于在上述第九图像编码装置中，上述难易度计算装置对由多个帧所组成的每一GOP求上述编码难易度。
本发明的第十二图像编码装置的特征在于在上述第九图像编码装置中，上述难易度计算装置对上述输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码，生成系数数据，同时，对该系数数据以一定的量化步长进行量化，求上述编码难易度。
本发明的第一图像记录载体的特征在于对输入图像信号的至少一部分进行编码，生成第一编码数据，根据此第一编码数据的每一规定时间的数据量及可利用的数据总量，求上述规定时间的编码率，记录按照此编码率在上述每一规定时间对上述输入图像信号进行编码而得到的第二位流。
本发明的第二图像记录载体的特征在于对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码，生成第一系数数据，以一定的量化步长对该第一系数数据进行量化，生成第一量化数据，对此第一量化数据进行可变长编码，生成第一位流，根据此第一位流的数据量及可利用的数据总量求每一规定时间的编码率，对上述输入图像信号进行上述规定的预测编码和/或上述规定的变换编码，生成第二系数数据，按照上述每一规定时间的编码率所确定的量化步长对上述第二系数数据进行量化，生成第二量化数据，记录将该第二量化数据进行可变长编码而得到的第二位流。
本发明的第三图像记录载体的特征在于求输入图像信号的规定的每一图像单位编码的难易度，根据此编码难易度及可利用的数据总量设定上述规定的每一图像单位的编码率，记录用以使上述各图像单位的编码率与上述的每一图像单位的编码率一致而对上述输入图像信号进行编码所得的编码数据。
并且，按照本发明的第一图像编码方法，根据将输入图像信号的至少一部分进行量化所得到的第一编码数据的每一规定时间的数据量及可利用的数据总量求每一规定时间的编码率，并根据此编码率在每一规定时间对输入图像信号进行编码，生成第二编码数据。
按照本发明的第二图像编码方法，在上述第一图像编码方法中，通过对输入图像信号的至少一部分以一定的量化步长进行量化，生成上述第一编码数据，求上述编码率，并根据此编码率在每一规定时间对输入图像信号进行编码，生成第二编码数据。
按照本发明的第三图像编码方法，在上述第一图像编码方法中，将上述可利用的数据总量根据上述每一规定时间的数据量按比例分配，求上述每一规定时间的编码率，按此编码率在每一规定时间对输入图像信号进行编码，生成第二编码数据。
按照本发明的第四图像编码方法，对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码处理、以一定的量化步长进行量化处理及可变长编码处理，生成第一位流，根据此第一位流的数据量及可利用的数据总量求每一规定时间的编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据第一规定时间编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第五图像编码方法，在上述第四图像编码方法中，根据上述第一位流中每一帧的数据量及可利用的数据总量求每一帧的上述编码率。并且对输入图像信号进行规定的预测编码处理和/或规定的变换编码处理和根据每一帧的编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第六图像编码方法，在上述第四图像编码方法中，根据由上述第一位流中多个帧所组成的每一GOP的至少一部分的数据量及可利用的数据总量求每一GOP的上述编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一GOP编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第七图像编码方法，在上述第六图像编码方法中，根据与上述GOP中的图像内编码图像及前向预测编码图像对应的数据量，求上述每一GOP的编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一GOP编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第八图像编码方法，在上述第四图像编码方法中，将上述可利用的数据总量根据每一规定时间的上述第一位流的数据量按比例分配，求上述每一规定时间的编码率。并且对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一规定时间的编码率决定的量化步长进行量化处理及可变长量化处理，生成第二位流。
按照本发明第九图像编码方法，对输入图像信号的规定的每一图像单位求编码的难易度，根据此编码难易度及可利用的数据总量设定规定的每一图像单位的编码率。并且，对输入图像信号进行编码以使各图像单位的编码率与设定的每一图像单位的编码率一致。
按照本发明的第十图像编码方法，在上述第九图像编码方法中，对输入图像信号的每帧求编码的难易度，对每帧求上述编码率。并且对输入图像信号进行编码以使各帧的编码率与设定的每一帧的编码率一致。
按照本发明的第十一图像编码方法，在上述第九图像编码方法中，对输入图像信号的每一GOP求编码的难易度，对每一GOP求上述编码率。并且，对输入图像信号进行编码，以使GOP的编码率与设定的每一GOP的编码率相一致。
按照本发明的第十二图像编码方法，在上述第九图像编码方法中，通过对将输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码而得到的系数数据以一定的量化步长进行量化，来求上述编码的难易度。并且，对输入图像数据进行编码，以使各图像单位的编码率与设定的每一图像单位的编码率相一致。
按照本发明的第一图像编码装置，根据将输入图像信号的至少一部分进行编码而得到的第一编码数据的每一规定时间的数据量及可利用的数据总量求每一规定时间的编码率，并根据此编码率在每一规定时间对输入图像信号进行编码，生成第二编码数据。
按照本发明的第二图像编码装置，在上述第一图像编码装置中，以一定的量化步长对输入图像信号的至少一部分进行量化，生成上述第一编码数据，求上述编码率，并根据此编码率在每一规定时间对输入图像信号进行编码，生成第二编码数据。
按照本发明的第三图像编码装置，在上述第一图像编码装置中，将上述可利用的数据总量根据上述每一规定时间的数据量按比例分配，求上述每一规定时间的编码率，并根据此编码率在每一规定时间对输入图像信号进行编码，生成第二编码数据。
按照本发明的第四图像编码装置，对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码处理和按一定的量化步长进行量化处理及可变长编码处理，生成第一位流，并根据此第一位流的数据量及可利用的数据总量求每一规定时间的编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一规定时间的编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第五图像编码装置，在上述第四图像编码装置中，根据上述第一位流中每一帧的数据量及可利用的数据总量求每一帧的上述编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一帧的编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第六图像编码装置，在上述第四图像编码装置中，根据上述第一位流中多个帧所组成的每一GOP的至少一部分的数据量及可利用的数据总量求每一GOP的上述编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一GOP的编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第七图像编码装置，在上述第六图像编码装置中，根据与上述GOP中的图像内编码图像及前向预测编码图像对应的数据量，求上述每一GOP的编码率。并且对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一GOP的编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第八图像编码装置，在上述第四图像编码装置中，将上述可利用的数据总量根据每一规定时间的上述第一位流的数据量按比例分配，求上述每一规定时间的编码率。并且，对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一规定时间的编码率决定的量化步长进行量化处理及可变长编码处理，生成第二位流。
按照本发明的第九图像编码装置，对输入图像信号的每一规定图像单位求编码的难易度，根据此编码的难易度及可利用的数据总量设定每一规定的图像单位的编码率。并且，对输入图像信号进行编码，以使各图像单位的编码率与设定每一图像单位的编码率相一致。
按照本发明的第十图像编码装置，在上述第九图像编码装置中，对输入图像信号的每一帧求编码的难易度，对每一帧求上述编码率。并且，对输入视频信号进行编码，以使各帧的编码率与设定的每一帧的编码率相一致。
按照本发明的第十一图像编码装置，在上述第九图像编码装置中，对输入图像信号的每一GOP求编码的难易度，对每一GOP求上述编码率。并且对输入图像信号进行编码，以使各GOP的编码率与设定的每一GOP的编码率一致。
按照本发明的第十二图像编码装置，在上述第九图像编码装置中，通过对将输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码而得到的系数数据以一定的量化步长进行量化，求上述编码的难易度。并且，对输入图像信号进行编码，以使各图像单位的编码率与设定的每一图像单位的编码率一致。
在本发明的第一图像记录载体上，根据将输入图像信号的至少一部分进行编码而得到的第一编码数据的每一规定时间的数据量及可利用的数据总量求每一规定时间的编码率，记录根据此编码率对每一规定时间的输入图像信号进行编码而得到的第二位流。
在本发明的第二图像记录载体上，以对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码处理和按一定的量化步长进行量化处理及可变长编码处理，生成第一位流，根据此第一位流的数据量及可利用的数据总量求每一规定时间的编码率。并且，记录对输入图像信号进行规定的预测编码和/或规定的变换编码处理和根据每一规定时间的编码率决定的量化步长进行量化处理及可变长编码处理而得到的第二位流。
在本发明的第三图像记录载体上，以对输入图像信号的每一规定图像单位求编码的难易度，根据此编码的难易度及可利用的数据总量设定每一规定的图像单位的编码率。并且，记录用以使各图像单位的编码率与设定的每一图像单位的编码率相一致而对输入图像信号进行编码所得到的编码数据。
图1为表示应用本发明的图像编码装置的主要部件的电路结构框图;
图2是用于说明构成上述图像编码装置的第一编码电路的动作的流程图;
图3是用于说明构成上述图像编码装置的第二编码电路的动作的流程图;
图4是用于说明MPEG中的GOP的组成的各图像的示意图;
图5是用于说明每一GOP的编码控制信号的各图像的示意图;
图6是用于说明构成上述图形编码装置的第二编码电路的动作的流程图;
图7是用于说明预测编码原理的图像示意图;
图8是用于说明移动补偿预测编码原理的图像示意图;
图9是图像编码装置及图像译码装置的结构框图;
图10是宏模块、片的结构示意图;
图11是现有的编码器的电路结构框图;和图12是现有的译码器的电路结构框图。
下面，参照附图对本发明的图像编码方法、图像编码装置及图像记录载体进行说明。
应用本发明的图像编码装置，例如，如图1中所示那样，具有对输入图像信号进行编码生成第一编码数据的第一编码电路10、根据此第一编码电路10输出的第一编码数据的每一规定时间的数据量及可利用的数据总量求上述每一规定时间的编码率的编码控制电路30和根据此编码控制电路30输出的编码率在上述每一规定时间对上述输入图像信号进行编码生成第二编码数据的第二编码电路40。
上述第一编码电路10，如上述图1所示，具有储存输入图像信号即输入图像数据的帧存储器组12、根据该存储器组12储存的图像数据检测输入图像数据的移动矢量的移动矢量检测电路11、储存预测图像数据的帧存储器22、根据上述移动矢量检测电路11输出的移动矢量对从上述帧存储器22读出的预测图像数据进行移动补偿的移动补偿电路23、根据此移动补偿电路23输出的经过移动补偿的预测图像数据对输入图像数据进行预测编码的预测编码电路14、对该预测编码电路14输出的预测误差即差分等进行编码例如进行离散余弦变换(DCT)生成系数数据的DCT电路15、将此DCT电路15输出的系数数据以一定的量化步长进行量化生成量化数据的量化电路16、对此量化电路16输出的量化数据进行可变长编码并输出可变长编码数据的可变长编码(VLC)电路17、对上述量化电路16输出的量化数据进行反量化处理再生系数数据的反量化电路18、将该反量化电路18输出的系数数据进行译码例如进行反离散余弦变换(IDCT)后再生上述差分的IDCT电路20、和将该IDCT电路20输出的差分与上述移动补偿电路23输出的经过移动补偿的预测图像数据相加，生成对下一个输入图像数据的预测图像数据并将此预测图像数输给上述帧存储器22的加法电路21。
上述第二编码电路40如上述图1所示，具有将输入图像数据延迟的延迟器43、储存预测图像数据的帧存储器52、根据上述移动矢量检测电路11输出的移动矢量对从上述帧存储器52读出的预测图像数据进行移动补偿的补偿电路53、根据此移动补偿电路53输出的经过移动补偿的预测图像数据对经过上述延迟器43延迟的输入图像数据进行预测编码的预测编码电路44、将该预测编码电路44输出的差分等进行编码例如进行DCT变换生成系数数据的DCT电路45、根据上述编码控制电路30输出的编码率设定量化步长的量化尺度设定电路33、对上述DCT电路45输出的系数数据以上述量化尺度设定电路33输出的量化步长进行量化从而生成量化数据的量化电路46、将该量化电路46输出的量化数据进行可变长编码并输出，可变长编码数据的VLC电路47、暂时储存VLC电路47输出的可变长编码数据并以一定的位速率输出的发送缓冲存储器49、将上述量化电路46输出的量化数据进行反量化处理再生系数数据的反量化电路48、对反量化电路48输出的系数数据进行译码例如进行DICT变换从而再生上述差分的IDCT电路50和将IDCT电路50输出的差分与上述移动补偿电路53输出的经过移动补偿的预测图像数据相加从而生成对下一个输入图像数据的预测图像数据并将此预测图像数据输给帧存储器52的加法电路51。
并且，在这种图像编码装置中，由第一编码电路10对输入图像数据进行编码处理例如进行预测编码处理、DCT变换处理、按一定的量化步长的量化处理和可变长编码处理;由编码控制电路30根据所得到的第一位流即可变长编码数据的每一规定时间的数据量和例如由光盘、磁盘、磁带等构成的图像记录载体55的数据容量、或传送通道的位速率(传送速率)等所决定的可利用的数据总量求编码位速率，然后由第二编码电路40对输入图像数据再次进行预测编码处理、DCT变换处理、量化处理和可变长编码处理;在生成第二位流即可变长编码数据时，按根据编码位速率决定的量化步长进行量化。
亦就是说，在这种图像编码装置中，例如，如图2所示，在步骤ST1，第一编码电路10的量化电路16例如以量化步长为1对DCT电路所提供的系数数据进行量化，生成量化数据;量化控制电路30的计数器31对将此量化数据进行可变长编码而得到的可变长编码数据(第一位流)的数据量在规定时间内例如对每帧进行计数，从而对每1帧求出表示编码的难易度(difficulty)的生成编码量。
在步骤ST2中，位速率计算电路32根据每帧的难易度(生成编码量)及可利用的数据总量，求分配给每帧的分配编码量。
在步骤ST3中，第二编码电路40的量化电路46，按照由该分配编码量决定的量化步长对DCT电路提供的系数数据进行量化，生成量化数据。
具体地说，输入的图像数据暂时存储到帧存储器组12内。并且，如现有技术所述的那样按块格式方式从此帧存贮器组12读出。
移动矢量检测电路11从帧存储器组12以上述宏模块为单位读取所需要的图像数据并检测移动矢量。也就是说，移动矢量检测电路11利用存储在帧存储器组12中的前向原图像和/或后向原图像，以宏模块为单位检测当前的参考图像的移动矢量。这里，移动矢量的检测，是将例如以宏模块为单位的帧间差分的绝对值之和为最小时的矢量作为移动矢量。并且，检测的移动矢量输给移动补偿电路23、53等，以宏模块为单位的帧间差分的绝对值之和输给帧内/前向/后向/双向预测判断电路13。
帧内/前向/后向/双向预测判断电路13根据该值确定参考数据块的预测模式，并根据确定的预测模式控制预测编码电路14，用以进行以数据块为单位进行帧内/前向/后向/双向预测的转换。
预测编码电路14如上述图1所示，具有加法电路14a、14b、14c及切换开关14d，采用帧内编码模式时，选择输入图像数据本身，采用前向/后向/双向预测模式时，分别选择与各自的预测图像对应的输入图像数据的每一像素的差分(以后称为差分数据)，然后，将所选择的数据输给DCT电路15。
DCT电路15利用图像信号的二维相关性，对由切换开关14d提供的输入图像数据或差分数据以数据块为单位进行DCT变换，然后将得到的系数数据输给量化电路16。
量化电路16按一定的量化步长，例如将量化步长取为1对从DCT电路15输出的系数数据进行量化，然后将得到的量化数据输给VLC电路17及反量化电路18。
VLC电路17对量化数据与量化步长、预测模式及移动矢量等一起进行可变长编码并将得到的可变长编码数据作为第一位流输给编码控制电路30。
编码控制电路30如上述图1所示，具有对上述VLC电路17输出的可变长编码数据的每一规定时间内的数据量进行计数的计数器31和根据此计数器31输出的数据量及可利用的数据总量求每一规定时间的分配编码量的位速率计算电路32。并且，计数器31在每一规定时间内例如对每帧计数第一位流的数据量，对每帧求难易度，并将此难易度输给位速率计算电路32。
位速率计算电路32根据每帧的难易度及可利用的数据总量，求分配给每帧的分配编码量即每帧时间内的平均编码率，同时将此分配编码量输给第二编码电路40的量化尺度设定电路33。
具体地说，设总帧数为N，可利用的数据总量为B、第i(i＝0，1，2…N-1)帧的难易度(生成编码量)为di，与第i帧对应的分配编码量为bi、该分配编码量bi如下式1所示的那样与难易度di成正比，位速率计算电路32如下式2所示的那样通过对全部帧的分配编码量bi进行加法运算，便可求出数据总量B。其中，a为常数。
bi＝a×di…式1B=Σi -ON -1bi]]>=Σi - 0N - 1a ×di= a ×Σi = 0N - 1di… 式2]]>
因此，利用下述式3便可求得常数a，将此常数a代入式1，就能由下式4求出与第i帧对应的分配编码量bia = B÷Σi -ON - 1d1]]>…式3bi= di×(B ÷Σi - 0N - 1di) … 式4]]>这样，位速率计算电路32，例如对于图案复杂的图像帧，就增大分配编码量bi，相反，对图案简单的帧就减少分配编码量bi。
另一方面，反量化电路18对量化电路16所提供的量化数据，取量化步长为1进行反量化，再生与DCT电路15的输出对应的系数数据(加进了量化失真)，并将此系数数据输给IDCT电路20。
IDCT电路20对该系数数据进行IDCT变换，在帧内编码模式时，再生与预测编码电路14的输出对应的输入图像数据，在前向/后向/双向预测模式时，再生差分数据，然后输给加法电路21。
在前向/后向/双向预测模式时从移动补偿电路23输出的经过移动补偿的预测图像数据输给加法电路21，通过将此预测图像数据与由IDCT电路提供的差分数据相加，再生与输入图像数据对应的图像数据。
并且，将这样再生的图像数据作为预测图像数据储存到帧存储器22内。亦即，反量化电路18～加法电路21组成局部译码电路，根据预测模式对量化电路16输出的量化数据进行局部译码，并将得到的译码图像作为前向预测图像或者后向预测图像写入帧存储器22。帧存储器22由多个帧存贮器组成，可以进行帧存储器的分组切换，按照编码的图像，例如将单一的帧作为前向预测图像数据输出，或者作为后向预测图像输出。另外，在前向/后向/双向预测时，将前向预测图像数据与后向预测图像数据例如进行求平均后再输出。这些预测图像数据是与由后述图像译码装置再生的图像数据完全相同的图像数据，以后的处理图像就可以根据该预测图像进行前向/后向/双向预测编码。
下面，对第二编码电路40的动作予以说明。除了构成第二编码电路40的量化尺度设定电路33、延迟器43、量化电路46、发送缓冲存储器49以外的电路，动作与构成上述第一编码电路10的电路相同，故省略说明。
延迟器43将输入图像数据进行时间延迟，直至例如延迟到从编码控制电路30输出编码控制信号为止。并且，在预测编码电路40和DCT电路45中，对经过延迟的输入图像数据按照帧内/前向/后向/双向预测判断电路13提供的预测模式进行预测编码处理、DCT变换处理，生成系数数据。
量化尺度设定电路33，根据所提供的每一帧的分配编码量求每一宏模块的分配编码量(例如，将每帧的分配编码量除以1帧中的宏模块数而得到的数量)，将根据从发送缓冲器49输出的缓冲反馈而检测的某个宏模块中产生的生成编码量与每一宏模块的分配编码量进行比较。量化尺度设定电路33，为使各帧的编码位速率与所设定的每一帧的平均编码位速率相接近，当该宏模块的生成编码量大于每一宏模块的分配编码量时，就设定增大下一个宏模块的量化步长以便抑制下一个宏模块的生成编码量;当该宏模块的生成编码量小于每一宏模块的分配编码量时，就减小下一个宏模块的量化步长以便增加生成编码量。但是，当发送缓冲器49输出的缓冲反馈信号表示发送缓冲器49接近上溢时，不管上述的分配编码量与生成编码量的比较结果如何，量化尺度设定电路33均增大量化步长来防止溢出，当发送缓冲器输出的缓冲反馈信号表示发送缓冲器49接近下溢时，则不管上述分配编码量与生成编码量的比较结果如何，均减小量化步长来抑止下溢。在以上的说明中，是将每一宏模块的生成编码量与分配编码量进行比较后对每一宏模块切换量化步长，但是也可以对每片进行切换。另外，在上述说明中，是根据发送缓冲器49的存储量检测生成编码量，但是，也可以根据可变长编码电路47的输出直接得到。量化尺度设定电路33将这样确定的量化步长输给量化电路46。
量化电路46按上述量化尺度设定电路33提供的量化步长对DCT电路45输出的系数数据进行量化，生成量化数据。
并且，VLC电路47将量化电路46输出的量化数据，与量化尺度设定电路33输出的量化步长、帧内/前向/后向/双向预测判断电路13输出的预测模式及移动矢量检测电路11输出的移动矢量等一起进行可变长编码，并将得到的可变长编码数据作为第二位流输给发送缓冲存储器49。
亦就是说，利用这一图像编码装置，如图3中所示，在步骤ST1通过延迟器43输入图像数据时，在步骤ST2量化尺度设定电路33就从编码控制电路30读入与作为当前编码对象的帧对应的分配编码量，然后进入步骤ST3。
在步骤ST3预测编码电路44～VLC电路47对图像数据进行预测编码处理、DCT变换处理，同时，按根据分配编码量决定的量化步长对系数数据进行量化后，进行可变长编码，并进到步骤ST4。
在步骤ST4，判定例如对于相同的画面大小和相同的传送速率适用的全部帧(序列)的编码处理是否完成。如果已完成。则处理即告结束，如果未完成，就返回步骤ST1。这样，便可实现以帧为单位改变编码率的可变速率编码，即使在图案复杂的图像(帧)连续时，对于这些图像也不必像现有的装置那样增大量化步长，从而能得到整体上均匀的高质量图像。
并且，发送缓冲存储器49在暂时存储可变长编码数据后，通过按一定的位速率读出，使可变长编码数据平滑化作为位流输出。并且，由发送缓冲存储器49输出的位流，例如，与经过编码的音频信号、同步信号等进行多重化，并附加上纠错码，并进行适用于传送或记录的规定的调制后，通过例如传送通道传送给图像译码装置，或者如图1所示的那样记录到由光盘、磁盘、磁带等组成的图像记录载体55上。亦即，在第二编码电路40中，例如对复杂的图像预先增大分配编码量bi、对简单的图像则减少分配编码量bi进行可变速率的编码，所以不必像现有装置那样为避免使图案复杂的图像的图像质量降低太大而对全体均应用高速率的固定速率，从而能够增长图像记录载体55的记录时间。
另一方面，反量化电路48对量化电路46输出的量化数据，按上述量化电路46所用的量化步长进行反量化，再生与DCT电路45的输出对应的系数数据(加进了量化失真)，并将此系数数据输给IDCT电路50。亦即，构成局部译码电路的反量化电路48～加法电路51时量化电路46输出的量化数据进行局部译码，并将所得的译码图像作为前向预测图像或者后向预测图像写进帧存储器52。存储在帧存储器52中的图像数据可以作为对以后的处理图像所用的预测图像。
在上述实施例中，虽然是以帧作为规定时间而对每帧求得各规定时间的分配编码量即各规定时间的平均编码速率的，但本发明并不限定于此。例如，也可以将所谓的MPEG(Moving Picture Expert Group)中的GOP(Group of Picture)作为规定时间。上述MPEG是ISO和IEC的JTC-1(联合技术委员会)的SC-29(分委会)的WG-11(工作组)采用的移动图像编码方式的通称。
也就是说，MPEG中的GOP由至少1个所谓的I图像和多个P图像或B图像(非I图像)组成。具体说，例如图4中那样，由1个I图像、3个图像周期的4个P图像，和10个B图像组成时，编码控制电路30求每一GOP的分配编码量。这里，所谓I图像是指场内或帧内编码的图像;所谓P图像是只能根据前向进行预测的场间或帧间的编码图像;所谓B图像是既可根据前向、又可以根据后向或者根据双向进行预测的场间或帧间编码图像。
并且，在第一编码电路10中，例如，如图5所示，以构成GOP的图像数为周期、临时将GOP内连续的任意两个图像作为I图像和P图像，同时，例如将量化步长取为1，对这些I图像、P图像的图像数据进行预测编码处理、DCT变换处理、可变长编码处理，生成可变长编码数据，并将此可变长编码数据输给编码控制电路30。这里之所以将二个图像作为I图像和P图像，是为了调查图案的复杂性和帧间的相关性，由I图像的生成编码量可以知道图案的复杂性，由P图像的生成编码量可知道帧间的相关性。一般说来，由于多个连续的帧具有类似的图像，所以，根据抽出的两个图像也可以看出GOP的图案的倾向。
编码控制电路30对每一GOP的I图像的数据量位Ij和P图像的数据量位Pj进行计数，同时，例如按式5所示，根据这些数据量位Jj、位Pj及构成GOP的P图像的个数N对每一GOP求难易度(生成编码量)GOPdj(j＝0，1，2…)，GOPdj＝bitIj+N×bitPj…式5并且，编码控制电路30根据每一GOP的难易度(生成数据量)GOP dj及可利用的数据总量求分配给每一GOP的分配编码量，并将此分配编码量输给第二编码电路40。
具体地说，设总GOP数为M、可利用的数据总量为B、第jGOP的分配编码量为GOPbj，若使此分配编码量GOP bj如下式6所示的那样与难易度成正比，则可如下述式7所示的那样，通过对所有GOP的分配编码量GOP bj，进行加法运算，便可求出数据总量B。此处，a为常数。
GOPbj＝a×GOPdj…式6B =Σi - 0M - 1GOPbj]]>=Σj - 0M - 1a ×GOPdj= a ×Σj - 0M - 1GOPdj…式7]]>因此，常数a可由下述式8求得，将此常数a代入式6就可按下述式9对第jGOP求出分配编码量GOP bja = B ÷Σj - 0M - 1GOPdj…式8]]>GOPbj= GOPdj× (B ÷Σj - 0M - 1GOPdj) …式9]]>这样，编码控制电路30对于例如包含复杂图案的图像的或者帧间相关性低的GOP增大其分配编码量GOPbj，相反，对包含简单图案的图像的或者帧间相关性高的GOP则减少其分配编码量GOPbj。
接着，第二编码电路40，例如，如图6所示，在步骤ST1通过延迟器43输入图像数据时，在步骤ST2判断当前输入的图像数据是否为GOP的开头图像，如果是就进入步骤ST3，如果不是就进入步骤ST4。
在步骤ST3，第二编码电路40从编码控制电路30读入与作为当前编码对象的GOP对应的分配编码量，然后进入步骤ST4。
在步骤ST4，第二编码电路40对图像数据进行预测编码处理、DCT变换处理，同时，按根据分配编码量决定的量化步长对系数数据行量化后进行可变长编码，并进入步骤ST5。
这里，量化尺度设定电路33根据所提供的每一GOP的分配编码量，考虑实际编码的图像类型(I图像、P图像、B图像)即图4所示的图像类型，设定每一帧的分配编码量。具体地说，对I图像增加分配编码量，对B图像减少分配编码量，对P图像则使分配编码量处于上述两者中间。
在步骤ST5，判断对应用同样画面大小和同样传送速率的所有帧(序列)的编码处理是否结束，如已结束则处理即告终止，否则，就返回到步骤ST1。这样，便又实现以GOP为单位改变编码率的可变速率编码，即使图案复杂的图像(帧)相连续，对这些图像也不必像已往的装置那样增大量化步长，从而可以得到整体均匀的高质量画面。另外，在本实施例中，由于是根据二个图像求每一GOP分配编码量，所以能以比前述实施例高的速度处理。当然，也可以根据GOP内全部图像的数据量来求各GOP的分配数据量。
本发明不限于上述实施例，例如，在上述实施例中，取变换编码为DCT，但是，也可以用所谓的Strato变换、Haar变换、Wavelet变换等。
由以上说明可清楚看到，按照本发明，对输入图像信号进行编码、例如进行预测编码、DCT变换、以一定的量化步长进行量化及可变长编码，生成第一编码数据;根据此第一编码数据的每一规定时间、例如每帧或每一GOP的数据量和可利用的数据总量，求每帧或每GOP的分配编码量;根据该分配编码量在每一规定时间内对输入图像信号进行编码、生成第二编码数据，便可实现按每一规定时间改变编码率的可变速率编码;即使图案复杂的图像(帧)相连续时也不必像已往装置中那样对这些图像增大量化步长，从而可以获得整体均匀的高质量画面。
另外，由于按上述方法得到的第二编码数据是可变速率的，所以，通过将它们记录到图像记录载体上，便可有效地利用有限的存贮容量，延长图像记录载体的记录时间。并且，可以根据该图像记录载体再生整体均匀的高质量图像。
权利要求
1.图像编码方法的特征在于对输入图像信号的至少一部分进行编码生成第一编码数据；根据该第一编码数据的每一规定时间的数据量及可利用的数据总量求上述规定时间的编码率；根据该编码率在上述每一规定时间对上述输入图像信号进行编码，生成第二编码数据。
2.按权利要求1所述的图像编码方法的特征在于对上述输入图像信号的至少一部分以一定的量化步长进行量化，生成上述第一编码数据。
3.按权利要求1所述的图像编码方法的特征在于将上述可使用的数据总量根据上述每一规定时间的数据量按比例分配、求上述每一规定时间的编码率。
4.图像编码方法的特征在于对输入图像信号的至少一部分进行规定的预测编码及规定的变换编码，生成第一系数数据;对该第一系数数据以一定的量化步长进行量化，生成第一量化数据;对该第一量化数据作可变长编码，生成第一位流;根据该第一位流的数据量及可利用的数据总量求每一规定时间的编码率;对上述输入图像信号进行上述规定的预测编码和/或上述规定的变换编码，生成第二系数数据;按照根据上述每一规定时间的编码率决定的量化步长对上述第二系数数据进行量化，生成第二量化数据;对该第二量化数据作可变长编码，生成第二位流。
5.按权利要求4所述的图像编码方法的特征在于根据上述第一位流中的每一帧的数据量及可利用的数据总量求上述每一帧的上述编码率。
6.按权利要求4所述的图像编码方法的特征在于根据上述第一位流中的每一由多个帧所组成的GOP的至少一部分的数据量及可利用的数据总量求上述每一GOP的上述编码率。
7.按权利要求6所述的图像编码方法的特征在于根据与上述GOP中的图像内编码图像及前向预测编码图像对应的数据量求上述每一GOP的编码率。
8.按权利要求4所述的图像编码方法的特征在于将上述可利用的数据总量根据每一规定时间的上述第1位流的数据量按比例分配、求上述每一规定时间的编码率。
9.图像编码方法的特征在于求输入图像信号的每一规定图像单位的编码难易度，根据该编码难易度及可利用的数据总量设定上述规定的每一图像单位的编码率;对上述输入图像信号进行编码，以使上述各图像单位的编码率与上述设定的每一图像单位的编码率相一致。
10.按权利要求9所述的图像编码方法的特征在于上述规定的图像单位是帧。
11.按权利要求9所述的图像编码方法的特征在于上述规定的图像单位是由多个帧所组成的GOP。
12.按权利要求9所述的图像编码方法的特征在于对上述输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码，生成系数数据;对该系数数据以一定的量化步长进行量化，求上述编码难易度。
13.图像编码装置的特征在于具有对输入图像信号的至少一部分进行编码，生成第一编码数据的第一编码器，根据该第一编码器输出的第一编码数据的每一规定时间的数据量及可利用的数据总量求上述每一规定时间的编码率的编码控制器，根据该编码控制器输出的每一规定时间的编码率对上述每一规定时间的上述输入图像信号进行编码，生成第二编码数据的第二编码器。
14.按权利要求13所述的图像编码装置的特征在于上述第一编码器具有对上述输入图像信号的至少一部分以一定的量化步长进行量化的量化装置。
15.按权利要求13所述的图像编码装置的特征在于上述编码控制器将上述可利用的数据总量根据上述每一规定时间的数据量按比例分配，求上述每一规定时间的编码率。
16.图像编码装置的特征在于具有对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码以生成第一系数数据的第一编码器，将该第一编码器输出的第一系数数据以一定的量化步长量化以生成第一量化数据的第一量化装置，将该第一量化装置输出的量化数据作可变长编码以生成第一位流的第一可变长编码装置，根据该第一可变长编码装置输出的第一位流的数据量及可利用的数据总量求每一规定时间的编码率的编码控制器，对上述输入图像信号进行上述规定的预测编码和/或上述规定的变换编码以生成第二系数数据的第二编码器，按照根据上述编码控制器输出的每一规定时间的编码率决定的量化步长对上述第二编码器输出的第二系数数据进行量化以生成第二量化数据的第二量化装置，和将该第二量化装置输出的第二量化数据作可变长编码以生成第二位流的第二可变长编码装置。
17.按权利要求16所述的图像编码装置的特征在于上述编码控制器根据上述第一位流中的每一帧的数据量及可利用的数据总量求上述每一帧的所述编码率。
18.按权利要求16所述的图像编码装置的特征在于上述编码控制器根据上述第一位流中每一由每多个帧所组成的GOP的至少一部分的数据量及可利用的数据总量求上述每一GOP的上述编码率。
19.按权利要求18所述的图像编码装置的特征在于上述编码控制器根据与上述GOP中的图像内编码图像及前向预测编码图像对应的数据量求上述每一GOP的编码率。
20.按权利要求16所述图像编码装置，其特征是上述编码控制器将上述可利用的数据总量根据每一规定时间的上述第一位流的数据量按比例分配，求上述每一规定时间的编码率。
21.图像编码装置的特征在于具有对输入图像信号的每一规定的图像单位计算编码的难易度的难易度计算器，根据该难易度计算器输出的编码难易度及可利用的数据总量对上述每一规定的图像单位设定编码率的编码率设定器，和用以使上述各图像单位的编码率与由上述编码率设定器设定的每一图像单位的编码率相一致而对上述输入图像信号进行编码的编码器。
22.按权利要求21权利要求所述的图像编码装置，其特征是上述难易度计算器对每一帧求上述编码难易度。
23.按权利要求21所述的图像编码装置，其特征是上述难易度计算器对由多个帧组成的GOP求上述编码难易度。
24.按权利要求21所述的图像编码装置，其特征是上述难易度计算器对上述输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码生成系数数据，同时对该系数数据以一定的量化步长进行量化，求上述编码难易度。
25.图像记录载体的特征在于对输入图像信号的至少一部分进行编码生成第一编码数据，根据该第一编码数据的每一规定时间的数据量及可利用的数据总量求上述每一规定时间的编码率，记录按该编码率在上述每一规定的时间对上述输入图像信号进行编码而得到的第二位流。
26.图像记录载体的特征在于对输入图像信号的至少一部分进行规定的预测编码和/或规定的变换编码以生成第一系数数据，对该第一系数数据以一定的量化步长进行量化以生成第一量化数据，对该第一量化数据作可变长编码以生成第一位流，根据该第一位流的数据量及可利用的数据总量求每一规定时间的编码率，对上述输入图像信号进行上述规定的预测编码和/或上述规定的变换编码生成第二系数数据，按照根据上述每一规定时间的编码率决定的量化步长将上述第二系数数据进行量化生成第二量化数据，记录对该第二量化数据作可变长编码而得到的第二位流。
27.图像记录载体的特征在于求输入图像信号的每一规定图像单位的编码难易度，根据该编码难易度及可用的数据总量设定上述每一规定的图像单位的编码率，记录用以使上述各图像单位的编码率与上述设定的每一图像单位的编码率相一致而对上述图像信号进行编码所得到的编码数据。
全文摘要
本发明中，对输入图像信号进行编码，例如进行预测编码、DCT变换及以一定的量化步长进行的量化、可变长编码，从而生成第一编码数据；根据此第一编码数据的每一规定时间，例如每帧或每GOP的数据量及可利用的数据总量求每一帧或每一GOP的分配编码量；根据此分配编码量在每一规定时间对输入图像信号进行编码生成第二编码数据，由此来实现以每一规定时间改变编码率的可变速率编码；即使在图案复杂的图像(帧)相连续时，也无需像已有装置那样对这些图像增大量化步长，从而能得到整体均匀的高质量图像。另外，由于按上述那样得到的第二编码数据是可变速率的，所以，通过将其记录到图像记录载体上，便可有效地利用有限的存贮容量，从而可以增长图像记录载体的记录时间。并且，可以根据此图像记录载体再生整体均匀的高质量图像。
文档编号H04N5/85GK1109268SQ94190263
公开日1995年9月27日 申请日期1994年4月11日 优先权日1993年4月9日
发明者小田刚 申请人:索尼公司