图象处理方法、图象处理装置及数据存储媒体的制作方法

专利名称：图象处理方法、图象处理装置及数据存储媒体的制作方法
技术领域：
本发明涉及图象处理方法、图象处理装置及数据存储媒体，特别是涉及对由相当于多个对象(即构成一个图象的多个构成要素)的序列的对象图象数据组成的视频信号进行编码的编码处理中的发生比特数的控制。
为了高效存储或者传输数字图象信息，必须对数字图象信息进行压缩编码，在现状下，作为用于对数字图象信息进行压缩编码的方法，除了以JPEG(Joint Photographic Coding Experts Group)和MPEG(Moving PictureExperts Group)所代表的离散余弦变换(DCTDiscrete Cosing Transform)之外，还具有子带、小波编码、分形(フラクタル)等波形编码方法。
作为去除相邻的帧等画面间的冗余的图象信息的方法，具有这样的方法进行使用运动补偿的画面间预测，即，使用构成现画面的象素的象素值与构成前画面的象素的象素值的差分值来表示构成现画面的象素的象素值，对由该差分值组成的差分图象信号进行波形编码。
因此，最近，考虑这样的编码方法对每个对象分别对与该对象相对应的对象图象数据进行压缩编码并传输，以便于能够在提高视频信号的压缩效率的同时，以构成预定图象的各个对象(构成要素)为单位进行视频信号的重放。对于由该编码方式所编码的视频信号，在重放侧进行与上述编码方式相对应的解码处理。即，在该解码处理中，对与各个对象相对应的对象编码数据进行解码，来合成与通过该解码所得到的各对象相对应的对象解码数据，而生成重放数据。接着，根据该重放数据来显示由各个对象组成的图象。
如上述那样，通过使用以对象单位进行视频信号的编码的编码方式，能够在重放侧自由组合各个对象来生成合成图象，由此，能够简单地对运动图象进行再次编辑。而且，通过通信路线的混合情况和重放装置的性能或者收视者的爱好，能够不必重放不太重要的对象，而显示仅由重要度高的对象组成的运动图象。
把这样以对象单位进行视频信号的编码的编码方式称为对象编码方式，作为MPEG4，国际上推进了标准化工作。
如上述那样，通过编码处理来压缩视频信号而得到的编码数据，每隔一定时间，将要被解码处理的代码量(被处理比特数)会变动。因此，把这样的编码数据以一定比特率传输到接收侧，为了在接收侧良好地重放该编码数据，就需要在接收侧设置存储编码数据的缓冲器，来适宜每隔一定时间的被处理比特数的变动。在此情况下，上述缓冲器的尺寸，即能够存储在缓冲器中的数据的最大量是不同的，能够由缓冲器吸收上述被处理比特数的变动的范围不同。
按照标准规格决定上述缓冲器尺寸的最大值，在具有该最大尺寸的缓冲器的接收器中，以一定的比特率接收每一定时间的被处理比特数发生变动的编码数据，能够没有问题地重放该编码数据。
此时，在编码侧，根据与接收侧具有的缓冲器相对应的尺寸等的功能的限制，把发送速率控制为一定的比特率，以使缓冲器不会溢出(不会上溢)或者不会成为空的(不会下溢)。
在对象编码方式中，一个视频信号由与多个构成要素相对应的对象图象数据所构成。作为这些构成要素，是矩形形状的图象和具有任意形状的图象(对象)等，例如，在矩形形状的图象中，把其作为背景，能够把作为任意形状图象的动画字符、人物、动物像进行组合。
而且，在现有的图象传输系统中，接收侧的图象解码装置为与各个构成要素相对应而设有每隔上述那样的单位时间适应将要处理的比特数的变动的缓冲器的构成。
即，在接收侧，通过与该构成要素相对应的缓冲器和解码器来对与一个构成要素相对应的对象编码数据进行解码。而且，在发送侧，在视频信号的编码处理过程中，进行速率控制以使与各构成要素相对应的缓冲器不会上溢或者下溢，即，进行作为编码数据而发生的代码量的控制。换句话说，上述编码处理时的速率控制在构成要素间独立进行。


图13是表示构成现有的图象传输系统的编码装置和解码装置的方框图。其中，为了便于说明，对处理三个构成要素的情况进行说明，但构成要素的数量并不仅限于此。
该图象传输系统1000具有编码装置1000a，接受与第一、第二、第三对象(构成要素)相对应的图象数据(对象图象数据)1304、1314、1324，对这些数据进行压缩编码处理和复用处理，输出复用比特流1308；解码装置1000b，接受复用比特流1308，对与上述各对象相对应的压缩数据(对象编码数据)进行扩展解码处理和合成处理，生成与由各对象组成的图象相对应的重放数据。
上述编码装置1000a具有第一、第二、第三编码器1302、1312、1322，对第一、第二、第三对象(构成要素)相对应的图象数据1304、1314、1324进行编码，而输出压缩数据1305、1315、1325；复用器1307，对与各对象相对应的压缩数据1305、1315、1325进行复用，而作为复用比特流1308输出。并且，上述编码装置1000a还具有速率控制器1303、1313、1323，对应于上述各个编码器1304、1314、1324而设置，根据从各个编码器所输出的压缩数据1305、1315、1325，来控制由上述各个编码器发生的压缩数据的每隔预定时间将进行解码处理的数据量(比特数)。
上述解码装置1000b具有分离器1318，作为输入数据1317而接受上述复用比特流1308，从该输入数据1317抽出与各对象相对应的压缩数据1330、1335、1340；第一、第二、第三缓冲器1331、1336、1341，对应于各对象而设置，分别存储压缩数据1330、1335、1240。而且，上述解码装置1000b还具有第一、第二、第三解码器1333、1338、1343，对应于各对象而设置，读出在上述各个缓冲器中所存储的压缩数据1332、1337、1342并进行解码处理；合成器1319，把从各个解码器所输出的解码数据1334、1339、1344进行合成，而输出与预定图象相对应的重放数据1320。
在图13中，1301、1311、1321分别是输入第一、第二、第三图象数据的编码装置1000a的输入端子，1309是上述复用比特流1308所输出的编码装置1000a的输出端子。并且，1310是输入上述复用比特流1308所输入的解码装置1000b的输入端子，1327是上述重放数据1320所输出的解码装置1000b的输出端子。
而且，在该图象传输系统中，上述速率控制器1303、1313、1323为这样的构成对各个编码器1302、1312、1322独立地进行速率控制，以使接收侧的缓冲器1331、1336、1341不会上溢或者下溢。
下面对其动作进行说明。
在上述图象传输系统1000中，当与各对象相对应的图象数据1304、1314、1324被输入各个输入端子1301、1311、1321时，例如，在第一编码器1302中，对与第一对象相对应的图象数据1304的编码处理根据来自对应的速率控制器1303的控制信号1306来进行。在第二、第三编码器1313、1322中，同样根据控制信号1316、1326来进行图象数据1314、1324的编码处理。
这样一来，由各个编码器的编码处理所得到的压缩数据1305、1315、1325由复用器1307进行复用，而从输出端子1309作为复用比特流1308而输出。
另一方面，在接收侧的解码装置1000b中，当复用比特流1308被输入时，由分离器1318从该复用比特流1308分离与各对象相对应的压缩数据1330、1335、1240，分别输入对应的缓冲器1331、1336、1341。在该各个缓冲器所存储的压缩数据被读出到对应的解码器1333、1338、1343中，分别进行解码处理，而生成解码数据1334、1339、1344。这些解码数据1334、1339、1344由合成器1319进行合成，所合成的数据作为与预定图象相对应的重放数据1320而输出。
当这样从编码装置向解码装置传输编码数据时，在上述传送侧的编码装置中的速率控制器1303、1313、1323中，对与各对象相对应的每个编码器独立地进行编码处理中的速率控制，以使接收侧的缓冲器1331、1336、1341不会溢出或者下溢。
如上述那样，现有的图象传输系统1000，如图13所示的那样，各个解码器1333、1338、1343为分别从独立的缓冲器1331、1336、1341读出压缩数据来进行解码的构成。而且，在上述各缓冲器中，缓冲器尺寸的最大值是固定的，在任何情况下，该最大值为相同的值。
在此情况下，在编码侧，把小于上述缓冲器尺寸的最大值的值设定为缓冲器尺寸的阈值，可以根据该阈值来进行编码处理，这样的编码方法是当传输代码量少的图象编码数据时使用的方法。
因此，在发送侧，对于需要较多代码量的构成要素的图象数据，当一边把大于缓冲器尺寸的最大值的值作为阈值进行速率控制一边进行编码处理时，不能由接收侧的解码器进行正常的解码处理。在此情况下，为了进行接收侧的正常的解码处理，就需要以更高的压缩率对需要较多的代码量的构成要素的图象数据进行编码，当进行这样高的压缩率的编码处理时，就存在所重放的图象的画质变差的问题。
图14是通过曲线图表示解码器缓冲器占有量(由压缩数据所产生的缓冲器容量的占有量)的迁移的模式图。图14(a)表示与第一构成要素相对应的解码器的缓冲器占有量，图14(b)、图14(c)分别表示与第二和第三构成要素相对应的解码器的缓冲器占有量。而且，在图中，纵轴1401、1411、1421表示解码器缓冲器占有量，横轴1402、1412、1422表示压缩数据的表示时间t。表示时间t0，t1，t2，t3，…表示例如第n，第(n+1)，第(n+2)，第(n+2)，…帧的表示时间。
上述图14(a)中的曲线图的倾斜部分1404的斜率是输入缓冲器的第一对象相对应的压缩数据的每单位时间内所输入的代码量(输入比特率)，在图14(a)中，该输入比特率为一定的。在图中，Dm1是能够存储在缓冲器中的压缩数据的最大值，在任何情况下，缓冲器都不能超过该最大值而存储压缩数据。
上述曲线图的横轴和垂直的纵线部分1405的长度表示与由时间t0所表示的帧相对应的第一对象的压缩数据的比特数。即，以由上述曲线图的倾斜部分1404的斜率所表示的输入比特率，比特串被输入缓冲器，在时间t0内，在缓冲器内所存储的数据量到达与上述纵线部分1405的顶点相对应的水平。此时，解码器读入用上述纵线部分1405的长度所表示的比特数的压缩数据，对与时间t0的帧相对应的压缩数据进行解码。
上述图14(b)、图14(c)中的曲线图的倾斜部分1414、1424的斜率是输入缓冲器的第二、第三对象相对应的压缩数据的每单位时间内所输入的代码量(输入比特率)，在图14(b)、图14(c)中，该输入比特率为一定的。图中，Dm2，Dm3是能够存储在缓冲器1336、1341中的数据的最大值，在任何情况下，缓冲器都不能超过该最大值而存储压缩数据。
上述曲线图的横轴和垂直的纵线部分1415、1425的长度表示与由时间t0所表示的帧相对应的第二、第三对象的压缩数据的比特数。即，以由上述曲线图的倾斜部分1414、1424的斜率所表示的输入比特率，比特串被输入缓冲器，在时间t0内，在缓冲器内所存储的数据量到达与上述纵线部分1415、1425的顶点相对应的水平。此时，解码器读入用上述纵线部分1415、1425的长度所表示的比特数的压缩数据，对与时间t0的帧相对应的压缩数据进行解码。
其中，第一构成要素(对象)为在编码处理中所需要的代码量较多的构成要素，第二构成要素(对象)为在编码处理中所需要的代码量较少的构成要素。与第一构成要素(图14(a))相对应的缓冲器几乎被压缩数据占有了数据存储量的最大值，而第二构成要素(图14(b))相对应的缓冲器在数据存储量上还有相当富裕。
在此情况下，在现有的图象传输系统中，不能把数据存储量较少的缓冲器的数据存储区域分配给与第一构成要素相对应的压缩数据。因此，就需要以比第二构成要素更高的压缩率来压缩与第一构成要素相对应的图象数据，结果，存在第一构成要素的画质变差的问题。
而且，在第三构成要素(图14(c))中，在时间t0，t1中所读出的压缩数据是代码量较少的，在时间t2中所读出的压缩数据是代码量较多的。这样，在与随着时间推移图象的复杂度的变动变大的构成要素相对应的缓冲器中，该数据存储区域几乎不被占有。对于这样的构成要素，由于缓冲器尺寸的限制，在时间t2中进行压缩数据的读出的帧中，对压缩数据的代码量的分配受到限制，其结果，存在与该帧相对应的画质变差的问题。
即使所有的构成要素的复杂度或者复杂度的变动是平均相同的，而在局部，在某个时刻，会存在特定的构成要素的图象比其他的构成要素的图象更复杂的情况。在此情况下，即使给与上述特定的构成要素相对应的数据分配较多的比特数来进行编码，由于缓冲器尺寸的限制，在与其他的构成要素相对应的缓冲器的数据占有量上有富裕，对于上述特定的构成要素，只能分配比特数到对应的缓冲器的数据存储量的上限。由此，当上述特定的构成要素的图象为复杂时，不能提高该图象的画质。
这样，在现有技术中，对于各个构成要素(即各个解码器)，在接收侧独立设置存储编码数据(压缩数据)的缓冲器，因此，不能实现构成要素间的缓冲器的有效利用，特定的构成要素的画质变差，而存在在合成的图象的画质中产生偏差的问题。
而且，由于预先考虑对象的图象复杂度来设定与各对象相对应的压缩数据的传输率，就会存在不适合于具有受到限制的数据传输速度的实际通信线路的问题。
为了解决上述问题，本发明的目的是提供能够在多个不同的构成要素间有效利用用于存储编码数据的缓冲器，缓冲器在不会溢出或者下溢的情况下根据各构成要素的复杂度而动态地分配比特数的图象处理方法、图象处理装置以及存储用于通过计算机进行图象处理方法所进行的图象处理的程序的数据存储媒体。
本发明的目的是提供能够使与对象相对应的压缩数据的传输率适合于具有受到限制的数据传输速度的实际通信线路的图象处理方法、图象处理装置以及存储用于通过计算机进行图象处理方法所进行的图象处理的程序的数据存储媒体。
本发明(第1方面)所涉及的图象处理方法，对于用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定处理，测定与在上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；比特数分配比率决定处理，根据上述各构成要素的复杂度，来决定分配给各对象图象数据的比特数的上述多个构成要素间的比率，对上述各对象图象数据进行编码，以使与上述各对象编码数据相对应的比特数满足上述各构成要素间的分配比特数的决定比率。
本发明(第2方面)所涉及的图象处理方法，对与由第1方面所述的图象处理方法所得到的各构成要素相对应的对象编码数据进行复用而形成的复用编码数据进行解码，其特征在于，包括分离处理，从上述复用编码数据分离出与上述各构成要素相对应的对象编码数据；存储处理，把与上述各构成要素相对应的对象编码数据存储在一个缓冲器中；解码处理，从该缓冲器取出与各构成要素相对应的对象编码数据来进行解码。
本发明(第3方面)所涉及的图象处理方法，在第1方面所述的图象处理方法中，使用第一值、第二值、第三值或者第四值中的任一个值作为表示上述各构成要素的复杂度的指标，该第一值表示构成上述各构成要素的象素的象素值的分散，该第二值表示上述各构成要素的显示图象的时间上的变动的大小，该第三值是对在成为上述编码处理的对象的对象帧以前进行编码处理的前处理帧中的对应构成要素进行编码时的发生比特数，通过对象帧和前处理帧之间的表示相同构成要素的特性的系数的比率来进行加权而得到，该第四值表示在一定编码条件下对与上述各构成要素相对应的对象图象数据进行预备编码时所发生的，与各构成要素相对应的发生比特数。
本发明(第4方面)所涉及的图象处理方法，在作为显示处理单位的每帧中，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括帧比特数决定处理，决定分配给与成为上述编码处理的对象的对象帧相对应的视频信号的帧比特数；比特数分配处理，根据构成上述对象帧的各构成要素的复杂度，分配上述帧比特数以便于与该各构成要素相对应，决定与各构成要素的对象帧相对应的对象比特数，对与上述对象帧相对应的各对象图象数据进行编码，以使对应的对象编码数据的比特数成为与上述各构成要素的对象帧相对应的对象比特数。
本发明(第5方面)所涉及的图象处理方法，在作为显示处理单位的每帧中，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括帧比特数决定处理，决定分配给与成为上述编码处理的对象的对象帧相对应的视频信号的帧比特数；比特数分配比率决定处理，根据与构成上述对象帧的多个构成要素的复杂度的总和相对应的各构成要素的复杂度之比，决定分配给各对象图象数据的比特数的上述多个构成要素间的比率，对上述各对象图象数据进行编码，以使上述帧比特数根据上述各构成要素间的分配比特数的决定比率被分配给上述各对象编码数据。
本发明(第6方面)所涉及的图象处理装置，对于用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定装置，测定与在上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；比特数分配装置，根据构成成为上述编码处理的对象的对象帧的各构成要素的复杂度，给该各构成要素分配在该对象图象数据的编码时使用的比特数；编码器，根据给各构成要素分配的比特数，对与上述对象帧相对应的各对象图象数据进行编码，而生成对象编码数据；复用器，对与各构成要素相对应的对象编码数据进行复用，而生成比特流。
本发明(第7方面)，在第6方面所述的图象处理装置中，使上述比特数分配装置构成为根据与对象帧中的全部构成要素的复杂度的总和相对应的各构成要素的复杂度的比率，来进行与上述各构成要素相对应的比特数的分配。
本发明(第8方面)，在第6方面所述的图象处理装置中，使上述复杂度测定装置构成为把第一值、第二值、第三值或者第四值中的任一个值作为指标，来测定上述构成要素的复杂度，该第一值表示构成上述各构成要素的象素的象素值的分散，该第二值表示上述各构成要素的显示图象的时间上的变动的大小，该第三值是对该对象帧以前进行编码处理的前处理帧中的对应构成要素进行编码时的发生比特数，通过对象帧和前处理帧之间的表示相同构成要素的特性的系数的比率来进行加权而得到，该第四值表示在一定编码条件下对与上述各构成要素相对应的对象图象数据进行预备编码时所发生的，与各构成要素相对应的发生比特数。
本发明(第9方面)，在第6方面所述的图象处理装置中，使上述比特数分配装置构成为对上述比特流进行解码处理的图象解码装置中的，存储与从上述比特流所分离的各构成要素相对应的编码对象数据的一个缓冲器，在不会溢出或者下溢的情况下，把分配给与上述对象帧相对应的视频信号的帧比特数分配给该各构成要素。
本发明(第10方面)所涉及的数据存储媒体，存储图象处理程序，其特征在于，存储用于通过计算机进行第1方面所述的图象处理方法中的视频信号的编码处理的程序，来作为上述图象处理程序。
本发明(第11方面)所涉及的图象处理方法，包括发送侧数据处理，通过编码处理对每帧把用于显示预定图象的视频信号变换为比特流，发送该比特流；接收侧数据处理，接收该比特流，通过解码处理对每帧把该比特流变换为重放数据，其特征在于，上述发送侧数据处理包括对象编码处理，对与构成上述预定图象的多个构成要素相对应的成为编码处理的对象的对象帧的对象图象数据在每个构成要素中分别进行编码，并变换为对象编码数据；复用处理，对与各构成要素相对应的对象编码数据进行复用，而生成上述比特流，上述接收侧数据处理包括数据存储处理，对每帧在一个缓冲器中存储上述比特流；解码处理，从上述缓冲器读出与对象帧相对应的比特流，按各构成要素不同地对读出的比特流进行解码，而生成与该各构成要素相对应的重放数据；合成显示处理，把与上述各构成要素相对应的重放数据进行合成，而生成合成数据，根据该合成数据显示上述预定的图象。
本发明(第12方面)，在第11方面所述的图象处理方法中，上述对象编码处理包括比特数决定处理，在上述缓冲器不会溢出或者下溢的情况下，决定分配给成为编码对象的对象帧的帧比特数；比特数分割处理，根据构成上述对象帧的各构成要素的复杂度，分配上述帧比特数以便于与该各构成要素相对应，决定与各构成要素相对应的对象比特数，根据该各对象比特数，来对与上述对象帧的各构成要素相对应的对象图象数据进行编码。
本发明(第13方面)所涉及的图象处理装置，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，把对该各对象编码数据进行复用而得到的复用编码数据进行解码，其特征在于，包括分离器，从上述复用编码数据分离出与上述各构成要素相对应的对象编码数据；一个缓冲器，存储与上述各构成要素相对应的对象编码数据；解码器，从该缓冲器取出与上述各构成要素相对应的对象编码数据来进行解码。
本发明(第14方面)所涉及的图象处理方法，在作为显示处理的单位的每帧中，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度导出处理，求出对与各构成要素相对应的对象图象数据进行预备编码而得到的与各构成要素相对应的发生比特数，来作为各构成要素的复杂度；帧分配率导出处理，求出未进行本编码处理的所有未编码帧的复杂度的总和与成为本编码处理的对象的对象帧的复杂度之比，来作为帧分配率；帧比特数决定处理，把上述帧分配率乘以分配给上述视频信号的总比特数中的未使用比特数，来决定分配给上述对象帧的比特数；分配率导出处理，求出构成上述对象帧的所有构成要素的复杂度的总和与成为本编码处理的对象的构成要素的复杂度之比，来作为构成要素分配率；构成要素比特数决定处理，把上述构成要素分配率乘以分配给上述对象帧的比特数，来决定分配给上述对象构成要素的比特数；构成要素编码处理，根据分配给各构成要素的比特数，分别对与构成上述对象帧的各构成要素相对应的对象图象数据进行编码。
本发明(第15方面)所涉及的图象处理装置，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定器，导出通过与上述各构成要素相对应的对象图象数据的预备编码而发生的，与各构成要素相对应的发生比特数，来作为各构成要素的复杂度的指标；帧分配率导出器，求出来进行本编码处理的所有未编码帧的复杂度的总和与成为本编码处理的对象的对象帧的复杂度之比，来作为帧分配率；帧比特数决定器，把上述帧分配率乘以分配给上述视频信号的总比特数中的未使用比特数，来决定分配给上述对象帧的比特数；分配率导出装置，求出构成上述对象帧的所有构成要素的复杂度的总和与成为本编码处理的对象的构成要素的复杂度之比，来作为构成要素分配率；构成要素比特数决定装置，把上述构成要素分配率乘以分配给上述对象帧的比特数，来决定分配给上述对象构成要素的比特数；编码装置，根据分配给各构成要素的比特数，分别对构成上述对象帧的各构成要素进行编码，来生成对象编码数据；复用器，对与上述多个构成要素相对应的对象编码数据进行复用，并输出比特流。
本发明(第16方面)所涉及的数据存储媒体，存储图象处理程序，其特征在于，存储用于通过计算机进行第14方面所述的图象编码方法中的视频信号的编码处理的程序，来作为上述图象处理程序。
本发明(第17方面)所涉及的图象处理方法，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，上述对象编码处理包括复杂度测定处理，测定与上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；比特率比率决定处理，根据上述各构成要素的复杂度，来决定与各构成要素相对应的对象编码数据的比特率的该多个构成要素间的比率，根据与上述各构成要素相对应的比特率的比率，来以预定的比特率对与各构成要素相对应的对象图象数据进行编码，以使所有的与构成要素相对应的比特率的总和为恒定值。
本发明(第18方面)所涉及的图象处理方法，对与由上述第17方面所述的图象处理方法所得到的各构成要素相对应的对象编码数据进行复用而形成的复用编码数据进行解码，其特征在于，包括分离处理，从上述复用编码数据分离出与上述各构成要素相对应的对象编码数据；存储处理，把与上述各构成要素相对应的对象编码数据存储在一个缓冲器中；解码处理，从该缓冲器取出与上述各构成要素相对应的对象编码数据来进行解码。
本发明(第19方面)，在第17方面所述的图象处理方法中，上述对象编码处理包括编码条件决定处理，在上述缓冲器不会溢出或者下溢的情况下，根据各构成要素的复杂度，来决定与该各构成要素相对应的比特率的比率和与各构成要素相对应的存储到上述缓冲器中的对象编码数据的最大量，根据与上述各构成要素相对应的比特率的比率，以预定的比特率对与各构成要素相对应的对象图象数据进行编码，以使所有的与构成要素相对应的比特率的总和为恒定值。
本发明(第20方面)，在第17方面所述的图象处理方法中，使用第一值、第二值、第三值或者第四值中的任一个值作为表示上述各构成要素的复杂度的指标，该第一值表示构成上述各构成要素的象素的象素值的分散，该第二值表示上述各构成要素的显示图象的时间上的变动的大小，该第三值是对在成为上述编码处理的对象的对象帧以前进行编码处理的前处理帧中的对应构成要素进行编码时的发生比特数，通过对象帧和前处理帧之间的表示相同构成要素的特性的系数的比率来进行加权而得到，该第四值表示在一定编码条件下对与上述各构成要素相对应的对象图象数据进行预备编码时所发生的，与各构成要素相对应的发生比特数。
本发明(第21方面)所涉及的图象处理方法，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，上述对象编码处理包括复杂度测定处理，测定与上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；编码条件决定处理，根据与上述所有构成要素的复杂度的总和相对应的各构成要素的复杂度的比率，来决定与该各构成要素相对应的对象编码数据的比特率的上述多个构成要素间的比率和与各构成要素相对应的存储到解码侧的缓冲器中的对象编码数据的最大量，根据与上述各构成要素相对应的比特率的比率，以预定的比特率对与各构成要素相对应的对象图象数据进行编码，以使所有的与构成要素相对应的比特率的总和为恒定值。
本发明(第22方面)所涉及的图象处理装置，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定装置，测定与上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；编码条件决定装置，根据上述各构成要素的复杂度，来决定与该各构成要素相对应的个别比特率以及与各构成要素相对应的作为存储到解码侧的缓冲器中的对象编码数据的最大量的个别缓冲器尺寸；控制器，根据上述所决定的个别比特率和个别缓冲器尺寸，来输出控制信号；编码器，一边根据上述控制信号控制由该编码处理而发生的比特率，一边进行与上述构成要素相对应的对象图象数据所对应的编码处理，输出与各构成要素相对应的对象编码数据；复用器，对与上述各构成要素相对应的对象编码数据进行复用，而生成比特流。
本发明(第23方面)，在第22方面所述的图象处理装置中，上述编码条件决定装置根据上述各构成要素的复杂度来给各构成要素分配传输路径的最大传输比特率，并决定与各构成要素相对应的个别比特率，根据上述各构成要素的复杂度来给该各构成要素分配上述解码侧的一个缓冲器的最大数据存储量，并决定上述个别缓冲器尺寸。
本发明(第24方面)所涉及的数据存储媒体，存储图象处理程序，其特征在于，存储用于通过计算机进行第17方面所述的图象处理方法中的视频信号的编码处理的程序，来作为上述图象处理程序。
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中图1是用于说明本发明的实施例1的图象处理方法的图，表示该图象处理方法所进行的编码处理的简要流程；图2是用于说明本发明的实施例1的图象编码装置(图象处理装置)的方框图；图3是用于说明本发明的实施例1的图象解码装置(图象处理装置)的方框图4是表示上述实施例1的图象编码方法(图象处理方法)所进行的具体的编码处理的流程的图；图5是表示上述实施例1的图象编码方法(图象处理方法)所进行的详细的编码处理的流程的图；图6是通过缓冲器占有量的时间迁移来表示通过上述实施例1的图象编码方法进行处理而得到的编码数据占有接收侧的解码器缓冲器的情况的模式图；图7是用于说明本发明的实施例2的图象解码装置(图象处理装置)的方框图；图8是表示本发明的实施例2的图象编码方法(图象处理方法)的编码处理的流程的图；图9是用于说明本发明的实施例3的图象解码装置(图象处理装置)的方框图；图10是表示本发明的实施例3的图象编码方法(图象处理方法)的编码处理的流程的图；图11是表示本发明的实施例3的变形例的图象编码方法(图象处理方法)的编码处理的流程的图；图12是用于说明用于存储通过计算机系统来实现上述各个实施例的图象编码方法的程序的数据存储媒体(图12(a)，(b))和计算机系统(图(c))的图；图13是用于说明构成现有的图象传输系统的编码装置和解码装置的方框图；图14是表示构成现有的图象传输系统的解码装置中的编码数据的缓冲器占有量的迁移的模式图，图14(a)，(b)，(c)分别表示与第一，第二，第三构成要素相对应的图；图15是用于说明构成本发明的实施例1的图象编码装置的编码器的构成的方框图；图16是用于说明构成本发明的实施例1的图象解码装置的解码器的构成的方框图；图17是用于说明本发明的实施例3的变形例的图象编码装置的编码处理的模式图，图17(a)，(b)，(c)分别表示与第一，第二，第三构成要素相对应的比特率和缓冲器尺寸Bo(1)，Bo(2)，Bo(3)。
下面对本发明的实施例进行说明。
(实施例1)图1是用于说明本发明的实施例1的图象处理方法的图，概略地表示该图象处理方法所进行的编码处理的流程。
并且，该实施例1对应于栈发明1～13方面。
首先，当开始进行该编码处理时(步骤S101)，输入构成与预定图象相对应的视频信号的与多个构成要素(对象)相对应的图象数据(对象图象数据)(步骤S102)。
接着，测定与上述各构成要素相对应的1帧的图象的复杂度(步骤S103)。在本实施例中，使用各构成要素的象素的象素值的分散值来作为上述1帧的图象的复杂度。即，求出与构成要素的1帧相对应的全部象素值的平均值，求出各象素值与平均值的差分的绝对值，把各绝对值之和作为分散值。在构成要素的大小不同时，通过各构成要素的图象尺寸来进一步把分散值标准化。
接着，根据测定的复杂度，决定分配给各构成要素的对应的编码数据的每一帧的比特数(步骤S104)。根据决定的每一帧的比特数，对与各构成要素相对应的图象数据进行编码(步骤S105)。由此，编码处理结束(步骤S106)。
其中，用于决定上述每一帧的比特数的指标并不仅限于上述分散值，例如，也可以把各构成要素的运动的大小作为指标，来决定每一帧的比特数。具体地说，使分配给静止的构成要素的图象的比特数较多，而抑制分配给运动较大的构成要素的图象的比特数。
以下对进行上述实施例1的图象处理方法的编码处理的图象处理装置(图象编码装置)以及对由该编码处理所生成的编码数据进行解码的图象处理装置(图象解码装置)进行说明。
图2是用于说明上述图象编码装置的方框图。
上述图象编码装置110a具有根据控制信号215对与第一对象(构成要素)相对应的图象数据212进行编码并输出编码数据218的第一编码器204、根据控制信号216对与第二对象(构成要素)相对应的图象数据213进行编码并输出编码数据219的第二编码器205、根据控制信号217对与第三对象(构成要素)相对应的图象数据214进行编码并输出编码数据220的第三编码器206。
并且，上述图象编码装置110a还具有对与各对象相对应的编码数据218，219，220进行复用并作为复用比特流221而输出的复用器207、根据表示上述第一，第二，第三对象的图象的复杂度的信息222，223，224和上述各编码数据218，219，220来发生上述控制信号215，216，217的比率控制器211。
其中，上述比率控制器211包括帧比特数决定装置210，根据来自上述各编码器204，205，206的编码数据218，219，220，来决定分配给合成上述各对象的图象而得到的合成图象的1帧的比特数，并输出帧比特数信息210a；对象比特数决定装置209，根据表示上述各对象的图象的复杂度的信息222～224和帧比特数信息210a来给各构成要素分配上述合成图象1帧的比特数，并决定各构成要素1帧的比特数。
在图2中，201、202、203分别是输入各对象的图象数据的输入端子，208是复用比特流221所输出的输出端子。
图15是表示上述第一编码器的具体构成的方框图。并且，虽然其中仅表示了上述第一编码器204的构成，但第二编码器205和第三编码器206为与上述第一编码器204相同的构成。
上述第一编码器204对与对象即任意形状的图象相对应的图象数据进行编码。该与任意形状的图象相对应的图象数据包含表示图形(结构)并包含亮度信号和色差信号的结构数据、表示该图象的形状的形状数据(所谓有意义信号或者形状信号)。有意义信号表示构成结构的各样本(象素)是否属于对象的内部，属于对象内部的样本是有意义的，另一方面，不属于对象内部的样本是没有意义的。在本实施例中，当结构的样本没有意义时，对应的有意义信号取0值。并且，结构的样本在对应的有意义信号取0以外的值时为有意义的。
即，上述第一编码器204具有分块器(未图示)，把与第一对象的各帧相对应的结构数据Ts分割成由作为编码处理的单位的16×16象素组成的块，并输出与各块相对应的图象数据1516，该图象数据1516提供给输入端子1501。
上述第一编码器204具有第一加法器1502，通过进行编码处理的被处理帧中的对象块(成为编码处理的对象的块)的图象数据1516同与其相对应的预测数据1526的相减处理，来输出差分数据1517；信息压缩器1503，对该第一加法器1502的输出1517进行信息压缩处理；可变长编码器(VLC)1511，对该信息压缩器1503的输出1519进行可变长编码处理，把编码数据218输出给输出端子1506。
其中，上述信息压缩器1503包括DCT器1504，对上述差分数据1517进行把空间区域的数据变换为频率区域的数据的离散余弦变换处理；量化器1505，根据来自上述对象比特数决定装置209的控制信号215对该DCT器1504的输出1518进行量化，而生成量化系数，把该量化系数作为上述信息压缩器1503的输出1519而输出。其中，该量化器1505具有量化步长导出器(未图示)，根据从上述对象比特数决定装置209作为控制信号215所提供的第一构成要素1帧的比特数，来导出量化步长。上述DCT器1504的输出1518以所导出的量化步长被量化。
把由对上述由16×16象素组成的块进行四等分而得到的由8×8象素组成的小块作为单位，来进行上述离散余弦变换处理。
并且，上述第一编码器204具有对上述信息压缩器1503的输出1519进行信息扩展处理的信息扩展器1507、把该信息扩展器1507的输出1521与上述预测数据1526相加而输出重放数据1522的第二加法器1510。
其中，上述信息扩展器1507包括对上述信息压缩器1503的输出1519进行逆量化的逆量化器1508、对该逆量化器1508的输出1520进行把频率区域的数据变换为空间区域的数据的逆DCT处理的IDCT器1509。
而且，上述第一编码器204具有帧存储器1513，存储上述第二加法器1510的输出(重放数据)1522作为与后续处理帧相对应的参照图象数据；运动补偿器1515，根据结构运动矢量1528从上述帧存储器1513读出上述预测结构数据1526。
接着，上述第一编码器204具有分块器(未图示)，把与第一对象的各帧相对应的形状数据分割成作为编码处理的单位的由16×16象素组成的块，而输出与各块相对应的形状数据1536，该形状数据1536被提供给输入端子1530。
上述第一编码器204具有形状编码器1531，对上述形状数据1536进行形状编码处理，从输出端子1533输出形状编码数据1537，同时，把通过该形状编码数据的解码所得到的数据作为参照形状数据1538而输出给上述帧存储器1513；形状运动补偿器1532，根据形状运动矢量1540，从上述帧存储器1513读出预测形状数据1514。
接着，上述第一编码器204具有运动检测器1514，根据在上述帧存储器1513中所存储的与现处理帧相对应的参照结构数据和参照形状数据1524、对象块的结构数据1516和形状数据1536，来求出与现处理帧的对象块相对应的结构运动矢量1528和形状运动矢量1540，并输出。
下面对以上那样构成的任意形状图象编码装置110a的动作进行说明。
该实施例的图象编码装置110a进行与由多个不同构成要素组成的图象相对应的视频信号的编码处理。
即，在上述视频信号由与鸟、云和天空的三个构成要素相对应的图象数据所构成的情况下，把与鸟、云和天空相对应的图象序列的数据分别输入上述输入端子201，202，203。其中，所谓序列是时间序列。图象由作为显示单位的多个帧组成，帧的时间序列为视频。在包含与多个构成要素相对应的图象数据的视频信号中，某个显示时刻的帧由多个构成要素的图象所构成。其中，作为列举的例子中，当合成某个显示时间中的鸟、云和天空的图象时，为预定场景的图象。而且，上述图象编码装置，把与矩形形状的图象和任意形状的图象相对应的数据作为编码处理的对象数据。例如，在该例中，在矩形形状的图象中，使用天空作为背景。鸟和云分别具有任意形状，且是任意形状的图象。
当在上述输入端子201，202，203中分别输入与各构成要素相对应的图象数据212，213，214时，这些图象数据分别由对应的编码器204，205，206根据控制信号215，216，217进行编码。此时，在上述比率控制器211中，通过帧比特数决定装置210根据来自各编码器的压缩数据来求出分配给合成图象的1帧的帧比特数，接着，该帧比特数根据各对象的图象的复杂度被分割，而求出分配给各对象的1帧的编码数据的比特数。接着，表示这些分配给各对象的1帧的编码数据的比特数的信息，作为控制信号215，216，217而输出给上述各编码器204，205，206。
下面对上述各编码器中的动作进行说明。但是，由于第二、第三编码器的动作与上述第一编码器的动作相同，在此仅对第一编码器的动作进行说明。
当与任意形状的图象(对象的图象)相对应的结构数据1516和形状数据1536分别输入到输入端子1501和1530中时，由运动检测器1514使用结构数据1516和形状数据1536来进行运动检测处理。
在本实施例中，输入上述各输入端子1516和1530的结构数据和形状数据分别为与由16×16样本组成的块相对应的数据。在上述运动检测器1514中，通过块匹配等的方法，参照在帧存储器1513中所存储的参照数据来检测与成为编码的对象的对象块相对应的运动的变位信息(运动矢量)。其中，上述参照数据是对与已经进行了编码处理的已处理块相对应的编码结构数据和编码形状数据进行解码而得到的。
此时，与对象块的形状数据相对应的运动矢量1540被提供给形状运动补偿器1532，由该形状运动补偿器1532从参照数据中的形状成分来生成形状预测数据1541。接着，运动矢量1540被送给可变长编码器(VLC)1511，变换为可变长代码。
在运动补偿器1532中，根据上述形状运动矢量1540，从在上述帧存储器1513中所存储的参照形状数据，来生成与对象块相对应的形状预测数据1541。
当对象块的形状数据和由运动补偿器1532所生成的形状预测数据被输入形状编码器1531时，用与MPEG4方式相同的方法参照形状预测数据，对对象块的形状数据进行算术编码处理，作为形状编码数据1537输出给输出端子1533。另一方面，由该形状编码器1531对该形状编码数据进行解码处理而得到的形状解码数据1538被送给帧存储器1513，作为参照形状数据被存储。
当与结构数据相对应的运动矢量1528被提供给运动补偿器1515时，由该运动补偿器1515从参照结构数据生成与对象块相对应的预测结构数据1526。此时，运动矢量1528被送给可变长编码器(VLC)1511，变换为可变长代码。
当与上述对象块相对应的结构数据1516和预测结构数据1526被提供给第一加法器1502时，这些数据的差分数据1517被求出，该差分数据由信息压缩器1503进行压缩。在本实施例中，上述差分数据1517由DCT器1504和量化器1505分别进行频率变换处理和量化处理，变换为压缩数据1519。
量化的数据即压缩数据1519由可变长编码器(VLC)1511变换为可变长代码，与包含运动矢量的其他侧边信息一起从输出端子1506被输出。
接着，从上述各输出端子1506，1533所输出的可变长代码按预定的顺序排列，作为编码数据218被送给图2所示的复用器207。
与第二，第三对象相对应的图象数据同与上述第一对象相对应的图象数据一样进行编码，分别对应的编码数据219，220被提供给上述复用器207。
接着，在上述复用器207中，与上述各对象相对应的编码数据被复用，作为一个比特流(复用编码数据)221被输出。这样的比特流由接收侧的图象解码装置进行重放。
图3是用于说明实施例1的图象解码装置的方框图。
该图象解码装置110b具有分离器302，作为输入数据319而接收来自上述图象编码装置110a的复用比特流221，从该输入数据319抽出与各对象相对应的编码数据309，310，311；一个缓冲器304，存储与各对象相对应的编码数据309，310，311；第一开关303，设在上述缓冲器304与上述分离器302之间，选择从上述分离器302所输出的与各对象相对应的编码数据中的一个输出给上述缓冲器。其中，信号312是上述开关303的选择输出，即由该开关所选择的信号。
上述图象解码装置110b具有解码器305，对在上述缓冲器304中所存储的编码数据进行解码，输出与各对象相对应的解码数据314；第二开关306，分离出从该解码器305所输出的解码数据314中包含的与各对象相对应的解码数据315，316，317并输出；合成器307，合成与从该开关306所输出的各对象相对应的解码数据315，316，317，而输出与合成图象相对应的重放数据318。
在图3中，301是输入来自上述图象编码装置110a的复用比特流221的解码装置110b的输入端子，308是输出上述重放数据318的解码装置110b的输出端子。
图16是表示上述解码器的具体构成的方框图。
该解码器305具有第一数据解析器1621，通过与各对象相对应的编码数据(以下称为压缩数据)的解析，输出成为解码处理的对象的对象块的形状运动矢量1626；运动补偿器1623，根据该形状运动矢量1626从参照形状数据1629生成与对象块相对应的预测形状数据1628；形状解码器1622，根据通过上述第一数据解析器1621的压缩数据1625和上述预测形状数据1628，而生成与对象块相对应的形状解码数据1627。
上述解码器305还具有数据解析器1602，通过经过上述形状解码器1622的编码数据1611的解析，抽出与对象块相对应的结构运动矢量1618和与量化系数相对应的可变长代码1612；运动补偿器1610，根据该结构运动矢量1618从参照结构数据1617来生成与对象块相对应的预测结构数据1620。
接着，上述解码器305具有系数可变长解码器1608，通过对上述可变长代码1612的可变长解码处理，来生成上述量化系数1619；信息扩展器1603，通过对上述量化系数1619的信息扩展处理而输出解码数据1614；加法器1606，通过上述解码数据1614和预测数据1620的相加处理，输出重放数据1615。其中，上述信息扩展器1603包括对上述量化系数1619进行逆量化处理而生成频率区域的数据1613的逆量化器1604、对该频率区域的数据1613进行逆频率变换处理而输出空间区域的数据作为与对象块相对应的解码数据1614的IDCT器1605。
而且，上述解码器305具有帧存储器1609，存储上述解码形状数据1627和重放结构数据1615，同时，分别向运动补偿器1623，1610输出参照形状数据1629和参照结构数据1617。
下面对上述图象解码装置110b的动作进行说明。
当来自发送侧的比特流319输入输入端子301时，由分离器302把上述比特流分离为与各个构成要素相对应的编码数据，经过切换开关303而送给缓冲器304。在该缓冲器304中存储所有的与构成要素相对应的编码数据。
该缓冲器304用于在多个对象间吸收与各对象相对应的每帧的比特数的变动，则各对象的编码数据的比特串以一定比率(传输率)被输入缓冲器304。当在该缓冲器中积存了某显示时刻的与合成图象的1帧相对应的数据时，从该缓冲器依次向解码器305读出编码数据，由该解码器305进行解码。
通过上述解码器305中的解码处理所得到的与各构成要素相对应的解码数据经过切换开关306被送给合成器307。在该合成器307中，对与各构成要素相对应的解码数据315，316，317进行合成，与由多个构成要素组成的预定场景相对应的重放数据318经过输出端子308输出给显示装置。
下面对上述解码器305的动作进行说明。
当包含各对象相对应的编码结构数据和编码形状数据的比特流1624被输入到输入端子上时，在数据解析器1621中，与形状运动矢量相对应的可变长代码通过该数据解析而变换为具有预定值的形状运动矢量1626。当该形状运动矢量1626被输出给运动补偿器1623时，在运动补偿器1623中，根据运动矢量，从帧存储器1609的参照形状数据1629生成与成为解码处理对象的对象块相对应的预测形状信号1628。
在上述形状解码器1622中，根据该形状预测信号1628来生成与对象块相对应的形状解码数据1627，并存储在帧存储器1609中。并且，通过上述形状解码器1622的编码数据1611被提供给第二数据解析器1602。
接着，进行编码结构数据的扩展处理。
即，在数据解析器1602中，通过上述编码数据1611的数据解析，与结构运动矢量相对应的可变长代码被变换为具有预定值的结构运动矢量1618，同时，抽出与量化系数相对应的可变长代码1612。当运动矢量1618被送给运动补偿器1610时，在运动补偿器1610中，根据该运动矢量，从帧存储器1609内的参照结构信号生成与对象块相对应的预测结构信号1620。
另一方面，可变长代码1612由系数可变长解码器1608变换为具有预定值的量化系数1619，由逆量化器1604对量化系数1619进行逆量化处理，而生成频率区域的数据1613。该频率区域的数据1613由IDCT器1605通过逆频率变换处理而变换为空间区域的数据1614，作为结构解码数据1614被输出。
这样，在加法器1606中，把对象块的结构解码数据1614和预测结构数据1620相加，而生成重放结构数据1615。该重放结构数据1615被存储在帧存储器1609中。
在该实施例1中，使用图15所示的作为第一～第三编码器，使用图16所示的作为解码器，但上述编码器和解码器的构成并不仅限于此。
例如，编码器可以使用方形、小波编码(ゥェ-ブレット)等方法作为数据压缩处理的方法，解码器可以使用与这些数据压缩处理的方法相对应的数据扩展处理的方法。
在上述实施例1中，作为图象编码装置，如图2所示的那样，表示了进行与三个对象相对应的图象数据的编码处理的构成，但图象编码装置的构成并不仅限于此。上述图象编码装置一般可以为对与任意数量的对象相对应的图象数据进行编码的构成。
在上述实施例1中，图象编码装置具有多个输入端子，但也可以为向一个输入端子输入与多个构成要素相对应的图象数据的构成。
在上述实施例1中，表示了矩形形状的图象和任意形状的图象作为构成要素，但是，构成要素可以仅是矩形形状的图象。在此情况下，图15所示的编码器204中的用虚线围住的形状编码部1534不动作，同样，图16所示的解码器305中的用虚线围住的形状解码部1624不动作。
如上述那样，在图2所示的图象编码装置110a中，从输入端子201，202，203所输入的各构成要素的图象数据由对应的编码器204，205，206进行编码。所编码的图象数据(编码数据)218，219，220分别送给复用器207，同时，送给比率控制器211。
由该比率控制器211的帧比特数决定装置210来对编码数据的比特数进行计数，根据被处理帧之前发生的比特数来决定下一个处理帧的比特数。
在本实施例1中，按以下这样来从帧(i-1)的各构成要素的发生比特数来决定帧(I)的比特数。
其中，在与由多个构成要素组成的合成图象的每秒的帧数相对应的编码数据中所需要的比特数为总比特数N。
首先，在与帧(i-1)的各构成要素相对应的编码处理结束的时刻，求出其发生比特数的合计。当该时刻的发生比特数的合计为F(i-1)时，通过N-F(i-1)来求出剩余的比特数R。该剩余的比特数R用于对下一帧以后的构成要素进行编码。
接着，用一秒的剩余的帧数均等地除以剩余的比特数R。这样，得到帧(i)的帧比特数F(i)。
在对象比特数决定装置209中，在下一个处理帧(i)的编码处理中使用的比特数F(i)被分配给构成帧(i)的构成要素的图象。
上述帧比特数的分配根据各构成要素的复杂度的测定值来进行。在本实施例中，使用以下方法(1)～(4)中任一个方法来测定构成要素的图象的复杂度。
(1)作为复杂度的指标，使用构成各构成要素的图象数据的象素值的分散值。即，求出相当于构成要素的1帧的象素值的平均，求出各象素值与平均值的差分的绝对值，把各绝对值之和作为分散值。在构成要素的大小不同的情况下，进一步根据图象的尺寸来把上述分散值标准化。
(2)对于进行运动补偿预测编码处理的图象，把从与参照帧相对应的图象数据所得到的预测数据的与被处理帧相对应的图象数据对应误差作为复杂度的指标。具体地说，从与被处理帧相对应的图象数据，以象素单位减去从与参照帧相对应的图象数据所得到的预测数据，把其差分值的绝对值之和作为复杂度的指标。
(3)把与帧(i-1)中的各构成要素相对应的发生比特数作为帧(i)中的各构成要素的复杂度的推定值。并且，为了使该推定值更正确，使用帧(i-1)中的与构成要素(j)相对应的分散值同帧(i)中的与构成要素(j)相对应的分散值之比，对帧(i-1)中的各构成要素(j)的发生比特数进行加权，把其作为帧(i)中的各构成要素的复杂度的推定值。
(4)预先对与帧(i)的各构成要素相对应的图象数据进行编码，把该编码处理中发生的比特数作为各构成要素的图象的复杂度的指标。在本实施例中，用固定量化步长对帧(i)中的所有构成要素进行编码。该方法是在图象数据的编码处理中的延迟没有问题情况下所使用的多次编码方法。
上述各构成要素的复杂度被预先测定，表示该复杂度的信息222，223，224被输入上述比率控制器211。
在图2中没有表示测定上述复杂度的电路构成。
根据这样决定的复杂度，由上述对象比特数决定装置209决定分配给各构成要素的比特数，输出给对应的编码器204，205，206，在各编码器中进行与各构成要素相对应的图象数据的编码处理，以使编码数据中的比特数为所决定的比特数。
图4表示包含比率控制器211中的具体处理的编码处理的处理流程。
当开始进行编码处理(步骤S401)时，与帧(i)的构成要素相对应的图象数据被输入(步骤S402)。各构成要素的图象的复杂度被测定(步骤S403)。具体的方法按上述那样进行。
根据从各编码器所输出的编码数据218～220，决定分配给帧(i)的比特数(步骤S404)。具体的方法按上述那样进行。
接着，根据各构成要素的图象的复杂度，分配给帧(i)的比特数被分配给各构成要素(步骤S405)。根据与各对象相对应的分配比特数来对各构成要素的图象数据进行编码(步骤S406)。然后，进行判定成为编码处理的对象的被处理帧是否是图象序列最后的帧，如果是最后的，编码处理结束(步骤S408)，如果不是最后的，重复进行上述步骤S402～S407的处理。这样，上述编码处理重复进行直到最后的帧为止。
图5表示上述实施例1的图象编码方法的更具体的处理。
当开始进行编码处理(步骤S501)时，与帧(i)的构成要素相对应的图象数据被输入(步骤S502)。接着，在步骤S503中，测定帧(i)的图象中的构成要素(j)的复杂度C(i，j)。具体的方法按上述那样进行。在步骤S504中，决定分配给与帧(i)相对应的编码数据的比特数Tf(i)。具体的方法按上述那样进行。
在步骤S505中，调整上述帧比特数Tf(i)，以便于满足图象解码装置110b中的缓冲器304的条件。即，帧比特数Tf(i)必须满足以下条件以使该缓冲器304不会溢出或者下溢B(i-1)+2R/P-B＜Tf(i)≤B(i-1)+R/P…(1)其中，B(i-1)是从缓冲器取出与显示时刻(i-1)中的帧(i-1)相对应的编码数据时刻上的该缓冲器的数据占有量，B是缓冲器304的尺寸(最大数据存储量)，R是比特率，P是帧率。
在不满足上述条件的情况下，即，当帧比特数Tf(i)为由上述(1)式所示的范围最小值以下时，帧比特数Tf(i)被设定为上限，另一方面，当帧比特数Tf(i)超过由上述(1)式所示的范围最大值时，帧比特数Tf(i)被设定为下限。
接着，在步骤506中，根据与帧(i)的构成要素(j)的图象相对应的复杂度C(i，j)，帧(i)的比特数Tf(i)被分配给各构成要素。具体地说，按照以下(2)式来进行上述帧比特数Tf(i)的分配To(i，j)＝Tf(i)×C(i，j)/∑C(i，j)…(2)即，按照帧(i)的各构成要素(j)[j＝1，2，…，J)的复杂度之和与构成要素(j)的图象的复杂度之比，来分配比特数Tf(i)。
最后，根据分配给各构成要素的比特数，进行各构成要素的图象数据的编码处理(步骤S508)。然后，判定成为编码处理的对象的被处理帧是否是图象序列的最后的帧(步骤S509)，如果是最后的，编码处理结束(步骤S510)，如果不是最后的，重复进行上述步骤S502～S509的处理。这样，上述编码处理重复进行直到最后的帧为止。
这样，在本实施例1中，对与构成场景的各个构成要素相对应的编码数据进行解码处理和合成处理的接收侧的图象解码装置具有一个缓冲器，存储与各构成要素相对应的编码数据，在该缓冲器中存储与构成一帧的所有构成要素相对应的编码数据，因此，可以通过多个构成要素的编码数据来共用一个缓冲器，而能够有效地利用缓冲器。
而且，对各构成要素动态地分配比特数，以使所有的构成要素的分配比特数之和不超过缓冲器的容量，因此，减少了图象简单的构成要素的分配比特数，增多了图象复杂的构成要素的分配比特数，由此，能够提高图象整体的画质。
图6是通过曲线图来表示图3所示的缓冲器304的数据占有量的迁移。纵轴表示缓冲器的数据占有量，横轴表示时间。该曲线的倾斜部分604的斜率表示在所有构成要素之间把与各构成要素相对应的编码数据的比特率进行平均而得到的比特率，把由该比特率来构成所有的构成要素的编码数据的比特串输入到缓冲器304中。
上述曲线中的纵线部分506的长度表示分配给构成显示时间t0的帧的所有构成要素的比特数的总数(总比特数)。
该总比特数可以根据构成要素的复杂度而适当地进行分配。例如，在显示时间t2，缓冲器被编码数据占有了其容量的极限，在缓冲器内的编码数据中，给对应于简单构成要素的用线606的长度表示的编码数据分配较少的比特数，给对应于复杂构成要素的用线607的长度表示的编码数据分配较多的比特数，其结果，提高了帧整体的画质。
(实施例2)图7是用于说明本发明的实施例2的图象解码装置(图象处理装置)的方框图。
该实施例2对应于本发明1，2，4～16方面。
本实施例2的图象编码装置120a具有根据控制信号728对与第一对象(构成要素)相对应的图象数据720进行编码并输出编码数据723的第一编码器704、根据控制信号729对与第二对象(构成要素)相对应的图象数据721进行编码并输出编码数据724的第二编码器705、根据控制信号730对与第三对象(构成要素)相对应的图象数据722进行编码并输出编码数据725的第三编码器706。
并且，上述图象编码装置120a还具有对与各对象相对应的编码数据723，724，725进行复用并作为复用比特流721而输出的复用器707、在每帧中存储对上述第一，第二，第三对象的图象数据进行编码时发生的比特数的发生比特数信息存储装置709、根据该发生比特数信息和上述编码数据723，724，725来发生上述控制信号728，729，730的比率控制器710。
其中，上述比率控制器710包括帧比特数决定装置711，根据该发生比特数信息709a和来自上述各编码器704，705，706的编码数据723，724，725，来决定分配给由上述各对象组成的合成图象的1帧的比特数；对象比特数决定装置712，使用在上述发生比特数信息存储装置709中所存储的各对象的一帧的比特数，来作为表示各对象的图象的复杂度的指标，把上述合成图象一帧的比特数分配给各构成要素，并决定各构成要素一帧的比特数。
在上述对象比特数决定装置712与上述各编码器704，705，706之间设置开闭开关714，715，716，来自上述对象比特数决定装置712的比特数信息728，729，730分别通过该开关714，715，716提供给上述各编码器704，705，706。
而且，在上述各编码器704，705，706的后段侧分别设置切换开关717，718，719，从各编码器所输出的编码数据723，724，725分别通过切换开关717，718，719而提供给复用器707和发生比特数信息存储装置709的一方。
并且，在上述发生比特数信息存储装置709与帧比特数决定装置711之间设置开闭开关734，与各对象相对应的编码数信息通过该开闭开关734提供给上述帧比特数决定装置711。
上述图象编码装置120a具有CPU 713作为上述各开闭开关714～716，734以及控制切换开关717～719的开关控制装置，上述各开关由上述CPU 713进行控制，以便于在进行预备编码处理时，上述各开闭开关714～716，734为断开状态，并且，通过切换开关717～719，各编码器与发生比特数信息存储装置709成为连接状态，另一方面，在进行正式编码处理时，上述各开闭开关714～716，734为接通状态，并且，通过切换开关717～719，各编码器与复用器707及帧比特数决定装置711成为连接状态。
在此，上述各编码器704，705，706具有与图15所示的实施例1的图象编码装置110a中的第一编码器204相同的构成。而且，在上述图象编码装置120a中，在预备编码处理中，上述各编码器中的量化处理以固定的量化宽度(量化步长)进行，在正式编码处理时，各编码中的量化处理以与来自上述对象比特数决定装置的控制信号728，729，730相对应的量化宽度(量化步长)来进行。
在图7中，701，702，703分别是输入各对象的图象数据的输入端子，708是输出复用比特流721的输出端子。
对从这样构成的实施例2的图象编码装置120a所输出的复用比特流721进行解码的图象解码装置为与图3所示的实施例1的图象解码装置110b相同的构成。
下面对其动作进行说明。
图8表示上述图象编码装置的编码处理的流程。
在本实施例2中，与实施例1相同，当该编码处理开始时(步骤S801)，输入构成帧(i)的与多个构成要素(对象)相对应的图象数据(步骤S802)。
在步骤S803中，对各构成要素的图象数据进行编码。其中，对各构成要素的图象数据进行包含固定量化宽度的量化处理的预备编码处理。
在步骤S804中，记录通过上述预备编码处理而发生的各构成要素的比特数S(i，j)。比特数S(i，j)是与构成帧(i)的构成要素(j)相对应的比特数。然后，进行成为编码处理的对象的被处理帧是否是图象序列的最后的帧的判定(步骤S5805)，如果不是最后的，重复进行上述步骤S802～S805的处理，另一方面，如果是最后的，预备编码处理结束。这样，上述预备编码处理重复进行直到最后的帧为止。
当上述预备编码完成时，进行正式编码处理。
即，再次输入构成帧(i)的与多个构成要素(对象)相对应的图象数据(步骤S806)。
在步骤S807中，从未编码帧的复杂度的总和与成为编码对象的对象帧(i)的复杂度之比，来求出剩余比特数的帧分配率，通过剩余比特数与帧分配率的乘积，来决定对象帧(i)的比特数Tf(i)。其中，剩余比特数是从分配给由多个构成要素组成的图象序列的总比特数扣除在进行了编码处理的已编码帧中使用的全部比特数的剩余的比特数。
在步骤S808中，调整上述帧比特数Tf(i)，以便于满足接收侧的图象解码装置中的缓冲器的条件。具体的调整方法与上述实施例1的步骤S505中的处理相同。
然后，在步骤S809中，从对象帧(i)中的构成要素的复杂度的总和∑S(i，j)与成为编码的对象的构成要素的复杂度S(i，j)之比来求出构成要素分配率，通过对象帧(i)的比特数Tf(i)与构成要素分配率的乘积(下式(3))，来决定分配给对象构成要素的比特数To(i，j)。
To(i，j)＝Tf(i)×S(i，j)/∑S(i，j)…(3)接着，根据决定的比特数To(i，j)，分别对对象帧(i)的构成要素进行编码(步骤S810)。然后，进行成为编码处理的对象的被处理帧是否是图象序列的最后的帧的判定(步骤S811)，如果不是最后的，重复进行上述步骤S806～S811的处理，另一方面，如果是最后的，正式编码处理结束(步骤S812)。这样，上述正式编码处理重复进行直到最后的帧为止。
从这样构成的实施例2的图象编码装置120a所输出的复用比特流通过与图3所示实施例1的图象解码装置110b进行解码。
这样，在本实施例2中，在预备编码的过程中，断开开关714，714，716，由各编码器对构成要素的图象数据进行包含固定量化宽度的量化处理的预备编码处理，根据从各编码器所输出的编码数据，把发生比特数存储到该存储装置709中，在正式编码处理中，闭合开关714，714，716，在比率控制器710中，向上述各编码器提供在发生比特数信息存储装置709中所存储的各对象相对应的发生比特数的信息所对应的控制信号728，729，730，因此，不仅能够给各构成要素动态地分配比特数，以使所有的构成要素的分配比特数之和不超过解码侧的缓冲器的容量，而且能够在帧间动态地分配在对各构成要素进行编码处理时发生的比特数。因此，能够给特定的构成要素的图象复杂的帧分配与特定的构成要素的图象简单的帧相对应的比特数的一部分。由此，能够进一步提高图象整体的画质。
(实施例3)图9是用于说明本发明的实施例3的图象解码装置的方框图。
该实施例3对应于本发明第13，17～24方面。
在本实施例3的图象编码装置130中，在对与各构成要素相对应的图象数据进行编码的过程中，测定各构成要素的图象的复杂度，根据该图象的复杂度，决定与各构成要素相对应的比特率和缓冲器尺寸，在这点上，与用实施例1和2的图象编码装置根据各构成要素的图象的复杂度把分配给帧的比特数分配给各构成要素的方案不同。
即，上述编码装置130具有根据控制信号951a对与第一对象(构成要素)相对应的图象数据911进行编码并输出第一编码数据917的第一编码器904、根据控制信号952a对与第二对象(构成要素)相对应的图象数据912进行编码并输出第二编码数据918的第二编码器905、根据控制信号953a对与第三对象(构成要素)相对应的图象数据913进行编码并输出第三编码数据919的第三编码器906、对各编码数据917，918，919进行复用并输出复用比特流924的复用器907。其中，上述各编码器904，905和906的构成与图15所示实施例1的图象编码装置110a中的第一编码器204相同。
并且，上述图象编码装置130具有对象复杂度测定装置910，根据上述各图象数据911，912，913来测定构成各构成要素的象素的个数(构成要素的尺寸)，作为表示各构成要素的复杂度的指标；编码条件决定装置(比特率，缓冲器尺寸决定装置)909，根据从对象复杂度测定装置910所输出的表示各构成要素的复杂度的信息923，决定与各构成要素相对应的比特率和缓冲器尺寸，输出表示与各构成要素相对应的所决定的比特率和缓冲器尺寸的控制信息920，921，922。
而且，上述图象编码装置130具有比率控制器951，根据上述控制信息920和编码数据917，来控制由第一编码器904在每单位时间发生的代码量(比特率)；比率控制器952，根据上述控制信息921和编码数据918，来控制由第二编码器905在每单位时间发生的代码量(比特率)；比率控制器953，根据上述控制信息922和编码数据919，来控制由第三编码器906在每单位时间发生的代码量(比特率)。
在图9中，901，902，903是输入与上述各构成要素相对应的图象数据911，912，913的输入端子，908是输出上述复用比特流924的输出端子。
对从这样构成的实施例3的图象编码装置130所输出的复用比特流924进行解码的图象解码装置为与图3所示的实施例1的图象解码装置110b相同的构成。
下面对其动作进行说明。
图10是表示上述图象编码装置的编码处理的流程的图。
在本实施例3中，当编码处理开始时(步骤S1001)，输入与构成视频(图象)的多个构成要素(对象)相对应的图象数据(步骤S1002)。在本实施例3中，把与实施例1相同的视频数据作为编码处理的对象。
接着，在步骤S1003中，测定各构成要素C(j)(j＝1，2，…，J)的图象的复杂度。其中，把构成要素的尺寸即构成所显示的对象的象素的个数作为复杂度的指标。
接着，决定与各构成要素相对应的比特率。此时，决定与各构成要素相对应的缓冲器尺寸。上述对象构成要素的比特率Ro(j)，如下式(4)所示的那样，通过把所有的构成要素的复杂度之和∑C(j)相对应的对象构成要素的复杂度C(j)之比根据传输路线的最大传输比特率乘以总比特率Rt来求出。
Ro(j)＝Rt×C(j)/∑C(j)…(4)同样，成为对象的构成要素的缓冲器尺寸Bo(j)，如下式(5)所示的那样，通过把与所有的构成要素的复杂度之和∑C(j)相对应的成为对象的构成要素的复杂度C(j)之比乘以图3所示的缓冲器304的最大数据存储容量Bt来决定。
Bo(j)＝Bt×C(j)/∑C(j)…(5)根据这样决定的比特率和缓冲器尺寸来进行对各构成要素的编码处理(步骤S1005)，当对最后的帧的编码处理结束时，编码处理结束(步骤S1006)。
对从这样构成的实施例3的图象编码装置130所输出的复用比特流通过与图3所示的实施例1的图象解码装置110b相同的构成的图象解码装置来进行解码。
这样，在本实施例3中，根据各构成要素的图象的复杂度来决定与构成一个场景的图象的各构成要素相对应的缓冲器尺寸和比特率，根据该所决定的缓冲器尺寸和比特率来对与各构成要素相对应的图象数据进行编码，因此，在与各构成要素相对应的编码数据的解码侧，与解码器相对应的单一的缓冲器的数据存储区域根据各构成要素的复杂度而动态地进行分配。由此，在解码侧，能够有效地利用与解码器相对应的单一的缓冲器的数据存储区域。
由于根据图象的复杂度来分配比特率，就能在最佳条件下对各构成要素进行编码，因此，能够提高重放的视频信号全体的画质，同时，使与各构成要素相对应的编码数据的传输率适合于具有有限的数据传输速度的实际通信线路。
在上述实施例3中，如图10的步骤S1003所示的那样，测定构成要素的尺寸即构成要素中的象素的个数，把所测定的象素的个数作为图象的复杂度的指标，来决定各构成要素的比特率和缓冲器尺寸，但比特率和缓冲器尺寸的决定方法并不仅限于此。
例如，如图11所示的那样，使编码处理开始进行(步骤S1101)，在视频的构成要素的数据被输入(步骤S1102)之后，测定通过对各构成要素的最初N帧(例如3帧)的编码处理而发生的比特率，把与各构成要素相对应的每一帧的平均发生比特数作为表示各构成要素的图象的复杂度C(j)(j＝1，2，…，J)的指标。在此情况下，根据指标来决定各构成要素的比特率Ro(j)和缓冲器尺寸Bo(j)(步骤S1104)，根据决定的比特率和缓冲器尺寸来进行对各构成要素的编码处理(步骤S1107)，编码处理结束(步骤S1106)。
并且，在上述实施例3的图象编码装置130中，当输入视频的各构成要素的数据时，测定各构成要素的图象的复杂度，把该各构成要素的图象的复杂度作为指标，来决定各构成要素的比特率和缓冲器尺寸，然后，根据所决定的比特率和缓冲器尺寸，对各构成要素的图象数据进行编码，但是，图象编码装置也可以这样构成在一定周期内进行各构成要素的图象的复杂度的测定，在每一定期间内更新比特率和缓冲器尺寸，根据所更新的比特率和缓冲器尺寸来对各构成要素的图象数据进行编码。
图17是用于说明这样的构成的图象编码装置的编码处理的模式图。图17(a)表示与第一构成要素相对应的比特率和缓冲器尺寸Bo(1)，图17(b)表示与第二构成要素相对应的比特率和缓冲器尺寸Bo(2)，图17(c)表示与第三构成要素相对应的比特率和缓冲器尺寸Bo(3)。
在图中，纵轴1701，1711，1721表示解码侧的缓冲器占有量，横轴1702，1712，1722表示压缩数据(编码数据)的显示时间t。并且，显示时间t0，t1，t2，t3，…表示例如第n，第(n+1)，第(n+2)，第(n+3)，…帧的显示时间。并且，上述图17(a)中的曲线的倾斜部分1704的斜率表示与第一构成要素相对应的比特率，虽然该比特率在图17(a)中没有表示，但通过每一定期间的更新而变动。并，上述曲线的横轴和垂直的纵线部分1705的长度表示与在时间t0中所显示的帧相对应的第一构成要素的编码数据的比特数。
上述图17(b)，(c)中的曲线的倾斜部分1714，1724的斜率表示与第二，第三构成要素相对应的比特率，虽然这些比特率在图17(b)，(c)中没有表示，但通过每一定期间的更新而变动。并且，上述曲线的横轴和垂直的纵线部分1715，1725的长度表示与在时间t0中所显示的帧相对应的第二，第三构成要素的编码数据的比特数。
其中，与第一构成要素相对应的缓冲器尺寸Bo(1)为恒定值，与第二，第三构成要素相对应缓冲器尺寸Bo(2)，Bo(3)通过每一定期间的更新而变化。而且，这些缓冲器尺寸Bo(2)，Bo(3)的变化是互补的，即，当一方增加时，另一方减少，当一方减少时，另一方增加。
在此情况下，与第三构成要素相对应的缓冲器尺寸的控制即随着比特率的增加使缓冲器尺寸增加的控制适合于图象品质优先于比特率的制约的构成要素。而且，与第二构成要素相对应的缓冲器尺寸的控制也就是使缓冲器尺寸变动以便于吸收其他构成要素的缓冲器尺寸的变动的控制能够适合于使对比特率的制约优先于图象品质的构成要素。
而且，作为上述实施例3中的复杂度的指标，除了上述构成要素的尺寸之外，还可以使用各构成要素的分散值(通过实施例1说明的方法(1)而得到的指标)、预测误差(通过实施例1说明的方法(2)而得到的指标)、或者动态的大小(静止或者较大的变动)的信息。而且，作为其他的复杂度的指标，可以使用通过实施例1说明的方法(3)或(4)而得到的指标。
而且，通过把用于实现上述各实施例所示的编码装置或者解码装置的构成的编码或者解码程序记录到软盘等数据存储媒体上，就能在独立的计算机系统中简单地实施上述各实施例所示的处理。
图12是用于说明通过计算机系统使用存储上述编码或者解码程序的软盘来实施上述实施例1至3的编码或者解码处理的情况的图。
图12(a)表示从软盘的正面看的外观、截面构造及软盘，图12(b)表示作为记录媒体本体的软盘的物理格式的例子。软盘FD内置在外壳F内，在该盘的表面上从外周向内周形成同心圆状的多个磁道Tr，各个磁道在角度方向上被分割成16个扇区Se。这样，在存储上述程序的软盘中，在上述软盘FD上所分配的区域中记录作为上述程序的数据。
图12(c)表示用于由软盘FD进行上述程序的记录重放的构成。当把上述程序记录到软盘FD上时，从计算机系统Cs通过软盘驱动器读入作为上述程序的数据。并且，当在计算机系统中通过软盘内的程序来构筑上述编码或者解码装置时，通过软盘驱动器从软盘读出程序，传输给计算机系统。
在上述说明中，使用软盘作为数据记录媒体来进行说明，但是，同样也可以使用光盘来进行。而且，记录媒体并不仅限于此，如果是IC卡、ROM盒式磁带等以及能够记录程序的介质，同样能够实施。
如上述那样，根据本发明(本发明第1～12方面)，根据构成图象的多个构成要素的各自的复杂度，来分配对各构成要素的图象数据进行编码处理中所需要的比特数，因此，能够在最佳条件下进行对各构成要素的图象数据的编码处理，由此，具有能够提高重放的视频信号全体的画质的效果。
特别是，根据本发明(本发明第3，4方面)，在解码侧的缓冲器不会溢出或者下溢的条件下，决定分配给成为编码处理的对象的对象帧的帧比特数，因此，能够始终良好地进行接收侧的解码处理。
根据本发明(本发明第13方面)，在接收侧，对于上述图象的每帧，把与构成图象的多个构成要素相对应的编码数据存储在一个缓冲器中，在对各帧进行解码处理的过程中，从该缓冲器读出与各帧相对应的全部构成要素的编码数据，因比，能够在多个构成要素之间有效地利用缓冲器的数据存储区域。即，能够在各构成要素间吸收与各构成要素的复杂度相对应的给各构成要素的分配比特数的变动。其结果，具有能够给各构成要素的图象分配最佳比特而提高图象全体的画质的效果。
根据本发明(本发明第17～24方面)，在构成预定图象的每个构成要素中对用于显示该预定图象的视频信号进行编码的图象编码方法中，根据各构成要素的复杂度来求出多个各构成要素间的比特率的比率，根据比特率的比率来对与各构成要素相对应的数据进行编码，以使所有与构成要素相对应的比特率的总和成为恒定的，因此，能够在具有有限的数据传输速度的实际通信线路中使用与对象相对应的压缩数据(编码数据)的传输率。
权利要求
1.一种图象处理方法，该方法用来对于用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定处理，测定与在上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；比特数分配比率决定处理，根据上述各构成要素的复杂度，来决定分配给各对象图象数据的比特数的上述多个构成要素间的比率，对上述各对象图象数据进行编码，以使与上述各对象编码数据相对应的比特数满足上述各构成要素间的分配比特数的决定比率。
2.一种图象处理方法，用来对与由权利要求1所述的图象处理方法所得到的各构成要素相对应的对象编码数据进行复用而形成的复用编码数据进行解码，其特征在于，包括分离处理，从上述复用编码数据分离出与上述各构成要素相对应的对象编码数据；存储处理，把与上述各构成要素相对应的对象编码数据存储在一个缓冲器中；解码处理，从该缓冲器取出与各构成要素相对应的对象编码数据来进行解码。
3.根据权利要求1所述的图象处理方法，其特征在于，表示上述各构成要素的复杂度的指标是第一值、第二值、第三值或者第四值中的任一个，该第一值表示构成上述各构成要素的象素的象素值的分散，该第二值表示上述各构成要素的显示图象的时间上的变动的大小，该第三值是对在成为上述编码处理的对象的对象帧以前进行编码处理的前处理帧中的对应构成要素进行编码时的发生比特数，通过对象帧和前处理帧之间的表示相同构成要素的特性的系数的比率来进行加权而得到，该第四值表示在一定编码条件下对与上述各构成要素相对应的对象图象数据进行预备编码时所发生的，与各构成要素相对应的发生比特数。
4.一种图象处理方法，在作为显示处理单位的每帧中，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括帧比特数决定处理，决定分配给与成为上述编码处理的对象的对象帧相对应的视频信号的帧比特数；比特数分配处理，根据构成上述对象帧的各构成要素的复杂度，分配上述帧比特数以便于与该各构成要素相对应，决定与各构成要素的对象帧相对应的对象比特数，对与上述对象帧相对应的各对象图象数据进行编码，以使对应的对象编码数据的比特数成为与上述各构成要素的对象帧相对应的对象比特数。
5.一种图象处理方法，在作为显示处理单位的每帧中，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括帧比特数决定处理，决定分配给与成为上述编码处理的对象的对象帧相对应的视频信号的帧比特数；比特数分配比率决定处理，根据与构成上述对象帧的多个构成要素的复杂度的总和相对应的各构成要素的复杂度之比，决定分配给各对象图象数据的比特数的上述多个构成要素间的比率，对上述各对象图象数据进行编码，以使上述帧比特数根据上述各构成要素间的分配比特数的决定比率被分配给上述各对象编码数据。
6.一种图象处理装置，用来对于用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定装置，测定与在上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；比特数分配装置，根据构成成为上述编码处理的对象的对象帧的各构成要素的复杂度，给该各构成要素分配在该对象图象数据的编码时使用的比特数；编码器，根据给各构成要素分配的比特数，对与上述对象帧相对应的各对象图象数据进行编码，而生成对象编码数据；复用器，对与各构成要素相对应的对象编码数据进行复用，而生成比特流。
7.根据权利要求6所述的图象处理装置，其特征在于，上述比特数分配装置构成为根据与对象帧中的全部构成要素的复杂度的总和相对应的各构成要素的复杂度的比率，来进行与上述各构成要素相对应的比特数的分配。
8.根据权利要求6所述的图象处理装置，其特征在于，上述复杂度测定装置构成为把第一值、第二值、第三值或者第四值中的任一个值作为指标，来测定上述构成要素的复杂度，该第一值表示构成上述各构成要素的象素的象素值的分散，该第二值表示上述各构成要素的显示图象的时间上的变动的大小，该第三值是对该对象帧以前进行编码处理的前处理帧中的对应构成要素进行编码时的发生比特数，通过对象帧和前处理帧之间的表示相同构成要素的特性的系数的比率来进行加权而得到，该第四值表示在一定编码条件下对与上述各构成要素相对应的对象图象数据进行预备编码时所发生的，与各构成要素相对应的发生比特数。
9.根据权利要求6所述的图象处理装置，其特征在于，上述比特数分配装置为对上述比特流进行解码处理的图象解码装置中，存储与从上述比特流所分离的各构成要素相对应的编码对象数据的一个缓冲器，在不会溢出或者下溢的情况下，把分配给与上述对象帧相对应的视频信号的帧比特数分配给该各构成要素。
10.一种数据存储媒体，存储图象处理程序，其特征在于，上述图象处理程序是存储用于通过计算机进行权利要求1所述的图象处理方法中的视频信号的编码处理的程序。
11.一种图象处理方法，包括发送侧数据处理，通过编码处理对每帧把用于显示预定图象的视频信号变换为比特流，发送该比特流；接收侧数据处理，接收该比特流，通过解码处理对每帧把该比特流变换为重放数据，其特征在于，上述发送侧数据处理包括对象编码处理，对与构成上述预定图象的多个构成要素相对应的成为编码处理的对象的对象帧的对象图象数据在每个构成要素中分别进行编码，并变换为对象编码数据；复用处理，对与各构成要素相对应的对象编码数据进行复用，而生成上述比特流，上述接收侧数据处理包括数据存储处理，对每帧在一个缓冲器中存储上述比特流；解码处理，从上述缓冲器读出与对象帧相对应的比特流，按各构成要素不同地对读出的比特流进行解码，而生成与该各构成要素相对应的重放数据；合成显示处理，把与上述各构成要素相对应的重放数据进行合成，而生成合成数据，根据该合成数据显示上述预定的图象。
12.根据权利要求11所述的图象处理方法，其特征在于，上述对象编码处理包括比特数决定处理，在上述缓冲器不会溢出或者下溢的情况下，决定分配给成为编码对象的对象帧的帧比特数；比特数分割处理，根据构成上述对象帧的各构成要素的复杂度，分配上述帧比特数以便于与该各构成要素相对应，决定与各构成要素相对应的对象比特数，根据该各对象比特数，来对与上述对象帧的各构成要素相对应的对象图象数据进行编码。
13.一种图象处理装置，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，把对该各对象编码数据进行复用而得到的复用编码数据进行解码，其特征在于，包括分离器，从上述复用编码数据分离出与上述各构成要素相对应的对象编码数据；一个缓冲器，存储与上述各构成要素相对应的对象编码数据；解码器，从该缓冲器取出与各构成要素相对应的对象编码数据来进行解码。
14.一种图象处理方法，在作为显示处理的单位的每帧中，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度导出处理，求出对与各构成要素相对应的对象图象数据进行预备编码而得到的与各构成要素相对应的发生比特数，来作为各构成要素的复杂度；帧分配率导出处理，求出未进行本编码处理的所有未编码帧的复杂度的总和与成为本编码处理的对象的对象帧的复杂度之比，来作为帧分配率；帧比特数决定处理，把上述帧分配率乘以分配给上述视频信号的总比特数中的未使用比特数，来决定分配给上述对象帧的比特数；分配率导出处理，求出构成上述对象帧的所有构成要素的复杂度的总和与成为本编码处理的对象的构成要素的复杂度之比，来作为构成要素分配率；构成要素比特数决定处理，把上述构成要素分配率乘以分配给上述对象帧的比特数，来决定分配给上述对象构成要素的比特数；构成要素编码处理，根据分配给各构成要素的比特数，分别对与构成上述对象帧的各构成要素相对应的对象图象数据进行编码。
15.一种图象处理装置，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定器，导出通过与上述各构成要素相对应的对象图象数据的预备编码而发生的，与各构成要素相对应的发生比特数，来作为各构成要素的复杂度的指标；帧分配率导出器，求出未进行本编码处理的所有未编码帧的复杂度的总和与成为本编码处理的对象的对象帧的复杂度之比，来作为帧分配率；帧比特数决定器，把上述帧分配率乘以分配给上述视频信号的总比特数中的未使用比特数，来决定分配给上述对象帧的比特数；分配率导出装置，求出构成上述对象帧的所有构成要素的复杂度的总和与成为本编码处理的对象的构成要素的复杂度之比，来作为构成要素分配率；构成要素比特数决定装置，把上述构成要素分配率乘以分配给上述对象帧的比特数，来决定分配给上述对象构成要素的比特数；编码装置，根据分配给各构成要素的比特数，分别对构成上述对象帧的各构成要素进行编码，来生成对象编码数据；复用器，对与上述多个构成要素相对应的对象编码数据进行复用，并输出比特流。
16.一种数据存储媒体，存储图象处理程序，其特征在于，上述图象处理程序是存储用于通过计算机进行权利要求14所述的图象编码方法中的视频信号的编码处理的程序。
17.一种图象处理方法，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，上述对象编码处理包括复杂度测定处理，测定与上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；比特率比率决定处理，根据上述各构成要素的复杂度，来决定与各构成要素相对应的对象编码数据的比特率的该多个构成要素间的比率，根据与上述各构成要素相对应的比特率的比率，来以预定的比特率对与各构成要素相对应的对象图象数据进行编码，以使所有的与构成要素相对应的比特率的总和为恒定值。
18.一种图象处理方法，对与由上述权利要求17所述的图象处理方法所得到的各构成要素相对应的对象编码数据进行复用而形成的复用编码数据进行解码，其特征在于，包括分离处理，从上述复用编码数据分离出与上述各构成要素相对应的对象编码数据；存储处理，把与上述各构成要素相对应的对象编码数据存储在一个缓冲器中；解码处理，从该缓冲器取出与上述各构成要素相对应的对象编码数据来进行解码。
19.根据权利要求17所述的图象处理方法，其特征在于，上述对象编码处理包括编码条件决定处理，在上述缓冲器不会溢出或者下溢的情况下，根据各构成要素的复杂度，来决定与该各构成要素相对应的比特率的比率和与各构成要素相对应的存储到上述缓冲器中的对象编码数据的最大量，根据与上述各构成要素相对应的比特率的比率，以预定的比特率对与各构成要素相对应的对象图象数据进行编码，以使所有的与构成要素相对应的比特率的总和为恒定值。
20.根据权利要求17所述的图象处理方法，其特征在于，表示上述各构成要素的复杂度的指标是第一值、第二值、第三值或者第四值中的任一个，该第一值表示构成上述各构成要素的象素的象素值的分散，该第二值表示上述各构成要素的显示图象的时间上的变动的大小，该第三值是对在成为上述编码处理的对象的对象帧以前进行编码处理的前处理帧中的对应构成要素进行编码时的发生比特数，通过对象帧和前处理帧之间的表示相同构成要素的特性的系数的比率来进行加权而得到，该第四值表示在一定编码条件下对与上述各构成要素相对应的对象图象数据进行预备编码时所发生的，与各构成要素相对应的发生比特数。
21.一种图象处理方法，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，上述对象编码处理包括复杂度测定处理，测定与上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；编码条件决定处理，根据与上述所有构成要素的复杂度的总和相对应的各构成要素的复杂度的比率，来决定与该各构成要素相对应的对象编码数据的比特率的上述多个构成要素间的比率和与各构成要素相对应的存储到解码侧的缓冲器中的对象编码数据的最大量，根据与上述各构成要素相对应的比特率的比率，以预定的比特率对与各构成要素相对应的对象图象数据进行编码，以使所有的与构成要素相对应的比特率的总和为恒定值。
22.一种图象处理装置，对用于显示预定图象的视频信号进行对象编码处理，该对象编码处理把与构成该预定图象的多个构成要素相对应的对象图象数据在每个构成要素中分别进行编码，而变换为对象编码数据，其特征在于，包括复杂度测定装置，测定与上述各对象图象数据的编码处理中所需要的比特数的多少相对应的构成要素的复杂度；编码条件决定装置，根据上述各构成要素的复杂度，来决定与该各构成要素相对应的个别比特率以及与各构成要素相对应的作为存储到解码侧的缓冲器中的对象编码数据的最大量的个别缓冲器尺寸；控制器，根据上述所决定的个别比特率和个别缓冲器尺寸，来输出控制信号；编码器，一边根据上述控制信号控制由该编码处理而发生的比特率，一边进行与上述构成要素相对应的对象图象数据所对应的编码处理，输出与各构成要素相对应的对象编码数据；复用器，对与上述各构成要素相对应的对象编码数据进行复用，而生成比特流。
23.根据权利要求22所述的图象处理装置，其特征在于，上述编码条件决定装置，根据上述各构成要素的复杂度来给各构成要素分配传输路径的最大传输比特率，并决定与各构成要素相对应的个别比特率，根据上述各构成要素的复杂度来给该各构成要素分配上述解码侧的一个缓冲器的最大数据存储量，并决定上述个别缓冲器尺寸。
24.一种数据存储媒体，存储图象处理程序，其特征在于，上述图象处理程序是存储用于通过计算机进行权利要求17所述的图象处理方法中的视频信号的编码处理的程序。
全文摘要
本发明的目的是能够以最佳条件进行对各构成要素的对象图象数据的编码处理,由此,提高重放的视频信号全体的画质。本发明的装置包括:帧比特数决定装置210,决定分配给与成为编码处理的对象的对象帧相对应的视频信号的帧比特数;对象比特数决定装置209,根据构成对象帧的各构成要素的复杂度,给各构成要素分配上述帧比特数,根据分配给各构成要素的比特数来对与上述对象帧相对应的各对象图象数据进行编码。
文档编号H04N7/26GK1275021SQ0011880
公开日2000年11月29日 申请日期2000年4月12日 优先权日1999年4月12日
发明者文仲丞, 西孝启 申请人:松下电器产业株式会社