专利名称：图象编码和解码的方法和装置的制作方法
技术领域：
本发明涉及图象编码·解码方法、图象编码·解码装置以及图象编码·解码程序记录媒体，特别是涉及这样的图象编码处理和图象解码处理该图象编码处理用于效率高地以对象单位处理图象信号，并且用于以更低的位数记录和传输具有对象形状信息的图象信号而不损害画质；该图象解码处理把该编码结果适当地进行解码。
背景技术：
对于把图象进行数字化而得到数字的图象数据的技术，由于数字数据的记录、传输、编辑、复制和传输等中的处理很容易，而正在成为普及和发展的领域。作为数字化的优点之一，可以列举出能够容易地把数据进行压缩这点，特别是，为了记录和传输，压缩编码是重要的技术。对于相应的压缩编码的技术，已经确立了国际标准，其中的MPEG标准作为能够处理图象和声音的一般的数字标准而正在普及起来。
在数字图象的压缩编码过程中，把图象被进行了数字化的由一连串的静止图象组成的图象数据作为处理对象。一般，在压缩编码中，进行帧内编码和帧间编码，该帧内编码是对于一帧(相当于一幅画面)的静止图象，根据其空间的相关关系(帧内的相关关系)而除去冗余来进行压缩；该帧间编码是对于时间接近的例如时间上连续出现的帧的静止图象，根据其时间的相关关系(帧间的相关关系)而除去冗余来进行压缩。
虽然在符合MPEG等的现有技术的图象编码中，基本上是进行帧内编码，但是，通过进行帧间编码，却能得到高压缩率的编码数据。为了进行帧间编码，通过执行作为编码的逆处理的解码处理和运动检测·运动补偿处理，而生成预测图象，使用该预测图象作为参照图象，来取得与编码对象图象的差分，因此，在需要解码和运动检测·运动补偿处理方面，引起了对于装置的处理负担的增大。但是，在预测图象精度良好的情况下，由于差分为较小的，则通过对差分进行编码处理，能够比对编码对象图象进行编码处理提高编码效率。
对于进行帧间编码时的预测方法，具有正向预测、反向预测和双向预测中的任一种，该正向预测是在一连串的静止图象中，从作为编码对象的数据中，根据时序上位于前面的数据来进行；该反向预测是根据位于后面的数据来进行；而双向预测是根据位于正向或反向上的数据来进行。一般，把帧内编码表示为“I”，把正向预测编码表示为“P”，把双向预测编码(包含反向)表示为“B”。
在仅进行帧内编码的情况下，或者在进行帧内编码和正向预测编码的情况下，可以按照时序而单纯地处理作为编码对象的一连串的静止图象，但是，在进行反向或双向预测的情况下，在时序中需要先对位于后面的数据进行编码处理。这样，一般，在进行帧间编码时，对每个构成作为编码对象的图象数据的帧，需要确定是进行帧内编码的I帧，或是能够进行正向预测编码的P帧，还是能够进行双向预测编码的B帧，如果作为处理对象的数据是I帧，则进行帧内编码，如果作为处理对象的数据是P帧或B帧，则进行帧内编码或帧间编码。在进行这样的编码处理时，在编码装置中，可以对应于编码结果的用途等来设定I帧、P帧和B帧的比率。
图14是用于说明现有技术中的帧内·帧间编码处理的图。在该图中，1400～1406是构成作为编码对象的图象数据的每一帧的图象数据，各自的时刻为t0～t6，时刻t0～t6具有该顺序的时序。在1400～1406的帧中，帧1400是I帧，帧1403和帧1406是P帧，帧1401、帧1402、帧1404和帧1405是B帧。
图示的箭头表示每帧的编码处理中的参照关系。作为I帧的帧1400不参照其他帧，而是被单独地进行帧内编码。作为P帧的帧1403可以参照时序上位于前面的帧1400来进行编码。作为B帧的帧1401可以参照时序上位于前面的帧1400和时序上位于后面的帧1403中的任一个或者两者来进行编码。
为此，如上述那样，就需要在时序上位于前面的帧1401和帧1402之前来对帧1403进行编码，而比B帧优先来对I帧和P帧进行预先编码。而且，任一个帧都不是参照B帧来进行编码。
在执行双向预测来进行编码处理时，在对B帧的编码处理中，可以在编码装置中设定参照前后的帧来进行帧间编码，或者，从前帧、后帧、两帧中选择参照帧来进行帧间编码，或者，在事先准备好的任意选择的答案上增加帧内编码，等等。
如上述那样，在进行帧间编码时特别是进行双向预测时，伴随着出现处理负担的增大，而且，需要加大用于保存时间上接近的数据的存储装置即存储器的容量。但是，通过进行精度高的预测，而使通过该预测所得到的预测图象与编码对象图象的差分量变小，而能够谋求编码效率的提高。这样，根据装置性能、图象的性质、所要求的编码数据的质量等来进行编码方法的设定。
另一方面，以对象(object)单位来对图象信号进行编码的方法在近年来非常普遍。这样的编码方法的研究是以现在的ISO的MPEG4来进行标准化，在1996年11月，制定了称为图象检验模型VM5.0的标准。对象单位的图象信号由被称为纹理的表示亮度和颜色的象素值信号和代表对象的形状的形状信号所构成。这种形式的图象信号，把计算机·图形的领域作为中心，而在节目制作部门等的制作图象源的领域中被利用。
图15是用于说明现有技术的对象单位的编码的图，图16是用于说明为对象单位的编码而进行的信号处理的图。图15a)作为编码处理对象的一例表示由背景图象和前景图象所构成的图象的一个例子(在水槽中游动的金鱼)，图15b)表示前景图象(金鱼)，图15c)表示背景图象(水槽中的水草和水)。
为了把这样的背景图象和前景图象进行合成，对于构成通过合成而得到的图象的各象素，需要用于指定显示前景和背景中的哪个图象的信息。由此，图15b)所示的前景图象由图16a)所示的象素值信号和图16b)所示的形状信号二进制字母信号所构成，在形状信号中指定图象显示。在此情况下的象素值信号是表示金鱼的纹理信号，包含各象素的亮度信号和色差信号。形状信号是表示作为金鱼的形状轮廓的剖面的信号，是轮廓内部为值“1”而轮廓外部为值“0”的两值信号。该形状信号，对于在图中成为用黑色部分表示的值“1”的区域，是表示在图象合成过程中作为前景进行显示的部分的信号。一般，在进行以对象单位的编码时，对于特定的对象，使用象素值信号和形状信号，而对于该特定对象之外的部分，仅使用象素值信号，来谋求有效的编码处理。如上述那样，在此情况下，作为特定的对象来处理作为前景图象的金鱼。
对于图16a)所示的象素值信号的编码，如上述那样，根据时间上的相关性具有的情况，参照对已经被编码的象素值信号进行解码而得到的信号来进行编码，由此，来谋求编码效率的提高。而且可以这样的编码方法通过适当地切换两个图象来进行参照，与参照一个图象的象素值信号相比，能够进一步提高编码效率，因而，在ISO MPEG1/2和ITU-T H.261等标准中，具有对于参照这样的两个图象的编码的规定。
图17和图18是用于伴随着相应的多个图象的参照来说明象素值信号的编码。图17表示构成前景图象的a)时刻t0、b)时刻t1、c)时刻t2下的输入图象的象素值信号。如图所示的那样，三个输入象素值信号与图14的情况相同排列在一个时序上，时刻t0的信号在时序上位于时刻t1的信号之前，时刻t2的信号在时序上位于时刻t1的信号之后。图17b)所示的时刻t1的输入图象的象素值信号与图17a)所示的前面时刻t0的象素值信号和图17c)所示的后面时刻t2的象素值信号相关。
图18a)和图18c)表示在对图17a)和图17c)所示的象素值信号进行编码之后进行解码而得到的解码象素值信号。根据在图17中所示的相关关系，使用在图18a)和图18c)所示的时刻t0和时刻t2的解码图象的象素值信号，就能高精度地生成图18b)所示的时刻t1的预测图象。
对于预测图象，根据典型的方法，分别对时刻t0和时刻t2的解码后的图象进行运动补偿，把它们的平均值作为时刻t1的预测图象，由此，就能生成该预测图象。由于时刻t1的预测图象与时刻t1的输入图象存在很大的相关，则参照时刻t1的预测图象来对时刻t1的输入图象进行编码。即，取得根据时序上位于前后的图象而生成的预测图象和输入图象的差分图象，对该差分图象的象素值信号进行编码处理。
这样，编码对象的图象，在与时序上位于前后的图象相关性较强的情况下，通过把时序上位于前面的图象和时序上位于后面的图象用于预测图象生成，就能得到精度高于使用任一方的预测。由于预测精度良好，并且，差分图象的象素值信号的数据量较少，因而能够实现效率高的编码。
如上述那样，在进行以对象单位的编码时，对于象素值信号，按上述那样，实现了根据时间上的相关关系来提高编码效率的目的。另一方面，对于与其同时进行的形状信号的编码，在仅进行帧内编码的情况下，或者在仅伴随着正向预测而进行帧间编码的情况下，能够与象素值信号同样进行处理。但是，在伴随着双向预测的帧间编码时，在形状信号的编码处理中，存在由于进行与象素值信号相同的处理而使处理效率降低的问题。
由于象素值信号是包含亮度信号和色信号的多值信号，通过上述那样的取得平均值的运算，而得到良好的预测图象的可能性较高，因此，保存时间上接近的数据，来进行差分取得和平均值取得的运算处理，而能够谋求编码效率的提高。与此相对，在使用上述那样的两值形状信号时，通过例如使用多个参照信息来取得平均值，而能够进行良好的预测，而在取得的平均值不是两值中的任一个的情况下，不得不使用两值中的一个，则在相应的情况下，进行取得平均值的运算处理的价值不大。总之，对于作为两值信号的形状信号，通过保存实际上接近的数据而进行平均值的取得等处理，不一定能够提高预测的精度，而阻碍了装置资源的利用，还存在使编码处理中的效率降低的情况。
在现有技术中的图象编码中，当对象素值信号和形状信号进行同样的处理时，在伴随着双向预测的编码处理中，在上述那样处理效率降低上存在问题。这样，难于简单地应用提高对象素值信号的编码效率的方法，因此，在现有技术中，对于形状信号，使用在传真等中所使用的两值信号的可逆压缩编码方法等，来对象素值信号进行另外的处理，来进行记录·传输等的处理。但是，这样的可逆方法与非可逆方法相比，一般来说，压缩效率较差，而不能够实现提高编码效率和处理效率的目的。
技术内容鉴于上述问题，本发明的目的是提供一种图象编码方法，在对包含象素值信号和形状信号的图象信号进行编码处理的过程中，通过伴随着参照来执行编码，对于象素值信号和形状信号中的任一个，都能提高编码效率。
本发明的目的是提供一种图象编码装置，在对包含象素值信号和形状信号的图象信号进行编码处理的过程中，通过伴随着参照来执行编码，对于象素值信号和形状信号中的任一个，都能提高编码效率。
本发明的目的是提供一种图象解码方法，能够通过上述图象编码方法，对有效地进行了编码处理的编码结果，适当地进行解码处理。
本发明的目的是提供一种图象解码装置，能够通过上述图象编码装置，对有效地进行了编码处理的编码结果，适当地进行解码处理。
本发明的目的是提供一种记录图象编码程序的记录媒体，该图象编码程序，能够在对包含象素值信号和形状信号的图象信号进行编码处理的过程中，通过伴随着参照来执行编码，对于象素值信号和形状信号中的任一个，都能提高编码效率。
本发明的目的是提供一种记录图象解码程序的记录媒体，该图象解码程序，能够对于通过上述图象编码程序的执行而有效地了解编码处理的编码结果，适当地进行解码处理。
为了该目的而进行了这样的设想根据时间上的相关关系，对于形状信号编码，与象素值信号编码相独立地开展预测处理中的参照对象的选择，来进行适应于形状信号的性质的预测处理。
为了实现上述目的，本发明的第一方面所涉及的图象编码方法，对包含表示对象形状的形状信号和具有与上述对象的颜色和亮度相关的信息的象素值信号的输入图象信号进行编码处理，其特征在于，包括象素值编码步骤，把在上述输入图象信号中所包含的象素值信号作为处理对象，参照在编码处理后进行解码处理而得到的解码象素值信号来进行编码处理；形状编码步骤，把在上述输入图象信号中所包含的形状信号作为处理对象，参照在编码处理后进行解码处理而得到的解码形状信号来进行编码处理；编码参照特定信号生成步骤，生成指定在上述象素值编码步骤中进行参照的解码象素值信号的参照象素值指定信号和指定在上述形状编码步骤中进行参照的解码形状信号的参照形状指定信号，根据上述生成的信号，生成包含表示编码中的参照方法的信息的预测选择信号。由此，在象素值信号编码步骤和形状信号编码步骤中，分别执行伴随着选择的参照信号的参照的编码。
本发明第二方面所涉及的图象编码方法，在权利要求1的方法中，上述形状编码步骤，把对成为上述处理对象的形状信号而从时序上位于前面的形状信号所得到的前时刻解码形状信号和对成为上述处理对象的形状信号而从时序上位于后面的形状信号所得到的后时刻解码形状信号作为上述进行参照的解码形状信号。由此，使用与时间上接近形状信号的信号的相关关系来进行编码处理。
本发明第三方面所涉及的图象编码方法，在权利要求2的方法中，上述象素值编码步骤，把对成为上述处理对象的象素值信号而从时序上位于前面的象素值信号所得到的前时刻解码象素值信号和对成为上述处理对象的象素值信号而从时序上位于后面的象素值信号所得到的后时刻解码象素值信号作为上述进行参照的解码象素值信号。由此，使用与时间上接近形状信号和象素值信号的信号的相关关系来进行编码处理。
本发明第四方面所涉及的图象编码方法，在权利要求1的方法中，上述编码参照特定信号生成步骤，在上述预测选择信号的生成中，把上述参照象素值指定信号和上述参照形状指定信号进行综合，来进行编码处理。由此，对频率大的现象分配短的编码长度，来进行预测选择信号。
本发明第五方面所涉及的图象编码方法，在权利要求1的方法中，上述编码参照特定信号生成步骤，在上述预测选择信号的生成中，对应于表示上述进行参照的解码形状信号的指定的方法，决定表示上述进行参照的解码象素值信号的指定的方法。由此，对频率大的现象分配短的编码长度，来进行预测选择信号。
本发明第六方面所涉及的图象编码方法，在权利要求1的方法中，上述编码参照特定信号生成步骤，在每个作为上述输入的象素值信号的单位的象素值切换单位中，进行上述参照解码象素值信号的指定，在每个作为上述输入的形状信号的单位的形状切换单位中，进行上述参照形状信号的指定。由此，对应于形状信号的性质，不大大降低预测精度，而减少切换的频率，来进行编码处理。
本发明第七方面所涉及的图象编码方法，在权利要求6的方法中，把上述形状切换单位作为构成上述输入的形状信号的帧。由此，通过对应于形状信号的性质来进行帧单位的切换，则不大大降低预测精度，而减少切换的频率，来进行编码处理。
本发明第八方面所涉及的图象编码方法，在权利要求6的方法中，把上述形状切换单位作为包含构成上述输入的形状信号的大块单位和构成上述大块单位的小块单位的分层单位。由此，通过对应于形状信号的性质来进行以分层单位的切换，则不大大降低预测精度，而减少切换的频率，来进行编码处理。
本发明第九方面所涉及的图象编码方法，在权利要求1的方法中，上述形状编码步骤包含比较判定步骤，对成为上述处理对象的形状信号，在从时序上位于前面的形状信号所得到的前时刻解码形状信号和从时序上位于后面的形状信号所得到的后时刻解码形状信号中，选择时间上更接近于成为上述处理对象的形状信号的那个，从而参照在上述比较判定步骤中所选择的解码形状信号。由此，对应于形状信号的性质，不大大降低预测精度，而简化形状信号编码处理中的参照处理。
本发明第十方面所涉及的图象编码方法，在权利要求1的方法中，上述形状编码步骤，对成为上述处理对象的形状信号，参照从时序上位于前面的形状信号所得到的前时刻解码形状信号。由此，对应于形状信号的性质，不大大降低预测精度，而大大简化形状信号编码处理中的参照处理。
本发明第十一方面所涉及的图象编码方法，在权利要求1的方法中，上述形状编码步骤包含比较判定步骤，对成为上述处理对象的形状信号，在从时序上位于前面的形状信号所得到的前时刻解码形状信号和从时序上位于后面的形状信号所得到的后时刻解码形状信号中，选择时间上更接近于成为上述处理对象的形状信号的那个；和前方固定步骤，选择上述前时刻解码形状信号，从而参照在上述比较判定步骤或上述前方固定步骤中所选择的解码形状信号。由此，对应于形状信号的性质，不大大降低预测精度，而进行切换来简化形状信号编码处理中的参照处理。
本发明第十二方面所涉及的图象解码方法，对在图象信号中所包含的编码形状信号和编码象素值信号进行解码处理，该编码形状信号和编码象素值信号是对表示对象形状的形状信号和具有与上述对象的颜色和亮度相关的信息的象素值信号进行编码而得到的，其特征在于，包括解码参照特定信号生成步骤，使用包含表示编码处理中的参照方法的信息的预测选择信号，根据从上述预测选择信号而取得的信息，来生成指定在对编码象素值信号的解码处理中进行参照的解码象素值信号的参照象素值指定信号和指定在对编码形状信号的解码处理中进行参照的解码形状信号的参照形状指定信号；象素值解码步骤，把上述编码象素值信号作为处理对象，根据在上述解码参照特定信号生成步骤中所生成的参照象素值指定信号，来参照特定的解码象素值信号而进行解码处理；形状解码步骤，把上述编码形状信号作为处理对象，根据在上述解码参照特定信号生成步骤中所生成的参照形状指定信号，来参照特定的解码形状信号而进行解码处理。由此，在象素值信号解码步骤和形状信号解码步骤中，分别执行伴随着适当的参照的解码。
本发明第十三方面所涉及的图象解码方法，在权利要求12的方法中，上述形状解码步骤，把对成为上述处理对象的形状信号而从时序上位于前面的形状信号所得到的前时刻解码形状信号和对成为上述处理对象的形状信号而从时序上位于后面的形状信号所得到的后时刻解码形状信号作为上述进行参照的解码形状信号。由此，参照时间上接近的信号来对编码形状信号进行解码处理。
本发明第十四方面所涉及的图象解码方法，在权利要求13的方法中，上述象素值解码步骤，把对成为上述处理对象的象素值信号而从时序上位于前面的象素值信号所得到的前时刻解码象素值信号和对成为上述处理对象的象素值信号而从时序上位于后面的象素值信号所得到的后时刻解码象素值信号作为上述进行参照的解码象素值信号。由此，参照时间上接近的信号来对形状信号和象素值信号进行解码处理。
本发明第十五方面所涉及的图象解码方法，在权利要求12的方法中，上述解码参照特定信号生成步骤，进行上述预测选择信号的解码处理，进行综合来取得进行了编码处理的上述参照象素值指定信号和上述参照形状指定信号。由此，对频率大的现象分配短的编码长度而被编码处理的预测选择信号进行解码处理。
本发明第十六方面所涉及的图象解码方法，在权利要求12的方法中，上述解码参照特定信号生成步骤，在上述预测选择信号的解码处理中，对应于表示上述进行参照的解码形状信号的指定的方法，决定表示上述进行参照的解码象素值信号的指定的方法。由此，对频率大的现象分配短的编码长度而被编码处理的预测选择信号进行解码处理。
本发明第十七方面所涉及的图象解码方法，在权利要求12的方法中，上述解码参照特定信号生成步骤，在每个作为上述编码象素值信号的单位的象素值切换单位中，进行上述参照解码象素值信号的指定，在每个作为上述编码形状信号的单位的形状切换单位中，进行上述参照形状信号的指定。由此，来对减少切换的频率而进行了编码处理的编码形状信号进行解码处理。
本发明第十八方面所涉及的图象解码方法，在权利要求16的方法中，把上述形状切换单位作为构成上述编码形状信号的帧。由此，以帧单位进行切换，来对减少切换的频率而进行了编码处理的编码形状信号进行解码处理。
本发明第十九方面所涉及的图象解码方法，在权利要求16的方法中，把上述形状切换单位作为包含构成上述编码形状信号的大块单位和构成上述大块单位的小块单位的分层单位。由此，以分层单位进行切换，来对减少切换的频率而进行了编码处理的编码形状信号进行解码处理。
本发明第二十方面所涉及的图象解码方法，在权利要求12的方法中，上述形状解码步骤包含比较判定步骤，对成为上述处理对象的编码形状信号，在从时序上位于前面的形状信号所得到的前时刻解码形状信号和从时序上位于后面的形状信号所得到的后时刻解码形状信号中，选择时间上更接近于成为上述处理对象的编码形状信号的那个，从而参照在上述比较判定步骤中所选择的解码形状信号。由此，来对简化参照处理而进行了编码处理的编码形状信号进行解码处理。
本发明第二十一方面所涉及的图象解码方法，在权利要求12的方法中，上述形状解码步骤，对成为上述处理对象的编码形状信号，参照从时序上位于前面的形状信号所得到的前时刻解码形状信号。由此，来对简化参照处理而进行了编码处理的编码形状信号进行解码处理。
本发明第二十二方面所涉及的图象解码方法，在权利要求12的方法中，上述形状解码步骤包含比较判定步骤，对成为上述处理对象的编码形状信号，在从时序上位于前面的形状信号所得到的前时刻解码形状信号和从时序上位于后面的形状信号所得到的后时刻解码形状信号中，选择时间上更接近于成为上述处理对象的编码形状信号的那个；和前方固定步骤，选择上述前时刻解码形状信号，从而参照在上述比较判定步骤或上述前方固定步骤中所选择的解码形状信号。由此，来对简化参照处理而进行了编码处理的编码形状信号进行解码处理。
本发明第二十三方面所涉及的图象编码装置，对包含表示对象形状的形状信号和具有与上述对象的颜色和亮度相关的信息的象素值信号的输入图象信号进行编码处理，其特征在于，包括象素值编码装置，把在上述输入图象信号中所包含的象素值信号作为处理对象，参照在编码处理后进行解码处理而得到的解码象素值信号来进行编码处理；形状编码装置，把在上述输入图象信号中所包含的形状信号作为处理对象，参照在编码处理后进行解码处理而得到的解码形状信号来进行编码处理；编码参照特定信号生成装置，生成指定上述象素值编码装置进行参照的解码象素值信号的参照象素值指定信号和指定上述形状编码装置进行参照的解码形状信号的参照形状指定信号，根据上述生成的信号，生成包含表示编码中的参照方法的信息的预测选择信号。由此，象素值信号编码装置和形状信号编码装置，分别执行伴随着选择的参照信号的参照的编码。
本发明第二十四方面所涉及的图象解码装置，对在图象信号中所包含的编码形状信号和编码象素值信号进行解码处理，该编码形状信号和编码象素值信号是对表示对象形状的形状信号和具有与上述对象的颜色和亮度相关的信息的象素值信号进行编码而得到的，其特征在于，包括解码参照特定信号生成装置，使用包含表示编码处理中的参照方法的信息的预测选择信号，根据从上述预测选择信号而取得的信息，来生成指定在对编码象素值信号的解码处理中进行参照的解码象素值信号的参照象素值指定信号和指定在对编码形状信号的解码处理中进行参照的解码形状信号的参照形状指定信号；象素值解码装置，把上述编码象素值信号作为处理对象，根据在上述解码参照特定信号生成装置中所生成的参照象素值指定信号，来参照特定的解码象素值信号而进行解码处理；形状解码装置，把上述编码形状信号作为处理对象，根据在上述解码参照特定信号生成装置中所生成的参照形状指定信号，来参照特定的解码形状信号而进行解码处理。由此，象素值信号解码装置和形状信号解码装置，分别执行伴随着选择的参照信号的参照的解码。
本发明第二十五方面所涉及的图象编码程序记录媒体，记录图象编码程序，该图象编码程序对包含表示对象形状的形状信号和具有与上述对象的颜色和亮度相关的信息的象素值信号的输入图象信号进行编码处理，其特征在于，记录图象编码程序，该图象编码程序包括象素值编码步骤，把在上述输入图象信号中所包含的象素值信号作为处理对象，参照在编码处理后进行解码处理而得到的解码象素值信号来进行编码处理；形状编码步骤，把在上述输入图象信号中所包含的形状信号作为处理对象，参照在编码处理后进行解码处理而得到的解码形状信号来进行编码处理；编码参照特定信号生成步骤，生成指定在上述象素值编码步骤中进行参照的解码象素值信号的参照象素值指定信号和指定在上述形状编码步骤中进行参照的解码形状信号的参照形状指定信号，根据上述生成的信号，生成包含表示编码中的参照方法的信息的预测选择信号。由此，通过在计算机系统等中执行该图象编码程序，来在象素值信号编码步骤和形状信号编码步骤中，分别执行伴随着选择的参照信号的参照的编码处理。
本发明第二十六方面所涉及的图象解码程序记录媒体，记录图象解码程序，该图象解码程序对在图象信号中所包含的编码形状信号和编码象素值信号进行解码处理，该编码形状信号和编码象素值信号是对表示对象形状的形状信号和具有与上述对象的颜色和亮度相关的信息的象素值信号进行编码而得到的，其特征在于，记录图象解码程序，该图象解码程序包括解码参照特定信号生成步骤，使用包含表示编码处理中的参照方法的信息的预测选择信号，根据从上述预测选择信号而取得的信息，来生成指定在对编码象素值信号的解码处理中进行参照的解码象素值信号的参照象素值指定信号和指定在对编码形状信号的解码处理中进行参照的解码形状信号的参照形状指定信号；象素值解码步骤，把上述编码象素值信号作为处理对象，根据在上述解码参照特定信号生成步骤中所生成的参照象素值指定信号，来参照特定的解码象素值信号而进行解码处理；形状解码步骤，把上述编码形状信号作为处理对象，根据在上述解码参照特定信号生成步骤中所生成的参照形状指定信号，来参照特定的解码形状信号而进行解码处理。由此，通过在计算机系统等中执行该图象解码程序，来在象素值信号解码步骤和形状信号解码步骤中，分别执行伴随着适当的参照的解码处理。
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中
图1是表示本发明的实施例1的图象编码装置的构成的方框图；图2是用于说明该实施例中的形状信号编码处理的图；图3是表示本发明的实施例2的图象解码装置的构成的方框图；图4是用于说明本发明的实施例3中的预测选择信号生成处理的符号分配的图；图5是用于说明本发明的实施例4中的预测选择信号生成处理的符号分配的图；图6是用于说明本发明的实施例5中的预测选择信号生成处理的符号分配的图；图7是用于说明本发明的实施例9中的编码处理的切换单位的图；图8是用于说明本发明的实施例10中的形状信号编码处理的切换单位的图；图9是用于说明本发明的实施例13中的编码处理的参照关系的图；图10是表示该实施例中的对于B帧的编码处理的处理程序的流程图；图11是表示该实施例中的预测切换器的编码控制的处理程序的流程图；图12是表示本发明的实施例16的图象解码装置的对于B帧的解码处理的处理程序的流程图；图13是表示作为本发明的实施例19和20的图象编码程序记录媒体和图象解码程序记录媒体而使用的软磁盘的图；图14是用于根据现有技术的时间相关关系来说明图象编码处理的图；图15是用于说明现有技术的在对象单位下的图象编码处理的图；图16是用于说明现有技术的在对象单位的图象编码处理中所使用的象素值信号和形状信号的图；图17是用于说明现有技术的对象单位的图象编码处理中的象素值信号的时间相关关系的图；图18是用于根据时间相关关系来说明现有技术的对象单位的图象编码处理中的与象素值信号相对应的图象编码处理的图。
具体实施例方式
实施例1本发明的实施例1的图象编码方法和图象编码装置，分别对象素值信号和形状信号，切换使用参照信号，由此，来谋求编码效率的提高。
图1是表示本实施例1的图象编码装置的构成的方框图。如图所示的那样，本实施例1的图象编码装置包括减法器101、编码器(象素值信号用)102、解码器(象素值信号用)103、加法器104、第一切换电路105、第二切换电路106、存储器(解码象素值信号存储用1)107、存储器(解码象素值信号存储用2)108、平均值计算器109、预测切换器110、编码器(形状信号用)111、解码器(形状信号用)112、第三切换电路113、第四切换电路114、存储器(解码形状信号存储用1)115和存储器(解码形状信号存储用2)116。
在该图中，减法器101运算作为该图象编码装置的装置输入的输入象素值信号S151和从下述的第二切换电路106所输出的参照象素值信号S155的差分，而生成差分象素值信号S152。编码器(象素值信号用)102把差分象素值信号S152进行压缩编码，而生成编码象素值信号S153。解码器(象素值信号用)103对编码象素值信号S153进行作为编码处理的逆处理的解码处理，而生成编码解码象素值信号S154。加法器104把编码解码象素值信号S154和从第二切换电路106所输出的参照象素值信号S155进行加法运算处理，而生成解码象素值信号S156。
第一切换电路105对应于从预测切换器110所输入的解码象素值切换信号S171，来切换解码象素值信号S156的输出对方。通过第一切换电路105的切换，解码象素值信号S156被输入存储器107或存储器108而被保持，或者不输入任一个存储器。
第二切换电路106对应于从预测切换器110所输入的参照象素值切换信号S172，来选择作为参照象素值信号S155而使用的信号。通过第二切换电路106的选择，使用在存储器107中所保持第一存储解码象素值信号S157、在存储器108中所保持的第二存储解码象素值信号S158、通过平均值计算器109所取得的平均解码象素值信号S159或预定值的任一个来作为参照象素值信号。其中，所谓预定值是指当编码器4进行帧内编码时所使用的固定的象素数据。所选择的参照象素值信号S155被输出给减法器101和加法器104。
存储器107和存储器108以帧单位来存储从第一切换电路105所输入的解码象素值信号S156。平均值计算器109通过第一切换电路105的切换，来输入在存储器107和108中所保持的时间上不同帧的解码象素值信号，取得其平均值，而生成平均解码象素值信号S159。在本实施例1中，在存储器107和存储器108中所存储的解码象素值信号被进行控制，以便于成为从在时序上位于作为编码对象的象素值信号之前的象素值信号而得到的前时刻解码象素值信号和从在时序上位于作为编码对象的象素值信号之后的象素值信号而得到的后时刻解码象素值信号中的任一个。
减法器101、编码器102、解码器103、加法器104、平均值计算器109、存储器107、存储器108、第一切换电路105和第二切换电路106作为参照被解码的象素值信号来对输入象素值信号进行编码的象素值编码装置来起作用。
预测切换器110，通过对第一～第四切换电路输出作为控制用信号的解码象素值切换信号S171、参照象素值切换信号S172、解码形状切换信号S173和参照形状切换信号S174，来控制各个切换电路中的解码象素值信号的输出对方、参照象素值信号的选择、解码形状信号的输出对方、参照形状信号的选择的切换。接着，生成预测选择信号S175，该预测选择信号S175是对作为指定参照象素值信号的参照象素值指定信号信号而使用的参照象素值切换信号和作为指定参照形状信号的参照形状指定信号而使用的参照形状切换信号的输出结果进行编码处理而得到的，而作为输出给解码装置以进行通知的编码参照特定信号生成装置而起作用。
编码器(形状信号用)111对作为该图象编码装置的装置输入的输入形状信号S161，进行参照从下述的第四切换电路114所输出的参照形状信号S166的压缩编码处理，而生成编码形状信号S162。解码器(形状信号用)112对编码形状信号S162进行作为编码处理的逆处理的解码处理，该编码处理是参照从第四切换电路114所输出的参照形状信号S166来进行的，而生成解码形状信号S163。
第三切换电路113，对应于从预测切换器110所输入的解码形状切换信号S173，来切换解码形状信号S163的输出对方。通过第三切换电路113的切换，解码形状信号S163被输入存储器115或存储器116中而进行保持，或者不输入任一个存储器。
第四切换电路114，对应于从预测切换器110所输入的参照形状切换信号S174，来选择作为参照形状信号S166而使用的信号。通过第四切换电路114的选择，来使用在存储器115中所保持的第一存储解码形状信号S164、在存储器116中所保持的第二存储解码形状信号S165、或者预定值的任一个来作为参照形状信号。所选择的参照形状信号S166被输出给编码器111和解码器112。
存储器115和116以帧单位来存储从第三切换电路113所输入的解码形状信号S163。在本实施例1中，在存储器115和存储器116中所存储的解码形状信号被进行控制，以成为从在时序上位于作为编码对象的形状信号之前的形状信号而得到的前时刻解码形状信号和从在时序上位于作为编码对象的形状信号之后的形状信号而得到的后时刻解码形状信号的任一个。
编码器111、解码器112、存储器115、存储器116、第三切换电路113、第四切换电路114作为参照被解码的形状信号来对形状信号进行编码的形状编码装置来起作用。
图2是用于说明本实施例1的图象编码装置中的形状信号的编码的图。下面，使用图1和图2来说明本实施例1的图象编码装置的动作。
当作为本实施例1的图象编码装置的装置输入的输入象素值信号S151和输入形状信号S161被输入本装置时，输入象素值信号S151被输入减法器101，输入形状信号S161被输入编码器(形状信号用)111。
输入象素值信号S151和从第二切换电路106所输出的参照象素值信号S155被输入到减法器101中，通过减法运算处理而得到的差分象素值信号S152被输出给编码器102。编码器102对差分象素值信号S152进行预定的压缩编码处理，而生成编码象素值信号S153。编码象素值信号S153成为本实施例1的图象编码装置的装置输出的一部分，同时被输入解码器103。解码器103对所输入的编码象素值信号S153进行作为编码器102中的编码处理的逆处理的解码处理，而生成编码解码象素值信号S154。编码解码象素值信号S154被输出给加法器104。
编码解码象素值信号S154和从第二切换电路106所输出的参照象素值信号S155被输入到加法器104中，通过加法运算处理而得到的解码象素值信号S156被输入第一切换电路105。
第一切换电路105，按照预测切换器110输出的解码象素值切换信号S171，而把所输入的解码象素值信号S156输出给存储器107或存储器108。在存储器107、存储器108中，以帧单位存储所输入的解码象素值信号S156。第一切换电路105，在解码象素值切换信号S171指示不保持解码象素值信号S156的情况下，废弃解码象素值信号S156，不输出给任一个存储器。
预测切换器110通过解码象素值切换信号S171来进行指示，以便于作为原则而从第一切换电路105，把解码象素值信号S156交替地输出给存储器107或存储器108，以便于对于与前面输出的存储器不同的存储器，输出解码象素值信号S156。解码象素值信号S156，在是编码处理中不进行参照的信号时，通过解码象素值切换信号S171来指示废弃解码象素值信号S156。
被输入到存储器107或存储器108中的解码象素值信号S156，分别作为第一存储解码象素值信号S157、第二存储解码象素值信号S158被保持。第一存储解码象素值信号S157和第二存储解码象素值信号S158被输入平均值计算器109，平均值计算器109通过取得两者的平均来生成平均解码象素值信号S159。
第二切换电路106，按照来自预测切换器110的参照象素值切换信号S172，来选择预定值、第一存储解码象素值信号S157、第二存储解码象素值信号S158或平均解码象素值信号S159中的一个，把该选择的信号作为参照象素值信号S155而输出给减法器101和加法器104。
使用来自预测切换器110的参照象素值切换信号S172的对第二切换电路106的切换指示按下述这样进行在编码器102中接受编码处理的编码对象为I帧的情况下，由于不进行伴随着参照处理的编码，则进行指示，以由第二切换电路106选择预定值。由此，用于帧内编码的预定值作为参照象素值信号S155被输出。
在编码器102中的编码对象是P帧的情况下，预测切换器110对第二切换电路106进行指示，以便于从第一存储解码象素值信号S157或第二存储解码象素值信号S158中选择时序上比编码对象更前的那个。
在编码器102中的编码对象是B帧的情况下，预测切换器110进行指示，以便于从第一存储解码象素值信号S157、第二存储解码象素值信号S158或平均解码象素值信号S159中选择一个。在本实施例1中，预测切换器110，在可选择的范围内，选择在减法器101中所取得的差分为最小的那个。由此，从编码对象图象之前的时刻的图象、编码对象图象之后的时刻的图象或者通过其两者的平均而得到的图象中，选择使象素值信号中的运动检测误差大小为最小的那个，来作为参照图象。
在编码对象是P帧或B帧的情况下，可以进行帧内编码或帧间编码中的任一个，在预测切换器110中，按照诸条件来选择帧内编码，而进行输出预定值这样的指示。
对输入象素值信号S151的上述那样的编码处理与执行现有技术的帧内编码和帧间编码时相同。特别是，在B帧情况下的编码效率中，通过从多个参照候补中进行选择，来谋求编码效率的提高。
另一方面，在本实施例1的图象编码装置中，作为装置输入的输入形状信号S161被输入编码器(形状信号用)111，在编码器111中完成压缩编码处理。该压缩编码处理参照从下述的第四切换电路114所输出的参照形状信号S166来进行。通过编码处理而生成的编码形状信号S162作为该图象编码器的装置输出的一部分从编码器111输出，同时被输入解码器(形状信号用)112。
解码器112对所输入的编码形状信号S162进行作为编码器111中的编码处理的逆处理的解码处理，而生成解码形状信号S163。该解码处理参照从第四切换电路114所输出的参照形状信号S166来进行。
解码形状信号S163被输出给第三切换电路113。第三切换电路113，按照预测切换器110输出的解码形状切换信号S173的指示，来把所输入的解码形状信号S163输出给存储器115或存储器116。在存储器115、存储器116中，以帧单位来存储所输入的解码形状信号S163。第三切换电路113，在指示为不保持解码形状信号S163的情况下，废弃解码形状信号S163，不输出给任一个存储器。
预测切换器110，通过解码形状切换信号S173进行指示，以便于作为原则而从第三切换电路113，给存储器115和存储器116交替输出解码形状信号S163，以便于对于与前面输出的存储器不同的存储器输出解码形状信号S163。在解码形状信号S163是在编码处理中不进行参照的信号的情况下，通过解码形状切换信号S173，指示废弃解码形状信号S163。被输入存储器115或存储器116的解码形状信号S163分别作为第一存储解码形状信号S164、第二存储解码形状信号S165被保持。
第四切换电路114，按照来自预测切换器110的参照形状切换信号S174，来选择预定值、第一存储解码形状信号S164或第二存储解码形状信号S165中的任一个，把该选择的信号作为参照形状信号S166而输出给编码器111和解码器112。
图2是用于说明对形状信号的伴随着参照进行编码处理的图。在该图中，a)是时刻t0的解码形状信号，该信号是对时序上位于作为编码对象的时刻t1的形状信号之前的时刻t0的形状信号进行编码后进行解码而得到的。c)是时刻t2的解码形状信号，该信号是对时序上位于作为编码对象的时刻t1的形状信号之后的时刻t2的形状信号进行编码后进行解码而得到的。如上述那样，对于作为两值信息的形状信号，参照时间上接近的信息而取得差分值，取得时序上前后的多个信息的平均，而参照其，即使进行上述处理，通过这些操作也不一定能够实现编码效率的提高。但是，存在根据时间上的相关关系而有效地进行处理的情况。
如图2所示的那样，作为编码对象的时刻t1的图象形状信号，部分地与图2a)所示的前时刻t0的解码图象的形状信号和图2c)所示的后时刻t2的解码图象的形状信号相一致。在相应的情况下，使用在这些时序中前后接近的解码形状信号，来生成预测选择信号，由此，就能谋求编码效率的提高。接着，为了谋求预测精度的提高，希望在每个作为编码对象的形状信号的适当单位中，选择用于预测的解码形状信号。所以，在本实施例1中，与象素值信号的编码中的参照图象的选择相独立，来选择形状信号编码中的预测方法，由此，即使在形状信号的编码中，也能谋求伴随着参照的处理所产生的编码效率的提高。
在本实施例1的图象编码装置中，预测切换器110对第四切换电路114中的选择使编码器111中的输出比特数为最小，但是，使用参照形状切换信号来进行指示，以便于作为参照形状信号S166而输出。由此，在编码器111中在不伴随着使用作为预定值的参照形状信号S166的参照的帧内编码，或者，使用作为第一存储解码形状信号S164或第二存储解码形状信号S165的参照形状信号S166的参照前时刻或后时刻的参照形状信号的帧间编码中，执行编码效率最好的。
在对输入象素值信号S151和输入形状信号S161的上述那样的编码处理过程中，从预测切换器110生成用于各个切换电路的控制的解码象素值切换信号S171、参照象素值切换信号S172、解码形状切换信号S173和参照形状切换信号S174并输出。预测切换器110对生成的各切换信号进行编码，来生成预测选择信号S175。预测选择信号S175与编码象素值信号S153和编码形状信号S162一起为本实施例1的图象编码装置的装置输出，而在解码处理中使用。
这样，根据本实施例1的图象编码装置，由于具有减法器101、编码器(象素值信号用)102、解码器(象素值信号用)103、加法器104、第一切换电路105、第二切换电路106、存储器107和108、平均值计算器109、预测切换器110、编码器(形状信号用)111、解码器(形状信号用)112、第三切换电路113、第四切换电路114、存储器115和116，预测切换器110，通过控制用于第二切换电路中的输入象素值信号S151的编码的参照象素值信号的选择和用于第四切换电路中的输入形状信号S161的编码的参照形状信号，以成为相互独立地进行选择，由此，即使对输入象素值信号和输入形状信号中的任一个都能谋求编码效率的提高。
在本实施例1中，在由预测切换器110所进行的第四切换电路114的控制中，指示使编码器111中的输出比特数为最小这样的选择，但是，这仅是一个例子，可以能够编码对象的图象的性质、相应图象编码装置的处理能力和处理状况来进行设定。例如，监视在传输本实施例1的编码结果时的发送缓冲器的空闲容量，在空闲容量较多的情况下，能够通过设定来进行优先执行帧内编码这样的控制。
实施例2本发明的实施例2的图象解码方法和图象解码装置，是对通过实施例1所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
图3是表示本实施例1的图象解码装置的构成的方框图。如图所示的那样，本实施例2的图象解码装置包括解码器(象素值信号用)303、加法器304、第一切换电路305、第二切换电路306、存储器(解码象素值信号存储用1)307、存储器(解码象素值信号存储用2)308、平均值计算器309、解码器(形状信号用)312、第三切换电路313、第四切换电路314、存储器(解码形状信号存储用1)315和存储器(解码形状信号存储用2)316、排列替换用存储器(象素值信号用)361、排列替换用存储器(形状信号用)362和预测切换器370。
在该图中，解码器(象素值信号用)303、加法器304、第一切换电路305、第二切换电路306、存储器307和308、平均值计算器309与实施例1中的103～109相同，作为参照解码后的参照象素值信号来对输入编码象素值信号进行解码处理的象素值解码装置来起作用。解码器(形状信号用)312、第三切换电路313、第四切换电路314、存储器315和316与实施例1中的112～116相同，作为参照解码后的参照形状信号来对输入编码形状信号进行解码处理的形状解码装置来起作用。
排列替换用存储器361和362为了必要的排列替换而保持解码结果。按使用图14进行说明的那样，在编码处理中执行伴随着双向的参照的编码处理时，先对时间上为后面的图象进行编码处理。这样，在解码处理中，按照输入顺序来单纯地对所输入的编码结果进行解码处理而输出，由此，存在不能得到与原来图象相同的解码结果的情况，因此，一次在排列替换用存储器中进行保持，以正确的顺序编号被读出而输出。
预测切换器370对输入预测选择信号进行解码处理，取得在实施例1中预测切换器110(图1)输出的对各切换电路的控制信号，据此来对各切换电路输出切换信号，由此，作为指示象素值信号解码和形状信号解码中的参照信号的解码参照特定信号生成装置而起作用。
下面说明这样构成的本实施例2的图象解码装置的动作。
给本实施例2的图象解码装置输入输入编码象素值信号S353、输入编码形状信号S363和输入预测选择信号S375来作为装置输入。输入编码象素值信号S353、输入编码形状信号S363和输入预测选择信号S375是分别与作为实施例1的图象编码装置的装置输出的编码象素值信号S153、编码形状信号S162和预测选择信号S175相对应的信号。在本实施例2的图象解码装置中，输入编码象素值信号S353被输入解码器(象素值信号用)303，输入编码形状信号S363被输入解码器(形状信号用)312，输入预测选择信号S375被输入预测切换器370。
预测切换器370对输入预测选择信号S375进行解码处理，由此，从解码象素值切换信号、参照象素值切换信号、解码形状切换信号、参照形状切换信号中取得任一个信号。预测切换器370根据取得的信号，给第一～第四切换电路输出解码象素值切换信号S371、参照象素值切换信号S372、解码形状切换信号S373、参照形状切换信号S374。
解码器(象素值信号用)303对输入编码象素值信号S353进行解码处理，而生成编码解码象素值信号S321，把其输出给加法器304。从第二切换电路所输出的参照象素值信号S323被输入加法器304，通过对编码解码象素值信号S321和参照象素值信号S323进行加法运算处理，来生成解码象素值信号S322。解码象素值信号S322被输入排列替换用存储器361，同时，输出给第一切换电路305。
在第一切换电路305中，与实施例1相同，按照从预测切换器370所输出的解码象素值切换信号S371，来切换解码象素值信号S322的输出对方。接着，解码象素值信号S322被输入任一个存储器中来进行保持，或者，不输入任一个存储器。在存储器307和308中所保持的信号被输入平均值计算器309，来取得其平均值，而生成平均解码象素值信号S326。
在第二切换电路306中，与实施例1的情况相同，按照从存储器307所输出的参照象素值切换信号S372，来进行作为参照象素值信号S323而使用的信号的选择。在该选择中，预定值、在存储器307中所保持的第一存储解码象素值信号S324、在存储器308中所保持的第二存储解码象素值信号S325或平均解码象素值信号S326中的任一个作为参照象素值信号S323从第二切换电路306被输入加法器304。
如上述的那样，从预测切换器370所输出的解码象素值切换信号S371和参照象素值切换信号S372为与实施例1的图象编码装置输出的信号相同的信号。这样，通过与实施例1相同来进行第一切换电路305中的选择，来执行存储器307和存储器308中的存储，通过与实施例1相同来进行第二切换电路306的选择，来与编码处理中所使用的同种的参照信号。
另一方面，解码器(形状信号用)312使用从第四切换电路所输入的参照形状信号S332，来对输入编码形状信号S363进行解码处理，而生成解码形状信号S331。解码形状信号S331被输入排列替换用存储器362种进行保持，同时，被输出给第三切换电路313。在第三切换电路313中，与实施例1的情况相同，按照从预测切换器370所输出的解码形状切换信号S373，来切换解码形状信号S331的输出对方。接着，解码形状信号S331被输入任一个存储器中来进行保持，或者，被输入任一个存储器。
在第四切换电路314中，与实施例1相同，按照从预测切换器370所输出的参照形状切换信号S374，进行作为参照形状信号S332而使用的信号的选择。在该选择中，预定值、在存储器315中所保持的第一存储解码形状信号S333、在存储器316中所保持的第二存储解码形状信号S334中的任一个作为参形状信号S332从第四切换电路314被输出给解码器(形状信号用)312。
如上述那样，从预测切换器370所输出的解码形状切换信号S373和参照形状切换信号S374与实施例1的图象编码装置输出的信号相同。这样，通过与实施例1相同来进行第三切换电路313中的选择，来执行存储器315和存储器316中的存储；通过与实施例1相同来进行第四切换电路314中的选择，来使用与编码处理中所使用的信号同种的参照信号。
使用适当的参照象素值信号S323来处理的解码象素值信号S322和使用适当的参照形状信号S332来处理的解码形状信号S331分别被保持在排列替换用存储器361和362中，作为相应的图象解码装置的装置输出，来输出象素值解码结果S381和形状解码结果S382。
这样，根据本实施例2的图象解码装置，包括解码器(象素值信号用)303、加法器304、第一切换电路305、第二切换电路306、存储器307和308、平均值计算器309、解码器(形状信号用)312、第三切换电路313、第四切换电路314、存储器315和316、排列替换用存储器(象素值信号用)361、排列替换用存储器(形状信号用)362和预测切换器370，因此，预测切换器370根据对输入预测选择信号S375进行解码处理而取得的信号，使用控制信号，来进行对各切换电路的选择的指示，由此，就能对在实施例1的图象编码装置中进行了高效率的编码处理的，输入编码象素值信号S353和输入编码形状信号S362双方进行适当的解码。
实施例3本发明的实施例3的图象编码方法和图象编码装置，与实施例1的图象编码处理相同，执行象素值信号处理和形状信号处理的控制。
本实施例3的图象编码装置的构成与实施例1相同，在说明中使用图1。对于本实施例3的图象编码装置的动作，与实施例1相同地进行对象素值信号和形状信号的编码处理。
在本实施例3的图象编码装置中，由预测切换器110所进行的预测选择信号S175的生成方法与实施例1不同。图4是用于说明本实施例3的图象编码装置中的预测选择信号S175生成过程中的编码分配方法的图。下面使用图4来对本实施例3的预测切换器110所进行的预测选择信号S175的生成方法进行说明。
图4a)表示与形状信号处理相关的编码分配。在图1中，预测切换器110使用参照形状切换信号S174来对第四切换电路114进行指示的内容为对应于“预定值参照”即使用预定值的编码、“前方参照”即参照时序上前面的图象的编码、“后方参照”即参照时序上后面的图象的编码，预测切换器110分配代码“0”、“10”或“11”来生成预测选择信号S175。
图4b)表示与象素值信号处理相关的编码分配。在图1中，预测切换器110使用参照象素值切换信号S172来对第二切换电路106进行指示的内容为对应于“预定值参照”即使用预定值的编码、“前方参照”即参照时序上前面的图象的编码、“后方参照”即参照时序上后面的图象的编码、“双方参照”即参照时序上前后的图象的编码，预测切换器110分配代码“00”、“01”、“10”或“11”来生成预测选择信号S175。
在任一种情况下，如果使用固定值作为预定值，“预定值参照”就意味着帧内编码。
这样，根据本实施例3的图象编码装置，在与实施例1的图象编码装置相同的构成中，预测切换器110对应于在输入象素值信号的编码处理中使用的控制信号和在输入形状信号的编码处理中使用的控制信号，分别按照预定的编码分配来生成预测选择信号S175，因此，与实施例1相同，能够高效率地对各个输入信号进行编码，在解码处理中使用把在该编码过程中使用的参照处理的信息，就能执行适当的解码处理。
图4所示的编码分配仅是一个例子，可以使用各种分配方法，对出现频率高的分配较短的编码长度，就能谋求整体的比特数的降低。
实施例4本发明的实施例4的图象编码方法和图象编码装置，与实施例3的图象编码处理相同，涉及预测选择信号的生成方法。
本实施例4的图象编码装置的构成与实施例1相同，在说明中使用图1。对于本实施例4的图象编码装置的动作，与实施例1相同地进行对象素值信号和形状信号的编码处理。
在本实施例4的图象编码装置中，由预测切换器110所进行的预测选择信号S175的生成方法与实施例1不同。图5是用于说明本实施例4的图象编码装置中的预测选择信号S175生成过程中的编码分配方法的图。下面使用图5来对本实施例4的预测切换器110所进行的预测选择信号S175的生成方法进行说明。
在实施例3中，把与形状信号处理相关的信息和与象素值信号处理相关的信息进行分离来生成信号，而在本实施例4中，是把两者进行组合来确定编码分配方法。如图5所示的那样，在本实施例4中，在象素值信号处理和形状信号处理两者中，在“预定值参照”、“前方参照”、“后方参照”被选择的情况下，分配最短的编码长度，当在象素值信号处理中选择“双方参照”以及在形状信号处理中选择“前方参照”或“后方参照”时，分配第二短的编码长度。
如实施例1所述的那样，在本实施例4的图象编码装置中，相互独立地控制象素值信号的编码处理和形状信号的编码处理，但是，一般在象素值信号中的参照信号的选择与形状信号中的参照信号的选择之间确认相关关系。这表示与一方例如时序上前面的图象的相关关系高，而选择“前方参照”时，另一方进行同样的选择。
这样，在本实施例4的图象编码装置中，在预测选择信号S175的生成过程中，使用考虑相应的相关关系的编码分配，由此，给发生频率大的事件分配较短的编码长度，这样，与实施例3的情况相比，能够实现预测选择信号S175的编码长度的降低，进而，就能谋求编码效率整体的提高。
这样，根据本实施例4的图象编码装置，在与实施例1的图象编码装置相同的构成中，预测切换器110对应于在输入象素值信号的编码处理中使用的控制信号和在输入形状信号的编码处理中使用的控制信号，按照把各个选择进行组合的预定的编码分配来生成预测选择信号S175，因此，与实施例1相同，能够高效率地对各个输入信号进行编码，进而，能够高效率地把表示在该编码过程中使用的参照处理的信息作为预测选择信号。
与实施例3相同，图5所示的编码分配仅是一个例子，并不仅限于此，可以通过分配对应于出现频率的编码长度来得到相同的效果。
实施例5本发明的实施例5的图象编码方法和图象编码装置，与实施例3和4的图象编码处理相同，涉及预测选择信号的生成方法。
本实施例5的图象编码装置的构成与实施例1相同，在说明中使用图1。对于本实施例5的图象编码装置的动作，与实施例1相同地进行对象素值信号和形状信号的编码处理。
在本实施例5的图象编码装置中，由预测切换器110所进行的预测选择信号S175的生成方法与实施例1不同。图6是用于说明本实施例5的图象编码装置中的预测选择信号S175生成过程中的编码分配方法的图。下面使用图6来对本实施例5的预测切换器110所进行的预测选择信号S175的生成方法进行说明。
图6a)是与形状信号的编码处理相关的编码分配，其内容与图4a)所示的实施例3相同。图6b)是对形状信号的编码处理和象素值信号的编码处理的组合的编码分配。
在本实施例5中，预测切换器110，在预测选择信号S175的生成过程中，首先对应于形状信号处理来分配按照图6a)的编码，接着，对应于形状信号的编码处理和象素值信号的组合，分配按照图6b)的编码。
例如，当在形状信号的处理中是“前方参照”时，以及当在象素值信号的处理中是“前方参照”时，首先分配代码“10”，接着分配代码“0”。与此相对，当在形状信号的处理中是“前方参照”时，以及当在象素值信号的处理中是“后方参照”时，首先分配代码“10”，接着分配代码“100”。图6b)与图5相同，考虑了形状信号与象素值信号的相关关系，在出现频率高的情况下，分配较短的编码长度。
这样，根据本实施例5的图象编码装置，在与实施例1的图象编码装置相同的构成中，预测切换器110首先进行对应于在输入形状信号的编码处理中使用的控制信号的编码分配，接着，对应于在输入形状信号和输入象素值信号的编码处理中使用的控制信号的组合来进行编码分配，来生成预测选择信号S175，因此，与实施例1相同，能够高效率地对各个输入信号进行编码，进而，能够高效率地把表示在该编码过程中使用的参照处理的信息作为预测选择信号。
与实施例3和4相同，图6所示的编码分配仅是一个例子，并不仅限于此，可以通过分配对应于出现频率的编码长度来得到相同的效果。
实施例6本发明的实施例6的图象解码方法和图象解码装置，是对通过实施例3所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例6的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例6的图象解码装置的动作，与实施例2相同地进行对象素值信号和形状信号的解码处理。
在本实施例6的图象解码装置中，输入实施例3的图象编码装置输出的编码结果，进行图4所示的编码分配的信号被作为输入预测选择信号S375(图3)而输入到本实施例6的图象解码装置中。在本实施例6的图象解码装置中，预测切换器370通过对其进行正确的解码，来进行与实施例2相同的解码处理，而对实施例3的编码结果适当地进行解码处理。
这样，根据本实施例6的图象解码装置，在与实施例2的图象解码装置相同的构成中，输入实施例3的编码结果，预测切换器370对输入预测选择信号S375进行解码，因此，就能对实施例3的编码结果适当地进行解码处理。
实施例7本发明的实施例7的图象解码方法和图象解码装置，是对通过实施例4所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例7的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例7的图象解码装置的动作，与实施例2相同地进行对象素值信号和形状信号的解码处理。
在本实施例7的图象解码装置中，输入实施例4的图象编码装置输出的编码结果，进行图5所示的编码分配的信号被作为输入预测选择信号S375(图3)而输入到本实施例7的图象解码装置中。在本实施例7的图象解码装置中，预测切换器370通过对其进行正确的解码，来进行与实施例2相同的解码处理，而对实施例4的编码结果适当地进行解码处理。
这样，根据本实施例7的图象解码装置，在与实施例2的图象解码装置相同的构成中，输入实施例4的编码结果，预测切换器370对输入预测选择信号S375进行解码，因此，就能对实施例4的编码结果适当地进行解码处理。
实施例8本发明的实施例8的图象解码方法和图象解码装置，是对通过实施例5所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例8的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例8的图象解码装置的动作，与实施例2相同地进行对象素值信号和形状信号的解码处理。
在本实施例8的图象解码装置中，输入实施例5的图象编码装置输出的编码结果，进行图6所示的编码分配的信号被作为输入预测选择信号S385(图3)而输入到本实施例8的图象解码装置中。在本实施例8的图象解码装置中，预测切换器370通过对其进行正确的解码，来进行与实施例2相同的解码处理，而对实施例5的编码结果适当地进行解码处理。
这样，根据本实施例8的图象解码装置，在与实施例2的图象解码装置相同的构成中，输入实施例5的编码结果，预测切换器370对输入预测选择信号S375进行解码，因此，就能对实施例5的编码结果适当地进行解码处理。
实施例9本发明的实施例9的图象编码方法和图象编码装置是执行与实施例1相同的控制的方案，但是，对象素值信号和形状信号，使用不同的切换单位来进行控制。
本实施例9的图象编码装置与实施例1相同，在说明中使用图1。对于本实施例9的图象编码装置的动作，与实施例1相同地进行对象素值信号和形状信号的编码处理。
在本实施例9的图象编码装置中，在控制象素值信号的处理的情况下和控制形状信号的处理的情况下，由预测切换器110所产生的控制用信号的输出是不同的。
图7是用于说明本实施例9中的控制的切换单位的图。图7a)是用于说明象素值信号中的参照处理的图。如图所示的那样，1帧(一个画面)的象素值信号，把块作为单位，而由多个(在该例中为9个)块所构成，以该块作为处理单位来执行编码处理。在本实施例9中，对象素值信号的控制的切换单位为块，在作为编码对象的输入象素值信号的每一块中，执行图1中的第二切换电路106中的切换。
与此相对，对于形状信号，把1帧作为控制的切换单位。这样，对作为编码对象的输入形状信号的每一帧，执行图1中的第四切换电路114中的切换。
在象素值信号中，如图7a)所示的那样，通过把块作为单位来执行参照图象的切换，与把帧作为单位的情况相比，提高预测精度的可能性较高，而能够谋求编码效率的提高。与此相对，在形状信号中，与象素值信号的统计性质变大，以较小的单位来切换预测图象，由此，不是一概都能提高预测精度。这是因为在形状信号中，对于表示对象的轮廓的部分的信号，具有较大的意义，而轮廓外部的部分和完全包含在轮廓内部中的部分的信号是没有怎么意义的信号，而具有与由意义大致均等的某个信号所构成的象素值信号不同的性质。
另一方面，预测选择信号S175(图1)具有的编码量，对象素值信号和对形状信号，同样地象以较小单位进行切换那样而增大。这样，对于形状信号，在不会对预测精度产生影响的程度上以较大的单位来执行切换，由此，就能谋求能够降低在装置输出中包含的预测选择信号S175的编码量的整体的编码效率的提高。特别是，通过便携式终端等的非常低的比特率编码，在发送接受图象和数据等的机器的情况下，对构成图象的象素值信号和形状信号而分配的编码量变小，因此，预测选择信号的编码量的影响相对地变得较大，则编码量削减的效果较大。
这样，根据本实施例9的图象编码装置，在与实施例1的图象编码装置相同的构成中，使预测切换器110中的控制的切换单位对象素值信号来说为块，而对形状信号来说为帧，由此，对于切换的大小难于对预测精度产生影响的形状信号，以较大的单位来进行控制，就能降低作为装置输出的预测选择信号S175的编码量，而谋求整体的编码效率的提高。特别是，适合于以非常低的比特率来进行处理的情况。
在本实施例9中，在对形状信号的编码处理中，一般是把帧作为切换单位来执行编码处理，但是，也可以并用帧和块等切换单位不同的控制，或者，进行选择来进行。而且，在执行相应的控制时，作为装置输出的预测选择信号S175可以包含帧电平的信息和块电平的信息等级别不同的信息，在这样的信息中，例如帧电平的信息作为指定参照方法的信息，块电平的信息为指定帧内编码或伴随着参照的编码的信息，这可以通过编码分配的设定等来实现。
在本实施例9中，对于形状信号，是把帧作为控制的切换单位的方案，但是，这仅是一个例子，也可以以大块单位进行切换，或者把更多数量的块作为单位来进行切换。一般，在象素值信号和形状信号中，使控制的切换单位为不同的，对于形状信号，把更大的单位作为切换单位，由此具有同样的效果。
实施例10本发明的实施例10的图象编码方法和图象编码装置，与实施例9相同，对象素值信号和形状信号，使用不同的切换单位来进行控制。
本实施例10的图象编码装置与实施例1相同，在说明中使用图1。对于本实施例10的图象编码装置的动作，与实施例1相同地进行对象素值信号和形状信号的编码处理。
在本实施例10的图象编码装置中，在控制象素值信号的处理的情况下和控制形状信号的处理的情况下，由预测切换器110所产生的控制用信号的输出是不同的。在本实施例10中，对于象素值信号的处理，与实施例9相同，把块作为切换单位来进行控制。而且，对于形状信号的处理的控制的切换单位与实施例9不同。
图8是用于说明本实施例10中的对形状信号处理的控制的切换单位的图。在该图中，帧804～807是成为编码对象的形状信号的时序上位于前后的解码形状信号。帧804～807是时刻t1、时刻t2、时刻t3、时刻t4的4个帧的形状信号，在图1中，在存储器115和116中存储每2帧。在本实施例10中作为处理对象的1帧的形状信号包含3片(slice)。例如，帧807包含片8071～8073。
片801是成为编码对象的在时刻te的形状信号帧中包含的片。在片801中，包含带有阴影线的编码对象的块。本实施例10中的对形状信号的控制的切换为由帧和片两级组成的分层单位。在本实施例10中，首先，从帧804～807的4个帧中选择2帧。从所选择的2帧中分别取得与片801相对应的位置的片802和片803。接着，选择出片802、片803和预定值中的任一个来作为参照信号而使用。
在图1中，预测切换器110使用参照形状切换信号S174来指示选择，在该选择是图8中的片802或片803的情况下，从存储器115或存储器116读出相对应部分的数据，来作为参照形状信号S166而使用。
这样，根据本实施例10的图象编码装置，在与实施例1的图象编码装置相同的构成中，使预测切换器110中的控制的切换单位，对象素值信号为块，而对形状信号为作为大块单位的帧和作为小块单位的片的分层单位，由此，对于切换的大小难于对预测精度产生影响的形状信号，以较大的单位来进行控制，就能降低作为装置输出的预测选择信号S175的编码量，而谋求整体的编码效率的提高。特别是，适合于以非常低的比特率来进行处理的情况。
在本实施例10中，与实施例9相同，可以并用切换单位(分层单位)不同的控制，或者进行适当选择来实现，预测选择信号可以包含多个级别的信息。
在实施例9和10中，表示了对于各种形状信号的处理中的切换单位，但是，对于象素值信号的处理，也可以变更控制的切换单位，并不仅限于在每个块中进行切换。
实施例11本发明的实施例11的图象解码方法和图象解码装置，是对通过实施例9所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例11的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例11的图象解码装置的动作，与实施例2相同地进行对象素值信号和形状信号的解码处理。
在本实施例11的图象解码装置中，输入实施例9的图象编码装置输出的编码结果，如在实施例9中说明的那样，输入编码结果，该编码结果是通过对象素值信号把块作为控制切换单位而对形状信号把帧作为控制切换单位的编码处理而得到的。这样，在本实施例11中，预测切换器370(图3)与此相对应地使用适当的切换单位来输出控制信号，由此，就能对实施例9的编码结果进行正确的解码处理。
这样，根据本实施例11的图象解码装置，在与实施例2的图象解码装置相同的构成中，输入实施例9的编码结果，通过与实施例9相同的单位来切换控制，因此，就能对实施例9的编码结果适当地进行解码处理。
实施例12本发明的实施例12的图象解码方法和图象解码装置，是对通过实施例10所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例12的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例12的图象解码装置的动作，与实施例2相同地进行对象素值信号和形状信号的解码处理。
在本实施例12的图象解码装置中，输入实施例10的图象编码装置输出的编码结果，如在实施例10中说明的那样，输入编码结果，该编码结果是通过对象素值信号把由帧和片组成的分层单位作为控制切换单位的编码处理而得到的。这样，在本实施例12中，预测切换器370(图3)与此相对应地使用适当的切换单位来输出控制信号，由此，就能对实施例10的编码结果进行正确的解码处理。
这样，根据本实施例12的图象解码装置，在与实施例2的图象解码装置相同的构成中，输入实施例10的编码结果，通过与实施例10相同的单位来切换控制，因此，就能对实施例10的编码结果适当地进行解码处理。
实施例13本发明的实施例13的图象编码方法和图象编码装置，是执行与实施例1相同的控制的方案，但形状信号的编码中的参照信号的选择方法不同。
本实施例13的图象编码装置的构成与实施例1相同，在说明中使用图1。下面说明本实施例13的图象编码装置中的编码处理时的动作。
在本实施例13的图象编码装置中，对由预测切换器110所产生的使用参照形状切换信号S174的参照形状信号选择的控制方法与实施例1不同。
在实施例1中，选择预定值、时序上前面的(前时刻的)解码形状信号或者时序上后面的(后时刻的)解码形状信号中的任一个来作为参照形状信号，对此，从它们中选择来自编码器(形状信号用)111的输出比特数变少的那个。与此相对，在本实施例13中，在进行帧间编码时，比较成为编码对象的形状信号的时刻与前时刻和后时刻之差，使用差值较少一方的解码形状信号。
在实施例1中，作为装置输出的预测选择信号是把从预测切换器所输出的全部切换信号进行编码而得到的，但是，可以使用时间信息等来作为表示参照方法的信息，而在实施例13中，不对表示时刻的信息进行编码处理，而是包含在预测选择信号中。
图9是用于说明本实施例13中的图象编码处理的图。图9a)表示象素值信号的编码，与在现有技术的说明中使用的图14相同。图9b)表示与图9a)相对应的形状信号的编码。在图中，帧910～916分别是相当于1帧的象素值信号900～906的形状信号。图中的“I”“P”“B”和箭头与图14相同，表示编码方法和参照关系。图中的t0～t6表示各个帧的时刻。
对于输入到本实施例13中的图象编码装置中的象素值信号，与图14所示的现有技术的编码相同地执行编码处理。在图9a)所示的象素值信号中，对于例如作为B帧的帧901，时序上位于前面的I帧900和时序上位于后面的P帧903能够成为参照信号，如上述那样，选择前时刻的数据和后时刻的数据中的一个或者使用两者，来取得例如平均值而使用，由此，就能提高预测精度。与此相对，在形状信号的编码处理中，参照前后两者的效果并不一定较大，因此，在本实施例13中，在形状信号的编码中，是参照任一方。
例如，对于对应于帧901的形状信号951，把时刻t1和时刻t0之差与时刻t1和时刻t3之差进行比较，把差值较小的那方的帧作为参照信号来使用。其中，由于与时刻t0之差的那方较小，则表示参照帧950的情况。对于其他的参照关系是相同的。
图10是表示本实施例13的图象编码方法中的对构成B帧的图象信号的象素值信号和形状信号的编码处理的处理程序的流程图。下面，按照图10的流程来说明图9a)的对帧901和形状信号951的处理。
在步骤101中，取得作为编码对象的图象的时刻T0、构成编码对象图象的象素值信号B0和形状信号b0。在图9中，T0是t1，象素值信号B0是图9a)的帧901，形状信号是图9b)的911。在步骤102中，在对象素值信号B0的编码处理中，取得作为参照信号的象素值信号P1和P2的时刻T1和T2。如图9a)所示的那样，帧901是参照帧900和帧903的，T1为t0，T2为t3。
在步骤103中，求出在步骤101中取得的T0与在步骤102中取得的T1和T2之差，比较其绝对值的大小。接着，根据比较结果来执行步骤104或步骤105。在图9中，由于t1和t0的时间间隔小于t0和t3的时间间隔，因此，执行步骤104。
在步骤104中，参照相当于时刻T1的形状信号p1，来对作为编码对象的形状信号b0进行编码处理。在图9中，由于相当于作为时刻T1的时刻t0的形状信号是信号910，则参照信号910来对形状信号911进行编码处理。接着，在步骤106中，输出作为编码结果的编码形状信号。
然后在步骤107中，参照象素值信号P1和P2来对象素值信号B0进行编码处理。如图9a)所示的那样，参照帧900和帧903来对帧901进行编码处理。接着，在步骤108中，作为编码结果来输出编码象素值信号，对该帧的图象信号的编码处理结束。
在图9a)的象素值信号的帧902和相对应的形状信号912作为编码处理对象的情况下，在步骤103的判定中，执行步骤105。在此情况下，参照信号913来对形状信号912进行编码。
在图10的流程所示的处理程序中，如图9b)所示的那样，参照时序上位于前后的信号中的时间上接近的一方的信号来对相对于B帧的形状信号进行编码处理。
图11是表示本实施例13的图象编码装置的由预测切换器110(图1)所产生的图象编码处理控制的程序的流程图。下面，按照图11的流程来说明本实施例13中的控制。
当1帧的象素值信号和相对应的形状信号被输入时，开始图11所示的处理程序，首先在步骤1101中，判定所输入的编码对象的图象数据是否是B帧。其中，当不是B帧时，移到步骤1110，接着判定是否是P帧。
在是B帧的情况下，执行步骤1102以后的处理。首先，在步骤1102中，预测切换器110，取得作为编码对象的图象的时刻T0、在对构成编码对象图象的象素值信号的编码处理中作为参照信号而使用的象素值信号P1和P2的时刻T1和T2。接着，在步骤1103中，把时刻T0和时刻T1之差的绝对值与时刻T0和时刻T2之差的绝对值进行比较，根据比较的结果来执行步骤1104或步骤1105。
在图1中，在存储器115和存储器116中，在一方中根据相当于时刻T1的形状信号来存储解码形状信号，而在另一方中根据相当于时刻T2的形状信号来存储解码形状信号。通过执行步骤1104或步骤1105，选择相当于时刻T1或时刻T2中的与时刻T0的时间间隔较小的一方的时刻的解码形状信号，而用于形状信号编码处理中。在图1中，预测切换器110输出参照形状切换信号S174，控制第四切换电路114来选择第一或第二存储解码形状信号作为参照形状信号S166。
接着，在步骤1106中，预测切换器110控制在象素值信号的编码处理中使用的参照信号选择。在图1的存储器107和108的一方中存储时刻T1解码象素值信号，而在另一方中存储时刻T2的解码象素值信号。接着，平均值计算器109，取得平均解码象素值信号，来作为存储在存储器107和108中的第一和第二存储解码形状信号的平均。预测切换器110把参照象素值切换信号S172输出给第二切换电路106，由此，来进行控制以便于从第二切换电路作为参照象素值信号S155来输出平均解码象素值信号S159。
如图9所示的那样，由于B帧的信号表示被参照的，则在步骤1107和步骤1108中，预测切换器110根据它们来进行控制以便于在存储器中不保持解码信号。在图1中，在第一切换电路105中根据时刻T0的输入象素值信号S151而输入解码象素值信号S156，在第三切换电路113中根据相当于时刻T0的输入形状信号S161而输入解码形状信号S163。预测切换器110给第一切换电路105输出解码象素值切换信号S171，给第三切换电路113输出解码形状切换信号S173，由此，进行控制以便于使解码象素值信号S156和解码形状信号S163不被输入任一个存储器中，而废弃各个解码信号。
接着，执行步骤1109。在步骤1109中，预测切换器110把对形状信号的参照编码的信息作为预测选择信号S175来输出。即，不对表示时刻P1和P2的信息进行编码处理而是包含在预测选择信号中，由此，把这样的预测选择信号S175作为该图象编码装置的装置输出来输出，在对编码结果进行解码处理时，来实现使用表示时刻的信息来正确地进行解码处理。
当执行从步骤1102至步骤1109时，对B帧的图象数据的图象编码处理结束。接着，说明在步骤1101的判定中不是B帧而不执行步骤1102至步骤1109时的预测切换器110所进行的控制。
接着步骤1101来执行步骤1110，判定所输入的图象数据是否是P帧。其中，在不是P帧的情况下，移到步骤1113，来执行对I帧的处理的控制。
在是P帧的情况下，执行步骤1111～1112的处理。在步骤1111中，预测切换器110给第四切换电路114输出参照形状切换信号S174，由此，指示把在存储器115或存储器116中所存储的解码形状信号中的任一个作为参照形状信号S166来输出。由第四切换电路114选择输出第一或第二存储解码形状信号中的时序上位于作为编码对象的形状信号之前的那个。在步骤1112中，预测切换器110给第二切换电路106输出参照象素值切换信号S172，由此，指示把在存储器107或存储器108中所存储的解码象素值信号中的任一个作为参照象素值信号S155来输出。由第二切换电路106选择输出第一或第二存储解码象素质信号中的时序上位于作为编码对象的象素质信号之前的那个。
另一方面，在步骤1110的判定中，当不是P帧时，执行步骤1113～步骤1114。在步骤1113中，预测切换器110给第四切换电路114输出参照形状切换信号S174，由此，指示把预定值作为参照形状信号S166来输出。由第四切换电路114选择输出作为帧内编码用的固定值所设定的预定值。在步骤1114中，预测切换器110给第二切换电路106输出参照象素值切换信号S172，由此，指示把预定值作为参照象素值信号S155来输出。由第二切换电路106选择输出作为帧内编码用的固定值所设定的预定值。
在执行步骤1111～1112或步骤1113～1114中任一个时，接着步骤1112或步骤1114之后执行步骤1115～1116，来执行对解码信号的存储的控制。
如图9所示的那样，由于P帧和I帧的信号是被参照的，则在步骤1115和步骤1116中，预测切换器110根据它们来进行控制以便于把解码信号保持在存储器中。在图1中，根据时刻T0的输入象素值信号S151给第一切换电路105输入解码象素值信号S156，根据相当于时刻T0的输入形状信号S161给第三切换电路113输入解码形状信号S163。预测切换器110把解码象素值切换信号S171输出给第一切换电路105，把解码形状切换信号S173输出给第三切换电路113，由此，解码象素值信号S156和解码形状信号S163进行控制以便于把解码信号输入到前面未被输入的那方的存储器中，各个解码信号被输入到所指定的存储器中进行保持。执行步骤1115～1116，把解码信号存储到任一个存储器中，同时，对P帧或I帧的输入图象信号的处理结束。
这样，根据本实施例13的图象编码装置，在与实施例1的图象编码装置相同的构成中，预测切换器110对输入象素值信号的编码处理和输入形状信号的编码处理进行控制，以便于分别执行适当的参照方法，因此，与实施例1相同，可以高效率地对各个输入信号进行编码，就能把表示在该编码时使用的参照处理的信息用于解码处理，来执行适当的解码处理。
实施例14本发明的实施例14的图象编码方法和图象编码装置，与实施例13相同，在形状信号的编码中，使用与象素值信号不同的参照方法，并且参照信号的选择方法与实施例13不同。
本实施例14的图象编码装置的构成与实施例1相同，在说明中使用图1。下面说明本实施例14的图象编码装置中的编码处理时的动作。
本实施例14的图象编码装置具有与实施例13大致相同的动作，但是，输入的图象信号为B帧时的参照方法与实施例13不同。
在实施例13中，如图9b)所示的那样，对于与B帧的象素值信号相对应的形状信号，选择时序上位于前面的形状信号或者时序上位于后面的形状信号中的一个来作为参照信号使用。而且，在该选择过程中，把作为编码对象的形状信号与位于前后的形状信号的时间间隔进行比较，来选择时间间隔较少的那个。
与此相对，在本实施例14中，始终使用时序上位于前面的形状信号来作为参照信号。在图9b)所示的实施例13中，在形状信号911的编码中参照形状信号910，在形状信号912的编码中参照形状信号913，而在本实施例14中，在形状信号911和形状信号912的编码中都是参照形状信号910。这样，就不需要象实施例13那样求出时间间隔来进行比较判定的处理，控制变得简单。特别是，在图9所示的帧间的时间间隔为恒定或接近恒定的情况下，是有效的方法。
这样，根据本实施例14的图象编码装置，在与实施例1的图象编码装置相同的构成中，预测切换器110对输入象素值信号的编码处理和输入形状信号的编码处理进行控制，以便于分别执行适当的参照方法，因此，与实施例1相同，可以高效率地对各个输入信号进行编码，就能执行适当的解码处理，却能够实现简单的控制。
实施例15本发明的实施例15的图象编码方法和图象编码装置，与实施例13相同，在形状信号的编码中，使用与象素值信号不同的参照方法，并且参照信号的选择方法与实施例13不同。
本实施例15的图象编码装置的构成与实施例1相同，在说明中使用图1。下面说明本实施例15的图象编码装置中的编码处理时的动作。
本实施例15的图象编码装置具有与实施例13大致相同的动作，但是，输入的图象信号为B帧时的参照方法与实施例13或实施例14不同。
在实施例13中，如图9b)所示的那样，对于与B帧的象素值信号相对应的形状信号，选择时序上位于前面的形状信号或者时序上位于后面的形状信号中的一个来作为参照信号使用。而且，在该选择过程中，把作为编码对象的形状信号与位于前后的形状信号的时间间隔进行比较，来选择时间间隔较少的那个。在实施例14中，始终使用时序上位于前面的形状信号来作为参照信号。
与此相对，在本实施例15中，预测切换器110(图1)进行下述的决定和指示在形状信号的编码处理中，是象实施例13中的处理那样进行比较判定来选择参照方法即进行比较判定选择，还是象实施例14那样参照时序上位于前面的形状信号即进行前方固定选择。预测切换器110所进行的决定可以根据所输入的图象信号的性质和编码处理的状况等来进行。
这样，根据本实施例15的图象编码装置，在与实施例1的图象编码装置相同的构成中，预测切换器110对输入象素值信号的编码处理和输入形状信号的编码处理进行控制，以便于分别执行适当的参照方法，因此，可以对应于所输入的图象信号的性质和编码处理的状况等，与实施例1相同，高效率地对各个输入信号进行编码，而在解码处理中使用表示该编码时使用的参照处理的信息，来执行适当的解码处理。
实施例16本发明的实施例16的图象解码方法和图象解码装置，是对通过实施例13所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例16的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例16的图象解码装置的动作，与实施例2大致相同地进行对象素值信号和形状信号的解码处理，但是当输入编码信号是对B帧的图象信号进行编码而得到的时的处理与实施例2不同。
图12是表示实施例16的图象编码方法中的对把B帧的图象信号进行编码的编码信号的处理程序的流程图。下面按照图12的流程并参照图3来说明本实施例16的图象编码装置的动作。
在实施例13所示的图象编码装置中，输入作为装置输出的编码象素值信号、编码形状信号和预测选择信号来作为包含图3所示的输入编码象素值信号S353、输入编码形状信号S363和输入预测选择信号S375的图象编码信号，使处理开始。首先，在步骤1201中，预测切换器370取得作为解码对象的输入编码象素值信号B0和输入编码形状信号b0的时刻T0。接着，在步骤1202中，预测切换器370取得在B帧的输入编码象素值信号的处理中进行参照的解码象素值信号P1和P2的时刻T1和T2。在步骤1203中，输入编码形状信号b0被输入解码器312。
预测切换器370，在步骤1204中，使用在步骤1201～1202中取得的时刻，来进行判定。在该判定处理中，取得时刻T0与时刻T1和T2之差的绝对值，来进行比较，由此，判定哪一个更小。接着，根据判定的结果，如果T0与T1之差的绝对值更小，则执行步骤1205，而如果T0与T2之差的绝对值更小，则执行步骤1206。
在执行步骤1205时，预测切换器370向第四切换电路314输出参照形状切换信号S374，由此，进行指示从存储在存储器315或存储器316中的解码形状信号中，由第四切换电路314输出相当于时刻T1的信号p1来作为参照形状信号S332。接着，由第四切换电路314向解码器312输入参照形状信号S332，在步骤1203中被输入解码器312中的输入编码形状信号b0参照参照形状信号S332来进行解码处理。
当执行步骤1206时，为大致相同的处理，使用相当于时刻T2的解码形状信号p2来作为参照形状信号S332，而对输入编码形状信号b0进行解码处理。
当执行步骤1205或步骤1206中的一个时，向排列替换用存储器362输出接着在步骤1207中所执行的通过解码处理而得到解码形状信号S331。
然后，执行步骤1208，输入象素值信号B0被输入解码器303。在下一个步骤1209中，预测切换器370根据从输入预测选择信号S375取得的信息来向第二切换电路306输出参照象素值切换信号S372，由此，进行控制，以便于使用存储在存储器307或存储器308中的时刻T1或时刻T2的解码象素值信号或平均值计算器309取得的作为两者的平均的平均解码象素值信号，来作为参照象素值信号S323。接着，在解码器303中，参照参照象素值信号S323来对在步骤1208中所输入的输入象素值信号B0进行解码处理。在步骤1210中，所生成的解码象素值信号S322被输入排列替换用存储器361，对所输入的编码图象信号的处理结束。
这样，根据本实施例16的图象解码装置，在与实施例2的图象解码装置相同的构成中，预测切换器370进行控制以便于在解码形状信号的解码处理中使用适当的参照信号，因此，就能对由实施例13的图象编码装置所得到的编码结果适当地进行解码处理。
实施例17本发明的实施例17的图象解码方法和图象解码装置，是对通过实施例14所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例17的图象解码装置的构成与实施例2相同，在说明中使用图3。对于本实施例17的图象解码装置的动作，与实施例2大致相同地进行对象素值信号和形状信号的解码处理，但是当输入编码信号是对B帧的图象信号进行编码而得到的时的处理与实施例2不同。
在相应的情况下，本实施例17的图象解码装置进行与实施例16的装置相同的动作，但是，在输入编码形状信号的解码处理中使用的参照信号的选择方法是不同的。在实施例16的图象解码装置中，是在选择中进行比较判定以使用时间间隔较小的解码形状信号，但是，在本实施例17中，不进行相应的比较判定，使用时序上位于作为解码对象的输入编码信号的解码形状信号来作为参照形状信号。这样，就能对进行相同的参照处理的实施例14的图象编码装置输出的编码结果进行适当的解码处理。
这样，根据本实施例17的图象解码装置，在与实施例2的图象解码装置相同的构成中，预测切换器370进行控制以便于在解码形状信号的解码处理中使用适当的参照信号，因此，就能对由实施例14的图象编码装置所得到的编码结果适当地进行解码处理。
实施例18本发明的实施例18的图象解码方法和图象解码装置，是对通过实施例15所进行的图象编码处理而得到的编码结果适当地进行解码处理的方案。
本实施例18的图象解码装置的构成与实施例2相同，在说明中使用图3。而且，对于本实施例1 7的图象解码装置的动作，与实施例2大致相同地进行对象素值信号和形状信号的解码处理，但是当输入编码信号是对B帧的图象信号进行编码而得到的时的处理与实施例2不同。
在相应的情况下，本实施例18的图象解码装置进行与实施例16和实施例17的装置相同的动作，但是，在输入编码形状信号的解码处理中使用的参照信号的选择方法是不同的。在实施例16的图象解码装置中，是在选择中进行比较判定以使用时间间隔较小的解码形状信号；在实施例17中，不进行相应的比较判定，使用时序上位于作为解码对象的输入编码信号之前的解码形状信号来作为参照形状信号。
与此相对，在本实施例18中，在编码处理中，判断是进行比较判定选择还是进行前方固定选择，当是进行比较判定选择时，与实施例16相同，而当是进行前方固定选择时，进行与实施例17相同的解码处理。可以从在实施例15的图象编码装置输出的预测选择信号中包含的信息来判断是否进行比较判定选择。这样，就能对进行同样的参照处理的实施例15的图象编码装置输出的编码结果适当的进行解码处理。
这样，根据本实施例18的图象解码装置，在与实施例2的图象解码装置相同的构成中，预测切换器370进行控制以便于在解码形状信号的解码处理中使用适当的参照信号，因此，就能对由实施例15的图象编码装置所得到的编码结果适当地进行解码处理。
实施例19本发明的实施例19的图象编码程序记录媒体记录执行本发明的图象编码方法的图象编码程序。
图13表示作为程序记录媒体的一个例子的软磁盘。本实施例19的图象编码程序记录媒体是在这样的记录媒体中记录按照实施例1、实施例3～5、实施例9～10、实施例13～15任一个所示的图象编码方法来进行编码处理的图象编码程序。这样，本实施例19的图象编码程序记录媒体可以进行移动、保存等，所记录的图象编码程序可以实现记录媒体间的复制等。而且，通过在计算机系统等中在CPU和DSP等的控制下执行相应的程序，就能实现各实施例所示的图象编码装置。
作为图象编码程序记录媒体，除了图示的软磁盘之外，还可以使用CD-ROM等光盘、IC卡等半导体存储装置、盒式磁带等磁带媒体等以及能够记录程序的媒体。
这样，本实施例19的图象编码程序记录媒体通过在计算机系统等中执行记录的图象编码程序，就能实现本发明的图象编码方法和图象编码装置，而具有能够容易使用本发明的图象编码方法的效果。
实施例20本发明的实施例20的图象解码程序记录媒体记录执行本发明的图象解码方法的图象解码程序。
本实施例20的图象解码程序记录媒体是在图13所示的软磁盘这样的记录媒体中记录按照实施例2、实施例6～8、实施例11～12、实施例16～18任一个所示的图象解码方法来进行解码处理的图象解码程序。这样，本实施例20的图象解码程序记录媒体可以进行移动、保存等，所记录的图象解码程序可以实现记录媒体间的复制等。而且，通过在计算机系统等中在CPU和DSP等的控制下执行相应的程序，就能实现各实施例所示的图象解码装置。
作为图象解码程序记录媒体，除了图示的软磁盘之外，还可以使用CD-ROM等光盘、IC卡等半导体存储装置、盒式磁带等磁带媒体等以及能够记录程序的媒体。
这样，本实施例20的图象解码程序记录媒体通过在计算机系统等中执行记录的图象解码程序，就能实现本发明的图象解码方法和图象解码装置，而具有能够容易使用本发明的图象解码方法的效果。
在上述实施例1～20中说明的本发明的图象编码处理和图象解码处理中，虽然是作为图象信号包含形状信号和象素值信号的情况进行了说明，但是，在处理半透明的对象时，也可以应用于下列情况包含表示作为对象的对象隐蔽了背景的强弱程度的多值信息的透明度信号以作为形状信号的替代的情况，以及在形状信号的基础上还包含上述透明度信号的情况。在图象信号包含透明度信号来作为形状信号的替代的情况下，可以把透明度信号作为对象来作为本发明的形状信号的替代。在图象信号包含形状信号、透明度信号和象素值信号的情况下，也可以把透明度信号集中到形状信号或象素值信号中的任一方来进行处理。或者，应用扩展到另外处理象素值信号和形状信号的构成，而作为另外处理透明度信号的构成来进行处理。
在实施例1～20中，在图象信号的编码过程中，设想使用压缩率较高的可逆编码的情况，使用在编码处理之后进行解码处理的信号来作为参照信号，但是，在进行可逆编码时，可以使用作为编码对象的象素值信号和形状信号来作为参照信号。在相应的情况下，在编码处理中，作为使用输入信号作为参照信号的构成，就能省略解码器。
权利要求
1.一种图象解码方法，用于解码一个编码的形状信号和一个编码的象素值信号，它们是通过对包括在一个图象信号中并用于标识一个对象的形状的形状信号和包括在所述图象信号中并且具有关于所述对象的颜色和亮度的信息的象素值信号进行编码而得到，包括参照根据从包括标识一个编码处理的一个参照方法的信息的预测选择信号选择的一个解码的象素值信号，将所述编码的象素值信号解码；及参照根据从包括标识一个编码处理的一个参照方法的信息的预测选择信号选择的一个解码的形状信号，将所述编码的形状信号解码，其中所述形状信号解码步骤包括一个比较判断步骤，其中在一个前时刻解码的形状信号和一个后时刻解码形状信号中，选择靠近所述待解码的编码的形状信号的所述解码形状信号的一个，以在解码所述编码的形状信号时参照，其中，所述前时刻解码形状信号从一个在时序上位于待解码的所述编码形状信号的前面位置的形状信号获得，所述后时刻解码形状信号从一个在时序上位于待解码的所述编码形状信号的后面位置的形状信号获得。
全文摘要
本发明的目的是提供图象编码和解码的方法和装置,从而把包含象素值信号和形状信号的图象信号作为处理对象,来效率更高地对这两者进行编码处理,预测切换器分别给选择参照象素信号的切换电路和选择参照形状信号的切换电路输出参照象素切换信号和参照形状切换信号,进行控制以选择适当的参照信号。
文档编号H04N7/36GK1354598SQ0113746
公开日2002年6月19日 申请日期2001年11月19日 优先权日1997年1月24日
发明者角野真也 申请人:松下电器产业株式会社