动态图像预测解码装置以及动态图像预测解码方法与流程

本申请是申请号为201380033545.6的发明专利申请(国际申请号：pct/jp2013/062061，申请日：2013年04月24日，发明名称：动态图像预测编码装置、动态图像预测编码方法、动态图像预测编码程序、动态图像预测解码装置、动态图像预测解码方法、动态图像预测解码程序)的分案申请。

本发明涉及动态图像预测编码及解码装置、方法和程序，尤其涉及管理在解码图像缓冲器中能够存储的再现图像的最大张数的装置、方法及程序。

背景技术：

为了高效地进行动态图像数据的传输和蓄积采用了压缩编码技术。在动态图像的情况下广泛应用mpeg1～4和h.261～h.264的方式。

在这些编码方式中，在将作为编码的对象的图像分割为多个块后进行编码处理或解码处理。为了提高编码效率而采用如下所述的预测编码方法。在画面内的预测编码中，在使用位于与对象块相同的画面内的相邻的已再现的图像信号(将过去压缩的图像数据复原后的图像信号)生成预测信号之后，对从对象块的信号中减去该预测信号得到的差分信号进行编码。在画面间的预测编码中，参照位于与对象块不同的画面内的已再现的图像信号，检索信号的位移，对该移动的量进行补偿来生成预测信号，对从对象块的信号中减去该预测信号得到的差分信号进行编码。将为了进行运动的检索及补偿而参照的已再现的图像称为参照图像。

另外，在双向画面间预测中，存在不仅以显示时间顺序参照过去的图像，而且也参照在对象图像之后被显示的未来的图像(该未来图像需要在对象图像之前进行编码并预先再现)的情况。通过对从过去的图像和未来的图像取得的预测信号进行平均，具有以下效果：对被隐藏并重新显现的物体的信号的预测有效，同时减轻了在两个预测信号中包含的杂音。

另外，在h.264的画面间预测编码中，针对对象块的预测信号参照在过去进行编码的基础上被再现的多个参照图像，进行运动检索并选择误差最少的图像信号作为最佳的预测信号。求出对象块的像素信号与该最佳的预测信号的差分，并在实施离散余弦变换及量化的基础上进行熵编码。同时，也对有关从哪个参照图像的哪个区域取得针对对象块的最佳的预测信号的信息(分别称为参照索引和运动矢量)一并进行编码。

另外，在h.264中能够参照多个再现图像。这些再现图像作为在预测中使用的参照图像被保存在图像缓冲存储器即解码图像缓冲器(dpb：decodedpicturebuffer)中。解码图像缓冲器(dpb)的尺寸是根据配置文件(profile)和等级(level)定义的，不是定义参照图像的张数，而是定义为比特量。即，即使是相同的配置文件、等级，张数也根据图像的帧尺寸而变化。例如，在主(main)配置文件、等级3.2的情况下，用于存储在预测中使用的参照图像的图像缓冲器的最大尺寸(maxdpbsize：maximumdecodedpicturebuffersize)被定义为7680.0×1024[bytes]，在1280×7204:2:0的情况下，在解码图像缓冲器(dpb)中能够保存的再现图像的最大张数是5张，在1280×10244:2:0的情况下，在解码图像缓冲器(dpb)中能够保存的再现图像的最大张数是4张。在图1中示出了根据图像的帧尺寸而能够存储的再现图像的最大张数是4张(图1(a))、5张(图1(b))和6张(图1(c))时的解码图像缓冲器的图像配置。这样，预先准备的图像缓冲存储器按照再现图像的帧尺寸可变配置存储器指针，由此研究利用存储器配置。

【现有技术文献】

【非专利文献】

【非专利文献1】“h.264:advancedvideocodingforgenericaudiovisualservices,”jointvideoteamofitu-tvcegandiso/iecmpeg,itu-trec.h.264andiso/iec14496-10(mpeg4-part10),november2007

技术实现要素：

发明要解决的问题

在此，在这样的定义中，h.264的解码装置需要能够对按照该解码装置支持的范围内的配置文件及等级而定义的所有帧尺寸的图像进行解码，因而在图像缓冲存储器中怎样配置在存储再现图像时使用的存储器并进行存储是无法固定的。因此，需要使表示存储各再现图像的存储器位置的存储器指针按照待解码的图像的帧尺寸而变动，因而存储器控制及安装变复杂。

作为针对这种情况的解决方案，可以考虑无论实际的解码图像的帧尺寸如何，都将在图像缓冲存储器中能够存储的再现图像的最大张数(max_dec_pic_buffering)设为固定的方法。采用该解决方案，能够如图2(a)那样根据最大帧尺寸唯一决定解码图像缓冲器(dpb)的存储器配置，因而也能够固定存储器指针。即，与变动的存储器指针的控制相比，存储器控制变容易。但是，在该解决方案中，在解码图像的帧尺寸小于最大帧尺寸的情况下、以及如交织图像的字段图像那样图像的纵宽是帧图像的一半的情况下，如图2(b)所示产生未使用的存储器区域，存在不能有效利用存储器的问题。另外，通过存储更多的再现图像来增加参照图像张数，提高编码效率的可能性将不复存在。

为了解决上述问题，本发明的目的在于提供编码/解码方法/装置及程序，通过按照再现图像的帧尺寸决定在图像缓冲存储器中能够存储的再现图像的最大张数，能够有效利用图像缓冲存储器，进一步提高编码效率。

用于解决问题的手段

为了达到上述目的，本发明的一个方面的动态图像预测编码装置具有：输入单元，其输入构成动态图像的多个图像；编码单元，其利用画面内预测或者画面间预测中的任意一个方法对图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码，所述编码数据和所述对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息相关；解码单元，其对压缩图像数据进行解码，复原成为再现图像；图像存储单元，其存储一个以上的再现图像，并作为在对后续的图像进行编码时使用的参照图像；以及存储器控制单元，其在图像存储单元中控制图像缓冲存储器，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)倍以下的情况下，存储器控制单元将在帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

在该动态图像预测编码装置中，根据在构成动态图像的各图像或者被压缩编码后的图像数据中附带的帧尺寸、和按照编码设定而定义的最大帧尺寸关系，决定在图像缓冲存储器中能够存储的再现图像的最大张数。更具体地讲，例如在输入图像的帧尺寸大于按照编码设定而定义的最大帧尺寸的1/(2^l)(l为1以上的整数)倍的情况下，最多能够存储n张(n为1以上的整数)再现图像，在输入图像的帧尺寸为最大帧尺寸的1/(2^l)倍以下的情况下，控制在再现图像的存储中能够利用的存储器缓冲量，使最多能够存储(2^l)×n张再现图像。由此，在被解码后的再现图像的帧尺寸为按照编码设定而定义的最大帧尺寸的1/(2^l)倍以下的情况下，能够增加可以存储的再现图像的最大张数，通过增加参照图像能够提高编码效率。

另外，本发明的一个方面的动态图像预测编码装置中的存储器控制单元在决定帧存储器中能够存储的再现图像的最大张数时，将表示再现图像在存储器中的存储位置的存储器指针固定。

在该动态图像预测编码装置中，表示各再现图像的存储位置的存储器指针例如能够固定在最大帧尺寸及其1/(2^l)倍的位置，因而不需要根据帧尺寸而可变的存储器指针控制，有效的存储器控制的安装更容易进行。并且，在计算存储器指针的位置时，例如由于限定为1/(2^l)倍的变化，因而能够在位移运算中执行，运算成本小。

本发明的一个方面的动态图像预测解码装置具有：输入单元，其输入表示压缩图像数据的编码数据，该压缩图像数据通过利用画面内预测或者画面间预测中的任意一个方法对构成动态图像的多个图像进行编码而得到，且包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息；解码单元，其对压缩图像数据和表示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息的压缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息；图像存储单元，其存储一个以上的再现图像，并作为在对后续的图像进行解码时使用的参照图像；以及存储器控制单元，其控制图像存储单元，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)倍以下的情况下，存储器控制单元将在帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

在该动态图像预测解码装置中，根据在构成动态图像的各图像或者被压缩编码后的图像数据中附带的帧尺寸、和按照编码设定而定义的最大帧尺寸关系，决定在图像缓冲存储器中能够存储的再现图像的最大张数。更具体地讲，例如在输入图像的帧尺寸大于按照编码设定而定义的最大帧尺寸的1/(2^l)(l为1以上的整数)倍的情况下，最多能够存储n张(n为1以上的整数)再现图像，在输入图像的帧尺寸为最大帧尺寸的1/(2^l)倍以下的情况下，最多能够存储(2^l)n张再现图像。由此，在被解码后的再现图像的帧尺寸为按照编码设定而定义的最大帧尺寸的1/(2^l)倍以下的情况下，能够增加可以存储的再现图像的最大张数，通过增加参照图像能够提高编码效率。

另外，本发明的一个方面的动态图像预测解码装置中的存储器控制单元在决定在帧存储器中能够存储的再现图像的最大张数时，将表示再现图像在存储器中的存储位置的存储器指针固定。

在该动态图像预测解码装置中，表示各再现图像的存储位置的存储器指针例如能够固定在最大帧尺寸及其1/(2^l)倍的位置，因而不需要根据帧尺寸而可变的存储器指针控制，有效的存储器控制的安装更容易进行。并且，在计算存储器指针的位置时，例如由于限定为1/(2^l)倍的变化，因而能够在位移运算中执行，运算成本小。

另外，本发明的一个方面的动态图像预测编码方法由动态图像预测编码装置执行，该动态图像预测编码方法包括：输入步骤，输入构成动态图像的多个图像；编码步骤，利用画面内预测或者画面间预测中的任意一个方法对所述图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码，所述编码数据和所述对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息相关；解码步骤，对压缩图像数据进行解码，复原成为再现图像；图像存储步骤，由图像存储单元存储一个以上的再现图像，作为在对后续的图像进行编码时使用的参照图像；以及存储器控制步骤，在图像存储步骤中控制图像缓冲存储器，在存储器控制步骤中，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)以下的情况下，将在帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

另外，本发明的一个方面的动态图像预测编码程序具有：输入模块，其输入构成动态图像的多个图像；编码模块，其利用画面内预测或者画面间预测中的任意一个方法对所述图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码，所述编码数据和所述对象图像帧尺寸、能够存储再现图像的最大张数、以及所述有关最大帧尺寸的信息相关；解码模块，其对压缩图像数据进行解码，复原成为再现图像；图像存储模块，其存储一个以上的再现图像，作为在对后续的图像进行编码时使用的参照图像；以及存储器控制模块，其在图像存储模块中控制图像缓冲存储器，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)以下的情况下，存储器控制模块将在帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

该动态图像预测编码方法及动态图像预测编码程序能够发挥与上述的动态图像预测编码装置相同的效果。

另外，本发明的一个方面的动态图像预测解码方法由动态图像预测解码装置执行，该动态图像预测解码方法包括：输入步骤，输入表示压缩图像数据的编码数据，该压缩图像数据通过利用画面内预测或者画面间预测中的任意一个方法对构成动态图像的多个图像进行编码而得到，且包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息；解码步骤，对压缩图像数据和表示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息的压缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息；图像存储步骤，由图像存储单元存储一个以上的再现图像，作为在对后续的图像进行解码时使用的参照图像；以及存储器控制步骤，控制图像存储单元，在存储器控制步骤中，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)倍以下的情况下，将帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

另外，本发明的一个方面的动态图像预测解码程序具有：输入模块，其利用画面内预测或者画面间预测中的任意一个方法对所述图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码，所述编码数据和所述对象图像帧尺寸、能够存储再现图像的最大张数、以及所述有关最大帧尺寸的信息相关；解码模块，其对压缩图像数据和表示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息的压缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息；图像存储模块，其存储一个以上的再现图像，作为在对后续的图像进行解码时使用的参照图像；以及存储器控制模块，其控制图像存储模块，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)倍以下的情况下，存储器控制模块将帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

该动态图像预测解码方法及动态图像预测解码程序能够发挥与上述的动态图像预测解码装置相同的效果。

本发明提供一种由动态图像预测解码装置执行的动态图像预测解码方法，该动态图像预测解码方法包括：

输入步骤，输入表示压缩图像数据的编码数据，该压缩图像数据是利用画面内预测和画面间预测中的任意一方对构成动态图像的多个图像进行编码而得到的，包含对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息；

解码步骤，对所述压缩图像数据进行解码，复原为再现图像和所述对象图像帧尺寸、能够存储再现图像的最大张数以及所述有关最大帧尺寸的信息；以及

图像存储步骤，由图像存储单元存储一个以上的所述再现图像，作为在对后续的图像进行解码时使用的参照图像，

对输入图像的帧尺寸与对图像的最大帧尺寸进行二位右移位运算而得的值进行比较，在输入图像的帧尺寸小于对图像的最大帧尺寸进行二位右移位运算而得的值的情况下，将帧存储器中能够存储的再现图像的最大张数固定为4倍，

对输入图像的帧尺寸与对图像的最大帧尺寸进行一位右移位运算而得的值进行比较，在输入图像的帧尺寸大于对图像的最大帧尺寸进行一位右移位运算而得的值的情况下，将帧存储器中能够存储的再现图像的最大张数决定为等倍。

本发明提供一种动态图像预测解码装置，该动态图像预测解码装置包括：

输入单元，其输入表示压缩图像数据的编码数据，该压缩图像数据是利用画面内预测和画面间预测中的任意一方对构成动态图像的多个图像进行编码而得到的，包含对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息；

解码单元，其对所述压缩图像数据进行解码，复原为再现图像和所述对象图像帧尺寸、能够存储再现图像的最大张数以及所述有关最大帧尺寸的信息；以及

图像存储单元，其存储一个以上的所述再现图像，作为在对后续的图像进行解码时使用的参照图像，

对输入图像的帧尺寸与对图像的最大帧尺寸进行二位右移位运算而得的值进行比较，在输入图像的帧尺寸小于对图像的最大帧尺寸进行二位右移位运算而得的值的情况下，将帧存储器中能够存储的再现图像的最大张数固定为4倍，

对输入图像的帧尺寸与对图像的最大帧尺寸进行一位右移位运算而得的值进行比较，在输入图像的帧尺寸大于对图像的最大帧尺寸进行一位右移位运算而得的值的情况下，将帧存储器中能够存储的再现图像的最大张数决定为等倍。

发明效果

根据本发明的动态图像预测编码/解码装置、方法及程序，通过按照再现图像的帧尺寸决定在图像缓冲存储器中能够存储的再现图像的最大张数，能够有效利用图像缓冲存储器，进一步提高编码效率。

附图说明

图1是示出图像缓冲存储器和存储图像张数、可变存储器指针位置的图。

图2是示出在图像缓冲存储器中固定存储器指针的问题的图。

图3是示出本发明的实施方式的动态图像预测编码装置的框图。

图4是示出本发明的实施方式的动态图像预测解码装置的框图。

图5是示出本发明的实施方式的第一动态图像预测编码/解码方法的流程图。

图6是用于说明本发明的实施方式的第一动态图像预测编码/解码方法的处理的示意图。

图7是示出用于执行在记录介质中记录的程序的计算机的硬件结构的图。

图8是用于执行在记录介质中存储的程序的计算机的立体图。

具体实施方式

下面，使用图3～图8说明本发明的实施方式。

图3是示出本发明的实施方式的动态图像预测编码装置的框图。

301表示输入端子，302表示块分割器，303表示预测信号生成器，304表示帧存储器，305表示减法器，306表示变换器，307表示量化器，308表示逆量化器，309表示逆变换器，310表示加法器，311表示熵编码器，312表示输出端子，314表示帧存储器管理器(或者也称为缓冲器管理器)。输入端子301对应于输入单元。预测信号生成器303、减法器305、变换器306、量化器307以及熵编码器311对应于编码单元。逆量化器308、逆变换器309以及加法器310对应于解码单元。帧存储器304对应于图像存储单元。帧存储器管理器314对应于存储器控制单元。

下面，说明如上所述构成的动态图像预测编码装置的动作。由多张图像构成的动态图像的信号被输入到输入端子301。作为编码对象的图像在块分割器302中被分割成多个区域。在本发明的实施方式中是分割成由8×8的像素构成的块，但也可以分割成除此以外的块的尺寸或者形状。然后，对于作为编码处理对象的区域(以下称为对象块)生成预测信号。在本发明的实施方式中采用两种预测方法。即，画面间预测和画面内预测。

在画面间预测中，将过去被编码后又被复原的再现图像作为参照图像，根据该参照图像求出给出相对于对象块的误差最小的预测信号的运动信息。该处理被称为运动检测。此处，也可以根据情况对对象块进行再分割，对再分割后的各小区域决定画面间预测方法。在这种情况下，从各种分割方法之中决定对对象块整体效率最高的分割方法以及各自的运动信息。在本发明的实施方式中是在预测信号生成器303中进行，经由线路l302输入对象块，经由线路l304输入参照图像。关于参照图像，将过去被编码并复原的多个图像用作参照图像。详细情况与作为现有技术的mpeg-2、4或h.264中的任意一个方法相同。这样决定的运动信息和小区域的分割方法经由线路l312发送给熵编码器311，在进行编码后从输出端子312发送。并且，在多个参照图像中，有关预测信号是从哪个参照图像取得的信息(参考索引)也经由线路l312发送给熵编码器311。另外，在本发明的实施方式中，在帧存储器304中存储m张(m为1以上的整数)的再现图像，并用作参照图像。在预测信号生成器303中，根据小区域的分割方法及与各小区域对应的参照图像和运动信息，从帧存储器304取得参照图像信号并生成预测信号。这样生成的画面间预测信号经由线路l303发送给减法器305。

在画面内预测中，使用空间上与对象块相邻的已再现的像素值来生成画面内预测信号。具体地讲，在预测信号生成器303中，从帧存储器304取得位于相同画面内的已再现的像素信号，通过对这些信号进行外插来生成画面内预测信号。有关外插的方法的信息经由线路l312发送给熵编码器311，在进行编码后从输出端子312发送。这样生成的画面内预测信号被发送给减法器305。在预测信号生成器303中的画面内的预测信号生成方法与作为现有技术的h.264的方法相同。选择相对于如上所述求出的画面间预测信号和画面内预测信号误差最小的信号，并发送给减法器305。

对于第一张图像，由于不存在位于其前面的图像，因而全部的对象块按照画面内预测进行处理。

减法器105从对象块的信号(经由线路l302)中减去预测信号(经由线路l303)生成残差信号。变换器306对该残差信号进行离散余弦变换，量化器307对其各系数进行量化。最后，熵编码器311对量化后的变换系数进行编码，并与有关预测方法的信息一起从输出端子312发送。

为了对后续的对象块进行画面内预测或者画面间预测，对被压缩的对象块的信号进行逆处理使其复原。即，量化后的变换系数在由逆量化器308进行逆量化后，由逆变换器309进行逆离散余弦变换，将残差信号复原。加法器310将复原后的残差信号和从线路l303发送的预测信号相加，将对象块的信号再现并存储在帧存储器304中。在本实施方式中采用了变换器306和逆变换器309，但也可以采用取代这些变换器的其它变换处理。根据情况也可以没有变换器306和逆变换器309。

帧存储器304是有限的，不能存储所有的再现图像。只有在后续的图像的编码处理中使用的再现图像被存储在帧存储器304中。控制该帧存储器304的是帧存储器管理器314。帧存储器管理器314进行如下控制：从位于帧存储器304中的m张(此处m为整数)再现图像中删除最早的图像，使能够存储被用作参照图像的最近的再现图像。从输入端子313输入各图像的帧尺寸和按照编码设定(配置文件、级别)而定义的最大帧尺寸，根据该信息决定在帧存储器中能够存储的再现图像的最大张数，帧存储器管理器314进行动作使得以不超过最大张数的方式进行存储。同时，各图像的帧尺寸和按照编码设定而定义的最大帧尺寸、在帧存储器中能够存储的再现图像的最大张数的信息，经由线路l314发送给熵编码器311，在进行编码的基础上与被压缩的图像数据一起进行输出。帧尺寸和按照编码设定而定义的最大帧尺寸、在帧存储器中能够存储的再现图像的最大张数是附随于各图像，因而可以是表示图像的帧尺寸自身的信息、或者是以指数或者乘幂的形式表述帧尺寸的信息。另外，如果对于配置文件和级别信息预先设定了最大帧尺寸，也可以利用这些信息输入最大帧尺寸。在本实施方式中，假设帧尺寸的值被直接变换为二值编码，最大帧尺寸被定义为级别信息。关于帧存储器管理器314的控制方法在后面进行说明。

下面，说明动态图像预测解码方法。图4示出本发明的实施方式的图像预测解码装置的框图。401表示输入端子，402表示数据分析器，403表示逆量化器，404表示逆变换器，405表示加法器，408表示预测信号生成器，407表示帧存储器，406表示输出端子，409表示帧存储器管理器。输入端子401对应于输入单元。逆量化器403和逆变换器404对应于解码单元。也可以采用除此以外的单元作为解码单元。帧存储器407对应于图像存储单元。帧存储器管理器409对应于存储器控制单元。另外，也可以没有逆变换器404。

下面，说明如上所述构成的动态图像预测解码装置的动作。从输入端子401输入按照上述的方法被压缩编码后的压缩数据。在该压缩数据中包含对将图像分割成多个块的对象块进行编码得到的残差信号、和与预测信号的生成等有关的信息。作为有关预测信号的生成的信息，对于画面间预测而言，包含有关块分割的信息(块的尺寸)、运动信息和上述的参考索引，对于画面内预测而言，包含有关从周边的已再现的像素进行外插的方法的信息。

数据分析器402从压缩数据提取出对象块的残差信号、有关预测信号的生成的信息、量化参数、图像的帧尺寸、按照编码设定而定义的最大帧尺寸、在帧存储器中能够存储的再现图像的最大张数。逆量化器403根据量化参数(经由线路l402)对对象块的残差信号进行逆量化。逆变换器404对逆量化结果进行逆离散余弦变换。

然后，经由线路l406b将有关预测信号的生成的信息发送给预测信号生成器408。预测信号生成器408根据有关预测信号的生成的信息访问帧存储器407，从多个参照图像中取得参照信号来生成预测信号。该预测信号经由线路l408发送给加法器405，与复原后的残差信号相加来再现对象块信号，并经由线路l405进行输出，同时被存储在帧存储器407中。

在帧存储器407中存储有在后续的图像的解码/再现时使用的再现图像。帧存储器管理器409控制帧存储器407。帧存储器管理器407进行如下控制：从所存储的m张(此处m为整数)再现图像中删除最早的图像，使帧存储器407能够存储被用作参照图像的最近的再现图像。帧存储器管理器409根据经由线路l406a发送的对象图像的帧尺寸和按照编码设定而定义的最大帧尺寸、在帧存储器中能够存储的再现图像的最大张数的信息进行动作。关于帧存储器管理器409的控制方法在后面进行说明。

下面，使用图5和图6说明动态图像预测编码方法和动态图像预测解码方法。图5是示出本发明的实施方式的图像预测编码/解码方法的流程图。说明在该图中使用的变量的意思。pic_width是表示再现图像的横宽的亮度像素数的变量，pic_height是表示再现图像的纵宽的亮度像素数的变量，maxlumafs是表示根据级别信息定义的最大图像尺寸的变量，mfsbuffer是表示被定义为级别信息的利用在解码图像缓冲器(dpb)中能够存储的再现图像的最大张数表述的存储器缓冲器量的变量，maxdpbsize是表示利用在解码图像缓冲器(dpb)中能够存储的再现图像的最大张数表述的存储器缓冲器量的变量，max_dec_pic_buffering是表示在解码时使用的再现图像的最大存储张数(储器缓冲器量)的变量，dpbpointer是表示示出在解码图像缓冲器中存储再现图像的位置的指针的变量。

在图5中，输入了再现图像的横宽的亮度像素数pic_width、再现图像的纵宽的亮度像素数pic_height、按照编码设定而定义的最大帧尺寸maxlumafs、以及利用在解码图像缓冲器(dpb)中能够存储的再现图像的最大张数表述的存储器缓冲器量mfsbuffer。然后，把将所输入的再现图像的横宽的亮度像素数pic_width和再现图像的纵宽的亮度像素数pic_height之乘积的值、与按照编码设定而定义的最大帧尺寸maxlumafs的一半的值(maxlumafs/2)进行比较(步骤s502)。此处，在不满足条件的情况下(pic_width与pic_height之乘积的值大于maxlumafs/2的情况下)，设定为maxdpbsize＝mfsbuffer(步骤s503)。另外，在满足条件的情况下(pic_width与pic_height之乘积的值为maxlumafs/2以下的情况下)，设定为maxdpbsize＝2*mfsbuffer(步骤s504)。

(数式)

maxdpbsize＝2*mfsbuffer(pic_width*pic_height≦(maxlumafs＞＞1)时)

maxdpbsize＝mfsbuffer(上述以外)

另外，上述数式中的“＞＞”表示右移位运算，是与mfsbuffer/2相同的意思。

另外，设定成使利用在解码时使用的再现图像的最大存储张数表述的存储器缓冲器量max_dec_pic_buffering达到maxdpbsize以下。

(数式)

max_dec_pic_buffering≦maxdpbsize

另外，在maxdpbsize＝mfsbuffer的情况下，如图6(a)所示，在图像存储器缓冲器的开头设定dpbpointer＝1，将dpbpointer＝2、3、4为从dpbpointer＝1的位置起最大帧尺寸的2倍、3倍、4倍量的存储器指针器的位置设定在前进的位置。

另外，在maxdpbsize＝2*mfsbuffer的情况下，如图6(b)所示在已经设定的dpbpointer1～4的基础上，将从dpbpointer＝1的位置起最大帧尺寸量的1/2倍、3/2倍、2/5倍、2/7倍量的存储器指针器的位置设定在前进的位置。(步骤s505)。

所设定的max_dec_pic_buffering和dpbpointer在后述的步骤s508的帧存储器的控制时使用。即，控制成使在解码时在帧存储器中最多存储max_dec_pic_buffering张的再现图像，并根据在存储时设定的dpbpointer进行存储。在编码方法中，与再现图像的横宽的亮度像素数pic_width及再现图像的纵宽的亮度像素数pic_height有关的信息、最大帧尺寸maxlumafs、包括利用在解码图像缓冲器(dpb)中能够存储的再现图像的最大张数表述的存储器缓冲器量mfsbuffer的级别信息，是从外部给出的。在图3中，经由输入端子313从未图示的控制装置进行给出。

另一方面，在步骤s506，在按照图3说明的方法将作为处理对象的图像进行编码后再解码。被编码后的图像的数据被发送到外部或者被存储在外部。在步骤s507，判定对象图像是否在后续的处理中被用作参照图像。该判定是根据图像的编码类型(画面内预测编码、画面间预测编码、双向预测编码)而决定的。在不用作参照图像的情况下进入步骤s510。在用作参照图像的情况下进入步骤s508，dpbpointer被控制在图6记述的位置，在步骤s509将被解码及再现的图像存储在帧存储器中，然后进入步骤s511。在步骤s511，如果有下一个图像，进入步骤s506，如果没有下一个图像就结束处理。这样执行编码处理一直到最后的图像为止。

上述的处理对应于图3的动态图像编码方法整体的处理，尤其步骤s502、s503、s504、s505和s508是在帧存储器管理器314中进行的。

另外，图5用于说明动态图像的编码方法，但也能够应用于动态图像解码方法的处理。在进行解码处理的情况下，在步骤s501输入被压缩编码后的图像的数据(比特流)。从该数据中提取出再现图像的横宽的亮度像素数pic_width、再现图像的纵宽的亮度像素数pic_height、按照编码设定而定义的最大帧尺寸maxlumafs、利用在解码图像缓冲器(dpb)中能够存储的再现图像的最大张数表述的存储器缓冲器量mfsbuffer、以及在解码时使用的再现图像的最大存储张数(存储器缓冲器量)max_dec_pic_buffering，按照与上述相同的方法进行步骤s502～s505、s508的控制。另外，在解码侧，在步骤s505确认复原后的max_dec_pic_buffering是否为maxdpbsize以下。在步骤s506执行对对象图像的压缩后的数据进行解码将图像复原的处理。从步骤s507起的处理如上所述。该处理对应于图4的动态图像解码装置的处理，尤其步骤s502、s503、s504、s505和s508是在动态图像解码装置的帧存储器管理器409中进行的。

图6是用于说明本发明的实施方式的动态图像预测编码/解码方法中的帧存储器的存储器指针的位置的示意图。比较图6(a)和(b)可知，存储器指针号码1～4的位置固定。另外，当在步骤s503满足条件的情况下，重新控制为存储器指针5～8。即，无论步骤s503的判定如何，存储器指针的位置都固定。

(存储器指针的位置)

另外，在本实施方式中将存储器指针号码交替设定为1～4和5～8，但也可以按照1～8的顺序分配存储器指针号码。

(存储器分割数)

另外，在本实施方式中，将再现图像的横宽的亮度像素数pic_width及再现图像的纵宽的亮度像素数pic_height、与按照编码设定而定义的最大帧尺寸maxlumafs的一半的值(maxlumafs/2)进行比较，但也可以将再现图像的横宽的亮度像素数pic_width及再现图像的纵宽的亮度像素数pic_height、与按照编码设定而定义的最大帧尺寸maxlumafs(2^l)(l为2以上的整数)进行比较。此时，表示再现图像的存储位置的存储器指针的位置如图6所示，只要在将已经配置的指针固定的状态下的maxlumafs的1/(2^l)的位置配置存储器指针即可。

(帧尺寸的定义)

另外，在本实施方式中，利用再现图像的横宽的亮度像素数pic_width及再现图像的纵宽的亮度像素数pic_height表述帧尺寸，但也可以利用表示预先相乘得到的帧尺寸的值。并且，也可以利用除此以外的方法计算帧尺寸。

另外，在本实施方式中，将最大图像尺寸maxlumafs、利用在解码图像缓冲器(dpb)中能够存储的maxlumafs的大小的再现图像的最大张数表述的存储器缓冲器量mfsbuffer定义为级别信息，但不限于作为级别信息进行发送。也可以附加作为级别信息以外的信息。

另外，在本实施方式中，fsbuffer及maxdpbsize利用能够存储的再现图像的最大张数表述，但也可以表述为实际的存储器量。在这种情况下，可以将存储器量除以帧尺寸来计算再现图像的张数。

尤其具有如下效果，通过根据图像的帧尺寸和按照编码条件而定义的最大帧尺寸的关系，决定在图像缓冲存储器中能够存储的再现图像的最大张数，在实际的帧尺寸小于最大帧尺寸的情况下，能够减少帧存储器的浪费，确保能够进一步提高编码效率的参照图像用的存储器区域。

将用于使计算机作为上述的动态图像预测编码装置及动态图像预测解码装置发挥作用的动态图像预测编码程序及动态图像预测解码程序，作为程序存储在记录介质中进行提供。关于记录介质可以示例软盘(注册商标)、cd-rom、dvd、或者rom等记录介质、或者半导体存储器等。

具体地讲，动态图像预测编码程序具有：输入模块，其输入构成动态图像的多个图像；编码模块，其利用画面内预测或者画面间预测中的任意一个方法对图像进行编码而生成包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息在内的压缩图像数据，并将该压缩图像数据与编码数据一起进行编码，所述编码数据和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息相关；解码模块，其对压缩图像数据进行解码使复原成为再现图像；图像存储模块，其存储一个以上的再现图像，作为在对后续的图像进行编码时使用的参照图像；以及存储器控制模块，其在图像存储模块中控制图像缓冲存储器，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)倍以下的情况下，存储器控制模块将帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

同样，动态图像预测解码程序具有：输入模块，其输入表示压缩图像数据的编码数据，该压缩图像数据通过利用画面内预测或者画面间预测中的任意一个方法对构成动态图像的多个图像进行编码而得到，且包括对象图像帧尺寸、能够存储再现图像的最大张数、以及作为编码设定的有关最大帧尺寸的信息；解码模块，其对压缩图像数据和表示对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息的压缩图像数据进行解码，并复原为再现图像、和对象图像帧尺寸、能够存储再现图像的最大张数、以及有关最大帧尺寸的信息；图像存储模块，其存储一个以上的再现图像，作为在对后续的图像进行解码时使用的参照图像；以及存储器控制模块，其控制图像存储模块，在输入图像的帧尺寸是图像的最大帧尺寸的1/(2^l)(l为1以上的整数)倍以下的情况下，存储器控制单元将在帧存储器中能够存储的再现图像的最大张数决定为(2^l)倍。

图7是示出用于执行记录在记录介质中的程序的计算机的硬件结构的图，图8是用于执行记录在记录介质中的程序的计算机的立体图。作为计算机，包括具备cpu并进行基于软件的处理和控制的dvd播放器、机顶盒、便携电话等。

如图7所示，计算机30具有：软盘(注册商标)驱动器装置、cd-rom驱动器装置、dvd驱动器装置等读取装置12；使操作系统常驻的工作用存储器(ram)14；将存储在记录介质10中的程序进行存储的存储器16；称为显示器的显示装置18；作为输入装置的鼠标20及键盘22；用于进行数据等的收发的通信装置24；以及控制程序的执行的cpu26。当记录介质10插入到读取装置12中时，计算机30能够从读取装置12访问存储在记录介质10中的动态图像预测编码/解码程序，能够根据该动态图像预测编码/解码程序作为动态图像预测编码/解码装置来动作。

如图8所示，动态图像预测编码程序或者动态图像预测解码程序也可以是作为重叠在载波上的数据信号40通过网络提供的程序。在这种情况下，计算机30能够将通过通信装置24接收的动态图像预测编码程序或者动态图像预测解码程序存储在存储器16中，并执行该动态图像预测编码程序或者动态图像预测解码程序。

标号说明

301输入端子；302块分割器；303预测信号生成器；304帧存储器；305减法器；306变换器；307量化器；308逆量化器；309逆变换器；310加法器；311熵编码器；312输出端子；313输入端子；314帧存储器管理器；401输入端子；402数据分析器；403逆量化器；404逆变换器；405加法器；406输出端子；407帧存储器；408预测信号生成器；409帧存储器管理器。