预测编码装置100的动作。由成为编码处理的对象的多张图像构成的动态图像的信号被输入到输入端子101，各个图像经由块分割器102被分割为多个区域。在本实施方式中，各个图像被分割为由8X8像素构成的多个块，但也可以分割为除此之外的块的大小或者块形状。然后，将作为编码处理的对象的块(下面称为“对象块”)作为对象，利用后述的预测方法生成预测信号。在本实施方式中，作为预测方法可以利用画面间预测和画面内预测这两种预测方法，关于画面间预测也可以利用在【背景技术】中叙述的双向画面间预测。下面，概要说明画面间预测和画面内预测各自的基本动作。
[0065]在画面间预测中，将过去被编码后又被复原的再现图像用作参照图像，根据该参照图像，求出赋予针对对象块的误差为最小的预测信号的运动信息(例如运动向量)。该处理被称为“运动检测”。并且，根据情况也可以将对象块进行再次分割，将再次分割后的小区域作为对象来确定画面间预测方法。在这种情况下，从各种分割方法中确定针对对象块整体效率最好的小区域的分割方法及各个小区域的运动信息。在本实施方式中，由预测信号生成器103进行画面间预测，对象块经由线L102、参照图像经由线L104分别被输入预测信号生成器103。关于参照图像，将过去被编码后又被复原的多个图像用作参照图像。其详细情况与现有技术的MPEG - 2,MPEG 一 4、H.264中的任意一种方法相同。所确定的小区域的分割方法信息及各个小区域的运动信息，从预测信号生成器103经由线L112发送给熵编码器111，在由熵编码器111进行编码后，该编码数据经由线Llll从输出端子112被发送出去。并且，在多个参照图像中，有关从哪个参照图像取得预测信号的信息(基准索引)，也从预测信号生成器103经由线L112发送给熵编码器111，在由熵编码器111进行编码后，该编码数据经由线Llll从输出端子112发送出去。另外，在本实施方式中，作为一例，4张?5张再现图像被存储在帧存储器104中，被作为参照图像使用。预测信号生成器103根据小区域的分割方法以及有关各个小区域的参照图像和运动信息，从帧存储器104取得参照图像，根据参照图像和运动信息生成预测信号(通过画面间预测得到的预测信号的意思，称为“画面间预测信号”)。这样生成的画面间预测信号经由线L103被发送给减法器105和在后述的处理中涉及的加法器110。
[0066]另一方面，在画面内预测中，使用在空间上与对象块相邻的已再现的像素值生成画面内预测信号。具体地讲，预测信号生成器103从帧存储器104取得处于同一画面内的已再现的像素信号，并外插已再现的像素信号，由此生成预测信号(通过画面内预测得到的预测信号的意思，称为“画面内预测信号”)。所生成的画面内预测信号从预测信号生成器103经由线L103被发送给减法器105。预测信号生成器103中画面内预测信号的生成方法与现有技术的H.264的方法相同。另外，与画面内预测中的外插的方法相关的信息，从预测信号生成器103经由线L112被发送给熵编码器111，在由熵编码器111进行编码后，编码数据从输出端子112被发送出去。
[0067]以上概要说明了画面间预测和画面内预测各自的基本动作。实际上，对于每个对象块，选择如上所述求出的画面间预测信号和画面内预测信号中误差为最小的信号，从预测信号生成器103经由线L103发送给减法器105。
[0068]可是，对于被编码的第一张图像，由于在其前面没有图像，因而该第一张图像内的全部对象块是通过画面内预测进行处理。并且，为了应对电视的频道切换，通过画面内预测定期处理作为随机访问点的、某个图像内的全部对象块。这种图像被称为内帧，在H.264中称为IDR图片。
[0069]减法器105从经由线L102接收到的对象块的信号中减去经由线L103接收到的预测信号，由此生成残差信号。该残差信号由变换器106进行离散余弦变换，其各个变换系数由量化器107进行量化。最后，被量化后的变换系数由熵编码器111进行编码，所得到的编码数据和与预测方法相关的信息一起经由线Llll从输出端子112发送出去。
[0070]另一方面，为了对后续的对象块进行画面内预测或者画面间预测，上述被量化后的变换系数(对象块的编码数据)在由逆量化器108进行逆量化后，由逆变换器109进行逆离散余弦变换，由此残差信号被复原。并且，由加法器110将被复原后的残差信号和从线L103发送的预测信号相加，由此对象块的信号被再现，所得到的再现信号被存储在帧存储器104中。另外，在本实施方式中使用了变换器106和逆变换器109，但也可以使用其它的变换处理来取代。并且，根据情况也可以没有变换器106和逆变换器109。
[0071]可是，帧存储器104是有限的，实际上不能存储全部的再现图像。因此，只有在对后续的图像进行编码时使用的再现图像被存储在帧存储器104中。控制该帧存储器104的是帧存储器管理器114。帧存储器管理器114进行这样的控制:从在帧存储器104中存储的N张(例如N = 4)再现图像中删除最早的再现图像，由此能够将最新被用作参照图像的再现图像存储在帧存储器104中。实际上，从输入端子113向帧存储器管理器114输入有各个图像的显示顺序信息以及对图像进行编码的类型信息(画面内预测编码、画面间预测编码、双向预测编码)，帧存储器管理器114根据这些信息进行动作。此时，各个图像的显示顺序信息从帧存储器管理器114经由线L114被发送给熵编码器111，由熵编码器111进行编码，该被编码后的显示顺序信息与被编码后的图像数据一起经由线Llll从输出端子112被发送出去。另外，显示顺序信息是附随于各个图像的信息，也可以是表示图像的顺序的信息、或表示显示图像的时刻的信息(例如图像的显示参照时间(临时参照))。在本实施方式中，例如利用二值编码直接对显示顺序信息进行编码。另外，关于帧存储器管理器114的控制方法将在后面进行说明。
[0072][关于动态图像预测解码装置]
[0073]下面，对本发明的动态图像预测解码装置进行说明。图2是表示本发明的实施方式的动态图像预测解码装置200的结构的功能框图。如图2所示，动态图像预测解码装置200具有作为功能性构成要素的输入端子201、数据分析器202、逆量化器203、逆变换器204、加法器205、预测信号生成器208、帧存储器207、输出端子206以及帧存储器管理器209。关于各个功能单元的动作，将在后述的动态图像预测解码装置200的动作中进行说明。另外，关于与解码相关的单元，不限于逆量化器203和逆变换器204，也可以利用除此之外的单元。并且，也可以没有逆变换器204，而仅利用逆量化器203构成与解码相关的单
J L ο
[0074]下面，叙述动态图像预测解码装置200的动作。利用上述的编码方法得到的压缩数据被从输入端子201输入。该压缩数据中包含对象块的残差信号、与预测信号的生成相关的信息、量化参数、图像的显示顺序信息、与图像的编码类型相关的信息。其中，作为与预测信号的生成相关的信息，例如在画面间预测的情况下，是包括与块分割相关的信息(小区域的分割方法信息(例如块的尺寸等))、各个小区域的运动信息、以及基准索引，在画面内预测的情况下，则包括与外插的方法相关的信息。
[0075]数据分析器202从所输入的压缩数据中抽取对象块的残差信号、与预测信号的生成相关的信息、量化参数、图像的显示顺序信息、与图像的编码类型相关的信息。其中，对象块的残差信号和量化参数经由线L202被发送给逆量化器203，逆量化器203根据量化参数对对象块的残差信号进行逆量化，逆变换器204再对逆量化的结果进行逆离散余弦变换。这样被复原后的残差信号经由线L204被发送给加法器205。
[0076]另一方面，所抽取的与预测信号的生成相关的信息，经由线L206b被发送给预测信号生成器208。预测信号生成器208根据与预测信号的生成相关的信息，从帧存储器207内的多个参照图像中取得恰当的参照图像，根据该恰当的参照图像生成预测信号。所生成的预测信号经由线L208被发送给加法器205，由加法器205加算到上述被复原后的残差信号中，其结果是，对象块的信号被再现。被再现的对象块的信号经由线L205从输出端子206输出，同时作为再现图像被存储在帧存储器207中。
[0077]在帧存储器207中存储有在对后续的图像进行解码和再现时使用的再现图像。帧存储器管理器209进行这样的控制:从帧存储器207中存储的N张(此处作为一例是N =4，但也可以是预先设定的整数)再现图像中删除最早的再现图像，由此能够将最新被用作参照图像的再现图像存储在帧存储器207中。该帧存储器管理器209根据经由线L206a输入的对象图像的显示顺序信息和与图像的编码类型相关的信息进行动作。关于帧存储器管理器209的控制方法将在后面进行说明。
[0078]另外，关于作为随机访问点的内帧(画面内预测图像)，在H.264中被称为IDR图片(instantaneous decoder refresh)，该名称来源于在对IDR图片进行编码或者解码后马上(instantaneous)刷新帧存储器(decoder buffer)。与此相对，根据本发明，不是在对作为随机访问点的内帧进行编码或者解码后马上(或者即将进行编码或解码之前)执行帧存储器的刷新，而是暂时待机(或者延迟)，然后执行帧存储器的刷新，因而在本发明中将该图像称为 DDR 图片(deferred decoder refresh 或者 delayed decoder refresh)。如以下详细说明的那样，将DDR图片的显示顺序信息与作为处理(编码或者解码)的对象的图像(下面称为“处理对象图像”)的显示顺序信息进行比较，由此确定帧存储器的刷新的定时。
[0079][动态图像预测编码方法及动态图像预测解码方法的特征性处理动作]
[0080]下面，使用图3和图4说明本发明的动态图像预测编码方法及动态图像预测解码方法的动作。图3是表示本实施方式的动态图像预测编码/解码方法的流程图，下面关于图3说明作为动态图像的编码方法时的情况。但是，图3也能够适用于动态图像的解码方法。
[0081]首先，对在图3中使用的变量的意思进行说明。TR表示显示顺序信息，TR_DDR表示DDR图像的显示顺序信息，TR_CUR表示该时刻的处理对象图像的显示顺序信息，RP是表示帧存储器104的刷新是否为待机中的状态变量。在RP = I时，表示DDR图片成为处理对象后，帧存储器104的刷新尚未执行的状态(即，帧存储器刷新为待机中的状态)，在RP =O时，表示帧存储器104的刷新已执行完毕的状态或者不需要刷新处理的状态。
[0082]在图3中，在动态图像的编码开始时，首先将TR_DDR和RP初始化为0(步骤301)。在步骤302，确认RP = I而且TR_CUR是否大于TR_DDR。如果满足该条件，则意味着帧存储器刷新为待机中、而且处理对象的图像在显示顺序中是DDR图片后面的图像，因而执行帧存储器104的刷新处理(即，将帧存储器104中存储的参照图像设定为不要的处理)(步骤303)。但是，在此，设定为不要的参照图像仅是显示顺序信息TR比最近的DDR图片的显示顺序信息(TR_DDR)小的参照图像。并且，不将最近的DDR图片(或者画面内预测编码图像)设定为不要。以上所述的刷新处理结束，由此将状态变量RP设定为RP = O0
[0083]另一方面，当在步骤302不满足上述条件的情况下，进入步骤304，确认该时刻的处理对象图像是否是DDR图片。另外，在动态图像预测编码装置100中，假设与图像的编码类型(DDR、画面间预测编码或者双向预测编码)相关的信息是经由图1中的输入端子113从未图示的控制装置提供的。在步骤304，在该时刻的处理对象图像是DDR图片的情况下，在步骤305将该时刻的处理对象图像的显示顺序信息TR_CUR设定为TR_DDR，将状态变量RP设定为RP = 1，然后进入步骤306。另一方面，当在步骤304不满足条件的情况下，进入步骤306。