专利名称：图像编码方法及图像译码方法
技术领域：
本发明涉及利用画面间的相关高效率地压缩动画图像信号的图像编码方法，和将其正确地进行译码的图像译码方法，以及用于用软件执行该操作的程序等。
背景技术：
近年来，迎接统一处理声音、图像、其他象素值的多媒体时代，将现有的信息媒体，即报纸、杂志、电视、收音机、电话等的信息传达给人的装置，作为多媒体对象成了热点。一般地，所谓多媒体，是指不仅文字，同时还关联图形、声音，特别是图像等进行表示的信息媒体，但是，要想将上述现有的信息媒体作为多媒体的对象，其必要条件为将其信息以数字形式表示。
但是，若将上述各信息媒体所持有的信息量作为数字信息量来估计，则在信息为文字时每一个文字的信息量为1～2字节，而信息为声音时每一秒的信息量为64kbits(电话质量)，另外，对于动画，则每一秒需要100Mbits(现行电视接收质量)以上的信息量，在上述信息媒体中以数字形式原样处理该庞大信息是不现实的。例如，利用具有64kbps～1.5Mbps传输速度的综合服务数字网络(ISDNIntegrated Services Digital Network)已实现可视电话，但不能用ISDN原样发送电视和摄影机的影像。
因此，这就需要信息的压缩技术，例如，可视电话的情况下，正在使用由ITU-T(国际电信同盟，国际电信标准化部门)国际标准化的H.261和H.263标准的动画压缩技术。此外，根据MPEG-1标准的信息压缩技术，也可以在通常的音乐用CD(激光唱盘)中与声音信息一同写入图像信息。
在此，所述MPEG(Moving Picture Experts Group即，动画图形专家组)是活动图像信号的数字压缩国际标准，MPEG-1将活动图像信号压缩到1.5Mbps，即将电视信号的信息压缩到大约百分之一的标准。此外，以MPEG-1标准为对象的传输速度主要限定在大约1.5Mbps，因此，在为满足高画质的要求而标准化的MPEG-2中，活动图像信号被压缩到2～15Mbps。
另外，现在，由推进MPEG-1、MPEG-2标准化的工作组(ISO/IECJTC1/SC29/WG11)，已规范出更高压缩率的MPEG-4。在MPEG-4中，一开始不仅能以低位速率进行高效率的编码，而且导入了即使传输线路产生错误，也能减小主观的画质劣化的强有力的防差错技术。此外，ISO/IEC和ITU共同推进了作为下一代画面编码方式的JVT(Joint Video Team即，联合视频小组)的标准化活动，现在最新的称为联合模型2(JM2)。
在JVT中，与现有的动画图像编码不同，作为前方参照图像，能从多个图像(画面)中选择任意图像(画面)作为参照图像。在此，所述画面表示帧或信息组(filed)。
图1(a)是参照从存储器内保存的多个参照图像中选择了的图像，进行编码的图像编码的说明图。图1(b)是示出保存图像的存储器的结构的结构图。
如图1(b)所示，存储器由短时间保存存储器和长时间保存存储器构成。短时间保存存储器存储在紧前面进行了译码的多幅图像，相当于称作MPEG-1和MPEG-2的P画面(前方预测编码画面)及B画面(双向预测编码画面)的参照图像。长时间保存存储器用于比短时间保存存储器长时间保存图像信号。
通常，短时间保存存储器是FIFO(先入先出)存储器，在短时间保存存储器中保存超过存储器上限的图像的情况下，消除短时间保存存储器内的最早时刻的图像，在该区域中保存新的图像。因此，通常，在欲参照利用FIFO结构从存储器中消除了的参照图像的情况下，通过预先将该参照图像从短时间保存存储器移动到长时间保存存储器中来，保存在长时间保存存储器内，就能长时间参照。长时间存储器是明示保存区域的方法，只要不指定相同的区域进行重写，就可以参照保存在该区域中的画面。
图1(a)示出图像编码时的预测状况，画面编号2的图像参照画面编号0的图像，画面编号1的图像参照画面编号0或画面编号2的图像。同样地，画面编号4的图像参照画面编号0、2的图像，画面编号6的图像参照画面编号0的图像。另外，在画面编号5的图像中则能参照画面编号0、2、4、6的图像。
另外，在该图1(a)中，相对于画面编号0、6、12的图像可在比较长时间以后仍被参照，画面编号2、4、8的图像等仅由短时间以后的图像进行参照。因此，如图1(b)所示，将保存图像的存储器区域分割成短时间保存用存储器和长时间保存存储器，能在需要长时间保存的存储器中保存画面(帧)编号为0、6、12的图像。
另外，为了效率使用如图1(a)所示的存储器，需要高度的存储器管理，在JVT中导入用于控制存储器的结构。
控制存储器的指令如下1.选择可参照的图像的指令；2.在短时间保存存储器中释放存储器区域的指令，所述存储器区域是保存着作为预测编码的参照图像成为不需要的画面存储器区域；3.将短时间保存存储器的内容向长时间保存存储器移动的指令。
在图像编码和译码中，由于从可参照的图像中按块单位选择预测误差小的图像作为参照图像，因此，需要有按块单位指示参照图像的信号。通过预先选择可参照的图像，将参照图像的候补数压缩成适当的值，能节约按块单位所需的参照图像指示信号的位数。
此外，在从短时间保存存储器移动到长时间保存存储器中的情况下，在短时间保存存储器和长时间保存存储器两方保存相同的内容是浪费的，因此，消除短时间保存存储器内的图像。
图2(a)(b)是示出现有的图像编码方法和图像译码方法的流程图。
图2(a)示出在释放存储器区域时的图像编码装置的动作，该存储区域是保存着作为预测编码的参照图像成为不需要的画面的存储器区域。在图2(a)中，首先，图像编码装置对所输入的输入图像进行编码(步骤100)。编码之后在存储器内检查不需要的区域(在以后的编码中不参照的图像)(步骤101)，判定是否有不需要的存储器区域(步骤102)。在判定为有不需要的存储器区域的情况下(步骤102的Yes)，将释放不需要的存储器区域的指令作为存储器管理信息，进行编码(步骤103)，并释放该不需要的存储器区域(消除存储器内的图像)(步骤104)，结束处理。另一方面，在图像编码装置判定为没有不需要的存储器区域的情况下(步骤102的No)，不进行步骤103和步骤104的动作，结束处理。
下面，按照图2(b)的流程图，说明在释放存储器区域时的图像译码装置进行的动作，该存储器区域是保存着作为预测编码的参照图像而成为不需要的画面的存储器区域。首先，图像译码装置对存储器管理信息进行译码(步骤110)，然后，根据编码信号对图像信号进行译码(步骤111)。图像译码装置判定检查的结果是否有存储器释放指令(步骤112)，若有存储器释放指令(步骤112的Yes)，就判定是否有应该用该指令消除的图像，或者是否已经释放完存储器(图像消除完了)(步骤113)。若判定为已释放完(步骤113的Yes)，则设定为错误(ERROR)。这是因为，在JVT中，禁止在从存储器消除了图像之后发出再次消除相同图像的指令，因此，在再次释放释放完的存储器的情况下，就设为错误。另一方面，图像译码装置若判定为没释放完(步骤113的No)，就释放存储器(步骤114)，之后结束处理。此外，在判定为没有存储器释放指令的情况下(步骤112的No)，不进行步骤113和步骤114的动作，结束处理。再有，步骤110和步骤111的顺序不同，所述两步骤的顺序可以互换。
图3(a)(b)是示出现有的其他图像编码方法和图像译码方法的流程图。
图3(a)示出从短时间保存存储器向长时间保存存储器移动图像时的图像编码装置进行的动作。
在图3(a)中，首先，图像编码装置对输入图像进行编码(步骤120)。编码之后检查是否有应该向长时间保存存储器移动的图像(步骤121)，并判定是否有应该移动的图像(步骤122)。若有应该移动的图像(步骤122的Yes)，就将表示如何向长时间保存存储器移动的指令作为存储器管理信息，进行编码(步骤123)，按照该指令向长时间保存存储器移动图像(步骤124)，之后结束处理。另一方面，图像编码装置在判定为没有应该向长时间保存存储器移动的图像的情况下(步骤122的No)，就不进行步骤123和步骤124的动作，结束处理。
下面，按照图3(b)的流程图，说明从短时间保存存储器向长时间保存存储器移动图像时的图像译码装置进行的动作。首先，图像译码装置对存储器管理信息进行译码(步骤130)，接着，根据编码信号对图像信号进行译码(步骤131)。然后，图像译码装置判定在已译码的存储器管理信息中是否有向长时间保存存储器移动的指令(步骤132)，若判定为有(步骤132的Yes)，则接着判定是否有应该按该指令移动的图像，或者是否已移动完(由于移动之后消除完了而图像不存在)(步骤133)。在JVT中，禁止在向长时间保存存储器移动之后发送再次向长时间保存存储器移动相同图像的指令，因此，在再次向长时间保存存储器移动已经向长时间保存存储器移动完了的图像的情况下，就设为错误。因而，图像译码装置若判定为已完成向长时间保存存储器移动(步骤133的Yes)，则设为错误(ERROR)；若判定为没移动完，则向长时间保存存储器移动(步骤134)，之后结束处理。
另一方面，图像译码装置在判定为没有向长时间保存存储器移动的指令的情况下(步骤132的No)，就不进行步骤133和步骤134的动作，结束处理。再有，步骤130和步骤131的顺序不同，可以交换所述两步骤的顺序。
图4(a)、(b)是示出现有的另外的图像编码方法和图像译码方法的流程图。
首先，按照图4(a)的流程图，说明选择可参照图像时的图像编码装置进行的动作。
首先，图像编码装置选择预计为与被编码图像相关密切的参照图像(通常是时间上接近的参照图像)，作为参照图像的候补(步骤200)。接着，将示出所选择的参照图像的候补的指示信息(存储器管理信息的一种)进行编码(步骤201)，从所选择的参照图像的候补中按块单位参照适当的参照图像，进行编码(步骤202)，之后结束处理。再有，步骤201和步骤202的顺序不同，可以交换所述两步骤的顺序。
下面，按照图4(b)的流程图，说明选择可参照图像时的图像译码装置进行的动作。
首先，图像译码装置对作为存储器管理信息的一种的指示信息进行译码(步骤210)，作为其结果，从存储器中选择参照图像的候补(步骤211)，从选择了的参照图像的候补中按块单位选择适当的参照图像进行参照并进行译码(步骤212)，之后结束处理。
另外，在象这样的现有的图像编码方法和图像译码方法中，用图像编码装置将从存储器中消除不需要的图像的指令、和从短时间保存存储器向长时间保存存储器移动图像的指令进行编码之后输出，并传输到图像译码装置中进行译码，但是，由于该传输次数仅限定为一个画面，因此，在随着该指令的画面因传输错误等消失了的情况下，就不能正确地复原存储器内的图像配置，因此就不能对图像进行译码。
此外，在图像的编码和译码中，在选择参照图像时，若简单地将在时间上接近的图像设为参照图像候补，则不能进行考虑了图像的译码的可变性(scalability)(在图1(a)的预测结构的例子中，即使B画面没有进行译码，I画面和P画面也能进行译码，或即使不对画面编号4、10、16的P画面进行译码，其他的P画面也能进行译码)的最佳的编码。即，虽然在时间上与画面编号6的图像接近的图像是画面编号4、2的图像，但实际上，仅能参照画面编号0的图像，因此，若将不能参照的画面编号4、2的图像放入参照图像的候补中，则编码效率不太好。
另外，在现有的图像编码方法中，禁止附随着存储器中不保存的图像传输消除存储器内的不需要的图像的指令、或从短时间保存存储器向长时间保存存储器移动图像的指令，因此，妨碍了柔性的存储器管理信息的指令传输。禁止附随着存储器中不保存的图像传输该指令有下述理由。即，这是因为，由于存储器中不保存的图像的重要度最低，不能按可变性(scalability)译码的可能性高，因此，是为了避免附随了该存储器中不保存的图像的该指令不被译码而导致不能正确复原存储器内的图像配置。
发明内容
因此，本发明为了解决以上的课题，目的在于提供一种即使因传输线路错误而一部分存储器管理信息消失，也能正确地复原的图像编码方法和图像译码方法等，和更适当地选择可参照的参照图像的候补来提高编码效率的图像编码方法和图像译码方法等。
为了解决该课题，本发明涉及的图像编码方法，参照从存储器内保存着的多个参照画面中选择的参照画面进行编码，包括下述步骤画面编码步骤，参照上述选择了的参照画面，对编码对象画面进行编码；管理信息编码步骤，将用于控制管理上述存储器中保存着的参照画面的存储器管理信息，附随着上述已编码的编码对象画面进行编码；管理信息再编码步骤，与上述管理信息编码步骤中的编码分开地、再次对上述存储器管理信息进行编码。
这样，由于存储器管理信息多次被编码输出，因此，即使在向译码装置传输时产生了传输线路错误的情况下，由于考虑到将多次被传输的存储器管理信息中的某一个被传输并被译码，因而能正确地复原画面的可能性提高。
此外，在上述管理信息再编码步骤中，也可以使确定在上述管理信息编码步骤中使存储器管理信息附随的上述编码对象画面的信息，附随上述已再次被编码的存储器管理信息。
这样，在附随着编码对象画面向图像译码装置传输最初已被编码的存储器管理信息时产生了传输错误的情况下，由于确定存储器管理信息附随的编码对象画面，能检测在哪个时刻产生了传输错误。
此外，在上述管理信息编码步骤中，使上述存储器管理信息附随着不保存在上述存储器中的编码对象画面的情况下，在上述管理信息再编码步骤中，也可以使上述存储器管理信息还附随保存在上述存储器中的编码对象画面。
这样，由于存储器管理信息附随译码后保存在存储器中的重要图像，因此，能准确地进行存储器管理信息的译码，能正确地复原画面的可能性提高。
此外，本发明的图像译码方法参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，在对用于控制管理上述存储器中保存着的参照画面的存储器管理信息进行译码，并基于已译码的存储器管理信息，释放上述存储器中成为不需要的存储器区域的情况下，若进行释放的存储器区域没释放完，则释放存储器区域；若进行释放的存储器区域已经释放完，则不对上述存储器做任何处理。
这样，即使在多次接收到表示从存储器消除画面的存储器管理信息的情况下，也不进行错误处理，而能正确地译码画面。
此外，参照从存储器内保存着的多个参照画面中选择的参照画面进行译码的图像译码方法中，上述存储器包括参照画面的保存时间短的短时间保存存储器、和参照画面的保存时间比上述短时间保存存储器长的长时间保存存储器，上述图像译码方法在对用于控制管理上述存储器中保存着的参照画面的存储器管理信息进行译码，并基于已译码的存储器管理信息，将在上述存储器中保存着的参照画面从上述短时间保存存储器向上述长时间保存存储器移动的情况下，若移动对象的参照画面存在于上述短时间保存存储器中，则将该参照画面从上述短时间保存存储器向上述长时间保存存储器移动；若移动对象的参照画面不存在于上述短时间保存存储器中，则不进行上述存储器内的移动。
这样，即使在多次接收到存储器管理信息的情况下，也不进行错误处理，而能正确地对画面进行译码。
此外，参照从存储器内保存着的多个参照画面中选择的参照画面进行编码的图像编码方法，也可以将重要度比编码对象画面高的、上述存储器内保存着的参照画面，作为参照画面的候补进行编码。
这样，能更适当地选择可参照的画面的候补，提高编码效率。
此外，本发明涉及的图像编码方法的特征在于，包括下述步骤对编码对象画面进行编码的步骤；在对上述编码对象画面进行编码之后，判断存储器内是否有不被参照的参照画面的步骤；若有上述不被参照的参照画面，则作为释放因不被参照而成为不需要的存储器区域的指令，在对编码数据进行译码的译码装置中对上述编码对象画面进行了译码之后，对表示释放上述成为不需要的存储器区域的指令进行编码的步骤；释放上述成为不需要的存储器区域的步骤；在对比上述编码对象画面晚被编码的另外的编码对象画面进行编码时，在对上述另外的编码对象画面进行译码之前，对表示释放上述成为不需要的存储器区域的内容的指令进行编码的步骤。
这样，即使在表示释放成为不需要的存储器区域的、最初的指令遗漏的情况下，也能在画面的译码之前执行接着传输的指令，因此，能减少指令执行的滞后。
此外，本发明涉及的图像译码方法的特征在于，包括下述步骤对附随译码对象画面的、管理存储器的存储器管理信息进行译码的步骤；第一判断步骤，判断上述存储器管理信息是否是表示译码前用指令，该译码前用指令表示在对上述译码对象画面进行译码之前进行管理存储器的处理；第二判断步骤，在上述第一判断步骤中判断为上述存储器管理信息是上述译码前用指令时，判断管理存储器的处理是否完了；在上述第二判断步骤中判断为管理存储器的处理已完了时，对上述译码对象画面进行译码，在上述第二判断步骤中判断为管理存储器的处理还没完了时，在根据上述存储器管理信息进行了管理存储器的处理之后，对上述译码对象画面进行译码的步骤。
这样，即使在表示释放成为不需要的存储器区域的、最初的指令遗漏的情况下，也能在画面的译码之前执行接着传输的指令，因此，能减少指令执行的滞后。
此外，本发明涉及的图像编码方法的特征在于，包括下述步骤对编码对象画面进行编码的步骤；判断步骤，在对上述编码对象画面进行了编码之后，判断在存储器内的参照画面是否全部是不被参照的画面；在上述判断步骤中判断为在存储器内的参照画面全部是不被参照的画面时，对作为将上述存储器内的参照画面全部删除的命令的、初始化指令进行编码的步骤；将在上述存储器内的参照画面全部删除的初始化步骤；在对比上述编码对象画面晚被编码的另外的编码对象画面进行编码时，根据附加信息，对初始化重发指令进行编码的步骤，所述附加信息将在对上述编码对象画面进行编码时被删除的、比上述编码对象画面先保存在上述存储器内的全部参照画面作为删除对象，所述初始化重发指令是表示删除在存储器内的参照画面的命令。
这样，在向译码装置传输初始化指令时，即使在因传输线路错误而初始化指令遗漏的情况下，也能根据初始化重发指令的附加信息，正常地进行存储器内的初始化。
此外，本发明涉及的图像译码方法的特征在于，包括下述步骤对附随着译码对象画面的、管理存储器的存储器管理信息进行译码的步骤；对上述译码对象画面进行译码的步骤；初始化判断步骤，判断在上述存储器管理信息中是否有全部删除在存储器内的参照画面的命令即初始化指令；在上述初始化判断步骤中没判断到上述存储器管理信息中有上述初始化指令时，初始化重发判断步骤，即，为了删除参照画面而根据表示删除对象的附加信息，判断在上述存储器管理信息中是否有删除存储器内的参照画面的命令即初始化重发指令，上述要删除的参照画面是应该在对比上述译码对象画面先被译码了的另外的译码对象画面进行译码时进行初始化并删除的、比上述另外的译码对象画面先保存在上述存储器中的参照画面；初始化完了判断步骤，在上述初始化重发判断步骤中判断为上述存储器管理信息是上述初始化重发指令时，判断在存储器内的参照画面是否已被全部删除；删除步骤，在上述初始化完了判断步骤中判断为在存储器内的参照画面未被全部删除时，根据上述附加信息删除在存储器内的画面。
这样，在向译码装置传输初始化指令时，即使在因传输线路错误而初始化指令遗漏的情况下，也能根据初始化重发指令的附加信息，正常地进行存储器内的初始化。
此外，记录了参照从存储器内保存着的多个参照画面中选择的画面按片单位进行了编码的数据流的记录媒体，在从存储器消除上述存储器内保存着的参照画面的情况下，也可以附随着至少两个片来对指定消除对象的参照画面的信息进行编码。
这样，在按片单位进行编码的情况中，即使在向译码装置传输时产生了传输线路错误，也由于考虑到对多次被传输的、指定从存储器消除的对象的参照画面的信息中的某一个进行传输并译码，因此，能按片单位正确地复原画面的可能性提高。
此外，本发明的记录媒体，记录了参照从存储器内保存着的多个参照画面中选择了的画面按片单位编码了的数据流，在从存储器消除上述存储器内保存着的参照画面的情况下，附随着至少两个片来对指定消除对象的参照画面的信息进行编码；另外，也可以附随着上述片，将表示上述片具有指定上述消除对象的参照画面的信息的内容的信息进行编码；在不具有指定上述行消除的对象的参照画面的信息的片中，参照指定上述消除对象的参照画面的信息时，也可以将表示参照指定上述消除对象的参照画面的信息的信息进行编码。
这样，在不具有指定上述消除对象的参照画面的信息的片中，能省略上述信息的附加，能提高编码效率。
如上所述地，根据本发明涉及的图像编码方法和图像译码方法，能实现即使因传输线路错误而一部分存储器管理信息消失，也能正确地复原的图像编码方法和图像译码方法，和更适当地选择可参照的参照图像的候补，提高编码效率的图像编码方法和图像译码方法，其实用价值很高。
再有，本发明不仅能实现象上述的图像编码方法和图像译码方法，也能实现使用了上述方法的图像编码装置和图像译码装置，也能实现记录了由图像编码方法进行了编码的数据流的记录媒体，也能实现将图像编码方法和图像译码方法中的步骤在计算机中执行的程序。当然，象这样的程序也可以通过CD-ROM等记录媒体和因特网等传输媒体来发送。
再有，本说明书中摘录了前日本特许申请“特愿2002-110424”、“特愿2002-190955”、“特愿2003-49711”和美国申请“60/377656”的内容。
图1(a)是参照从保存在存储器中的多个参照图像选择的图像进行编码的图像编码的说明图，图1(b)是示出保存图像的存储器的结构的结构图。
图2(a)是示出现有的图像编码方法的流程图，图2(b)是示出现有的图像译码方法的流程图。
图3(a)是示出现有的图像编码方法的另一种流程图，图3(b)是示出现有的图像译码方法的另一种流程图。
图4(a)是示出现有的图像编码方法的另一种流程图，图3(b)是示出现有的图像译码方法的另一种流程图。
图5是示出本发明的图像编码装置的结构框图。
图6是示出本发明的实施方式1中的图像编码方法的流程图。
图7是示出本发明的图像译码装置的结构框图。
图8是示出本发明的实施方式2中的图像译码方法的流程图。
图9是示出本发明的实施方式3中的图像编码方法的流程图。
图10是示出本发明的实施方式4中的图像译码方法的流程图。
图11是示出本发明的实施方式5中的图像编码方法的流程图。
图12是示出本发明的实施方式6中的图像编码方法的流程图。
图13是示出本发明的实施方式7中的图像编码方法的流程图。
图14(a)是示出图像的画面编号、保存画面编号及传输顺序的关系的说明图，图14(b)是示出进行译码的画面编号、保存着的画面编号及被删除的画面编号之间关系的关系图，图14(c)是示出进行译码的画面编号、保存着的画面编号及被删除的画面编号的其他关系的关系图。
图15是示出本发明中的存储器管理信息的指令的对应图。
图16是示出本发明的实施方式8中的指令执行顺序的流程图。
图17是示出各画面的编码信号中的标题信息与帧数据之间关系的模式图。
图18是示出编码信号的标题信息中的存储器管理信息的指令的模式图。
图19是示出各图像的画面编号、保存画面编号及传输顺序的关系的说明图。
图20是示出将初始化指令进行编码的方法的流程图。
图21是示出将已编码的初始化指令进行译码的方法的流程图。
图22是示出在本发明的实施方式8中使用的存储器管理信息的指令的对应图。
图23是示出使用了本发明中的初始化重发指令的图像编码方法的流程图。
图24是示出本发明中的将已编码的初始化重发指令进行译码的方法的流程图。
图25是示出各图像的画面编号、保存画面编号及传输顺序的其他关系的说明图。
图26是示出在本发明的实施方式9中使用的存储器管理信息的指令的对应图。
图27是示出本发明的实施方式9中的图像编码方法的流程图。
图28是示出本发明的实施方式9中的图像译码方法的流程图。
图29(a)是示出指令的内容和附加信息的对应图，图29(b)是示出指令的执行定时的对应图。
图30是示出编码信号的标题信息中的存储器管理信息指令的模式图。
图31是示出其他编码信号的标题信息中的存储器管理信息指令的模式图。
图32是示出按片单位编码的数据流结构的模式图。
图33(a)(b)都是示出按片单位编码的数据流结构的模式图。
图34(a)(b)(c)都是对用于存储程序的存储媒体的说明图，所述程序是计算机系统实现本发明的实施方式1至实施方式10的图像编码方法和图像译码方法的程序。
图35是示出使用本发明的图像编码方法和图像译码方法的内容供给系统的整体结构的框图。
图36是示出使用本发明的图像编码方法和图像译码方法的携带式电话的一例的外观图。
图37是示出上述携带式电话结构的结构框图。
图38是示出使用本发明的图像编码方法和图像译码方法的数字广播用系统的结构的结构图。
具体实施例方式
以下，用
本发明的实施方式。
(实施方式1)首先，对实施方式1进行说明。
图5是示出用于实现本实施方式中的图像编码方法的图像编码装置的结构框图。
图像编码装置100由存储器信息控制部101、短时间保存存储器管理部102、长时间保存存储器管理部103、非保存存储器管理信息部104、管理信息编码部105、参照图像选择部106、保存区域指定部107、参照区域指定部108、图像存储器109、图像译码部111、图像编码部110、可变长编码部112、计数器113、计数器114等构成。
参照图像选择部106根据从外部输入的重要度指示信号Pri和画面类型信息PicType，选择参照图像的候补，并通知存储器信息控制部101。
存储器信息控制部101根据画面类型信息PicType，判断前方和后方的哪一方或两方的图像(画面)是否可参照，命令参照区域指定部108，从图像存储器109向图像编码部110输出对应的参照图像。
图像编码部110参照从图像存储器109输出的参照图像，对输入图像信号Vin进行编码，可变长编码部112进一步进行可变长编码之后，输出图像编码流VideoStr。此外，图像编码部110的输出被图像译码部111译码而成为译码图像，作为参照图像存储到图像存储器109中。
这时，图像存储器109中的译码图像的可存储的存储器位置如下进行指定。即，存储器信息控制部101向短时间保存存储器管理部102查询，在短时间存储器中确定图像已被消除的存储器位置，保存区域指定部107对图像存储器109发出指示，以使在该存储器位置上记录译码图像。
短时间保存存储器管理部102检测短时间保存存储器内的不需要(不被参照)的图像，并向存储器信息控制单元部101通知消除(释放存储器)的指令。此外，长时间保存存储器管理部103向存储器信息控制部101通知将短时间保存存储器内的图像向长时间保存存储器移动的指令。该不需要的图像的消除(存储器的释放)指令和将短时间保存存储器内的图像向长时间保存存储器移动的指令，在管理信息编码部105被进行编码成为存储器管理信息流CtlStr。
另一方面，为了防止因传输线路错误而一部分存储器管理信息流CtlStr消失，从而存储器管理信息被损坏，用短时间保存存储器用的计数器113和长时间保存存储器用的计数器114，计测不需要的图像的消除指令和将短时间保存存储器内的图像向长时间保存存储器移动的指令的编码次数，能根据需要进行上述指令的多次传输。
此外，非保存存储器管理信息部104，管理不需要的图像的消除指令和将短时间保存存储器内的图像向长时间保存存储器移动的指令是否附随着重要度低且难被译码的图像已被编码，在上述指令附随着重要度低的图像被编码了的情况下，向存储器信息控制部101发出指示，以使附随着更高重要度的图像再次对指令进行编码。
下面，对本发明的实施方式1中的图像编码方法进行说明。图6是示出实施方式1中的图像编码方法的流程图，示出图5示出的图像编码装置100进行的动作。再有，在图6中，对与图2(a)动作相同的部分标注相同的标记。
图6中示出的图像编码方法的特征在于，在存储器内作为预测编码的参照图像存在不需要的图像(画面)的情况下，反复对释放保存着该图像的存储器区域(消除该图像)的存储器管理信息的指令进行编码。象这样地，通过反复对存储器管理信息的指令进行编码，即使因传输线路错误而其中一方存储器管理信息的指令消失，也能根据另一方存储器管理信息的指令复原保存在存储器内的图像的管理信息，因此，即使有传输线路错误也能正确地复原图像的可能性提高。
图6中，首先，对输入图像(步骤100)进行编码。编码之后在存储器内检查不需要的区域(在以后的编码中不参照的图像)(步骤101)，判定是否有不需要的存储器区域(步骤102)。在有不需要的存储器区域的情况下(步骤102的Yes)，管理信息编码部105将释放不需要的存储器区域的指令作为存储器管理信息进行编码(步骤103)。然后，释放该不需要的存储器区域(步骤104)。在没有不需要的存储器区域的情况下(步骤102的No)，就不进行步骤103和步骤104的动作。
接着，存储器信息控制部101判定释放不需要的存储器区域的指令是否附随着在紧前面已编码的图像(编码对象之前的图像)，作为存储器管理信息进行了编码(步骤105)，在指令没有被编码了的情况下(步骤105的No)结束处理，并在指令已被编码了的情况下(步骤105的Yes)，管理信息编码部105再次将释放该不需要的存储器区域的指令作为存储器管理信息进行编码(步骤106)，并结束处理。
象这样地，若在紧前面的图像的编码中，释放不需要的存储器(存储器管理信息的)的指令被编码，则存储器管理信息的指令再次被编码。附随着紧前面的图像的编码而被编码了的存储器管理信息、和再次被编码了的存储器管理信息，分别由图像编码装置输出，传输到图像译码装置中被译码。
再有，在步骤105中，附随着紧前面已被编码的图像的编码信号，释放不需要的存储器区域的指令被编码了的情况下，再次编码指令，但在不是附随着紧前面的图像的情况，而是附随着几个图像以前的图像的情况下，并且，将上述指令作为存储器管理信息反复进行编码，并附随多个图像进行传输也可以。
此外，若能将释放上述不需要的存储器区域的指令作为存储器管理信息多次传输就好，在再次编码该指令进行传输时，无需一定使之附随着图像的编码信号进行传输。
此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已被编码的画面相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。
如上所述，由于可认为通过多次传输释放不需要的存储器区域(存储器管理信息的)的指令，即使在产生了传输线路错误的情况下，多次传输的指令中的某一个被传输并被译码，因此，能正确地复原图像的可能性提高。
(实施方式2)下面，对本发明的实施方式2进行说明。
图7是用于实现实施方式2中的图像译码方法的图像译码装置的框图。
图像译码装置200由存储器信息控制部201、短时间保存存储器管理部202、长时间保存存储器管理部203、管理信息译码部205、保存区域指定部207、参照区域指定部208、图像存储器209、图像译码部210、可变长译码部212等构成。
存储器信息控制部201根据画面类型信息PicType，对编码对象判断前方和后方的哪一方或两方的图像是否可参照，命令参照区域指定部208，从图像存储器209向图像译码部210输出对应的参照图像。
可变长译码部212对编码流VideoStr进行译码，图像译码部210将其进一步译码，作为译码图像信号Vout输出，并作为参照图像存储到图像存储器209中。
这时，图像存储器209中的译码图像的可存储的存储器位置如下进行指定。存储器信息控制部201向短时间保存存储器管理部202查询，确定的已消除图像的存储器位置，保存区域指定部207对图像存储器209发出指示，以使在该存储器位置上记录译码图像。
管理信息译码部205对存储器管理信息流CtlStr进行译码，通过存储器信息控制部201，向短时间保存存储器管理部202通知短时间保存存储器内的不需要(不参照)的图像信息，对长时间保存存储器管理部203通知将短时间保存存储器内的图像向长时间保存存储器移动的指令。
下面，对本发明的实施方式2中的图像译码方法进行说明。图8是示出实施方式2中的图像译码方法的流程图，示出图7示出的图像译码装置200进行的动作。再有，图8中，在与图2(b)动作相同的部分上标记相同的标记。
在图像编码装置多次传输了释放不需要的存储器区域的指令的情况下，只要不因传输线路错误而指令消失，图像译码装置就多次接收释放存储器内的相同图像区域的指令。因此，必须实现这样的图像译码方法，即，即使在图像译码装置接收到了再次释放已经释放了的存储器区域的指令的情况下，也不作为错误进行处理，而相反判断为能正确地接收。在本实施方式中，实现了这样的图像译码方法。
图8中，首先，管理信息译码部205对存储器管理信息译码(步骤110)。接着，根据编码信号对图像信号(步骤111)进行译码。然后，存储器信息控制部201判定在译码后的存储器管理信息中是否有释放存储器的指令(步骤112)。若有释放存储器的指令(步骤112的Yes)，就判定是否有应该用该指令消除的图像，或者是否已经释放完(消除完)(步骤113)，若存储器释放完(步骤113的Yes)，就不做任何处理而结束，若不是这样，就释放存储器(步骤114)，之后结束处理。另一方面，在没有存储器释放指令的情况下(步骤112的No)，就不进行步骤113和步骤114的动作而结束处理。再有，步骤110和步骤111的顺序不同，可以互换所述两步骤的顺序。
根据如上所述的动作，用实施方式1的图像编码方法多次编码并传输释放存储器内的相同图像的区域的指令，即使图像译码装置200多次接收到该信号的情况下，由于不作为错误进行处理，因而能够实现能正确地译码的图像译码方法。
再有，只要将释放上述不需要的存储器区域的指令作为存储器管理信息多次进行传输就好，在将该指令再次编码并传输时，无需必须使其附随着图像的编码信号进行传输。
此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已被编码的画面相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。
(实施方式3)下面，对实施方式3中的图像编码方法进行说明。图9是示出实施方式3中的图像编码方法的流程图，示出图像编码装置100进行的动作。在图9中，在与图3(a)动作相同的部分标注相同的标记。
本实施方式的特征在于，在存储器内存在应该从短时间保存存储器向长时间保存存储器移动的图像的情况下，反复对移动该图像的存储器管理信息的指令进行编码。通过反复编码存储器管理信息的指令，即使因传输线路错误而其中部分存储器管理信息的指令消失，也能根据另一部分存储器管理信息的指令复原保存在存储器内的图像的管理信息，因此，即使有传输线路错误也能正确地复原图像的可能性提高。
图9中，首先，对输入图像(步骤120)进行编码。编码之后检查是否有应该向长时间保存存储器移动的图像(步骤121)。然后，存储器信息控制部101判定是否有向长时间保存存储器移动的图像(步骤122)。若有应该移动的图像(步骤122的Yes)，管理信息编码部105就把表示如何向长时间保存存储器移动的指令作为存储器管理信息进行编码(步骤123)。然后，按照该指令把图像向长时间保存存储器中移动(步骤124)。
接着，存储器信息控制部101判定是否将编码信号向长时间保存存储器移动的指令，作为存储器管理信息进行了编码(步骤125)，所述编码信号是附随着紧前面已编码的图像(编码对象之前的图像)的信号。若没进行编码(步骤125的No)，就结束处理；若已编码(步骤125的Yes)，则管理信息编码部105就将向该长时间保存存储器移动的指令作为存储器管理信息，再次进行编码(步骤126)，之后结束处理。
如上，若在紧前面的图像的编码中向长时间保存存储器移动(存储器管理信息的)的指令被编码，则编码存储器管理信息的指令再次被编码。分别由图像编码装置输出附随着紧前面的图像的编码而被编码了的存储器管理信息和已再次被编码的存储器管理信息，并传输到图像译码装置中进行译码。
再有，在步骤125中，在附随着紧前面已编码的图像的编码信号，向长时间保存存储器移动的指令已被编码的情况下，再次对指令进行编码，但也可以不是附随着紧前面的图像的情况，而是附随几个图像之前的图像的情况，并且，将上述指令作为存储器管理信息反复进行编码，可以附随着多个图像。
此外，只要能多次传输向上述长时间保存存储器移动的指令作为存储器管理信息就好，无需在再次对该指令进行编码并传输时，必须使之附随着图像的编码信号进行传输。
此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已编码的画面相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。
如上所述，由于可认为通过多次传输向长时间保存存储器移动的指令，即使在产生了传输线路错误的情况下，多次传输的指令中的某一个仍被传输并被译码，因此，能正确地复原图像的可能性提高。
(实施方式4)下面，对实施方式4的图像译码方法进行说明。
在图像编码装置多次传输了向长时间保存存储器移动的指令的情况下，指令不因传输线路错误而消失，图像译码装置则多次接收将短时间保存存储器内的相同图像区域向长时间保存存储器移动的指令。因此，必须实现这样的图像译码方法，即，即使在图像译码装置接收到再次移动已移动的图像的指令的情况下，也不作为错误进行处理，而相反地判断为能正确地接收。本实施方式中的图像译码方法的特征在于实现这样的图像译码方法。
图10是示出实施方式4中的图像译码方法的流程图，示出图7中示出的图像译码装置200的动作。在图10中，在与图3(b)动作相同的部分上标记相同的标记。
图10中，首先，管理信息译码部205译码存储器管理信息(步骤130)。然后，根据编码信号对图像信号进行译码(步骤131)。
然后，存储器信息控制部201判定在已译码的存储器管理信息中是否有向长时间保存存储器移动图像的指令(步骤132)。若有向长时间保存存储器移动的指令(步骤132的Yes)，则判定是否有应该按该指令移动的图像，或是否已经移动完(因为在移动之后消除完而不存在图像)(步骤133)，若向长时间保存存储器移动完(步骤133的Yes)，就不做任何处理而结束，若不是这样，就向长时间保存存储器移动(步骤134)后结束处理。
另一方面，在没有向长时间保存存储器移动的指令的情况下(步骤132的No)，就不进行步骤133和步骤134的动作而结束处理。再有，步骤130和步骤131的顺序不同，也可以交换所述两步骤的顺序。
根据如上所述的动作，即使用实施方式3的图像编码方法多次编码并传输向长时间保存存储器移动图像的指令，也能够实现能正确地译码的图像译码方法。
再有，只要将向上述长时间保存存储器移动的指令作为存储器管理信息进行多次传输就好，无需必须在再次编码该指令进行传输时，必须使之附随着图像的编码信号进行传输。
此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已编码的画面相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。
(实施方式5)下面，对本实施方式中的图像编码方法进行说明。图11是示出实施方式5中的图像编码方法的流程图，示出图5中示出的图像编码装置100的动作。在图11中，在与图6动作相同的部分上标注相同的标记。
图11中示出的本实施方式的特征在于，在存储器内存在不需要的图像的情况下，反复对消除该图像的存储器管理信息的指令进行编码，至少一次附随着保存在存储器中的重要画面进行传输。在反复编码存储器管理信息的指令的情况下，即使在附随着重要度不高的图像传输了存储器管理信息的指令，在译码重要度不高的图像没有全部被译码时，就不能取得存储器管理信息的指令。
例如，在图1(a)中，由于画面编号4的图像在将画面编号5的图像进行编码之后就成为不需要，因此，能够附随着画面编号5的图像，对释放画面编号4的图像的某个存储器区域的指令进行编码。
但是，在除了附随着画面编号5的图像，将释放该画面编号4的图像所在的存储器区域的指令进行编码之外，附随着画面编号7的图像进行编码时，附随着重要度最低(在不译码的情况下画质劣化少)的B画面，上述指令被编码。有时这些B画面不被译码，释放画面编号4的图像所在的存储器区域的指令不被译码，就不能正确地再现存储器内的管理信息。因此，必须要至少一次附随着重要度高的、必须译码的、保存在存储器中的图像，来对释放图像区域的指令进行编码。
图11中，首先，对输入图像进行编码(步骤100)。编码之后在存储器内检查不需要的区域(在以后的编码中不参照的图像)(步骤101)，判定是否有不需要的存储器区域(步骤102)。若有不需要的存储器区域(步骤102的Yes)，管理信息编码部105就将释放不需要的存储器区域的指令进行编码，作为存储器管理信息(步骤103)。然后，释放该不需要的存储器区域(步骤104)。在没有不需要的存储器区域的情况下(步骤102的No)，不进行步骤103和步骤104的动作。
接着，存储器信息控制部101判定是否附随着重要图像(保存在译码的存储器中)，过去已被编码的、释放不需要的存储器区域的指令被编码(步骤140)，若附随着重要图像进行了编码(步骤140的Yes)，就结束处理，若没附随着重要图像进行了编码(步骤140的No)，管理信息编码部105就再次将释放该不需要的存储器区域的指令作为存储器管理信息进行编码(步骤141)，之后结束处理。
这样，释放不需要的存储器区域的指令附随着重要图像被编码。
如上所述，由于上述指令附随译码后保存在存储器中的重要图像，因此，就译码上述指令被译码，在产生了传输线路错误时能正确地复原图像的可能性提高。
再有，只要能将释放上述不需要的存储器区域的指令作为存储器管理信息多次传输就可以，在再次编码该指令并进行传输时，无需必须使之附随图像的编码信号进行传输。
此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已被编码的画面相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。
(实施方式6)下面，对本实施方式的图像编码方法进行说明。图12是示出实施方式6中的图像编码方法的流程图。图12示出图5中示出的图像编码装置100的动作。在图12中，与图9动作相同的部分标注相同的标记。
图12中示出的本实施方式的特征在于，反复对向长时间保存存储器移动图像的存储器管理信息的指令进行编码，至少一次附随着重要画面(译码后保存在存储器中)进行传输。在反复对向长时间保存存储器移动图像的存储器管理信息的指令进行编码的情况下，即使附随着重要度不高的图像传输了存储器管理信息的指令，在重要度不高的图像没有全部被译码的情况下，就不能取得存储器管理信息的指令。
图12中，首先，对输入图像进行编码(步骤120)。编码之后检查是否有应该向长时间保存存储器移动的图像(步骤121)，判定是否有应该移动的图像(步骤122)。
若有应该移动的图像(步骤122的Yes)，管理信息编码部105就把表示如何向长时间保存存储器移动的指令作为存储器管理信息已被编码(步骤123)，并将照该指令将图像移动到长时间保存存储器中(步骤124)。
接着，存储器信息控制部101判定过去已编码的向长时间保存存储器移动的指令，是否附随着重要图像(保存在译码的存储器中)进行编码(步骤150)，若附随着重要图像(步骤150的Yes)，就结束处理，若没附随着重要图像(步骤150的No)，管理信息编码部105就再次将该向长时间保存存储器移动的指令作为存储器管理信息进行编码(步骤151)，之后结束处理。
这样，向长时间保存存储器移动图像的指令附随着重要图像被编码。
如上所述，由于上述指令附随着译码后保存在存储器中的重要图像，因此，就上述指令被译码，在产生了传输线路错误时能正确地复原图像的可能性提高。
再有，只要多次传输向上述长时间保存存储器移动的指令作为存储器管理信息进行传输就可以，在再次编码该指令进行传输时，无需必须使之附随着图像的编码信号进行传输。
此外，在重发存储器管理信息的指令的情况下，其重发的指令也可以不是在与已编码的画面相同的流中，而是例如作为另外的流进行传输，也可以记录在存储媒体的另外的区域中。
(实施方式7)对实施方式7中的图像编码方法进行说明。
本实施方式的特征在于，是参照根据图像的重要度选择的参照图像来进行编码的图像编码方法。
图13是示出本发明的实施方式7中的图像编码方法的流程图。图13示出图5中示出的图像编码装置100进行的动作。
图13中，首先，设定编码对象的各图像的重要度(步骤160)。例如，I画面和P画面的重要度高，B画面的重要度低。此外，即使是相同的P画面，被许多图像参照的P画面的重要度高，不太被参照的P画面的重要度低。
接着，从存储器内的参照图像选择重要度与编码对象图像同等以上的图像，设为参照图像的候补(步骤161)。例如，B画面能参照I画面和P画面，但P画面中重要度低的P画面不在参照图像的候补之内。
接着，对示出选择的参照图像的候补的指示信息(存储器管理信息的一种)进行编码(步骤162)，从选择的参照图像的候补中按块单位参照适当的参照图像进行编码(步骤163)。再有，步骤162和步骤163的顺序不同，也可以互换所述两步骤的顺序。
象这样地，使在参照图像的候补中不加入重要度比编码对象图像的重要度低的图像。
如上所述地，由于在参照图像的候补中不加入重要度比编码对象图像的重要度低的图像，因此，在生成了能实现可变性(scalability)的流的情况下，能将不能参照的图像从参照图像的候补中除去，编码效率提高。
在此，对根据如上所述地设定的图像的重要度进行的图像编码方法，用图14进行具体地说明。
图14(a)是表示赋予各帧的编号(画面(帧)编号)、各帧保存在存储器中时的编号(保存画面(帧)编号)、表示各帧被传输的序号的编号(传输顺序)的关系的说明图。
在图14(a)中，画面编号0的I画面因为不参照其他的画面而保存在存储器中，因此保存画面编号为0。接着，由于参照画面编号0的I画面的画面编号2的P画面保存在存储器中，因此与画面编号2的P画面有关的保存画面编号为1。然后，由于参照画面编号0的I画面和画面编号2的P画面的画面编号1的B画面保存在存储器内，因此画面编号1的B画面的保存画面编号为2。传输各画面的序号为保存在存储器中的序号。按同样的顺序决定画面编号与保存画面编号及传输顺序的关系。
下面，对进行译码(decode)的画面编号、保存在存储器中的画面编号、和被删除的画面编号的关系的一例，用图14(b)进行说明。
图14(b)是示出进行译码的画面编号(帧编号)、保存着的画面编号(帧编号)、和被删除的画面编号(帧编号)的关系的关系图。再有，在此，设能保存在存储器中的画面的最大幅数为5。在存储器中按传输顺序保存画面。
此外，例如，在画面编号为4的P画面被译码时，由于画面编号为4的P画面的保存画面编号是3，因此，就在存储器上保存保存画面编号为0、1、2的画面。在进行译码的画面编号为3的B画面被译码时，如图14(b)所示，保存着画面编号为4、1、2、0的画面。在此，如图14(a)所示，由于在译码了画面编号3的画面之后，画面编号1的B画面不再被任何画面参照，因此，画面编号为3的画面在被译码的时候，删除画面编号1的B画面。
同样地，在进行译码的画面编号为5的B画面被译码时，如图14(b)所示，保存着画面编号为6、3、4、2、0的画面。在此，由于在译码了画面编号5的画面之后，画面编号3的B画面不再被任何画面参照，因此，在画面编号为5的B画面被译码了的时刻，删除画面编号3的B画面。
另外，在进行译码的画面编号为8的P画面被译码时，如图14(b)所示，保存着画面编号为5、6、4、2、0的画面。在此，由于在存储器中最大仅能保存5帧，因此，为了在后面参照画面编号8的P画面，就必须确保删除画面编号为5、6、4、2、0的某一个画面并存储画面编号8的P画面的存储器。因而，作为在图14(b)中删除帧的选择基准，在将画面编号8的P画面进行译码的时刻，删除在P画面的译码、即在偶数号画面编号的译码中时间上最老的画面，即该情况下是画面编号为0的I画面。
同样地，在进行译码的画面编号为7的B画面被译码时，如图14(b)所示，保存着画面编号为8、5、6、4、2的画面。在此，由于在译码了画面编号7的B画面之后，画面编号5的B画面不再被任何画面所参照，因此，在译码了画面编号为7的B画面的时刻，删除画面编号5的B画面。
另外，在进行译码的画面编号为10的P画面被译码时，如图14(b)所示，保存着画面编号为7、8、6、4、2的画面。在此，由于在存储器中最大仅能保存5帧，因此，为了在后面参照画面编号10的P画面，就必须确保删除画面编号为7、8、6、4、2的某一个画面并存储画面编号10的画面的存储器。因而，作为在图14(b)中删除帧的选择基准，在译码了画面编号10的P画面的时刻，删除在P画面的译码、即在偶数号画面编号的画面的译码中时间上最旧的画面编号为2的画面。
象这样地，在删除画面时，用于删除画面的存储器管理信息的指令被编码后，附随着将被译码的画面的编码信号，进行传输。
在上述图14(b)示出的例子中，对在存储器内存在不需要的图像(画面)，发送一次消除该图像的存储器管理信息指令的例子进行了叙述。如上，若将消除的存储器管理信息指令仅发送一次，则有不能执行附随着B画面发送的存储器管理信息的指令的可能性。这是因为，由于B画面作为在P画面的编码和译码中参照的图像来使用的可能性低，因此，在不能确保充足的存储容量和传输容量的情况下，优先废弃B画面的数据的可能性高，其结果，就有不能执行附随着B画面发送的存储器管理信息的指令的可能性。
为了解决该问题，说明将消除图像的存储器管理信息的指令反复进行编码并传输的例。以下，对图14(c)具体地进行说明。
图14(c)是示出进行译码的画面编号(帧编号)、保存着的画面编号(帧编号)、和被删除的画面编号(帧编号)的其他关系的关系图。在图14(c)中，示出将被删除的画面编号的画面进行删除的指令附随着进行译码的画面编号画面的编码信号的情况。
如图14(c)所示，在画面编号为3的B画面被译码时，保存着画面编号为4、1、2、0的画面。在此，画面编号1的B画面如图14(a)所示，在译码了画面编号3的画面之后，不再被任何画面所参照。因此，在译码了画面编号为3的画面的时刻，删除画面编号1的B画面，用于删除的存储器管理信息的指令附随着画面编号3的画面。
但是，由于画面编号3的画面是B画面，因此，与I画面和P画面相比，在图像再现的这一点上，其重要度如上所述那样低，由于发送时数据易被废弃，因此有不能执行指令的可能性(如图25所示的保存帧的情况)，该指令为附随着画面编号3的B画面发送的存储器管理信息的指令。
因此，使表示删除附随着画面编号3的画面编号1的画面的存储器管理信息的指令，附随着接着进行译码的、在图像的再现这点上比画面编号3的B画面其重要度高的画面编号6的P画面(参照图14(c))。
同样地，使附随着画面编号5的B画面的存储器管理信息的指令(示出删除画面编号3的画面)附随着画面编号8的P画面；使附随着画面编号7的B画面的存储器管理信息的指令(示出删除画面编号5的画面)附随着画面编号10的P画面。再有，由于画面编号8的画面是P画面，因此，如图14(c)所示，不使附随着画面编号8的画面的存储器管理信息的指令附随着画面编号7的B画面，但也可以附随。
以上，如图14(c)所示，使与最初附随着B画面的存储器管理信息的指令相同的存储器管理信息的指令，反复附随着比最初使存储器管理信息的指令附随的B画面晚保存或传输的画面，且该被反复附随的画面是在图像再现中重要度比B画面高的画面。这样，即使遗漏了最初附随着存储器管理信息的指令的B画面，也能正常地执行存储器管理信息的指令。
再有，如用图14(c)说明的，即使在使存储器管理信息的指令附随着B画面，进一步反复使存储器管理信息的指令附随着P画面的情况下，也使用已设定的重要度。再有，重要度的设定不限于本实施方式示出的方式。
再有，在本实施方式中，并非根据各图像的重要度来决定是否发送各图像，而且不能将各图像的重要度象上述实施方式中示出的存储器管理信息那样附随着各图像来进行编码。因此，本实施方式中已编码的数据的译码处理与现有的方法相同。
(实施方式8)下面，对实施方式8进行说明。
本实施方式的特征在于，删除存储器内的全部图像(画面)，将进行存储器区域的初始化的(存储器管理信息的)指令多次进行编码并传输。
在上述各实施方式中示出的存储器管理信息，被作为如图15中示出的代码信息而被赋予。
图15是示出存储器管理信息的指令的对应图，示出代码编号(Code)、指令的内容(指令)、其附加信息(附加信息)。
例如，释放短时间保存存储器中不需要的存储器区域的指令(释放短时间保存存储器)作为代码信息Code1而被赋予，进行释放的画面编号(帧编号)作为附加信息而被附加。
此外，代码信息作为图17中示出的各帧的标题信息而被赋予。
图17是示出各画面的编码信号中的标题信息与帧数据的关系的模式图。在图17中，各编码信号示出了后述的帧Frm12、Frm11、Frm14的编码信号。各编码信号包括具有标题信息的帧标题和与图像的编码有关的帧数据。例如，帧Frm12的编码信号包括帧标题Frm12Hdr和由各数据MB12a、MB12b、MB12c、MB12d构成的帧数据。
图18的模式图中示出该编码信号的详细情况。
图18是示出编码信号的标题信息中的存储器管理信息的指令的模式图。
如图18所示，帧FrmA的编码信号包括具有标题信息的帧标题FrmAHdr和由各数据MBa、MBb、MBc、MBd等构成的帧数据。然后，在帧标题FrmAHdr上附加指令的代码信息CodeA，之后附加代码信息CodeA的附加信息AddA，接着，附加应在代码信息CodeA的指令之后执行的指令的代码信息CodeB和代码信息CodeB的附加信息AddB。若没有附加信息，就如代码信息CodeC仅附加代码信息。
下面，在图16中示出指令执行的顺序。
图16是示出指令执行顺序的流程图。
在图16中，首先，取得指令(步骤C0)，判定指令的取得是否已结束(步骤C1)。若指令的取得还没有结束而取得指令(步骤C1的No)，则执行所取得的指令(步骤C2)，返回到步骤C0，反复进行该动作。另一方面，若指令的取得结束而未取得指令(步骤C1的Yes)，则结束指令执行处理。对每一个帧进行一次该过程。再有，即使在按由多个宏块构成的片单位发送指令信息的情况下，也按上述顺序执行指令。
下面，对在上述实施方式1中消除不需要的图像(释放存储器)的存储器管理信息的指令进行说明。另外，在实施方式1中，通过反复对消除不需要的图像的存储器管理信息的指令进行编码，即使因传输线路错误而其中部分存储器管理信息的指令消失，也能根据另一些存储器管理信息的指令复原保存在存储器内的图像的管理信息，能正确地复原图像的可能性提高。
在此，关于图15中示出的代码信息中的、消除存储器内的全部信息的初始化指令Code5进行讨论。
在仅发送一次初始化指令Code5时，若因传输线路错误而该初始化指令Code5消失，就对本来已初始化之后进行的存储器管理等的处理产生影响。在此，用图19，对与实施方式1同样反复编码初始化指令Code5后传输的情况进行说明。
图19是关系说明图，示出赋予各帧的编号(画面(帧)编号)、在存储器内保存各帧时的编号(保存画面(帧)编号)、示出传输各帧的序号的编号(传输顺序)的关系。
以下，对图19具体地进行说明。首先，画面编号0的I画面由于不参照其他画面，因此保存在存储器中，其保存画面编号为0。接着，由于在存储器中保存参照画面编号0的I画面的画面编号2的P画面，因此与画面编号2的P画面有关的保存画面编号成为1。然后，由于在存储器中保存参照画面编号0的I画面和画面编号2的P画面的画面编号1的B画面，因此画面编号1的B画面的保存画面编号成为2。传输各画面的序号设为保存在存储器中的序号。按同样的顺序决定画面编号和保存画面编号及传输顺序的关系。
设定在对图19中示出的画面编号12的I画面进行编码时发送图15中示出的初始化指令Code5。由于画面编号12的I画面的保存画面编号是11，因此，能利用该初始化指令Code5，从存储器内全部消除保存画面编号为10以下的画面。
在此，用图20对编码初始化指令Code5的方法进行说明。
图20是示出编码初始化指令Code5的方法的流程图，示出图5中示出的图像编码装置100进行的动作。
首先，对输入图像进行编码(步骤A0)。编码之后检查存储器内可参照的全部画面是否不需要(是否在以后的编码中不被任何图像所参照)(初始化检查)(步骤A1)，并判定在存储器中存储着的画面是否在以后未被参照而进行初始化好一些(步骤A2)。
若进行初始化好(步骤A2的Yes)，则将初始化存储器区域的初始化指令Code5作为存储器管理信息，进行编码(步骤A3)，并进行初始化(步骤A4)，结束处理。另一方面，在没有进行初始化的必要的情况下(步骤A2的No)，就不进行步骤A3和步骤A4的动作而结束处理。
下面，用图21，对将已编码的初始化指令Code5进行译码的方法进行说明。
图21是示出对已编码的初始化指令Code5进行译码的方法的流程图，示出图7中示出的图像编码装置200进行的动作。
首先，将存储器管理信息进行译码(步骤A10)，根据编码信号对图像信号进行译码(步骤A11)。接着，判定在译码后的存储器管理信息中是否有初始化指令Code5(步骤A12)，若有初始化指令Code5(步骤A12的Yes)，则将存储器内存储着的画面全部消除，并进行初始化(步骤A13)，结束处理。但是，这时不消除已译码的图像(步骤A11中)。
另一方面，若在存储器管理信息中没有初始化指令Code5(步骤A12的No)，就结束处理。
以下，用图19具体说明进行存储器的初始化的方法。设对图19中示出的画面编号11的B画面赋予与对画面编号12的I画面赋予的初始化指令Code5相同的初始化指令Code5。
若如在图17所示，则为在帧Frm12(画面编号12)的帧标题Frm12Hdr和帧Frm11(画面编号11)的帧标题Frm11Hdr上赋予初始化指令Code5。由于初始化指令Code5如图15所示，不具有附加信息，因此，就在被译码了的时刻全部消除存储器内保存着的画面。
因此，若赋予了画面编号12(保存画面编号11)的I画面的初始化指令Code5因传输线路错误而消失，并执行赋予了画面编号11(保存画面编号12)的B画面的初始化指令Code5，则在保存画面编号11之前译码了的画面中，存储器中保存着的画面全部被消除。即，本来不应消除的画面编号12(保存画面编号11)的I画面也被消除。
如上，在对画面编号11的B画面赋予了与对画面编号12的I画面赋予了的初始化指令Code5相同的初始化指令Code5时，就遗漏一幅画面(画面编号12的I画面)。另一方面，若对画面编号14(保存画面编号1 3)的P画面赋予与对画面编号12(保存画面编号11)的I画面赋予的初始化指令Code5相同的初始化指令Code5，并对画面编号12的I画面赋予的初始化指令Code5因传输线路错误而消失，且赋予画面编号14的P画面的初始化指令Code5被执行，则导致遗漏两幅画面(画面编号11的B画面和画面编号12的I画面)。
再有，在反复编码初始化指令Code5，并且最初发送的初始化指令Code5和接着发送的初始化指令Code5都在没有传输线路错误地执行的情况下，也产生与上述相同的问题。这是因为，根据最初发送的初始化指令Code5进行初始化，又根据接着发送的初始化指令Code5再次进行初始化。
对用于解决这样的存储器的初始化中存在的问题的方法进行说明。
图22中示出为了解决存储器的初始化中存在的问题而使用的存储器管理信息的指令。
与图15的不同点是在图22中新附加了初始化重发指令Code6。此外，该初始化重发指令Code6具有初始化画面(帧)编号(附随初始化存储器区域的初始化指令Code5的帧的编号)作为附加信息。
以下，用图23对使用了该初始化重发指令Code6的图像编码处理的流程进行说明。
图23是示出使用了初始化重发指令Code6的图像编码方法的流程图，示出图5中示出的图像编码装置100进行的动作。在图23中，在与图20相同的动作上标注相同的标记。
首先，编码输入图像(步骤A0)。编码之后检查存储器内可参照的全部画面是否不需要(是否在以后的编码中哪个图像也不被参照)(初始化检查)(步骤A1)。存储器信息控制部101判定是否需要初始化(步骤A2)，若需要初始化(步骤A2的Yes)，管理信息编码部105就将初始化存储器区域的初始化指令Code5作为存储器管理信息进行编码(步骤A3)，并进行初始化(步骤A4)。在不需要初始化的情况下(步骤A2的No)，就不进行步骤A3和步骤A4的动作。
接着，存储器信息控制部101判定是否将附随着紧前面已编码的图像(比编码对象早的图像)的编码信号进行初始化存储器区域的初始化指令Code5，作为存储器管理信息进行了编码(步骤A30)，若进行了编码(步骤A30的Yes)，则管理信息编码部105就将初始化该存储器区域的初始化重发指令Code6作为存储器管理信息进行编码(步骤A31)，之后结束处理。
此外，若没有附随着紧前面已编码的图像(比编码对象早的图像)的编码信号，将初始化存储器区域的初始化指令Code5作为存储器管理信息进行了编码(步骤A30的No)，则结束处理。
再有，在图23中示出的方法中，在附随紧前面已编码的图像的编码信号，初始化存储器区域的初始化指令Code5被编码的情况下，就再次编码初始化重发指令Code6，但也可以在不是附随着紧前面的已编码的图像的编码，而是附随着几个图像以前已编码的图像的编码，将初始化存储器区域的初始化指令Code5进行编码的情况下，再次编码初始化重发指令Code6，此外，也可以附随着多个图像，将初始化存储器区域的初始化重发指令Code6作为存储器管理信息，反复进行编码。
具体地，如图19所示，在附随着画面编号12的I画面的编码，将初始化指令Code5进行编码的情况下，也可以附随着画面编号11的B画面的编码，将初始化重发指令Code6进行编码，此外，也可以附随着画面编号14的P画面的编码，将初始化重发指令Code6进行编码。
前者的情况若用图17示出，就是在帧Frm12的帧标题Frm12Hdr上赋予初始化指令Code5，另外，在帧Frm11的帧标题Frm11Hdr上赋予初始化重发指令Code6。此外，后者的情况，在帧Frm12的帧标题Frm12Hdr上赋予初始化指令Code5，在帧Frm14的帧标题Frm14Hdr上赋予初始化重发指令Code6。
另外，也可以在附随着画面编号11的B画面的编码对初始化重发指令Code6进行编码的同时，附随着画面编号14的P画面的编码对初始化重发指令Code6进行编码。该情况下，若用图17示出，就是在帧Frm12的帧标题Frm12Hdr上赋予初始化指令Code5，在帧Frm11的帧标题Frm11Hdr和帧Frm14的帧标题Frm14Hdr上赋予初始化重发指令Code6。
下面，用图24对将已编码了上述初始化重发指令Code6的数据进行译码时的处理进行说明。图24是示出对已编码的初始化重发指令Code6进行译码的方法的流程图，示出图7中示出的图像译码装置200的动作。在图24中，在与图21动作相同的部分标注相同的标记。
首先，管理信息译码部205对存储器管理信息进行译码(步骤A10)。然后，根据编码信号对图像信号进行译码(步骤A11)。
判定在译码后的存储器管理信息中是否有初始化指令Code5(步骤A12)，若有初始化指令Code5(步骤A12的Yes)，则全部消除存储器内的画面，并进行初始化(步骤A13)，若没有初始化指令Code5(步骤A12的No)，就不进行初始化。
接着，存储器信息控制部101判定在存储器管理信息中是否有初始化重发指令Code6(步骤A40)。若没有初始化重发指令Code6(步骤A40的No)，则结束处理，若有初始化重发指令Code6(步骤A40的Yes)，则检查初始化是否完了(步骤A41)。若初始化完了(步骤A41的Yes)，就结束处理，若还没进行初始化(步骤A41的No)，就基于初始化重发指令Code6的附加信息，删除初始化帧(初始化存储器区域的初始化指令Code5附随的帧)以前的保存帧(在初始化帧进行编码的时刻，参照用图像存储器中存储着的帧)，并且，设定长时间保存存储器大小为0(步骤A42)，结束处理。再有，不使用长时间保存帧的情况下，则无需使长时间保存存储器的大小设为0。
因此，在图19中示出的初始化指令Code5附随着画面编号12的画面，和初始化重发指令Code6附随着画面编号14进行编码的情况中，在初始化指令Code5不因传输线路错误而消失的情况下，就由初始化指令Code5，在初始化指令Code5因传输线路错误而消失的情况下，就由初始化重发指令Code6，来全部删除保存在存储器中的画面中保存画面编号为10以下的画面。
象这样地，由于在反复编码初始化指令Code5进行传输时，在第二次以后，将附加了作为附加信息的初始化画面编号的初始化重发指令Code6进行编码并传输，因此，就根据该附加信息初始化帧以前的保存帧(在最初初始化指令Code5附随的初始化帧进行编码的时候，参照用图像存储器中存储着的帧)全部被删除。因此，能解决需要的图像(画面)遗漏的上述问题。
再有，如图25所示，即使在与图19不同的保存画面编号的赋予方法中，上述说明的初始化重发指令Code6也是有效的。
以下，具体地说明。
图25是示出赋予各帧的编号(画面(帧)编号)、各帧保存在存储器内时的编号(保存画面(帧)编号)、表示传输各帧的序号的编号(传输顺序)的其他关系的说明图。
对这些编号的赋予方法进行说明。首先，由于画面编号0的I画面不参照其他画面，因此保存在存储器中，其保存画面编号就为0。接着，由于参照画面编号0的I画面的画面编号2的P画面保存在存储器中，因此与画面编号2的P画面有关的保存画面编号就为1。然后，参照画面编号0的I画面和画面编号2的P画面的画面编号1的B画面保存在存储器中，但由于该B画面不被其他画面所参照，因此，保存画面编号与紧前面保存的画面编号2的P画面的保存画面编号相同，均为1。传输各画面的序号设为保存在存储器中的序号。按同样的顺序决定画面编号和保存画面编号及传输顺序的关系。
如图25所示，设定在对画面编号12的I画面进行编码时，附随着发送图15中示出的初始化指令Code5。由于画面编号12的I画面的保存画面编号是6，因此，能由该初始化指令Code5从存储器内全部消除保存画面编号为5以下的画面。
在此，在反复对初始化指令Code5进行编码的情况下，具体地对在画面编号14的P画面上赋予与在画面编号12的I画面上赋予了的初始化指令Code5相同的初始化指令Code5的情况进行说明。
初始化指令Code5如图15所示，不具有附加信息，因此，就在被译码了的时刻，全部消除参照用存储器内保存着的画面。因此，若赋予了画面编号12(保存画面编号6)的I画面的初始化指令Code5因传输线路错误而消失，且赋予了画面编号14(保存画面编号7)的P画面的初始化指令Code5被执行，就在保存画面编号6以下的画面中，保存在存储器中的画面全部被删除。即，本来不应消除的画面编号12(保存画面编号6)的I画面都被消除。
但是，由于取代初始化指令Code5，使上述初始化重发指令Code6附随着画面编号14的P画面，因此，在附随画面编号12的I画面的初始化指令Code5不因传输线路错误而消失的情况下，就由初始化指令Code5，在初始化指令Code5因传输线路错误而消失了的情况下，就由附随画面编号14的P画面的初始化重发指令Code6，来全部删除保存在存储器中的画面中保存画面编号为5以下的画面。
即，由于在初始化重发指令Code6中附加了初始化帧(该情况中，画面编号12)编号作为附加信息，因此，删除初始化帧以前的保存帧(在保存初始化帧的时候保存在参照用图像存储器中的保存画面编号为5以下的保存帧)。
如上所述，由于具有附加信息的初始化重发指令Code6，即使在初始化指令Code5因传输线路错误而遗漏的情况下也能正常地执行初始化的可能性提高。再有，也可以将附加信息作为初始化重发指令附随的画面编号，用本实施方式中示出的初始化重发指令代用作初始化指令，用一个指令来实现图22中示出的Code5和Code6。这是因为，由于在为了重发初始化信息的而进行初始化重发时，初始化指令指定附随的帧的编号，因此，不使用重发该帧这样的画面编号。这时，也可以使初始化指令Code5无效。
再有，如上，在用一个指令实现上述实施方式中示出的初始化重发指令和初始化指令Code5的情况下，也可以以初始化重发指令作为具有与最初发送的初始化指令Code5相同功能的指令，所述初始化重发指令是具有在上述实施方式中示出的初始化重发指令中不使用的特别的值作为附加信息的指令。
此外，如在上述各实施方式所说明，在再次传输释放不需要的存储器区域的指令和初始化指令等的存储器管理信息时，也可以如图17和图18所示，不是包含在与图像的编码有关的帧数据上附加的标题信息中进行传输的，而是与帧数据分开另外传输存储器管理信息包含的标题信息。即，重发的上述指令不在与已编码的画面相同的流中，而也可以例如作为另外的流进行传输。此外，也可以记录在存储媒体的另外的区域中。
另外，在本实施方式中，在重发初始化指令时，将使初始化指令最初附随的画面的画面编号(初始化帧编号)作为附加信息，附加在初始化重发指令中，但当然也可以在重发上述各实施方式中示出的、存储器管理信息的指令时，也将最初使该指令附随并传输的编码对象画面的画面编号(确定画面的信息)作为参数包含进行传输也可以。所述存储器管理信息为示出释放的存储器区域的指令、和指定从短时间保存存储器向长时间保存存储器移动的对象的画面的指令等。这样，能检测出在传输哪个画面时产生了传输线路错误。
(实施方式9)下面，对实施方式9中的图像编码方法和图像译码方法进行说明。
本实施方式的特征在于，在多次传输存储器管理信息时，改变基于在第二次以后被传输的存储器管理信息的处理的定时。
在对将上述实施方式中示出的存储器管理信息反复进行编码了的数据进行译码时，在进行反复发送的存储器管理信息的处理之前，必须将存储器管理信息附随的图像信号进行译码。作为具体例在实施方式2中说明了的、多次传输释放不需要的存储器区域的指令的情况，用图19再次进行说明。
使图22中示出的Code1的指令附随着图19中示出的画面编号12的画面进行编码，另外，使Code1的指令也附随着画面编号11的画面进行编码。这时，按照图8进行译码。
首先，附随画面编号12的画面的Code1被译码(步骤110)。接着，画面编号12的画面被译码(步骤111)。在此，若本来应该正在附随着画面编号12的画面的Code1在传输途中遗漏了(步骤112的No)，结束与该帧有关的处理。
在传输顺序中，在画面编号12的画面之后进行译码处理的是画面编号11的画面。
首先，对附随着画面编号11的画面进行编码了的Code1被译码(步骤110)。接着，画面编号12的画面被译码(步骤111)。在该Code1不在传输途中遗漏而传输了的情况下，由于在已译码的存储器管理信息中存在存储器释放的指令Code1(步骤112的Yes)，因此就过渡到下面的处理(步骤113)。
在此，由于在对画面编号11的画面被译码之前被译码的画面编号12的画面进行译码时，存储器未被释放(步骤113的No)，因此就进行存储器释放处理(步骤114)。
如上述具体例中所示，伴随着多次传输释放不需要的存储器区域的指令的操作，应该对本来没有进行最初的指令执行的画面(画面编号12)执行的指令，在从后面发送的画面(画面编号11)的图像信号的译码处理之后来执行，产生指令执行的延迟。
因此，在本实施方式中，用图26、图27和图28对用于解决上述问题的方法进行说明。
图26是示出在本实施方式中使用的存储器管理信息和指令的关系的对应图。
在图26中，Code表示指令的编号，指令表示指令的内容，附加信息表示附加在指令中的附加信息，处理位置表示执行指令的定时。
与图15的不同点是，在图26中，将CodeA1～CodeA4设定为在图像的译码处理之后执行的指令，另一方面，将与CodeA1～CodeA4对应的CodeA6～CodeA9设定为在图像的译码处理之前执行的指令。
然后，在反复发送存储器管理信息的情况下，将最初进行编码的存储器管理信息的指令设定为处理位置是译码后的(在图像的译码之后执行)指令(从CodeA1到CodeA4)，将反复(第二次以后)进行编码的指令设定为处理位置是译码前(在图像的译码之前执行)的指令(从CodeA6到CodeA9)。
这样，即使在最初发送的存储器管理信息遗漏了的情况下，本来应该按最初发送的存储器管理信息执行的指令早期执行，而不容易引起延迟等问题。
以下，用图27和图28对使用图26的指令时的处理顺序进行说明。
图27是示出本实施方式中的图像编码方法的流程图，示出图5中示出的图像编码装置100的动作。
在图27中，首先，编码图像(步骤B0)。编码之后检查存储器内的不需要的区域(在以后的编码中不参照的图像)(步骤B1)，判定是否有不需要的存储器区域(步骤B2)。若有不需要的存储器区域(步骤B2的Yes)，就把释放不需要的存储器区域的指令作为在图像信号的译码之后执行的指令，将译码后用的存储器管理信息进行编码(步骤B3)，释放该不需要的存储器区域(步骤B4)。另一方面，在没有不需要的存储器区域的情况下(步骤B2的No)，就不进行步骤B3和步骤B4的动作。
接着，存储器信息控制部101判定是否将附随着之前已编码的图像(比编码对象早的图像)的编码释放不需要的存储器区域的指令，作为存储器管理信息进行编码(步骤B30)。若没编码(步骤B30的No)， 就结束处理，若已编码(步骤B30的Yes)，管理信息编码部105就将释放该不需要的存储器区域的指令作为在图像信号的译码之前执行的指令，对译码前用的存储器管理信息进行编码(步骤B31)，结束处理。
再有，在步骤B30中，在释放不需要的存储器区域的指令附随着紧前面已编码的图像的编码信号被编码了的情况下，就再次对指令进行编码，但也可以不是附随着紧前面的图像的情况，而是附随着几个图像以前的图像的情况，并且，也可以反复编码上述指令作为存储器管理信息，附随着多个图像进行传输。
下面，用图28和图19，对译码已按照图27的顺序编码了的数据进行译码的顺序进行说明。
图28是示出本实施方式中的图像译码方法的流程图，示出图7中示出的图像译码装置200进行的动作。
在以下的说明中，在图19中，假设图26中示出的CodeA1的指令附随着画面编号12的画面被进行了编码，并且，使CodeA6的指令附随着画面编号11的画面被进行了编码。如在图17中示出，就成为在画面编号12的帧Frm12的帧标题Frm12Hdr上赋予CodeA1，在画面编号11的帧Frm11的帧标题Frm11Hdr上赋予CodeA6。
再有，在图像译码装置中，只要指令不因传输线路错误而消失，就多次接收释放存储器内的相同的图像区域的指令。因此，必须使图像译码装置进行的图像译码方法，在接收到再次释放已经释放了的图像的指令的情况下，也不当作错误来处理，而相反地，判断为能正确地接收。
首先，对与画面编号12的画面有关的译码处理进行说明。
在图28中，首先，译码画面编号12的画面的存储器管理信息(步骤B5)，检查该存储器管理信息是否是译码前用的存储器管理信息(步骤B7)。在此，由于该存储器管理信息(CodeA1)是译码后用的存储器管理信息(步骤B7的No)，因此画面编号12的图像信号被译码。然后，如上所述地，由于存储器管理信息(CodeA1)是译码后用的存储器管理信息(步骤B9的Yes)，因此释放存储器(步骤B11)，结束与画面编号12的画面的存储器管理信息有关的处理。
另一方面，在存储器管理信息的CodeA1遗漏了时，在步骤B7中，不判断为是译码前用的存储器管理信息(步骤B7的No)，此外，在步骤B9中也不判断为是译码后用的存储器管理信息(步骤B9的No)，而仅进行画面编号12的图像信号的译码(步骤B6)，结束与画面编号12的存储器管理信息有关的处理。
下面，用图28对与画面编号11的帧有关的译码处理进行说明。
首先，对画面编号11的存储器管理信息进行译码(步骤B5)，检查该存储器管理信息是否是译码前用的存储器管理信息(步骤B7)。在此，由于CodeA6是译码前用的存储器管理信息(步骤B7的Yes)，因此检查存储器是否已释放完(步骤B8)。在画面编号12的处理中，若正在执行CodeA1，则由于存储器已释放完(步骤B8的Yes)，因此就不进行存储器释放处理(步骤B10)，而进行画面编号11的图像信号的译码(步骤B6)。然后，判定存储器管理信息是否是译码后用的信息(步骤B9)，但由于CodeA6是译码前用的存储器管理信息(步骤B9的No)，因此结束与画面编号11的画面的存储器管理信息有关的处理。
但是，若因传输过程中的包的遗漏等而画面编号12的存储器管理信息遗漏，在与画面编号12有关的处理中，没进行存储器释放，则在与画面编号11有关的处理中，判定为存储器未释放完(步骤B8的No)，在接着的步骤中，释放存储器(步骤B10)。在存储器被释放之后，画面编号11的图像信号被译码(步骤B6)。然后，由于CodeA6是译码前用的存储器管理信息(步骤B9的No)，因此结束与画面编号11的画面的存储器管理信息有关的处理。
如上所述，通过对重发部分比图像信号的译码先执行指令，即使最初发送的指令遗漏，也能减少指令执行的滞后。
再有，作为具体例，对存储器管理信息为CodeA1和CodeA6的情况进行了说明，但在使用CodeA2和CodeA7的情况下，也能用同样的处理来实现，在使用CodeA3和CodeA8、CodeA4和CodeA9的情况下，也能用同样的处理来实现。
此外，也可以设图26中示出的初始化指令CodeA5为译码后用的存储器管理信息，设图22中示出的初始化重发指令CodeA6为译码前用的存储器管理信息，将它们成对地使用。
此外，在对一个帧赋予了译码后用的存储器管理信息和多个译码前用的存储器管理信息作为标题信息的情况下，也可以比译码后用的存储器管理信息先处理多个译码前用的存储器管理信息。
即，也可以在图17中示出的标题信息的前头赋予译码前用的存储器管理信息并进行编码。
此外，也可以由图29(a)和图29(b)中示出的命令的组合，将存储器管理信息是译码前用的管理信息还是译码后用的管理信息的内容，作为另外的信息，实现上述实施方式中示出的指令。
图29(a)是示出指令的内容与附加信息的对应图。图29(b)是示出指令的执行定时(处理位置)的对应图。
图30是示出编码信号的标题信息中的存储器管理信息的指令的模式图。
在图30中，帧FrmB的编码信号具有帧标题FrmBHdr和MBa、MBb等帧数据等，帧标题FrmBHdr作为标题信息，具有代码信息CodeD等。
这时，例如，如图30所示，可以设帧FrmB的帧标题FrmBHdr从前到后为指令的代码信息CodeD、表示处理位置的FlagD、表示指令的附加信息的附加信息AddD。在没有附加信息的情况下，如图30所示，可以在帧标题FrmBHdr上附加指令的CodeE和表示处理位置的FlagE。通过在示出指令的Code之后，不设置表示附加信息的Add，而设置表示处理位置的Flag，使图28中示出的步骤B7和步骤B9的处理最优化。
此外，为了区别指令的执行定时是图像信号的译码前和译码后的哪一个，也可以使用表示指令的处理位置的新指令，在译码之后实施位于比表示该处理位置的指令的帧标题上的位置靠前的指令，在译码之前实施位于比表示该处理位置的指令在帧标题上的位置靠后的指令。这样，在有多个指令时，能用一个指令表示各指令的执行定时(处理位置)，与对每一个指令发送表示处理位置的Flag的情况相比，发送的信息减少，编码效率提高。
用图31说明具体例。
图31是示出其他的编码信号的标题信息中的存储器管理信息的指令的模式图。
在图31中，帧FrmC的编码信号具有帧标题FrmCHdr和MBa、MBb等帧数据等，帧标题FrmCHdr作为标题信息，从前依次为指令CodeF、指令dif、指令CodeG、附加信息AddG、指令CodeH。
然后，判别表示处理位置的指令dif是否在帧标题FrmCHdr中，在帧FrmC的译码之后执行位于比表示处理位置的指令dif靠前位置的指令CodeF，在帧FrmC的译码之前执行位于比指令dif靠后位置的指令CodeG和指令CodeH也可以。该情况下，若没有示出处理位置的指令dif，就在帧FrmC的译码处理之后执行帧标题FrmCHdr内的全部指令。
再者，如在上述各实施方式中说明的，在再次传输释放成为不需要的存储器区域的指令和初始化指令等存储器管理信息时，也可以不包含在图像的编码信号中附加的标题信息中进行传输，而存储器管理信息被包含的标题信息与图像的编码信号分开另外传输。即，重发的上述指令也可以不在与已编码的画面相同的流中，而例如作为另外的流进行传输。此外，也可以记录在存储媒体的另外的区域中。
(实施方式10)下面，对本发明的实施方式10进行说明。
在本实施方式中，进行编码的单位与上述各实施方式不同。即，在上述实施方式1中，在多次传输释放不需要的存储器区域的指令时，所述的相当于上述指令的图5中示出的存储器管理信息流CtlStr和图像编码流VideoStr是按图像(画面)单位进行编码的，但在本实施方式中，也可以象图32中示出的流结构，将一帧按片单位进行编码。
所述按片单位进行编码，是指对帧具有的每一个片编码标题、存储器管理信息流CtlStr、图像编码流VideoStr，以便使图32的帧1的片1具有标题1-1、ctlStr1、VideoStr1-1，帧1的片2具有标题1-2、ctlStr1、VideoStr1-2。在图像编码装置中进行编码之后，图像编码装置输出数据流。再有，片是同步复位单位，是由一个或多个块构成的带状区域，由多个片构成画面。此外，画面是对应于一幅图像的基本的编码单位，块是编码和译码的基本单位。
此外，设如上所述地多次传输存储器管理信息流CtlStr时的内容在同一帧内为同一信息。通过设为同一信息，能省略该存储器管理信息流CtlStr的在片单位中的附加。例如，在片的标题中附加表示在该片中是否省略了多次传输的信息，在该片中省略了多次传输上述指令的内容时，就附加“0”，在该片中传输了上述指令时(没省略时)，就附加“1”。具体地在图33(a)中示出一例，以下进行说明。从帧1中的片1到片3中的标题和图像编码流VideoStr各不相同。另一方面，在片1和片2中具有同一存储器管理信息流CtlStr1，在同一帧中的多个片中，片1和片2分别具有表示编码了同一存储器管理信息流CtlStr1的内容的信息“1”。此外，片3具有示出省略了存储器管理信息流CtlStr1的信息“0”。这样，在该片中省略了多次传输的信息时，前头的片等参照表示为上述“1”的片中的存储器管理信息流CtlStr，由此可以省略存储器管理信息流CtlStr的附加，能减少位数。
即，表示省略了上述存储器管理信息流CtlStr1的信息“0”，是在不具有指定信息的片(片3)中参照指定信息时，表示参照指定信息的信息。上述指定信息是指定进行消除的对象画面的信息。
象这样的能省略存储器管理信息流CtlStr的附加的方法，由于在传输过程中存储器管理信息流CtlStr多次遗漏的可能性少，因此很有效。
另外，在没有表示省略了存储器管理信息流CtlStr的信息的情况下能够判别有无存储器管理信息流CtlStr，也可以如图33(b)所示，省略该信息。例如，在能区别存储器管理信息流CtlStr的标头与图像编码流VideoStr的标头的情况下，如图33(b)所示，能同判别从各片中的标头到规定位置上是否有规定的信息，来确认是否有表示编码存储器管理信息流CtlStr1的信息化是否已被编码。
象这样的能省略存储器管理信息流CtlStr的附加的方法，对削减编码存储器管理信息流CtlStr的次数、减少位数很有效。
以上，对编码进行了说明，但可以同样地按片单位进行一个帧的译码。在上述实施方式2中，在多次传输释放不需要的存储器区域的指令时，在图7中示出的图像译码装置200中，分离相当于上述指令的图32中示出的、具有管理信息流CtlStr和图像编码流VideoStr的流结构，将其各自按图像(画面)单位进行输入，但也可以分别按片单位进行输入。
再有，在其他实施方式中的编码和译码中，也可以同样用片单位编码和译码一个帧。
此外，上述实施方式1～10中示出的编码方法和译码方法，可以利用LSI等半导体安装在携带式电话、汽车驾驶导向系统系统等移动通信设备、数码摄像机、数码相机等摄影设备上。此外，作为安装形式，除具有编码器和译码器两种的收发型终端之外，还可以考虑仅有编码器的发送终端和仅有译码器的接收终端的三种形式。
(实施方式11)下面，对本发明的实施方式11进行说明。
在本实施方式中，另外，将用于实现从实施方式1到实施方式10中示出的图像编码方法或图像译码方法的程序，记录在软盘等存储媒体中，就能在独立的计算机系统中简单地实施在上述实施方式中示出的处理。
图34是使用存储了上述实施方式1的图像编码方法或图像译码方法的软盘，由计算机系统实施的情况的说明图。
图34(b)示出从软盘的正面看的外观、剖面结构和软盘，图34(a)示出作为记录媒体主体的软盘的物理格式例。软盘FD1内装在壳F内，在该磁盘的表面，从外周向内周以同心圆状形成多个磁道Tr，各磁道在角度方向上分割为16个扇区Se。因此，在存储了上述程序的软盘中，在上述软盘FD1上分割的区域中记录着作为上述程序的图像编码方法。
此外，图34(c)示出用于在软盘FD1上进行上述程序的记录播放的结构。在软盘FD1上记录上述程序的情况下，从计算机系统Cs通过软盘驱动器FDD，写入作为上述程序的图像编码方法或图像译码方法。此外，利用软盘FD1内的程序将上述图像编码方法安装到计算机系统中时，利用软盘驱动器FDD从软盘FD1中读出程序，传送到计算机系统Cs中。
再有，在上述说明中，使用软盘作为记录媒体进行了说明，但是，使用光盘也能同样地进行。此外，记录媒体不限于此，IC卡、盒式ROM等，只要能记录程序的都能同样地实施。
此外，上述实施方式中示出的图像编码方法和图像译码方法，可以利用LSI等半导体安装在携带式电话、汽车驾驶导向系统等移动通信设备或数字式录像机、普通摄影机等摄影设备上。此外，作为安装形式，可以考虑除具有编码器和译码器的两种的收发型终端之外，还可以是仅有编码器的发送终端和仅有译码器的接收终端的三种形式。
在此，对从上述实施方式1到实施方式10中示出的图像编码方法和图像译码方法的应用例和使用了它的系统进行说明。
图35是示出实现内容发送服务的内容供给系统ex100的整体结构框图。将通信服务的提供区域分割成期望的大小，在各单元内分别设置作为固定无线局的基站ex107～ex110。
该内容供给系统ex100例如通过因特网服务提供商ex102和电话网ex104及基站ex107～ex110，与因特网ex101连接计算机ex111、PDA(personaldigital assistant即，个人数字化处理器)ex112、摄影机ex113、携带式电话ex114、带摄影机的携带式电话ex115等各设备。
但是，内容供给系统ex100不限定于如图35中的组合，也可以组合其中某一个来连接。此外，也可以不通过固定无线局即基站ex107～ex110，而在电话网ex104上直接连接各设备。
摄影机ex113是数字式录像机等能拍摄动画的设备。此外，携带式电话是PDC(Personal Digital Communications即，个人数字化通信)方式、CDMA(Code Division Multiple Access即，码分多路访问)方式、W-CDMA(Wideband-Code Division Multiple Access即，宽带码分多路访问)方式、或GSM(Global System for Mobile Communications即，全球移动通信系统)方式的携带式电话机，或者PHS(Personal Handyphone System即，个人手持电话系统)等，哪一种都可以。
此外，流服务器ex103从摄影机ex113通过基站ex109和电话网ex104进行连接，能使用摄影机ex113来进行基于用户发送的已编码处理的数据的实况发信等。拍摄到的数据的编码处理可以用摄影机ex113进行，也可以用进行数据的发送处理的服务器等进行。此外，也可以通过计算机ex111向流服务器ex103发送用摄影机ex116拍摄到的动画数据。摄影机ex116是数字式摄影机等可摄影静止画面和动画的设备。该情况下，动画数据的编码即可以用摄影机ex116进行，也可以用计算机ex111进行。此外，编码处理是在计算机ex111和摄影机ex116所具有的LSIex117中进行处理。再有，也可以将图像编码和译码用的软件装在能用计算机ex111等读取的记录媒体的任一种存储媒体(CD-ROM、软盘、硬盘等)中。另外，也可以用带摄影机的携带式电话ex115发送动画数据。这时的动画数据是用携带式电话ex115所具有的LSI进行编码处理后的数据。
在该内容供给系统ex100中，一方面，与上述实施方式同样地对用户用摄影机ex113和摄影机(camera)ex116等拍摄的内容(例如，摄影了音乐实况的影像等)进行编码处理，并向流服务器ex103发送，另一方面，流服务器ex103对有请求的客户终端流发送上述内容数据。作为客户终端，有能进行对上述已编码处理的数据进行译码的计算机ex111、PDAex112、摄影机ex113、携带式电话ex114等。通过这样做，内容供给系统ex100能在客户终端接收已编码的数据并进行播放，另外，能在客户终端实时地接收、译码、播放，因此是能实现个人广播的系统。
在构成该系统的各设备的编码和译码中，也可以使用在上述各实施方式中示出的图像编码方法或图像译码方法。
作为一例，对携带式电话进行说明。
图36是示出使用了在上述实施方式中说明了的图像编码方法和图像译码方法的携带式电话ex115的图。携带式电话ex115具有下列部分用于与基站ex110之间收发电波的天线ex201；CCD摄影机等能拍摄影像和静止画面的摄影机部ex203；液晶显示器等显示部ex202，显示用摄影机部ex203摄影到的影像和用天线ex201接收到的影像等被译码了的数据；由操作键ex204群构成的主体部；用于进行声音输出的扬声器等声音输出部ex208；用于进行声音输入的话筒等声音输入部ex205；记录媒体ex207，用于保存摄影到的动画或静止画面数据、接收到的邮件数据、动画数据或静止图像数据等已编码的数据或已译码的数据；用于能在携带式电话ex115中装入记录媒体ex207的卡槽部ex206。记录媒体ex207是SD卡等在塑料壳体内电气地装入能改写和擦除的不易失存储器即EEPROM(Electronically Erasable and ProgrammableRead Only Memory即，电可擦可编程只读存储器)的快闪存储器元件的装置。
另外，用图37对携带式电话ex115进行说明。携带式电话ex115对主控制部ex311，通过同步总线ex313，相互连接着电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄影机接口部ex303、LCD(Liquid CrystalDisplay即，液晶显示器)控制部ex302、图像译码部ex309、多重分离部ex308、记录播放部ex307、调制解调电路部ex306和声音处理部ex305。主控制部ex311对包括显示部ex202和操作键ex204的主体部的各部分进行统一控制。
电源电路部ex310若由用户操作成通话结束和电源键处于开通状态，则通过由电源向各部分供给电力，来启动带摄影机的数字携带式电话ex115使其处于可工作的状态。
携带式电话ex115基于由CPU、ROM和RAM等构成的主控制部ex311的控制，在声音通话模式时，利用声音处理部ex305将用声音输入部ex205集音到的声音信号转换成数字声音数据，将其用调制解调电路部ex306进行频谱扩散处理，在由收发信电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201发送。此外，携带式电话机ex115在声音通话模式时，放大由天线ex201接收到的接收数据，并对所述接收的数据实施频率变换处理和模拟数字转换处理，用调制解调电路部ex306进行频谱逆扩散处理，并用声音处理部ex305转换成模拟声音数据之后，将其通过声音输出部ex208输出。
另外，在数据通信模式时发送电子邮件的情况下，由主体部的操作键ex204的操作输入的电子邮件的文本数据，通过操作输入控制部ex304向主控制部ex311发送。主控制部ex311用调制解调部ex306对文本数据进行频谱扩散处理，在用收发信电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201，向基站ex110发送。
在数据通信模式时发送图像数据的情况下，通过摄影机接口部ex303，向图像编码部ex312供给用摄影机部ex203拍摄到的图像数据。此外，在不发送图像数据的情况下，也可以通过摄影机接口部ex303和LCD控制部ex302，在显示部ex202直接显示用摄影机部ex203摄像到的图像数据。
图像编码部ex312的结构具有已在本申请中说明了的图像编码装置，利用在上述实施方式示出的图像编码装置中使用的编码方法，将由摄影机部ex203供给的图像数据进行压缩编码，转换成编码图像数据，将其向多重分离部ex308发送。此外，与此同时，携带式电话机ex115将由摄影机部ex203在摄像中利用声音输入部ex205集音到的声音作为数字声音数据，通过声音处理部ex305向多重分离部ex308送出。
多重分离部ex308用规定的方式，将由图像编码部ex312供给的编码图像数据和由声音处理部ex305供给的声音数据进行多重化，由调制解调电路部ex306对其结果得到的多重数据进行频谱扩散处理，在由收发信电路部ex301实施了数字模拟转换处理和频率变换处理之后，通过天线ex201发送。
在数据通信模式时接收与首页链接的动画图像文件数据的情况下，用调制解调电路部ex306对通过天线ex201从基站ex110接收到的接收数据频谱逆扩散处理，将其结果得到的多重化数据向多重分离部ex308发送。
此外，为对通过天线ex201接收到的多重数据进行编码，多重分离部ex308通过分离多重化数据，分成图像数据位流和声音数据位流，通过同步总线ex313向图像译码部ex309供给该编码图像数据的，并向声音处理部ex305供给该声音数据。
接着，图像译码部ex309的结构具有已在本申请发明中说明了的图像译码装置，通过用对应于上述实施方式中示出的编码方法的译码方法，对图像数据的位流进行译码，生成播放动画图像数据，将其通过LCD控制部ex302向显示部ex202供给，这样，显示例如与首页链接的动画图像文件中包含的动画数据。与此同时，声音处理部ex305在将声音数据转换成模拟声音数据之后，向声音输出部ex208供给，这样，播放例如与首页链接的动画图像文件中包含的声音数据。
再有，不限于上述系统的例子，最近，利用卫星和地面波进行的数字广播成为热门话题，如图38所示，也可以在数字广播用系统中组合至少一种上述实施方式的图像编码装置或图像译码装置。具体地说，在广播电台ex409中，通过电波向通信或广播卫星ex410传输影像信息的位流。接收到该位流的广播卫星ex410，发送广播用电波，由具有卫星广播接收设备的家庭天线ex406接收该电波，由电视机(接收机)ex401或机顶盒设备(STB)ex407等装置将位流进行译码并播放。此外，也可以在将记录在记录媒体CD和DVD等存储媒体ex402上的位流进行读取并播放的装置ex403上，安装上述实施方式中示出的图像译码装置。该情况下，在监视器ex404上显示播放的影像信号。此外，也可以考虑在与有线电视用的电缆ex405或卫星/地面波广播的天线ex406连接的机顶盒设备ex407内安装图像译码装置，用电视机的监视器ex408进行播放的结构。这时，不仅在机顶盒设备，也可以在电视机内装入图像译码装置。此外，也可以用具有天线ex411的车ex412从卫星ex410或基站ex107等接收信号，在车ex412所具有的汽车驾驶导向系统ex413等显示装置中播放动画。
另外，也可以用上述实施方式中示出的图像编码装置将图像信号进行编码，并记录在记录媒体中。作为具体例，有在DVD盘ex421中记录图像信号的DVD记录器和在硬盘中记录的盘式记录器等的记录器ex420。另外，也可以记录在SD卡ex422中。若记录器ex420具有上述实施方式中示出的图像译码装置，则能播放记录在DVD盘ex421和SD卡ex422中的图像信号，用监视器ex408显示。
再有，汽车驾驶导向系统ex413的结构可以是例如在图37中示出的结构中除去摄影机部ex203和摄影机接口部ex303、图像编码部ex312的结构，可以考虑用计算机ex111和电视机(接收机)ex401等代替所述去除的部分。
此外，上述携带式电话ex114等终端可以是除具有编码器和译码器两种的收发型终端之外，还可以是仅有编码器的发送终端和仅有译码器的接收终端的三种安装形式。
如上，就能在上述的某一个设备和系统中使用上述实施方式中示出的图像编码方法或图像译码方法，通过使用本发明，能得到上述实施方式中说明的效果。
本发明不仅限定于上述实施方式，可以在不脱离本发明的范围内作各种各样的变形和修正。
工业上利用的可能性本发明的图像编码装置作为在具有通信功能的个人计算机、PDA、数字广播的广播电台和携带式电话机等中具有的图像编码装置，非常有用。
此外，本发明的图像译码装置作为在具有通信功能的个人计算机、PDA、接收数字广播的STB和携带式电话机等中具有的图像译码装置，非常有用。
权利要求
1.一种图像编码方法，参照从存储器内保存着的多个参照画面中选择的参照画面进行编码，其特征在于，包括下述步骤画面编码步骤，参照上述选择了的参照画面，对编码对象画面进行编码；管理信息编码步骤，将用于对上述存储器中保存着的参照画面进行控制管理的存储器管理信息，附随上述已被编码的编码对象画面进行编码；管理信息再编码步骤，与上述管理信息编码步骤中的编码分开地、对上述存储器管理信息再次进行编码。
2.如权利要求1所述的图像编码方法，其特征在于，在上述管理信息再编码步骤中，使确定在上述管理信息编码步骤中使存储器管理信息附随的上述编码对象画面的信息，附随上述已再次被编码的存储器管理信息。
3.如权利要求1或权利要求2所述的图像编码方法，其特征在于，在上述管理信息再编码步骤中，反复进行上述存储器管理信息的编码。
4.如权利要求1至3的任一项所述的图像编码方法，其特征在于，上述存储器管理信息是指定上述存储器中成为不需要而释放的存储器区域的信息。
5.如权利要求1至3的任一项所述的图像编码方法，其特征在于，上述存储器包括参照画面的保存时间短的短时间保存存储器、和参照画面的保存时间比上述短时间保存存储器长的长时间保存存储器，上述存储器管理信息是指定从上述短时间保存存储器向上述长时间保存存储器移动的对象的参照画面的信息。
6.如权利要求1至5的任一项所述的图像编码方法，其特征在于，在上述管理信息再编码步骤中，附随着至少一个其他的编码对象画面，对上述存储器管理信息再次进行编码，所述其他的编码对象画面与在上述管理信息编码步骤中使上述存储器管理信息附随的编码对象画面不同。
7.如权利要求6所述的图像编码方法，其特征在于，在上述管理信息编码步骤中，使上述存储器管理信息附随着不保存在上述存储器中的编码对象画面的情况下，在上述管理信息再编码步骤中，使上述存储器管理信息还附随保存在上述存储器中的编码对象画面。
8.一种图像译码方法，参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，在对用于控制管理上述存储器中保存着的参照画面的存储器管理信息进行译码，并根据已译码的存储器管理信息释放上述存储器中成为不需要的存储器区域的情况下，若进行释放的存储器区域没释放完，则释放存储器区域；若进行释放的存储器区域已经释放完，则不对上述存储器做任何处理。
9.一种图像译码方法，参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，上述存储器包括参照画面的保存时间短的短时间保存存储器、和参照画面的保存时间比上述短时间保存存储器长的长时间保存存储器，上述图像译码方法中，在对用于控制管理上述存储器中保存着的参照画面的存储器管理信息进行译码，并根据已译码的存储器管理信息，将上述存储器内保存着的参照画面从上述短时间保存存储器向上述长时间保存存储器移动的情况下，若移动对象的参照画面存在于上述短时间保存存储器中，则将该参照画面从上述短时间保存存储器向上述长时间保存存储器移动；若移动对象的参照画面不存在于上述短时间保存存储器中，则不进行上述存储器内的移动。
10.一种图像编码方法，参照从存储器内保存着的多个参照画面中选择的参照画面进行编码，其特征在于，将重要度比编码对象画面高的、上述存储器内保存着的参照画面，作为参照画面的候补进行编码。
11.一种记录媒体，记录了参照参照画面进行了编码的数据流，所述参照画面是从存储器内保存着的多个参照画面中选择的，其特征在于，所记录的数据流包括参照上述已选择的参照画面，对编码对象画面进行了编码的编码数据；将用于控制管理上述存储器中保存着的参照画面的存储器管理信息，附随着上述已被编码的编码数据进行了编码的管理信息编码数据；与上述管理信息编码数据分开地、再次对上述存储器管理信息进行了编码的管理信息再编码数据。
12.一种记录媒体，记录了参照从存储器内保存着的多个参照画面中选择的参照画面进行了编码的数据流，其特征在于，所记录的数据流包括与最初附随着编码对象画面被编码了的存储器管理信息分开地、上述存储器管理信息再次被编码了的管理信息再编码数据，所述编码对象画面是参照上述选择的参照画面进行了编码的画面。
13.如权利要求12所述的记录了数据流的记录媒体，其特征在于，在上述管理信息再编码数据上，附随着确定上述已被编码的编码对象画面的信息。
14.一种图像编码装置，参照从存储器内保存着的多个参照画面中选择的参照画面进行编码，其特征在于，包括下述单元画面编码单元，参照上述选择了的参照画面对编码对象画面进行编码；管理信息编码单元，将用于控制管理上述存储器中保存着的参照画面的存储器管理信息，附随着上述已被编码的编码对象画面进行编码；管理信息再编码单元，与上述管理信息编码单元进行的编码分开地、再次对上述存储器管理信息进行编码。
15.如权利要求14所述的图像编码装置，其特征在于，上述管理信息再编码单元，使确定上述管理信息编码单元使存储器管理信息附随的上述编码对象画面的信息，附随上述已再次被编码的存储器管理信息。
16.如权利要求14或权利要求15所述的图像编码装置，其特征在于，上述存储器管理信息是指定上述存储器中成为不需要而释放的存储器区域的信息。
17.如权利要求14或权利要求15所述的图像编码装置，其特征在于，上述存储器包括参照画面的保存时间短的短时间保存存储器、和参照画面的保存时间比上述短时间保存存储器长的长时间保存存储器，上述存储器管理信息是指定从上述短时间保存存储器向上述长时间保存存储器移动的对象的参照画面的信息。
18.如权利要求14至17的任一项所述的图像编码装置，其特征在于，上述管理信息再编码单元，附随着至少一个其他的编码对象画面，对上述存储器管理信息再次进行编码，所述其他的编码对象画面与上述管理信息编码单元使上述存储器管理信息附随的编码对象画面不同。
19.一种图像译码装置，参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，包括下述单元管理信息译码单元，对存储器管理信息进行译码，所述存储器管理信息用于对上述存储器中保存着的参照画面进行控制管理；存储器管理信息控制单元，在根据上述管理信息译码单元译码了的存储器管理信息，释放上述存储器的存储器区域的情况下，若进行释放的存储器区域没释放完，则释放存储器区域；若进行释放的存储器区域已经释放完，则不对上述存储器做任何处理。
20.一种图像译码装置，参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，所述存储器包括画面的保存时间短的短时间保存存储器、和图像的保存时间比上述短时间保存存储器长的长时间保存存储器，其特征在于，包括下述单元管理信息译码单元，对存储器管理信息进行译码，所述存储器管理信息用于对上述存储器中保存着的画面进行控制管理；存储器管理信息控制单元，若移动对象的参照画面存在于存储器中，则将该参照画面从上述短时间保存存储器向上述长时间保存存储器移动；若移动对象的参照画面不存在于存储器中，则不对上述存储器进行任何处理，所述移动对象是上述管理信息译码单元译码了的存储器管理信息所指定的、将上述存储器内保存着的画面从上述短时间保存存储器向上述长时间保存存储器移动的对象。
21.一种图像编码装置，参照从存储器内保存着的多个参照画面中选择的参照画面进行编码，其特征在于，包括这样的编码单元将重要度比编码对象画面高的、上述存储器内保存着的参照画面，作为参照画面的候补进行编码。
22.一种程序，用于利用计算机执行这样的图像编码方法参照从存储器内保存着的多个参照画面中选择的参照画面进行编码，其特征在于，在计算机中执行下述步骤画面编码步骤，参照上述已选择的参照画面，对编码对象画面进行编码；管理信息编码步骤，将用于对上述存储器中保存着的参照画面进行控制管理的存储器管理信息，附随着上述已被编码的编码对象画面进行编码；管理信息再编码步骤，与上述管理信息编码步骤中的编码分开地、再次对上述存储器管理信息进行编码。
23.如权利要求22所述的程序，其特征在于，上述管理信息编码步骤中的上述存储器管理信息，是指定上述存储器中成为不需要而被释放的存储器区域的信息。
24.如权利要求22所述的程序，其特征在于，上述存储器包括参照画面的保存时间短的短时间保存存储器、和参照画面的保存时间比上述短时间保存存储器长的长时间保存存储器，上述存储器管理信息是指定从上述短时间保存存储器向上述长时间保存存储器移动的对象的参照画面的信息。
25.一种程序，用于利用计算机执行这样的图像译码方法参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，在计算机中执行下述步骤在对用于控制管理上述存储器中保存着的参照画面的存储器管理信息进行译码，并根据已译码的存储器管理信息，释放上述存储器中成为不需要的存储器区域的情况下，若进行释放的存储器区域没释放完，则释放存储器区域；若进行释放的存储器区域已经释放完，则不对上述存储器做任何处理。
26.一种程序，用于利用计算机执行这样的图像译码方法参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，上述存储器包括参照画面的保存时间短的短时间保存存储器、和参照画面的保存时间比上述短时间保存存储器长的长时间保存存储器，在计算机中执行这样的上述图像译码方法的步骤在对用于控制管理上述存储器中保存着的参照画面的存储器管理信息进行译码，并根据已译码的存储器管理信息，将上述存储器内保存着的参照画面从上述短时间保存存储器向上述长时间保存存储器移动的情况下，若移动对象的参照画面存在于上述短时间保存存储器中，则将该参照画面从上述短时间保存存储器向上述长时间保存存储器移动；若移动对象的参照画面不存在于上述短时间保存存储器中，则不进行上述存储器内的移动。
27.一种程序，用于利用计算机执行这样的图像译码方法参照从存储器内保存着的多个参照画面中选择的参照画面进行译码，其特征在于，在计算机中执行这样的步骤将重要度比编码对象画面高的、上述存储器内保存着的参照画面，作为参照画面的候补进行编码。
28.一种图像编码方法，其特征在于，包括下述步骤对编码对象画面进行编码的步骤；在对上述编码对象画面进行编码之后，判断存储器内是否有不被参照的参照画面的步骤；若有上述不被参照的参照画面，则作为将因不被参照而成为不需要的存储器区域进行释放的指令，在对编码数据进行译码的译码装置中对上述编码对象画面进行译码之后，对表示释放上述成为不需要的存储器区域的指令进行编码的步骤；释放上述成为不需要的存储器区域的步骤；在对比上述编码对象画面晚被编码的另外的编码对象画面进行编码时，在对上述另外的编码对象画面进行译码之前，对表示释放上述成为不需要的存储器区域的指令进行编码的步骤。
29.一种图像译码方法，其特征在于，包括下述步骤对附随着译码对象画面的、管理存储器的存储器管理信息进行译码的步骤；第一判断步骤，判断上述存储器管理信息是否是译码前用指令，该译码前用指令表示在对上述译码对象画面进行译码之前进行管理存储器的处理；第二判断步骤，在上述第一判断步骤中判断为上述存储器管理信息是上述译码前用指令时，判断管理存储器的处理是否已完；在上述第二判断步骤中判断为管理存储器的处理已完时，对上述译码对象画面进行译码；在上述第二判断步骤中判断为管理存储器的处理还没完时，在根据上述存储器管理信息进行了管理存储器的处理之后，对上述译码对象画面进行译码的步骤。
30.一种图像译码方法，其特征在于，包括下述步骤对附随着译码对象画面的、管理存储器的存储器管理信息进行译码的步骤；第一判断步骤，判断上述存储器管理信息是否是译码前用指令，该译码前用指令表示在对上述译码对象画面进行译码之前进行管理存储器的处理；译码步骤，对上述译码对象画面进行译码；第三判断步骤，在上述第一判断步骤中判断为上述存储器管理信息不是上述译码前用指令时，判断上述存储器管理信息是否是译码后用指令，该译码后用指令表示在对译码对象画面进行了译码之后进行管理存储器的处理；在上述第三判断步骤中判断为上述存储器管理信息是上述译码后用指令时，根据上述存储器管理信息进行管理存储器的处理的步骤。
31.一种图像编码方法，其特征在于，包括下述步骤对编码对象画面进行编码的步骤；判断步骤，在对上述编码对象画面进行了编码之后，判断在存储器内的参照画面是否全部是不被参照的画面；在上述判断步骤中判断为在上述存储器内的参照画面全部是不被参照的画面时，对作为将在上述存储器内的参照画面全部删除的命令的、初始化指令进行编码的步骤；将在上述存储器内的参照画面全部删除的初始化步骤；在对比上述编码对象画面晚被编码的另外的编码对象画面进行编码时，根据附加信息，对初始化重发指令进行编码的步骤，所述附加信息将上述编码对象画面的编码时被删除的、比上述编码对象画面先保存在上述存储器内的全部参照画面作为删除对象，所述初始化重发指令是表示删除在存储器内的参照画面的命令。
32.一种图像译码方法，其特征在于，包括下述步骤对附随着译码对象画面的、管理存储器的存储器管理信息进行译码的步骤；对上述译码对象画面进行译码的步骤；初始化判断步骤，判断在上述存储器管理信息中是否有初始化指令，初始化指令是将在存储器内的参照画面全部删除的命令；在上述初始化判断步骤中没有判断到上述存储器管理信息中有上述初始化指令时，初始化重发判断步骤，为了删除参照画面，而根据表示删除对象的附加信息，判断在上述存储器管理信息中是否有删除在存储器内的参照画面的命令即初始化重发指令，所述要删除的参照画面是应该在对比上述译码对象画面先被译码了的另外的译码对象画面进行译码时进行初始化并删除的、比上述另外的译码对象画面先保存在上述存储器中的参照画面；初始化完了判断步骤，在上述初始化重发判断步骤中判断为上述存储器管理信息是上述初始化重发指令时，判断在存储器内的参照画面是否已被全部删除；删除步骤，在上述初始化完了判断步骤中判断为在存储器内的参照画面未被全部删除时，根据上述附加信息删除在存储器内的参照画面。
33.如权利要求32所述的图像译码方法，其特征在于，上述存储器具有作为先入先出存储器的短时间保存存储器、和用于比短时间保存存储器长时间保存参照画面的长时间保存存储器，在上述删除步骤中进一步设定上述长时间保存存储器的大小(size)为0。
34.一种记录媒体，记录了参照参照画面按片单位进行了编码的数据流，所述参照画面是从存储器内保存着的多个参照画面中选择的，其特征在于，记录了这样的数据流在从存储器中消除上述存储器内保存着的参照画面的情况下，将指定消除对象的参照画面的信息，至少附随着两个片进行了编码的数据流。
35.一种记录媒体，记录了参照参照画面按片单位进行了编码的数据流，所述参照画面是从存储器内保存着的多个参照画面中选择的，其特征在于，记录了这样的数据流在从存储器中消除上述存储器内保存着的参照画面的情况下，将指定消除对象的参照画面的信息，至少附随着两个片进行编码；并且，将表示上述片具有指定上述消除对象的参照画面的信息的情况的信息，附随着上述片进行编码；在不具有指定上述消除对象的参照画面的信息的片中，参照指定上述消除对象的参照画面的信息时，对表示参照指定上述消除对象的参照画面的情况的信息进行了编码的数据流。
全文摘要
一种图像编码方法，包括下列步骤进行图像的编码的步骤(步骤100)；判定是否有不需要的存储器的步骤(步骤102)；在有不需要的存储器的情况下，对释放不需要的存储器的存储器管理信息进行编码的步骤(步骤103)；释放不需要的存储器的步骤(步骤104)；判断在紧前面的图像的编码中释放不需要的存储器的存储器管理信息是否已被编码的步骤(步骤105)；在存储器管理信息已被编码的情况下，再次对释放不需要的存储器的存储器管理信息进行编码的步骤(步骤106)。
文档编号H04N7/64GK1509575SQ0380023
公开日2004年6月30日 申请日期2003年4月10日 优先权日2002年4月12日
发明者角野真也, 志, 近藤敏志, 史, 羽饲诚, 安倍清史 申请人:松下电器产业株式会社