专利名称：运动图像编码装置及方法、运动图像译码装置及方法
技术领域：
本发明涉及运动图像编码装置、运动图像编码方法、运动图像编码程序、运动图像译码装置、运动图像译码方法以及运动图像译码程序。
背景技术：
为了高效地传送和存储运动图像，使用压缩编码技术。作为压缩编码技术中的一种，已知帧间编码方式。在帧间编码方式中，图像被分割给多个规定大小的块，对每个块进行编码处理。在编码处理中，用时间方向上邻接的另一个图像的再现图像作为参考图像，生成与作为编码对象的对象图像有关的预测图像。这里，所谓再现图像是在对象图像之前被编码的图像复原后的图像。通过编码预测图像和对象图像的差分图像，减小运动图像的数据量(例如，参考日本特开平9-93592号公报)。
发明内容
可是，在再现图像中产生各种噪音。当再现图像中存在噪音时，作为参考图像的质量下降。结果，预测对象和对象图像的差变大，因此，数据量未被充分减小。
因此，本发明的目的是提供一种可减小参考图像噪音的运动图像编码装置、运动图像编码方法、运动图像编码程序。本发明的目的是提供一种可根据运动图像编码装置生成的数据复原运动图像的运动图像译码装置、运动图像译码方法和运动图像译码程序。
本发明的运动图像编码装置具有(a)预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；(b)差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算，生成差分图像；(c)编码单元，通过编码上述差分图像，生成编码差分信息；(d)译码单元，通过译码上述编码差分信息，生成译码差分图像；(e)再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算，生成再现图像；(f)存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；(g)图像更新单元，通过将第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或存储在上述存储单元中的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，(h)上述图像更新单元把上述更新图像存储在上述存储单元中，(i)上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据本发明另一个侧面的运动图像编码方法包括以下步骤(a)预测图像生成步骤，预测图像生成单元生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；(b)差分图像生成步骤，差分图像生成单元通过执行上述对象图像和上述预测图像的差运算，生成差分图像；(c)编码步骤，编码单元通过编码上述差分图像，生成编码差分信号；(d)译码步骤，译码单元通过译码上述编码差分信号，生成译码差分图像；(e)再现图像生成步骤，再现图像生成单元通过执行上述译码差分图像和上述预测图像的和运算，生成再现图像；(f)存储步骤，存储单元存储上述预测图像生成单元为了生成预测图像而使用的参考图像；(g)图像更新步骤，图像更新单元通过将第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或存储在上述存储单元中的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方；(i)在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据本发明的再一个侧面的运动图像编码程序，是使计算机作为以下装置来工作的程序，所述装置包括(a)预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；(b)差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算，生成差分图像；(c)编码单元，通过编码上述差分图像，生成编码差分信息；(d)译码单元，通过译码上述编码差分信息，生成译码差分图像；(e)再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算，生成再现图像；(f)存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；(g)图像更新单元，通过将第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或存储在上述存储单元中的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方。这里，(h)上述图像更新单元把上述更新图像存储在上述存储单元中，(i)上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据涉及上述运动图像编码的本发明，通过在再现图像或存储单元中已经存储的参考图像中的一方的第一图像上加权相加该再现图像或该参考图像另一方的第二图像，生成更新图像。该更新图像用作生成不同对象图像的预测图像的参考图像。因此，因为使用通过基于加法的平均化而减小了噪音的参考图像，所以减小了编码带来的运动图像数据量，提高了编码效率。而且，根据本发明，因为生成了再现图像和参考图像被平均化的更新图像，所以图像的细节可以不反映在再现图像或参考图像中，而反映在更新图像中。因此，进一步减小了编码带来的运动图像的数据量。
此外，作为再现图像中产生的各种噪音，例如，已知块间边界上出现大的像素值变化造成的块失真引起的噪音。为了减轻由于块失真引起的噪音，已知在再现图像的块间边界附近施加解块过滤器的技术。但是，解块过滤器不能减小块内部产生的噪音。根据本发明，因为通过基于加法的平均化减小参考图像的噪音，所以能减小块内部的噪音。
进一步，作为用于消减作为再现图像中产生的噪音的一种的量化噪音的技术，已知双向预测。通过双向预测，求出处理对象块的移动量(第一移动量和第二移动量)。第一移动量是时间方向上处理对象块对前方参考图像的移动量。第二移动量是时间方向上处理对象块对后方参考图像的移动量。通过双向预测，由第一移动量求出第一预测图像，由第二移动量求出第二预测图像，使用第一预测图像和第二预测图像平均化后的预测图像。但是，该预测图像是针对特定的处理对象块使用的，在以后的不同处理对象块的处理中不能用作参考图像。因此，通过双向预测，通过平均化达到的减小噪音的效果不能体现在以后的处理中。另一方面，根据本发明，通过平均化而减小了噪音的更新图像作为存储在存储单元中，在后面的处理中用于生成预测图像。因此，根据本发明，平均化带来的减小噪音的效果也可以体现在不同的对象图像的处理中。
本发明的运动图像译码装置包括(a)译码单元，通过对运动图像被预测编码后的编码差分信号进行译码，生成译码差分图像；(b)预测图像生成单元，基于上述编码差分信号，生成与译码对象的对象图像相对应的预测图像；(c)再现图像生成单元，通过把上述译码差分图像和上述预测图像相加，生成再现图像；(d)存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；(e)图像更新单元，通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，(h)上述图像更新单元把上述更新图像存储在上述存储单元中，(g)上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据本发明另一个侧面的运动图像译码方法，包括以下步骤(a)译码步骤，通过对运动图像被预测编码后的编码差分信号进行译码，译码单元生成译码差分图像；(b)预测图像生成步骤，预测图像生成单元基于上述编码差分信号，生成与译码对象的对象图像相对应的预测图像；(c)再现图像生成步骤，再现图像生成单元通过把上述译码差分图像和上述预测图像相加生成再现图像；(d)存储步骤，存储单元存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；(e)图像更新步骤，图像更新单元通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，(b)在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，(g)在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据本发明再一个侧面的运动图像译码程序，是用于使计算机作为以下装置来工作的程序，所述装置包括(a)译码单元，通过对运动图像被预测编码后的编码差分信号进行译码，生成译码差分图像；(b)预测图像生成单元，基于上述编码差分信号，生成与译码对象的对象图像相对应的预测图像；(c)再现图像生成单元，通过把上述译码差分图像和上述预测图像相加，生成再现图像；(d)存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；(e)图像更新单元，通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方。这里，(h)上述图像更新单元把上述更新图像存储在上述存储单元中，(g)上述预测图像生成单元用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据上述运动图像译码的本发明，根据基于上述运动图像编码的本发明生成的数据忠实地复原运动图像。
在根据上述运动图像编码的本发明(运动图像编码装置，运动图像编码方法和运动图像编码程序)中，图像更新单元可以用再现图像生成单元生成的再现图像作为第一图像，用存储单元中存储的参考图像作为第二图像，把该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为更新图像存储在存储单元中。
这时，在根据上述运动图像译码的本发明(运动图像译码装置，运动图像译码方法和运动图像译码程序)中，图像更新单元用再现图像生成单元生成的再现图像作为第一图像，用存储单元中存储的参考图像作为第二图像，把该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为更新图像存储在存储单元中。
在根据上述运动图像编码的本发明(运动图像编码装置，运动图像编码方法和运动图像编码程序)中，图像更新单元可以用存储单元中存储的参考图像作为第一图像，用再现图像生成单元生成的再现图像作为第二图像，把该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为更新图像存储在存储单元中。
这时，在根据上述运动图像译码的本发明(运动图像译码装置，运动图像译码方法和运动图像译码程序)中，图像更新单元用存储单元中存储的参考图像作为第一图像，用再现图像生成单元生成的再现图像作为第二图像，把该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为更新图像存储在存储单元中。
在根据上述运动图像编码的本发明(运动图像编码装置，运动图像编码方法和运动图像编码程序)中，图像更新单元用再现图像生成单元生成的再现图像作为第一图像，用存储单元中存储的参考图像作为第二图像，把该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为更新图像存储在存储单元中，而且，可以用存储单元中存储的参考图像作为第一图像，用再现图像生成单元生成的再现图像作为第二图像，把该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为更新图像存储在存储单元中。这时，预测图像生成单元可以把再现图像、更新再现图像、参考图像(已经存储在存储单元中的参考图像)以及更新参考图像中的至少一个作为用于生成对应于不同对象图像的预测图像的参考图像。
这时，在根据上述运动图像译码的本发明(运动图像译码装置，运动图像译码方法和运动图像译码程序)中，图像更新单元用再现图像生成单元生成的再现图像作为第一图像，用存储单元中存储的参考图像作为第二图像，把该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为更新图像存储在存储单元中，而且，可以用存储单元中存储的参考图像作为第一图像，用再现图像生成单元生成的再现图像作为第二图像，把该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为更新图像存储在存储单元中。这时，预测图像生成单元可以把再现图像、更新再现图像、参考图像(已经存储在存储单元中的参考图像)以及更新参考图像中的至少一个作为用于生成对应于不同对象图像的预测图像的参考图像。
在根据上述运动图像译码的本发明(运动图像译码装置，运动图像译码方法和运动图像译码程序)中，编码差分信号包含指示第一状态、第二状态、第三状态和第四状态中至少一个状态的更新控制信号，更新控制信号指示第一状态时，图像更新单元生成更新再现图像，更新控制信号指示第二状态时，生成更新参考图像，更新控制信号指示第三状态时，生成更新再现图像和更新参考图像，更新控制信号指示第四状态时，不生成更新再现图像和更新参考图像。
最好是，在根据上述运动图像编码的本发明(运动图像编码装置，运动图像编码方法和运动图像编码程序)中，图像更新单元求出规定第二图像与第一图像的偏差的移动量，在基于该移动量移动的对应位置上，通过把第二图像的至少一部分加权相加到第一图像上，生成更新图像。
这时，在根据上述运动图像译码的本发明(运动图像译码装置，运动图像译码方法和运动图像译码程序)中，图像更新单元求出规定第二图像与第一图像的偏差的移动量，在基于该移动量移动的对应位置上，通过把第二图像的至少一部分加权相加到第一图像上，生成更新图像。
根据上述本发明，因为不增加与移动量有关的数据量地进行增加移动补偿的平均化，所以生成噪音比较小的参考图像。
于是，根据上述运动图像编码的本发明(运动图像编码装置，运动图像编码方法和运动图像编码程序)可以构成如下。
根据本发明的运动图像编码装置，其特征在于，具有(a)预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；(b)差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算，生成差分图像；(c)编码单元，通过编码上述差分图像，生成编码差分信息；(d)译码单元，通过译码上述编码差分信息，生成译码差分图像；(e)再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算，生成再现图像；(f)存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；(g)图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加，生成更新图像，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据本发明的运动图像编码方法，其特征在于，包括以下步骤(a)预测图像生成步骤，预测图像生成单元生成构成运动图像的多个图像中作为编码对象的对象图像的预测图像；(b)差分图像生成步骤，差分图像生成单元通过执行上述对象图像和上述预测图像的差运算，生成差分图像；(c)编码步骤，编码单元通过编码上述差分图像，生成编码差分信号；(d)译码步骤，译码单元通过译码上述编码差分信号，生成译码差分图像；(e)再现图像生成步骤，再现图像生成单元通过执行上述译码差分图像和上述预测图像的和运算，生成再现图像；(f)存储步骤，存储单元存储上述预测图像生成单元为了生成预测图像而使用的参考图像；(g)图像更新步骤，图像更新单元把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加，生成更新图像，在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
根据本发明的运动图像编码程序，是使计算机作为以下装置来工作的程序，其特征在于，所述装置包括(a)预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；(b)差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算，生成差分图像；(c)编码单元，通过编码上述差分图像，生成编码差分信息；(d)译码单元，通过译码上述编码差分信息，生成译码差分图像；(e)再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算，生成再现图像；(f)存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；(g)图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加，生成更新图像，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
根据运动图像译码的本发明(运动图像译码装置、运动图像译码方法和运动图像译码程序)可以构成如下。
根据本发明的运动图像译码装置，其特征在于，具有(a)译码单元，通过对运动图像被预测编码后的编码差分信号进行译码，生成译码差分图像；(b)预测图像生成单元，基于上述编码差分信号，生成与译码对象的对象图像相对应的预测图像；(c)再现图像生成单元，通过把上述译码差分图像和上述预测图像相加，生成再现图像；(d)存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；(e)图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加，生成更新图像，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
根据本发明的运动图像译码方法，其特征在于，包括以下步骤(a)译码步骤，通过对运动图像被预测编码后的编码差分信号进行译码，译码单元生成译码差分图像；(b)预测图像生成步骤，预测图像生成单元基于上述编码差分信号，生成与译码对象的对象图像相对应的预测图像；(c)再现图像生成步骤，再现图像生成单元通过把上述译码差分图像和上述预测图像相加生成再现图像；(d)存储步骤，存储单元存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；(e)图像更新步骤，图像更新单元把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加，生成更新图像，在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
根据本发明的运动图像译码程序，是用于使计算机作为以下装置来工作的程序，所述装置包括(a)译码单元，通过对运动图像被预测编码后的编码差分信号进行译码，生成译码差分图像；(b)预测图像生成单元，基于上述编码差分信号，生成与译码对象的对象图像相对应的预测图像；(c)再现图像生成单元，通过把上述译码差分图像和上述预测图像相加，生成再现图像；(d)存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；(e)图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加，生成更新图像，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
如上所述，根据本发明，提供一种能减小参考图像噪音的运动图像编码装置、运动图像编码方法、运动图像编码程序。因此，根据本发明，减小了运动图像的数据量，提高了编码效率。而且，根据本发明，平均化所带来的噪音减小的效果也适用于不同对象图像的处理。而且，根据本发明，因为图像的细节不反映在再现图像和存储单元中存储的参考图像的一方中而反映在用于生成不同对象图像的预测图像的参考图像中，进一步提高了编码效率。
根据本发明，提供一种能根据基于上述运动图像编码的本发明生成的数据复原运动图像的运动图像译码装置、运动图像译码方法和运动图像译码程序。
图1是根据本发明实施方式实施方式的运动图像编码装置的结构图；图2是图像更新部的一个实施方式实施方式的结构图；图3用于说明使用顺向预测时的图像更新概念；图4用于说明使用双方向预测是的图像更新概念；图5是根据本发明实施方式实施方式的运动图像编码方法的流程图；图6是关于更新图像生成的流程图；
图7是关于更新图像生成细节的流程图；图8和记录媒体一起示出了根据本发明实施方式实施方式的运动图像编码程序的构成；图9是用于执行记录媒体中存储的程序的计算机硬件结构图；图10是用于执行记录媒体中存储的程序的计算机的透视图；图11是根据本发明实施方式实施方式的运动图像译码装置结构图；图12是根据本发明实施方式实施方式的运动图像译码方法的流程图；图13和记录媒体一起示出了根据本发明实施方式实施方式的运动图像译码程序的构成；图14示出了根据本发明实施方式实施方式的运动图像编码装置的结构的变形例；图15示出了根据本发明实施方式实施方式的运动图像译码装置的结构的第一变形例；图16示出了根据本发明实施方式实施方式的运动图像译码装置的结构的第二变形例；图17和记录媒体一起示出了根据本发明实施方式的运动图像译码程序的结构变形例。
具体实施例方式
以下，参考附图详细说明本发明的最佳实施方式。附图中，相同或相当的部分用相同的符号表示。
图1是根据本发明实施方式的运动图像编码装置的结构图。图1所示的运动图像编码装置10在物理上可以是具有CPU(中央处理器)、称为存储器的存储装置、显示装置、通信装置等的计算机。运动图像编码装置10可以是称为便携电话的移动通信终端。即，可进行信息处理的装置广泛用于运动图像编码装置10中。
如图1所示，运动图像编码装置10在功能上具有输入端子12，预处理部14，预测图像生成部(预测图像生成单元)16，差分图像生成部(差分图像生成单元)18，帧存储器(存储单元)20，编码部(编码单元)22，可变长编码部24，输出端子26，译码部(译码单元)28，再现图像生成部(再现图像生成单元)30以及图像更新部(图像更新单元)32。
在输入端子12中输入由多个图像组成的运动图像。输入端子12向预处理部14输出运动图像。
预处理部14接收经由线路L2输出的运动图像，把构成运动图像的多个输入图像顺次作为编码对象即对象图像，对该对象图像实施预处理。作为预处理，预处理部14可以对对象图像实施用于减小噪音的滤波。该噪音例如是用照相机拍照时在图像中产生的。作为预处理，预处理部14根据需要可以把对象图像变换为规定的尺寸。而且，作为预处理，预处理部14把对象图像分割为规定尺寸的多个块后输出。作为规定尺寸，例示了16×16像素的尺寸。在运动图像编码装置10中，分别对从预处理部14输出的多个块实施以下说明的处理。
预测图像生成部16生成对象图像的预测图像。具体地说，预测图像生成部16把从预处理部14经线路L4输出的块作为处理对象即对象块，生成对应于该对象块的图像的预测图像。
预测图像生成部16经由线路L6取得帧存储器20中存储的参考图像。在帧存储器20中将与作为对象图像之前的编码对象的输入图像相对应的再现图像作为预测图像生成部16生成预测图像用的参考图像而存储起来。后面详细说明再现图像。预测图像生成部16使用该参考图像，通过移动补偿预测而生成对象块的预测图像。即，预测图像生成部16求出对应于对象块的参考图像的移动量(移动向量)。该移动向量例如可以通过块匹配而求出，可以作为从对象块向相关度最高的参考图像内的区域的向量。预测图像生成部16输出求得的移动向量和预测图像。该预测图像是由移动向量规定的参考图像内的区域中的图像。
差分图像生成部18通过执行对象图像和预测图像的差运算生成差分图像。具体地说，差分图像生成部18通过求出经由线路L8从预处理部14输出的对象块的图像和经由线路L10从预测图像生成部16输出的该对象块的预测图像的差，生成差分图像。
编码部22通过编码差分图像，生成编码差分信号。在本实施方式中，编码部22具有变换部34和量化部36。变换部34变换经由线路L12从差分图像生成部18输出的对象块的差分图像。变换部34例如用DCT(Discrete Cosine Transform)，把差分图像变换为频域信号。量化部36把经由线路L14从变换部34输出的信息量化。由量化部36量化的信号是编码差分信号。
可变长编码部24通过可变长编码经由线路L16从预测图像生成部16输出的移动向量以及经由线路L18从编码部22输出的编码差分信号，生成编码数据。可变长编码部24例如可以用算术编码。可变长编码部24经由线路L20把包含该编码数据的位流输出到输出端子26中。
译码部28通过译码该编码差分信号，生成译码差分图像。这里的所谓译码是和编码部22中的编码对称的处理。具体地说，译码部28具有逆量化部38和逆变换部40。
逆量化部38接收经由线路L22从编码部22输出的编码差分信号。逆量化部38将作为和量化部36的量化对称的处理的逆量化适用于编码差分信号。
逆变换部40经由线路L24接收逆量化部38发出的信号(实施逆量化的信号)，通过对该信号进行逆变换，生成对象块的译码差分图像。通过逆变换部40进行的逆变换是和变换部34进行的变换对称的处理，在变换部34使用DCT的情况下，逆变换部40使用IDCT(Inverse Discrete Cosine Transform)。
再现图像生成部30通过把译码差分图像和预测图像相加，生成再现图像。具体地说，再现图像生成部30通过把经由线路L26从译码部28输出的译码差分图像和经由线路L28从预测图像生成部16输出的预测图像相加，生成对象块的再现图像。
图像更新部32经由线路L30接收从再现图像生成部30发出的再现图像，经由线路L32接收存储在帧存储器20中的参考图像。图像更新部32把再现图像和参考图像中的一方作为第一图像，把再现图像和参考图像的另一方作为第二图像，通过把第一图像和第二图像加权相加，生成更新图像。该更新图像存储在帧存储器20中，用于不同对象图像的编码。即，更新图像存储在帧存储器20中，由预测图像生成部16用作参考对象，用于生成与在对象图像之后作为编码对象的输入图像相对应的预测图像。该加权加法将任意比例权重适用于第一图像、第二图像，把相加后的像素值作为期望等级(level)内的值。
以下，参考图2，说明图像更新部32的一个实施方式。图2是图像更新部的一个实施方式的结构图。在运动图像编码装置10中，图2所示的图像更新部48可以用作图像更新部32。图像更新部48具有更新再现图像生成部50、更新参考图像生成部52和开关54。
更新再现图像生成部50把在再现图像上加权相加参考图像后的更新再现图像作为更新图像来生成。即，更新再现图像生成部50用再现图像作为第一图像，用参考图像作为第二图像。
更新再现图像生成部50具有移动检测部56、移动补偿部58和加权加法部60。移动检测部56经由线路L70接收再现图像，经由线路L72接收参考图像。在运动图像编码装置10的情况下，线路L70相当于线路L30，线路L72相当于线路L32。
移动检测部56为再现图像中的每个块求出参考图像的移动量(移动向量)。该块的尺寸例如可以作成4×4像素尺寸的块。移动补偿部58输出由移动检测部56求出的移动向量所规定的参考图像内的区域的图像。加权加法部60以任意权重把来自移动补偿部58的相应图像加到上述块的再现图像上，从而生成上述块的对应位置上的更新再现图像。该加权加法对于再现图像、参考图像例如适用1∶1或2∶1这种比例的权重，把相加后的像素值作成期望范围内的值。
更新再现图像生成部50生成的更新再现图像经由开关54和线路L74返回帧存储器，作为不同对象图像的参考图像，在后面的编码中加以利用。在运动图像编码装置10的情况下，线路L74相当于线路L34。
更新参考图像生成部52把在参考图像上加权相加再现图像后的更新参考图像作为更新图像来生成。即，更新参考图像生成部52用参考图像作为第一图像，用再现图像作为第二图像。
更新参考图像生成部52具有移动检测部62、移动补偿部64和加权加法部66。移动检测部62经由线路L70接收再现图像，经由线路L72接收参考图像。
移动检测部62为参考图像的每个块求出再现图像的移动量(移动向量)。块的尺寸例如也可以作成4×4像素尺寸。移动检测部62也可以利用将移动检测部56生成的移动向量反向的向量。
移动补偿部64输出由来自移动检测部62的移动向量所规定的再现图像内的区域的图像。加权加法部66通过以任意权重把来自移动补偿部64的相应图像和上述块的参考图像相加，生成上述块的对应位置的更新参考图像。该加权加法对于参考图像、再现图像例如适用1∶1或2∶1这种比例的权重，把相加后的像素值作成期望范围内的值。
如此，由更新参考图像生成部52生成的更新参考图像经由开关54和线路L74返回帧存储器，作为对应于不同对象图像的参考图像，在后面的编码中得到利用。
此外，更新再现图像生成部50和更新参考图像生成部52也可以是没有各自对应的移动检测部56和移动检测部62的结构。这时，移动补偿部58和移动补偿部64可以分别使用预测图像生成部16求出的移动向量。
移动检测部56和移动检测部62用预测图像生成部16求出的移动向量作为偏移，可以更精细地求出移动向量。
移动检测部56和移动检测部62求出的移动向量也可以由可变长编码部24向译码侧发送，或者也可以不发送。在后一种情况下，在译码侧，执行与移动检测部56以及移动检测部62相同的处理。
在帧存储器20中，除了更新再现图像和更新参考图像之外，还存储再现图像，也可以原样存储帧存储器20中存储的参考图像。这时，再现图像、更新再现图像、更新参考图像、参考图像在不同对象图像的编码中用作参考图像。
以下，参考图3和图4，说明帧存储器中存储的参考图像的时间系列。图3是用于说明进行顺向预测时的图像更新概念的图。图4时用于说明进行双向预测时的图像更新概念的图。图3和图4中，在带参考符号IN的区域中表示输入图像，在带参考符号R的区域中表示再现图像，在带参考符号F的区域中表示帧存储器中存储中图像。
顺向预测时，由于没有逆向预测，所以可以不考虑算法上的延迟。顺向预测时，如图3所示，按照时刻t0、t1、t2、t3...的顺序输入输入图像I0、P1、P2、P3...。在时刻t0，输入图像I0作为对象图像，例如经内部帧编码和译码，生成再现图像RI0，该再现图像RI0作为参考图像存储在帧存储器20中。
在时刻t1，输入图像P1变成对象图像，用帧存储器20中存储的参考图像RI0生成再现图像RP1。在时刻t1，参考图像RI0、再现图像RP1、根据再现图像RP1和参考图像RI0生成的更新参考图像RIORP1和更新再现图像RP1RI0作为参考图像存储在帧存储器20中。
在时刻t2，输入图像P2变成对象图像，用时刻t1存储到帧存储器20中的参考图像RI0、RP1、RIORP1和RP1RI0生成再现图像RP2。在时刻t2，用再现图像RP1、再现图像RP2、参考图像RP1和再现图像RP2生成的更新参考图像RP1RP2和更新再现图像RP2RP1作为参考图像存储在帧存储器20中。在时刻t2，从帧存储器20中删除参考图像RI0、RIORP1和RP1RI0，但也可以不删除它们，用于生成时刻t3的再现图像。
在时刻t3，输入图像P3变成对象图像，用时刻t2存储在帧存储器20中的参考图像生成再现图像RP3。
在双向预测的情况下，在图像的输入和再现中产生算法上的延迟。双向预测时，如图4所示，顺序输入输入图像I0、B1、B2、P3...。
在时刻t0，输入图像I0作为对象图像，例如通过内部帧编码和译码，生成再现图像RI0。再现图像RI0作为参考图像存储在帧存储器20中。因为是双向预测，所以再现再现图像RI0的时刻是时刻t1。
因为根据输入图像I0和P3编码输入图像B1和输入图像B2，所以在时刻t1，输入图像P3作为对象图像，在时刻t2，用参考图像RI0生成对象图像P3的再现图像RP3。在时刻t2，用再现图像RP3和参考图像RI0，生成更新参考图像RIORP3和更新参考图像RP3RI0，并作为参考图像存储在帧存储器20中。
在时刻t2，输入图像B1和输入图像B2作为对象图像，分别被编码。在时刻t3，用参考图像RIORP3和RP3RI0，生成对象图像B1的再现图像RB1，同时，利用再现图像RB1和参考图像RIORP3生成更新参考图像(RIORP3)RB1，用再现图像RB1和参考图像RP3RI0生成更新参考图像(RP3RI0)RB1，并分别作为参考图像存储在帧存储器20中。参考图像(RIORP3)RB1和(RP3RI0)RB1用于对象图像B2的编码·译码。
以下，说明根据本实施方式的运动图像编码装置10的操作。同时，说明根据本发明实施方式的运动图像编码方法。图5是根据本发明实施方式的运动图像编码方法的流程图。
如图5所示，在该运动图像编码方法中，首先，构成运动图像的多个图像顺次作为编码对象、即对象图像被输入(步骤S01)。接着，通过预处理部14进行上述预处理(步骤S02)。
接着，通过预测图像生成部16生成对象图像的预测图像(步骤S03)。执行该预测图像和对象图像的差运算，生成差分图像(步骤S04)。
接着，编码部22执行编码，从而根据差分图像生成编码差分信号(步骤S05)。接着，通过可变长编码部24对编码差分信号、移动向量进行可变长编码而生成位流(步骤S06)。
接着，通过译码部28执行译码，根据编码差分信号生成译码差分图像(步骤S07)。译码差分图像通过再现图像生成部30而加到预测图像上，其结果生成再现图像(步骤S08)。然后，通过图像更新部32生成更新图像(步骤S09)，该更新图像存储在帧存储器20中(步骤S10)。
以下，详细说明步骤S09的更新图像生成。图6是关于更新图像生成的流程图。在更新图像生成的处理中，来自再现图像生成部30的再现图像、来自帧存储器20的参考图像分别输入到图像更新部32中(步骤S09-1)。
然后，更新再现图像生成部50利用参考图像更新再现图像，以生成更新再现图像(步骤S09-2)。更新参考图像生成部52利用再现图像更新参考图像，以生成更新参考图像(步骤S09-3)。更新再现图像和更新参考图像作为更新图像存储在帧存储器20中(步骤S09-4)。
以下，详细说明更新再现图像和更新参考图像的生成。图7是关于更新图像生成的详细流程图。以下，以再现图像和参考图像中的一方作为第一图像，以再现图像和参考图像中的另一方作为第二图像，来说明更新再现图像和更新参考图像的生成。从以下的说明中，可以这样来理解如果把第一图像作为再现图像，把第二图像作为参考图像，则生成更新再现图像作为更新图像，如果把第一图像作为参考图像，把第二图像作为再现图像，则生成更新参考图像作为更新图像。
如图7所示，首先，输入第一图像和第二图像(步骤S21)。接着，把变量N设定为1(步骤S22)。该变量N是对第一图像进行分割后的块数。块的尺寸是a×a，例如可以采用4×4。
接着，根据第二图像求出第一图像的第N个块的预测块(步骤S23)。接着，通过求出第一图像的第N个块和预测块的加权平均，生成该第N个块的更新图像(步骤S24)。
接着，使N加1(步骤S25)，测试加1后的N是否超过了最大块数(步骤S26)。测试结果是No时，重复从步骤S23开始的处理，为Yes时，处理结束。
以下，说明使计算机作为运动图像编码装置10而动作的运动图像编码程序。图8和存储媒体一起示出了根据本发明实施方式的运动图像编码程序的构成。
如图8所示，运动图像编码程序70存储在记录媒体100中来提供。作为记录媒体100，例如有软盘、CD-ROM、DVD或ROM等记录媒体或半导体存储器等。
图9示出了用于执行记录媒体中存储的程序的计算机的硬件结构图。图10是用于执行记录媒体中存储的程序的计算机的透视图。如图9所示，计算机110具有软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等读取装置112；使操作系统常驻的作业用存储器(RAM)114；存储记录媒体100中所存储的程序的存储器116；显示装置118；作为输入装置的鼠标120和键盘122；用于收发数据等的通信装置124；控制程序执行的CPU126。当在读取装置112中插入记录媒体100时，计算机110可以从读取装置112访问记录媒体100中存储的运动图像编码程序70，通过该运动图像编码程序70，可以作为运动图像编码装置10来操作。
如图10所示，运动图像编码程序70可以通过网络作为重叠在载波上的计算机数据信号130来提供。这时，计算机110把通信装置124接收的运动图像编码程序70存储在存储器116中，可以执行该运动图像编码程序70。
如图8所示，运动图像编码程序70具有汇总处理的主模块71；预处理模块72；预测图像生成模块74；差分图像生成模块76；存储模块78；编码模块80；可变长编码模块82；译码模块84；再现图像生成模块86；图像更新模块88。编码模块80由变换模块92和量化子模块94构成，译码模块84由逆量化子模块96和逆变换子模块98构成。
预处理模块72、预测图像生成模块74、差分图像生成模块76、存储模块78、编码模块80、可变长编码模块82、译码模块84、再现图像生成模块86、图像更新模块88、变换子模块92、量化子模块94、逆量化子模块96和逆变换子模块98在计算机中实现的功能分别和上述预处理部14、预测图像生成部16、差分图像生成部18、帧存储器20、编码部22、可变长编码部24、译码部28、再现图像生成部30、图像更新部32、变换部34、量化部36、逆量化部38和逆变换部40中对应的元件相同。
以上，虽然说明了本发明的运动图像编码装置10，但可以仅在对提高编码效率有效的情况下由图像更新部32执行处理。这时，如图1所示，运动图像编码装置10可以还可以具有控制部42。
控制部42检测运动图像中是否有场景变化。运动图像中是否有场景变化例如可以由不同输入图像间相关度的大小来决定。场景有变化时，控制部42通过线路L36向图像更新部32输出指示不生成更新图像意思的更新控制信号。另一方面，场景变化少时，控制部42向图像更新部32输出指示生成更新图像意思的更新控制信号。
更新控制信号可以作成第一状态、第二状态、第三状态和第四状态中的任一种。更新控制信号为第一状态时，图像更新部32生成更新再现图像，更新控制信号为第二状态时，生成更新参考图像，更新控制信号为第三状态时，生成更新再现图像和更新参考图像，为第四状态时，不生成更新再现图像和更新参考图像的任一个。
控制部42还把更新控制信号输出给可变长编码部24。可变长编码部24把更新控制信号包含在运动图像中各图像的头部中发送。更新控制信号为了表示上述状态而作为必要的最小位数的信号包含在头部。例如，许可更新控制信号为第三状态和第四状态时，可以把更新控制信号作成第三状态为“1”、第四状态为“0”的1位信号。
在计算机110中进一步实现相当于控制部42的功能的情况下，如图8所示，在运动图像编码程序70中还可以具备在计算机110中实现相当于控制部42的功能的控制模块90。
接着，说明根据本发明实施方式的运动图像译码装置。图11示出了根据本发明实施方式的运动图像译码装置的构成。图11所示的运动图像译码装置140是可从运动图像编码装置10生成的位流再现运动图像的装置。
运动图像译码装置140物理上可以是具有CPU(中央处理器)、所谓存储器的存储单元、显示装置、通信装置等的计算机。运动图像译码装置140也可以是便携电话这样的移动通信终端。即，可进行信息处理的装置在运动图像译码装置140中得到广泛使用。
如图11所示，运动图像译码装置140在功能上具有输入端子142，可变长译码部144，译码部(译码单元)146，预测图像生成部(预测图像生成单元)148，帧存储器(存储单元)150，再现图像生成部(再现图像生成单元)152，输出端子154和图像更新部(图像更新单元)156。
在输入端子142中输入运动图像编码装置10生成的位流。输入端子142向可变长译码部144输出相应的位流。
可变长译码部144接收经由线路L40输出的位流，通过对该位流中包含的编码数据进行可变长译码，复原移动向量和编码差分信号。
译码部146执行和运动图像编码装置10中的译码部28同样的处理。译码部146具有和逆量化部38同样的逆量化部160、和逆变换部40同样的逆变换部162，经由线路L42接收编码差分信号，根据该编码差分信号生成译码差分图像。
预测图像生成部148通过和运动图像编码装置10的预测图像生成部16同样的移动补偿预测生成预测图像。具体地说，预测图像生成部148利用经由线路L44输出的移动向量和经由线路L46输出的、帧存储器150中存储的参考图像，生成预测图像。这里，构成运动图像的图像中，将基于对在译码对象、即对象图像之前作为译码对象的图像而生成的再现图像的图像作为参考图像存储在帧存储器150中。
再现图像生成部152通过把经由线路L48从译码部146输出的译码差分图像和经由线路L50从预测图像生成部148输出的预测图像相加，生成再现图像。该再现图像在经由线路L52输出到输出端子154的同时被存储在帧存储器150中。
图像更新部156具有和运动图像编码装置10的图像更新部32相同的构成。图像更新部156接收经由线路L54输出的再现图像和经由线路L56输出的参考图像。图像更新部156把再现图像和参考图像中的一方作为第一图像，把再现图像和参考图像中的另一方作为第二图像，通过把第一图像和第二图像进行加权相加而生成更新图像。该更新图像经由线路L58而存储在帧存储器150中，在不同对象图像的译码中用作参考图像。该加权加法对第一图像、第二图像适用任意比例的权重，把相加后的像素值作为期望等级内的值。
图像更新部156生成的更新图像存储在帧存储器150中，构成运动图像的图像中，作为参考图像由预测图像生成部148使用，所述参考图像用于生成与在对象图像之后作为译码对象的图像相应的预测图像。
在运动图像译码装置140中，作为图像更新部156，还可以使用图2所示的图像更新部48。运动图像译码装置140的情况下，图2所示线路L70相当于线路L54，线路L72相当于线路L56，线路L74相当于线路L58。此外，因为上面已经详细说明了图像更新部48，因此对于其详细说明，参考本说明书中图像更新部48的说明。
运动图像译码装置140还可以具有控制部158。控制部158在运动图像编码装置10生成的位流中包含上述更新控制信号时，从可变长译码部144经线路L60接收该更新控制信号。控制部158根据上述更新控制信号的状态，经由线路L62控制图像更新部156中更新图像的生成。
以下，说明运动图像译码装置140的操作。同时说明根据本发明实施方式的运动图像译码方法。图12是根据本发明实施方式的运动图像译码方法的流程图。
如图12所示，在该运动图像译码方法中，首先，在输入端子142中输入位流(步骤S31)。该位流中包含的编码数据通过由可变长译码部144进行可变长译码而生成移动向量和编码差分信号(步骤S32)。
接着，由译码部146根据编码差分信号生成译码差分图像(步骤S33)。预测图像生成部148用移动向量和帧存储器150中存储的参考图像生成预测图像(步骤S34)。
接着，通过把译码差分图像和预测图像相加，由再现图像生成部152生成再现图像(步骤S35)。
接着，图像更新部156用再现图像和帧存储器150中存储的参考图像生成更新图像(步骤S36)。对于更新图像的生成，因为和用图6、图7的说明一样，所以这里其详细说明从略。
接着，图像更新部156生成的更新图像存储在帧存储器150中(步骤S37)，在不同对象图像的译码中用作参考图像。
以下，说明根据本发明实施方式的运动图像译码程序。图13和记录媒体一起示出了根据本发明实施方式的运动图像译码程序的构成。
如图13所示，运动图像译码程序170存储在记录媒体100中。作为记录媒体100，例如有软盘、CD-ROM、DVD或ROM等记录媒体或半导体存储器等。
当在图9和图10所示的计算机110的读取装置112中插入运动图像译码程序170时，计算机110可访问记录媒体100中存储的运动图像译码程序170。计算机110可以通过该运动图像译码程序170作为运动图像译码装置140来操作。如图10所示，运动图像译码程序170可以通过网络作为重叠在载波上的计算机数据信号130来提供。这时，计算机110把通信装置124接收的运动图像译码程序170存储在存储器116中，并可以执行该运动图像译码程序170。
如图13所示，运动图像译码程序170具有汇总处理的主模块171，可变长译码模块172，译码模块174，预测图像生成模块176，存储模块178，再现图像生成模块180，图像更新模块182。译码模块174具有逆量化子模块186和逆变换子模块188。
可变长译码模块172、译码模块174、预测图像生成模块176、存储模块178、再现图像生成模块180、图像更新模块182、逆量化子模块186以及逆变换子模块188在计算机中实现的功能分别和上述可变长译码部144、译码部146、预测图像生成部148、帧存储器150、再现图像生成部152、图像更新部156、逆量化部160、逆变换部162中对应的元件相同。此外，运动图像译码程序170还可以具有控制模块184，使相当于上述控制部158的功能在计算机110中实现。
以下，说明根据本实施方式的运动图像编码装置10和运动图像译码装置140的作用和效果。在运动图像编码装置10中，通过在再现图像或已经存储在帧存储器20中的参考图像中的一方的第一图像中加权相加该再现图像或该参考图像另一方的第二图像，生成更新图像。该更新图像用作参考图像，用于生成不同对象图像的预测图像。因此，因为使用了由于基于加法的平均化而使噪音减小的参考图像，减小了编码带来的运动图像的数据量，提高了编码效率。而且，在运动图像编码装置10中，因为生成再现图像和参考图像平均化后的更新图像，所以可以不在再现图像或参考图像中而在更新图像中反映图像的细节。因此，进一步减小了编码带来的运动图像的数据量。
根据运动图像译码装置140，可以从运动图像编码装置10生成的位流忠实地复原运动图像。
在运动图像编码装置10和运动图像译码装置140中，基于上述运动图像中场景的变化，为了提高运动图像的编码效率，可以仅在有效的场合生成更新图像。这时，如上所述，可以使用能以最小限度的位来表示与是否生成更新图像有关的指示的更新控制信号。
在运动图像译码装置140中，图像更新部通过求出表示第二图像与第一图像的偏差的移动量生成更新图像，因此，运动图像编码装置10不需要把用于生成更新图像的移动量(移动向量)发送给运动图像译码装置140。因此，可以进一步减少运动图像编码装置10要发送的位流的数据量。
在运动图像编码装置10和运动图像译码装置140中，顺向预测时，不并列替换图像，实现了平滑化，减小了参考图像的噪音。
此外，本发明不限于本实施方式中公开的特定构成。例如，在运动图像编码装置10和运动图像译码装置140中，把为了生成存储在帧存储器中的预测图像而参考的图像作为参考图像，但在不用于生成预测图像时也可以把用于上述图像更新的图像作为参考图像。参考图像可以存储在运动图像编码装置10和运动图像译码装置140的上述帧存储器中，也可以存储在不同于该帧存储器的帧存储器中。该参考图像也可以作为和包含基于上述编码差分信号的数据的位流不同的文件或位流传送。
在运动图像编码装置10和运动图像译码装置140中，用帧存储器中存储的参考图像和再现图像进行图像更新，但也可以用帧存储器中存储的图像相互进行图像更新。即，运动图像编码装置10和运动图像译码装置140中，在再现图像存储在帧存储器中之前进行图像更新，但也可以把再现图像作为参考图像存储在帧存储器中之后，用该参考图像和不同于该参考图像的参考图像进行图像更新处理。
但是，在上述实施方式中，在更新运动图像编码装置10和运动图像译码装置140的帧存储器中存储的图像时，虽然说明了使用再现图像或该帧存储器中存储的其他图像，但也可以用译码差分图像更新帧存储器中存储的图像，用图14至图16详细说明相关的变形例。
图14示出了根据本发明的运动图像编码装置的变形结构图。基本的构成和功能和图1相同，但图像更新部32中，除了来自再现图像生成部30的再现图像和来自帧存储器20的参考图像之外，还经由线路L26b输入作为译码部28的输出的译码差分图像。图像更新部32把译码差分图像作为第一图像，把参考图像作为第二图像，通过把第一图像和第二图像进行加权相加，生成更新图像。该更新图像用于帧存储器20中存储的不同对象图像的编码。图像的更新因为伴随着图2说明的移动补偿，所以需要移动信息。在本实施方式中，移动信息由图14的预测图像生成部16提供。用图15详细说明图像更新部32。此外，在加权加法中，权重也可以是负值，这时变成减法处理。
图15是针对图14的运动图像编码装置的运动图像译码装置的结构图。图15所示的运动图像译码装置140是可以根据运动图像编码装置10生成的位流重现运动图像的装置。基本的功能和构成与图11相同，但图像更新部1556除了经由线路L554输入的再现图像和经由线路L556输入的参考图像之外，还经由线路L1560输入作为译码部1546的输出的译码差分图像。图像更新部1556把译码差分图像(经由线路L1560)作为第一图像，把参考图像(经由线路L1556)作为第二图像，通过把第一图像和第二图像加权相加，生成更新图像，该更新图像存储在帧存储器1550中并用于下一次译码处理。
具体地说，对于经由线路L1560输入的译码差分图像，在移动补偿部1564中以经由线路L1543从可变长译码部1544发送的移动信息为基础，实施移动补偿处理。结果经由线路L1562送给加权加法部1566，和帧存储器1550发送的参考图像加权相加。在本实施方式中，给移动补偿部1564的输出加以负的权重，并和参考图像相加。权重加法部1566的输出经由开关1568返回帧存储器1550。另一方面，来自再现图像生成部1552的再现图像也经由开关1568存储在帧存储器1550中。这样，存储在帧存储器中的参考图像也以译码差分图像为基础进行更新。
图16是针对图14的运动图像编码装置的运动图像译码装置的另一个结构图。如图16所示，运动图像译码装置140在功能上具有输入端子1642，可变长译码部1644，译码部(译码单元)1646，移动补偿部(预测图像生成单元)1648，帧存储器(存储单元)1650，再现图像生成部(再现图像生成单元)1652，输出端子1654，图像更新部(图像更新单元)1656。
在输入端子1642中输入图14的运动图像编码装置10生成的位流。输入端子1642向可变长译码部1644输出相应的位流。可变长译码部1644接收经由线路L1640输出的位流，通过对包含在该位流中的编码数据进行可变长译码，复原移动向量和编码差分信号。
译码部1646具有逆量化部1660和逆变换部1662，经由线路L1642接收编码差分信号，根据该编码差分信号生成译码差分图像。
图像更新部1656接收经由线路L1660输出的译码差分图像和经由线路L1656输出的参考图像。图像更新部1656把译码差分图像作为第一图像，把参考图像作为第二图像，通过把第一图像和第二图像加权相加，生成更新图像。具体地说，对于经由线路L1660输入的译码差分图像，在移动补偿部1666中，以经由线路L1644发送的移动信息为基础，实施移动补偿处理。其结果经由线路L1662送给加权加法部1664，与从帧存储器1650发送的参考图像加权相加。在本实施方式中，给移动补偿部1666的输出加以负的权重，并和参考图像相加。作为加权加法部1664的输出的更新图像在经由线路L1658存储在帧存储器1650中的同时，在下面说明的移动补偿部中得到利用。
移动补偿部1648用经由线路L1644输出的移动向量和经由线路L1646输出的、帧存储器1650中存储的参考图像，生成预测图像。这里，构成运动图像的图像中比基于作为译码对象的对象图像之前生成的再现图像的图像和来自图像更新部1656的更新图像作为参考图像存储在帧存储器1650中。
再现图像生成部1652通过把经由线路L1648从译码部1646输出的译码差分图像和经由线路L1650从移动补偿部1648输出的预测图像相加生成再现图像。该再现图像在经由线路L1652输出到输出端子1654的同时存储在帧存储器1650中。
这样，通过用译码差分图像更新参考图像，效果是量化引起的失真被均一地分散给参考图像和再现图像，可以更有效地进行编码。
在本实施方式中，虽然在图像更新部中直接输入了译码差分图像，但译码差分图像也可以存储在帧存储器中，从帧存储器中读出译码差分图像，用于图像更新。
而且，图像更新部的功能可以转换操作状态和不操作状态地进行编码·译码处理。例如，图16中，可以控制成移动补偿部1648和再现图像生成部1652不操作时，图像更新部1656操作，相反，移动补偿部1648和再现图像生成部1652操作时，图像更新部1656不操作。
以下，说明使计算机作为图15或图16的逆变换部40操作的运动图像译码程序。图17和记录媒体示出了上述运动图像译码程序190的构成。
如图17所示，运动图像译码程序190存储在记录媒体100中提供。作为记录媒体100，例如有软盘、CD-ROM、DVD或ROM等记录媒体或半导体存储器等。
当运动图像译码程序190插入图9和图10所示的计算机110的读取装置112中时，计算机110可访问记录媒体100中存储的运动图像译码程序190。通过运动图像译码程序190，计算机110可作为运动图像译码装置140操作。如图10所示，运动图像译码程序190可以通过网络作为重叠在载波上的计算机数据信号130而提供。这时，计算机110把由通信装置124接收的运动图像译码程序190存储在存储器116中，可以执行运动图像译码程序190。
如图17所示，作为使图15的运动图像译码装置140操作的运动图像译码程序和作为使图16的运动图像译码装置140操作的运动图像译码程序的构成是公共的，运动图像译码程序190具有汇总处理的主模块191，可变长译码模块192，译码模块195，预测图像生成模块196，存储模块197，再现图像生成模块198和图像更新模块199。译码模块195具有逆量化子模块193和逆变换子模块194。
对于使图15的运动图像译码装置140操作的运动图像译码程序，可变长译码模块192、译码模块195、预测图像生成模块196、存储模块197、再现图像生成模块198和图像更新模块199在计算机中实现的功能分别和上述可变长译码部1544、译码部1546、移动补偿部1548、帧存储器1550、再现图像生成部1552以及图像更新部1556中对应的元件相同。
对于使图16的运动图像译码装置140操作的运动图像译码程序，可变长译码模块192、译码模块195、预测图像生成模块196、才模块197、再现图像生成模块198和图像更新模块199在计算机中实现的功能分别和上述可变长译码部1644、译码部1646、移动补偿部1648、帧存储器1650、再现图像生成部1652以及图像更新部1656中对应的元件相同。
此外，对于使计算机作为图14的运动图像编码装置10操作的运动图像编码程序的构成，和前述图8的构成相同。
在运动图像编码装置10和运动图像译码装置140中，更新图像用作参考图像，但不限于此，该更新图像可输出到显示装置中。
以上，用图示本发明原理的方式说明了适当的实施方式的，但本领域的技术人员可以理解，本发明可以在不脱离其原理的情况下进行变更。本发明不限于本实施方式公开的特定构成。因此，权利要求的范围包括本发明精神范围内的所有修正和变更。
权利要求
1.一种运动图像编码装置，具有预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算而生成差分图像；编码单元，通过编码上述差分图像而生成编码差分信息；译码单元，通过译码上述编码差分信息而生成译码差分图像；再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算而生成再现图像；存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；和图像更新单元，通过将第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或存储在上述存储单元中的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，其中，上述图像更新单元将上述更新图像存储在上述存储单元中，上述预测图像生成单元利用存储在上述存储单元中的更新图像作为用于生成与不同的对象图像相对应的预测图像的参考图像。
2.一种运动图像编码装置，具有预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算而生成差分图像；编码单元，通过编码上述差分图像而生成编码差分信息；译码单元，通过译码上述编码差分信息而生成译码差分图像；再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算而生成再现图像；存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；和图像更新单元，把存储在上述存储单元中的参考图像作为第一图像，把与存储在上述存储单元中的上述第一图像不同的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过将上述第一图像和上述第二图像的至少一部分加权相加而生成更新图像，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用存储在上述存储单元中的更新图像作为用于生成预测图像的参考图像。
3.根据权利要求1所述的运动图像编码装置，其中，上述图像更新单元利用上述再现图像生成单元生成的上述再现图像作为上述第一图像，利用上述存储单元中存储的上述参考图像作为上述第二图像，把通过将该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为上述更新图像存储在上述存储单元中。
4.根据权利要求1所述的运动图像编码装置，其中，上述图像更新单元利用上述存储单元中存储的上述参考图像作为上述第一图像，利用上述再现图像生成单元生成的上述再现图像作为上述第二图像，把通过将该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为上述更新图像存储在上述存储单元中。
5.根据权利要求1所述的运动图像编码装置，其中，上述图像更新单元利用由再现图像生成单元生成的再现图像作为第一图像，利用存储单元中存储的上述参考图像作为第二图像，把通过将该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为更新图像存储在存储单元中，而且，利用上述存储单元中存储的参考图像作为第一图像，利用由上述再现图像生成单元生成的再现图像作为第二图像，把通过将该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为更新图像存储在存储单元中，上述预测图像生成单元把上述再现图像、上述更新再现图像、上述参考图像以及上述更新参考图像中的至少一个作为用于生成与不同的对象图像相对应的预测图像的参考图像。
6.根据权利要求1所述的运动图像编码装置，其中，上述图像更新单元求出指定了上述第二图像相对于上述第一图像的偏差的移动量，在基于该移动量移动的对应位置上，通过把上述第二图像的至少一部分加权相加到上述第一图像上而生成上述更新图像。
7.一种运动图像编码方法，包括以下步骤预测图像生成步骤，预测图像生成单元生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；差分图像生成步骤，差分图像生成单元通过执行上述对象图像和上述预测图像的差运算而生成差分图像；编码步骤，编码单元通过编码上述差分图像而生成编码差分信号；译码步骤，译码单元通过译码上述编码差分信号而生成译码差分图像；再现图像生成步骤，再现图像生成单元通过执行上述译码差分图像和上述预测图像的和运算而生成再现图像；存储步骤，存储单元存储上述预测图像生成单元为了生成预测图像而使用的参考图像；和图像更新步骤，图像更新单元通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，其中，在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成与不同对象图像相对应的预测图像的参考图像。
8.一种运动图像编码程序，是使计算机作为以下装置来工作的程序，所述装置包括预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算而生成差分图像；编码单元，通过编码上述差分图像而生成编码差分信息；译码单元，通过译码上述编码差分信息而生成译码差分图像；再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算而生成再现图像；存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；和图像更新单元，通过将第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或存储在上述存储单元中的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成与不同对象图像相对应的预测图像的参考图像。
9.一种运动图像编码方法，包括以下步骤预测图像生成步骤，预测图像生成单元生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；差分图像生成步骤，差分图像生成单元通过执行上述对象图像和上述预测图像的差运算而生成差分图像；编码步骤，编码单元通过编码上述差分图像而生成编码差分信号；译码步骤，译码单元通过译码上述编码差分信号而生成译码差分图像；再现图像生成步骤，再现图像生成单元通过执行上述译码差分图像和上述预测图像的和运算而生成再现图像；存储步骤，存储单元存储上述预测图像生成单元为了生成预测图像而使用的参考图像；图像更新步骤，图像更新单元把上述存储单元中存储的参考图像作为第一图像，把不同于存储在上述存储单元中的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加而生成更新图像，其中，在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，在上述预测图像生成步骤中，上述预测图像生成单元利用存储在上述存储单元中的更新图像作为用于生成预测图像的参考图像。
10.一种运动图像编码程序，是使计算机作为以下装置来工作的程序，所述装置包括预测图像生成单元，生成与构成运动图像的多个图像中作为编码对象的对象图像相对应的预测图像；差分图像生成单元，通过执行上述对象图像和上述预测图像的差运算而生成差分图像；编码单元，通过编码上述差分图像而生成编码差分信息；译码单元，通过译码上述编码差分信息而生成译码差分图像；再现图像生成单元，通过执行上述译码差分图像和上述预测图像的和运算而生成再现图像；存储单元，存储上述预测图像生成单元为了生成预测图像而使用的参考图像；图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加而生成更新图像，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
11.一种运动图像译码装置，包括译码单元，通过对运动图像被预测编码后的编码差分信号进行译码而生成译码差分图像；预测图像生成单元，基于上述编码差分信号而生成与译码对象的对象图像相对应的预测图像；再现图像生成单元，通过把上述译码差分图像和上述预测图像相加而生成再现图像；存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；和图像更新单元，通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
12.一种运动图像译码装置，包括译码单元，通过对运动图像被预测编码后的编码差分信号进行译码而生成译码差分图像；预测图像生成单元，基于上述编码差分信号而生成与译码对象的对象图像相对应的预测图像；再现图像生成单元，通过把上述译码差分图像和上述预测图像相加而生成再现图像；存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；和图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加而生成更新图像，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
13.根据权利要求11所述的运动图像译码装置，其中，上述图像更新单元利用上述再现图像生成单元生成的上述再现图像作为上述第一图像，利用上述存储单元中存储的上述参考图像作为上述第二图像，并把通过将该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为上述更新图像存储在上述存储单元中。
14.根据权利要求11所述的运动图像译码装置，其中，上述图像更新单元利用上述存储单元中存储的上述参考图像作为上述第一图像，利用上述再现图像生成单元生成的上述再现图像作为上述第二图像，并把通过将该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为上述更新图像存储在上述存储单元中。
15.根据权利要求11所述的运动图像译码装置，其中，上述图像更新单元利用上述再现图像生成单元生成的上述再现图像作为上述第一图像，利用上述存储单元中存储的上述参考图像作为上述第二图像，并把通过将该再现图像和该参考图像的至少一部分加权相加而生成的更新再现图像作为上述更新图像存储在上述存储单元中，进而利用上述存储单元中存储的上述参考图像作为上述第一图像，利用上述再现图像生成单元生成的上述再现图像作为上述第二图像，把通过将该参考图像和该再现图像的至少一部分加权相加而生成的更新参考图像作为更新参考图像存储在上述存储单元中，上述预测图像生成单元利用上述再现图像、上述更新再现图像、上述参考图像以及上述更新参考图像中的至少一个作为用于生成对应于不同对象图像的预测图像的参考图像。
16.根据权利要求15所述的运动图像译码装置，其中，上述编码差分信号包含指示第一状态、第二状态、第三状态和第四状态中的至少一个状态的更新控制信号，上述图像更新单元在上述更新控制信号指示上述第一状态的情况下生成上述更新再现图像，在上述更新控制信号指示上述第二状态的情况下生成上述更新参考图像，在上述更新控制信号指示上述第三状态的情况下生成上述更新再现图像和上述更新参考图像，而在上述更新控制信号指示上述第四状态的情况下不生成上述更新再现图像和上述更新参考图像。
17.根据权利要求11所述的运动图像译码装置，其中，上述图像更新单元求出表示上述第二图像相对于上述第一图像的偏差的移动量，通过在基于该移动量移动的对应位置上把上述第二图像的至少一部分加权相加到上述第一图像上而生成上述更新图像。
18.一种运动图像译码方法，包括以下步骤译码步骤，译码单元通过对运动图像被预测编码后的编码差分信号进行译码而生成译码差分图像；预测图像生成步骤，预测图像生成单元基于上述编码差分信号而生成与译码对象的对象图像相对应的预测图像；再现图像生成步骤，再现图像生成单元通过把上述译码差分图像和上述预测图像相加而生成再现图像；存储步骤，存储单元存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；和图像更新步骤，图像更新单元通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，其中，在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
19.一种运动图像译码程序，是用于使计算机作为以下装置来工作的程序，所述装置包括译码单元，通过对运动图像被预测编码后的编码差分信号进行译码而生成译码差分图像；预测图像生成单元，基于上述编码差分信号而生成与译码对象的对象图像相对应的预测图像；再现图像生成单元，通过把上述译码差分图像和上述预测图像相加而生成再现图像；存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；和图像更新单元，通过把第一图像和第二图像的至少一部分加权相加而生成更新图像，上述第一图像为上述再现图像或上述存储单元中存储的参考图像中的一方，上述第二图像为该再现图像或该参考图像中的另一方，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成对应于不同对象图像的预测图像的参考图像。
20.一种运动图像译码方法，其特征在于，包括以下步骤译码步骤，译码单元通过对运动图像被预测编码后的编码差分信号进行译码而生成译码差分图像；预测图像生成步骤，预测图像生成单元基于上述编码差分信号而生成与译码对象的对象图像相对应的预测图像；再现图像生成步骤，再现图像生成单元通过把上述译码差分图像和上述预测图像相加而生成再现图像；存储步骤，存储单元存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；和图像更新步骤，图像更新单元把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加而生成更新图像，其中，在上述图像更新步骤中，上述图像更新单元把上述更新图像存储在上述存储单元中，在上述预测图像生成步骤中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
21.一种运动图像译码程序，是用于使计算机作为以下装置来工作的程序，所述装置包括译码单元，通过对运动图像被预测编码后的编码差分信号进行译码而生成译码差分图像；预测图像生成单元，基于上述编码差分信号而生成与译码对象的对象图像相对应的预测图像；再现图像生成单元，通过把上述译码差分图像和上述预测图像相加而生成再现图像；存储单元，存储上述预测图像生成单元为了生成上述预测图像而使用的参考图像；图像更新单元，把上述存储单元中存储的参考图像作为第一图像，把不同于上述存储单元中存储的上述第一图像的参考图像、上述再现图像和上述译码差分图像中的至少一个作为第二图像，通过把上述第一图像和上述第二图像的至少一部分加权相加而生成更新图像，其中，上述图像更新单元把上述更新图像存储在上述存储单元中，上述预测图像生成单元利用上述存储单元中存储的更新图像作为用于生成预测图像的参考图像。
全文摘要
本发明提供一种运动图像编码装置及方法、运动图像译码装置及方法，在运动图像编码装置10中，预测图像生成部16用存储在帧存储器20中的参考图像，生成对象图像的预测图像。差分图像生成部18通过对象图像和预测图像的差运算生成差分图像，编码部22对差分图像编码并生成编码差分信号。译码部28对编码差分信号译码并生成译码差分图像。再现图像生成部30通过译码差分图像和预测图像的相加生成再现图像。图像更新部32通过把再现图像或参考图像中一方的第一图像和该再现图像或该参考图像中另一方面的第二图像加权相加，生成更新图像。更新图像存储在帧存储器20中，在不同对象图像的编码中用作参考图像。
文档编号H04N7/50GK1684519SQ200510065780
公开日2005年10月19日 申请日期2005年4月15日 优先权日2004年4月16日
发明者文仲丞, 陈朝庆 申请人:株式会社Ntt都科摩