专利名称：图像编码装置、图像编码方法、图像解码装置、图像解码方法和通信装置的制作方法
技术领域：
本发明涉及在图像的高效率编码或者解码中，从原有图像进行应当编码的图像或应当解码的图像的预测、并对预测误差进行编码的图像编码装置、图像编码方法和通过与预测误差的相加进行解码的图像解码装置、图像解码方法。并且，涉及具有这些图像编码装置和图像解码装置中至少一个的通信装置。
背景技术：
在MPEG(Moving Picture Experts Group运动图象专家组)和ITU-T H.26x等的标准图像编码方式中，由按照微块的亮度信号16×16像素(包含色差信号8×8像素)构成的正方块中进行帧画面的分割，在此单位中通过动态预测推定来自参考帧的运动，对推定误差部分的信号(预测残留信号)和动态矢量信息进行编码。而且，在MPEG-2中将微块分割为2个字段区域，按字段类进行动态预测，在H.263和MPEG-4中将微块进一步4分割为8×8像素块的尺寸，在各子块单位中导入进行动态预测的技术。特别地，公知在MPEG-4中动态预测块尺寸的适应化增加了动态矢量的编码量，另外还提高了向更剧烈/详细动态的追随性，通过选择合适模式期待其性能提高。
而且，作为动态补偿预测类技术的侧面，还具有动态矢量的精度。本来，由于数字图像数据的缘故，不存在通过抽样生成的离散的图像信息(以下，称为整数像素)，而在整数像素之间通过插值运算制作出虚拟的抽样，以其作为预测图像使用的技术被广泛地利用。在此技术中，已知有通过预测候补点的增加来提高预测精度，以及根据伴随着插值运算的滤波效果来，削减预测图像的异常点而提高预测效率的2个效果。另一方面，因为当提高了虚拟抽样的精度时，就必须提高显示动态量的动态矢量的精度，所以也必须注意到此编码量也增加了。
在MPEG-1、MPEG-2中采用容许此虚拟抽样的精度到1/2像素精度的半像素预测。在图1中表示1/2像素精度的抽样生成的状态。在同图中，A、B、C、D是整数像素，e、f、g、h、i表示由A～D生成的半像素精度的虚拟抽样。
e＝(A+B)//2f＝(C+D)//2g＝(A+C)//2h＝(B+D)//2i＝(A+B+C+D)//2(其中，//表示整除。)在对应特定块适用于此半像素精度的虚拟抽样生成次序的情况时，从块端点需要周边1整数像素部分多余数据。因为其必须从块端点(整数像素)算出半像素部分外侧的虚拟抽样。
而且，在MPEG-4中，采用使用达到1/4像素精度的虚拟抽样的1/4像素精度预测。在1/4像素精度预测中，在生成半像素抽样后，使用其生成1/4像素精度的抽样。在抑制半像素抽样生成时的过度平滑化的目的下，设计成即使使用分支数多的滤波器，也极力保持原信号的频率成分。例如在MPEG-4的1/4像素精度预测中，为了生成1/4像素精度的虚拟抽样而制作的半像素的虚拟抽样a使用其周边8像素部分，按照如下进行生成。并且，下面公式仅仅示意了在水平处理的情况，用来生成1/4像素精度的虚拟抽样而制作半像素精度的虚拟抽样a与下面公式的整数像素的X成份X-4～X4之间的关系为如图2所示的位置关系。
a＝(COE1*X1+COE2*X2+COE3*X3+COE4*X4+COE-1*X-1+COE-2*X-2+COE-3*X-3+COE-4*X-4)//256(其中，COEK滤波系数(系数总和为256)。//表示整除。)在对应特定块适用于此1/4像素精度的虚拟抽样生成次序的情况下，从块端点需要周边4整数像素部分多余的数据。因为必须从块端点(整数像素)计算出1/4像素部分外侧的虚拟抽样。
但是，在预测对象块的端点中，对应滤波分支数的数目的预测对象块的周边像素因为需要滤波运算，因而具有在分支数次序中用来预测图像生成而必需的存储带宽宽度变大的问题。
特别地，在MPEG-4的1/4像素精度预测中，虽然为了避免此问题，而想出了通过返回预测对象块的端点像素来抑制对用于预测图像生成所必需的抑制新读出像素数目的办法，但是由此却有了阻止了在预测对象块的界限中的自动滤波，且说不上是编码率效率较佳的问题。
发明内容
由此，本发明的目的是在将微块等图像帧分割为小区域单位并分别进行动态补偿预测的情况下，提供在抑制存储带宽宽度的同时，能够提高编码效率的图像编码装置、图像编码方法、图像解码装置、图像解码方法、和具有这些图像编码装置和图像解码装置中至少一个的通信装置。
本发明涉及的动态图像编码装置是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，对生成的预测图像和动态图像信号之间的差分信号进行压缩编码，产生编码位流的动态图像编码装置，具有存储在预测图像生成中使用的参考图像的帧存储器；对应成为动态补偿预测单位的区域的形状，切换成为预测图像的构成要素的虚拟像素的精度生成预测图像的候补，并生成给予此多个预测图像候补中预测效率较大的图像动态矢量的动态检测部；以及根据由动态检测部生成的动态矢量，对应成为动态补偿预测单位的区域的形状，切换成为预测图像的构成要素的虚拟像素精度生成预测图像的候补，生成预测图像的动态补偿部。在编码位流中，复用表示成为动态补偿预测的单位的区域形状的形状信息和动态矢量。
而且，本发明涉及的动态图像编码装置是以特定方法以所分割的区域单位对动态图像信号的各帧进行动态补偿预测，对生成的预测图像和动态图像信号之间的差分信号进行压缩编码，产生编码位流的动态图像编码装置，具有存储在预测图像生成中使用的参考图像的帧存储器；对应成为动态补偿预测单位区域的形状，切换成为预测图像的构成要素的虚拟像素精度，生成预测图像的候补，并生成提供此多个预测图像候补中预测效率较大预测图像的图像动态矢量的动态检测部；根据由动态检测部生成的动态矢量，对应成为动态补偿预测单位的区域的形状，切换成为预测图像的构成要素的虚拟像素精度，生成预测图像的候补，生成预测图像的动态补偿部。在编码位流中，复用表示成为动态补偿预测的单位的区域形状的形状信息、对应在此形状信息中表示的成为动态预测单位的区域的形状切换动态矢量的预测编码方法的编码的动态矢量。
而且，本发明涉及的动态图像编码装置是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，对生成的预测图像和动态图像信号之间的差分信号进行压缩编码，产生编码位流的动态图像编码装置，具有存储在预测图像生成中使用的参考图像的帧存储器；对应成为动态补偿预测单位区域的形状，根据以特定动态图像数据单位控制是否切换成为预测图像的构成要素的虚拟像素精度的控制信号，生成预测图像的候补，并生成提供了此多个预测图像候补中预测效率较大的预测图像的动态矢量的动态检测部；以及根据由动态检测部生成的动态矢量，对应成为动态补偿预测单位的区域的形状，根据以特定动态图像数据的单位控制是否切换成为预测图像的构成要素的虚拟像素精度的控制信号，生成预测图像的候补的动态补偿部。在编码位流中，以特定的图像数据的单位中复用控制信号的同时，复用表示成为动态补偿预测的单位的区域形状的形状信息，和动态矢量。
特别地，动态补偿部特征在于依照从基于作为多个精度的、在帧存储器中存储的参考图像的多个像素数据以特定的方法生成虚拟像素的第1精度、和基于此第1精度的虚拟像素生成虚拟像素的第2精度中对每个区域单位所指示的某一精度，进行动态补偿预测，生成参考图像。
而且，成为动态补偿预测单位的区域的特征在于是进一步分割将动态图像信号的各帧分割为与亮度信号相当的16像素×16行的微块的预测单位块。表示该区域形状的形状信息是指示分割微块为预测单位块的方法的信息。
而且，其特征在于设置多个存储预测图像的生成中使用的参考图像的帧存储器，动态补偿部参考在多个帧存储器中存储的多个参考图像进行动态补偿预测图像，生成预测图像。
而且，其特征在于还具有通过内模式对动态图像信号进行编码的内模式，在有选择地进行动态补偿部的动态补偿预测模式、或者内模式的同时，在编码流中进一步复用表示所选择的模式的编码模式信息。
而且，其特征在于还具有通过空间预测模式对动态图像信号进行预测编码的空间预测部，在有选择地进行动态补偿部的动态补偿预测模式、或者空间预测部的空间预测模式的同时，在编码流中进一步复用表示所选择的模式的编码模式信息。
由此，按照本发明涉及的图像编码装置，能够进行一面抑制存储条的尺寸，一面提高编码效率的压缩编码。
而且，在对应成为动态补偿预测单位的区域形状切换动态补偿预测精度的同时，也对应成为动态补偿预测单位的区域的形状切换动态矢量的预测编码方法，进行适应地进行切换编码，由此例如能够仅向一面抑制存储带宽宽度一面提高编码效率部分的动态矢量分配较多的编码量，能够一面抑制存储带宽宽度一面保证图像质量。
而且，本发明涉及的动态图像解码装置是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，输入将生成的预测图像和动态图像信号之间的差分信号进行压缩编码的编码位流，还原动态图像信号的动态图像解码装置，具有用来存储在预测图像的生成中使用的参考图像的帧存储器；输入编码位流，解码差分信号、动态矢量、和表示成为动态补偿预测单位的区域形状的形状信息的解码部；根据表示成为动态补偿预测单位的区域形状的形状信息，切换成为预测图像的构成要素的虚拟像素精度，根据切换的精度使用由解码部解码的动态矢量，参考在帧存储器中存储的参考图像，生成预测图像的动态补偿部；将由解码部解码的差分信号、和由动态补偿部生成的预测图像进行相加，还原解码动态图像信号的部。
而且，本发明涉及的动态图像解码部是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，输入压缩编码所生成的预测图像和动态图像信号之间的差分信号的位流，解码动态图像解码部，具有存储预测图像生成中使用的参考图像的帧存储器；输入编码位流，解码差分信号、表示成为动态补偿预测单位的区域形状的形状信息的同时，根据该形状信息切换动态矢量的预测解码方法，进行动态矢量解码的解码部；根据表示成为动态补偿预测单位的区域形状的形状信息，切换成为预测图像的构成要素的虚拟像素精度，根据切换的精度使用由解码部解码的动态矢量，参考在帧存储器中存储的参考图像，生成预测图像的动态补偿部；将由解码部解码的差分信号、和由动态补偿部生成的预测图像相加，还原成解码动态图像信号的部。
而且，本发明涉及的动态图像解码装置是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，解码输入的压缩编码这样生成的预测图像和动态图像信号之间的差分信号的位流的动态图像解码部，具有存储在预测图像生成中使用的参考图像的帧存储器；辅入编码位流，解码差分信号、表示成为动态补偿预测单位的区域形状的形状信息，以及以一定的动态图像数据为单位定义的控制信号的同时，根据该形状信息以一定的动态图像数据控制是否切换动态矢量的预测解码方法，进行动态矢量解码的解码部；根据表示成为动态补偿预测单位的区域形状的形状信息，根据控制信号以一定的动态图像数据为单位，控制是否切换预测图像构成要素虚拟像素精度，决定虚拟像素的精度，根据所决定的精度使用由解码部解码的动态矢量，参考在帧存储器中存储的参考图像，生成预测图像的动态补偿部；将由解码部解码的差分信号、和由动态补偿部生成的预测图像相加，还原为动态图像信号的部。
特别地，动态补偿部的特征在于依照从基于在帧存储器中存储的具有多个精度的参考图像的多个像素数据以特定的方法生成虚拟像素的第1精度、以及基该第1精度的虚拟像素生成虚拟像素的第2精度中对每个区域单位所指示的某一精度，进行动态补偿生成参考图像。
而且，其特征在于成为动态补偿单位的区域是进一步分割将动态图像信号的各帧分割为与亮度信号相当的16像素×16行的微块的预测单位块，表示该区域形状的形状信息区域是指示将微块分割为预测单位块方法的信息，对应动态的矢量为在各预测单位块中利用的动态矢量。
而且，其特征在于设置多个存储预测图像的生成时使用的参考图像的帧存储器，动态补偿部参考在多个帧存储器中存储的多个参考图像进行动态补偿预测图像，生成预测图像。
而且，其特征在于解码部进一步解码来自编码位流的编码模式信息，根据该编码模式信息，由内模式解码动态图像信号，或者在动态补偿部由动态补偿预测模式进行解码。
而且，其特征在于还具有通过空间预测模式对动态图像信号进行预测编码的空间预测部，解码部进一步解码来自编码位流的编码模式信号，根据编码模式信息，由空间预测部通过空间预测模式进行解码，或者由动态补偿部通过动态补偿预测模式进行解码。
由此，按照本发明所涉及的动态图像解码部，在抑制存储带宽宽度的同时，能够提高编码效率，解码进行压缩编码后的编码位流。
特别地，存储带宽宽度的削减特别是在将硬件实际安装到以图像再生为主的播放器，便携电话、便携信息终端等的图像解码装置、图像解码装置中时，由于发挥了图像解码处理实际安装的简略化、显著消费功率的效果，在抑制编码装置、解码装置的实际安装花费同时，提供了较高传送·记录效率的图像编码装置、图像解码装置。
图1是1/2像素精度的抽样生成形态的示意图；图2是为了仅在水平处理情况中生成1/4像素精度的虚拟抽样而制作的半像素精度的虚拟抽样a、与下面公式整数像素X成份X-4～X4之间的位置关系的示意图；图3是在实施形态1中图像编码装置构成的示意图；图4是在实施形态1中图像解码装置构成的示意图；图5表示编码装置中动态补偿预测处理的流程图；图6是在实施形态1中动态矢量检测单位区域的构成示意图；图7是对于由实施形态1通过虚拟抽样精度的局部设定，对于8×4、4×8、4×4MC的各个模式，用来说明能够削减在虚拟抽样生成时必需的存储带宽宽度的图；图8是用来说明在步骤ST14中求得预测差分值(MVD)方法的图；图9是表示解码装置中动态补偿预测处理的流程图；图10是在实施形态2中图像编码装置构成的示意图；图11是两方向预测的执行方法的示意图；图12是使用多个参考图像检测动态矢量的两方向预测的其它例子的示意图；图13是在实施形态2中图像解码装置构成的示意图；图14是在实施形态3中图像编码装置构成的示意图；图15是在实施形态3中图像解码装置构成的示意图；图16是在实施形态4中图像编码装置构成的示意图；图17是在实施形态4中图像解码装置构成的示意图；图18是实际安装实施形态1～4的图像编码装置和图像解码装置等元件产品的实施形态5的便携电话的构成的示意图。
具体实施例方式
以下，为了比较详细地说明本发明，对于用来实施本发明的最优形态，根据附图加以说明。
实施形态1
在本实施形态1中，对于具有将图像的各帧图像分割为微块单位，进一步在微块内分割为多个形状的子块，能够将其分别进行动态补偿预测的动态补偿预测装置的图像编码·解码装置进行说明。本实施形态1的图像编码·解码装置特征在于以下两点对应成为动态补偿预测单位领域(块)的形状或大小，切换现有例所述的虚拟抽样的精度，以及随支其也切换动态矢量的编码·解码方法。在本实施形态中图像编码装置和解码装置的构成如图3和图4所示。
图3表示的是本实施形态1中图像编码装置的构成。此图像编码装置如图所示，具有减法器10、编码模式判定部12、正交变换部15、量子化部16、逆量子化部18、逆正交变换部19、切换器53、帧存储器3、动态检测部2、动态补偿部7、可变长编码部6、发送缓存器24、编码控制部22。
下面说明如图3所示的图像编码装置的工作。
①编码装置的工作概述在图3的编码装置中，输入图像信号1的各个图像帧被分割为微块单位进行输入。首先，在动态检测部2中，使用在帧存储器3中存储的参考图像4在微块中检测动态矢量5。根据动态矢量5在动态补偿部7中获得预测图像8，由减法器10通过完成预测图像信号8和输入信号1的差分获得预测残差信号9。
在编码模式判定部12中，从指定编码预测残差信号9的动态预测模式、编码帧内的内模式等、微块编码方法的多个模式之中，根据当前微块选择能够有较高效率的编码。该编码模式信息13作为编码对象信息向可变长度编码部6输出。这里，由编码模式判定部12选择作为编码模式信息13预测模式的情况，将动态矢量5作为编码对象信息向可变长编码部6交接。
而且，在编码模式判定部12中所选择的编码对象信号经由正交变换部15、量子化部16，一方面作为正交变换系数数据17向可变长编码部6交接，另一方面此正交变换系数数据17经由逆量子化部18、逆正交变换部19，向切换器52输出。
在切换器52中，根据编码模式信息13，此编码模式信息13表示动态预测模式的情况，将所逆量子化和逆正交变换的正交变换系数数据17和来自动态补偿部7的预测图像8相加，将其作为局部解码图像，并向帧存储器3输出，或者在此编码模式信息13表示内模式的情况中，将所逆量子化和逆正交变换系数数据17原样作为局部解码图像21输出。局部解码图像21用来用于以后帧动态预测，将其作为参考图像数据存储到帧存储器3。
在量子化部16中，以在编码控制部22中由被决定的量子化步骤参数23给予的量子化精度进行正交变换变换系数数据的量子化。通过调整此量子化步骤参数23得到输出编码速率和品质平衡。一般地，在可变长度编码后，每经过一定时间确认在传送之前的发送缓存器24中被存储编码数据的占有量，对应缓存器残量25进行参数的调整。具体地，例如在缓存器残量较少的情况，决定倾向为抑制速率的方向，在缓存残量25充裕的情况，决定为向速率较高并且提高品质。并且，在此编码控制部22中将所决定的量子化步骤参数23向可变长度编码部6输出。
在可变长度编码部6中，进行动态矢量5、量子化步骤参数23、编码模式信息13、正交变换系数数据17等的编码对象数据的平均信息量编码，经由发送缓存器24，作为图像压缩数据26传送。
图4表示了在本实施的形态1中图像解码装置的构成。此图像解码装置如图4所示，具有可变长度解码部27、逆量子化部18、逆正交变换部19、加法器55、切换器54、动态补偿部7、帧存储器3。
②解码装置的工作概述下面，说明图4示意的实施形态1的图像解码装置的工作。
在如图4所示的解码装置中，接受图像压缩数据26，由可变长度解码部27进行后述的平均信息量解码处理，还原动态矢量5、编码模式信息13、正交变换系数数据17、量子化步骤参数23等。
正交变换系数数据17、通过与编码端相同的逆量子化部18和逆正交变换部19解码量子化步骤参数23。
而且，切换器54在编码模式信息13表示动态预测模式的情况时，为根据在动态补偿部7中被解码的动态矢量5和编码模式信息13还原预测图像8并输出的方向，在表示内模式的情况时，输出0。
于是，来自切换器54的输出通过由加法器55相加作为解码信号的逆正交变换部19的输出获得解码图像21。解码图像21为了用于以后帧预测图像的生成，并在帧存储器3中存储。
③动态补偿预测的详细工作下面，对于使用编码装置的动态检测部2、动态补偿部7、帧存储器3进行的动态补偿预测处理，且对于使用解码装置的动态补偿部7、帧存储器3进行动态补偿处理分别进行说明。
③-1在编码装置中动态补偿预测处理顺序图5中表示的是在编码装置中动态补偿预测处理的流程图。以下，说明其中每个步骤。
③-1-1虚拟抽样精度的决定(步骤ST1)图6中表示的是在本实施形态1中动态矢量的检测单位区域的构成。相同图中，16×16MC微块本身作为动态矢量的检测单位。16×8MC将沿纵方向2分割的区域、8×16MC将沿横方向2分割的区域分别作为动态矢量检测单位。8×8MC将微块均匀分割为4个区域，并分别作为动态矢量检测单位。进而，在本实施形态1的情况中，在8×8MC中，对应各个分割区域，能够进一步进行纵方向2分割(8×4MC)、横方向2分割(4×8MC)、4分割(4×4MC)的区域分割，并分别作为动态矢量检测单位。
其一般地通过较细地分割，在微块内部存在复杂的动态的情况时，能够提高预测效率，另一方面，需要传送较多的动态矢量信息。这样按照在微块内部能够分别适应动态矢量检测单位区域的形状的结构，能够在进行局部最适合的分割形状和动态矢量的选择·检测同时执行编码。
然后，在各个区域动态矢量的检测中，如现有例子所示，利用使用虚拟抽样的动态补偿预测。但是，与现有的标准图像编码方式等不同，在本实施例1中，例如如图6所示，关联各个动态矢量检测单位区域的形状或大小等决定局部的虚拟抽样的精度和动态矢量的预测编码方法。
于是，在本实施形态1的编码装置中，将表示动态补偿预测单位的动态矢量检测单位区域的形状或大小等的形状信息作为编码模式信息13中动态预测模式的一部分，由可变长编码部6编码，传送至解码装置。
从而，在本实施形态1的解码装置中，仅仅通过编码模式信息13，在表示动态预测模式或内编码模式的编码模式以外，通过包含此编码模式信息13中的动态预测模式一部分的形状信息，能够判定作为动态补偿预测单位的动态矢量检测单位区域的形状或大小、以及从其的形状或大小唯一确定的虚拟抽样精度和动态矢量的预测编码方法，因而根本不需要用来虚拟抽样精度和动态矢量预测编码方法切换的附加信息。
在本实施形态1中，作为其决定的规则，使用比8×8MC较小，例如在8×4、4×8、4×4尺寸等的动态矢量检测单位区域中使用半像素精度的虚拟抽样，在其以上尺寸的动态矢量检测单位区域中使用1/4像素精度的虚拟抽样。
作为适用该规则的理由，推荐动态矢量检测单位区域形状的选择方法。也就是，一般地动态均一并且在动态速度延迟的区域保持画面空间分辨率，提高相对纹理的视认度。仅仅能够通过在所述区域较大动态矢量检测区域均一动态矢量，随着动态区域的细分化，在回避区域间不连续提高信号的重复性同时，希望提高向上虚拟抽样精度的预测效率。相反地，动态复杂、动态的速度在视觉认识较难的区域不保存画面详细的纹理，在感觉上降低视觉上的空间分辨率。在所述的区域中，希望即使牺牲某种程度信号的重复性也能够提高动态矢量数量较多的预测效率。但是，因为信号空间分辨率变低、动态矢量的信息量变多，考虑到即使虚拟抽样精度设定较低也不用从整体编码效率观点考虑的问题。
通过能够进行这样的虚拟抽样精度的局部的设定，如图7所示，对于8×4、4×8、4×4MC的各个模式，能够削减在虚拟抽样生成时必要的存储带宽宽度，具有装置简略化的效果。相同图中，对应中层模式状态，上层表示的是设想使用对应这些全部的模式的1/4像素精度的虚拟抽样的情况，并且为了虚拟抽样生成使用K分支的滤波器的情况，也就是表示从动态矢量检测单位区域的端点从存储器中读出必要的各个K像素(K□2)部分的整数像素数据。在现有例中，是表示K像素部分的半部分通过反复制作的例子，但这里不进行反复，设想通过使用连续K像素全部进行自然的滤波。
与其相对，通过本实施形态1，在这些8×4、4×8、4×4MC的各个模式中，通过预先决定仅仅使用半像素精度的虚拟抽样，为了生成虚拟抽样，必要从存储器读出的数据也可以是例如根据现有例的半像素精度抽样生成顺序的动态检测单位区域的周边1像素部分。在较小尺寸的动态矢量检测单位区域中，因为各个检测单位区域在空间上是不连续的，意味着其极大。
③-1-2预测误差的计算(步骤ST2、步骤ST3)根据在步骤ST1中被决定的虚拟抽样生成规则，在各个模式中每个动态矢量检测单位区域，对应各动态矢量候补生成预测图像，通过进行与预测对象动态矢量检测单位区域的差分，来算出预测误差量。这里，对于虚拟抽样，其成为进行如图1所示半像素精度抽样的生成、和如图2所示的1/4像素精度抽样的生成。但是，在本实施形态1的情况，不对在图2端点的像素值进行反复使用，滤波分支数保持一般性，因而成为以下K分支。从而，比使用半像素精度虚拟抽样的8×8MC小的例如8×4、或4×8、4×4MC以下各个模式的情况下，在虚拟抽样生成中使用的像素数据如图7的下层所示，为仅仅从各8×4、4×8、4×4动态检测单位区域的周边1像素部分的存储器读出(步骤ST2)。
预测误差的计算(步骤ST3)，为基于块匹配法一般地计算各像素单位的误差量的相加，以误差量主要能够使用二乘误差(pp’)2或差分绝对值|pp’|。这里，p是预测对象的像素值，p’是预测像素内的对应位置的像素值。在以下误差量设想为后者的差分绝对值，每动态矢量检测单位区域或微块内的总和成为使用称为SAD(Sum of Absolute Difference绝对误差和)的术语。
③-1-3动态矢量编码量的计算(步骤ST4)下面，计算动态矢量编码量(步骤ST4)。动态矢量通常为了与周边区域相关较高，以周边区域的动态矢量作为预测值，可变长编码周边区域的动态矢量预测值、求得的动态矢量之间的预测差分值(MVD)。在预测值的设定方法中存在各种各样的方法，但这里预测值以一定的规则而决定，能够得到动态矢量的预测差分值，省略其详细说明。
于是，在本实施形态1中，在求预测差分值(MVD)的编码量时，考虑在③-1-1中规定的虚拟抽样精度。
使用图8说明在步骤ST4中预测差分值(MVD)的方法。并且，此工作在动态检测部2中执行，但最后在步骤ST9中由可变长编码部6编码决定的动态矢量的情况也适用相同的规则。
在图8中，作为编码对象的动态矢量为MV1～MV5，根据特定的预测值设定规则，对应PMV1、MV5求得对应MV1和MV3的预测矢量的预测矢量为PMV2。各自地，MV2为MV1、MV4为MV3的预测值。PMV1、PMV2因为是以前编码完成的值，适宜高速缓存也是可以的。
PMV1为根据16×8MC的动态矢量，MV5为根据8×8MC的动态矢量，因而根据在③-1-1中规定，使用1/4像素精度的虚拟抽样的决定动态矢量。另一方面，MV1～MV4和PMV2为根据4×4MC的动态矢量，因而根据在③-1-1中规定，使用半像素精度的虚拟抽样的来决定动态矢量。总之，PMV1、MV5、MV1～MV4、PMV2之间存在着虚拟抽样精度的不同。另一方面，动态矢量编码时预先预测矢量值和该虚拟抽样精度为已知。将其利用，在实施形态1中，为了得到预测差分值(MVD)进行适应地动态矢量的精度的对比。即通过以下条件，求得预测差分值(MVD)。
(1)条件1自身(MV)为通过使用1/2精度虚拟抽样的动态矢量获得的动态矢量的情况，通过PMV精度，分为以下这样2部分。
条件1-1PMV为使用相同精度虚拟抽样的动态矢量的情况MVD＝MV PMV条件1-2PMV为使用1/4精度虚拟抽样的动态矢量的情况MVD＝MV(PMV＞＞1)(2)条件2自身(MV)为通过使用1/4精度虚拟抽样的动态矢量获得的动态矢量的情况，通过PMV精度，分为以下这样2部分。
条件2-1PMV为使用1/4精度虚拟抽样的动态矢量的情况MVD＝MV PMV条件2-2PMV为使用1/2精度虚拟抽样的动态矢量的情况MVD＝MV(PMV＜＜1)而，x＜＜y表示向相对x的左方向的y位移计算，x＞＞y表示向相对x的右方向y位移计算。
作为PMV1与MV1、MV3之间的规则，适用上述条件1-2，作为MV1、MV3和MV2、MV4之间的规则，适用上述条件1-1，作为PMV2和MV5之间规则则适用条件2-2。
通过此顺序，能够以对应半像素精度的动态矢量的半像素精度算出MVD，与使用平常1/4像素精度的MVD相比，能够削减编码量。
③-1-4花费计算·最小花费的更新(步骤ST5、步骤ST6、步骤ST7)通过编码上述结果所得到的预测差分值(MVD)，能够得到编码量RMVD。使用其和步骤ST2中的SAD，对于各动态矢量候补通过下述公式求得花费C(步骤ST5)。
C＝SADMV+λRMVD(λ是正常数)动态补偿部7每次算出上述的花费，判断算出花费是否最小(步骤ST6)，如果现在还具有比以前算出模式的花费小的值(步骤ST6“Y”)，在进行最小花费更新同时，保持当前预测模式、动态矢量数据(步骤ST7)。
并且，步骤ST1～步骤ST7执行对于16×16MC～8×8MC和其以下全部的分割模式，步骤ST2～步骤ST5相对各动态矢量检测单位区域，在预先编码部中所设定的特定动态矢量探索范围内，即在对应规定水平·垂直方向平行移动量的上限的全部窗口内的动态候补执行。
③-1-5最终模式·动态矢量的决定(步骤ST8、步骤ST9)以上说明的③-1-4的花费的计算·最小花费的更新处理(步骤ST5、步骤ST6、步骤ST7)结束之后，接着判断是否以全部预测模式算出花费(步骤ST8)，如果没有以全预测模式算出花费(步骤ST8“N”)，在以上说明的③-1-4之前进行所示的处理(步骤ST1～步骤ST7)，另一方面，在以全部预测模式完成花费计算的情况时(步骤ST8“Y”)，在③-1-4中得到的微块单位的花费之中，决定最小花费预测模式作为实际地编码预测模式(步骤8T9)。而且，在预测模式决定同时，决定对应当前预测模式的动态矢量(步骤ST9)。
通过以上说明的动态补偿预测处理决定的预测模式通过与最终的内模式相比较，决定最适合的模式，编码模式信息13通过可变长编码部6在微块单位中被复用为图像压缩数据26。而且，被决定的动态矢量数据5以③-1-3的顺序，进行MVD数据化，通过可变长编码部6在微块单位中被复用为图像压缩数据26③-2在解码装置中动态补偿处理图9中表示的是在解码装置中动态补偿处理的流程图。以下，参考流程图详细地说明在解码装置侧动态补偿处理。
③-2-1预测模式、动态矢量数据的解码(步骤ST10)在如图4所示的解码装置端，可变长解码部27从例如图3所示的编码装置输出的图像压缩数据26在微块单位中解码编码模式信息。其所示为内(帧间预测)模式的情况，可变长解码部27接着以预测差分值(MVD)的形式解码被编码的动态矢量数据5(步骤ST10)。
③-2-2虚拟抽样精度的决定(步骤ST11)编码模式信息13表示在内(帧间预测)模式，即在本实施形态1的情况例如图6所示的任意动态矢量补偿预测模式的情况中，编码装置中动态补偿预测处理顺序与说明的③-2-1(步骤ST1)的情况相同，进行虚拟抽样精度的决定。也就是，如在编码装置的工作中的说明，由于动态补偿预测的单位，即表示动态矢量检测单位区域的大小等的信息作为编码模式信息13中动态预测模式的一部分通过可变长编码部6编码，在解码装置侧通过在解码的编码模式信息13中作为包含形状信息的动态预测模式的一部分，能够判定具有动态补偿预测单位的动态矢量检测单位区域形状或大小、和根据其形状或大小一次决定的虚拟抽样精度。
③-2-3动态矢量的解码(步骤ST12)下面，对应实际的动态矢量适用单位区域、即编码装置的说明中各动态矢量检测单位区域，使用以预测差分值(MVD)的形式被解码的动态矢量，解码为所使用的动态矢量数据(MV)(步骤ST12)。此顺序在本实施形态1中由可变长解码部27等中进行，在编码装置中动态补偿预测处理顺序如果为说明的③-1-3也是可以的。也就是，在本实施形态1的情况，与虚拟抽样精度的判定的情况相同，根据作为包含形状信息的编码模式信息13中的动态预测模式的一部分，由于一次地决定动态矢量的预测还原方法，根据此形态信息切换动态矢量的预测还原方法解码动态矢量。使用图8说明与③-1-3顺序的对比。
与③-1-3相同，这里编码装置·解码装置之间使用预先决定的共用的预测值设定方法。首先，对应MV1、MV3使用PMV1，以MV1＝MVD1+(PMV1＞＞1)MV3＝MVD3+(PMV1＞＞1)进行解码。这里，MVD1为对应MV1的预测差分值(MVD)，MVD3为对应MV3的预测差分值(MVD)。
而且，对应MV2、MV4，以MV2＝MVD2+MV1MV4＝MVD4+MV3对应MV5，MV5＝MVD5+(PMV2＜＜1)进行解码。
即，根据以下条件公式。
(1)条件1自身(MV)通过使用1/2像素精度的虚拟抽样预测获得动态矢量的情况，根据PMV的精度，分为以下这样2部分。
条件1-1PMV为使用相同精度虚拟抽样的动态矢量的情况时MV＝MVD+PMV条件1-2PMV为使用1/4精度虚拟抽样的动态矢量的情况时MV＝MVD+(PMV＞＞1)(2)条件2自身(MV)为通过使用1/4精度虚拟抽样的动态矢量获得的动态矢量的情况，根据PMV精度，分为以下这样2部分。
条件2-1PMV为使用相同精度的虚拟抽样的动态矢量的情况MV＝MVD+PMV条件2-2PMV为使用1/2精度虚拟抽样的动态矢量的情况MV＝MVD+(PMV＜＜1)使用此规则进行动态矢量的解码。
③-2-4预测图像生成(步骤ST13、S14)根据在③-2-2中被决定的虚拟抽样生成规则，使用在③-2-3中被解码的动态矢量数据，在每个各自动态矢量适用单位区域中生成预测图像。对于虚拟抽样，进行如现有例的图1所示半像素精度抽样的生成、如图2所示的1/4像素精度抽样的生成。但是，不进行在图2的端点的像素值反复使用，因为滤波分支具有一般性，以下为K分支。从而，与使用半像素精度虚拟抽样的8×8MC小的例如8×4、或4×8、4×4MC以下各个模式的情况下相比，与在编码装置中动态补偿预测处理的步骤ST2的情况相同，在虚拟抽样生成中使用的像素数据如图7的下层所示，生成预测图像。
从而，通过使用根据以上构成的本实施形态1的图像编码装置或解码装置，适应动态局部状况，在切换对应成为动态补偿预测单位的块的大小进行动态补偿预测时的虚拟抽样精度同时，由于也切换动态矢量的计算方法，能够进行抑制存储带宽宽度，并保持画质的压缩编码。特别地，存储带宽宽度的削减，特别是实际安装以图像再生为主的播放器到便携电话、便携信息终端等硬件时，发挥了图像解码处理实际安装的简略化、消费电力化的显著效果。
并且，在上述实施形态1的说明中，随着在对应成为动态补偿预测单位的块大小，对在进行动态补偿预测时的虚拟抽样的精度进行切换，同时，也切换动态矢量的计算方法，而在本发明中，并不限定于此，对应成为动态补偿预测单位的块大小，仅仅对在进行动态补偿预测时的虚拟抽样精度进行切换，不切换动态矢量的计算方法也是显然可以的。但是，在此情况中，能够在抑制存储带宽宽度同时使编码效率提高，但仅仅部分降低动态补偿预测的精度，画质会变化下降。其也适用于以下全部的实施形态中。
而且，在本实施形态1中，在决定编码装置中的③-1-1、解码装置中的③-2-2中虚拟抽样精度后，具有变更用来生成与使用的虚拟抽样精度配合的虚拟抽样精度的处理的结构。在1/4像素精度的情况时，首先通过如图2使用整数像素数据K(＝8)分支滤波器生成半像素精度虚拟抽样，进一步通过线性插值将生成的半像素精度虚拟抽样生成1/4像素精度抽样。在半像素精度的情况时，通过整数像素数据的线性插值生成半像素精度抽样。在此情况从存储器仅仅读出动态补偿预测对象块尺寸+周边1像素部分后结束。通过滤波处理的不同，在以较小块尺寸的动态补偿预测中，在此点降低从存储器读出的数据量，但此滤波处理其为依赖于虚拟抽样精度完全决定的构成也是可以的。总之，在仅仅使用半像素精度抽样的较小块尺寸的情况，以K分支滤波器构成半像素精度抽样也是可以的。通过此滤波处理的固定化，涉及从存储器读出的数据量，存储条不会削减，但另一方面，不必要从由K分支滤波器产生的半像素抽样做出的1/4像素精度的抽样处理，并且③-1-3、③-2-3这样的动态矢量的表现精度能够照旧限制，能够高效率地动态矢量的编码。
另外，在本实施形态1中，通常以帧作为图像输入单位进行记述，但在假设奇数字段和偶数字段等交织图像输入的情况中，帧被严密地定义为由2个字段图像数据组合。此情况，本实施形态1的图像编码装置和图像解码装置可以明白也能够适用于构成每个字段微块的编码·解码的情况。其也适用于以下全部的实施形态中。
而且，在本实施形态1中，说明的是在作为比8×8小尺寸的8×4、或4×8、4×4尺寸的动态矢量检测单位区域中使用半像素精度的虚拟抽样，而本发明并不限定于此，作为比8×8小尺寸的4×2、或2×4等的8×4或4×8、4×4尺寸以外也是可以的，不但以8×8为基准，而是通过8×16或16×8等其它尺寸为基准的大小变更虚拟抽样的精度也是可以的。更进一步，在比8×8等特定尺寸小的尺寸的动态矢量检测单位区域中由于使用半像素精度的虚拟抽样，不用说，在比特定尺寸小的尺寸的动态矢量检测单位区域中以整数像素精度进行动态补偿预测也是可以的。如果这样，虽然画质稍有下降，但存储带宽宽度能够大幅度地削减。归根到底，在进一步分割有编码单位的微块，进行动态补偿预测的动态矢量检测单位区域中，下降以具有存储带宽宽度问题的特定块尺寸为基准的动态矢量的探索精度，可以较好地削减存储带宽宽度。其也适用于以下全部实施形态中。
实施形态2在本实施形态2中，可以为附加到如实施形态1所述的图像编码装置和图像解码装置，准备由多个帧存储器构成的帧存储器群，以微块或分割微块的动态补偿预测块为单位，使用多个帧存储器进行动态补偿预测块的装置，对其进行说明。
在图10中表示本实施形态2中图像编码装置的构成。相同图中，与图3所示的实施形态1的编码装置不同，其区别在于将帧存储器3置换为帧存储器群28，动态检测部2、动态补偿部7使用帧存储器群28，从多个帧存储器获得最适合预测图像和动态矢量的结构。动态检测部2、动态补偿部7与图3的编码装置相比工作在细节上不同，在以下以与此前提及的相同图编号进行说明。
①编码装置的工作概述输入图像信号1以各个图像帧被分割为微块单位进行输入。首先，在动态检测部2中，使用在帧存储器群28中存储的多个参考图像4检测在微块单位中的动态矢量5。
作为使用多个参考图像动态矢量检测的方法，例如为由ISO/IEC13818-2(MPEG-2视频标准)所公开的两方向预测。
图11表示由ISO/IEC13818-2(MPEG-2视频标准)所公开的两方向预测的执行方法。在相同图中，F(t)为现在编码对象输入图像帧，以帧存储器中存储的参考图像中F’()作为区别。B(x，y，t)为F(t)内具有的动态补偿预测单位块。在两方向预测中，将仅仅从B(x，y，t)位置的动态矢量MVt(B(x，y，t))移动的过去的参考图像F’(t-1)中的块图像作为前方向预测图像Pf(B(x，y，t))，将仅仅从B(x，y，t)位置的动态矢量MVb(B(x，y，t))移动的未来的参考图像F’(t+1)中的块图像作为后方向预测图像Pb(B(x，y，t))，通过Pf(B(x，y，t))与Pb(B(x，y，t))的相加平均生成B(x，y，t)的预测图像Pi(B(x，y，t))。MVf(B(x，y，t))或MVb(B(x，y，t)在动态检测部2中，分别在对应的参考图像上给予的探索范围内B(x，y，t)的图案的类似度较高，或者探索图素差分成为最小的块图像，符合其检测偏移部分的值。
图12表示使用多个参考图像检测动态矢量的单向预测的一例。图12所示其它例为例如特开平4-127689号公报中所公开在帧存储器群28中能够存储过去的多个参考图像的结构的编码装置，其为与动态补偿预测单位块B(x，y，t)相类似的块图像不是之前的参考图像F(t-1)，即使在进一步在找到其前参考图像F(t-2)的情况时，为了使用动态矢量MVt-2(B(x，y，t))进行动态补偿预测，也适应图像局部性质进行动态预测的装置。
在本实施形态2中，由于是具有由多个帧存储器构成的帧存储器群28，使用在此多个帧存储器分别存储的多个参考图像检测动态矢量，其也能够适用于图11或图12中任意构成的编码装置。
其次，在本实施形态2中，在上述图11或图12的事例的由此被检测的动态矢量5中，此动态矢量5明确了分组指示参考在帧存储器群28中哪个帧存储器的信息。
因此，在本实施形态2的动态补偿部7中，根据这些信息参考帧存储器群28中适合的帧存储器，从而能够得到预测图像8。进一步通过完成与输入信号1的差分能够得到预测残留信号9。并且，也可以是动态矢量5指示参考在帧存储群28中的某个帧存储器的信息，并不是动态矢量5，表现出以用来向解码器通知编码数据形式的其它信息。
而且，在本实施形态2的编码模式判定部12中，从指定编码预测残留信号9的动态预测模式、进行帧内编码的内模式等、微块编码方法的多个模式中选择能够具有较高效率编码此微块的模式，作为编码模式信息13输出。动态预测模式符合识别出仅仅使用如实施形态1中说明的如图6所示的微块内分割形状、和图11中的Pf(B(x，y，t))进行预测；或仅仅使用Pb(B(x，y，t))进行预测；或者取它们的加法运算平均等的信息等。此编码模式信息13作为编码对象信息向可变长编码部传送。选择以编码模式信息13作为动态预测模式的情况时，动态矢量5作为编码对象信息向可变长编码部6传送，进行可变长编码。
并且，在编码模式判定部12中，具有所选择的编码对象11的编码的正交变换部的以下处理因为与实施形态1相同，省略说明。
下面，对于本实施形态2中图像解码装置进行说明。
图13表示在本实施形态2中图像解码装置的构成。相同图中，与图4所示实施形态1的解码装置的不同之处在于将帧存储器3置换为帧存储器群28，动态补偿部7根据由可变长解码部27解码的动态矢量5和编码模式信息13，构成为从在帧存储器群28中被指定的帧存储器得到预测图像。动态补偿部7与图4的解码装置相比在工作的细节上不同，但以下在此前提下由同一图号进行说明。
②解码装置的工作概述在解码装置中接收图像压缩数据26，首先由可变长解码部2进行后述的平均信息量解码处理，还原动态矢量5、编码模式信息13、正交变换系数数据17、量子化步骤参数23等。并且，通过正交变换系数数据17、量子化步骤参数23的预测残留信号的还原处理因为与实施形态1的解码装置相同，省略其说明。
于是，与实施形态1的解码装置的情况相同，动态补偿部7根据由可变长解码部27解码的动态矢量5和编码模式信息13，使用在帧存储器群28中特定帧存储器中存储的参考图像还原预测图像。
切换器54根据编码模式信息13，如果其为动态预测模式就向加法器55输出来自动态补偿部7的预测图像8，另一方面如果其为内模式则向加法器55输出0。在加法器55中，通过将这些来自切换器54的输出与作为解码信号的逆正交变换部19输出相加，得到还原图像21。因为还原图像21用于以后帧预测图像生成，将其在帧存储器群28中存储。
③动态补偿预测的工作在编码装置中使用动态检测部2、动态补偿部7和帧存储器群28进行的动态补偿预测处理或在解码装置中使用动态补偿部7、帧存储器群28进行的动态补偿处理中，从图11或图12可以得知，能够分离为每个帧存储器的处理单位进行考虑。在编码装置端各个参考图像(F’(t-1)等)使用被存储的帧存储器得到动态矢量5和预测图像8的处理能够认为是由实施形态1说明的由③-1-1～③-1-5构成的③-1的编码装置中动态补偿预测处理，而且在解码装置侧各个参考图像(F’(t-1)等)使用被存储的帧存储器得到预测图像8的处理能够认为是由实施形态1的由③-2-1～③-2-4构成的③-2的解码装置中动态补偿处理，其能够原样适用实施形态1所述的步骤。
从而，按照具有以上构成本实施形态2的图像编码装置或解码装置，上述实施形态1的图像编码装置和解码装置的情况相同，对应适应动态局部状况的作为动态补偿预测单位的块的大小，伴随在现有例中所述切换虚拟抽样精度，由于也切换动态矢量编码·解码方法，能够在抑制存储器条的大小同时保持画质进行压缩编码。
特别地，在如图11所示的在必须从包含前方向、后方向两方向的多个帧存储器中生成预测图像的情况时，或如图12所示即使在单方向也必须从多个帧存储器生成预测图像的情况时，得知仅仅从帧存储器读出的像素增大，但按照本实施形态2，在由于动态的复杂性而削弱精致的动态补偿预测效果的情况中，在半像素、或整数像素之前限定虚拟抽样精度，动态矢量的表现精度也变低，能够在保持编码效率同时，减低在帧存储器接入时的存储器条的大小。其结果是按照本实施形态2，特别是在参考多个帧存储器中存储的多个参考图像进行动态补偿预测两方向预测等的情况中，期待显著地削减在编码装置中动态矢量检测处理和解码装置的预测生成处理中的运算量的效果。
而且，在本实施形态2中，由于具有多个帧存储器，不仅仅进行如图11所示通常的两方向预测、或如图12所示的从过去的多个参考图像的单方向预测，例如通常根据解码图像进行此多个帧存储器内容的逐次更新，另一方面，在指示多个帧存储器中不仅仅更新一个帧存储器的内容，对多个帧存储器进行逐次更新的短期帧存储器、在下次事件发生之前不更新参考图像，将其作为长期帧存储器使用，使用短期帧存储器和长期帧存储器的参考图像进行动态补偿预测不用说也是可以的。如果这样，对应动态图像信号的时间局部特性，能够弹性地使用多个帧存储器，虽然高效率地使用帧存储器，但能够在不影响编码序列维持高预测效果同时进行编码。
特别地，适应动态局部状况，对应成为动态补偿预测单位的块大小，切换进行动态补偿预测时的虚拟抽样精度，也不仅仅切换动态矢量的计算方法，在进行此动态补偿预测区域单位中切换适应的图11所示两方向预测或如图12所示单方向预测等，或者在此区域单位通常根据解码图像进行此多个帧存储器内容逐次更新，在指示不仅仅更新多个帧存储器中一个帧存储器内容的情况中，按照适应地切换不更新多个帧存储器中一个帧存储器内容，即使不仅仅表现在空间，还有时间的局部动态等各种特征的情况下，在不增大存储器条的大小、提高编码效率同时，能够使用画质提高。
实施形态3在实施形态3中，对应如实施形态1或实施形态2所述的图像编码装置和图像解码装置，进一步对于使虚拟抽样计算方法的适应切换自由度提高而导入虚拟抽样计算方法切换的图像编码装置和图像解码装置进行说明。
在如实施形态1和2所示的图像编码装置和图像解码装置中，其结构为限定比图6的8×8MC较小，例如在8×4、4×8、4×4尺寸等的动态补偿预测为半像素精度的虚拟抽样的构成，但即使对图像进行以比8×8MC小的单位的动态矢量预测，为了提高预测效率也有需要1/4像素精度的动态补偿预测的情况。。例如，动态补偿预测对象的图像在充分地保存纹理同时，调查在输入信号中装载噪声成分产生动态矢量的测定值不规则的情况。在这样情况中，由于不单纯地固定虚拟动态复杂的虚拟抽样精度，适应图像局部信号状况，选择最适合的抽样精度，能够进行必须真正细微虚拟抽样精度的情况中追加必须最小限度的计算量的装置，当然能够得到图像编码质量的提高。
图14表示在本实施形态3中图像编码装置的构成。
图15表示在本实施形态3中图像解码装置的构成。在图14和图15中，如上所述的用来动态补偿预测精度的适应化，完成分配，其为具有动态补偿预测的精度切换信号的虚拟抽样精度切换标志29，在此以外，其与图3或图4所示实施形态1的图像编码装置或图像解码装置相同。
下面说明工作。
在如图14所示本实施形态3的编码装置端，虚拟抽样精度切换标志29根据在编码装置内部输入图像数据的事前解析或在包含编码装置的系统以外的重要原因，例如发送缓存储器24的缓存残留或编码位流等发送环境等，在特定图像数据单位进行标志值的决定，输入到动态检测部2和动态补偿部7。在动态检测部2和动态补偿部7中，根据输入的虚拟抽样精度切换标志29，如以下所示在适应地使切换单位变化同时，变更动态补偿预测时虚拟抽样精度、或动态矢量计算方法，生成动态矢量和预测图像。
对于虚拟抽样精度切换标志29的值，例如能够考虑以下所述附加的意义。具体地说，虚拟抽样精度切换标志29为ON或1，在成为切换单位的图像数据单位内，通过1/4像素精度的动态补偿预测进行在全部不满8×8MC的块尺寸中的动态补偿预测，称其为指示。总之，在此情况以使用如图2所示的多分支滤波器其为前提，允许从帧存储器读出较多像素数据优先预测效率。此时，因为全部动态矢量为相同精度，随着由③-1-1所述动态矢量的精度变换，不实施动态矢量预测和编码量计算。
与其相对，虚拟抽样精度切换标志29为OFF或0时，如果为全部不满8×8MC的图6的情况下，对8×4、或4×8、4×4尺寸中的动态补偿预测实施半像素精度动态补偿预测，称其为指示。此指定即使半像素精度的虚拟抽样也能够在必需充分获得预测效率的情况中使用。此时，在不满8×8MC的块尺寸中因为动态矢量精度差异，适宜地随着由③-1-1所述动态矢量的精度变换，实施动态矢量预测和编码量的计算。并且，ON/OFF、1/0的关系由于并不固定于此，当然进行逆关联的情况也是可以的(ON＝0、OFF＝1)。
成为虚拟抽样精度切换标志29的切换单位的图像数据单位例如为微块、片段(由多个微块构成的图像帧单位区域)、帧或字段(交织信号的情况)、序列(由多个图像帧构成的时间系列单位)等。
在这样的编码侧所设定的虚拟抽样精度切换标志29以特定图像数据单位在可变长编码部6中被复用为位流。
在解码装置中，如图15所示，可变长解码部27解码虚拟抽样精度切换标志29的值，虚拟抽样精度切换标志29基于被给予的每个图像数据单位的上述规范，可变长解码部进行必须对应由③-2-3所述精度适应的动态矢量5的解码处理，动态补偿部7构成为根据指定精度的虚拟抽样生成处理和动态矢量进行预测图像8的生成。
从而，按照具有以上构成的本实施形态3的图像编码装置和图像解码装置，能够自由地控制预测效率和运算负荷的权衡，能够进行自由度较高的图像编码。
并且，在实施形态3中，根据实施形态1的事例进行说明，不说明虚拟抽样精度切换标志29也能够适用于实施形态2中图像编码装置和图像解码装置。
实施形态4在上述实施形态1～3的图像编码装置和图像解码装置侧，内模式的情况时，不进行空间预测通过通常的帧内编码进行说明，在本实施形态4中，对于作为内模式的在帧内使用空间预测和通过编码差分信号的内模式进行编码而设置空间预测部10a的实施例进行说明。
图16表示对应如图3所示实施形态1的编码装置而追加空间预测部10a的本实施形态4的编码装置的构成。如图16所示，在本实施形态4的编码装置中，由于追加了空间预测部10a，从空间预测部10a向可变长编码部6输出内预测模式14，同时，切换器52中实施形态1～3的情况的内模式的0输入的取代为从空间预测部10a输出空间预测图像20。其它方面与实施形态1相同。
图17表示从如图4所示实施形态1的解码装置上追加空间预测部10a的本实施形态4的解码装置的构成。如图17所示，由于在本实施形态4的解码装置中追加空间预测部10a，即由于如图16所示的在编码装置追加空间预测部10a，从可变长解码部27向空间预测部10a输出内预测模式14，同时，切换器52中实施形态1～3的情况的内模式的0输入的取代为从空间预测部10a输出空间预测图像20。其它方面与实施形态1相同。
简单地说明工作，在如图16所示的本实施形态4的编码装置中，在通过空间预测部10a进行内预测模式编码的情况时，从空间预测部10a向可变长编码部6输出内预测模式14，在可变长度编码部6中，动态矢量5、量子化步骤参数23、编码模式信息13、正交变换系数数据17，内预测模式14也进行平均信息量编码，经由发送缓存器，作为图像压缩数据26传送。于是，在本实施形态4的切换器52中，根据编码模式信息13，在此编码模式信息13所示为作为时间方向预测的动态预测模式的情况中，将被逆量子化和逆正交变换的正交变换数据17与来自动态补偿部7的预测图像8相加，将其作为局部解码图像21向帧存储器3输出，或者此编码模式信息13所示为作为空间方向预测的内预测模式的情况中，将被逆量子化和逆正交变换的正交变换数据17与空间预测图像20相加，将其作为局部解码图像21输出，为了在以下帧动态预测中使用，将其作为参考图像数据在帧存储器3存储。
另一方面，在如图17所示的本实施形态4的解码装置中，可变长解码部27解码内预测模式14，并向空间预测部10a输出，还原空间预测图像20。于是，在本实施形态4的切换器54中，根据来自可变长解码部27的编码模式信息13，如果是作为时间方向预测的动态预测模式，将来自动态补偿部7的预测图像8向加法器55输出，另一方面，在所示为作为空间方向预测的内模式的情况中将空间预测图像20向加法器55输出。在加法器55中，通过将这些来自切换器54的输出与作为逆正交变换部19输出的解码信号相加，得到解码图像21，为了在以下帧预测图像生成中使用，将其在帧存储器3中存储。
从而，按照实施形态4的图像编码装置和图像解码装置，取代上述实施形态1的图像编码装置和图像解码装置中内模式，采用编码使用帧内空间预测的动态图像信号和与预测信号的差分信号的内预测模式，因而在得到与上述的实施形态1相同的效果的同时，也能够比上述实施形态1中进行通常内模式的压缩效率提高。
并且，在此实施形态4中，追加对应如图3所示的实施形态1的编码装置、和如图4所示实施形态1的解码装置的空间预测部10a，将其作为实施形态由图示进行说明，但本发明并不限定于此，也能够追加对应如图10和图13所示实施形态2的编码装置和解码装置的空间预测部10a，进一步也能够追加对应如图14和图15所示实施形态3的编码装置和解码装置的空间预测部10a，在此情况能够与上述相同地说明。
实施形态5在上述实施形态1～4中，是作为图像编码装置或图像解码装置等要素产品进行说明的，在此实施形态5中，对于实施形态1～4的图像编码装置或图像解码装置等实际安装的最终产品进行简单地说明。
图18表示实际安装实施形态1～4的图像编码装置和图像解码装置等的实施的便携电话的构成。此便携电话如图18所示构成具有接收收发送部71、基带处理部72、控制部73、声音编解码器74、视频编解码器75、接口76、照像机77、显示器78、麦克风·扬声器79、天线80，作为视频编解码器75其搭载实施形态1～4任意一个图像编码装置和图像解码装置。
从而，按照实施形态5的便携电话，通过实际安装实施形态1～4的图像编码装置和图像解码装置等要素产品，适应动态局部状况，能够在抑制存储器条的大小同时保持画质的进行压缩编码，通过存储器硬件削减，发挥出图像解码处理实际安装的简略化、消费电力化等显著的效果。
并且，在本实施形态5中，作为实际安装实施形态1～4的图像编码或图像解码装置等要素产品的最终产品，仅仅说明在视频编解码器75中搭载图像编码装置和图像解码装置双方的便携终端的一种实施例，但本发明并不限定于此，不用说也能够适用于仅仅搭载实施形态1～4的图像编码装置的放送装置、或仅仅搭载实施形态1～4的图像解码装置的DVD播放器等也是可以的。在硬件实际安装以这些图像再生为主的播放器、便携电话、便携信息终端等时，通过存储器硬件削减，发挥图像解码处理实际安装的简略化、消费电力化的显著的效果以上，仅仅参考最佳实施例详细地图示说明本发明，但在权利要求所记载范围的本发明宗旨和范围内，能够按照本领域技术人员理解能够在涉及形式和细微部分进行各种各样的变更。但能够明白此变更、代替、修正也包含在本发明范围内和申请人的意图中。
如以上所述，具有涉及本发明的涉及动态图像编码装置和图像解码装置中至少一个的通信装置即使在将微块等分割为小区域单位进行动态补偿预测的情况，抑制存储器条的大小，并且合适地使编码效率得到提高。
权利要求
1.一种动态图像编码装置，以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，将生成的预测图像与上述动态图像信号之间的差分信号压缩编码，从而生成编码位流，其特征在于具有存储在预测图像生成中使用的参考图像的帧存储器；对应成为动态补偿预测单位的区域形状，切换成为预测图像构成要素的虚拟像素精度，生成预测图像的候补，并生成提供此多个预测图像候补中预测效率较大的预测图像的动态矢量的动态检测部；以及基于由上述动态检测部生成的动态矢量，对应成为动态补偿预测单位的区域形状，切换成为预测图像构成要素的虚拟像素的精度，生成预测图像的动态补偿部，在上述编码位流中，复用表示成为上述动态补偿预测单位的区域形状的形状信息和上述动态矢量。
2.如权利要求1所述的动态图像编码装置，其特征在于在上述编码位流中，复用表示成为上述动态补偿预测单位的区域形状的形状信息、和对应于在该形状信息中所示的成为动态补偿预测单位的区域形状，切换上述动态矢量的预测编码方法并被编码的动态矢量。
3.如权利要求1所述的动态图像编码装置，其特征在于动态检测部对应成为动态补偿预测单位的区域形状，基于以特定动态图像数据单位控制对成为预测图像的构成要素的虚拟像素精度是否进行切换的控制信号，生成预测图像的候补，并生成提供此多个预测图像候补中预测效率较大的预测图像的动态矢量；动态补偿部根据由上述动态检测部生成的动态矢量，对应成为动态补偿预测单位的区域形状，根据以特定的动态图像数据单位控制对成为预测图像构成要素的虚拟像素精度是否进行切换的控制信号，生成预测图像。
4.如权利要求1所述的动态图像编码装置，其特征在于上述动态补偿部依照从根据作为多个精度的、存储在帧存储器中的参考图像的多个像素数据以特定方法生成虚拟像素的第1精度、和根据此第1精度的虚拟像素生成虚拟像素的第2精度中对每个上述区域单位所指示的某一精度，进行动态补偿预测，生成参考图像。
5.如权利要求1所述的动态图像编码装置，其特征在于成为上述动态补偿预测单位的区域是，进一步分割将动态图像信号的各帧分割为相当于亮度信号的16像素×16行的微块的预测单位块；表示该区域形状的形状信息为指示分割微块为预测单位块方法的信息。
6.如权利要求1所述的动态图像编码装置，其特征在于设置多个用于存储在预测图像生成中使用的参考图像的帧存储器；上述动态补偿部参考在上述多个帧存储器中存储的多个参考图像进行动态补偿预测，生成预测图像。
7.如权利要求1所述的动态图像编码装置，其特征在于还具有通过内模式对动态图像信号进行编码的内模式；有选择地进行上述动态补偿部的动态补偿预测模式、或上述内模式，同时，在上述编码位流中复用表示进一步选择的模式的编码模式信息。
8.如权利要求1所述的动态图像编码装置，其特征在于还具有通过空间预测模式对动态图像信号进行预测编码的空间预测部；有选择地进行上述动态补偿部的动态补偿预测模式、或上述空间预测部的空间预测模式，同时在上述编码位流中复用表示进一步选择的模式的编码模式信息。
9.一种动态图像编码方法，是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，将生成的预测图像和上述动态图像信号之间的差分信号进行压缩编码从而生成编码位流时的动态图像编码方法，其特征在于对应成为动态补偿预测单位的区域形状，切换成为预测图像构成要素的虚拟像素精度，生成预测图像的候补，并生成提供此多个预测图像候补中预测效率较大的预测图像的动态矢量，同时，基于生成的动态矢量，对应成为动态补偿预测单位的区域形状，切换成为预测图像构成要素的虚拟像素的精度，生成预测图像，在上述编码位流中，复用表示成为上述动态补偿预测单位的区域形状的形状信息和上述动态矢量。
10.一种动态图像解码装置，以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，输入将生成的预测图像与上述动态图像信号之间的差分信号进行压缩编码的编码位流，并还原动态图像信号，其特征在于具有存储在预测图像生成中使用的参考图像的帧存储器；输入上述编码位流，解码上述差分信号、动态矢量、和表示成为上述动态补偿预测单位的区域形状的形状信息的解码部；以及根据表示成为上述动态补偿预测单位的区域形状的形状信息，切换成为预测图像构成要素的虚拟像素精度，按照切换的精度使用由上述解码部解码的动态矢量，参考在上述帧存储器中存储的参考图像生成预测图像的动态补偿部；将由上述解码部解码的上述差分信号、由上述动态补偿部生成的预测图像相加，还原动态图像信号。
11.如权利要求10所述的动态图像解码装置，其特征在于解码部输入编码位流并解码差分信号和表示成为动态补偿预测单位的区域形状的形状信息，同时根据上述形状信息切换动态矢量的预测还原方法并进行动态矢量的解码。
12.如权利要求10所述的动态图像解码装置，其特征在于解码部输入编码位流并解码差分信号、表示成为动态补偿预测单位的区域形状的形状信息、和以特定动态图像数据单位定义的控制信号，同时，根据上述控制信号以特定的动态图像数据的单位控制是否根据上述形状信息切换动态矢量的预测还原方法，进行动态矢量的解码；动态补偿部根据上述控制信号以特定的动态图像数据单位控制是否根据表示成为动态补偿预测单位的区域形状的形状信息，切换成为预测图像构成要素的虚拟像素精度，决定虚拟像素的精度，根据所决定的精度使用由上述解码部解码的动态矢量，参考上述帧存储器中存储的参考图像，生成预测图像。
13.如权利要求10所述的动态图像解码装置，其特征在于上述动态补偿部依照从根据作为多个精度的、存储到帧存储器的参考图像的多个像素数据以特定方法生成虚拟像素的第1精度、和根据此第1精度的虚拟像素生成虚拟像素的第2精度中对每个上述区域单位所指示的某一精度，进行动态补偿预测，生成参考图像。
14.如权利要求10所述的动态图像解码装置，其特征在于成为上述动态补偿单位的区域是进一步分割将动态图像信号的各帧分割为相当于亮度信号的16像素×16行的微块的预测单位块；表示该区域形状的形状信息为指示分割微块为预测单位块方法的信息；对应的动态矢量为由各预测单位块利用的动态矢量。
15.如权利要求10所述的动态图像解码装置，其特征在于设置多个存储在预测图像生成中使用的参考图像的帧存储器；上述动态补偿部参考在上述多个帧存储器中存储的多个参考图像进行动态补偿预测，生成预测图像。
16.如权利要求10所述的动态图像解码装置，其特征在于上述解码部进一步从上述编码位流解码编码模式信息；根据上述编码模式信息，或者由内模式解码动态图像信号、或者由上述动态补偿部的动态补偿预测模式解码动态图像信号。
17.如权利要求10所述的动态图像解码装置，其特征在于具有通过空间预测模式对动态图像信号进行预测编码的空间预测部；上述解码部进一步从上述编码位流解码编码模式信息；根据上述编码模式信息，或者由上述空间预测部的空间预测模式解码动态图像信号、或者由上述动态补偿部的动态补偿预测模式解码动态图像信号。
18.一种动态图像解码方法，是以特定方法以分割的区域单位对动态图像信号的各帧进行动态补偿预测，输入将生成的预测图像和上述动态图像信号之间的差分信号进行压缩编码的编码位流，并还原动态图像信号时的动态图像解码方法，其特征在于输入上述编码位流，解码上述差分信号、动态矢量、表示成为上述动态补偿预测单位的区域形状的形状信息；根据表示成为该动态补偿预测单位的区域形状的形状信息，切换成为预测图像构成要素的虚拟像素精度，按照切换的精度使用上述解码的动态矢量，参考上述参考图像生成预测图像；将上述解码的上述差分信号和由上述动态补偿生成的预测图像相加，还原动态图像信号。
19.一种通信装置，其特征在于具有权利要求1所述的图像编码装置。
20.一种通信装置，其特征在于具有权利要求10所述的图像编码装置。
全文摘要
在各个区域的动态矢量的检测中，使用用了虚拟抽样的动态补偿预测，并且决定涉及各个动态矢量检测单位的区域的大小的局部虚拟抽样精度。例如，在比8×8 MC小的8×4、4×8、4×4尺寸的动态矢量检测单位区域中，使用半像素精度的虚拟抽样，在8×8 MC以上尺寸的动态矢量检测单位区域中使用1/4像素精度的虚拟抽样。由此，对于8×4、4×8、4×4 MC的各模式，能够削减在虚拟抽样生成时所必须的存储带宽宽度，具有简化装置的效果。
文档编号H04N7/36GK1557099SQ0380104
公开日2004年12月22日 申请日期2003年6月24日 优先权日2002年7月15日
发明者关口俊一, 久, 山田悦久, 太郎, 浅井光太郎 申请人:三菱电机株式会社