专利名称：图像的编码方法和图像的译码方法
技术领域：
本发明涉及预测图像的动态，将图像信号压缩编码的图像编码装置，图像译码装置，图像编码方法，图像译码方法以及记录为了用软件实施它们的程序的记录媒体。
背景技术：
近年来，伴随着多媒体应用的发展，一般地将图像、声音、文本等所有媒体信息进行统一处理。这时，通过将全部媒体数字化，能够统一地处理媒体。但是，由于数字化的图像具有庞大的数据量，所以，为了存储、传送图像的信息压缩技术是必不可少的。另一方面，为了相互运用压缩的图像数据，压缩技术的标准化是非常重要的。作为图像压缩技术的标准规范，有ITU-T(国际电气通信联盟电气通信标准化部门)的H.261，H.263，ISO(国际标准化机构)的MPEG(MovingPicture Experts Gruop)-1，MPEG-2，MPEG-4等。
图1是表示在动态图像中的运动补偿的概念的图示。其中，参照图像信号Ref内的被拍照物体Car和输入的图像信号Img内的被拍照物体CurCar作为同一个被拍照物体。此外，用图像信号Img内的虚线表达的被拍照物体，表示参照图像信号Ref内的被拍照物体的位置。在图像编码装置将图像信号Img内的像素块CurBlk编码的情况下，作为预测图像信号Pred，是参照图像信号Ref内相同的被拍照物体CurCar的图像，如果使用表示在被拍照物体CurCar的图像中相当于同一位置的图像的预测图像块PreBlk的像素的话，预测效率提高。即，如果将参照图像信号Ref内的相同的被拍照物体CurCar的图像移动到与图像信号Img内的被拍照物体CurCar相同的位置，求出像素值的差分的话，像素值的差分的绝对值变小，数据量的振幅缩小，容易进行压缩。将从预测图像块PreBlk的像素位置映射到像素块CueBlk的像素位置所必需的信息称之为运动参数信号MotionParam。作为装置运动参数信号MotionParam，例如，在MPEG-1、2、4，H.261、H.263中，使用表达块的平行移动的运动矢量。
图2是表示现有技术的图像编码装置100的结构的框图。图像编码装置100备有差分器101，图像编码部102，可变长编码部103，图像译码部104，加法器105，图像存储器106，像素块获取部107，开关108，开关109，像素插补部110，运动推断部111和像素插补使用判断部112。首先，图像编码装置100，从外部输入图像信号Img。其次，差分器101输出作为从外部输入的图像信号Img和从参照图像信号Ref获得的预测图像信号Pred的像素值的差分的差分图像信号Res。预先图像信号Pred是已编码的帧，是在译码部104被译码，根据不同的情况，利用像素插补部110进行插补，根据从运动推断部111的运动矢量被切成块的图像。图像编码部102将差分图像信号Res编码，输出差分图像编码信号CodedRes。在画面内编码的场合，由于不进行画面间的运动补偿，所以，认为预测图像的像素值为“0”。可变长编码部103将差分图像编码信号CodedRes和运动参数信号MotionParam可变长编码，作为一个编码信号Bitstream输出到图像编码装置100的外部。图像译码部104，为了用作运动预测的参照图像，将差分图像编码信号CodedRes译码，输出译码差分图像信号ReconRes。加法器105将译码差分图像信号ReconRes和预测图像信号Pred的像素值相加，作为译码信号Recon输出。译码图像信号存储在图像存储器106内，在将以后的帧编码时作为参照图像使用。图像存储器106将从加法器105输出的进行过编码的帧的某一个作为预测用的参照图像信号Ref加以保持。
像素块获取部107从保持在图像存储器106中的成为参照帧的帧中，按照从运动推断部111来的运动矢量提取像素块Blk，输出到开关108。开关108按照从像素插补使用判断部112来的插补判断信号UsePolator在端子“1”和“2”之间切换。端子“1”连接到开关109的端子“1”上，端子“2”连接到像素插补部110上。像素插补部110，当由运动矢量表示的块的移动量包含比整数像素单位小的单位移动量时，生成与其对应的位置的像素值，输出到开关109的端子“2”上。开关109按照从像素插补使用判断部112来的插补判断信号UsePolator将端子“1”和端子“2”进行切换地连接。运动推断部111从由外部输入的图像信号Img和参照图像信号Ref，求出运动参数信号MotionParam。像素插补使用判断部112，根据由运动参数信号MotionParam判断在用参照图像信号Ref生成预测图像信号Pred时，是否进行像素插补。
即，根据图1所示的被拍照物体的运动，在利用比整数像素单位小的单位的运动进行预测时，预测效果高，一般地，在伴随着比整数像素单位小的单位的运动圆形图像像素值的计算中，使用像素插补。该像素插补，通过对参照图像的像素值利用线性过滤器进行滤波来进行。如果增加这种线性过滤器抽头数的话，可以实现具有良好的频率特性的过滤器，预测效果高并且处理量增大。另一方面，当过滤器的抽头数少时，过滤器频率特性变差，预测效果降低，处理缩小。
像素插补使用判断部112，判断在由运动参数信号MotionParam预测图像的生成时是否进行像素插补。具体地说，像素插补使用判断部112，在运动参数信号MotionParam包含比整数像素单位小的单位的移动量时，判断为使用像素插补，输出值为“1”的像素插补使用控制信号UsePolator。运动参数信号MotionParam表示整数像素单位的运动时，判断为不应该使用像素插补，输出值为“0”的像素插补使用控制信号UsePolator。在像素插补使用控制信号UsePolator为“0”的场合，开关108和开关109前切换到端子“1”侧，在像素插补使用控制信号UsePolator为“1”时，开关108和开关109切换到端子“2”侧。在开关108和开关109连接到端子“2”上时，使用像素插补部110，将像素块Blk进行像素插补，成为圆形图像信号Pred。如果开关108和开关109成为“0”的话，不进行像素插补，原封不动使用像素块Blk作为预测图像信号Pred使用。
图3是表示现有技术的图像译码装置200的结构的框图。首先，图像译码装置200，从外部输入编码信号Bitstream。其次，利用可变长译码部201，将编码信号Bitstream进行可变长译码，分离成差分图像编码信号CodedRes和运动参数信号MotionParam。图像译码部202将差分图像编码信号CodedRes译码，作为译码差分图像信号ReconRes输出。加法器203，将预测图像信号Pred和译码差分图像信号ReconRes相加，作为译码图像信号Recon输出。此外，将译码图像信号Recon的几个作为参照图像Ref，存储在图像存储器204中。像素块获取部207，从参照图像信号Ref内表示运动参数信号MotionParam的位置获取像素集合(但有时为了插补处理，获取比实际的预测块大的区域)。
像素插补使用判断部212，由运动参数信号MotionParam判断在预测图像的获取中是否应该使用像素插补。例如，如MPEG1-1、2、4所述，在表示像素块的并行移动的运动矢量的情况下，可以利用运动矢量是否被整数除尽，判断是否应该使用像素插补。当像素插补使用判断部212判断为应该使用像素插补时，输出值为“1”的像素插补使用控制信号UsePolator，当判断为不应该使用像素插补时，输出值为“0”的像素插补使用控制信号UsePolator。在像素插补使用控制信号UsePolator为“0”时，开关208和开关209切换到端子“1”侧，在像素插补使用控制信号UsePolator为“1”时，开关208和开关209切换到端子“2”侧。如果开关208和开关209成为“2”的话，使用由像素插补部209进行的像素插补，将像素块Blk进行像素插补，作为预测图像信号Pred。如果开关208和开关209成为端子“1”的话，不进行像素插补，原封不动利用像素块Blk作为预测图像信号Pred。
但是，在便携式电话机和PDA(Personal Digital Assistant个人数字辅助装置)等便携式设备中，为了以电池为电源能够长期使用，抑制耗电量，只能使用处理能力低的运算器，有时只能使用处理小的像素插补方法。另一方面，根据不同的图像，为了实现高的编码效率，尽管处理量大，有时也希望使用预测效果高的像素插补方法。如果动态图像的编码方式能够灵活地适应这些要求的话，对于扩大其使用范围是有益的。
发明内容
鉴于上述课题，本发明的目的是，提供一种可以根据编码的图像信号，选择不同的像素插补方法的图像编码方法和图像译码方法。
为达到上述目的，本发明的图像编码方法，利用由参照图像生成的预测图像对输入图像进行编码，其特征在于，在上述预测图像的生成过程中使用如下的像素插补方法通过像素插补并根据位于小数位置像素的周边的多个整数位置像素的像素值，求出对上述参照图像的上述小数位置像素的像素值；该图像编码方法包括如下步骤在利用N个像素生成一个插补像素的过滤处理中，从N的数值不同的、具有多个上述过滤处理的像素插补方法中选择一个像素插补方法的选择步骤；使用选择出的像素插补方法，根据上述参照图像生成上述预测图像的预测图像生成步骤；利用上述预测图像将上述输入图像编码的编码步骤。
此外，为达到上述目的，在本发明的另一图像编码方法中，其特征在于，对每个帧进行上述像素插补方法的选择，将确定被选择出的上述图像插补方法的像素插补类别信号作为编码信号配置在帧标题中。
此外，为达到上述目的，在本发明的再一图像编码方法中，其特征在于，利用N个像素生成一个插补像素的上述过滤处理，是抽头数为N的过滤器的运算处理。
并且，为达到上述目的，在本发明的图像译码方法中，利用由参照图像生成的预测图像对编码信号进行译码，其特征在于，在上述预测图像的生成中使用如下的像素插补方法通过像素插补并根据位于小数位置像素的周边的多个整数位置像素的像素值，求出对上述参照图像的上述小数位置像素的像素值；该图像译码方法包括如下步骤在利用N个像素生成一个插补像素的过滤处理中，从N的数值不同的、具有多个上述过滤处理的像素插补方法中选择一个像素插补方法的选择步骤；使用选择出的像素插补方法，根据上述参照图像生成上述预测图像的预测图像生成步骤；利用上述预测图像将上述编码信号译码的译码步骤。
此外，为达到上述目的，在本发明的另一图像译码方法中，其特征在于，对每个帧选择上述像素插补方法，上述像素插补方法的选择是根据作为编码信号配置在帧标题中的像素插补类别信号来选择。
此外，为达到上述目的，在本发明的另一图像译码方法中，其特征在于，利用N个像素生成一个插补像素的上述过滤处理，是抽头数为N的过滤器的运算处理。
图1是表示在动态图像中运动补偿的概念的图示。
图2是表示现有技术的图像编码装置的结构的框图。
图3是表示现有技术的图像译码装置的结构的框图。
图4是表示本发明的图像编码装置的结构的框图。
图5是表示本发明的图像译码装置的结构的框图。
图6(a)是表示在1/2像素过滤器中，计算从已有的像素在i轴向方向偏移1/2个像素的位置处的像素的像素值的计算方法的一个例子的图示。图6(b)是表示在1/2像素过滤器中，计算从已有的像素在j轴向方向偏移1/2个像素的位置处的像素的像素值的计算方法的一个例子的图示。
图7(a)是表示表示代动态图像的各帧的图像的种类和像素插补的方法之间的关系的图示。图7(b)、上表示本发明的图像编码装置和图像译码装置中的插补方法的选择顺序的流程图。
图8是表示用帧单位切换像素插补方法的图像编码装置的结构的框图。
图9是表示图像编码装置的插补方法的选择顺序的流程图。
图10(a)是表示本发明的编码信号Bitstream的位流结构的图示。
图10(b)是以帧为单位切换像素插补的方法的情况下的编码信号Bitstream的位流结构的图示。
图11是表示本实施形式的另外的图像译码装置的结构的框图。
图12是表示保持在图11所示的像素插补类别变换部中的插补类别的一个例子的图示。
图13是根据本发明的实施形式2的图像编码装置的结构的框图。
图14是表示将作为图13所示的图像编码装置的输出的编码信号Bitstream3译码的图像译码装置的结构的框图。
图15是利用存储从上述实施形式1至实施形式3的图像编码方法或者图像译码方法的软盘，由计算机加以实施的情况的说明图。图15(a)是表示作为记录媒体的软盘的物理格式的例子。图15(b)是表示从软盘的正面观察时的外观、剖面结构，以及软盘，图15(c)表示在软盘FD上进行上述程序的记录再生用的结构。
图16是表示实现内容分配发送服务的内容供应系统的整个结构的框图。
图17是表示便携式电话的外观的一个例子的图示。
图18是表示便携式电话的框图。
图19是说明使用进行上述实施形式所述的编码处理或者译码处理的设备、以及使用该设备的系统的图示。
具体实施例方式
下面，参照
本发明的具体的实施形式。
(实施形式1)图4是表示本发明的图像编码装置400的结构的框图。此外，对于图2所示的现有技术的图像编码装置100中各结构部件和完成相同动作的结构部件及信号，赋予相同的参考标号，省略其说明。
图像编码装置400，是按照从外部输入的图像类别信号PicType，选择性地进行精度不同的像素插补的图像编码装置，包括差分器101，图像编码部102，可变长编码部103，图像译码部104，加法器105，图像存储器106，像素块获取部107，开关108，开关109，开关401，开关402，像素插补部A403，像素插补部B404，运动推断部111以及像素插补使用判断部112。图像编码装置400，从外部输入包含图像类别信号PicType的图像信号Img。在开关401和开关402上，作为图像类别信号PicType，例如通常输入在不参照其它帧、表示B图像的“1”的情况下，开关401和开关402切换到端子“1”侧，利用像素插补部A403进行像素插补。即，在开关401和开关402分别连接到端子“1”上时，对于像素块信号Blk，采用由像素插补部A403进行的像素插补。在像素插补部A403，利用过滤器抽头少的、例如抽头数为“4”的简化的插补方法。作为图像类别信号PicType，例如，在输入表示参照其它帧的图像的“2”时，即，在输入表示B图像的“1”以外的值时，开关401和开关402切换到端子“2”侧，对于像素块信号Blk，采用用像素插补部B404进行的像素插补。在像素插补部B404，利用过滤器抽头数多的，例如抽头数为“8”的精度高的插补方法。这样，被进行像素插补的像素块Blk，作为预测图像信号Pred，被输入到差分器101。
此外，由于B图像同时参照两个图像生成预测图像，所以，在参照的各图像中有必要进行像素插补。从而，与仅参照一个图像的P图像相比，像素插补的运算量成为2倍，所以，在B图像中使用简化的插补方法，在各图像中可以将必要的运算量平滑化，是有效的。从而，在用另外的帧参照的B图像中，使用简化的插补方法也是有益的。
此外，图像类别信号PicType的值“2”、“1”、“0”，是为了说明方便而定义的值，只要是能够区别多个像素的插补方法的值，可以是任何值。通过将表示所使用的像素插补方法的图像类别信号PicType通知图像译码装置，在图像译码装置中，可以使用和在图像编码装置中使用的像素插补部相同的像素插补方法。
图5是表示本发明的图像译码装置500的结构的框图。此外，在该图中，由于和图3所示的图像译码装置200同样的结构部件已经进行过说明，所以赋予相同的标号，省略器说明。图像译码装置500，是将每一种图像类别使用的不同的像素插补方法编码的信号Bitstream进行译码的图像译码装置，包括可变长译码部210，图像译码部202，加法器203，图像存储器204，像素块获取部207，开关208，开关209，像素插补使用判断部212，开关501，开关502，像素插补部A503以及像素插补部B504。在图像译码装置500中，可变长编码部505，将从外部输入的编码信号Bitstream可变长译码，将图像类别信号PicType和差分图像编码信号CodedRes和运动参数MotionParam从可变长译码信号Bitstream中分离出来，分别将图像类别信号PicType输入到开关501和开关502，将运动参数信号MotionParam输入到像素插补使用判断部212和像素块获取部207，将差分图像编码信号CodedRes输入到图像译码部202。当作为图像类别效果picType，例如，将表示不参照其它帧的B图像的“1”输入到开关501和502上时，开关501和开关502切换到端子“1”侧，利用像素插补部A503进行像素插补。即，当开关501和开关502分别连接到端子“1”上时，对像素块信号Blk，采用由像素插补部A503进行的像素插补。在像素插补部A503采用过滤器抽头数少，例如抽头数“4”的简化插补方法。作为图像类别信号PicType，例如，输入表示参照其它帧的P图像的“2”时，即，输入表示B图像的“1”以外的值时，开关501和开关502切换到端子“2”侧，对像素块信号Blk，采用由像素插补部B504进行所像素插补。在像素插补部B504，采用过滤器抽头数多的、例如抽头数为“8”的精度高的插补方法。
此外，由于B图像同时参照两个图像生成预测图像，所以，在所参照的各图像有必要进行像素插补。从而，与仅参照一个图像的P图像相比，像素插补运算量成为2倍，所以，在B图像中使用简化的插补方法，可以将在各图像中必要的运算量平滑化，是有效的。从而，在参照其它帧的B图像中，使用简化的插补方法是有益的。
此外，在用图像编码装置对P、B图像都使用了相同像素插补过滤器的像素插补位流进行译码的场合，在图像译码装置500中，可以使用仅简化B图像的。在这种情况下，由于B图像的像素插补过滤器与在图像编码装置中使用的像素插补过滤器不同，所以，在B图像中发生画质恶化，但由于B图像被其它图像参照的少，所以，与P图像中发生画质恶化的情况相比，对以后图像，画质恶化传播较少。
进而，在图像译码装置500中不安装和图像编码装置中使用的像素插补过滤器相同的过滤器情况下，可以代之以使用在图像编码装置中采用的像素插补过滤器的抽头数以下的最接近的抽头数的像素插补过滤器。在这种情况下，由于使用和在图像编码装置中所使用的像素插补过滤器不同的像素插补过滤器，所以，会发生画质恶化，但可以继续进行位流的译码。
图6(a)是表示在1/2像素过滤器中，计算在位于从已有的像素在i轴方向偏移1/2个像素的位置处的像素的像素值的方法的一个例子的图示。图6(b)是表示在1/2像素过滤器中，计算在位于从已有的像素在j轴方向偏移1/2个像素的位置处的像素的像素值的方法的一个例子的图示。在图6(a)和图6(b)中，○表示整数位置的像素，×表示小数位置的像素。此外，在该图中，i，j是整数。I(x，y)表示在座标(x，y)处的像素值。1/2像素过滤器由利用○表示的整数位置的像素处的像素值计算用×表示的实际上像素不存在的小数位置的像素的像素值的软件和集成电路来实现。在图6(a)中，对位于座标(i-0.5，j)位置处的像素的像素值I(i-0.5，j)时的情况进行说明。例如，抽头数N(N为偶数自然数)为“2”时，对座标(i-0.5，j)，利用i轴方向的两侧邻接的两个像素的像素值(I(i-1，j)和像素值I(i，j)。像素值I(i-0.5，j)，利用作为i轴方向的像素值的积和的公式1，表示如下。
I(i-0.5,j)=Σk=0Nak·I(i-trunc(N/2)+k,j)]]>…(式1)在式1中，ak表示过滤器系数，trunc(n)表示相对于n舍去小数。这样，在式1中，通过选择适当的过滤器系数ak，在作为1/2像素的(i-0.5，j)的位置上的像素的像素值I(i-0.5，j)，是作为在其两侧的像素中的N个像素值的平均值求出的。此外，例如，在抽头数N为“4”时，对(i-0.5，j)的位置上的像素，除i轴方向两侧的邻接的两个像素的像素值I(i-1，j)和像素值I(i，j)之外，进一步利用i轴方向的两侧邻接的像素的像素值I(i-2，j)和像素值I(i+1，j)。同样地，在抽头数N增加到“6”，“8”时，通过把这些值代入到式1中的N，可以很容易地求出。
在图6(b)中，对求出在座标(i，j-0.5)位置处的像素的像素值I(i，j-0.5)的情况进行说明。即，预测图像在参照图像的j轴方向移动小数像素的情况。例如，在抽头数M(M是偶数自然数)为“2”时，对座标在(i，j-0.5)位置处的像素，利用j轴方向的两侧邻接的两个像素值I(i，j-1)和像素值I(i，j)。该像素值II(i，j-0.5)，用作为j轴方向的像素值的积和的公式2，表示如下。
I(i,j-0.5)=Σm=0Mam·I(i,j-trunc(M/2)+m)]]>…(式2)
在式2中，am表示过滤器系数。在这种情况下，在抽头数增加到“4”，“6”，“8”时，通过将该值代入式2的M，可以求出座标(i，j-0.5)的位置处的像素的像素值。
此外，图中没有示出，在预测图像在参照图像的i轴方向、j轴方向分别移动1/2像素时，在座标(i-0.5，j-0.5)处预测图像的像素值I(i-0.5，j-0.5)，用作为i轴方向和j轴方向的像素值的积和的式3表示如下。
I(i-0.5,j-0.5)=Σm=0MΣk=0Nam·ak·I(i-trunc(N/2)+k,j-trunc(M/2)+m)]]>…(式3)如从以上的公式可以看出的，实现像素插补部A和像素插补部B的像素过滤器过滤器抽头(tap)数越多，预测精度越高，反过来，运算处理量增多，图像编码装置的处理负荷加重。
如上所述，在图像编码装置400和图像译码装置500的像素插补部之间，可以使用多个不同预测性能、处理量的像素插补部。使用不同预测性能、处理量的像素插补部有以下优点。为了说明简单起见，像素插补部A比像素插补部B处理量少，像素插补部B比像素插补部A预测效率高。作为将本发明的图像编码装置输出的编码信号进行译码的图像译码装置，考虑只配备有像素插补部A的图像译码装置、和配备有像素插补部A和像素插补部B两者的图像译码装置两种图像编码装置。
前一种图像编码装置适合于要求的处理量少，处理能力低的设备。后一种图像译码装置适合于处理量大的设备。后一种图像译码装置，能够将使用像素插补部A和像素插补B中的任何一个像素插补部的编码信号进行译码，对前一种图像译码装置可以具有上位互换性。如上面说明的，通过根据图像译码装置，选择具有适当的预测性能、处理量的像素插补部，可以将编码方式应用于种类广泛的设备。
此外，除用于生成适应于图像译码装置的处理能力的编码信号之外，可以根据图像编码装置的处理能力，切换像素插补部。例如，在编码图像的尺寸和帧滞后大的情况下，要求整个编码处理的处理量大。从而，在编码的图像尺寸和帧滞后在一定值以下的情况下，使用像素插补部B，在编码的图像尺寸和帧滞后在一定值以上的情况下，使用要求处理能力低，即，处理负荷小的像素插补部A，可以不提高要求整个编码处理的处理量。
此外，在用同时执行多个处理的分时系统图像编码的场合，由于其它处理的影响花费在图像编码上的处理量有可能动态地变化。因此，当花费在图像编码上的处理量在一定值以上时，可以使用处理量多的像素插补部B，在当花费在图像编码上的处理量在一定值以下时，可以使用处理量少的像素插补部A。
此外，也可以配备多个适合于特定性质的图像像素插补部，按照图像所性质以帧为单位切换像素插补部。例如，在文字等边缘信息重要的情况下，使用边缘的保存性能优异的像素插补部。如果能够进行多个像素插补部的切换的话，由于可以选择最适合于图像性质的像素插补方法，所以，可以进一步提高预测效率。
进而，在如B图像等那样同时参照两个图像生成预测图像的情况下，有必要在各参照图像中进行像素插补，与只参照一个图像的P图像相比，像素插补的运算量成为2倍，所以，如果只在B图像中使用简化的插补方法的话，由于可以将各图像必须的运算量平滑化，所以，可以容易实现实时动作的软件。
图7(a)是表示表达动态图像的各帧的图像类别和像素插补的方法的关系图示。图7(b)上表示在本发明的图像编码装置400和图像译码装置500的选择插补方法的顺序的流程图。如图7(a)所示，将表示各帧是I图像，或者是B图像或者是P图像的图像类别信号PicType，从外部给予图像编码装置400。在I图像，由于进行画面内编码，所以，预测图像的像素值为“0”。从而，像素插补使用判断部112将开关108和开关109切换到端子“1”，不进行像素插补。此外，在B图像，按照图像类别信号PicType的值，开关401和开关402切换到端子“1”，使用像素插补部A403进行简易的像素插补A。此外，在P图像，按照图像类别信号PicType，开关401和开关402切换到端子“2”，使用像素插补部B402进行高精度的像素插补B。
即，在图像编码装置400，通过根据图像类别信号PicType的值切换开关401和开关402，进行图7(b)的流程图所示的选择处理。开关401和开关402判断输入的图像类别信号PicType的值是否上表示B图像的值(S701)，如果是表示B图像的值，通过分别连接到端子“1”上，选择由像素插补部A403进行的插补方法A(S702)。此外，在图像类别效果PicType的值表不是表示B图像的值的情况下，通过分别连接到端子“2”上，选择由像素插补部B404进行的插补方法B(S703)。在图像编码装置400中，对于每一个输入的图像信号Img的帧反复进行上述步骤S701至S703的处理。
如上所述，采用图像编码装置400，由于对于本来为了进行图像编码处理的处理负荷比较大的B图像，可以选择处理负荷更小的像素插补部，所以，即使在处理能力比较低的图像编码装置中，也可以进行像素插补。此外，对于不容易被其它帧参照的B图像，由于选择精度更低的像素插补部，可以缩小由于选择精度更低的像素插补部对其它帧的影响。进而，通常，由于根据包含在图像信号中的图像类别信号PicType选择像素插补部，所以，在编码信号Bitstream中，不必包含表示哪个像素插补部对应于哪个帧的信息，可以相应减少在可变长编码部的处理量，所减少的量相对于这部分信息。此外，对于本来图像编码装置的处理负荷比较小的P图像，处理负荷变大，但由于可以选择预测精度更高的像素插补部，所以，即使在处理能力较低的图像编码装置中，也能够进行预测精度更高的像素插补。此外，由于对于参照其它帧的P图像，可以进行预测精度更高的像素插补，所以，可以最大限度地防止画质的恶化。
图8是表示以帧为单位切换像素插补方法的图像编码装置800的结构的框图。在图8中，与图2的图像编码装置100和图4的图像编码装置400相同的结构部件和信号赋予相同的标号，省略其说明。图像编码装置800配备有差分器101，图像编码部102，图像译码部104，加法器105，图像存储器106，像素块获取部107，开关108，开关109，运动推断部111，像素插补使用判断部112，像素插补部A403，像素插补部B404，像素插补切换位置判断部801，开关802，可变长编码部803，开关804和开关805。像素插补切换位置判断部801在从输入的图像信号Img中检测出像素插补部A403和像素插补部B404的切换单位(帧，片，微型块，块等)的情况下，通过输出像素插补切换控制信号SetPolatorType“1”，将开关802接通(导通状态)。
这里，例如，将图像信号Img的帧作为像素插补方法的切换单位，切换开关802。开关802的作用是，在成为切换单位的各帧的开头处，只在极短的时间区间内，使像素插补类别信号PolatorType与开关804和805导通，而在前述切换单位的其它时间区间内，遮断像素插补类别信号向PolatorType与开关804和开关805的输入。这是为了防止在切换单位的编码的中途，像素插补部A403和像素插补部B404进行切换。开关802以各帧的开头作为切换定时，当被像素插补切换控制信号SetPolatorType“1”接通时，在一定的时间，闭合端子，将从外部输入的像素类别信号PolatorType导通开关804和开关805。这种像素插补类别信号PolatorType，是以图像编码装置800内的图中未示出的传送缓存器中的数据的残余量等作为标准测定的、根据图像编码装置800的处理负荷或者根据预定的图像译码装置的译码能力，用于选择像素插补类别用的从外部输入的信号。当经过前述一定时间时，开关802打开端子，变成断开，当再次输入像素插补控制信号SetPolatorType“1”时，变成接通。此外，当开关804和开关805，经过开关802从外部输入像素插补类别信号PolatorType时，直到输入不同值的像素插补类别信号PolatorType为止，一直保持连接到由该像素插补类别信号PolatorType的值表示的连接端子上的状态。
例如，在某一个帧的开头，开关802导通的短时间内输入的像素类别信号PolatorType的值为“1”时，开关804和开关805分别连接到端子“1”上，并保持在该状态。然后，当在下一个帧的开头，在开关802导通的短时间内输入的像素插补类别信号PolatorType为“0”时，开关804和开关805分别连接到端子“2”上，并保持在该状态。借此，引起仅在帧的开头进行像素插补方法的切换，可以防止在帧的编码中途切换像素插补方法。
在利用切换判断的插补中，备有预测精度不同的多个像素插补部，在每一帧，通过从多个像素插补方法中在不超越处理量的范围内选择预测效率最佳的过滤器来进行。此外，作为使用切换判断的其它像素插补，在各帧编码过程当中，图像编码装置的处理能力变得不足的情况下，可以在下一帧切换成处理少的像素插补方法。其结果是，利用像素插补类别信号PolatorType选择新的像素插补部。
图9是表示在图像编码装置800中插补方法的选择顺序的流程图。具体地说，在图像编码装置800中，按照像素插补切换控制信号SetPolator的值连接开关802，通过在连接开关802期间，按照从外部输入的像素插补类别信号PolatorType的值切换开关804和开关805，进行图9的流程图所示的选择处理。图像编码装置800从表示各帧开头的帧标题等当中检测出图像信号Img(S901)，从像素插补切换位置判断部801，例如输出像素插补切换控制信号SetPolatorType“1”，将开关802接通(S902)。图像编码装置800，判断在开关802接通的期间输入的像素插补类别信号PolatorType的值是否为“1”(S903)，如果是“1”的话，使开关804和开关805分别连接到端子“1”上，选择利用像素插补部A403的插补方法A(S904)。如果像素插补类别信号PolatorType不是“1”的话，使开关804和开关805分别连接到端子“2”上，选择利用像素插补部B404的插补方法B(S905)。图像编码装置800，对输入的图像信号Img的每一帧重复进行从上述步骤S901至S905的处理。
进而，图像编码装置800在可变长编码部803，在将像素插补类别切换单位作为帧的情况下，对于作为图像编码装置800的输出的编码信号Bitstream的每一帧，例如，在编码信号Bitstream的各帧标题上记录输出像素插补类别信号PolatorType的值。图10(a)是表示本发明的编码信号Bitstream的位流结构的图示。图10(b)是表示以帧为单位切换像素插补方法时的编码信号Bitstream的位流结构的图示。本发明的编码信号的特征是，将像素插补类别信号PolatorType包含在编码信号Bitstream内。通过该位流，在将本发明的编码信号Bitstream译码的译码装置，通过研究像素插补类别信号，可以使用与在编码时使用的像素插补部相同的像素插补方法。
在图10(a)所示的编码信号Bitstream中，在给予整个编码信号Bitstream的标题1001内(例如斜线部)，记述表示用于各帧的像素插补的插补方法的像素插补类别信号PolatorType的值。此外，在图10(b)所示的编码信号Bitstream中，在设于每一帧的帧标题1002内(例如斜线部)，记述表示用于该帧的像素插补的插补方法的像素插补类别信号PolatorType的值。这样，通过将像素插补类别信号PolatorType存储在作为编码信号Bitstream的开头部分的标题1001和成为随机存取点的开头的帧标题1022等内，在图像编码装置中，通过从标题1001或者随机存取点输入编码信号Bitstream，在所述帧的编码前可以指定该帧的像素插补类别。
此外，这里，说明了以帧为单位切换像素插补部的情况，但不仅以帧为单位，也可以以小于帧的图像区域位单位(也可以是集合一个像素以上的区域，例如MPEG的片、微型块、块等)切换像素插补部。例如，在以片作为切换单位时，可以对应于各片的像素插补类别信号PolatorType的值记述在加在整个编码信号Bitstream上的标题上，也可以汇总到每一个帧上记述在帧标题上。此外，也可以在对应于各个片的片标题上，记述各片的像素插补类别信号的值。此外，在以微型块或者块作为像素插补方法的切换单位的情况下，可以将各微型块或者各块的像素插补类别信号的值汇总到每一个片上，记述在片标题上。
如上面说明的，通过设定输入到本发明的图像编码装置中的像素插补类别信号PolatorType的值，使得按照图像译码装置的处理能力选择像素插补部，可以制成与再生本发明的图像编码装置输出的编码信号的图像译码装置的处理能力相适应的编码信号。此外，可以选择适应于图像编码装置的处理能力的图像插补部。
此外，在已有的图像编码方式中，有按照预测图像信号的位置，切换成生成该位置的像素值的像素插补方法的编码方式。例如，生成1/2像素位置的像素值的场合，选择1/2像素位置用的像素插补方法，在生成1/4像素位置的像素值时，选择1/4像素位置用像素插补方法的编码方式。但是，这些编码方式，对于所需的像素位置，不得不选择其中的一个像素插补方法，与此不同，在本发明的编码方式中，由于对于预测图像信号的同一个位置的像素值的计算配备有多个像素插补部，对同一个像素位置的像素值的计算，则可以自由地选择多个像素插补方法。在本发明的图像编码方式中，对于不同的像素位置，可以将切换多个像素插补方法的上述方法相互组合。在这种情况下，在配备对于不同的像素位置计算各个像素值的多个像素插补部的同时，还配备有对于同一个像素位置计算预测精度不同的像素值的多个像素插补部。
此外，在上述各个实施形式中，对配备有两个像素插补部的图像编码装置进行了说明，但也可以配备有三个以上的像素插补部。在这种情况下，选择使用三个以上的像素插补中之一，也可以包含将表示所使用的像素插补部的类别的像素插补类别信号进行编码的信号。
图11是表示本实施形式的另外的图像译码装置1100的结构的框图。在图11中，由于对于完成和图5所示的图像编码装置500相同动作的结构部件和信号已经进行过说明，所以，赋予相同的标号，省略其说明。图像译码装置1100包括图像译码部202，加法器203，图像存储器204，像素块获取部207，开关208，开关209，像素插补使用判断部212，像素插补部A503，像素插补部B504，可变长译码部1101，像素插补类别变换部1102，开关1103和开关1104。由图8所示的图像编码装置800输出的编码信号Bitstream2，输入到图像译码装置1100中。即，输入到图像译码装置1100中的编码信号Bitstream2上记述有像素插补类别信号PolatorType1。图像译码装置1100的特征为，在用编码信号Bitstream2中的像素插补类别信号PolatorType1表示的像素插补部未配备在图像译码装置1100中的情况下，使用图像译码装置1100配备的像素插补部中之一进行替代。
图像译码装置1100只配备表示像素插补类别信号PolatorType的值“1”和“2”的两种像素插补部，即，只配备像素插补部A503(过滤器抽头数N＝4)和像素插补部B504(过滤器抽头数N＝8)。在图像译码装置1100中，可变长译码部1101将编码信号Bitstream2可变长译码，分离成差分图像编码信号CodedRes和运动参数出MotionParam和像素插补类别信号PolatorType1。像素插补类别变换部1102，将表示利用像素插补类别信号PolatorType1指定的像素插补类别、表述所述各像素插补部的特性的参数、有无安装的、预先制成的插补类别表保持在内部。像素类别变换部1102，根据所述插补类别表判断用像素插补类别信号PolatorType1的值表示的像素插补部是否安装到图像译码装置1100中。
图12是表示保持在图11所示的像素插补类别变换部1102内的插补类别表1200中一个例子的图示。如图所示，在插补类别表1200中，记述了用像素插补类别信号PolatorType1的值表示的各像素插补部的安装的有无1201、像素插补类别信号PolatorType1的值1201和用像素插补类别信号PolatorType1的值1表示的各像素插补部的特性的过滤器抽头数(N)1203。像素插补类别变换部1102，在像素插补类别信号PolatorType1的值是表示图像译码装置1100中没有安装像素插补部C(过滤器抽头数N＝16)的值例如是“3”的情况下，在安装的像素插补部中，选择记述在像素插补类别表1200中记述所过滤器抽头数(N)1203最接近由像素插补类别信号PolatorType1表示的像素插补部C的像素插补部B504(过滤器抽头数N＝8)，将像素插补类别信号PolatorType1值，例如变换成“2”的值，作为像素插补类别信号PolatorType2输出。不可否认，通过这种变换处理，在图像译码装置1100中，由于利用与编码时使用的像素插补部不同的像素插补部，所以会造成画质的恶化，但是，由于能够进行差分图像编码信号CodedRes和运动参数信号MotionParam的译码处理，所以，可以预览(预测)译码的映像。作为像素插补类别信号PolatorType2输入“1”时，开关1103和开关1104切换到端子“1”侧，对译码图像信号Recon使用像素插补部A503。在作为像素插补类别信号PolatorType2输入“2”时，开关1103和开关1104切换到端子“2”侧，对译码图像信号Recon使用像素插补部B504。
如上面说明的，根据本发明的图像译码装置1100，即使在输入编码信号Bitstream，该编码信号Bitstream包括表示未安装在图像译码装置1100中的像素插补部的像素插补类别信号PolatorType2的情况下，对于能够没有障碍地将输入的编码信号Bitstream进行译码的效果。此外，在图像译码装置1100所具有的像素插补部是一个的情况下，通过强制地使用该像素插补部，可以将输入的编码信号Bitstream译码。此外，在本实施形式的图像译码装置110中，配备有两个像素插补部，但即使配备三个以上的像素插补部也可以进行同样的处理。此外，如实施形式1所示，在以帧为单位，或者比帧小的图像区域为单位切换像素插补类别的场合，图像译码装置1100在像素插补类别变更的时刻切换像素插补部。此外，这里，用过滤器抽头数表示多个像素插补部的特性，但并不一定是过滤器的抽头数，也可以是其它参数。进而，在清楚图像译码装置1100全部配备具有在图像编码装置中使用的可能性的像素插补过滤器的情况下，也可以没有图像译码装置1100的像素插补类别变换部1102。在这种情况下，将像素插补类别信号PolatorType1原封不动作为像素插补类别信号PolatorType2使用。
(实施形式2)图13是表示根据本发明的实施形式2的图像编码装置1300的结构的框图。此外，对于与图2、图4和图8所示的图像编码装置100，图像编码装置400和图像编码装置800中各结构部件进行同样动作的结构部件以及信号，赋予相同的参考标号，省略其说明。图像编码装置1300，在成为编码对象的帧是不被其它的帧参照的帧的情况下，使用像素插补中处理量更小的像素插补部，在另外的帧中被作为参照帧使用的情况下，使用处理量大的像素插补部，包括差分器101，图像编码部102，图像译码部104，加法器105，图像存储器106，像素块获取部107，开关108，开关109，像素使用判断部112，开关1301，开关1302，可变长编码部1303，空洞1304和运动推断部1305。将表示编码对象帧在以后是否作为参照帧使用的参照指示信号AvairableRef，从外部输入到运动推断部1305内。参照指示信号AvairableRef，是根据图像编码装置1300的操作者用图中未示出的键盘等输入部输入的设定，从外部输入的信号，当值为“0”时，表示所示编码对象帧不作为参照帧使用，当值为“1”时，表示所示编码对象帧在以后作为参照帧使用。
与此对应地，开关1301和开关1302，当参照指示信号AvairableRef的值为“0”时，即，对于不被其它帧参照的编码对象的帧，分别连接到动作“1”上，选择处理量更小的像素插补部A403。此外，当参照指示信号AvairableRef为“1”时，即，对于在以后被作为参照帧使用的编码对象的帧，分别连接到端子“2”上，选择预测效率高然而处理量大的像素插补部B404。此外，当参照指示信号AvairableRef为“0”时，开关1304接通，所述帧译码差分图像信号ReconRes部被存储在图像存储器106中。反之，当参照指示信号AvairableRef为“1”时，开关1304变成接通，所述帧译码差分信号ReconRes被存储在图像存储器106中。可变长编码部1303，对于作为图像编码装置1300的输出的、具有图10所示的片结构的编码信号Bitstream3的每个帧，在编码信号Bitstream3的各帧的标题上记录输出参照指示信号AvairableRef的值。
图14是表示将图13所示的作为图像编码装置1300的输出的编码信号Bitstream3译码的图像译码装置1400的结构的框图。在该图上，对于和图3、图5和图11中所示的图像译码装置200，图像译码装置500和图像译码装置1100的各结构部件相同动作的结构部件和信号，由于已经进行过说明，所以赋予相同的参考标号省略其说明。图像译码装置1400，是将包含前述参照指示信号AvairableRef的编码信号Bitstream3译码的图像译码装置，包括图像译码部202，加法器203，图像存储器204，像素块获取部207，开关208，开关209，像素插补使用判断部212、可变长译码部1401、开关1402、开关1403和开关1404。可变长译码部1401，将输入的编码信号Bitstream3可变长译码，分离成差分图像编码信号CodedRef/运动参数MotionParam和参照指示信号AvairableRef。被分离出来的参照指示信号AvairableRef，被输入到开关1402和开关1403及开关1404。当参照指示信号AvairableRef的值为“0”时，即，不使用所述帧的编码信号Recon作为参照帧时，开关1404断开。从而，所述帧译码图像信号Recon不被存储在图像存储器204内。反之当参照指示信号AvairableRef的值为“1”时，即，将所述帧的编码信号Recon作为参照帧时，开关1404接通。从而，所述帧译码图像信号Recon被存储在图像存储器204内。此外，当参照指示信号AvairableRef的值为“0”时，即，不使用所述帧的编码信号Recon作为参照帧时，开关1402和开关1403分别连接到端子“1”上，选择像素插补处理量少的像素插补部A503。反之，当参照指示信号AvairableRef的值为“1”时，分别连接到端子“2”上，选择像素插补的处理量多但预测效率高的像素插补部B504。
如上所述，在本实施形式的图像编码装置1300和图像译码装置1400中，当在被其它帧参照的作编码对象帧中使用处理量量少的像素插补方法时，处理量少的像素插补方法的预测精度低引起的画质的恶化对其它的帧的画质也有影响，但是，由于只对不被其它帧参照的编码对象的帧使用处理量少的像素插补方法，所以，由于预测精度低引起的编码对象的帧的画质的恶化不会对其它的帧造成影响，可以减轻用于图像编码装置1300和图像译码装置的像素插补的处理的负荷。从而，作为图像编码装置1300和译码装置，可以将预测精度造成的恶化保持在最低限度，并且可以大幅度地降低图像编码处理中的处理负荷。
此外，在本实施形式的图像译码装置1400中，设置开关1404，不把不被其它帧参照的帧的译码图像信号Recon存储在图像存储器204上，但，在已经说明过的本发明的其它图像译码装置中，也可以配备开关1404。
此外，在上述实施形式1和实施形式2中，对利用开关切换使用像素插补部A403和像素插补部B404的情况进行了说明，但本发明并不局限于此，也可以将像素插补部A403和像素插补部B404，置换成在多个动作模式中动作的一个像素插补部。该像素插补部，例如是根据作为目的的预测精度或者处理负荷，根据多个运算方法或者多个运算公式进行运算的一个像素过滤器，根据从外部给予的参数决定一个动作模式(运算方法或者运算公式)。
(实施形式3)进而，通过将实现上述实施形式中所示的图像编码方法装置图像译方法的结构的程序记录在软盘等记录媒体上，能够在独立的计算机系统中简单地实施上述各实施形式中所示的处理。
图15是利用存储从上述实施形式1至实施形式3的图像编码方法或者图像译码方法的程序的软盘，利用计算机系统进行实施的情况的说明图。
图15(b)表示从软盘的正面观察时的外观、剖面结构以及软盘，图15(a)是表示作为记录媒体主体的软盘的物理格式的例子的。软盘FD内装于外壳F内，在该盘的表面上，从外周向内周形成同心圆状的多个磁道Tr，各磁道沿角度方向分割成16个扇区Se。从而，在存储上述程序的软盘中，在分配于上述软盘FD上的区域内，记录作为上述程序的图像编码方法。
此外，图15(c)表示用于在软盘FD上进行上述程序的记录再生的结构。在把上述程序记录在软盘FD上的情况下，经由软盘驱动器FD将作为上述程序的图像编方法或者图像译码方法从计算机系统Cs上写入。此外，利用软盘内的程序将上述图像编码方法构筑到计算机系统中的情况下，利用软盘驱动器从软盘上读出程序，传送给计算机系统。
此外，在上面的说明中，对作为记录媒体使用软盘的情况进行了说明，但利用光盘也同样可以进行。此外，简略媒体并不限于这些，利用IC卡，ROM盒等可以记录程序的装置，同样可以加以实施。
图16至图19是说明进行上述实施形式所示的编码处理或者译码处理的设备，以及利用这些设备的系统的说明图。
图16是实现内容分配发送的内容供应系统ex100的整体结构的框图。将提供通信服务的区域分割成所需的大小，在各单元内分别设置作为固定无线电台的基地电台ex107～ex110。该内容供应系统ex100，例如，在互联网ex101上经由互联网服务提供者ex102和电话网ex104，连接到计算机ex111，PDA(personal digital assistant个人数字辅助装置)ex112，摄像机ex113，便携式电话ex114上。但是，内容供应系统ex100并不局限于图16所示的组合，可以进行任何一种组合连接。此外，也可不经由作为固定无线电台的基地电台ex107～ex110，而直接连接到电话网ex104上。
摄像机ex113是数字式电视摄像机等可摄制动画的设备。此外便携式电话可以是PDC(Personal Digital Communications)方式，CDMA(Code Division Multiple Accses)方式，W-CDMA(Wideband-CodDivision Multiple Accses)方式，或GSM(Global System for MobileCommunication)方式的便携式电话机，或者PHS(Personal HandyphoneSystem)等均可。
此外，数据流服务器ex103，从摄像机ex113通过基地电台ex109、电话网ex104连接，可以进行利用摄像机ex113根据用户发送的经过编码处理的数据的实况转播等。摄影的数据的编码处理可以用摄像机exl13进行，也可以用进行数据传送处理的服务器等进行。此外，用照相机116摄制的动画数据可以经由计算机ex111传送到数据流服务器ex103。照相机ex116上数字照相机等可以摄制静止图像、动态图像的设备。在这种情况下，动态图像数据的编码可以用照相机ex116进行，也可以由计算机ex111进行。此外，编码处理在计算机ex111和照相机ex116具有的LSIex117中进行处理。此外，图像编码、译码用的软件可以装入到能够用计算机ex111等读出作为记录媒体的任何一种存储介质(CD-ROM，软盘，硬盘等)内。进而，也可以用带有照相机的便携式电话ex115传送动态图像数据。这时的动态图像数据是用便携式电话ex115所具有的LSI进行过编码处理的数据。
图17是表示便携式电话ex115的一个例子的图示。便携式电话ex115具有与基地电台ex110之间传送接受无线电波用的天线ex210；CCD摄像机等可以摄制影像、静止图像的摄像部ex203；显示由摄像部ex203摄制的影像、由天线ex201接受的影像等经过译码的数据的液晶显示器等显示部ex202；由操作键组构成的主体部ex204；用于输出声音的扬声器等声音输出部ex208；用于输入声音的话筒等声音输入部ex205；保存摄制的动画或者静止图像的数据、接受的邮件的数据、动画数据或者静止图像数据等编码数据或者译码数据用的存储介质ex207；用于将存储介质ex207安装到便携式电话ex115内的狭槽部ex206。存储介质ex207是SD卡等塑料盒内可以用电学的方式写入和擦除的非易失性存储器的EEPROM(Electrically Erasable andProgrammable Read Only Memory)中的一种的闪速存储元件的存储介质。
在这种内容供应系统ex100中，将用户利用摄像机ex113、照相机ex116等摄制的内容(例如，摄制的音乐实况的影像等)和上述实施形式一样进行编码处理传送到数据流服务器ex103，另一方面，数据流服务器ex103对有要求的客户用数据流分配发送上述内容的数据。作为客户，有能够将上述编码处理过的数据进行译码的计算机ex111，PDAex112，摄像机ex113，便携式电话ex114等。这样，内容供应系统ex100是一种客户能够接受再生进行过编码的数据、进而通过在客户处实时接受译码、再生，可以实现个人发送的系统。
下面，用图18对便携式电话ex115进一步进行说明。图18是表示便携式电话ex115的结构的框图。便携式电话ex115，相对于总括控制显示部ex202及主体部ex204各部的主控制部ex311，其电源回路部ex310，操作输入控制部ex304，图像编码部ex312，摄像机接口部ex303，LCD(Liquid Crystal Display)控制部ex302，图像译码部ex309，复用分离部ex308，记录再生部ex307，调制解调回路部ex306以及声音处理部ex305经由同步总线ex313相互连接。电源回路部ex310，当通过用户的操作结束通话和电源键接通时，通过由电池向各部供应电力，将带有摄像机的数字便携式电话ex115起动到可动作状态。便携式电话ex115根据CPU，ROM及RAM等构成的主控制部ex311的控制，在声音通话模式时，将用声音输入部ex205输入的声音信号利用声音处理部ex306变换成数字声音数据，用调制解调回路部ex306将其进行扩频处理，在发送接受回路部ex301进行数字模拟变换处理及频率变换处理后，经由天线ex201发送。此外，便携式电话ex115，在声音通话模式时，将由天线ex201接受的接受信号放大，进行频率变换处理和模拟数字变换处理，在调制解调回路部ex306进行频谱反向扩展处理，利用声音处理部ex205变换成模拟声音信号后，经由声音输出部208将其输出。进而，在数字通信模式时，在发送电子邮件的场合，通过主体部ex204的操作键的操作输入的电子邮件的文本数据，经由操作输入控制部ex304送到主控制部ex311。主控制部ex311把文本数据在调制解调回路部ex306进行扩频处理，在发送接受回路部ex301进行数字模拟变换处理及频率变换处理之后，经由天线ex201发送到基地电台ex110。
在数据通信模式时，在发送图像数据的情况下，将由摄像部ex203摄制的图像数据经由摄像机接口部ex303提供给天线编码部ex312。此外，在不发送图像数据的情况下，也可以将摄像部ex203摄制的图像数据经由摄像机接口部ex303和LCD控制部ex302直接显示在显示部ex202上。
图像编码部ex312，通过利用上述实施形式所述的编码方法，将从摄像部ex203供应的图像数据压缩编码，变换成编码图像数据，将其送到复用分离部ex308。此外，这时，便携式电话机ex115，将在用摄像部ex203进行摄像时声音输入部ex205集音的声音，经由声音处理部ex305作为数字的声音数据送往复用分离部ex308。
复用分离部ex308，以规定的方式将从图像编码部ex312供应的编码图像数据和从声音处理部ex305供应的声音数据复用化，将作为其结果所获得的复用化数据在调制解调回路部ex306进行扩频处理，在发送接受回路部ex301进行数字模拟变换处理和频率变换处理后，经由天线ex201发送。
在数据通信模式时，在接受与主页等链接的动态图像文件的数据的情况下，将经由天线ex201从基地电台ex110接受的接受信号在调制解调回路ex306进行反向扩频处理，将由其结果获得的复用化数据送往复用分离部ex308。
此外，为了将经由天线ex201接受的复用化数据译码，复用分离部ex308通过分离复用数据，分成编码图像数据和声音数据，经由同步总线ex313将所述编码图像数据提供给图像译码部ex309，同时，将所述声音数据提供给声音处理部ex305。
其次，图像译码部ex309，通过利用上述实施形式所述的编码方法对应的译码方法将编码图像数据译码，生成再生动态图像数据，借此，例如，显示包含在与主页链接的动态图像文件内的动态图像。与此同时，声音处理部ex305，将声音数据变换成模拟声音信号之后，将其提供给声音输出部ex208，借此，例如，再生包含在与主页链接的动态图像文件中的声音数据。
此外，并不局限于上述系统的例子，最近，利用卫星、地面波进行数字广播正在成为人们讨论的话题，如图19所示，可以将上述实施形式的至少编码方法或者译码方法装入到数字广播用系统中。具体地说，在广播台ex409进行影像编码的位流，经由无线电波传送给通信或者广播卫星ex410。接受到它的广播卫星ex410，发射广播用无线电波，用具有卫星广播接受设备的家庭天线ex406接受该无线电波，利用电视接收机ex401或者机顶盒ex407等装置将编码的位流译码，并将其再生。此外，可以在读出记录在作为记录媒体的存储介质ex402上的编码位流、进行译码的再生装置ex403上，安装上述实施形式所述的译码方法。在这种情况下，再生的影像信号显示在监视器ex404上。此外，也可以在连接到有线电视用电缆ex405或者卫星/地面波广播的天线ex406上的机顶盒ex407内安装译码装置，将其用监视器ex408再生。这时，也可以不把编码装置装入到机顶盒内，而是装入到电视机内。此外，也可以由具有天线ex411的车ex412接受从卫星ex410或者从基地电台ex107来的信号，将动态图像再生在车ex412所具有的汽车驾驶自动导航系统ex413等的显示装置上。
此外，汽车驾驶自动导航系统ex413的结构，例如，可以考虑采用图18所示的结构中，除摄像部ex203和摄像机接口部ex303之外的结构，也可以考虑采用计算机ex303和电视接受机ex401等。此外，上述便携式电话ex114等终端，除具有编码器和译码器两者的发送接受的终端之外，也可以考虑采用只安装编码器的发送终端，和只安装译码器的接受终端的三种安装形式。
这样，通过安装本说明书所述的编码方法、译码方法，可以实现本实施形式所述的任何一种装置、系统。
工业上的可利用性如上所述，根据本发明的图像编码装置和图像译码装置，作为配置在传送图像的电话机上的图像编码装置和图像译码装置，以及，作为配置在汽车驾驶自动导航系统中的图像编码装置和图像译码装置，是有用的。此外，作为执行本发明的图像编码方法和图像译码方法的程序以及记录所述程序的记录媒体是有用的。进而，作为记录利用本发明的图像编码装置生成的编码信号的记录媒体，是有用的。
权利要求
1.一种图像编码方法，利用由参照图像生成的预测图像对输入图像进行编码，其特征在于，在上述预测图像的生成过程中使用如下的像素插补方法通过像素插补并根据位于小数位置像素的周边的多个整数位置像素的像素值，求出对上述参照图像的上述小数位置像素的像素值；该图像编码方法包括如下步骤在利用N个像素生成一个插补像素的过滤处理中，从N的数值不同的、具有多个上述过滤处理的像素插补方法中选择一个像素插补方法的选择步骤；使用选择出的像素插补方法，根据上述参照图像生成上述预测图像的预测图像生成步骤；利用上述预测图像将上述输入图像编码的编码步骤。
2.如权利要求1所述的图像编码方法，其特征在于，对每个帧进行上述像素插补方法的选择，将确定被选择出的上述图像插补方法的像素插补类别信号作为编码信号配置在帧标题中。
3.如权利要求1所述的图像编码方法，其特征在于，利用N个像素生成一个插补像素的上述过滤处理，是抽头数为N的过滤器的运算处理。
4.一种图像译码方法，利用由参照图像生成的预测图像对编码信号进行译码，其特征在于，在上述预测图像的生成中使用如下的像素插补方法通过像素插补并根据位于小数位置像素的周边的多个整数位置像素的像素值，求出对上述参照图像的上述小数位置像素的像素值；该图像译码方法包括如下步骤在利用N个像素生成一个插补像素的过滤处理中，从N的数值不同的、具有多个上述过滤处理的像素插补方法中选择一个像素插补方法的选择步骤；使用选择出的像素插补方法，根据上述参照图像生成上述预测图像的预测图像生成步骤；利用上述预测图像将上述编码信号译码的译码步骤。
5.如权利要求4所述的图像译码方法，其特征在于，对每个帧选择上述像素插补方法，上述像素插补方法的选择是根据作为编码信号配置在帧标题中的像素插补类别信号来选择。
6.如权利要求5所述的图像译码方法，其特征在于，利用N个像素生成一个插补像素的上述过滤处理，是抽头数为N的过滤器的运算处理。
全文摘要
本发明提供一种可以根据编码的图像信号，选择不同的像素插补方法的图像编码方法和图像译码方法。在预测图像生成中伴随着像素插补的图像编码装置(400)，按照图像类别信号PicType的值，选择像素插补部A(403)和像素插补部B(404)中之一。在图像类别信号PicType的值为表示B图像的“0”时，选择通过计算出预测图像的1/2像素的像素值的过滤器抽头数为“4”的像素过滤器实现的像素插补部A(403)，在图像类别信号PicType的值为表示B图像之外的帧的“1”场合，选择用过滤器抽头数为“8”实现的像素插补部B(404)。
文档编号H04N7/32GK1801942SQ20051011810
公开日2006年7月12日 申请日期2002年8月12日 优先权日2001年9月18日
发明者羽饲诚, 角野真也, 近藤敏志, 安倍清史 申请人:松下电器产业株式会社