图像处理设备和方法

专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和方法，且更具体地涉及可以产生高精度预测图像而不增加处理负荷的图像处理设备和方法。
背景技术：
传统地，使用运动补偿和正交变换(比如离散余弦变换、Karhunen-Loeve变换或小波变换)的、包括MPEG(运动图像专家组)、H. 26x等的编码方案通常已经用作处理运动图像情况下的编码方案。在这些运动图像编码方案中，通过利用要编码的输入图像信号的特性当中的空间方向和时间方向上的相关性来实现代码量的减少。例如，在H. 264中，当利用时间方向上的相关性产生作为要经历帧间预测(帧间预测)的帧的帧间(inter-frame)时使用单向预测或者双向预测。设计帧间预测以产生基于不同时间的帧的预测图像。图1是示出单向预测的示例的图。如图1所示，在要通过单向预测产生作为当前时间的帧的要编码的帧P0(其是编码目标)的情况下，使用在关于当前时间的时间中的过去或未来时间的编码帧作为基准帧来执行运动补偿。通过利用时间方向上的相关性来编码预测图像和实际图像之间的残差 (residual)，从而使得可以减小代码量。基准帧信息和运动矢量分别用作指定基准帧的信息和指定在基准帧中要参考的位置的信息，且将这些信息从编码侧发送到解码侧。这里，基准帧的数目不局限于一。例如，在H. 264中，可以使用多个帧作为基准帧。 如图1所示，在时间上更接近要编码的帧PO的两个帧依次由基准帧RO和Rl表示的情况下， 可以从基准帧RO或者Rl中的任意像素的像素值来预测要编码的帧PO中的任意宏块中的像素值。在图1中，每个帧内指示的框表示宏块。如果作为预测目标的要编码的帧PO中的宏块由宏块MBPO表示，那么与宏块MBPO对应的基准帧RO中的宏块是由运动矢量MVO指定的宏块MBR0。此外，基准帧Rl中的宏块是由运动矢量MVl指定的宏块MBRl。如果宏块MBRO和MBRl中的像素值(运动补偿图像中的像素值)由MCO (i，j)和 MCl (i，j)表示，那么，任一运动补偿图像中的像素值用作单向预测中的预测图像中的像素值。因此，预测图像ft~ed(i，j)由以下公式⑴表示。(i，j)表示宏块中像素的相对位置， 且满足0彡i彡16和0彡j彡16。在公式(1)中，“| |”指示取值MC0(i，j)和MCl(i，j) 之一。[Math. 1]Pred (i, j) =MCtl(Lj)IlMC1(Lj)-(I)注意到，还可以将16X16像素的单个宏块划分为大小为16X8像素等的子块，并通过参考不同基准帧而关于每一子块执行运动补偿。代替具有整数精度的运动矢量，发送具有小数精度的运动矢量并使用标准中定义的^R滤波器执行插值，因此使得也可以使用在对于运动补偿要参考的相应位置周围的像素的像素值。
图2是示出双向预测的示例的图。如图2所示，在要通过双向预测产生作为当前时间的帧的要编码的帧BO (其是编码目标)的情况下，使用在关于当前时间的时间中的过去和未来时间的编码帧作为基准帧来执行运动补偿。通过使用多个编码帧作为基准帧并通过利用与其的相关性来编码预测图像和实际图像之间的残差，由此使得可以减小代码量。在H. 264中，还可以使用过去的多个帧和将来的多个帧作为基准帧。如图2所示，在关于要编码的帧BO的过去的一个帧和将来的一个帧用作基准帧LO 和Ll的情况下，可以从基准帧LO和Ll中的任意像素的像素值预测要编码的帧BO中的任意宏块中的像素值。在图2中的示例中，与要编码的帧BO中的宏块MBBO对应的基准帧LO中的宏块被设置为由运动矢量MVO指定的宏块MBL0。此外，与要编码的帧BO中的宏块MBBO对应的基准帧Ll中的宏块被设置为由运动矢量MVl指定的宏块MBLl。如果宏块MBLO和MBLl的像素值分别由MCO (i，j)和MCl (i，j)表示，那么，预测图像ft~ed(i，j)的像素值ft~ed(i，j)可以确定为这些像素值的平均值，如在如下公式O)中给出的。[Math. 2]Pred (i，j) = (MC0 (i，jO+MC^i, j))/2... (2)在如上使用单向预测的这种运动补偿中，通过增加运动矢量的精度或者通过减小宏块的大小来改进预测图像的精度，并减小与实际图像的残差，由此实现编码效率的改进。此外，在使用双向预测的运动补偿中，时间上位置接近的基准帧中的像素的像素值的平均用作预测图像中的像素的像素值，由此使得可以进行预测残差的概率上稳定的减小。图3是图示帧内预测的示例的图。在图3中的示例中，图示了从相同屏幕中的解码的相邻像素执行预测以解码编码帧IO的当前块的方式。在图像中，邻近的像素值通常具有显著高的相关性。因此，用这样的方式，从相邻像素的预测减小了当前块的残差分量。由此，实现编码效率的改进。例如，在基于H. 264标准的帧内4X4预测中，可以通过利用邻近的编码像素使用九个方法来预测当前块。将二维方向性并入与邻近图像的相关性，由此实现预测精度的改进。作为另一帧内预测方法，存在其中从屏幕内复制高相关性区域的技术。具体地说， 该技术使得指定解码图像中的特定位置以解码当前块，且因此对于当前块的预测图像使用相应区域。该技术对于规律图形或在屏幕中存在具有相同形状的多个对象的情况下或者类似情况下提供了高预测效率。作为又一帧内预测方法，还存在以编码目标图像中存在的特性区域或纹理区域中的信号分量的分析，通过使用要编码的图像的人工合成图像来减小代码量的技术。用这样的方式，随着用于帧内预测的各种技术的出现，已经改进了帧内预测的预测精度。但是，在通常的运动图像中，例如，因为虽然在屏幕中的静止纹理的情况下，难以增大帧内预测的精度，但是作为帧间预测的结果，甚至显著复杂的纹理将提供几乎为零的预测残差，所以帧间预测的预测精度仍然更高。此外，作为另一预测方法，已经考虑了通过像素值的运动补偿和HR滤波将时间方向上的相关性转换为空间分辨率并使用空间分辨率的技术(例如，参见NPL 1)。在NPL 1中描述的方法中，时间方向上的相关性用于增加输入图像序列的分辨率的处理。具体地说，计算在当前图像和先前图像之间的有关已运动预测/补偿的图像的差别信息，且将其反馈到目标当前图像以恢复输入图像中包括的高频分量。引文列表非专利文献NPL 1 ‘‘ Improving Resolution by Image Registration" , MICHAL IRANI 禾口 SHMUEL PELEG,Department of Computer Science,The Hebrew University of Jerusalem, 91904Jerusalem, Israel, Communicated by Rama Chellapa，1989 年 6 月 16 日接收；1990 年5月25日接受。

发明内容
技术间题在现有帧间预测的情况下，多个基准帧的使用要求用于运动预测或者运动补偿的处理成本或者比如用于保存基准面的存储容量的成本之类的必要成本高于帧内预测的情况下的成本。这类似地适用于NPL 1中描述的方法。另一方面，在帧内预测的情况下，用于产生预测图像的处理成本低于帧间预测中的成本；但是，由于产生的图像的低预测精度，因此存在编码效率比在帧间预测的情况下更差的间题。已经考虑上述情况做出本发明，且本发明意在通过使用帧间预测的预测精度，补偿帧内预测的预测精度的缺乏来实现编码效率的改进，并通过减小帧间预测所需的基准面的数目来实现处理成本的减小。技术方案本发明的一个方面提供了图像处理设备，包括解码装置，用于解码编码图像；产生装置，用于将由解码装置解码的图像与预测图像加在一起，并用于产生解码图像；提取装置，用于使用由产生装置产生的解码图像形成的帧作为基准帧并使用编码图像中的运动矢量来执行运动补偿，并用于从基准帧提取与预测图像对应的运动补偿图像；帧内预测图像产生装置，对于要产生预测图像的目前帧执行帧内预测，并用于从由产生装置产生的解码图像的一部分产生与预测图像对应的帧内预测图像；和预测图像产生装置，用于通过利用运动补偿图像和帧内预测图像中包括的时间方向上的相关性，通过执行用于补偿由提取装置提取的运动补偿图像和由帧内预测图像产生装置产生的帧内预测图像的高频分量的滤波处理来产生预测图像。预测图像产生装置可以包括第一滤波器装置，用于将低通滤波器应用于由第一提取装置提取的运动补偿图像和由帧内预测图像产生装置产生的帧内预测图像之间的差别图像；第二滤波器装置，用于将高通滤波器应用于通过使用第一滤波器装置应用低通滤波器而获得的图像；和相加装置，用于将通过使用第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与由帧内预测图像产生装置产生的帧内预测图像相加，并用于产生预测图像。相加装置可以将通过第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取出的运动补偿图像相加。图像处理设备可以进一步包括单向预测装置，用于使用多个运动补偿图像执行单向预测，并用于产生预测图像；双向预测装置，用于使用多个运动补偿图像执行双向预测，并用于产生预测图像；和判断装置，用于通过使用编码图像的报头中包括的的标识标记，来判断是要由单向预测装置通过单向预测产生预测图像、要由双向预测装置通过双向预测产生预测图像还是要由预测图像产生装置通过滤波处理产生预测图像。本发明的一个方面进一步提供图像处理方法，包括解码编码图像；将已经解码的图像和预测图像加在一起并产生解码图像；使用由产生的解码图像形成的帧作为基准帧并使用编码图像中的运动矢量来执行运动补偿，并从基准帧提取与预测图像对应的运动补偿图像；对于要产生预测图像的目前帧执行帧内预测，并从解码图像的一部分产生与预测图像对应的帧内预测图像；和通过利用运动补偿图像和帧内预测图像中包括的时间方向上的相关性，执行用于补偿运动补偿图像和帧内预测图像的高频分量的滤波处理，来产生预测图像.本发明的另一方面提供图像处理设备，包括编码装置，用于编码作为编码目标图像的原始图像，并用于产生编码图像；检测装置，用于基于一图像和原始图像检测运动矢量，该图像是通过基于指示原始图像和预测图像之间的差别的残差信号执行本地解码而获得的；提取装置，用于使用由通过执行本地解码获得的图像形成的帧作为基准帧，并使用由检测装置检测到的运动矢量来执行运动补偿，并用于从基准帧提取与预测图像对应的运动补偿图像；帧内预测图像产生装置，用于对于要产生预测图像的目前帧执行帧内预测，并用于从该帧的图像的一部分产生与预测图像对应的帧内预测图像；和产生装置，通过利用运动补偿图像中包括的时间方向上的相关性，执行用于补偿由第一提取装置提取的运动补偿图像和由帧内预测图像产生装置产生的帧内预测图像的高频分量的滤波处理，来产生预测图像。产生装置可以包括第一滤波器装置，用于将低通滤波器应用于由第一提取装置提取的运动补偿图像和由帧内预测图像产生装置产生的帧内预测图像之间的差别图像；第二滤波器装置，用于将高通滤波器应用于通过使用第一滤波器装置应用低通滤波器而获得的图像；和相加装置，用于将通过使用第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与由帧内预测图像产生装置产生的帧内预测图像相加，并用于产生预测图像。相加装置可以将通过第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取出的运动补偿图像相加。编码装置可以将标识标记并入编码图像的报头中，该标识标记识别要与由解码设备解码的图像相加的预测图像是通过单向预测产生的、通过双向预测产生的还是通过滤波处理产生的。本发明的另一方面进一步提供图像处理方法编码作为编码目标图像的原始图像，和产生编码图像；基于一图像和原始图像检测运动矢量，该图像是通过基于指示原始图 像和预测图像之间的差别的残差信号执行本地解码而获得的；使用由通过执行本地解码而 获得的图像形成的巾贞作为基准巾贞，并使用检测到的运动矢量来执行运动补偿，和从基准中贞 提取与预测图像对应图像运动补偿图像；对于要产生预测图像的目前巾贞执行巾贞内预测，和 从该巾贞的图像的一部分产生与预测图像对应的巾贞内预测图像；和通过利用运动补偿图像中 包括的时间方向上的相关性，执行用于补偿提取的运动补偿图像和产生的巾贞内预测图像的 高频分量的滤波处理，来产生预测图像。在本发明的一个方面中，解码编码图像；将已经解码的图像和预测图像加在一起； 产生解码图像；使用由产生的解码图像形成的巾贞作为基准巾贞并使用编码图像中的运动矢量 来执行运动补偿；从基准巾贞提取与预测图像对应的运动补偿图像；对于要产生预测图像的 目前巾贞执行巾贞内预测；从解码图像的一部分产生与预测图像对应的巾贞内预测图像；通过利 用运动补偿图像和巾贞内预测图像中包括的时间方向上的相关性，执行用于补偿运动补偿图 像和巾贞内预测图像的高频分量的滤波处理，由此产生预测图像。在本发明的另一方面中，编码作为编码目标图像的原始图像；产生编码图像；基 于一图像和原始图像检测运动矢量，该图像是通过基于指示原始图像和预测图像之间的差 别的残差信号执行本地解码而获得的；使用由通过执行本地解码而获得的图像形成的巾贞作 为基准巾贞，并使用检测到的运动矢量来执行运动补偿；从基准巾贞提取与预测图像对应的图 像运动补偿图像；对于要产生预测图像的目前巾贞执行巾贞内预测；从该巾贞的图像的一部分产 生与预测图像对应的巾贞内预测图像；和通过利用运动补偿图像中包括的时间方向上的相关 性，执行用于补偿提取的运动补偿图像和产生的巾贞内预测图像的高频分量的滤波处理，由 此产生预测图像。技术效果根据本发明，可以产生高精度的预测图像并可以实现高编码效率而不增加流中运 动矢量的传输量。


图1是图示单向预测的示例的图；图2是图示双向预测的示例的图；图3是图示巾贞内预测的示例的图；图4是解释在本发明中预测图像的产生的概述的图；图5是图示根据本发明的实施例的解码设备的示例配置的框图；图6是图示第三预测模式的概念的图；图7是图示第三预测模式的概念的图；图8是图示图5中的运动预测/补偿电路的示例配置的框图；图9是图示基准巾贞的示例的图；图10是图示基准巾贞的另一示例的图；图11是图示图8中的预测电路的示例配置的框图；图12是图示图8中的滤波电路的示例配置的框图；图13是解释解码设备的解码处理的流程图14是解释图13中的步骤S9执行的运动预测/补偿处理的流程图；图15是解释提取处理的流程的示例的流程图；图16是解释滤波预测处理的流程的示例的流程图；图17是图示编码设备的示例配置的框图；图18是图示图17中的模式确定电路的示例配置的框图；图19是图示图17中的运动预测/补偿电路的示例配置的框图；图20是解释编码设备的编码处理的流程图；图21是解释图20中的步骤S108执行的模式确定处理的流程图；图22是解释图20中的步骤Slll执行的运动预测/补偿处理的流程图；图23是图示滤波电路的另一示例配置的框图；图M是图示滤波电路的又一示例配置的框图；图25是图示在使用三个基准帧的情况下的示例的图；图沈是图示在使用三个基准帧的情况下的滤波电路的示例配置的框图；图27是图示个人计算机的示例配置的框图；图观是图示应用本发明的电视接收机的主要部分的示例配置的框图；图四是图示应用本发明的移动电话的主要部分的示例配置的框图；图30是图示应用本发明的硬盘记录器的主要部分的示例配置的框图；图31是图示应用本发明的相机的主要部分的示例配置的框图；图32是图示宏块的大小的示例的图。
具体实施例方式在下文中将解释用于执行本发明的方式(在下文中，实施例)。注意将以以下次序给出说明1.第一实施例(解码处理)2.第二实施例(编码处理)3.第三实施例(滤波电路的修改)<1.第一实施例>[预测的概述]图4是解释应用本发明的预测图像产生方法的概况的图。在本发明中，在解码器中，通过位流发送至少一个运动矢量以获得运动补偿图像。在图4中，图示了单个帧(N-I)用于运动补偿中所使用的基准面以解码帧N的方式。在图4中，通过流发送用于指示要经历帧(N-I)的运动补偿的图像的坐标的运动矢量。 解码器使用该矢量以获得图像MC。此外，利用帧N中的解码像素值执行帧内预测。例如，在该预测中，使用基于H. 264 标准的帧内预测。但是，本发明不限制帧内预测处理的类型，且可以选择通过利用当前帧中的编码像素来使用后续滤波处理的适于高精度预测的任意预测。通过上述两个预测处理，解码器在解码当前块时可以从帧(N-I)获得运动预测图像并从帧N获得空间预测图像。两个类型的图像经历滤波处理以通过利用输入预测图像中包括的分量来产生更接近于原始图像的新的预测图像。
[解码设备的配置]图5是图示根据本发明的实施例的解码设备1的示例配置的框图。由如下所述的编码设备编码的图像信息经由线缆、网络或者可拆卸介质输入到解码设备1。已压缩的图像信息的示例包括根据H. 264标准编码的图像信息。存储缓冲器11顺序地存储作为已压缩图像信息输入的比特流。在存储缓冲器11 中存储的信息适当地由无损解码电路12以特定单元的图像(比如形成帧的宏块)为单位读取。在H. 264标准中，还可以以进一步划分宏块所得的块(比如8X8像素或者4X4像素的块)为单位而不是以16X16像素的宏块为单位执行处理。无损解码电路12关于从存储缓冲器11读取的图像执行与编码方案对应的解码处理，比如可变长度解码处理或者算术解码处理。无损解码电路12将通过执行解码处理获得的已量化变换系数输出到反量化电路13。此外，无损解码电路12基于要解码的图像的报头中包括的标识标记，来识别该图像是帧内编码图像还是帧间编码图像。在判定要解码的图像是帧内编码图像的情况下，无损解码电路12将存储在图像的报头中的帧内预测模式信息输出到帧内预测电路22。帧内预测模式信息包括关于帧内预测的信息，比如用作处理单元的块的大小。在判断要解码的图像是帧间编码信息的情况下，无损解码电路12将存储在图像的报头中的运动矢量和标识标记输出到运动预测/补偿电路21。使用标识标记识别其中通过帧间预测产生预测图像的预测的模式。例如，以宏块或者帧为单位设置标识标记。除图1中的单向预测的模式和图2中的双向预测的模式之外，准备的预测的模式包括用于通过关于从位于一个或者两个时间方向上的多个基准帧提取的运动补偿图像执行滤波而产生预测图像的第三预测模式。图6是图示第三预测模式的概念的图。在图6的示例中，关于当前帧(预测帧)的时间，在时间上在前的帧被设置为基准帧R0，且关于基准帧RO的在前帧被设置为基准帧Rl。在这种情况下，根据第三预测模式， 从基准帧RO和Rl提取的运动补偿图像MCO和MCl输入到滤波电路，且在从滤波电路输出的图像中的像素值被设置为作为目标宏块的预测图像中的像素值。图7是图示在第三预测模式中输入不同图像的情况下的概念的图。在图7的示例中，关于当前帧(预测帧)的时间，在时间上在前的帧被设置为基准帧R0。在这种情况下，出于第三预测模式的缘故，从基准帧RO提取的运动补偿图像MCO和从位于当前帧中的当前块附近的编码图像产生的帧内预测图像IP输入到滤波电路，且从滤波电路输出的图像中的像素值被设置为作为目标宏块的预测图像中的像素值。在下文中，如参考图1解释的，其中从位于一个方向上的多个基准帧提取的运动补偿图像当中的一个运动补偿图像中的像素值被设置为预测图像中的像素值的预测模式简单地称为单向预测模式。此外，如参考图2解释的，其中从位于两个方向上的多个基准帧单独地提取的运动补偿图像中的像素值的平均值被设置为预测图像中的像素值的预测模式简单地称为双向预测模式。如图6所示的其中通过关于从位于一个或者两个方向上的多个基准帧提取的每个运动补偿图像执行滤波而确定预测图像中的像素值的预测的第三模式被称为滤波预测模式。
11
类似地，如图7所示的其中通过除了从一个或者多个基准帧提取的每个运动补偿图像之外，还关于从目前帧中的编码图像中通过执行帧内预测而提取的帧内预测图像执行滤波而确定预测图像中的像素值的预测的第三模式也称为滤波预测模式。以下将具体描述该滤波预测模式。回头参考图5，反量化电路13使用与编码侧使用的量化方案对应的方案，关于从无损解码电路12提供的已量化变换系数执行反量化。反量化电路13将通过执行反量化而获得的变换系数输出到逆正交变换电路14。例如，逆正交变换电路14使用与编码侧使用的正交变换方案(比如离散余弦变换或者Karhimen-Lc^ve变换)对应的方案，关于从反量化电路13提供的变换系数执行四阶逆正交变换，并将获得的图像输出到加法器电路15。加法器电路15将从逆正交变换电路14提供的解码图像与从运动预测/补偿电路 21或者从帧内预测电路22经由开关23提供的预测图像组合，并将合成图像输出到解块滤波器16。解块滤波器16除去从加法器电路15提供的图像中包括的块噪声，并输出已经除去了块噪声的图像。从解块滤波器16输出的图像被提供到重排缓冲器17和帧存储器19。重排缓冲器17临时存储从解块滤波器16提供的图像。重排缓冲器17例如从存储的每个宏块的图像产生单独的帧，并在将产生的帧输出到D/A(数字/模拟)转换器电路 18之前，以某个次序(比如显示次序)重排产生的帧。D/A转换器电路18关于从重排缓冲器17提供的每一帧执行D/A转换，并将帧的信号输出到外部。帧存储器19临时存储从解块滤波器16提供的图像。经由开关20将存储在帧存储器19中的信息提供到运动预测/补偿电路21或者帧内预测电路22。开关20在要通过帧间预测产生预测图像的情况下连接到端子al，而在要通过帧内预测产生预测图像的情况下连接到端子bl。开关20的切换例如由控制电路31控制。运动预测/补偿电路21根据从无损解码电路12提供的标识标记确定预测模式， 并根据预测模式从存储在帧存储器19中的解码帧当中选择要用作基准帧的帧。运动预测/ 补偿电路21基于从无损解码电路12提供的运动矢量，从形成基准帧的宏块当中确定与目标预测图像对应的宏块，并提取所确定的宏块作为运动补偿图像。运动预测/补偿电路21 根据预测模式从运动补偿图像中的像素值确定预测图像中的像素值，并将已经确定其像素值的预测图像经由开关23输出到加法器电路15。帧内预测电路22根据从无损解码电路12提供的帧内预测模式信息执行帧内预测，并产生预测图像。帧内预测电路22将产生的预测图像经由开关23输出到加法器电路 15。开关23在已经由运动预测/补偿电路21产生预测图像的情况下连接到端子a2， 并在已经由帧内预测电路22产生预测图像的情况下连接到端子1^2。开关23的切换例如也由控制电路31控制。控制电路31例如通过切换开关20和23的连接来控制解码设备1的总体操作。处理目标图像是帧内编码图像还是帧间编码图像的识别可以由控制电路31执行。图8是图示图5中的运动预测/补偿电路21的示例配置的框图。
如图8所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、 双向预测电路43、预测电路44和滤波电路45组成。将从无损解码电路12提供的运动矢量和标识标记输入到预测模式确定电路41。预测模式确定电路41根据从无损解码电路12提供的标识标记确定预测模式。预测模式确定电路41在确定要通过单向预测产生预测图像的情况下输出运动矢量到单向预测电路42，并在确定要通过双向预测产生预测图像的情况下输出运动矢量到双向预测电路 43。此外，在确定要通过滤波预测产生预测图像的情况下，预测模式确定电路41输出运动矢量到预测电路44。用这样的方式，不同于现有的H. 264标准定义的、表示单向预测的值和表示双向预测的值的值可以被设置为标识标记的值，以使能滤波预测的识别。注意，可以使用预先确定的方法，而不是根据标识标记确定预测模式，以减少信息量。如图1所示，单向预测电路42设置位于一个时间方向上的多个帧作为基准帧，并基于运动矢量确定在与预测图像对应的基准帧中的宏块。此外，单向预测电路42通过从帧存储器19读取基准帧中每一确定的宏块作为运动补偿图像，并设置在运动补偿图像之一中的像素值作为预测图像中的像素值，来产生预测图像。单向预测电路42将预测图像输出到加法器电路15。例如，在H. 264标准中定义的单向预测用作由单向预测电路42执行的单向预测。如图2所示，双向预测电路43设置位于两个时间方向上的多个帧作为基准帧，并基于运动矢量确定在与预测图像对应的基准帧中的宏块。此外，双向预测电路43通过从帧存储器19读取基准帧中每一确定的宏块作为运动补偿图像，并设置在读取的运动补偿图像中的像素值的平均值作为预测图像中的像素值，来产生预测图像。双向预测电路43输出预测图像加法器电路15。例如，在H. 264标准中定义的双向预测用作由双向预测电路43执行的双向预测。预测电路44将位于一个或者两个时间方向上的多个帧确定为基准帧。可以预先确定或者可以由与标识标记一起从编码侧发送的信息指定哪个帧用作基准帧。图9是图示基准帧的示例的图。在图9的示例中，关于预测帧的时间，在时间上在前的帧和进一步在前的帧(即， 两个帧)被设置为基准帧。在这两个基准帧中，更靠近预测帧的在前帧被设置为基准帧R0， 且关于基准帧RO的在前帧被设置为基准帧Rl。图10是图示基准帧的另一示例的图。在图10的示例中，关于预测帧的时间，在时间上在前和在后的帧(即，两个帧)被设置为基准帧。这两个基准帧中，关于预测帧的在前帧被设置为基准帧L0，且在后帧被设置为基准帧Li。用这样的方式，在滤波预测中，位于一个时间方向上的多个帧或者位于两个方向上的多个帧用作基准帧。此外，预测电路44基于从预测模式确定电路41提供的运动矢量，在以如图9或者图10所示的方式确定的基准帧当中的至少一个基准帧中的解码宏块当中确定与预测图像对应的宏块。此外，如参考图7解释的，预测电路44例如根据H. 264标准关于当前帧执行帧内预测。预测电路44从帧存储器19读取每一基准帧中所确定的宏块作为帧内预测图像， 并将读取的帧内预测图像输出到滤波电路45。就是说，预测电路44从当前帧以外的基准帧提取基于运动矢量的运动补偿图像， 且还通过关于当前帧执行帧内预测来产生帧内预测图像。注意，可以以进一步划分宏块所得的块为单位，而不是以16X16像素的宏块等为单位来确定运动矢量。例如，将每个宏块的图像输入到滤波电路45。在图8中，作为从预测电路44导向滤波电路45箭头的两个箭头的表示指示提供两个运动补偿图像。滤波电路45接收从预测电路44提供的运动补偿图像作为输入，执行滤波，并将通过执行滤波获得的预测图像输出到加法器电路15。图11是图示图6中的预测电路44的示例配置的框图。在图11中，预测电路44 包括运动补偿电路51和帧内预测电路52。运动补偿电路51使用从预测模式确定电路41提供的运动矢量，指定当前帧以外的基准帧中与预测图像对应的宏块。运动补偿电路51从帧存储器19读取指定宏块的图像， 并提取读取的图像作为运动补偿图像。运动补偿电路51提供所提取的运动补偿图像MCO 到滤波电路45。帧内预测电路52使用任意方法关于当前帧(目前帧)执行帧内预测(帧内预测)， 并作为预测结果产生与要求的预测图像对应的帧内预测图像IP。这里，为了执行帧内预测， 例如，使用H. 264帧内4 X 4预测，帧内8 X 8预测，或者帧内16 X 16预测。在使用上述帧内预测的情况下，在流中描述用于唯一地定义解码器侧的预测方法的控制信息并发送。帧内预测电路52提供所产生的帧内预测图像IP到滤波电路45。图12是图示滤波电路45的示例配置的框图。在具有图12中的配置的滤波电路 45中，关于时域信号执行滤波。如图12所示，滤波电路45由差别计算电路61、低通滤波器电路62、增益调节电路 63、高通滤波器电路64、增益调节电路65、加法器电路66和加法器电路67组成。将从预测电路44提供的运动补偿图像MCO输入到差别计算电路61和加法器电路67，且将运动补偿图像MCl输入到差别计算电路61。如上所述，在通过帧内预测产生预测图像的情况下，例如，在当前帧中产生的图像被设置为帧内预测图像IP，且从当前帧以外的基准帧提取的图像被设置为运动补偿图像 MCl。注意，在以如图9所示的方式通过单向预测产生预测图像的情况下，例如，从基准帧RO提取的图像可以被认为与预测图像具有较高相关性，将该图像设置为运动补偿图像 MC0，且将从基准帧Rl提取的图像设置为运动补偿图像MC1。可以设计从基准帧RO提取的图像以设置为运动补偿图像MC1，且可以从基准帧Rl提取的图像以设置为运动补偿图像MC0。此外，在以如图10所示的方式通过双向预测产生预测图像的情况下，例如，从在前的基准帧LO提取的图像被设置为运动补偿图像MC0，且从在后的基准帧Ll提取的图像被设置为运动补偿图像MC1。可以设计从基准帧LO提取的图像以设置为运动补偿图像MC1， 且可以设计从基准帧Ll提取的图像以设置为运动补偿图像MC0。上述运动补偿图像MCO可以由图12中的帧内预测图像IP代替，且可以以类似于帧内预测图像IP的方式处理。以下将给出帧内预测图像IP的说明。差别计算电路61计算帧内预测图像IP(运动补偿图像MC0)和运动补偿图像MCl 之间的差别，并将差别图像输出到低通滤波器电路62。差别图像D由如下的公式(3)表示[Math. 3]D(i，j) = (i，j)-MC1H, j)…(3)在公式(3)中，(i，j)表示运动补偿图像中像素的相对位置，并在将处理设计为以 16X16像素的宏块为单位执行的情况下满足0 < i < 16和0 < j < 16。假定这类似地适用于以下描述。低通滤波器电路62具有HR滤波器电路。低通滤波器电路62将低通滤波器应用于从差别计算电路61提供的差别图像D，并将获得的图像输出到增益调节电路63和高通滤波器电路64。作为通过应用低通滤波器获得的图像的差别图像D'由以下公式(4)表示。 在公式中，LPF(X)表示使用二维FIR滤波器的低通滤波器到输入图像X的应用。[Math. 4]D' = LPF(D)- (4)增益调节电路63调节从低通滤波器电路62提供的差别图像D'的增益，并输出已调节增益的图像到加法器电路66。增益调节电路63的输出图像X(i，j)由以下公式(5) 表不。[Math. 5]X(i，j) = aD' (i，j)…(5)高通滤波器电路64具有HR滤波器电路。高通滤波器电路64将高通滤波器应用于从低通滤波器电路62提供的差别图像D'，并输出获得的图像到增益调节电路65。作为通过应用高通滤波器获得的图像的差别图像D"由以下公式(6)表示。在公式(6)中， HPF(X)表示使用二维FIR滤波器的高通滤波器到输入图像X的应用。[Math. 6]D〃 = HPF (D')…(6)增益调节电路65调节从高通滤波器电路64提供的差别图像D"的增益，并输出已调节增益的图像到加法器电路66。增益调节电路65的输出图像Y(i，j)由以下公式(7) 表不。[Math. 7]Y(i, j) = β " (i，j)…(7)作为公式(5)中的α和公式(7)中的β的值，例如，选择比如α = 0. 8和β = 0.2的值。但是，可以使用其它值以增加预测像素的精度。此外，可以根据输入序列的性质等自适应地改变值。加法器电路66将已调节增益的图像X(i，j)和图像Y(i，j)加在一起，并输出通过相加获得的图像。加法器电路66的输出图像Z(i，j)由以下公式⑶表示。[Math. 8]Z(i, j) = X(i，j)+Y(i, j) - (8)输出图像Z(i，j)是可以从运动补偿图像MCO和运动补偿图像MCl之间的差别 (即，相关性)确定的图像的高频分量的表示。
加法器电路67将从加法器电路66提供的输出图像Z (i,j)与帧内预测图像IP相加，并输出获得的图像到加法器电路15作为预测图像。加法器电路67的最终输出(S卩，预测图像S(i，j))由以下公式(9)表示。[Math. 9]S(i，j) = IP(i，j)+Z(i, j)··· (9)用这样的方式，根据滤波预测模式，产生通过将表示高频分量的图像与帧内预测图像IP相加而获得的图像作为预测图像。该预测图像包括比在简单地执行双向预测的情况下获得的预测图像更高频的分量。另外，可以通过比在简单地执行单向预测的情况下更有效地利用图像的时间相关性来产生预测图像。此外，因为在加法器电路15中包括大量高频分量的预测图像与解码图像相加，所以最终从解码设备1输出的图像也是包括大量高频分量的高清图像。此外，在预测图像的产生中，关于当前帧执行帧内预测并与运动补偿图像MCl —
起利用由此产生的帧内预测图像IP。这可以减小用于产生运动补偿图像的运动矢量的数目。如上所述，在根据本发明的运动补偿设备输出预测图像之后，通过以现有的方式执行解码来恢复图像信息。用这样的方式，解码设备1可以通过使用帧间预测的预测精度，通过补偿帧内预测的预测精度的缺乏来实现编码效率的改进，且还可以通过减小帧间预测所需的基准面的数目来实现处理成本的减小。[解码处理的流程的说明]这里，将解释具有上述配置的解码设备1的处理。首先，将参考图13的流程图解释解码设备1的解码处理。例如，当由无损解码电路12从在存储缓冲器12中存储的信息读取某个大小(比如16X16像素的宏块)的图像时开始图13中的处理。与另一步骤的处理并行地或通过重新安排步骤来适当地执行图13中每个步骤的处理。这类似地适用于如下所述的每个流程图中每个步骤的处理。在步骤Sl中，无损解码电路12关于从存储缓冲器11读取的图像执行解码处理， 并输出已量化变换系数到反量化电路13。此外，无损解码电路12在要解码的图像是帧内编码图像的情况下将帧内预测模式信息输出到帧内预测电路22，并在要解码的图像是帧间编码图像的情况下将运动矢量和标识标记输出到运动预测/补偿电路21。在步骤S2中，反量化电路13使用与在编码侧使用的量化方案对应的方案执行反量化，并输出变换系数到逆正交变换电路14。在步骤S3中，逆正交变换电路14关于从反量化电路13提供的变换系数执行逆正交变换，并输出所获得的图像到加法器电路15。在步骤S4中，加法器电路15组合从逆正交变换电路14提供的解码图像和从运动预测/补偿电路21或者帧内预测电路22提供的预测图像，并输出合成图像到解块滤波器 16。在步骤S5中，解块滤波器16执行滤波以除去合成图像中包括的块噪声，并输出已经除去了块噪声的图像。
在步骤S6中，帧存储器19临时存储从解块滤波器16提供的图像。在步骤S7中，控制电路31判断目标图像是否是帧内编码图像。在步骤S7判断目标图像是帧内编码图像的情况下，那么在步骤S8，帧内预测电路 22通过执行帧内预测产生预测图像，并输出产生的预测图像到加法器电路15。相比之下，在步骤S7判断目标图像不是帧内编码图像，或者是帧间编码图像的情况下，那么，在步骤S9，运动预测/补偿电路21执行运动预测/补偿处理。将通过执行运动预测/补偿处理产生的预测图像输出到加法器电路15。下面将参考图14中的流程图描述运动预测/补偿处理。在步骤SlO中，控制电路31判断是否已经关于一整个帧中的宏块执行了上述处理。在判断还没有执行处理的情况下，注意集中在另一宏块上，且重复地执行从步骤Sl开始的处理。相比之下，在步骤SlO判断已经关于一整个帧中的宏块执行处理的情况下，那么， 在步骤Sl 1，重排缓冲器17根据控制电路31的控制将产生的帧输出到D/A转换器电路18。在步骤S12中，D/A转换器电路18关于从重排缓冲器17提供的帧执行D/A转换， 并输出模拟信号到外部。关于单独的帧执行上述处理。接下来，将参考图14中的流程图解释图13中的步骤S9执行的运动预测/补偿处理。在步骤S31中，运动预测/补偿电路21的预测模式确定电路41判断从无损解码电路12提供的标识标记是否指示要以滤波预测模式执行处理。在步骤S31判断标识标记指示要以滤波预测模式执行处理的情况下，处理进行到步骤S32。在步骤S32，预测电路44执行用于提取运动补偿图像的提取处理和用于产生帧内预测图像的产生处理。下面将描述提取处理和产生处理的细节。如果提取运动补偿图像并产生帧内预测图像，那么在步骤S33，滤波电路45执行滤波预测处理。下面将描述滤波预测处理的细节。当完成步骤S33的处理时，运动预测/补偿处理结束。那么，处理返回到图11中的步骤S9，且处理进行到步骤S10。此外，在步骤S31判断标识标记不指示要以滤波预测模式执行处理的情况下，处理进行到步骤S32。在步骤S32，单向预测电路42执行单向预测或者双向预测电路43执行双向预测。由此，产生预测图像。也就是说，在标识标记指示要以单向预测模式执行处理的情况下，将运动矢量从预测模式确定电路41提供到单向预测电路42，且单向预测电路42执行单向预测。此外， 在标识标记指示要以双向预测模式执行处理的情况下，将运动矢量从预测模式确定电路41 提供到双向预测电路43，且双向预测电路43执行双向预测。在将预测图像输出到加法器电路15之后，运动预测/补偿处理结束。然后，处理返回到图13中的步骤S9，且处理进行到步骤SlO。接下来，将参考图15中的流程图解释在图14中的步骤S32执行的提取处理的流程的示例。当开始提取处理时，在步骤S51，预测电路44设置变量i = 1。在步骤S52，运动补偿电路51从第i基准帧(即，基准面i)执行运动补偿，并提取运动补偿图像MC[i]。在步骤S53，运动补偿电路51输出运动补偿图像MC[i ]到滤波电路45。在步骤S54，预测电路44判断变量i的值是否小于或等于N。在判断变量i的值小于或等于某个自然数N的情况下，处理进行到步骤S55。在步骤S55，运动补偿电路51递增变量i。当完成步骤S55的处理时，处理返回到步骤S52并重复随后的处理。此外，在步骤SM判断变量i的值大于N的情况下，处理进行到步骤S56。在步骤S56，帧内预测电路52判断是否要执行帧内预测。在判断要执行帧内预测的情况下，处理进行到步骤S57。在步骤S57，帧内预测电路52关于当前帧(目前帧)执行帧内预测。在步骤S58，帧内预测电路52将通过帧内预测产生的帧内预测图像IP输出到滤波电路45。当完成步骤S58的处理时，提取处理结束。然后，处理返回到图14中的步骤S32， 且处理进行到步骤S33。此外，在图15中步骤S56判断不执行帧内预测的情况下，提取处理结束。然后，处理返回到图14中的步骤S32，且处理进行到步骤S33。接下来，将参考图16中的流程图解释在图14中的步骤S33执行的滤波预测处理的流程的示例。在提取运动补偿图像并产生帧内预测图像之后，当开始滤波处理时，在步骤S71， 滤波电路45的差别计算电路61计算运动补偿图像和帧内预测图像之间的差别，并输出差别图像到低通滤波器电路62。在步骤S72，低通滤波器电路62将低通滤波器应用于从差别计算电路61提供的差别图像，并将所获得的图像输出到增益调节电路63和高通滤波器电路64。在步骤S73，增益调节电路63调节从低通滤波器电路62提供的图像的增益，并输出已调节增益的图像到加法器电路66。在步骤S74，高通滤波器电路64将高通滤波器应用于从低通滤波器电路62提供的差别图像，并将所获得的图像输出到增益调节电路65。在步骤S75，增益调节电路65调节从高通滤波器电路64提供的差别图像的增益， 并输出已调节增益的图像到加法器电路66。在步骤S76，加法器电路66将从增益调节电路63提供的图像(低通滤波器的输出)和从增益调节电路65提供的图像(高通滤波器的输出)加在一起，并确定图像的高频分量。将所确定的高频分量从加法器电路66提供到加法器电路67。在步骤S77，加法器电路67将从加法器电路66提供的图像(高频分量)与帧内预测图像相加，并将获得的图像输出到加法器电路15作为预测图像。注意，加法器电路67可以将从加法器电路66提供的图像(高频分量)与运动补偿图像而不是帧内预测图像相加。在步骤S78，滤波电路45判断是否已经处理了全部运动补偿图像和帧内预测图像。在判断存在未处理的运动补偿图像或者帧内预测图像的情况下，处理返回到步骤S71 并重复随后的处理。此外，在步骤S78判断已经处理了全部运动补偿图像和帧内预测图像的情况下， 滤波预测处理结束。然后，处理返回到图12中的步骤S33，且运动预测/补偿处理结束。随后，处理返回到图11中的步骤S9，且处理进行到步骤S10。如上，因为使用通过滤波预测产生的预测图像执行解码，所以可以通过使用帧间预测的预测精度来补偿帧内预测的预测精度的缺乏，由此使得可以获得高清解码图像。此外，此时，至少一个帧内预测图像用于预测图像的计算，由此允许减小要编码的运动矢量的数目并实现处理成本的减少(防止负荷增加)。就是说，解码设备1可以产生具有少量控制信息的高精度预测图像。<2.第二实施例〉[编码设备的配置]接下来，将解释编码侧的设备的配置和操作。图17是图示编码设备101的示例配置的框图。将通过编码设备101的编码获得的压缩图像信息输入到图5中的解码设备1。A/D转换器电路111关于输入信号执行A/D转换，并输出图像到重排缓冲器112。重排缓冲器112根据压缩图像信息的GOP (画面组)结构重排帧，并输出比如宏块之类的某个单元的图像。将从重排缓冲器112输出的图像提供到加法器电路113、模式确定电路123、运动预测/补偿电路125和帧内预测电路126。加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补偿电路125 或者帧内预测电路126产生并经由开关127提供的预测图像之间的差别，并输出残差到正交变换电路114。预测图像离原始图像越近且这里确定的残差的数目越小，则给残差分配的代码量越小，因此可以说编码效率越高。正交变换电路114关于从加法器电路113提供的残差执行正交变换，比如离散余弦变换或者Karhimen-Lc^ve变换，并输出通过执行正交变换获得的变换系数到量化电路 115。量化电路115根据比率控制电路118的控制量化从正交变换电路114提供的变换系数，并输出已量化变换系数。由量化电路115量化的变换系数被提供到无损编码电路116 和反量化电路119。无损编码电路116通过执行比如变长编码或者算术编码之类的无损编码来压缩从量化电路115提供的变换系数，并将信息输出到存储缓冲器117。此外，无损编码电路116根据从模式确定电路123提供的信息设置标识标记的值， 并在图像的报头中描述标识标记。如上所述，解码设备1基于由无损编码电路116描述的标识标记确定预测模式。无损编码电路116还在图像的报头中描述从运动预测/补偿电路125或者帧内预测电路1 提供的信息。从运动预测/补偿电路125提供当执行帧间预测时检测到的运动矢量等，并从帧内预测电路126提供关于应用的帧内预测模式的信息。存储缓冲器117临时存储从无损编码电路116提供的信息，并在某个定时将其作为压缩图像信息输出。存储缓冲器117将关于产生的代码量的信息输出到比率控制电路 118。比率控制电路118基于从存储缓冲器117输出的代码量计算量化尺度 (quantization scale)，并控制量化电路115以使得可以以计算的量化尺度执行量化。反量化电路119关于由量化电路115量化的变换系数执行反量化，并输出变换系数到逆正交变换电路120。逆正交变换电路120关于从反量化电路119提供的变换系数执行逆正交变换，并输出所获得的图像到解块滤波器121。解块滤波器121除去在本地解码的图像中出现的块噪声，并输出已经除去了块噪声的图像到帧存储器122。帧存储器122存储从解块滤波器121提供的图像。存储在帧存储器122中的图像由模式确定电路123适当地读取。模式确定电路123基于存储在帧存储器122中的图像和从重排缓冲器112提供的原始图像，确定要执行帧内编码还是要执行帧间编码。此外，在确定要执行帧间编码的情况下，模式确定电路123在单向预测模式、双向预测模式和滤波预测模式当中确定一个模式。 模式确定电路123输出指示确定结果的信息到无损编码电路116作为模式信息。在确定要执行帧间编码的情况下，模式确定电路123将存储在帧存储器122中的并通过本地解码获得的帧经由开关IM输出到运动预测/补偿电路125。此外，在确定要执行帧内编码的情况下，模式确定电路123将存储在帧存储器122 中并通过本地解码获得的帧输出到帧内预测电路1 。开关IM在要执行帧间编码的情况下连接到端子all，并在要执行帧内编码的情况下连接到端子bll。开关124的切换例如由控制电路131控制。运动预测/补偿电路125基于从重排缓冲器112提供的原始图像和从帧存储器 122读取的基准帧来检测运动矢量，并将检测到的运动矢量输出到无损编码电路116。此外，运动预测/补偿电路125通过使用检测到的运动矢量和基准帧执行运动补偿来产生预测图像，并经由开关127将所产生的预测图像输出到加法器电路113。帧内预测电路1 基于从重排缓冲器112提供的原始图像和本地解码并存储在帧存储器122中的基准帧执行帧内预测，并产生预测图像。帧内预测电路1 经由开关127 将所产生的预测图像输出到加法器电路113，并将帧内预测模式信息输出到无损编码电路 116。开关127连接到端子al2或者端子bl2，并将由运动预测/补偿电路125或者帧内预测电路1 产生的预测图像输出到加法器电路113。控制电路131根据由模式确定电路123确定的模式，例如通过切换开关IM和127 的连接来控制编码设备101的总体操作。图18是图示图17中的模式确定电路123的示例配置的框图。如图18中所示，模式确定电路123由帧内预测电路141、帧间预测电路142、预测误差计算电路143和确定电路144组成。在模式确定电路123中，关于具有不同尺寸的块执行帧内预测和帧间预测中的每一个，并从所获得的结果确定要执行哪个预测模式的预测。 对于帧间预测，以每一预测模式(即，单向预测模式、双向预测模式和滤波预测模式)执行处理。将从重排缓冲器112提供的原始图像输入到帧内预测电路141、帧间预测电路142和预测误差计算电路143。帧内预测电路141基于原始图像和从帧存储器122读取的图像以具有不同大小的块为单位执行帧内预测，并将所产生的帧内预测图像输出到预测误差计算电路143。4X4 预测电路151-1以4X4个像素的块为单位执行帧内预测，且8X8预测电路151-2以8X8 个像素的块为单位执行帧内预测。16X16预测电路151-3以16X16个像素的块为单位执行帧内预测。帧内预测电路141的每个电路还将所产生的帧内预测图像提供到滤波电路164。帧间预测电路142中的预测电路161基于原始图像和从帧存储器122读取的基准帧，以每个具有不同尺寸的块为单位检测运动矢量。此外，预测电路161基于检测到的运动矢量执行运动补偿，并输出用于预测图像的产生的运动补偿图像。16 X 16预测电路161_1关于16 X 16像素的每个块的图像执行处理，且16 X 8预测电路161-2关于16X8像素的每个块的图像执行处理。此外，4X4预测电路161-(n-l)关于4X4像素的每个块的图像执行处理。跳跃/直接(skip/direct)预测电路161_n以跳跃预测模式或者直接预测模式检测运动矢量，并使用所检测到的运动矢量执行运动补偿。从关于目前帧位于任意方向的多个基准帧提取的运动补偿图像被从预测电路161 中的各个电路提供到单向预测电路162。此外，从关于目前帧位于两个方向上的多个基准帧提取的运动补偿图像被从预测电路161中的各个电路提供到双向预测电路163。在如上所述要使用从位于任一方向上的多个基准帧提取的运动补偿图像执行滤波预测的情况下，从位于任一方向上的基准帧提取的运动补偿图像被从预测电路161中的各个电路提供到滤波电路164。在要使用从位于两个方向上的多个基准帧提取的运动补偿图像执行滤波预测的情况下，从位于两个方向上的基准帧提取的运动补偿图像被从预测电路161中的各个电路提供到滤波电路164。单向预测电路162通过使用从预测电路161中的各个电路提供的具有不同大小的运动补偿图像执行单向预测来产生预测图像，并将所产生的预测图像输出到预测误差计算电路143。例如，单向预测电路162通过使用从预测电路161-1提供的、具有16X16像素的多个运动补偿图像当中的一个图像中的像素值作为预测图像中的像素值，来产生预测图像。双向预测电路163通过使用从预测电路161中的各个电路提供的、具有不同大小的运动补偿图像执行双向预测来产生预测图像，并将所产生的预测图像输出到预测误差计算电路143。例如，双向预测电路163通过使用从预测电路161-1提供的、具有16X16像素的多个运动补偿图像中像素值的平均值作为预测图像中的像素值，来产生预测图像。滤波电路164通过使用从预测电路161中的各个电路提供的、具有不同尺寸的运动补偿图像和从帧内预测电路141中的各个电路提供的、具有不同大小的帧内预测图像执行滤波预测来产生预测图像，并将所产生的预测图像输出到预测误差计算电路143。滤波电路164具有与如图12所示的配置相同的配置，从而对应于解码设备1的滤波电路45。例如，在基于从预测电路161-1提供的16X16像素的运动补偿图像并基于从预测电路151-3提供的16X 16像素产生预测图像的情况下，滤波电路164确定帧内预测图像和运动补偿图像之间的差别，并将低通滤波器应用于所确定的差别图像。此外，滤波电路164 将高通滤波器应用于低通滤波器的输出，并将通过调节高通滤波器的输出的增益而获得的图像与通过调节低通滤波器的输出的增益而获得的图像加在一起。滤波电路164通过将表示高频分量的相加结果的图像与帧内预测图像相加来产生预测图像，并将所产生的预测图像输出到预测误差计算电路143。预测误差计算电路143确定从帧内预测电路141中的各个电路提供的每一预测图像和原始图像之间的差别，并将表示所确定的差别的残差信号输出到确定电路144。此外， 预测误差计算电路143确定从帧间预测电路142中的单向预测电路162、双向预测电路163和滤波电路164提供的每一预测图像和原始图像之间的差别，并将表示所确定的差别的残差信号输出到确定电路144。确定电路144测量从预测误差计算电路143提供的残差信号的强度，并将已经用于产生具有与原始图像小的差别的预测图像的预测方法确定为用于产生要用于编码的预测图像的预测方法。确定电路144将表示确定结果的信息输出到无损编码电路116作为模式信息。模式信息还包括表示要用作处理单元的块的大小的信息，等等。此外，在确定要通过帧间预测产生预测图像的情况下(在确定要执行帧间编码的情况下)，确定电路144与模式信息一起将从帧存储器122读取的基准帧输出到运动预测/ 补偿电路125。在确定要通过帧内预测产生预测图像的情况下(在确定要执行帧内编码的情况下)，确定电路144将从帧存储器122读取的用于帧内预测的图像与模式信息一起输出到帧内预测电路126。图19是图示图17中的运动预测/补偿电路125的示例配置的框图。如图19所示，运动预测/补偿电路125由运动矢量检测电路181、单向预测电路 182、双向预测电路183、预测电路184和滤波电路185组成。除了提供运动矢量检测电路 181代替预测模式确定电路41之外，运动预测/补偿电路125具有类似于如图8所示的运动预测/补偿电路21的配置的配置。运动矢量检测电路181通过基于从重排缓冲器112提供的原始图像和从模式确定电路123提供的基准帧执行块匹配等来检测运动矢量。运动矢量检测电路181参考从模式确定电路123提供的模式信息，并将运动矢量与基准帧一起输出到单向预测电路182、双向预测电路183和预测电路184之一。运动矢量检测电路181在已经选择要执行单向预测的情况下将运动矢量与基准帧一起输出到单向预测电路182，并在已经选择要执行双向预测的情况下将这些信息输出到双向预测电路183。在已经选择要执行滤波预测的情况下，运动矢量检测电路181将运动矢量与基准帧一起输出到预测电路184。与图8中的单向预测电路42类似地，单向预测电路182通过执行单向预测来产生预测图像。单向预测电路182将所产生的预测图像输出到加法器电路113。与图8中的双向预测电路43类似地，双向预测电路183通过执行双向预测来产生预测图像。双向预测电路183将所产生的预测图像输出到加法器电路113。与图8中的预测电路44类似地，预测电路184从比如两个基准帧的多个基准帧中的每一个提取运动补偿图像，并将多个提取的运动补偿图像输出到滤波电路185。与图8中的滤波电路45类似地，滤波电路185通过执行滤波预测产生预测图像。 滤波电路185将所产生的预测图像输出到加法器电路113。注意，滤波电路185具有类似于如图12所示的滤波电路45的配置的配置。在下文中，将适当地通过参考如图12所示的滤波电路45的配置解释滤波电路185的配置。通过滤波预测产生的预测图像可以是比通过单向预测或者双向预测产生的预测图像包括更多高频分量，并具有与原始图像的小的差别的图像。因此，仅需要将少量代码分配给残差，由此使得可以增加编码效率。此外，因为可以使用至少两个基准帧执行滤波预测，使得这种编码效率的增加是可行的而不增加处理的复杂性。例如，还可以通过增加要用于帧间预测的基准帧的数目以产生高精度预测图像并通过使用该预测图像，来减少与原始图像的残差并可以增加编码效率。但是，在这种情况下，使用的基准帧的数目增加，且处理的复杂性增加。注意，当选择预测方法时，可以通过考虑用于预测所需的信息(比如运动矢量)的代码量和编码方式，并通过将与代码量对应的权重加到残差信号的强度来选择最佳预测方法。这使得可以进一步改进编码效率。此外，对于简化的编码处理，可以利用在时间和空间方向上的输入原始图像的特征值来自适应地选择预测方法。[编码处理的流程的说明]接下来，将解释具有上述配置的编码设备101的处理。将参考图20中的流程图解释编码设备101的编码处理。当从重排缓冲器112输出某个单元(比如宏块)的图像时开始该处理。在步骤S101，加法器电路113确定从重排缓冲器112提供的图像和由运动预测/ 补偿电路125或者帧内预测电路1 产生的预测图像之间的差别，并将残差输出到正交变换电路114。在步骤S102，正交变换电路114关于从加法器电路113提供的残差执行正交变换， 并将变换系数输出到量化电路115。在步骤S103，量化电路115量化从正交变换电路114提供的变换系数，并输出已量化的变换系数。在步骤S104，反量化电路119关于由量化电路115量化的变换系数执行反量化，并将变换系数输出到逆正交变换电路120。在步骤S105，逆正交变换电路120关于从反量化电路119提供的变换系数执行逆正交变换，并将所获得的图像输出到解块滤波器121。在步骤S106，解块滤波器121通过执行滤波除去块噪声，并将已经除去了块噪声的图像输出到帧存储器122。在步骤S107，帧存储器122存储从解块滤波器121提供的图像。在步骤S108，模式确定电路123执行模式确定处理。通过该模式确定处理，确定要以哪个预测模式产生预测图像。下面将描述模式确定处理。在步骤S109，控制电路131基于模式确定电路123的确定来判断是否要执行帧内预测。在步骤S109判断要执行帧内预测的情况下，那么在步骤S110，帧内预测电路1 执行帧内预测，并将预测图像输出到加法器电路113。相比之下，在步骤S109判断不执行帧内预测，S卩，要执行帧间预测的情况下，那么在步骤S111，由运动预测/补偿电路125执行运动预测/补偿处理，并将预测图像输出到加法器电路113。下面将描述运动预测/补偿处理。在步骤S112，无损编码电路116压缩从量化电路115提供的变换系数，并将其输出到存储缓冲器117。此外，无损编码电路116根据从模式确定电路123提供的信息，在图像的报头中描述标识标记或者在图像的报头中描述从运动预测/补偿电路125提供的运动矢量。在步骤S113，存储缓冲器117临时存储从无损编码电路116提供的信息。在步骤S114中，控制电路131判断是否已经关于一整个帧中的宏块执行了上述处理。在判断还没有执行处理的情况下，注意集中在另一宏块上，且重复地执行从步骤Slll 开始的处理。相比之下，在步骤S114判断已经关于一整个帧中的宏块执行了处理的情况下，然后在步骤S115，存储缓冲器117根据控制电路131的控制输出压缩图像信息。关于每个帧执行上述处理。接下来，将参考图21中的流程图解释图20中的步骤S108执行的模式确定处理。在步骤S131，帧内预测电路141和帧间预测电路142分别关于具有不同尺寸的块执行帧内预测和帧间预测，并产生预测图像。将所产生的预测图像提供到预测误差计算电路 143。在步骤S132，预测误差计算电路143确定从帧内预测电路141中的各个电路以及帧间预测电路142的单向预测电路162、双向预测电路163和滤波电路164提供的每一预测图像与原始图像之间的差别。预测误差计算电路143将残差信号输出到确定电路144。在步骤S133，确定电路144基于从预测误差计算电路143提供的残差信号的强度， 确定用于产生要提供到加法器电路113的预测图像的预测方法。在步骤S134，确定电路144将作为关于确定的预测方法的模式信息输出到无损编码电路116。此后，处理返回到图20中的步骤S108，并执行后续处理。接下来，将参考图22中的流程图描述图20中的步骤Slll执行的运动预测/补偿处理。在步骤S151，运动矢量检测电路181基于原始图像和基准帧检测运动矢量。在步骤S152，运动矢量检测电路181判断模式确定电路123是否已经确定要以滤波预测模式执行处理。在判断已经确定要以滤波预测模式执行处理的情况下，处理进行到步骤S153。分别以类似于图14中的步骤S32和S33的情况的方式执行步骤S153和SlM的处理。就是说，在步骤S153，以如参考图15中的流程图解释的方式执行提取处理，且在步骤S1M，以如参考图16中的流程图解释的方式执行滤波预测处理。当完成步骤SlM的处理时，运动预测/补偿处理结束。然后，处理返回到图20中的步骤Sl 11，且处理进行到步骤Sl 12。此外，在图22中的步骤S152判断尚未确定要以滤波预测模式执行处理的情况下， 处理进行到步骤S155。在步骤S155，单向预测电路182或者双向预测电路183执行单向预测或者双向预测，并产生预测图像。也就是说，在已经确定要以单向预测模式执行处理的情况下，从运动矢量检测电路181向单向预测电路182提供运动矢量，且由单向预测电路182执行单向预测。此外，在已经确定要以双向预测模式执行处理的情况下，将运动矢量从运动矢量检测电路181提供到双向预测电路183，且由双向预测电路183执行双向预测。当将预测图像输出到加法器电路113且完成图22中的步骤S155的处理时，运动预测/补偿处理结束。然后，处理返回到图20中的步骤S111，且处理进行到步骤S112。如上，使用通过滤波预测产生的预测图像执行编码，由此使得可以增加编码效率。 具体来说，编码设备101可以通过使用帧间预测的预测精度来允许帧内预测的预测精度的缺乏的补偿，从而改进编码效率。此外，可以减少帧间预测所需的基准帧的数目，因此可以实现处理成本的减少。<3.第三实施例>[滤波电路的修改]在上述描述中，假定将滤波电路45和185设计为具有如图12所示的配置。但是， 可以适当地改变该配置。图23是图示滤波电路45的另一示例配置的框图。与如图12所示的配置单元对应的配置单元分配相同的附图标记。将适当地省略冗余的说明。图23中的差别计算电路61计算帧内预测图像和运动补偿图像之间的差别，并将差别图像输出到低通滤波器电路62。低通滤波器电路62将低通滤波器应用于从差别计算电路61提供的差别图像，并将所获得的图像输出到加法器电路67。加法器电路67将从低通滤波器电路62提供的图像与帧内预测图像相加，并输出所获得的图像作为预测图像。通过使用如图23所示的配置，与使用图12中的配置的情况下相比可以减少处理量，且使得高速操作是可行的。图M是图示滤波电路45的又一示例配置的框图。与如图12所示的配置单元对应的配置单元分配相同的附图标记。将适当地省略冗余的说明。在图M中的滤波电路45中，不关于时域信号而是关于频域信号执行滤波。图12 和图23中图示的两个滤波电路被配置以关于时域信号执行滤波。图M中的差别计算电路61计算帧内预测图像和运动补偿图像之间的差别，并输出差别图像到正交变换电路201。正交变换电路201关于差别图像执行由DCT (离散余弦变换)、Hadamard变换和 KLT(Karhunen Loeve变换)表示的正交变换，并将在正交变换之后获得的信号输出到带通滤波器电路202。关于在频域中的信号执行正交变换并执行滤波使得可以比在关于在时域中的信号执行滤波的情况下更灵活地实现高精度的滤波处理。在DCT用作正交变换的情况下，在正交变换之后获得的输出DF由以下公式(10) 表示。在公式(10)中，DCT(X)表示关于信号X的二维DCT处理的执行。[Math. 10]DF = DCT(D)... (10)带通滤波器电路202关于正交变换电路201的输出执行滤波，并输出某一频带中的信号。增益调节电路203通过将带通滤波器电路202的输出乘以α来调节其增益，且还执行频率分量调节。增益调节电路203的输出XF由以下公式(11)表示。在公式(11)中， BPF(X)表示关于信号X的带通滤波处理的执行。[Math. 11]XF = α · BPF(DF)... (11)逆正交变换电路204使用与由正交变换电路201执行的正交变换对应的方案执行逆正交变换，并将从增益调节电路203提供的频域信号变换为时域信号。例如，在正交变换电路201使用DCT作为正交变换的情况下，逆正交变换电路204执行IDCT。逆正交变换电路204的输出X由以下公式(12)表示。在公式(12)中，IDCT(X)表示关于信号X的二维 IDCT处理的执行。[Math. 12]X = IDCT (XF)…(12)加法器电路67在时域上将从逆正交变换电路204提供的信号X与帧内预测图像相加，并输出所获得的图像作为预测图像。作为加法器电路67的最终输出的预测图像S(i， j)由如下公式(13)表示。[Math. 13]S(i，j) =MC0(i, j)+X(i, j) - (13)用这样的方式，即使关于频域信号执行滤波，也可以产生高精度的预测图像。此外，在上述描述中，假定使用两个基准帧执行滤波预测。然而，大量帧可以用作基准帧。图25是图示在使用三个基准帧的情况下的示例的图。在图25中的示例中，关于预测帧的时间，在时间上在前的帧，进一步在前的帧和更进一步在前的帧(即，三个帧)被设置为基准帧。更接近于预测帧的在前帧被设置为基准帧R0，关于基准帧RO的在前帧被设置为基准帧R1，且关于基准帧Rl的在前帧被设置为基准帧R2。图沈是图示在使用三个基准帧的情况下的滤波电路的示例配置的框图。如图沈所示，滤波电路211由滤波电路221和滤波电路222组成。滤波电路221 和滤波电路222中的每一个具有如图12、23或M所示的配置。也就是说，滤波电路211被配置以通过级联地连接用于两输入和一输出设计的滤波电路45而操作为三输入和一输出电路。这里，将假定从基准帧RO提取的运动补偿图像被设置为运动补偿图像MC0，从基准帧Rl提取的运动补偿图像被设置为运动补偿图像MCl且在当前帧中获得帧内预测图像来给出说明。将帧内预测图像IP和运动补偿图像MCO输入到滤波电路221且将运动补偿图像MCl输入到滤波电路222。滤波电路221以如参考图12解释的方式关于帧内预测图像IP和运动补偿图像 MCO执行滤波，并输出作为滤波结果的中间输出X到滤波电路222。滤波电路221以如参考图12解释的方式关于中间输出X和运动补偿图像MCl执行滤波，并输出滤波结果作为预测图像。代替滤波电路45，处理这三个帧的滤波电路211还可以在图5中的解码设备1或者图17中的编码设备101中提供。注意，滤波电路221和滤波电路222可以不必具有相同配置，且可以具有不同配置以使得其中一个具有图12中图示的配置且另一个具有图23中图示的配置。此外，当考虑在滤波之前和之后获得的输入/输出特性时，还可以使得用于滤波器的参数彼此不同。滤波电路211可以不关于从位于一个时间方向上的基准帧提取的运动补偿图像而是关于从位于前向和后向上的三个基准帧提取的运动补偿图像执行滤波。注意，在关于预测帧的时间在前和在后的帧用作基准帧的情况下，包括参考图12 解释的情况，滤波期间的参数(如，抽头系数)可以根据基准帧的时间方向或者其间的距离而动态地改变。将压缩图像信息经由包括记录介质的各种介质(比如光盘、磁盘、和闪存存储器、 卫星广播、有线电视、因特网和移动电话网络)从编码设备101发送到解码设备1。可以通过硬件或者软件执行如上所述的一系列处理。在以软件执行该一系列处理的情况下，将构成软件的程序从程序记录介质安装到并入专用硬件中的计算机，或者能够通过在其中安装各种程序而执行各种功能的通用个人计算机等中。图27是图示根据程序执行如上所述的一系列处理的计算机300的硬件的示例配置的框图。CPU(中央处理器)301、ROM (只读存储器)302和RAM(随机存取存储器)303经由总线304互连。输入/输出接口 310进一步连接到总线304。包括键盘、鼠标、麦克风等的输入单元311、包括显示器、扬声器等的输出单元312、由硬盘、非易失性存储器等形成的存储单元 313、由网络接口等形成的通信单元314和驱动比如光盘或者半导体存储器之类的可拆卸介质321的驱动器315连接到输入/输出接口 310。在如上配置的计算机300中，CPU 301将存储在例如存储单元313中的程序经由输入/输出接口 310和总线304加载到RAM 303中并执行该程序，由此执行如上所述的一系列处理。通过例如记录在可拆卸介质321上或者经由比如局域网、因特网或者数字广播之类的有线或者无线传输介质来提供由CPU 301执行的程序，并安装到存储单元313中。注意，由计算机执行的程序可以是其中根据在这里解释的次序以时间序列方式执行处理的程序，或者可以是其中并行执行处理或者在所需定时(比如调用时)执行处理的程序。
此外，如在这里使用的，描述记录在记录介质上的程序的步骤当然包括以在这里描述的次序以时间序列方式执行的处理，且还包括不必以时间序列方式处理而是并行或者单独地执行的处理。此外，如在这里使用的，术语系统是指由多个装置(设备)构成的总体设备。此外，上述作为单个设备(或者处理单元)的配置可以被划分以构造多个设备 (或者处理单元)。相反地，上述作为多个设备(或者处理单元)的配置可以集中以构造单个设备(或者处理单元)。此外，当然，上述配置以外的配置可以添加到每个设备(或者每个处理单元)的配置。此外，如果作为整个系统的配置或操作实质上相同，则某个设备(或者处理单元)的配置的一部分可以包括在另一设备(或者另一处理单元)的配置中。就是说，本发明的实施例不限于如上所述的实施例，且可以在不脱离本发明的精神的情况下做出各种改变。例如，如上所述的解码设备1或者编码设备101可以应用于任何电子设备。在下文中将解释其示例。图观是图示使用应用了本发明的解码设备1的电视接收机的主要部分的示例配置的框图。如图28所示的电视接收机1000包括地面调谐器1013、视频解码器1015、视频信号处理电路1018、图形产生电路1019、面板驱动电路1020和显示面板1021。
地面调谐器1013经由天线接收地面模拟广播的广播波信号，将其解调，获得视频信号，并将视频信号提供到视频解码器1015。视频解码器1015关于从地面调谐器1013提供的视频信号执行解码处理，并将所获得的数字分量信号提供到视频信号处理电路1018。视频信号处理电路1018关于从视频解码器1015提供的视频数据执行某个处理 (比如去噪)，并将所获得的视频数据提供到图形产生电路1019。图形产生电路1019产生要在显示面板1021上显示的节目的视频数据、通过基于经由网络提供的应用程序的处理而获得的图像数据等，并将所产生的视频数据或者图像数据提供到面板驱动电路1020。此外，图形产生电路1019还适当地执行以下处理，比如产生用于显示由用户使用以选择项目等的屏幕的视频数据(图形)，将其重叠到节目的视频数据上以获得视频数据，和将所获得的视频数据提供到面板驱动电路1020。面板驱动电路1020基于从图形产生电路1019提供的数据驱动显示面板1021，并使得如上所述的节目的视频或者各种屏幕显示在显示面板1021上。显示面板1021由IXD (液晶显示器)等形成，并使得根据面板驱动电路1020的控制显示节目等的视频。此外，电视接收机1000还包括音频A/D (模拟/数字)转换器电路1014、音频信号处理电路1022、回波抵消/音频合成电路1023、音频放大器电路IOM和扬声器1025。地面调谐器1013解调接收到的广播波信号以获取视频信号以及音频信号。地面调谐器1013将所获取的音频信号提供到音频A/D转换器电路1014。音频A/D转换器电路1014关于从地面调谐器1013提供的音频信号执行A/D转换处理，并将所获得的数字音频信号提供到音频信号处理电路1022。音频信号处理电路1022关于从音频A/D转换器电路1014提供的音频数据执行某个处理(比如去噪)，并将所获得的音频数据提供到回波抵消/音频合成电路1023。回波抵消/音频合成电路1023将从音频信号处理电路1022提供的音频数据提供到音频放大器电路10M。音频放大器电路IOM关于从回波抵消/音频合成电路1023提供的音频数据执行 D/A转换处理和放大处理，并在从扬声器1025输出音频之前将其调节到某个音量。另外，电视接收机1000还包括数字调谐器1016和MPEG解码器1017。数字调谐器1016经由天线接收数字广播(地面数字广播、BS (广播卫星)/CS (通信卫星)数字广播)的广播波信号，将其解调，获取MPEG-TS (运动图像专家组-传输流)， 并将其提供到MPEG解码器1017。MPEG解码器1017解扰从数字调谐器1016提供的MPEG-TS，并提取包括要再现(要观看和收听)的节目的数据的流。MPEG解码器1017解码形成所提取的流的音频分组，并将所获得的音频数据提供到音频信号处理电路1022。并且，MPEG解码器1017解码形成流的视频分组，并将所获得的视频数据提供到视频信号处理电路1018。此外，MPEG解码器1017将从MPEG-TS提取的EPG(电子节目指南)数据经由在附图中未示出的路径提供到CPU1032。电视接收机1000使用上述解码设备1作为以上述方式解码视频分组的MPEG解码器1017。注意，从广播站等发送的MPEG-TS已经由编码设备101编码。与解码设备1的情况类似，MPEG解码器1017使用运动矢量从帧(N_l)获得运动预测图像，且还通过利用帧N中的解码的像素值执行帧内预测来从帧N获得空间预测图像。并且，MPEG解码器1017关于两个类型的图像执行滤波处理以产生预测图像。因此，MPEG解码器1017可以产生更接近于原始图像的新的预测图像。与从视频解码器1015提供的视频数据的情况类似，从MPEG解码器1017提供的视频数据经历视频信号处理电路1018的某一处理，且由图形产生电路1019将产生的视频数据等叠加在其上。将所产生的数据经由面板驱动电路1020提供到显示面板1021，并显示其图像。与从音频A/D转换器电路1014提供的音频数据的情况类似，从MPEG解码器1017 提供的音频数据经历音频信号处理电路1022的某一处理，经由回波抵消/音频合成电路 1023将其提供到音频放大器电路1024，并经历D/A转换处理或者放大处理。因此，其音量已经被调节到特定值的音频从扬声器1025输出。此外，电视接收机1000还包括麦克风10 和A/D转换器电路1027。A/D转换器电路1027接收由在电视接收机1000中提供的用于音频会话的麦克风 1026捕捉的用户的音频信号，关于接收到的音频信号执行A/D转换处理，并将所获得的数字音频数据提供到回波抵消/音频合成电路1023。在已经从A/D转换器电路1027提供电视接收机1000的用户(用户A)的音频数据的情况下，回波抵消/音频合成电路1023关于用户A的音频数据执行回波抵消，并使得例如通过与其他音频数据结合而获得的音频数据经由音频放大器电路IOM从扬声器1025 输出。另外，电视接收机1000还包括音频编解码器1028、内部总线1(^9、SDRAM(同步动态随机存取存储器)1030、闪存1031、CPU 1032、USB (通用串行总线)I/F 1033和网络I/F 1034。A/D转换器电路1027接收由在电视接收机1000中提供的用于音频会话的麦克风 1026捕捉的用户的音频信号，关于接收到的音频信号执行A/D转换处理，并将所获得的数字音频数据提供到音频编解码器1(^8。音频编解码器10 将从A/D转换器电路1027提供的音频数据转换为用于通过网络发送的某一格式的数据，并将其经由内部总线10 提供到网络I/F1034。网络I/F 1034经由附加到网络端子1035的线缆连接到网络。网络I/F 10；34将从音频编解码器10 提供的音频数据发送到例如连接到网络的另一设备。此外，网络I/F 1034接收例如从经由网络端子1035在网络上连接的另一设备发送的音频数据，并将其经由内部总线10 提供到音频编解码器1(^8。音频编解码器10 将从网络I/F 1034提供的音频数据转换为某一格式的数据， 并将其提供到回波抵消/音频合成电路1023。回波抵消/音频合成电路1023关于从音频编解码器10 提供的音频数据执行回波抵消，并使得通过例如与其他音频数据结合而获得的音频数据经由音频放大器电路IOM 从扬声器1025输出。SDRAM 1030存储CPU 1032执行处理所需的各种数据。闪存1031存储由CPU 1032执行的程序。存储在闪存1031中的程序由CPU 1032 在某个定时(比如启动电视接收机1000时)读取。闪存1031还存储经由数字广播获取的 EPG数据、经由网络从某个服务器获取的数据等。
29
例如，闪存1031在CPU 1032的控制下存储包括从在网络上的某个服务器获取的内容数据的MPEG-TS。闪存1031通过例如CPU 1032的控制经由内部总线10 将MPEG-TS 提供到MPEG解码器1017。MPEG解码器1017以与从数字调谐器1016提供的MPEG-TS的情况下类似的方式处理MPEG-TS。用这样的方式，电视接收机1000可以接收由在网络上的视频、音频等构成的内容数据，使用MPEG解码器1017解码内容数据，显示内容数据的视频，并输出音频。此外，电视接收机1000还包括接收从遥控器1051发送的红外信号的光的光接收单元1037。光接收单元1037从遥控器1051接收红外光，并将指示通过解调获得的用户操作的内容的控制代码输出到CPU 1032。CPU 1032执行存储在闪存1031中的程序，并根据从光接收单元1037等提供的控制代码控制电视接收机1000的总体操作。CPU 1032经由在附图中未图示的路径连接到电视接收机1000的每个单元。USB I/F 1033发送数据到经由附加到USB端子1036的USB线缆连接的电视接收机1000的外部设备，并从其接收数据。网络I/F 1034经由附加到网络端子1035的线缆连接到网络，且还将音频数据以外的数据发送到连接到网络的各种设备，并从其接收音频以外的数据。通过使用解码设备1作为MPEG解码器1017，电视接收机1000可以在关于形成流的视频分组进行解码期间，通过将表示高频分量的图像加到帧内预测图像IP来产生预测图像。该预测图像包括比在简单地执行双向预测的情况下获得的预测图像更高频的分量。此外，与简单地执行单向预测的情况相比，可以利用图像的时间相关性更有效地产生预测图像。此外，因为在加法器电路15中包括大量高频分量的预测图像加到解码图像，所以最后从MPEG解码器1017输出的图像也是包括大量高频分量的高清图像。此外，在预测图像的产生时，在当前帧中执行帧内预测，且与运动补偿图像MCl — 起利用产生的帧内预测图像IP。因此，可以减少用于产生运动补偿图像的运动矢量的数目。用这样的方式，电视接收机1000在关于形成流的视频分组进行解码期间，可以通过使用帧间预测的预测精度补偿帧内预测的预测精度的缺乏，来实现编码效率的改善。此外，通过减少帧间预测所需的基准面的数目，还可以实现处理成本的减少。图四是图示使用应用了本发明的解码设备1和编码设备101的移动电话的主要部分的示例配置的框图。如图四所示的移动电话1100包括被配置以总体控制各个单元的主控制单元 1150、电源电路单元1151、操作输入控制单元1152、图像编码器1153、相机I/F单元1154、 IXD控制单元1155、图像解码器1156、复用/解复用单元1157、记录/再现单元1162、调制 /解调电路单元1158和音频编解码器1159。它们经由总线1160互连。此外，移动电话1100包括操作按键1119、CXD(电荷耦合器件)相机1116、液晶显示器1118、存储单元1123、发送/接收电路单元1163、天线1114、麦克风(mic) 1121和扬声器 1117。当呼叫结束且通过用户操作接通电源按键时，电源电路单元1151从电池组提供电能到每个单元，由此启动移动电话1100从而能够操作。移动电话1100基于由CPU、ROM、RAM等构成的主控制单元1150的控制，以比如音频呼叫模式和数据通信模式之类的各种模式执行各种操作，比如发送和接收音频信号、发送和接收电子邮件和图像数据、拍摄图像和记录数据。例如，在音频呼叫模式中，移动电话1100使用音频编解码器1159将由麦克风 (mic) 1121收集的音频信号转换为数字音频数据，使用调制/解调电路单元1158关于数字音频数据执行扩频处理，并使用发送/接收电路单元1163执行数字模拟转换处理和变频处理。移动电话1100将通过转换处理获得的传输信号经由天线1114发送到在附图中未示出的基站。被发送到基站的传输信号(音频信号)被经由公共电话线路网提供到在呼叫的另一端的移动电话。此外，例如，在音频呼叫模式中，移动电话1100使用发送/接收电路单元1163放大已经由天线1114接收到的接收信号，进一步执行变频处理和模拟数字转换处理，使用调制/解调电路单元1158执行逆扩频处理，并使用音频编解码器1159将产生的信号转换为模拟音频信号。移动电话1100从扬声器1117输出通过转换获得的模拟音频信号。此外，例如，在以数据通信模式发送电子邮件的情况下，移动电话1100使用操作输入控制单元1152接受通过操作操作按键1119输入的电子邮件的文本数据。移动电话 1100使用主控制单元1150处理文本数据，并经由IXD控制单元1155使得产生的数据作为图像显示在液晶显示器1118上。此外，移动电话1100基于用户指令等，使用主控制单元1150产生基于由操作输入控制单元1152接受的文本数据的电子邮件数据。移动电话1100使用调制/解调电路单元 1158关于电子邮件数据执行扩频处理，并使用发送/接收电路单元1163执行数字模拟转换处理和变频处理。移动电话1100将通过转换处理获得的传输信号经由天线1114发送到在附图中未示出的基站。发送到基站的传输信号(电子邮件)被经由网络、邮件服务器等提供到某个目的地。此外，例如，在以数据通信模式接收电子邮件的情况下，移动电话1100使用发送/ 接收电路单元1163接收经由天线1114从基站发送的信号，将其放大，并进一步执行变频处理和模拟数字转换处理。移动电话1100使用调制/解调电路单元1158关于接收到的信号执行逆扩频处理以恢复初始的电子邮件数据。移动电话1100经由LCD控制单元1155在液晶显示器1118上显示恢复的电子邮件数据。注意，移动电话1100还能够经由记录/再现单元1162在存储单元1123上记录 (存储)接收到的电子邮件数据。存储单元1123是任何可重写存储介质。例如，存储单元1123可以是比如RAM或者内置闪存的半导体存储器，或者可以是硬盘，或者比如磁盘、磁光盘、光盘、USB存储器或者存储卡之类的可拆卸介质。当然，可以使用任何其他类型的介质。另外，例如，在以数据通信模式发送图像数据的情况下，移动电话1100使用CXD相机1116通过拍摄图像来产生图像数据。C⑶相机1116包括比如镜头和光圈的光学器件，并且用作光电转换元件的CCD拍摄对象的图像，将接收到的光的强度转换为电信号，并产生对象的图像的图像数据。C⑶相机1116经由相机I/F单元IlM使用图像编码器1153编码图像数据，并将图像数据转换为编码图像数据。移动电话1100使用上述编码设备101作为执行上述处理的图像编码器1153。与编码设备101的情况类似，图像编码器1153使用运动矢量从帧(N-I)获得运动预测图像， 另外通过利用帧N中的解码的像素值的帧内预测从帧N获得空间预测图像。并且图像编码器1153关于两个类型的图像执行滤波处理以产生预测图像。因此，图像编码器1153可以产生更接近于原始图像的新的预测图像。因此，可以仅需要将少量代码分配给残差，由此使得可以增加编码效率。注意到，此时，移动电话1100在使用C⑶相机1116的图像拍摄期间使用音频编解码器1159同时关于由麦克风(mic)1121收集的音频执行模拟数字转换，并进一步将其编码。移动电话1100使用某一方案，使用复用/解复用单元1157多路复用从图像编码器1153提供的编码图像数据和从音频编解码器1159提供的数字音频数据。移动电话1100 使用调制/解调电路单元1158关于作为结果获得的多路复用的数据执行扩频处理，并使用发送/接收电路单元1163执行数字模拟转换处理和变频处理。移动电话1100将通过转换处理获得的传输信号经由天线1114发送到在附图中未示出的基站。发送到基站的传输信号(图像数据)被经由网络等提供到通信的另一端。注意，在不发送图像数据的情况下，移动电话1100也可以使得使用CXD相机1116 产生的图像数据经由IXD控制单元1155显示在液晶显示器1118上而没有图像编码器1153 的介入。此外，例如，在要以数据通信模式接收具有到简化的主页等的链接的运动图像文件的数据的情况下，移动电话1100经由天线1114使用发送/接收电路单元1163接收从基站发送的信号，将其放大，并进一步执行变频处理和模拟数字转换处理。移动电话1100使用调制/解调电路单元1158关于接收到的信号执行逆扩频处理以恢复初始的多路复用的数据。移动电话1100使用复用/解复用单元1157解复用多路复用的数据以将其分离为编码图像数据和音频数据。移动电话1100使用图像解码器1156解码编码图像数据以产生再现运动图像数据，并经由IXD控制单元1155在液晶显示器1118上显示再现运动图像数据。例如，这允许链接到简化的主页的运动图像文件中包括的运动图像数据显示在液晶显示器1118上。移动电话1100使用上述解码设备1作为执行上述处理的图像解码器1156。就是说，与解码设备1的情况类似，图像解码器1156使用运动矢量从帧(N-I)获得运动预测图像，另外通过利用帧N中的解码的像素值的帧内预测从帧N获得空间预测图像。并且图像解码器1156关于两个类型的图像执行滤波处理以产生预测图像。因此，图像解码器1156 可以产生更接近于原始图像的新的预测图像。此时，移动电话1100同时使用音频编解码器1159将数字音频数据转换为模拟音频信号，并使得其从扬声器1117输出。例如，这允许再现链接到简化的主页的运动图像文件中包括的音频数据。注意，与电子邮件的情况类似，移动电话1100也能够使得链接到简化的主页等的接收数据经由记录/再现单元1162记录在(存储在)存储单元1123上。
此外，移动电话1100还可以使用主控制单元1150分析由CXD相机1116通过拍摄
其图像而获得的二维码，并获取二维码中记录的信息。此外，移动电话1100可以使用红外通信单元1181经由红外光与外部设备通信。通过使用编码设备101作为图像编码器1153，移动电话1100可以在例如编码由 CCD相机1116产生的图像数据并发送编码图像数据时，通过使用帧间预测的预测精度补偿帧内预测的预测精度的缺乏来实现编码效率的改善。此外，因为可以减少帧间预测所需的基准帧的数目，所以移动电话1100可以实现处理成本的减少。此外，通过使用解码设备1作为图像解码器1156，移动电话1100可以被配置以在例如接收链接到简化的主页的运动图像文件的数据(编码数据)时，通过在解码期间将表示高频分量的图像加到帧内预测图像IP来产生预测图像。由此，移动电话1100可以通过使用帧间预测的预测精度补偿帧内预测精度的预测的缺乏来实现编码效率的改善。此外，还可以通过减少帧间预测所需的基准面的数目来实现处理成本的减少。注意，虽然已经解释了移动电话1100使用C⑶相机1116。但是，移动电话1100可以使用采用CMOS (互补金属氧化物半导体)的图像传感器(CMOS图像传感器)代替CCD相机1116。也在这种情况下，与使用C⑶相机1116的情况类似，移动电话1100可以拍摄对象的图像并产生对象的图像的图像数据。此外，虽然已经在移动电话1100的情况下给出了上述说明，但是与移动电话1100 的情况类似，解码设备1和编码设备101可以应用于例如具有与移动电话1100的功能类似的图像拍摄功能或者通信功能的任何设备，比如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、网络本或者笔记本式个人计算机。图30是图示使用应用了本发明的解码设备1和编码设备101的硬盘记录器的主要部分的示例配置的框图。如图30所示的硬盘记录器(HDD记录器)1200是在其内置硬盘中保存从卫星、地面天线等发送的已经由调谐器接收到的广播波信号(电视信号)中包括的广播节目的音频数据和视频数据，并在根据用户指令的定时向用户提供保存的数据的设备。硬盘记录器1200例如可以从广播波信号提取音频数据和视频数据，适当地解码它们，并将其存储在内置硬盘中。此外，硬盘记录器1200还可以例如经由网络从另一设备获取音频数据或者视频数据，适当地将其解码，并将解码的数据存储在内置硬盘中。另外，硬盘记录器1200可以解码例如记录在内置硬盘上的音频数据和视频数据， 将其提供到监视器1260，在监视器1260的屏幕上显示其图像，并从监视器1260的扬声器输出其音频。此外，硬盘记录器1200还可以例如解码从经由调谐器获取的广播波信号提取的音频数据和视频数据，或者经由网络从另一设备获取的音频数据和视频数据，将其提供到监视器1沈0，在监视器1260的屏幕上显示其图像，并从监视器1260的扬声器输出其音频。当然，其他操作也是可能的。如图30所示，硬盘记录器1200包括接收单元1221、解调单元1222、去复用器 1223、音频解码器1224、视频解码器1225和记录器控制单元12沈。硬盘记录器1200另外包括EPG数据存储器1227、程序存储器1228、工作存储器1229、显示转换器1230、OSD (在屏显示)控制单元1231、显示控制单元1232、记录/再现单元1233、D/A转换器1234和通信单元1235。此外，显示转换器1230包括视频编码器1241。记录/再现单元1233包括编码器 1251和解码器1252。接收单元1221从遥控器(未示出)接收红外信号，将其转换为电信号，并输出到记录器控制单元1226。记录器控制单元12 由例如微处理器等组成，并根据存储在程序存储器12 中的程序执行各种处理。此时，记录器控制单元12 根据需要使用工作存储器 1229。通信单元1235连接到网络，并经由网络与另一设备执行通信处理。例如，通信单元1235由记录器控制单元12 控制以与调谐器(未示出)通信并主要将信道选择控制信号输出到调谐器。解调单元1222解调从调谐器提供的信号，并将其输出到去复用器1223。去复用器 1223将从解调单元1222提供的数据去复用为音频数据、视频数据和EPG数据，并将其分别输出到音频解码器1224、视频解码器1225和记录器控制单元12沈。音频解码器12M解码输入音频数据并将解码的音频数据输出到记录/再现单元 1233。视频解码器1225解码输入视频数据并将解码的视频数据输出到显示转换器1230。 记录器控制单元12 将输入EPG数据提供到EPG数据存储器1227以存储EPG数据。显示转换器1230使用视频编码器1241将从视频解码器1225或者记录器控制单元12 提供的视频数据编码为例如NTSC (国家电视制式委员会)方案的视频数据，并将其输出到记录/再现单元1233。此外，显示转换器1230将从视频解码器1225或者记录器控制单元12 提供的视频数据的屏幕大小转换为与监视器1260的大小对应的大小，使用视频编码器1241将视频数据转换为NTSC方案的视频数据，将其转换为模拟信号，并将其输出到显示控制单元1232。在记录器控制单元12 的控制下，显示控制单元1232将从OSD (在屏显示)控制单元1231输出的OSD信号重叠到从显示转换器1230输入的视频信号上，并将其输出到监视器1260的显示器以进行显示。从音频解码器12M输出的音频数据已经由D/A转换器1234转换为模拟信号，其也被提供到监视器1260。监视器1260从其内置的扬声器输出音频信号。记录/再现单元1233包括作为在其上记录视频数据、音频数据等的存储介质的硬
ο记录/再现单元1233使用编码器1251编码例如从音频解码器12M提供的音频数据。此外，记录/再现单元1233使用编码器1251编码从显示转换器1230的视频编码器 1241提供的视频数据。记录/再现单元1233使用多路复用器组合音频数据的编码数据和视频数据的编码数据。记录/再现单元1233关于产生的合成数据执行信道编码，将其放大， 并经由记录磁头将数据写到硬盘。记录/再现单元1233经由再现磁头再现记录在硬盘上的数据，将其放大，并使用去复用器将其分离为音频数据和视频数据。记录/再现单元1233使用解码器1252解码音频数据和视频数据。记录/再现单元1233关于解码的音频数据执行D/A转换，并将其输出到监视器1260的扬声器。此外，记录/再现单元1233关于解码的视频数据执行D/A转换， 并将其输出到监视器1260的显示器。
记录器控制单元12 基于经由接收单元1221接收的、来自遥控器的红外信号指示的用户指令，从EPG数据存储器1227读取最新的EPG数据，并将EPG数据提供到OSD控制单元1231。OSD控制单元1231产生与输入EPG数据对应的图像数据，并将其输出到显示控制单元1232。显示控制单元1232将从OSD控制单元1231输入的视频数据输出到监视器 1260的显示器以显示它。这允许在监视器1260的显示器上显示EPG(电子节目指南)。此外，硬盘记录器1200还可以经由网络(比如因特网)获取从另一设备提供的各种数据，比如视频数据、音频数据和EPG数据。通信单元1235由记录器控制单元12 控制以获取经由网络从另一设备发送的比如视频数据、音频数据和EPG数据之类的编码数据，并将其提供到记录器控制单元1226。记录器控制单元12 例如将获取的视频数据和音频数据的编码数据提供到记录/再现单元 1233以在硬盘中进行存储。此时，记录器控制单元12 和记录/再现单元1233可以根据需要执行比如重编码的处理。此外，记录器控制单元12 解码获取的视频数据和音频数据的编码数据，并将获得的视频数据提供到显示转换器1230。显示转换器1230以类似于从视频解码器1225提供的视频数据的方式处理从记录器控制单元12 提供的视频数据，并将产生的视频数据经由显示控制单元1232提供到监视器1260以显示其图像。此外，与图像的显示一起，记录器控制单元12 可以经由D/A转换器12；34将解码的音频数据提供到监视器1260并从扬声器输出其音频。另外，记录器控制单元12 解码获取的EPG数据的编码数据，并将解码的EPG数据提供到EPG数据存储器1227。如上的硬盘记录器1200使用解码设备1作为视频解码器1225、解码器1252和记录器控制单元12 的内置解码器。就是说，与解码设备1的情况类似，视频解码器1225、解码器1252和记录器控制单元12 的内置解码器使用运动矢量从帧(N-I)获得运动预测图像，另外通过利用帧N中解码的像素值的帧内预测从帧N获得空间预测图像。并且视频解码器1225、解码器1252和记录器控制单元12 的内置解码器关于两个类型的图像执行滤波处理以产生预测图像。因此，视频解码器1225、解码器1252和记录器控制单元12 的内置解码器可以产生更接近于原始图像的新的预测图像。因此，硬盘记录器1200可以被配置以例如当通过调谐器或者通过通信单元1235 接收视频数据(编码数据)时或者当由记录/再现单元1233从硬盘再现视频数据(编码的)时，通过在解码期间将表示高频分量的图像加到帧内预测图像IP来产生预测图像。由此，硬盘记录器1200可以通过使用帧间预测的预测精度补偿帧内预测精度的预测的缺乏来实现编码效率的改善。此外，还可以通过减少帧间预测所需的基准面的数目来实现处理成本的减少。此外，硬盘记录器1200使用编码设备101作为编码器1251。与编码设备101的情况类似，编码器1251使用运动矢量关于运动预测图像和帧内预测图像执行滤波处理以产生预测图像。因此，编码器1251可以产生更接近于原始图像的新的预测图像。因此，可以仅需要将少量代码分配给残差，由此使得可以增加编码效率。因此，硬盘记录器1200可以当例如在硬盘上记录编码数据时通过使用帧间预测的预测精度补偿帧内预测的预测精度的缺乏来改善编码效率。此外，因为帧间预测所需的基准帧的数目减少，所以硬盘记录器1200可以实现处理成本的减少。注意，虽然已经解释了在硬盘上记录视频数据和音频数据的硬盘记录器1200，但是当然可以使用任何类型的记录介质。例如，甚至使用硬盘以外的记录介质(比如闪存存储器、光盘或者录像带)的记录器也可以以与如上所述硬盘记录器1200的情况下的方式类似的方式使用解码设备1和编码设备101。图31是图示使用应用了本发明的解码设备1和编码设备101的相机的主要部分的示例配置的框图。如图31所示的相机1300拍摄对象的图像，并使得对象的图像显示在IXD 1316 上，并将其作为图像数据记录在记录介质1333上。镜头块1311使得光(也就是说，对象的视频)入射在(XD/CM0S 1312上。CCD/ CMOS 1312是使用CCD或者CMOS，将接收到的光的强度转换为电信号，并将其提供到相机信号处理单元1313的图像传感器。相机信号处理单元1313将从CCD/CMOS 1312提供的电信号转换为Y、Cr和Cb色差信号，并将其提供到图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314关于从相机信号处理单元1313提供的图像信号执行某个图像处理，或者使用编码器1341编码图像信号。图像信号处理单元1314将通过编码图像信号产生的编码数据提供到解码器1315。另外，图像信号处理单元1314获取通过在屏显示(OSD) 1320产生的显示数据，并将其提供到解码器1315。在上述处理中，相机信号处理单元1313利用经由总线1317连接的DRAM(动态随机存取存储器)1318，并根据需要使得图像数据、通过编码图像数据获得的编码数据等保持在 DRAM 1318 中。解码器1315解码从图像信号处理单元1314提供的编码数据，并将获得的图像数据(解码的图像数据)提供到IXD 1316。此外，解码器1315将从图像信号处理单元1314 提供的显示数据提供到IXD 1316。IXD 1316适当地组合从解码器1315提供的解码的图像数据的图像和显示数据的图像，并显示产生的合成图像。在控制器1321的控制下，在屏显示1320将比如由符号、字符或者图形形成的菜单屏幕和图标之类的显示数据经由总线1317输出到图像信号处理单元1314。控制器1321基于指示由用户使用操作单元1322发布的命令的内容的信号执行各种处理，且还经由总线1317控制图像信号处理单元1314、DRAM1318、外部接口 1319、在屏显示1320、介质驱动器1323等。闪速ROM 1324存储控制器1321执行各种处理所需的程序、 数据等。例如，控制器1321可以代表图像信号处理单元1314或者解码器1315编码存储在 DRAM 1318中的图像数据或者解码存储在DRAM 1318中的编码数据。此时，控制器1321可以使用与图像信号处理单元1314或者解码器1315的编码或者解码方案类似的方案执行编码或者解码处理，或者可以使用图像信号处理单元1314或者解码器1315不支持的方案来执行编码或者解码处理。此外，例如，在已经从操作单元1322发布用于开始打印图像的指令的情况下，控制器1321从DRAM 1318读取图像数据，并将其提供到经由总线1317连接到外部接口 1319 的打印机1334以打印它。
另外，例如，在已经从操作单元1322发布了用于记录图像的指令的情况下，控制器1321从DRAM 1318读取编码数据，并经由总线1317将其提供到附于介质驱动器1323的记录介质1333以存储它。例如，记录介质1333是比如磁盘、磁光盘、光盘或者半导体存储器之类的任何可读和可重写可拆卸介质。当然，记录介质1333也可以是任何类型的可拆卸介质，且可以是磁带装置、盘或存储卡。当然，也可以使用无接触IC卡等。此外，例如，介质驱动器1323和记录介质1333也可以整体地形成为非便携式存储介质，比如内置硬盘驱动器或者SSD(固态驱动器)。例如，外部接口 1319由USB输入输出端子等组成，且在要打印图像的情况下连接到打印机1334。此外，驱动器1331根据需要连接到外部接口 1319，且适当地附加比如磁盘、 光盘或者磁光盘之类的可拆卸介质1332，以使得根据需要将从其读取的计算机程序安装到闪速ROM 1324中。另外，外部接口 1319包括连接到某个网络(比如LAN或者因特网)的网络接口。 控制器1321可以根据例如来自操作单元1322的指令从DRAM1318读取编码数据，并将其从外部接口 1319提供到经由网络连接的另一设备。此外，控制器1321可以经由外部接口 1319获取经由网络从另一设备提供的编码数据或者图像数据，并将其保持在DRAM 1318中或者将其提供到图像信号处理单元1314。如上的相机1300使用解码设备1作为解码器1315。就是说，与解码设备1的情况类似，解码器1315使用运动矢量从帧(N-I)获得运动预测图像，另外通过利用帧N中解码的像素值的帧内预测从帧N获得空间预测图像。并且解码器1315关于两个类型的图像执行滤波处理以产生预测图像。因此，解码器1315可以产生更接近于原始图像的新的预测图像。因此，相机1300可以被配置以当从DRAM 1318或者记录介质1333读取视频数据的编码数据时，或者当经由网络获取视频数据的编码数据时，例如对于由CCD/CMOS 1312 产生的图像数据，在解码期间通过将表示高频分量的图像加到帧内预测图像IP来产生预测图像。此外，相机1300使用编码设备101作为编码器1341。与编码设备101的情况类似， 编码器1341使用运动矢量关于运动预测图像和帧内预测图像执行滤波处理以产生预测图像。因此，编码器1341可以产生更接近于原始图像的新的预测图像。因此，可以仅需要将少量代码分配给残差，由此使得可以增加编码效率。因此，相机1300可以例如当在DRAM 1318或者记录介质1333上记录编码数据时或者当提供编码数据到另一设备时，通过使用帧间预测的预测精度补偿帧内预测的预测精度的缺乏来改善编码效率。此外，因为可以减少帧间预测所需的基准帧的数目，所以相机 1300可以实现处理成本的减少。注意，解码设备1的解码方法可以应用于由控制器1321执行的解码处理。类似地， 编码设备101的编码方法可以应用于由控制器1321执行的编码处理。此外，由相机1300拍摄的图像数据可以是运动图像或者静止图像的图像数据。当然，解码设备1和编码设备101还可以应用于上述设备之外的设备或者系统。此外，宏块的尺寸是任意的。例如，本发明可以应用于如图32所示的具有任何尺寸的宏块。例如，本发明不仅可以应用于16X16像素的普通宏块，而且可以应用于扩展的宏块(扩展宏块)，比如32X32像素的宏块。在图32中，在上部，从左侧开始依次图示由32X32像素、32X 16像素、16X32像素和16X16像素的块(分区)划分的由32X32像素构成的宏块。此外，在中部，从左侧依次图示由16X16像素、16X8像素、8X16像素和8X8像素的块划分的由16X 16像素构成的块。此外，在下部，从左侧依次图示由8X8像素、8X4像素、4X8像素和4X4像素的块划分的由8X8像素构成的块。也就是说，32X32像素的宏块可以由上部中图示的32 X 32像素、32 X 16像素、 16X32像素和16X16像素的块处理。与H. ^4/AVC方案类似，在上部的右侧图示的16 X 16像素的块可以由在中部图示的16X 16像素、16X8像素、8X 16像素和8X 8像素的块处理。与H. ^4/AVC方案类似，在中部的右侧图示的8X8像素的块可以由在下部图示的 8X8像素、8X4像素、4X8像素和4X4像素的块处理。上述块可以被分类为以下三个分级的层。也就是说，图32中上部图示的32X32像素，32X16像素和16X32像素的块被称为在第一分级层中的块。上部的右侧图示的16X16 像素的块以及中部图示的16X16像素、16X8像素和8X16像素的块被称为第二分级层中的块。中部的右侧图示的8X8像素的块以及下部图示的8X8像素、8X4像素、4X8像素和4X4像素的块被称为第三分级层中的块。通过采用上述分级层结构，关于等于或者低于16X16像素的块的块，更大的块可以被定义为其超集同时保持与H. 264/AVC方案的兼容性。例如，解码设备1和编码设备101可以被配置以产生每个分级层的预测图像。此外，例如，解码设备1和编码设备101可以被配置以对于第二分级层，也利用在具有比第二分级层更大的块大小的第一分级层中产生的预测图像。要对于其使用相对大的块大小(比如第一分级层和第二分级层)执行编码的宏块不包括相对高频的分量。相反，要对于其使用相对小的块大小(比如第三分级层)执行编码的宏块被认为包括相对高频的分量。由此，根据具有不同块大小的各个分级层分别产生预测图像，由此使得适于图像的局部特性的编码性能的改善是可以的。附图标记列表1解码设备，21运动预测/补偿电路，41预测模式确定电路，42单向预测电路，43 双向预测电路，44预测电路，45滤波电路，51运动补偿电路，52帧内预测电路，61差别计算电路，62低通滤波器电路，63增益调节电路，64高通滤波器电路，65增益调节电路，66加法器电路，67加法器电路
权利要求
1.一种图像处理设备，包括 解码装置，用于解码编码图像；产生装置，用于将由所述解码装置解码的图像和预测图像加在一起，并用于产生解码图像；提取装置，用于使用由所述产生装置产生的解码图像形成的帧作为基准帧并使用编码图像中的运动矢量来执行运动补偿，并用于从所述基准帧提取与所述预测图像对应的运动补偿图像；帧内预测图像产生装置，用于对于要为其产生预测图像的目前帧执行帧内预测，并用于从由所述产生装置产生的解码图像的一部分产生与所述预测图像对应的帧内预测图像； 和预测图像产生装置，用于通过利用包括在运动补偿图像和帧内预测图像中的时间方向上的相关性，执行用于补偿由所述提取装置提取的所述运动补偿图像和由所述帧内预测图像产生装置产生的帧内预测图像的高频分量的滤波处理来产生预测图像。
2.根据权利要求1所述的图像处理设备， 其中，所述预测图像产生装置包括第一滤波器装置，用于将低通滤波器应用于由所述第一提取装置提取的运动补偿图像和由所述帧内预测图像产生装置产生的帧内预测图像之间的差别图像，第二滤波器装置，用于将高通滤波器应用于通过使用第一滤波器装置应用低通滤波器而获得的图像，和相加装置，用于将通过使用第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与由所述帧内预测图像产生装置产生的帧内预测图像相加，并用于产生所述预测图像。
3.根据权利要求2所述的图像处理设备，其中，所述相加装置将通过使用第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。
4.根据权利要求1所述的图像处理设备，进一步包括单向预测装置，用于使用多个运动补偿图像执行单向预测，并用于产生预测图像； 双向预测装置，用于使用多个运动补偿图像执行双向预测，并用于产生预测图像；和判断装置，通过使用包括在编码图像的报头中的标识标记，判断要通过所述单向预测装置的单向预测产生预测图像、要通过所述双向预测装置的双向预测产生预测图像还是要通过所述预测图像产生装置的滤波处理产生预测图像。
5.一种图像处理方法，包括 解码编码图像；将已经解码的图像与预测图像加在一起并产生解码图像；使用由产生的解码图像形成的帧作为基准帧并使用编码图像中的运动矢量来执行运动补偿，并从所述基准帧提取与预测图像对应的运动补偿图像；对于要为其产生预测图像的目前帧执行帧内预测，并从解码图像的一部分产生与预测图像对应的帧内预测图像；和通过利用包括在运动补偿图像和帧内预测图像中的时间方向上的相关性，执行用于补偿运动补偿图像和帧内预测图像的高频分量的滤波处理来产生预测图像。
6.一种图像处理设备，包括编码装置，用于编码作为编码目标图像的原始图像，并用于产生编码图像； 检测装置，用于基于一图像和原始图像检测运动矢量，所述图像是通过基于指示原始图像和预测图像之间的差别的残差信号执行本地解码而获得的；提取装置，用于使用由通过执行本地解码获得的图像形成的帧作为基准帧并使用由所述检测装置检测到的运动矢量来执行运动补偿，并用于从所述基准帧提取与预测图像对应的运动补偿图像；帧内预测图像产生装置，对于要为其产生预测图像的目前帧执行帧内预测，并用于从所述帧的图像的一部分产生与预测图像对应的帧内预测图像；和产生装置，用于通过利用包括在运动补偿图像中的时间方向上的相关性，执行用于补偿由所述第一提取装置提取的运动补偿图像和由所述帧内预测图像产生装置产生的帧内预测图像的高频分量的滤波处理来产生预测图像。
7.根据权利要求6所述的图像处理设备， 其中，所述产生装置包括第一滤波器装置，用于将低通滤波器应用于由所述第一提取装置提取的运动补偿图像和由所述帧内预测图像产生装置产生的帧内预测图像之间的差别图像，第二滤波器装置，用于将高通滤波器应用于通过使用第一滤波器装置应用低通滤波器而获得的图像，和相加装置，用于将通过使用第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与由所述帧内预测图像产生装置产生的帧内预测图像相加，并用于产生所述预测图像。
8.根据权利要求7所述的图像处理设备，其中，所述相加装置将通过使用第一滤波器装置应用低通滤波器而获得的图像和通过使用第二滤波器装置应用高通滤波器而获得的图像与从关于预测图像的时间的在前帧提取的运动补偿图像相加。
9.根据权利要求6所述的图像处理设备，其中，所述编码装置将标识标记并入编码图像的报头中，该标识标记识别要与由解码设备解码的图像相加的预测图像是通过单向预测产生的、通过双向预测产生的还是通过滤波处理产生的。
10.一种图像处理方法，包括编码作为编码目标图像的原始图像，和产生编码图像；基于一图像和原始图像检测运动矢量，所述图像是通过基于指示原始图像和预测图像之间的差别的残差信号执行本地解码而获得的；使用由通过执行本地解码获得的图像形成的帧作为基准帧并使用检测到的运动矢量来执行运动补偿，并从所述基准帧提取与预测图像对应的运动补偿图像；对于要为其产生预测图像的目前帧执行帧内预测，并从所述帧的图像的一部分产生与预测图像对应的帧内预测图像；和通过利用包括在运动补偿图像中的时间方向上的相关性，执行用于补偿提取的运动补偿图像和产生的帧内预测图像的高频分量的滤波处理来产生预测图像。
全文摘要
提供了可以以少量控制信息产生高精度预测图像的图像处理设备和方法。运动补偿电路(51)使用由预测模式确定电路(41)提供的运动矢量，以识别当前帧之外的基准帧中与预测图像对应的宏块。运动补偿电路(51)从帧存储器(19)读取指定的宏块，并提取该图像作为运动补偿图像。帧内预测电路(52)使用任意限定的方法关于当前帧执行帧内预测，并产生帧内预测图像(IP)。该图像处理设备例如可以应用于编码和解码设备。
文档编号H04N7/32GK102396227SQ201080016309
公开日2012年3月28日 申请日期2010年2月12日 优先权日2009年2月19日
发明者中神央二, 矢崎阳一 申请人:索尼公司