图像处理设备和方法

专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和方法，并且更具体地，涉及允许产生高精度预测图像， 而不增加处理负荷的图像处理设备和方法。
背景技术：
常规地，使用运动补偿(诸如MPEG (运动图像专家组)或H. 26x)和正交变换(诸 如离散余弦变换、Karhimen-Lc^ve变换或小波变换)的编码方案一般被用作处理运动图像 情况下的编码方案。在这些运动图像编码方案中，通过使用将要接受编码的输入图像信号 的特性中在空间方向和时间方向上的相关性，实现编码数量的减少。例如，在H. 264中，当通过使用时间方向上的相关性产生作为接受帧间预测(中间 预测)的帧的中间帧时，使用单向预测或双向预测。帧间预测被设计为基于不同的时间点 的帧产生预测图像。图1是示出了单向预测的例子的图。如图1所示，在通过单向预测产生帧Ptl的情况下，使用在时间上相对于当前时间 点的过去或未来时间点的已经编码的帧作为参考帧，执行运动补偿，其中帧Ptl是将要接受 编码的、处于当前时间点的帧。通过利用时间方向上的相关性，对预测图像和实际图像之间 的残差进行编码，因此使得可以减少代码数量。分别使用参考帧信息和运动矢量作为指定 参考帧的信息以及指定参考帧中将要引用的位置的信息，并且这些信息被从编码侧传输到 解码侧。此处，参考帧的数目不限于一个。例如，在H. 264中，可以使用多个帧作为参考帧。 如图ι所示，当在时间上靠近将要编码的帧Ptl的两个帧被以参考帧Rtl和R1的顺序表示的 情况下，可以从参考帧Rtl或R1内的任意像素的像素值预测将要编码的帧Ptl内的任意宏块 的像素值。在图1中，每个帧内指示的方框表示宏块。如果以宏块MBro表示将要编码的帧Ptl 内的将要预测的宏块，则参考帧Rtl中的相应于宏块MBptl的宏块是由运动矢量MVtl指定的宏 块MBkq。另外，参考帧R1中的宏块是由运动矢量MV1指定的宏块MBK1。如果由MCtl (i，j)和MC1 (i，j)表示宏块MBkq和MBki的像素值(运动补偿图像的像 素值)，则在单向预测中把这些运动补偿图像的像素值之一用作预测图像的像素值。因此， 由下面的等式⑴表示预测图像I^red(i，j)。(i，j)表示宏块内的像素的相对位置，并且满 足0彡i彡16和0彡j彡16。在等式(1)中，‘‘I |〃表示取值为MC。(i，j)和MC^i，j) 中的一个。[等式1]Pred (i, j) =MCtl(Lj)IlMC1(Lj)-(I)注意，还可以将16X16像素的单个宏块划分为大小为16X8像素等的子块，并且 通过参考不同的参考帧对每个子块执行运动补偿。取代具有整数精度的运动矢量，传输具 有小数精度的运动矢量，并且使用标准中定义的HR滤波器执行插值，因此使得还可以利用要引用的相应位置周围的像素的像素值来进行运动补偿。图2是示出了双向预测的例子的图。如图2所示，在以双向预测产生将要接受编码的作为当前时间点的帧的将要编码 的帧Btl的情况下，使用在时间上相对于当前时间点的过去或未来时间点的已经编码的帧作 为参考帧，执行运动补偿。通过利用多个已经编码的帧作为参考帧，并且通过利用它们之间 的相关性，对预测图像和实际图像之间的残差进行编码，因此使得可以减少代码数量。在 H. 264中，还可以使用多个过去帧和多个未来帧作为参考帧。如图2所示，在使用相对于将要编码的帧Btl的过去帧和未来帧作为参考帧Ltl和L1 的情况下，可以从参考帧Ltl和L1内的任意像素的像素值来预测将要编码的帧Btl内的任意 宏块的像素值。在图2的例子中，参考帧Ltl内相应于将要编码的帧Btl内的宏块MBbci的宏块被设 置为由运动矢量MVtl指定的宏块ΜΒω。另外，参考帧L1内相应于将要编码的帧Btl内的宏块 MBbo的宏块被设置为由运动矢量MV1指定的宏块MBU。如果分别以MC0 (i，j)和MC1 (i，j)表示宏块MBlo和MBli的像素值，则如下面在等 式O)中给出的，预测图像I^recKi，j)的像素值ft~ed(i，j)可以确定为这些像素值的平均值。[等式2]Pred (i，j) = (MC0 (i，jO+MC^i, j))/2... (2)在上面的使用单向预测的这种运动补偿中，通过增加运动矢量的精度或通过减小 宏块的大小改进预测图像的精度，并且减小了相对于实际图像的残差，从而实现了编码效 率的改进。另外，在使用双向预测的运动补偿中，使用在时间上靠近的参考帧的像素的像素 值的平均值作为预测图像的像素的像素值，因此使得可以实现预测残差的概率稳定的减 小。引用列表专利文献NPL 1 “ Improving Resolution by Image Registration" ,MICHAL IRANI AND SHMUEL PELEG,Department of ComputerScience,The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama ChelIapa, Received June 16,1989; accepted May 25,1990

发明内容
技术问题在常规的单向预测的情况下，即使当可以选择多个参考帧时，必须选择性地使用 任意一个参考帧的像素值作为将要编码的帧的像素值。因此，未被选择的参考帧不被用于 运动补偿。因此，参考帧和将要编码的帧之间的时间相关性未被充分利用，并且可能在改进 编码效率方面存在改进空间。另外，在常规的双向预测的情况下，两个参考帧的像素值的平均值被用作将要编 码的帧的像素值。因此，执行时间低通滤波处理，并且预测图像中丢失了高频分量。结果，由于诸如包括高频分量的残差信号不能被编码，通过解码获得的图像是丢失了高频分量的 图像，导致分辨率的退化。鉴于这种情况做出本发明，并且本发明旨在允许产生高精度的预测图像，而不会 增加处理负荷。问题的解决根据本发明的一个方面的一种图像处理设备包括运动补偿装置，用于使用由通过 对编码图像解码所获得的图像形成的多个帧作为参考帧，并且使用包括在编码图像内的运 动矢量，来执行运动补偿，以及用于从不同的参考帧产生与预测图像对应的多个运动补偿 图像；第一滤波装置，用于对由运动补偿装置产生的多个运动补偿图像之间的差分图像应 用低通滤波；第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通 滤波；和预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第 二滤波装置通过应用高通滤波获得的图像添加到由运动补偿装置产生的多个运动补偿图 像中的一个上，来产生预测图像。该图像处理设备还可以包括解码装置，用于使用由该预测图像产生装置产生的预 测图像，对编码图像进行解码。运动补偿装置可以选择超前预测图像一个帧的帧，以及超前预测图像两个帧的帧 作为参考帧。预测图像产生装置可以将第一滤波装置通过应用低通滤波获得的图像和第二滤 波装置通过应用高通滤波获得的图像添加到从超前预测图像一个帧的帧中提取的运动补 偿图像上。该图像处理设备还可以包括单向预测装置，用于使用多个运动补偿图像执行单向 预测，并且用于产生预测图像；和双向预测装置，用于使用多个运动补偿图像执行双向预 测，并且用于产生预测图像，并且预测图像产生装置可以参考包括在编码图像内的标识标 签，以便选择由单向预测装置通过单向预测产生预测图像；由双向预测装置通过双向预 测产生预测图像；或通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过 应用低通滤波获得的图像应用高通滤波，并且通过将通过应用低通滤波获得的图像和通过 应用高通滤波获得的图像添加到多个运动补偿图像中的一个上，来产生预测图像。根据本发明的该方面的图像处理方法包括运动补偿步骤，使用由通过对编码图 像解码所获得的图像形成的多个帧作为参考帧，并且使用包括在编码图像内的运动矢量， 执行运动补偿，以及从不同的参考帧产生与预测图像对应的多个运动补偿图像；第一滤波 步骤，对在运动补偿步骤中产生的多个运动补偿图像之间的差分图像应用低通滤波；第二 滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；和预测图像 产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二滤波步骤中通 过应用高通滤波获得的图像添加到在运动补偿步骤中产生的多个运动补偿图像中的一个 上，来产生预测图像。根据本发明的另一个方面的图像处理设备包括检测装置，用于基于通过局部解 码而获得的图像以及原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像 和预测图像之间的差的残差图像进行所述局部解码；运动补偿装置，用于使用由通过局部 解码所获得的图像形成的多个帧作为参考帧，并且使用检测装置检测到的运动矢量，来执行运动补偿，并且用于从不同的参考帧中提取相应于预测图像的多个运动补偿图像；第一 滤波装置，用于对由运动补偿装置提取的多个运动补偿图像之间的差分图像应用低通滤 波；第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和 预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤波装 置通过应用高通滤波获得的图像添加到由运动补偿装置提取的多个运动补偿图像中的一 个上，来产生预测图像。该图像处理设备还可以包括编码装置，用于使用由预测图像产生装置产生的预测 图像对原始图像进行编码。该图像处理设备还可以包括控制装置，用于在通过对原始图像编码获得的编码图 像中，描述一种标签，该标签标识通过使用单向预测，产生将被添加到将被解码的图像的 预测图像；通过使用双向预测，产生将被添加到将要解码的图像的预测图像；或通过对多 个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获得的图像应用 高通滤波，并且通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的图像添加 到多个运动补偿图像中的一个上，来产生将被添加到将要解码的图像的预测图像。根据本发明的另一个方面的图像处理方法包括检测步骤，基于通过局部解码而 获得的图像以及原始图像，来检测运动矢量，其中基于指示将要接受编码的原始图像和预 测图像之间的差的残差图像进行所述局部解码；运动补偿步骤，使用由通过局部解码获得 的图像形成的多个帧作为参考帧，并且使用在检测步骤中检测到的运动矢量，来执行运动 补偿，以及从不同的参考帧中提取与预测图像对应的多个运动补偿图像；第一滤波步骤，对 在运动补偿步骤中提取的多个运动补偿图像之间的差分图像应用低通滤波；第二滤波步 骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；以及预测图像产生 步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二滤波步骤中通过应 用高通滤波获得的图像添加到在运动补偿步骤中提取的多个运动补偿图像中的一个上，来 产生预测图像。在本发明的一个方面，使用由通过对编码图像进行解码获得的图像所形成的多个 帧作为参考帧，并且使用包括在编码图像内的运动矢量，来执行运动补偿；从不同的参考帧 中产生与预测图像对应的多个运动补偿图像；对产生的多个运动补偿图像之间的差分图像 应用低通滤波；对通过应用低通滤波获得的图像应用高通滤波；以及通过将通过应用低通 滤波获得的图像和通过应用高通滤波获得的图像添加到多个产生的运动补偿图像中的一 个上，来产生预测图像。在本发明的另一个方面，基于通过局部解码而获得的图像和原始图像，来检测运 动矢量，其中基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述 局部解码；使用由通过局部解码获得的图像所形成的多个帧作为参考帧，并且使用检测到 的运动矢量，来执行运动补偿；从不同的参考帧中提取与预测图像对应的多个运动补偿图 像；对多个提取的运动补偿图像之间的差分图像应用低通滤波；对通过应用低通滤波获得 的图像应用高通滤波；和通过将通过应用低通滤波获得的图像和通过应用高通滤波获得的 图像添加到多个提取的运动补偿图像中的一个上，来产生预测图像。本发明的有利效果根据本发明，可以产生高精度的预测图像而不增加处理负荷。


图1是示出了单向预测的例子的图；图2是示出了双向预测的例子的图；图3是示出了根据本发明的实施例的解码装置的示例配置的框图；图4是示出了第三预测模式的概念的图；图5是示出了图3的运动预测/补偿电路的示例配置的框图；图6是示出了参考帧的例子的图；图7是示出了参考帧的另一个例子的图；图8是示出了图5中的滤波电路的示例配置的框图；图9是描述解码装置的解码处理的流程图；图10是描述在图9的步骤S9中执行的运动预测/补偿处理的流程图；图11是示出了编码装置的示例配置的框图；图12是示出了图11中的模式确定电路的示例配置的框图；图13是示出了图11中的运动预测/补偿电路的示例配置的框图；图14是描述编码装置的编码处理的流程图；图15是描述在图14的步骤S58中执行的模式确定处理的流程图；图16是描述在图14的步骤S61中执行的运动预测/补偿处理的流程图；图17是示出了滤波电路的另一个示例配置的框图；图18是示出了滤波电路的另一个示例配置的框图；图19是示出了使用三个参考帧的情况的例子的图；图20是示出了使用三个参考帧的情况的滤波电路的示例配置的框图；图21是示出了使用以图8中的滤波电路产生的预测图像执行的编码的结果的 图；图22是示出了使用以图8中的滤波电路产生的预测图像执行的编码的另一个结 果的图；图23是示出了个人计算机的示例配置的框图；图M是示出了应用本发明的电视接收机的主要部分的示例配置的框图；图25是示出了应用本发明的移动电话的主要部分的示例配置的框图；图沈是示出了应用本发明的硬盘记录器的主要部分的示例配置的框图；和图27是示出了应用本发明的照相机的主要部分的示例配置的框图。附图标记1解码装置21运动预测/补偿电路41预测模式确定电路42 单向预测电路43双向预测电路44预测电路45滤波预测电路
51差分计算电路
52低通滤波电路
53增益调整电路
54高通滤波电路
55增益调整电路
56加法器电路
57加法器电路
具体实施例方式图3是示出了根据本发明的实施例的解码装置1的示例配置的框图。以下面描述的编码装置压缩和编码的图像信息经由电缆、网络或可移动介质被输 入解码装置1。压缩图像信息是根据例如H. 264标准压缩和编码的图像信息。存储缓冲器11顺序存储作为压缩图像信息输入的比特流。如果需要，存储在存储 缓冲器11内的信息可被无损解码电路12以某些单位的图像为单位(诸如构成帧的宏块) 来读取。在H. 264标准中，取代以16X16像素的宏块为单位，还可以用进一步划分宏块形 成的块为单位(诸如8X8像素或4X4像素)执行处理。无损解码电路12对从存储缓冲器11中读取的图像执行相应于编码方案的解码处 理，诸如可变长度解码处理或算术解码处理。无损解码电路12向去量化电路13输出通过 进行解码处理获得的量化的变换系数。另外，无损解码电路12基于包括在将要接受解码的图像的头部内的标识标签，识 别该图像是帧内编码图像还是帧间编码图像。在判断将要接受解码的图像是帧内编码图像 的情况下，无损解码电路12将存储在图像头部内的帧内预测模式信息输出到帧内预测电 路22。帧内预测模式信息包括关于帧内预测的信息，诸如用作处理单位的块的大小。在判断将要接受解码的图像是帧间编码信息的情况下，无损解码电路12将存储 在图像头部内的运动矢量和标识标签输出到运动预测/补偿电路21。使用该标识标签来标 识通过帧间预测产生预测图像的预测模式。以例如宏块或帧为单位设置标识标签。除了图1中的单向预测模式和图2中的双向预测模式之外，提供第三预测模式作 为预测模式，第三预测模式用于通过对从位于一个时间方向或双方向上的多个参考帧提取 的运动补偿图像应用滤波来产生预测图像。图4是示出了第三预测模式的概念的图。在图4的例子中，在时间上超前当前帧(预测帧)一个时间点的帧被设置为参考 帧Rtl,并且超前参考帧Rtl —个时间点的帧被设置为参考帧礼。在该情况下，根据第三预测 模式，从参考帧Rtl和R1提取的运动补偿图像MCtl和MC1被输入滤波电路，并且从滤波电路输 出的图像的像素值被设置为所关注的宏块的预测图像的像素值。此后，如参考图1所述，从位于一个方向上的多个参考帧中提取的运动补偿图像 中的一个运动补偿图像的像素值被设置为预测图像的像素值的预测模式被简称为单向预 测模式。此外，如参考图2所述，从位于两个方向上的多个参考帧中分别提取的运动补偿图 像的像素值的平均值被设置为预测图像的像素值的预测模式被简称为双向预测模式。通过对从位于一个方向或两个方向上的多个参考帧提取的每个运动补偿图像应用滤波，确定预测图像的像素值的图4所示的第三预测模式被称为滤波预测模式。下面将 详细描述滤波预测模式。退回参考图3，去量化电路13使用对应于在编码侧使用的量化方案的方案，对从 无损解码电路12提供的量化的变换系数执行去量化。去量化电路13将通过执行去量化获 得的变换系数输出到逆正交变换电路14。逆正交变换电路14使用对应于在编码侧使用的正交变换方案的方案(诸如离散 余弦变换或Karhimen-Lc^ve变换)，对从去量化电路13提供的变换系数执行例如四阶逆正 交变换，并且将获得的图像输出到加法器电路15。加法器电路15组合从逆正交变换电路14提供的解码图像和通过开关23从运动 预测/补偿电路21或从帧内预测电路22提供的预测图像，并且将合成图像输出到去块滤 波器16。去块滤波器16去除包括在从加法器电路15提供的图像内的块噪声，并且输出去 除了块噪声的图像。从去块滤波器16输出的图像被提供给重排缓冲器17和帧存储器19。重排缓冲器17临时存储从去块滤波器16提供的图像。重排缓冲器17根据例如 所存储的每个宏块的图像产生单独的帧，并且在将它们输出到D/A(数字/模拟)转换器电 路18之前以一定顺序(诸如显示顺序)重新排列产生的帧。D/A转换器电路18对从重排缓冲器17提供的每个帧执行D/A转换，并且将这些帧 的信号输出到外部。帧存储器19临时存储从去块滤波器16提供的图像。存储在帧存储器19内的信 息被通过开关20提供给运动预测/补偿电路21或帧内预测电路22。开关20在通过帧间预测产生预测图像的情况下连接到端子 ，并且在通过帧内预 测产生预测图像的情况下连接到端子Iv由例如控制电路31控制开关20的切换。运动预测/补偿电路21根据从无损解码电路12提供的标识标签确定预测模式， 并且根据该预测模式，从存储在帧存储器19内的已被解码的帧中选择将被用作参考帧的 帧。运动预测/补偿电路21基于从无损解码电路12提供的运动矢量，从构成参考帧的宏 块中确定对应于所关注的预测图像的宏块，并且提取所确定的宏块作为运动补偿图像。运 动预测/补偿电路21根据预测模式从运动补偿图像的像素值确定预测图像的像素值，并且 通过开关23将已经确定了像素值的预测图像输出到加法器电路15。帧内预测电路22根据从无损解码电路12提供的帧内预测模式信息执行帧内预 测，并且产生预测图像。帧内预测电路22通过开关23将产生的预测图像输出到加法器电 路15。开关23在由运动预测/补偿电路21产生预测图像的情况下被连接到端子a2，并 且在由帧内预测电路22产生预测图像的情况下被连接到端子b2。由例如控制电路31控制 开关23的切换。控制电路31通过例如切换开关20和23的连接，控制解码装置1的整体操作。控 制电路31可以识别将要接受处理的图像是帧内编码图像还是帧间编码图像。图5是示出了图3中的运动预测/补偿电路21的示例配置的框图。如图5所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、 双向预测电路43、预测电路44和滤波电路45构成。从无损解码电路12提供的运动矢量和标识标签被输入预测模式确定电路41。预测模式确定电路41根据从无损解码电路12提供的标识标签确定预测模式。预 测模式确定电路41在确定将要通过单向预测产生预测图像的情况下，将运动矢量输出到 单向预测电路42，并且在确定将要通过双向预测产生预测图像的情况下，将运动矢量输出 到双向预测电路43。另外，在确定将要通过滤波预测产生预测图像的情况下，预测模式确定 电路41将运动矢量输出到预测电路44。以这种方式，使得可以将不同于常规H. 264标准中定义的表示单向预测的值和表 示双向预测的值的值设置为标识标签的值，以便允许标识滤波预测。注意，取代根据标识标 签确定，可以使用事先确定的方法确定预测模式，以便减少信息数量。如图1所示，单向预测电路42将位于一个时间方向上的多个帧设置为参考帧，并 且基于运动矢量确定参考帧中对应于预测图像的宏块。另外，单向预测电路42通过从帧存 储器19中读取参考帧中每个确定的宏块作为运动补偿图像，并且通过将运动补偿图像之 一的像素值设置为预测图像的像素值，来产生预测图像。单向预测电路42将预测图像输出 到加法器电路15。例如，使用H. 264标准中定义的单向预测作为由单向预测电路42执行的 单向预测。如图2所示，双向预测电路43将位于两个时间方向上的多个帧设置为参考帧，并 且基于运动矢量确定参考帧中对应于预测图像的宏块。另外，双向预测电路43通过从帧存 储器19中读取参考帧中每个确定的宏块作为运动补偿图像，并且通过将读取的运动补偿 图像的像素值的平均设置为预测图像的像素值，来产生预测图像。双向预测电路43将预测 图像输出到加法器电路15。例如，使用H. 264标准中定义的双向预测作为由双向预测电路 43执行的双向预测。预测电路44将位于一个时间方向或两个时间方向上的多个帧确定为参考帧。被 用作参考帧的帧可被事先确定，或可被从编码侧传输的信息以及标识标签指定。图6示出了参考帧的例子的图。在图6的例子中，类似于参考图4的描述，分别超前预测帧一个时间点和两个时间 点的两个帧被设置为参考帧。在这两个参考帧中，更靠近预测帧的超前一个时间点的帧被 设置为参考帧R0,并且超前参考帧Rtl —个时间点的帧被设置为参考帧队。图7是示出了参考帧的另一个例子的图。在图7的例子中，在时间上超前预测帧的时间点一个时间点和落后一个时间点的 两个帧被设置为参考帧。在这两个参考帧中，超前预测帧一个时间点的帧被设置为参考帧 L0,并且落后预测帧一个时间点的帧被设置为参考帧Lp以这种方式，在滤波预测中，位于一个时间方向上的多个帧或位于两个时间方向 上的多个帧被用作参考帧。另外，预测电路44基于从预测模式确定电路41提供的运动矢量，确定以图6或7 所示方式确定的参考帧中的已经解码的宏块中对应于预测图像的宏块。预测电路44从帧存储器19中读取参考帧中每个确定的宏块作为运动补偿图像， 并且将读取的运动补偿图像输出到滤波电路45。取代以诸如16X16像素的宏块为单位，可 以用进一步划分宏块获得的块为单位执行运动矢量。例如，每个宏块的图像被输入滤波电 路45。在图5中，从预测电路44指向滤波电路45的两个箭头的表示指示提供两个运动补偿图像。滤波电路45接收从预测电路44提供的运动补偿图像作为输入，执行滤波，并且将 通过执行滤波获得的预测图像输出到加法器电路15。图8是示出了滤波电路45的示例配置的框图。在具有图8的配置的滤波电路45 中，对时域中的信号执行滤波。如图8所示，滤波电路45由差分计算电路51、低通滤波电路52、增益调整电路53、 高通滤波电路54、增益调整电路55、加法器电路56和加法器电路57构成。从预测电路44 提供的运动补偿图像MCtl被输入差分计算电路51和加法器电路57，并且运动补偿图像MC1 被输入差分计算电路51。在如图6所示的情况下，通过单向预测产生预测图像，例如，从被认为与预测图像 具有更高相关性的参考帧R0提取的图像被设置为运动补偿图像MCtl,并且从参考帧R1提取 的图像被设置为运动补偿图像MC115从参考帧Rtl提取的图像可被设置为运动补偿图像MC1, 并且从参考帧R1提取的图像可被设置为运动补偿图像MC0。相反，在如图7所示的情况下，通过双向预测产生预测图像，例如，从超前一个时 间点的参考帧Ltl提取的图像被设置为运动补偿图像MCtl,并且从落后一个时间点的参考帧 L1提取的图像被设置为运动补偿图像MC115从参考帧Ltl提取的图像可被设置为运动补偿图 像MC1,并且从参考帧L1提取的图像可被设置为运动补偿图像MC0。差分计算电路51计算运动补偿图像MCtl和运动补偿图像MC1之间的差分，并且将 差分图像输出到低通滤波电路52。由下面的等式(3)表示差分图像D。[等式3]D(i，j) =MCci(Lj)-MC1(Lj)-G)在等式(3)中，(i，j)表示运动补偿图像中的像素的相对位置，并且在以16X16 像素的宏块为单位执行处理的情况下，满足0 < i < 16和0 < j < 16。假设相同情况适用 于下面的描述。低通滤波电路52具有FIR滤波电路。低通滤波电路52对从差分计算电路51提 供的差分图像D应用低通滤波，并且将获得的图像输出到增益调整电路53和高通滤波电 路54。通过应用低通滤波获得的差分图像D'被以下面的等式(4)表示。在等式(4)中， LPF(X)表示使用二维FIR滤波器对输入图像X应用低通滤波。[等式4]D' =LPF(D) ... (4)增益调整电路53调整从低通滤波电路52提供的差分图像D'的增益，并且将增益 已被调整的图像输出到加法器电路56。增益调整电路53的输出图像X(i，j)被以下面的 等式(5)表示。[等式5]X(i，j) = aD' (i，j) ...(5)高通滤波电路54具有FIR滤波电路。高通滤波电路54对从低通滤波电路52提 供的差分图像D'应用高通滤波，并且将获得的图像输出到增益调整电路55。作为通过应 用高通滤波获得的图像的差分图像D”被以下面的等式(6)表示。在等式(6)中，HPF(X)表 示使用二维FIR滤波器对输入图像X应用高通滤波。
[等式6]D" =HPF (D' ) ...(6)增益调整电路55调整从高通滤波电路54提供的差分图像D”的增益，并且将增益 已被调整的图像输出到加法器电路56。增益调整电路55的输出图像Y(i，j)被以下面的 等式(7)表示。[等式7]Y(i, j) = β " (i，j) ...(7)关于等式(5)中的α的值和等式(7)中的β的值，例如，选择诸如α = 0. 8和 β =0.2的值。然而，可以使用其它值，以便增加预测像素的精度。另外，可以根据输入序 列的属性等适应性地改变这些值。加法器电路56对增益已被调整的图像X(i，j)和图像Y(i，j)进行相加，并且输出 通过相加获得的图像。加法器电路56的输出图像Z(i，j)被以下面的等式(8)表示。[等式8]Z(i, j) = X(i, j)+Y(i, j)…⑶输出图像Z(i，j)是图像的高频分量(能够通过差分确定)的表示，即运动补偿图 像MCtl和运动补偿图像MC1之间的相关性。加法器电路57把加法器电路56提供的输出图像Z(i，j)与运动补偿图像MCO相 加，并且把所获得的图像作为预测图像输出到加法器电路15。加法器电路57的最终输出 (即预测图像S(i，j))由等式(9)表示如下。[等式9]S(i, j) =MC0(i, j)+Z(i, j) ...(9)以这种方式，根据滤波预测模式，产生通过将表示高频分量的图像添加到运动补 偿图像MCtl获得的图像作为预测图像。与在简单地执行双向预测的情况下获得的预测图像 相比，这种预测图像包括更多高频分量。如上所述，由于将多个运动补偿图像的像素值的平 均值确定为像素值，通过执行双向预测产生的预测图像可能是丢失了高频分量的图像。另外，由于在加法器电路15中把包括大量高频分量的预测图像与解码图像相加， 最终从解码装置1输出的图像也是包括大量高频分量的高清晰度图像。另外，与简单地执行单向预测的情况相比，可以通过更有效地利用图像的时间相 关性产生预测图像。如上所述，由于使用多个运动补偿图像中的一个运动补偿图像的像素 值，所以不能说通过单向预测产生的预测图像是充分利用图像的时间相关性产生的预测图 像。此处，将描述具有上面配置的解码装置1的处理。首先，将参考图9的流程图描述解码装置1的解码处理。当例如无损解码电路12从存储在存储缓冲器11内的信息中读取一定大小的图像 (诸如16X16像素的宏块)时，图9的处理开始。如果必要，图9的每个步骤的处理被与另 一个步骤的处理并行执行，或通过重新排列这些步骤来执行图9的每个步骤的处理。这同 样适用于下面描述的每个流程图中的每个步骤的处理。在步骤Sl，无损解码电路12对从存储缓冲器11读取的图像执行解码处理，并且将 量化的变换系数输出到去量化电路13。另外，无损解码电路12在将要接受解码的图像是帧内编码图像的情况下，将帧内预测模式信息输出到帧内预测电路22，并且在该图像是帧间 编码图像的情况下，将运动矢量和标识标签输出到运动预测/补偿电路21。在步骤S2，去量化电路13使用与在编码侧使用的量化方案对应的方案执行去量 化，并且将变换系数输出到逆正交变换电路14。在步骤S3，逆正交变换电路14对从去量化电路13提供的变换系数执行逆正交变 换，并且将获得的图像输出到加法器电路15。在步骤S4，加法器电路15组合从逆正交变换电路14提供的解码图像和从运动预 测/补偿电路21或帧内预测电路22提供的预测图像，并且将合成图像输出到去块滤波器 16。在步骤S5，去块滤波器16执行滤波，以便去除包括在合成图像内的块噪声，并且 输出已经去除了块噪声的图像。在步骤S6，帧存储器19临时存储从去块滤波器16提供的图像。在步骤S7，控制电路31确定所关注的图像是否是帧内编码图像。当在步骤S7确定该图像是帧内编码图像的情况下，则在步骤S8，帧内预测电路22 通过执行帧内预测产生预测图像，并且将产生的预测图像输出到加法器电路15。相反，当在步骤S7确定该图像不是帧内编码图像(即，是帧间编码图像)的情况 下，则在步骤S9，运动预测/补偿电路21执行运动预测/补偿处理。通过执行运动预测/ 补偿处理产生的预测图像被输出到加法器电路15。下面将参考图10的流程图描述运动预 测/补偿处理。在步骤S10，控制电路31确定是否已对一个完整帧内的宏块执行了前面的处理。 在确定该处理尚未被执行的情况下，对另一个宏块重复执行从步骤Si开始的处理。相反，当在步骤SlO确定已经对一个完整帧内的宏块都执行了该处理的情况下， 则在步骤S11，重排缓冲器17根据控制电路31的控制将产生的帧输出到D/A转换器电路 18。在步骤S12，D/A转换器电路18对从重排缓冲器17提供的帧执行D/A转换，并且 将模拟信号输出到外部。在各个帧上执行前述处理。接着，将参考图10的流程图描述在图9的步骤S9中执行的运动预测/补偿处理。在步骤S21，运动预测/补偿电路21的预测模式确定电路41确定从无损解码电路 12提供的标识标签是否指示将在滤波预测模式中执行处理。当在步骤S21中确定标识标签不指示在滤波预测模式中执行处理的情况下，则在 步骤S22中，执行单向预测或双向预测，并且产生预测图像。即，在标识标签指示将在单向预测模式中执行处理的情况下，运动矢量被从预测 模式确定电路41提供到单向预测电路42，并且单向预测电路42执行单向预测。另外，在 标识标签指示将在双向预测模式中执行处理的情况下，运动矢量被从预测模式确定电路41 提供到双向预测电路43，并且双向预测电路43执行双向预测。在预测图像被输出到加法器 电路15之后，处理返回图9的步骤S9，并且执行随后的处理。相反，当在步骤S21确定标识标签指示将在滤波预测模式中执行处理的情况下， 则在步骤S23，预测电路44从多个参考帧的每一个提取运动补偿图像，并且将运动补偿图 像输出到滤波电路45。运动矢量被从预测模式确定电路41提供到预测电路44，并且使用该运动矢量提取运动补偿图像。在步骤S24，滤波电路45的差分计算电路51计算运动补偿图像MCtl和运动补偿图 像MC1之间的差分，并且将差分图像输出到低通滤波电路52。在步骤S25，低通滤波电路52对从差分计算电路51提供的差分图像应用低通滤 波，并且将获得的图像输出到增益调整电路53和高通滤波电路54。在步骤S26，增益调整电路53调整从低通滤波电路52提供的图像的增益，并且将 增益已被调整的图像输出到加法器电路56。在步骤S27，高通滤波电路54对从低通滤波电路52提供的差分图像应用高通滤 波，并且将获得的图像输出到增益调整电路55。在步骤S28，增益调整电路55调整从高通滤波电路54提供的差分图像的增益，并 且将增益已被调整的图像输出到加法器电路56。在步骤S29，加法器电路56将从增益调整电路53提供的图像和从增益调整电路 55提供的图像相加，并且确定图像的高频分量。确定的高频分量被从加法器电路56提供给 加法器电路57。在步骤S30，加法器电路57将从加法器电路56提供的图像(高频分量)添加到运 动补偿图像MCtl，并且将获得的图像作为预测图像输出到加法器电路15。此后，处理返回图 9的步骤S9，并且执行后续处理。如上所述，使用通过滤波预测产生的预测图像执行解码，因此使得可以获得高清 晰度的解码图像。接着，将描述编码侧上的装置的配置和操作。图11是示出了编码装置101的示例配置的框图。通过编码装置101进行编码而 获得的压缩图像信息被输入图3中的解码装置1。A/D转换器电路111对输入信号执行A/D转换并且将图像输出到重排缓冲器112。重排缓冲器112根据压缩图像信息的GOP (图片组)结构重排帧，并且输出一定单 位的图像(诸如宏块)。从重排缓冲器112输出的图像被提供给加法器电路113、模式确定 电路123、运动预测/补偿电路125和帧内预测电路126。加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补偿电路125 或帧内预测电路126产生并且通过开关127提供的预测图像之间的差，并且将残差输出到 正交变换电路114。预测图像越接近原始图像，并且确定的残差越小，将要分配给残差的代 码数量越小，并且因此编码效率可以越高。正交变换电路114对从加法器电路113提供的残差执行正交变换，诸如离散余弦 变换或Karhimen-Lc^ve变换，并且将通过执行正交变换获得的变换系数输出到量化电路 115。量化电路115根据速率控制电路118的控制量化从正交变换电路114提供的变换 系数，并且输出量化的变换系数。由量化电路115量化的变换系数被提供给无损编码电路 116和去量化电路119。无损编码电路116通过执行无损编码(诸如变长编码或算术编码)来压缩从量化 电路115提供的变换系数，并且将信息输出到存储缓冲器117。另外，无损编码电路116根据从模式确定电路123提供的信息设置标识标签的值，并且在图像的头部内描述该标识标签。如上所述，解码装置1基于由无损编码电路116描 述的标识标签确定预测模式。无损编码电路116还在图像的头部中描述从运动预测/补偿电路125或帧内预测 电路126提供的信息。当执行帧间预测时检测到的运动矢量等被从运动预测/补偿电路 125提供，并且关于应用的帧内预测模式的信息被从帧内预测电路126提供。存储缓冲器117临时存储从无损编码电路116提供的信息，并且在某个定时将其 作为压缩图像信息输出。存储缓冲器117将关于产生的代码数量的信息输出到速率控制电 路 118。速率控制电路118基于从存储缓冲器117输出的代码数量计算量化比例，并且控 制量化电路115，从而可以用计算的量化比例执行量化。去量化电路119对以量化电路115量化的变换系数执行去量化，并且将该变换系 数输出到逆正交变换电路120。逆正交变换电路120对从去量化电路119提供的变换系数执行逆正交变换，并且 将获得的图像输出到去块滤波器121。去块滤波器121去除出现在局部解码图像内的块噪声，并且将去除了块噪声的图 像输出到帧存储器122。帧存储器122存储从去块滤波器121提供的图像。如果必要，由模式确定电路123 读取存储在帧存储器122内的图像。模式确定电路123基于存储在帧存储器122内的图像和从重排缓冲器112提供的 原始图像，确定将要执行帧内编码还是帧间编码。另外，在确定将要执行帧间编码的情况 下，模式确定电路123确定单向预测模式、双向预测模式和滤波预测模式中的一个模式。模 式确定电路123将指示确定结果的信息作为模式信息输出到无损编码电路116。在确定将要执行帧间编码的情况下，模式确定电路123通过开关124将存储在帧 存储器122内并且通过局部解码获得的帧输出到运动预测/补偿电路125。另外，在确定将要执行帧内编码的情况下，模式确定电路123将存储在帧存储器 122内并且通过局部解码获得的帧输出到帧内预测电路126。开关124在将要执行帧间编码的情况下连接到端子an，并且在将要执行帧内编码 的情况下连接到端子bn。由例如控制电路131控制开关124的切换。运动预测/补偿电路125基于从重排缓冲器112提供的原始图像和从帧存储器 122读取的参考帧检测运动矢量，并且将检测到的运动矢量输出到无损编码电路116。另 外，运动预测/补偿电路125通过使用检测到的运动矢量和参考帧执行运动补偿来产生预 测图像，并且通过开关127将产生的预测图像输出到加法器电路113。帧内预测电路126基于从重排缓冲器112提供的原始图像和局部解码并且存储在 帧存储器122内的参考帧执行帧内预测，并且产生预测图像。帧内预测电路126通过开关 127将产生的预测图像输出到加法器电路113，并且将帧内预测模式信息输出到无损编码 电路116。开关127连接到端子a12或端子b12，并且将运动预测/补偿电路125或帧内预测 电路126产生的预测图像输出到加法器电路113。控制电路131通过例如根据模式确定电路123确定的模式切换开关124和127的连接，来控制编码装置101的整体操作。图12是示出了图11中的模式确定电路123的示例配置的框图。如图12所示，模式确定电路123由帧内预测电路141、帧间预测电路142、预测误 差计算电路143和确定电路144构成。在模式确定电路123中，对各自具有不同大小的块 执行帧内预测或帧间预测，并且根据获得的结果确定以哪种预测模式执行预测。对于帧间 预测，以预测模式(即，单向预测模式、双向预测模式和滤波预测模式)的每一种执行处理。 从重排缓冲器112提供的原始图像被输入帧内预测电路141、帧间预测电路142和预测误差 计算电路143。帧内预测电路141基于原始图像和从帧存储器122读取的图像，以具有不同大小 的块为单位执行帧内预测，并且将产生的预测图像输出到预测误差计算电路143。4X4预 测电路151-1以4 X 4像素块为单位执行帧内预测，并且8 X 8预测电路151-2以8 X 8像素 块为单位执行帧内预测。16X16预测电路151-3以16X16像素块为单位执行帧内预测。帧间预测电路142中的预测电路161基于原始图像和从帧存储器122读取的参考 帧，以各自具有不同大小的块为单位检测运动矢量。另外，预测电路161基于检测到的运动 矢量执行运动补偿，并且输出用于产生预测图像的运动补偿图像。在16X16预测电路161-1中，对每个块为16X 16像素的图像执行处理，并且在 16 X 8预测电路161-2中，对每个块为16 X 8像素的图像执行处理。另外，在4 X 4预测电路 161-(n-l)中，对每个块为4X4像素的图像执行处理。在跳跃/直接预测电路161_n中，以 跳跃预测模式或直接预测模式检测运动矢量，并且使用检测到的运动矢量执行运动补偿。从相对于当前帧单方向定位的多个参考帧中提取的运动补偿图像被从预测电路 161中的相应电路提供给单向预测电路162。从相对于当前帧双方向定位的多个参考帧中 提取的运动补偿图像被从预测电路161中的相应电路提供给双向预测电路163。如上所述，在将要使用从单方向定位的多个参考帧中提取的运动补偿图像执行滤 波预测的情况下，从单方向定位的参考帧中提取的运动补偿图像被从预测电路161中的相 应电路提供给滤波电路164。在使用从双方向定位的多个参考帧中提取的运动补偿图像执 行滤波预测的情况下，从双方向定位的参考帧中提取的运动补偿图像被从预测电路161中 的相应电路提供给滤波电路164。单向预测电路162通过使用从预测电路161中的相应电路提供的具有不同大小的 运动补偿图像中的每一个执行单向预测，来产生预测图像，并且将产生的预测图像输出到 预测误差计算电路143。例如，单向预测电路162通过使用从预测电路161-1提供的具有 16X16像素的多个运动补偿图像中的一个图像的像素值作为预测图像的像素值，来产生预 测图像。双向预测电路163通过使用从预测电路161中的相应电路提供的具有不同大小的 运动补偿图像中的每一个执行双向预测，来产生预测图像，并且将产生的预测图像输出到 预测误差计算电路143。例如，双向预测电路163通过使用从预测电路161-1提供的具有 16X16像素的多个运动补偿图像的像素值的平均值作为预测图像的像素值，来产生预测图像。滤波电路164通过使用从预测电路161中的相应电路提供的具有不同大小的运动 补偿图像中的每一个执行滤波预测，产生预测图像，并且将产生的预测图像输出到预测误差计算电路143。滤波电路164具有与图8所示的配置相同的配置，以便相应于解码装置1 的滤波电路45。例如，在为从预测电路161-1提供的各自具有16女16像素的运动补偿图像MCtl和 MC1产生预测图像的情况下，滤波电路164确定运动补偿图像MCtl和MC1之间的差分，并且对 确定的差分图像应用低通滤波。另外，滤波电路164对低通滤波的输出应用高通滤波，并且 把高通滤波的输出的增益已被调整的图像和低通滤波的输出的增益已被调整的图像相加。 滤波电路164通过将表示高频分量的、作为相加结果获得的图像与运动补偿图像MCtl相加 产生预测图像，并且将产生的预测图像输出到预测误差计算电路143。预测误差计算电路143确定从帧内预测电路141中的相应电路提供的每个预测图 像和原始图像之间的差，并且将表示确定的差的残差信号输出到确定电路144。另外，预测 误差计算电路143确定从帧间预测电路142中的单向预测电路162、双向预测电路163和滤 波电路164提供的预测图像的每一个和原始图像之间的差，并且将表示确定的差的残差信 号输出到确定电路144。确定电路144测量从预测误差计算电路143提供的残差信号的强度，并且确定用 于产生与原始图像具有小差异的预测图像的预测方法作为产生将要用于编码的预测图像 的预测方法。确定电路144将表示确定结果的输出信息作为模式信息输出到无损编码电路 116。该模式信息还包括表示将被用作处理单位的块的大小等信息。另外，在确定将要通过帧间预测产生预测图像的情况下(在确定将要执行帧间编 码的情况下)，确定电路144将从帧存储器122读取的参考帧连同模式信息一起输出到运动 预测/补偿电路125。在确定将要通过帧内预测产生预测图像的情况下(在确定将要执行 帧内编码的情况下)，确定电路144将从帧存储器122读取的、用于帧内预测的图像连同模 式信息一起输出到帧内预测电路126。图13是示出了图11中的运动预测/补偿电路125的示例配置的框图。如图13所示，运动预测/补偿电路125由运动矢量检测电路181、单向预测电路 182、双向预测电路183、预测电路184和滤波电路185构成。除了取代预测模式确定电路 41而提供了运动矢量检测电路181之外，运动预测/补偿电路125具有类似于图5所示的 运动预测/补偿电路21的配置。运动矢量检测电路181通过基于从重排缓冲器112提供的原始图像和从模式确定 电路123提供的参考帧执行块匹配等来检测运动矢量。运动矢量检测电路181参考从模式 确定电路123提供的模式信息，并且将运动矢量连同参考帧一起输出到单向预测电路182、 双向预测电路183和预测电路184中的一个。在已经选择将要执行单向预测的情况下，运动矢量检测电路181将运动矢量连同 参考帧一起输出到单向预测电路182，并且在已经选择将要执行双向预测的情况下，将这些 信息输出到双向预测电路183。在已经选择将要执行滤波预测的情况下，运动矢量检测电路 181将运动矢量连同参考帧一起输出到预测电路184。类似于图5中的单向预测电路42，单向预测电路182通过执行单向预测产生预测 图像。单向预测电路182将产生的预测图像输出到加法器电路113。类似于图5中的双向预测电路43，双向预测电路183通过执行双向预测产生预测 图像。双向预测电路183将产生的预测图像输出到加法器电路113。
类似于图5中的预测电路44，预测电路184从多个参考帧(诸如两个参考帧)中 的每一个提取运动补偿图像，并且将多个提取的运动补偿图像输出到滤波电路185。类似于图5中的滤波电路45，滤波电路185通过执行滤波预测产生预测图像。滤 波电路185将产生的预测图像输出到加法器电路113。注意，滤波电路185具有与图8所示 的滤波电路45的配置类似的配置。此后，如果必要，将参考滤波电路45的配置描述滤波电 路185的配置。通过滤波预测产生的预测图像可以是比通过单向预测和双向预测产生的预测图 像包括更多高频分量、并且与原始图像具有小的差异的图像。因此，仅仅需要分配给残差少 量代码，因此使得可以增加编码效率。另外，由于可以使用至少两个参考帧执行滤波预测，使得可以获得编码效率的增 加，而不会增加处理复杂性。通过例如增加用于帧间预测的参考帧的数目，以便产生高精度 的预测图像，并且通过使用该预测图像，可以减小与原始图像之间的残差，并且可以增加编 码效率。然而在该情况下，增加了使用的参考帧的数目，并且增加了处理的复杂性。注意，在选择预测方法的场合，可以通过考虑信息(诸如预测所需的运动矢量)的 代码数量以及编码模式，并且通过给残差信号的强度增加相应于代码数量的权重，来选择 最优预测方法。这使得可以进一步改进编码效率。另外，为了简化编码处理，可以使用输入 原始图像在时间和空间方向上的特征值，自适应地选择预测方法。接着，将描述具有上述配置的编码装置101的处理。将参考图14的流程图描述编码装置101的编码处理。当从重排缓冲器112输出 一定单位的图像(诸如宏块)时，这个处理开始。在步骤S51，加法器电路113确定从重排缓冲器112提供的图像和由运动预测/补 偿电路125或帧内预测电路126产生的预测图像之间的差，并且将该残差输出到正交变换 电路114。在步骤S52，正交变换电路114对从加法器电路113提供的残差执行正交变换，并 且将变换系数输出到量化电路115。在步骤S53，量化电路115量化从正交变换电路114提供的变换系数，并且输出量 化的变换系数。在步骤S54，去量化电路119对由量化电路115量化的变换系数执行去量化，并且 将变换系数输出到逆正交变换电路120。在步骤S55，逆正交变换电路120对从去量化电路119提供的变换系数执行逆正交 变换，并且将获得的图像输出到去块滤波器121。在步骤S56，去块滤波器121通过执行滤波去除块噪声，并且将去除了块噪声的图 像输出到帧存储器122。在步骤S57，帧存储器122存储从去块滤波器121提供的图像。在步骤S58，模式确定电路123执行模式确定处理。采用模式确定处理，确定用于 产生预测图像的预测模式。下面参考图15的流程图描述模式确定处理。在步骤S59，控制电路131基于模式确定电路123的确定，确定是否将要执行帧内 预测。当在步骤S59确定将要执行帧内预测的情况下，则在步骤S60，帧内预测电路126执行帧内预测，并且将预测图像输出到加法器电路113。相反，当在步骤S59确定不执行帧内预测(即，将要执行帧间预测)的情况下，则 在步骤S61，由运动预测/补偿电路125执行运动预测/补偿处理，并且预测图像被输出到 加法器电路113。下面将参考图16的流程图描述运动预测/补偿处理。在步骤S62，无损编码电路116压缩从量化电路115提供的变换系数，并且将其输 出到存储缓冲器117。另外，无损编码电路116根据从模式确定电路123提供的信息，在图 像头部中描述标识标签，或在图像头部中描述从运动预测/补偿电路125提供的运动矢量。在步骤S63，存储缓冲器117临时存储从无损编码电路116提供的信息。在步骤S64，控制电路31确定是否已经对一个完整帧内的宏块执行了上述处理。 在确定该处理尚未被执行的情况下，对另一个宏块重复执行从步骤S51起的处理。相反，当在步骤S64确定已经对一个完整帧内的宏块执行了该处理的情况下，则 在步骤S65，存储缓冲器117根据控制电路131的控制输出压缩的图像信息。对每一帧执行 上述处理。接着，将参考图15的流程图描述在图14的步骤S58中执行的模式确定处理。在步骤S81，帧内预测电路141和帧间预测电路142分别对具有不同尺寸的块执 行帧内预测和帧间预测，并且产生预测图像。产生的预测图像被提供给预测误差计算电路 143。在步骤S82，预测误差计算电路143确定原始图像和从帧内预测电路141中的相应 电路以及帧间预测电路142的单向预测电路162、双向预测电路163和滤波电路164提供的 每个预测图像之间的差。预测误差计算电路143将残差信号输出到确定电路144。在步骤S83，确定电路144基于从预测误差计算电路143提供的残差信号的强度， 确定用于产生将要提供给加法器电路113的预测图像的预测方法。在步骤S84，确定电路144将模式信息输出到无损编码电路116，所述模式信息是 关于确定的预测方法的信息。此后，处理返回图14的步骤S58，并且执行后续处理。接着，将参考图16的流程图描述在图14的步骤S61中执行的运动预测/补偿处 理。在步骤S91，运动矢量检测电路181基于原始图像和参考帧检测运动矢量。在步骤S92，运动矢量检测电路181确定模式确定电路123是否已经确定将要在滤 波预测模式中执行处理。当在步骤S92中确定尚未确定将在滤波预测模式中执行处理的情况下，则在步骤 S93，执行单向预测或双向预测，并且产生预测图像。S卩，在已经确定将要在单向预测模式中执行处理的情况下，运动矢量被从运动矢 量检测电路181提供给单向预测电路182，并且由单向预测电路182执行单向预测。另外， 在已经确定将要在双向预测模式中执行这些处理的情况下，运动矢量被从运动矢量检测电 路181提供给双向预测电路183，并且由双向预测电路183执行双向预测。在预测图像已被 输出到加法器电路113之后，处理返回图14的步骤S61，并且执行后续处理。相反，当在步骤S92确定已经确定将要在滤波预测模式中执行处理的情况下，则 在步骤S94，预测电路184从多个参考帧中的每一个中提取运动补偿图像，并且将运动补偿 图像输出到滤波电路185。运动矢量被从运动矢量检测电路181提供给预测电路184，并且使用这些运动矢量提取运动补偿图像。在步骤S95，滤波电路185的差分计算电路51 (图8)计算运动补偿图像MCtl和运 动补偿图像MCii间的差分，并且将差分图像输出到低通滤波电路52。在步骤S96，滤波电路185的低通滤波电路52对从差分计算电路51提供的差分图 像应用低通滤波，并且将获得的图像输出到增益调整电路53和高通滤波电路54。在步骤S97，滤波电路185的增益调整电路53调整从低通滤波电路52提供的差分 图像的增益，并且将增益已被调整的图像输出到加法器电路56。在步骤S98，滤波电路185的高通滤波电路54对从低通滤波电路52提供的差分图 像应用高通滤波，并且将获得的图像输出到增益调整电路55。在步骤S99，滤波电路185的增益调整电路55调整从高通滤波电路54提供的图像 的增益，并且将增益已被调整的图像输出到加法器电路56。在步骤S100，滤波电路185的加法器电路56把从增益调整电路53提供的图像和 从增益调整电路55提供的图像相加，以便确定高频分量。确定的高频分量被从加法器电路 56提供给加法器电路57。在步骤S101，滤波电路185的加法器电路57将从加法器电路56提供的图像(高 频分量)添加到运动补偿图像MCtl上，并且将获得的图像作为预测图像输出到加法器电路 113。此后，处理返回图14的步骤S61，并且执行后续处理。如上所述，使用通过滤波预测产生的预测图像执行编码，从而使得可以增加编码效率。在上文中，滤波电路45和185被配置为具有图8所示的配置。然而，如果需要，可 以改变这种配置。图17是示出了滤波电路45的另一种示例配置的框图。给相应于图8所示的配置 元件的配置元件分配相同的数字。将适当忽略冗余描述。图17中的差分计算电路51计算运动补偿图像MCtl和运动补偿图像MC1之间的差 分，并且将差分图像输出到低通滤波电路52。低通滤波电路52对从差分计算电路51提供的差分图像应用低通滤波，并且将获 得的图像输出到加法器电路57。加法器电路57将从低通滤波电路52提供的图像添加到运动补偿图像MCtl,并且输 出获得的图像作为预测图像。采用图17所示的配置，与使用图8的配置的情况相比，可减少处理量，并且可以实 现高速操作。图18是示出了滤波电路45的另一个示例配置的框图。给相应于图8所示的配置 元件的配置元件分配相同的数字。将适当忽略冗余描述。在图18的滤波电路45中，不是对时域中的信号而是对频域中的信号执行滤波。图 8和图17所示的两个滤波电路45都被配置为对时域中的信号执行滤波。图18中的差分计算电路51计算运动补偿图像MCtl和运动补偿图像MC1之间的差 分，并且将差分图像输出到正交变换电路201。正交变换电路201对该差分图像执行以DCT(离散余弦变换)和Hadamard变换、 KLT (Karhunen Loeve变换)为代表的正交变换，并且将正交变换之后获得的信号输出到带通滤波电路202。与对时域中的信号执行滤波的情况相比，对频域中的信号执行正交变换和 执行滤波使得可以更灵活地执行高精度滤波处理。在使用DCT作为正交变换的情况下，正交变换之后获得的输出DF被以下面的等式 (10)表示。在等式(10)中，DCT(X)表示对信号X执行二维DCT处理。[等式10]DF = DCT (D)...(10)带通滤波电路202对正交变换电路201的输出执行滤波，并且输出某个频带内的信号。增益调整电路203通过将带通滤波电路202的输出乘以α来调整其增益，并且还 执行频率分量调整。增益调整电路203的输出XF被以下面的等式(11)表示。在等式(11)， BPF(X)表示对信号X执行带通滤波处理。[等式11]XF = α · BPF (DF)— (11)逆正交变换电路204使用与正交变换电路201执行的正交变换对应的方案执行逆 正交变换，并且将从增益调整电路203提供的频域信号变换为时域信号。例如，在正交变换 电路201使用DCT作为正交变换的情况下，逆正交变换电路204执行IDCT。逆正交变换电 路204的输出X被以下面的等式(12)表示。在等式(12)中，IDCT(X)表示对信号X执行 二维IDCT处理。[等式12]X = IDCT (XF)— (12)加法器电路57将从逆正交变换电路204提供的信号X添加到时域中的运动补偿 图像MCtl，并且将获得的图像作为预测图像输出。加法器电路57的最终输出(S卩，预测图像 S(i，j))被以下面的等式(13)表示。[等式 Π]S(i，j) = MC0 (i，j)+X(i, j)... (13)以这种方式，即使对频域中的信号执行滤波，也可以产生高精度的预测图像。另外，在上文中，假设使用两个参考帧执行滤波预测。然而，可以使用更大数目的 帧作为参考帧。图19是示出了使用三个参考帧的情况的例子的图。在图19的例子中，在时间上分别超前预测帧一个时间点、两个时间点和三个时间 点的三个帧被设置为参考帧。更靠近预测帧的超前一个时间点的帧被设置为参考帧R0,超 前参考帧Rtl—个时间点的帧被设置为参考帧R1，并且超前参考帧R1 —个时间点的帧被设置 为参考帧R2。图20是示出了使用三个参考帧的情况的滤波电路的示例配置的框图。如图20所示，滤波电路211由滤波电路221和滤波电路222构成。滤波电路221 和滤波电路222中的每一个具有图8、图17或图18所示的配置。即，通过以级联方式连接 用于两个输入和一个输出设计的滤波电路45，滤波电路211被配置为作为三个输入和一个 输出的电路操作。此处，将基于从参考帧Rtl提取的运动补偿图像是运动补偿图像MC。、从参考帧R1提取的运动补偿图像是运动补偿图像MC1、并且从参考帧R2提取的运动补偿图像是运动补偿 图像MC2的假设给出描述。运动补偿图像MC1和MC2被输入到滤波电路221，并且运动补偿 图像MCtl被输入滤波电路222。滤波电路221分别使用运动补偿图像MC1和MC2作为图8中的运动补偿图像MCtl和 MC1等执行滤波，并且作为滤波结果的中间输出X被输出到滤波电路222。滤波电路222分别使用中间输出X和运动补偿图像MCtl作为图8中的运动补偿图 像MC。和MC1等执行滤波，并且滤波结果被作为预测图像输出。还可以取代滤波电路45，给图3中的解码装置1或图11中的编码装置101提供处 理这三个参考帧的滤波电路211。注意，滤波电路221和滤波电路222可以不必具有相同配置，并且可以具有不同配 置，从而它们中的一个具有图8所示的配置，并且另一个具有图17所示的配置。另外，还可 以在考虑滤波前后所获得的输入/输出特性的同时，使得用于滤波器的参数彼此不同。滤波电路211可以不对从位于一个时间方向上的参考帧中提取的运动补偿图像 执行滤波，而是对从位于前后方向的三个参考帧中提取的运动补偿图像执行滤波。注意，在使用在时间方面在预测值之前和之后的帧作为参考帧的情况下，包括参 考图7所述的情况，可以根据参考帧的时间方向或它们之间的距离，动态改变用于滤波的 参数，诸如抽头系数。压缩图像信息被从编码装置101通过各种介质传输给解码装置1，所述介质包括 记录介质，诸如光盘、磁盘、闪存、卫星广播、有线电视、因特网(Internet)和移动电话网络。图21和22是示出了通过使用由图8中的滤波电路45产生的预测图像执行编码 所获得的结果的图。图21的图示出了产生的编码数据的数量。在图21中，水平轴表示帧数目。例如，水平轴上的“1”表示将要接受处理的运动 图像的第一个画面，并且“2”表示第二个画面。垂直轴表示每个画面的代码数量，其单位是 比特。该图示出这个值越小，就可以用越高的压缩比压缩该帧。线L1表示使用已有AVC执行编码的情况的代码数量，并且线L2表示使用滤波预测 执行编码的情况的代码数量。在这个例子中，假设每15帧插入一帧帧内画面，并且除了帧 内画面之外的其它14个帧是P画面。如图21所示，对于帧内画面，由于采用AVC的情况和采用使用滤波预测的编码方 案的情况之间没有差别，产生的代码数量的值相同。另外，由于使用滤波预测的编码方案需 要两个参考帧，第二个P画面的代码数量与采用AVC的情况的代码数量具有相同的值，对于 第二个P画面，仅有一个画面，即，第一个帧内画面可被用作参考帧。其它P画面的代码数 量表现出使用滤波预测的编码方案的值(由线L2指示)小于由线L1指示的值。当采用使用滤波预测的编码方案时，可以更多地减少产生的代码的数量，这是由 于预测图像的精度更高，并且与采用AVC的情况相比，可以更多地减少残差的编码数据的 数量。图22的图示出了编码数据的图像质量。在图22中，类似于图21的水平轴，水平轴表示帧数。垂直轴表示PSNR值。PSNR值是一个客观指标，该值越大，图像越接近原始图像(图像质量越高)，其单位是[dB]。线L11表示使用已有AVC执行编码的情况的PSNR值，并且线L12表示使用滤波预测 执行编码的情况的PSNR值。出于与图21的情况相同的原因，帧内画面和第二个P画面的 PSNR值在采用AVC的情况和使用滤波预测执行编码的情况下也是相同的。相反，对于其它P画面，在采用滤波预测的编码方案情况下的PSNR值(由线L12指 示)大于采用AVC情况下的PSNR值(由线L11指示)。由于可以增加预测图像的精度，所述采用使用滤波预测的编码方案提供PSNR值 (即，图像质量)的更大改进。上面描述的一系列处理可被以硬件或软件执行。在以软件执行该系列处理的情况 下，构成该软件的程序被从程序记录介质安装到结合在专用硬件内的计算机中，或通过在 其内安装各种程序，能够执行各种功能的通用个人计算机等内。图23是示出了执行根据一个程序描述的处理序列的计算机硬件的示例配置的框 图。CPU (中央处理单元)251、R0M (只读存储器)252和RAM (随机访问存储器)253通 过总线254互连。输入/输出接口 255也被连接到总线254。输入/输出接口 255被连接到输入单元 256 (包括键盘、鼠标、麦克风等)、输出单元257 (包括显示器、扬声器等)、存储单元258 (包 括硬盘、非易失存储器等)、通信单元259 (包括网络接口等)以及驱动可移动介质261 (诸 如光盘或半导体存储器)的驱动器260。在如上所述配置的计算机中，CPU251通过输入/输出接口 255和总线254将存储 在例如存储单元258内的程序加载到RAM253中，并且执行该程序，从而执行上述处理序列。通过记录在例如可移动介质261上，或通过有线或无线传输介质诸如局域网、 Internet或数字广播，提供由CPU251执行的程序，并且将其安装在存储单元258内。注意，由计算机执行的程序可以是这样的程序，其中根据此处描述的顺序以时间 串行方式执行处理，或可以是这样的程序，其中处理被并行执行，或在必要的定时诸如当被 调用时执行。本发明的实施例不限于上述实施例，并且可以做出各种改变而不脱离本发明的范围。例如，上面描述的解码装置1或编码装置101可被用于任意电子设备。下面将描 述其例子。图24是示出了使用应用本发明的解码装置的电视接收机的主要部分的示例配置 的框图。图24所示的电视接收机300包括陆地调谐器313、视频解码器315、视频信号处理 电路318、图形产生电路319、面板驱动电路320和显示面板321。陆地调谐器313通过天线接收陆地模拟广播的广播波信号，对其解调，获得视频 信号，并且将其提供给视频解码器315。视频解码器315对从陆地调谐器313提供的视频信 号执行解码处理，并且将获得的数字分量信号提供给视频信号处理电路318。视频信号处理电路318对从视频解码器315提供的视频数据执行一定处理(诸如 噪声去除)，并且将获得的视频数据提供给图形产生电路319。
图形产生电路319通过基于通过网络提供的应用的处理，产生将要在显示面板 321上显示的节目的视频数据、图像数据等，并且将产生的视频数据或图像数据提供给面板 驱动电路320。另外，如果需要，图形产生电路319还执行处理，诸如产生用于显示用户用来 选择项目等屏幕的视频数据(图形)，将其叠加到节目的视频数据上，以便获得视频数据， 并且将获得的视频数据提供给面板驱动电路320。面板驱动电路320基于从图形产生电路319提供的数据驱动显示面板321，并且使 得在显示面板321上显示上述的节目视频或各种屏幕。显示面板321由IXD (液晶显示器)等构成，并且可以使得根据面板驱动电路320 的控制显示节目的视频等。另外，电视接收机300还包括音频A/D (模拟/数字)转换器电路314、音频信号处 理电路322、回声消除/音频合成电路323、音频放大器电路324和扬声器325。陆地调谐器313对接收到的广播波信号解调，以便获得视频信号和音频信号。陆 地调谐器313将获得的音频信号提供给音频A/D转换器电路314。音频A/D转换器电路314对从陆地调谐器313提供的音频信号执行A/D转换处理， 并且将获得的数字音频信号提供给音频信号处理电路322。音频信号处理电路322对从音频A/D转换器电路314提供的音频数据执行一定处 理(诸如噪声去除)，并且将获得的音频数据提供给回声消除/音频合成电路323。回声消除/音频合成电路323将从音频信号处理电路322提供的音频数据提供给 音频放大器电路324。音频放大器电路324对从回声消除/音频合成电路323提供的音频数据执行D/A 转换处理和放大处理，并且在从扬声器325输出音频之前将其调整到一定音量。另外，电视接收机300还包括数字调谐器316和MPEG解码器317。数字调谐器316通过天线接收数字广播(陆地数字广播、BS (广播卫星)/CS (通 信卫星)数字广播)的广播波信号，对其解调，获得MPEG-TS (运动图像专家组-传输流)， 并且将其提供给MPEG解码器317。MPEG解码器317对从数字调谐器316提供的MPEG-TS解扰(descramble)，并且提 取包括将被再现(将被观看和聆听)的节目的数据的流。MPEG解码器317对构成提取的 流的音频包解码，并且将获得的音频数据提供给音频信号处理电路322。另外，MPEG解码 器317对构成该流的视频包解码，并且将获得的视频数据提供给视频信号处理电路318。另 外，MPEG解码器317将从MPEG-TS提取的EPG(电子节目指南)数据通过图中未示出的路 径提供给CPU332。电视接收机300使用上述解码装置1作为以上述方式对视频包解码的MPEG解码 器317。因此，类似于解码装置1的情况，MPEG解码器317使用通过滤波预测产生的预测图 像执行解码。因此，可以通过更有效地利用图像的时间相关性，获得高清晰度的解码图像。类似于从视频解码器315提供的视频数据的情况，从MPEG解码器317提供的视频 数据接受视频信号处理电路318的一定处理，并且图形产生电路319将产生的视频数据等 叠加在其上。结果数据被通过面板驱动电路320提供给显示面板321，并且显示其图像。类似于从音频A/D转换器电路314提供的音频数据的情况，从MPEG解码器317提 供的音频数据接受音频信号处理电路322的一定处理，被通过回声消除/音频合成电路323提供给音频放大器电路324，并且接受D/A转换处理或放大处理。结果，从扬声器325输出 音量已被调整到一定值的音频。另外，电视接收机300还包括麦克风326和A/D转换器电路327。A/D转换器电路327接收由提供在电视接收机300内的麦克风326捕捉的、用于音 频转换的用户的音频信号，对接收的音频信号执行A/D转换处理，并且将获得的数字音频 数据提供给回声消除/音频合成电路323。在已从A/D转换器电路327提供了电视接收机300的用户(用户A)的音频数据的 情况下，回声消除/音频合成电路323对用户A的音频数据执行回声消除，并且使得通过音 频放大器电路324从扬声器325输出，例如，通过与其它音频数据组合而获得的音频数据。另外，电视接收机300还包括音频编码解码器328、内部总线329、SDRAM(同步动 态随机访问存储器)330、闪存331、0 仍32、旧8(通用串行总线)1汗333和网络I/F334。A/D转换器电路327接收由提供在电视接收机300内的麦克风326捕捉的、用于音 频转换的用户的音频信号，对接收的音频信号执行A/D转换处理，并且将获得的数字音频 数据提供给音频编码解码器328。音频编码解码器328将从A/D转换器电路327提供的音频数据转换为用于通过网 络传输的某种格式，并且通过内部总线329将其提供给网络I/F334。网络I/F334被通过附加到网络端子335的电缆连接到网络。网络I/F334将从 音频编码解码器328提供的音频数据传输到例如连接到网络的另一个装置。另外，网络I/ F334例如通过网络端子335接收从连接到网络上的另一个装置传输的音频数据，并且通过 内部总线329将其提供给音频编码解码器328。音频编码解码器328将从网络I/F334提供的音频数据转换为某种格式的数据，并 且将其提供给回声消除/音频合成电路323。回声消除/音频合成电路323对从音频编码解码器328提供的音频数据执行回声 消除，并且使得通过音频放大器电路324从扬声器325输出例如通过与其它音频数据组合 获得的音频数据。SDRAM 330存储CPU332执行处理所必须的各种数据。闪存331存储由CPU332执行的程序。由CPU332在某个定时，诸如当打开电视接收 机300时读取存储在闪存331内的程序。闪存331还存储通过数字广播获得的EPG数据， 通过网络从某个服务器获得的数据等。例如，闪存331存储MPEG-TS，其包括在CPU332的控制下通过网络从某个服务器 获得的内容数据。闪存331例如按照CPU332的控制通过内部总线329将MPEG-TS提供给 MPEG解码器317。MPEG解码器317以类似于从数字调谐器316提供的MPEG-TS的情况的方式处理该 MPEG-TS0以这种方式，电视接收机300可以通过网络接收由视频、音频等构成的内容数据， 使用MPEG解码器317对内容数据解码，显示视频，并且输出音频。另外，电视接收机300还包括接收从遥控器351传输的红外线信号的光的光接收 单元337。光接收单元337从遥控器351接收红外光，并且将通过解调获得的指示用户操作 内容的控制码输出到CPU332。
26
CPU332执行存储在闪存331内的程序，并且根据从光接收单元337提供的控制码 等控制电视接收机300的整体操作。CPU332被通过该图中未示出的路径连接到电视接收机 300的每个单元。USB I/F333向电视接收机300的外部设备传输数据，并且从电视接收机300的外 部设备接收数据，该外部设备通过附连到USB端子336的USB电缆连接。网络I/F334被通 过附接到网络端子335的电缆连接到网络，并且还向连接到网络的各种装置传输和接收音 频数据之外的数据。使用解码装置1作为MPEG解码器317，电视接收机300能够产生高精度的预测图 像，而不增加处理负荷。结果，电视接收机300能够从通过天线接收的广播波信号或通过网 络获得的内容数据中获得更高清晰度的解码图像，并且显示该图像。图25是示出了使用应用本发明的解码装置和编码装置的移动电话的主要部分的 示例配置的框图。图25所示的移动电话400包括配置为整体控制各个单元的主控制单元450、电源 电路单元451、操作输入控制单元452、图像编码器453、照相机I/F单元454、IXD控制单元 455、图像解码器456、多路复用/解多路复用单元457、记录/再现单元462、调制/解调电 路单元458和音频编码解码器459。它们通过总线460互连。另外，移动电话400包括操作按键419、(XD(电荷耦合器件)照相机416、液晶显示 器418、存储单元423、传输/接收电路单元463、天线414、麦克风(mic)421和扬声器417。当呼叫端和电源键被用户操作接通时，电源电路单元451从电池组给每个单元供 电，从而启动移动电话400以便使得能够操作。移动电话400基于由CPU、ROM、RAM等构成的主控制单元450的控制，执行诸如音 频呼叫模式和数据通信模式的各种模式中的各种操作，诸如传输和接收音频信号，传输和 接收电子邮件和图像数据，捕捉图像和记录数据。例如，在音频呼叫模式中，移动电话400使用音频编码解码器459将由麦克风 (mic)421收集的音频信号转换为数字音频数据，使用调制/解调电路单元458对数字音频 数据执行展频处理，并且使用传输/接收电路单元463执行数字到模拟转换处理和频率转 换处理。移动电话400通过天线414将通过转换处理获得的传输信号传输到图中未示出的 基站。传输到基站的传输信号(音频信号)被通过公共电话线网络提供给呼叫的另一端的 移动电话。另外，例如，在音频呼叫模式中，移动电话400使用传输/接收电路单元463放大 已经通过天线414接收的接收信号，进一步执行频率转换处理和模拟到数字转换处理，使 用调制/解调电路单元458执行逆展频处理，并且使用音频编码解码器459将结果信号转 换为模拟音频信号。移动电话400从扬声器417输出通过转换获得的模拟音频信号。另外，例如，在以数据通信模式传输电子邮件的情况下，移动电话400使用操作输 入控制单元452接受通过操作操作按键419输入的电子邮件的文本数据。移动电话400使 用主控制单元450处理文本数据，并且通过IXD控制单元455使得结果数据在液晶显示器 418上显示为图像。另外，移动电话400使用主控制单元450基于由操作输入控制单元452接受的文 本数据、基于用户指令等产生电子邮件数据。移动电话400使用调制/解调电路单元458对电子邮件数据执行展频处理，并且使用传输/接收电路单元463执行数字到模拟转换处 理和频率转换处理。移动电话400通过天线414将通过转换处理获得的传输信号传输到图 中未示出的基站。传输到基站的传输信号(电子邮件)被通过网络、邮件服务器等提供给 某个地址。另外，例如，在以数据通信模式接收电子邮件的情况下，移动电话400使用传输/ 接收电路单元463通过天线414接收从基站传输的信号，对其进行放大，并且进一步执行频 率转换处理和模拟到数字转换处理。移动电话400使用调制/解调电路单元458对接收到 的信号执行逆展频处理，以便恢复原始的电子邮件数据。移动电话400通过LCD控制单元 455在液晶显示器418上显示恢复的电子邮件数据。注意，移动电话400还能够通过记录/再现单元462在存储单元423上记录(存 储)接收到的电子邮件数据。存储单元423是任何可重写存储介质。存储单元423可以是，例如，半导体存储器 (诸如RAM或内建的闪存存储器)，或可以是硬盘，或可移动介质，诸如磁盘、磁光盘、光盘、 USB存储器或存储器卡。当然，可以使用任意其它类型的介质。另外，例如，在以数据通信模式传输图像数据的情况下，移动电话400使用CCD照 相机416通过捕捉图像产生图像数据。CXD照相机416包括光学设备诸如镜头和光圈，以 及作为光电转换元件的CCD，其捕捉对象的图像，将接收到的光的强度转换为电信号，并且 产生对象的图像的图像数据。图像编码器453通过照相机I/F单元454使用某种编码方案 (例如，MPEG2、MPEG4等)对图像数据进行压缩和编码，以便转换为编码图像数据。移动电话400使用上述的编码装置101作为执行这些处理的图像编码器453。因 此，类似于编码装置101的情况，图像编码器453使用通过滤波预测产生的预测图像执行编 码，该预测图像包括大量高频分量，并且与原始图像之间具有较小的差异。因此，可以减少 分配给残差的代码数量，并且可以增加编码效率。注意，此时，在使用CXD照相机416捕捉图像的过程中，移动电话400使用音频编 码解码器459同时对麦克风(mic)421收集的音频执行模拟到数字转换，并且进一步对其编码。移动电话400使用多路复用/解多路复用单元457并且利用某种方案多路复用从 图像编码器453提供的编码图像数据，以及从音频编码解码器459提供的数字音频数据。移 动电话400使用调制/解调电路单元458对作为结果获得的多路复用数据执行展频处理， 并且使用传输/接收电路单元463执行数字到模拟转换处理和频率转换处理。移动电话 400通过天线414将通过转换处理获得的传输信号传输到图中未示出的基站。传输到基站 的传输信号(图像数据)被通过网络等提供给通信的另一端。注意，在没有图像数据要被传输的情况下，移动电话400还可以使得通过IXD控制 单元455在液晶显示器418上显示使用CXD照相机416产生的图像数据，而无需图像编码 器453的介入。另外，例如，在以数据通信模式接收具有到简化主页等的链接的运动图像文件的 数据的情况下，移动电话400使用传输/接收电路单元463通过天线414接收从基站传输的 信号，对其进行放大，并且进一步执行频率转换处理和模拟到数字转换处理。移动电话400 使用调制/解调电路单元458对接收到的信号执行逆展频处理，以便恢复原始多路复用数据。移动电话400使用多路复用/解多路复用单元457对多路复用数据进行解多路复用， 以便将其分离为编码图像数据和音频数据。移动电话400使用图像解码器456并使用相应于某种编码方案(诸如MPEG2或 MPEG4)的解码方案对编码图像数据进行解码，以便产生再现运动图像数据，并且使得通过 IXD控制单元455在液晶显示器418上显示该数据。这允许例如在液晶显示器418上显示 包括在链接到该简化主页的运动图像文件内的运动图像数据。移动电话400使用上述的解码装置1作为执行这些处理的图像解码器456。因此， 类似于解码装置1的情况，图像解码器456使用通过滤波预测产生的预测图像执行解码。因 此，可以通过更高效地利用图像的时间相关性，获得高清晰度的解码图像。此时，移动电话400同时使用音频编码解码器459将数字音频数据转换为模拟音 频信号，并且使其从扬声器417输出。这允许，例如，再现包括在链接到简化主页的运动图 像文件内的音频数据。注意，类似于电子邮件的情况，移动电话400还能够使得通过记录/再现单元462 在存储单元423上记录(存储)链接到简化主页的接收到的数据。另外，移动电话400还可以使用主控制单元450分析CXD照相机416通过捕捉二 维码图像获得的二维码，并且获取记录在二维码内的信息。另外，移动电话400可以使用红外通信单元481通过红外光与外部设备通信。使用编码装置101作为图像编码器453，移动电话400可以改进编码数据的编码效 率，通过对例如由CXD照相机416产生的图像数据进行编码，产生该编码数据，而不需要增 加处理的复杂性。结果，移动电话400可以向另一个装置提供具有高编码效率的编码数据 (图像数据)。另外，使用解码装置1作为图像解码器456，移动电话400可以产生高精度预测图 像，而不增加处理负荷。结果，移动电话400可以例如从链接到简化主页的运动图像文件获 得更高清晰度的解码图像，并且可以显示它。注意虽然已经在被认为使用CXD照相机416的移动电话400的上下文中给出了前 面的描述，取代CCD照相机416，移动电话400可以使用利用CMOS (互补金属氧化物半导体) 的图像传感器(CMOS图像传感器)。在该情况下，类似于使用CXD照相机416的情况，移动 电话400同样可以捕捉对象的图像，并且产生对象的图像的图像数据。另外，虽然已经在移动电话400的上下文中给出了前面的描述，类似于移动电话 400的情况，解码装置1和编码装置101可被应用于具有类似于移动电话400的图像捕捉功 能或通信功能的任意装置，诸如例如，PDA(个人数字助理)、智能电话、UMPC(超便携个人计 算机)、网络笔记本或笔记本个人计算机。图26是示出了使用应用本发明的解码装置和编码装置的硬盘记录器的主要部分 的示例配置的框图。图26中示出的硬盘记录器(HDD记录器)500是在其内置硬盘中保存包括在从卫 星、陆地天线等传输的广播波信号(电视信号)内的广播节目的音频数据和视频数据的装 置，通过调谐器接收该信号，并且该装置根据用户的指示在一个定时为用户提供保存的数 据。硬盘记录器500可以例如从广播波信号中提取音频数据和视频数据，并且如果必要，对它们进行解码，并且将它们存储在内置的硬盘中。另外，硬盘记录器500还可以通过 例如网络从另一个装置获取音频数据或视频数据，如果必要，对它们进行解码，并且将它们 存储在内置的硬盘中。另外，硬盘记录器500可以对记录在例如内置硬盘上的音频数据和视频数据解 码，并且将它们提供给监视器560，在监视器560的屏幕上显示其图像，并且从监视器560的 扬声器输出其音频。另外，硬盘记录器500还可以对例如从通过调谐器获得的广播波信号 中提取的音频数据和视频数据，或对通过网络从另一个装置获取的音频数据和视频数据进 行解码，并且将它们提供给监视器560，在监视器560的屏幕上显示其图像，并且从监视器 560的扬声器输出其音频。当然，还可以执行其它操作。如图沈所示，硬盘记录器500包括接收单元521、解调单元522、解多路复用器 523、音频解码器524、视频解码器525和记录器控制单元526。硬盘记录器500还包括EPG 数据存储器527、节目存储器528、工作存储器529、显示转换器530、OSD (屏幕显示)控制 单元531、显示控制单元532、记录/再现单元533、D/A转换器534和通信单元535。另外，显示转换器530包括视频编码器Ml。记录/再现单元533包括编码器551 和解码器阳2。接收单元521从遥控器(未示出)接收红外信号，将其转换为电信号，并且将其输 出到记录器控制单元526。记录器控制单元526由例如微处理器等构成，并且根据存储在节 目存储器528内的程序执行各种处理。此时，记录器控制单元5 根据需要使用工作存储 名^" 529 ο通信单元535连接到网络，并且通过网络与另一个装置执行通信处理。例如，记录 器控制单元5 控制通信单元535以便与调谐器(未示出)通信，并且主要向调谐器输出 频道选择控制信号。解调单元522对从调谐器提供的信号解调，并且将其输出到解多路复用器523。解 多路复用器523将从解调单元522提供的数据解多路复用为音频数据、视频数据和EPG数 据，并且将它们分别输出到音频解码器524、视频解码器525和记录器控制单元526。音频解码器5M使用例如MPEG方案对输入的音频数据解码，并且将其输出到记录 /再现单元533。视频解码器525使用例如MPEG方案对输入的视频数据解码，并且将其输 出到显示转换器530。记录器控制单元5 将输入的EPG数据提供给EPG数据存储器527， 以便将EPG数据存储在其中。显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元5 提供的视频数据编码为例如NTSC(国家电视标准委员会)方案的视频数据，并且将其输出 到记录/再现单元533。另外，显示转换器530将从视频解码器525或记录器控制单元5 提 供的视频数据的屏幕大小转换为相应于监视器560的大小的大小，使用视频编码器541将 其转换为NTSC方案的视频数据，将其转换为模拟信号，并且将其输出到显示控制单元532。在记录器控制单元526的控制下，显示控制单元532将从OSD (屏幕显示)控制单 元531输出的OSD信号叠加在从显示转换器530输入的视频信号上，并且将其输出到监视 器560的显示器以便显示它。从音频解码器5M输出的、已被D/A转换器534转换为模拟信号的音频数据也被提供给监视器560。监视器560从其内置的扬声器输出音频信号。记录/再现单元533包括硬盘作为存储介质，视频数据、音频数据等被记录在该存 储介质上。记录/再现单元533使用编码器551并使用MPEG方案对例如从音频解码器5M 提供的音频数据进行编码。另外，记录/再现单元533使用编码器551并使用MPEG方案对 从显示转换器530的视频编码器541提供的视频数据进行编码。记录/再现单元533使用 多路复用器组合音频数据的编码数据和视频数据的编码数据。记录/再现单元533对得到 的合成数据执行频道编码，对其进行放大，并且通过记录头将该数据写到硬盘上。记录/再现单元533通过再现头再现记录在硬盘上的数据，对其进行放大，并且使 用解多路复用器将其分离为音频数据和视频数据。记录/再现单元533使用解码器552并 使用MPEG方案对音频数据和视频数据解码。记录/再现单元533对解码的音频数据执行 D/A转换，并且将其输出到监视器560的扬声器。另外，记录/再现单元533对解码的视频 数据执行D/A转换，并且将其输出到监视器560的显示器。记录器控制单元5 基于通过接收单元521接收的并且以来自遥控器的红外线信 号指示的用户指令，从EPG数据存储器527读取最新的EPG数据，并且将EPG数据提供给OSD 控制单元531。OSD控制单元531产生相应于输入EPG数据的图像数据，并且将其输出到显 示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出到监视器 560的显示器并且显示它。这允许在监视器560的显示器上显示EPG (电子节目指南)。另外，硬盘记录器500还可以获取通过网络(诸如Internet)从另一个装置提供 的各种数据(诸如视频数据、音频数据或EPG数据)。记录器控制单元5 控制通信单元535以便获取通过网络从另一个装置传输的编 码数据，诸如视频数据、音频数据和EPG数据，并且将其提供给记录器控制单元5 。记录器 控制单元5 例如将获取的视频数据和音频数据的编码数据提供给记录/再现单元533，以 便将其存储在硬盘内。此时，记录器控制单元5 和记录/再现单元533可以根据需要执 行诸如再编码的处理。另外，记录器控制单元5 对获取的视频数据和音频数据的编码数据进行解码， 并且将获得的视频数据提供给显示转换器530。显示转换器530以类似于从视频解码器525 提供的视频数据的方式处理从记录器控制单元5 提供的视频数据，并且通过显示控制单 元532将其提供给监视器560，以便显示其图像。另外，随同该图像的显示，记录器控制单元5 可以通过D/A转换器534将解码的 音频数据提供给监视器560，并且从扬声器输出其音频。另外，记录器控制单元5 对获取的EPG数据的编码数据进行解码，并且将解码的 EPG数据提供给EPG数据存储器527。如上所述的硬盘记录器500使用解码装置1作为内置在视频解码器525、解码器 552以及记录器控制单元526内的解码器中的每一个。因此，类似于解码装置1的情况，内 置于视频解码器525、解码器552以及记录器控制单元5 内的解码器使用通过滤波预测产 生的预测图像执行解码。因此，可以通过更有效地利用图像的时间相关性，获得高清晰度的 解码图像。因此，硬盘记录器500可以产生高精度的预测图像，而不会增加处理负荷。结果，硬盘记录器500可以从例如通过调谐器接收的视频数据的编码数据，从记录/再现单元533 的硬盘读取的视频数据的编码数据，或通过网络获取的视频数据的编码数据，获得更高清 晰度的解码图像，并且在监视器560上显示该图像。另外，硬盘记录器500使用编码器101作为编码器551。因此，类似于编码器101 的情况，编码器551使用通过滤波预测产生的预测图像执行编码，该预测图像包括大量高 频分量，并且与原始图像之间具有较小的差异。因此，可以减少分配给残差的代码的数量， 并且可以增加编码效率。因此，硬盘记录器500可以改进，例如，将要记录在硬盘上的编码数据的编码效 率，而不增加处理复杂性。结果，硬盘记录器500可以更有效地使用硬盘的存储区域。注意，虽然已经在将视频数据和音频数据记录在硬盘上的硬盘记录器500的上下 文中给出了前面的描述，当然，可以使用任意类型的记录介质。例如，即使记录器使用硬盘 之外的记录介质，诸如闪存、光盘或视频带，可以用类似于上述硬盘记录器500的情况的方 式使用解码装置1和编码装置101。图27是示出了使用应用本发明的解码装置和编码装置的照相机的主要部分的示 例配置的框图。图27所示的照相机600捕捉对象的图像，并且使得对象的图像显示在IXD616上， 或将其作为图像数据记录在记录介质633上。镜头块611使得光(即，对象的视频)入射到(XD/CM0S612上。(XD/CM0S612是图 像传感器，其使用CCD或CMOS将接收到的光的强度转换为电信号，并且将其提供给照相机 信号处理单元613。照相机信号处理单元613将从(XD/CM0S612提供的电信号转换为Y、Cr和Cb色 差信号，并且将它们提供给图像信号处理单元614。在控制器621的控制下，图像信号处理 单元614对从照相机信号处理单元613提供的图像信号执行某种图像处理，或使用编码器 641并使用例如MPEG方案对图像信号进行编码。图像信号处理单元614将通过对图像信号 编码产生的编码数据提供给解码器615。另外，图像信号处理单元614获取由屏幕上显示 (OSD) 620产生的显示数据，并且将其提供给解码器615。在前面的处理中，照相机信号处理单元613利用通过总线617连接的DRAM(动态 随机访问存储器)618，并且根据需要，使得图像数据、通过对图像数据编码获得的编码数据 等被保持在DRAM618内。解码器615对从图像信号处理单元614提供的编码数据进行解码，并且将获得的 图像数据(解码的图像数据)提供给LCD616。另外，解码器615将从图像信号处理单元614 提供的显示数据提供给IXD616。如果需要，IXD616组合从解码器615提供的解码图像数据 的图像和该显示数据的图像，并且显示得到的合成图像。在控制器621的控制下，屏幕上显示620通过总线617把显示数据(诸如由符号、 字符或数字构成的菜单屏幕)以及图标输出到图像信号处理单元614。控制器621基于指示使用操作单元622的用户发出的命令内容的信号，执行各种 处理，还通过总线617控制图像信号处理单元614、DRAM618、外部接口 619、屏幕上显示620、 介质驱动器623等。闪存R0M6M存储控制器621执行各种处理所需的程序、数据等。例如，控制器621可以代替图像信号处理单元614或解码器615对存储在DRAM618内的图像数据进行编码，或对存储在DRAM618内的编码数据进行解码。此时，控制器621可 以使用类似于图像信号处理单元614或解码器615的编码或解码方案的方案，执行编码或 解码处理，或可以使用图像信号处理单元614或解码器615不支持的方案执行编码或解码处理。另外，例如，在已经从操作单元622发出开始打印图像的指令的情况下，控制器 621从DRAM618读取图像数据，并且将其提供给通过617连接到外部接口 619的打印机634， 以便打印该图像。另外，例如，在已经从操作单元622发出记录图像的指令的情况下，控制器621从 DRAM618读取编码数据，并且将其提供给通过总线617附接到介质驱动器623的记录介质 633以便存储编码数据。记录介质633例如是任意可读和可重写可移动介质，诸如磁盘、磁光盘、光盘或半 导体存储器。当然，记录介质633还可以是任意类型的可移动介质，并且可以是带设备、盘 或存储器卡。当然，还可以使用非接触IC卡等。另外，介质驱动器623和记录介质633还可被集成地形成在例如非便携存储介质 内，诸如内置硬盘驱动器或SSD (固态驱动器)。外部接口 619由例如USB输入/输出端子等构成，并且在打印图像的情况下连接 到打印机634。另外，驱动器631根据需要连接到外部接口 619，并且如果需要，附接可移 动介质632，诸如磁盘、光盘或磁光盘，从而根据需要将从中读取的计算机程序安装在闪存 R0M624 中。另外，外部接口 619包括连接到某个网络(诸如LAN或hternet)的网络接口。 控制器621可以根据来自例如操作单元622的指令，从DRAM618读取编码数据，并且将其 提供给通过网络从外部接口 619连接的另一个装置。另外，控制器621可以通过外部接口 619获取通过网络从另一个装置提供的编码数据或图像数据，并且将其保持在DRAM618内， 或将其提供给图像信号处理单元614。如上所述的照相机600使用解码装置1作为解码器615。因此，类似于解码装置1 的情况，解码器615使用通过滤波预测产生的预测图像执行解码。因此，可以通过更有效地 利用图像的时间相关性，获得高清晰度的解码图像。因此，照相机600可以产生高精度预测图像而不增加处理负荷。结果，照相机600 可以从例如使用(XD/CM0S612产生的图像数据、从DRAM618或记录介质633读取的视频数 据的编码数据、或通过网络获取的视频数据的编码数据获得更高清晰度的解码图像，并且 在IXD616上显示解码图像。另外，照相机600使用编码装置101作为编码器641。因此，类似于编码装置101 的情况，编码器641使用通过滤波预测产生的预测图像执行编码，该预测图像包括大量高 频分量，并且与原始图像之间具有较小的差异。因此，可以减少分配给残差的代码的数量， 并且可以增加编码效率。因此，照相机600可以改进，例如，将要记录在硬盘上的编码数据的编码效率，而 不增加处理复杂性。结果，照相机600可以更有效地使用DRAM618或记录介质633的存储 区域。注意，解码装置1的解码方法可被应用于由控制器621执行的解码处理。类似地，编码装置101的编码方法可被应用于由控制器621执行的编码处理。另外，由照相机600捕捉的图像数据可以是运动图像或静态图像。当然，解码装置1和编码装置101还可被应用于上述装置之外的装置或系统。
权利要求
1.一种图像处理设备，包括运动补偿装置，用于使用由通过对编码图像解码获得的图像形成的多个帧作为参考 帧，并且使用包括在编码图像内的运动矢量，来执行运动补偿，以及用于从不同的参考帧产 生与预测图像对应的多个运动补偿图像；第一滤波装置，用于对由运动补偿装置产生的多个运动补偿图像之间的差分图像应用 低通滤波；第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和 预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤 波装置通过应用高通滤波获得的图像添加到由运动补偿装置产生的多个运动补偿图像中 的一个上，来产生预测图像。
2.如权利要求1所述的图像处理设备，还包括解码装置，用于使用由预测图像产生装 置产生的预测图像来对编码图像进行解码。
3.如权利要求2所述的图像处理设备，其中运动补偿装置选择超前预测图像一个帧的 帧以及超前预测图像两个帧的帧作为参考帧。
4.如权利要求3所述的图像处理设备，其中预测图像产生装置将第一滤波装置通过应 用低通滤波获得的图像和第二滤波装置通过应用高通滤波获得的图像添加到从超前预测 图像一个帧的帧中提取的运动补偿图像上。
5.如权利要求4所述的图像处理设备，还包括单向预测装置，用于使用多个运动补偿图像执行单向预测，并且用于产生预测图像；和 双向预测装置，用于使用多个运动补偿图像执行双向预测，并且用于产生预测图像， 其中所述预测图像产生装置参考包括在编码图像内的标识标签，以便选择以下操作 由单向预测装置通过单向预测产生预测图像， 由双向预测装置通过双向预测产生预测图像， 或通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获 得的图像应用高通滤波，以及通过将通过应用低通滤波获得的图像和通过应用高通滤波获 得的图像添加到多个运动补偿图像中的一个上，来产生预测图像。
6.一种图像处理方法，包括运动补偿步骤，使用由通过对编码图像解码所获得的图像形成的多个帧作为参考帧， 并且使用包括在编码图像内的运动矢量执行运动补偿，以及从不同的参考帧产生与预测图 像对应的多个运动补偿图像；第一滤波步骤，对在运动补偿步骤中产生的多个运动补偿图像之间的差分图像应用低 通滤波；第二滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；以及预测图像产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二 滤波步骤中通过应用高通滤波获得的图像添加到在运动补偿步骤中产生的多个运动补偿 图像中的一个上，来产生预测图像。
7.一种图像处理设备，包括检测装置，用于基于通过局部解码而获得的图像以及原始图像，来检测运动矢量，其中 基于指示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；运动补偿装置，用于使用由通过局部解码所获得的图像形成的多个帧作为参考帧，并 且使用检测装置检测到的运动矢量，来执行运动补偿，以及用于从不同的参考帧中提取与 预测图像对应的多个运动补偿图像；第一滤波装置，用于对由运动补偿装置提取的多个运动补偿图像之间的差分图像应用 低通滤波；第二滤波装置，用于对第一滤波装置通过应用低通滤波获得的图像应用高通滤波；和 预测图像产生装置，用于通过将第一滤波装置通过应用低通滤波获得的图像和第二滤 波装置通过应用高通滤波获得的图像添加到由运动补偿装置提取的多个运动补偿图像中 的一个上，来产生预测图像。
8.如权利要求7所述的图像处理设备，还包括编码装置，用于使用由预测图像产生装 置产生的预测图像对原始图像进行编码。
9.如权利要求8所述的图像处理设备，还包括控制装置，用于在通过对原始图像进行 编码而获得的编码图像中描述这样的一种标签，该标签标识以下操作通过使用单向预测，产生将被添加到将被解码的图像上的预测图像， 通过使用双向预测，产生将被添加到将要解码的图像上的预测图像， 或通过对多个运动补偿图像之间的差分图像应用低通滤波，通过对通过应用低通滤波获 得的图像应用高通滤波，以及通过将通过应用低通滤波获得的图像和通过应用高通滤波获 得的图像添加到多个运动补偿图像中的一个上，来产生要被添加到将要解码的图像上的预 测图像。
10.一种图像处理方法，包括检测步骤，基于通过局部解码获得的图像以及原始图像，来检测运动矢量，其中基于指 示将要接受编码的原始图像和预测图像之间的差的残差图像进行所述局部解码；运动补偿步骤，使用由通过局部解码获得的图像形成的多个帧作为参考帧并且使用在 检测步骤中检测到的运动矢量，来执行运动补偿，以及从不同的参考帧中提取与预测图像 对应的多个运动补偿图像；第一滤波步骤，对在运动补偿步骤中提取的多个运动补偿图像之间的差分图像应用低 通滤波；第二滤波步骤，对在第一滤波步骤中通过应用低通滤波获得的图像应用高通滤波；以及预测图像产生步骤，通过将在第一滤波步骤中通过应用低通滤波获得的图像和在第二 滤波步骤中通过应用高通滤波获得的图像添加到在运动补偿步骤中提取的多个运动补偿 图像中的一个上，来产生预测图像。
全文摘要
本发明涉及允许产生高精度预测图像而不增加处理负荷的图像处理设备和方法。计算从不同的参考帧中提取的运动补偿图像MC0和MC1之间的差分图像。对该差分图像应用低通滤波，并且调整获得的图像的增益。对通过应用低通滤波获得的图像应用高通滤波，并且调整获得的图像的增益。通过将增益调整电路53的输出和增益调整电路55的输出相加而获得的图像被与运动补偿图像MC0相加，并且产生预测图像。本发明可被应用于执行预测编码的装置，对通过预测编码进行编码的信息进行解码的装置。
文档编号H04N7/32GK102100071SQ20098012787
公开日2011年6月15日 申请日期2009年7月24日 优先权日2008年7月25日
发明者中神央二, 名云武文, 田中润一, 矢崎阳一 申请人:索尼公司