图像处理装置和方法

专利名称：图像处理装置和方法
技术领域：
本发明涉及图像处理装置和方法，特别地，涉及能够在没有增加处理负荷的情况 下产生高度精确的预测图像的图像处理装置和方法。
背景技术：
传统上，使用诸如MPEG(运动图片专家组)或H. 26x的运动补偿以及诸如离散余 弦变换、Karhunen-Loeve变换或小波变换(wavelet transformation)的正交变换的编码 方法通常已经用作处理运动图像的情况中的编码方法。在这些运动图像编码方法中，通过 利用要执行编码的输入图像信号的特性之中的空间方向和时间方向上的相关性来减少代码量。例如，在H. 264中，单向预测或双向预测用于利用时间方向上的相关性来产生内 帧，该内帧是作为内帧预测(帧内预测)的目标的帧。内帧预测基于不同时刻的帧产生预 测图像。图1是示出单向预测的例子的示图。如图1所示，在通过单向预测产生要被编码的帧Ptl的情况下，使用在相对于当前 时刻的时间上过去的或未来的时刻的被编码的帧作为参考帧，执行运动补偿，该帧Ptl是要 被编码的当前时刻的帧。使用时间方向上的相关性，对预测图像和实际图像之间的残差 (residual)进行编码，从而能够减少代码量。参考帧信息和运动向量分别用作指定参考帧 的信息和指定参考帧的要被参考的位置的信息，并且，将这些信息从编码侧发送到解码侧。这里，参考帧的数目并不一定是1。例如，在H. 264中，多个帧可以用作参考帧。当 在时间上靠近要被编码的帧Ptl的两个帧用作参考帧Rtl和R1时，如图1所示，能够从参考帧 R0或R1中的任意像素的像素值预测要被编码的帧Ptl中的任意宏块的像素值。在图1中的各个帧的内部示出的框表示宏块。当假设作为预测目标的要被编码的 帧Pq中的宏块是宏块MBpq时，与宏块MBro相对应的参考帧Rtl中的宏块是由运动向量MVtl指 定的宏块MBkq。此外，参考帧R1中的宏块是由运动向量MV1指定的宏块MBki。当假设宏块MBkq和MBki的像素值(运动补偿图像的像素值)是MC。(i，j)和MC1G, j)时，由于任何运动补偿图像的像素值用作单向预测中的预测图像的像素值，所以预测图 像Pred(i，j)由下面的公式(1)表达。(i，j)表示宏块中的像素的相对位置，并且，满足 0彡i彡16和0彡j彡16。在公式(1)中，“| |”表示取MC。(i，j)和MC1(Lj)中的任何一 个的值。[数学式1]Pred (i, j) =MCtl(Lj)IlMC1(Lj)-(I)此外，可以将16X16像素的单个宏块分割为例如具有16X8像素的尺寸的较小 块，并且可以通过参考不同的参考帧来对通过分割形成的各个块执行运动补偿。通过发送 小数精度(decimal precision)的运动向量而不是整数精度(integer precision)的运动 向量，以及通过使用按照标准定义的FIR滤波器执行内插，在被参考的相应位置周围的像素的像素值能够用于运动补偿。图2是示出双向预测的例子的示图。如图2所示，在通过双向预测产生要被编码的帧Btl的情况下，使用在相对于当前 时刻的时间上过去的或未来的时刻的被编码的帧作为参考帧，执行运动补偿，该帧Btl是要 被编码的当前时刻的帧。使用多个编码帧作为参考帧，并且，使用这些帧之间的相关性，对 预测图像和实际图像之间的残差进行编码，从而能够减少代码量。在H. 264中，还可以使用 多个过去的帧和多个未来的帧作为参考帧。如图2所示，当在要被编码的帧Btl充当基准的情况下使用一个过去的帧和一个未 来的帧作为参考帧Ltl和L1时，能够基于参考帧Ltl和L1的任意像素的像素值来预测要被编 码的帧Btl中的任意宏块的像素值。在图2的例子中，与要被编码的帧Btl中的宏块MBbci相对应的参考帧Ltl中的宏块是 由运动向量MVtl指定的宏块ΜΒω。此外，与要被编码的帧Btl中的宏块MBbci相对应的参考帧 L1中的宏块是由运动向量MV1指定的宏块MBu。当假设宏块MBui和MBu的像素值分别是MC。(i，J)和MC“i，j)时，预测图像 Pred(i, j)的像素值Pred(i，j)能够作为这些像素值的平均值而获得，如下面公式(2)所 表达的。[数学式2]Pred (i，j) = (MC0 (i，jO+MC^i, j))/2... (2)在使用单向预测的前述的运动补偿中，通过提高运动向量的精度并减小宏块的尺 寸以减少相对于实际图像的残差来提高预测图像的精度，从而提高编码效率。此外，在使用双向预测的运动补偿中，时间上靠近的参考帧的像素的像素值的平 均值用作预测图像的像素的像素值，从而从概率的角度来实现预测残差的稳定的减少。引 用列表非专利文献NPL 1 “Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG,Department of ComputerScience,The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama ChelIapa, Received June 16,1989; accepted May 25，1990 ( “通过图像配准提高分辨率”，MICHALIRANI 和 SHMUEL PELEG，计算 机系，耶路撒冷希伯来大学，91904，耶路撒冷，以色列，由Rama Chellapa联络，1989年6月 16日收到；1990年5月25日接受)

发明内容
技术问题在传统的单向预测的情况中，即使当能够选择多个参考帧时，仍必须选择性地使 用参考帧中的任何一个的像素值作为要被编码的帧的像素值。因此，由于未被选择的参考 帧不用于运动补偿，所以，没有充分地使用参考帧和要被编码的帧之间的时间相关性，从提 高编码效率的角度来看，存在很多有待改进的余地。此外，在传统的双向预测的情况中，两个参考帧的像素值的平均值用作要被编码 的帧的像素值，从而执行时间的低通滤波处理，并且，从预测图像失去高频分量。结果，由于不能对包含高频分量的残差信号(residual signal)进行编码，所以通过解码获得的图像 不包含高频分量，并且，分辨率降低了。鉴于这些情况而作出了本发明，本发明针对在没有增加处理负荷的情况下能够产 生高度精确的预测图像。解决问题的方案根据本发明的一个方面的图像处理装置包括确定部件，用于根据用于滤波处理 的滤波器的抽头(tap)的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包 含作为被解码的参考帧的块的参考块的宏块之外，并且与该参考块接触；获得部件，用于在 参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与由确定部件确定的像 素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理的图像的块相对应的 参考帧的块；以及滤波部件，用于对通过获得部件获得的带区域和参考块的图像执行滤波 处理。如果参考块不与包含该参考块的宏块的外围接触，则获得部件可以从参考帧获得 参考块。确定部件可以确定等于下述最大整数的像素的数目是带区域的宽度方向上的像 素的数目该最大整数等于或小于通过将用于滤波处理的滤波器的抽头的数目除以2而获 得的值。滤波部件可以具有第一滤波部件，用于对多个图像的差分图像执行低通滤波； 第二滤波部件，用于对通过由第一滤波部件执行的低通滤波获得的图像执行高通滤波；以 及加法部件，用于将通过由第一滤波部件执行的低通滤波获得的图像和通过由第二滤波部 件执行的高通滤波获得的图像与所述多个图像中的任何一个相加，从而产生以宏块为单位 的预测图像。图像处理装置还可以包括存储部件，用于将通过以构成帧的宏块为单位执行的 解码处理获得的被解码的帧作为参考帧存储。获得部件可以从存储于存储部件中的参考帧 获得参考块和带区域。图像处理装置还可以包括指定部件，用于基于运动向量指定参考块。滤波器可以是FIR滤波器。根据本发明的一个方面的图像处理方法包括确定步骤，根据用于滤波处理的滤 波器的抽头的数目来确定带区域的宽度方向上的像素的数目，该带区域位于包含作为被解 码的参考帧的块的参考块的宏块之外，并且与该参考块接触；获得步骤，在参考块与包含该 参考块的宏块的外围接触的情况下从参考帧获得与在确定步骤中确定的像素的数目相对 应的带区域和参考块，该参考块是与构成经过滤波处理的图像的块相对应的参考帧的块； 以及滤波步骤，对在获得步骤中获得的参考块和带区域的图像执行滤波处理。在本发明的一个方面中，根据用于滤波处理的滤波器的抽头的数目来确定带区域 的宽度方向上的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块 之外，并且与该参考块接触；在参考块与包含该参考块的宏块的外围接触的情况下从参考 帧获得与确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理的 图像的块相对应的参考帧的块；并且对获得的参考块和带区域的图像执行滤波处理。本发明的有益效果根据本发明的一个方面，能够在不增加处理负荷的情况下产生高度精确的预测图像。


图1是示出单向预测的例子的示图。图2是示出双向预测的例子的示图。图3是根据本发明实施例的解码装置的配置例子的框图。图4是示出第三预测模式的概念的示图。图5是示出图3中的运动预测/补偿电路的配置例子的框图。图6是示出参考帧的例子的示图。图7是示出参考帧的另一例子的示图。图8是示出图5中的滤波电路的配置例子的框图。图9是用于解释由解码装置执行的解码处理的流程图。图10是用于解释在图9中的步骤S9中执行的运动预测/补偿处理的流程图。图11是示出编码装置的配置例子的框图。图12是示出图11中的模式确定电路的配置例子的框图。图13是示出图11中的运动预测/补偿电路的配置例子的框图。图14是用于解释由编码装置执行的编码处理的流程图。图15是用于解释在图14中的步骤S58中执行的模式确定处理的流程图。图16是用于解释在图14中的步骤S61中执行的运动预测/补偿处理的流程图。图17是示出滤波电路的另一配置例子的框图。图18是示出滤波电路的另一配置例子的框图。图19是示出使用三个参考帧的情况的例子的示图。图20是示出在使用三个参考帧的情况中的滤波电路的配置例子的框图。图21是示出像素的内插的例子的示图。图22是示出使用添加有边缘区域(margin area)的运动补偿图像的处理的概念 的示图。图23是示出运动补偿图像的例子的示图。图24是示出图5中的预测电路的配置例子的框图。图25是用于解释预测电路的运动补偿处理的流程图。图26是示出分割要被解码的宏块的例子的示图。图27是示出参考帧的例子的示图。图28是示出构成图27中的宏块的块的例子的示图。图29是示出边缘区域的例子的示图。图30是示出边缘区域的例子的示图。图31是示出边缘区域的例子的示图。图32是示出边缘区域的例子的示图。图33是示出边缘区域的例子的示图。图34是示出边缘区域的例子的示图。图35是示出边缘区域的例子的示图。
图36是示出边缘区域的例子的示图。图37是示出运动补偿图像的例子的示图。图38是FIR滤波器的例子的示图。图39是示出滤波处理的例子的示图。图40是示出通过使用由图8中的滤波电路产生的预测图像执行编码而获得的结 果的示图。图41是示出通过使用由图8中的滤波电路产生的预测图像执行编码而获得的另 一结果的示图。图42是示出个人计算机的配置例子的框图。图43是示出应用本发明的电视接收机的主要配置例子的框图。图44是示出应用本发明的移动电话设备的主要配置例子的框图。图45是示出应用本发明的硬盘记录器的主要配置例子的框图。图46是示出应用本发明的照相机的主要配置例子的框图。
具体实施例方式图3是根据本发明实施例的解码装置1的配置例子的框图。把由将在下面描述的编码装置压缩和编码的图像信息经由线缆、网络或可移动介 质输入至解码装置1。例如，压缩的图像信息是根据H. 264标准压缩和编码的图像信息。存储缓冲器11顺序地存储作为压缩的图像信息输入的位流。在必要的时候，存储 在存储缓冲器11中的信息由无损耗解码电路12按照特定单位(诸如构成帧的宏块)的图 像的单位读取。在H. 264标准中，不仅可以按照16X16像素的宏块的单位而且可以按照通 过进一步分割宏块而获得的8X8像素或4X4像素的块的单位执行处理。无损耗解码电路12对从存储缓冲器11读取的图像执行与编码方法相对应的解码 处理，例如，可变长度解码处理或算术解码处理。无损耗解码电路12将通过解码处理获得 的量化变换系数输出到逆量化电路(dequantization circuit) 13。此外，无损耗解码电路12基于在要被解码的图像的头部中包含的识别标志来识 别该图像是帧内编码图像还是帧间编码图像。如果无损耗解码电路12判定要被解码的图 像是帧内编码图像，则无损耗解码电路12将在图像的头部中存储的帧内预测模式信息输 出到帧内预测电路22。帧内预测模式信息包含关于帧内预测的信息，例如，用作处理单位的 块的尺寸。如果无损耗解码电路12判定要被解码的图像是帧间编码信息，则无损耗解码电 路12将在图像的头部中存储的识别标志和运动向量输出到运动预测/补偿电路21。使用 识别标志，可以识别用于通过帧间预测产生预测图像的预测模式。例如，按照宏块或帧的单 位设置识别标志。作为预测模式，除了图1中的单向预测的模式和图2中的双向预测的模式以外，还 预备有第三预测模式，用于通过对从在一个或两个时间方向上排列的多个参考帧提取的运 动补偿图像执行滤波来产生预测图像。图4是示出第三预测模式的概念的示图。在图4的例子中，在当前帧(预测帧)的时刻充当基准的情况下，在时间上一个时间单位之前的帧被视为参考帧Rtl,并且，在参考帧Rtl之前的一个时间单位的帧被视为参考 帧队。在这种情况下，根据第三预测模式，将从参考帧Rtl和R1提取的运动补偿图像MCtl和 MC1输入至滤波电路，并且，从滤波电路输出的图像的像素值被视为作为目标宏块的预测图 像的像素值。在下文中，这样的预测模式被简称为单向预测模式在该预测模式中，从在一个方 向上排列的多个参考帧提取的任何运动补偿图像的像素值被视为预测图像的像素值，如上 面参照图1所述。此外，这样的预测模式被简称为双向预测模式在该预测模式中，从在两 个方向上排列的多个参考帧提取的运动补偿图像的像素值的平均值被视为预测图像的像 素值，如上面参照图2所述。图4所示的第三预测模式被称为滤波预测模式，在该第三预测模式中，通过对从 在一个方向或两个方向上排列的多个参考帧提取的各个运动补偿图像执行滤波来获得预 测图像的像素值。下面将详细地描述滤波预测模式。返回参照图3，逆量化电路13按照与在编码侧使用的量化方法相对应的方法对从 无损耗解码电路12供应的量化变换系数执行逆量化。逆量化电路13将通过执行逆量化而 获得的变换系数输出至逆正交变换电路14。逆正交变换电路14使用与在编码侧使用的正交变换方法(诸如离散余弦变换或 Karhunen-Loeve变换)相对应的方法，对从逆量化电路13供应的变换系数执行四阶逆正交 变换，并且，将所获得的图像输出至加法器电路15。加法器电路15将从逆正交变换电路14供应的解码图像和经由开关23从运动预 测/补偿电路21或帧内预测电路22供应的预测图像组合，并且，将合成图像输出至去块滤 波器(deblocking filter) 16。去块滤波器16去除从加法器电路15供应的图像中包含的块噪声，并且输出去 除了块噪声的图像。从去块滤波器16输出的图像被供应给重排缓冲器(rearrangement buffer) 17和帧存储器19。重排缓冲器17临时存储从去块滤波器16供应的图像。例如，重排缓冲器17从存 储于其中的以宏块为单位的图像产生各个帧，以诸如显示顺序的特定顺序对产生的图像进 行重排，并且，将它们输出至D/A(数字/模拟)转换器电路18。D/A转换器电路18对从重排缓冲器17供应的各个帧执行D/A转换，并且将各个帧 的信号输出到外部。帧存储器19临时存储从去块滤波器16供应的图像。存储于帧存储器19中的信 息经由开关20被供应给运动预测/补偿电路21或帧内预测电路22。在使用帧间预测产生预测图像的情况中，开关20连接至端子 ，在使用帧内预测 产生预测图像的情况中，开关20连接至端子bp例如，由控制电路31控制开关20的切换。运动预测/补偿电路21根据从无损耗解码电路12供应的识别标志确定预测模 式，并且，根据预测模式从存储于帧存储器19中的被解码的帧之中选择要用作参考帧的 帧。运动预测/补偿电路21基于从无损耗解码电路12供应的运动向量从构成参考帧的宏 块之中确定对应于目标预测图像的宏块，并且提取所确定的宏块，作为运动补偿图像。运动 预测/补偿电路21根据预测模式从运动补偿图像的像素值获得预测图像的像素值，并且将 获得了像素值的预测图像经由开关23输出至加法器电路15。
帧内预测电路22根据从无损耗解码电路12供应的帧内预测模式信息执行帧内预 测，以产生预测图像。帧内预测电路12将产生的预测图像经由开关23输出至加法器电路 15。如果由运动预测/补偿电路12产生预测图像，则开关23连接至端子a2，如果由帧 内预测电路22产生预测图像，则开关23连接至端子b2。例如，同样地，由控制电路31控制 开关23的切换。控制电路31切换开关20和23的连接，并且控制解码装置1的整个操作。可以由 控制电路31识别要被处理的图像是帧内编码图像还是帧间编码图像。图5是示出图3中的运动预测/补偿电路21的配置例子的框图。如图5所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、 双向预测电路43、预测电路44和滤波电路45构成。将从无损耗解码电路12供应的运动向 量和识别标志输入至预测模式确定电路41。预测模式确定电路41根据从无损耗解码电路12供应的识别标志确定预测模式。 预测模式确定电路41在确定使用单向预测执行预测图像的产生时将运动向量输出至单向 预测电路42，在确定使用双向预测执行预测图像的产生时将运动向量输出至双向预测电路 43。此外，预测模式确定电路41在确定使用滤波预测执行预测图像的产生时将运动向量输 出至预测电路44。以这样的方式，为了能够识别滤波预测，可以将与在传统的H. 264标准中定义的 表示单向预测的值和表示双向预测的值不同的值设置为识别标志的值。可替换地，为了减 少信息量，可以通过预定的方法来确定预测模式，而不是根据识别标志来确定预测模式。单向预测电路42将在一个时间方向上排列的多个帧视为参考帧，并且基于运动 向量确定与预测图像相对应的参考帧中的宏块，如图1所示。此外，单向预测电路42从帧 存储器19读取各个参考帧中的确定的宏块作为运动补偿图像，并且使用任何运动补偿图 像的像素值作为预测图像的像素值来产生预测图像。单向预测电路42将预测图像输出至 加法器电路15。作为由单向预测电路42执行的单向预测，例如，使用在H. 264标准中定义 的单向预测。双向预测电路43将在两个时间方向上排列的多个帧视为参考帧，并且基于运动 向量确定与预测图像相对应的参考帧中的宏块，如图2所示。此外，双向预测电路43从帧 存储器19读取各个参考帧中的确定的宏块作为运动补偿图像，并且使用读取的运动补偿 图像的像素值的平均值作为预测图像的像素值来产生预测图像。双向预测电路43将预测 图像输出至加法器电路15。作为由双向预测电路43执行的双向预测，例如，使用在H. 264 标准中定义的双向预测。预测电路44将在一个或两个时间方向上排列的多个帧确定为参考帧。要用作参 考帧的帧可以是预定的，或者可以由与识别标志一起从编码侧发送的信息指定。图6是示出参考帧的例子的示图。在图6中的例子中，与上面参照图4描述的例子一样，在预测帧的时刻充当基准的 情况下，在时间上一个时间单位之前和两个时间单位之前的两个帧被视为参考帧。在这两 个参考帧之中，更靠近预测帧且在预测帧之前的一个时间单位的帧被视为参考帧R0,并且， 在参考帧Rtl之前的一个时间单位的帧被视为参考帧队。
图7是示出参考帧的另一例子的示图。在图7中的例子中，在预测帧的时刻充当基准的情况下，在时间上一个时间单位 之前和一个时间单位之后的两个帧被视为参考帧。在这两个参考帧之中，在预测帧之前的 一个时间单位的帧被视为参考帧Ltl，并且，在预测帧之后的一个时间单位的帧被视为参考 帧 L115以这样的方式，在滤波预测中，在一个时间方向排列的多个帧或者在两个方向上 排列的多个帧用作参考帧。此外，基于从预测模式确定电路41供应的运动向量，预测电路44确定在以图6或 图7中所示的方式确定的参考帧中的被解码的宏块之中的对应于预测图像的宏块。预测电路44从帧存储器19读取各个参考帧中的确定的宏块作为运动补偿图像， 并且将读取的运动补偿图像输出至滤波电路45。运动向量可以不按照16X16像素的宏块 的单位执行，而是按照通过进一步分割宏块获得的块的单位执行。例如，以宏块为单位的图 像被输入至滤波电路45。在图5中，从预测电路44向着滤波电路45延伸的两个箭头的图 示表示供应两个运动补偿图像。滤波电路45接收从预测电路44供应的运动补偿图像并对其执行滤波，并且将通 过执行滤波获得的预测图像输出至加法器电路15。图8是示出滤波电路45的配置例子的框图。在具有图8的配置的滤波电路45中， 对时间域中的信号执行滤波。如图8所示，滤波电路45由差分计算电路51、低通滤波器电路52、增益调节电路 53、高通滤波器电路54、增益调节电路55、加法器电路56和加法器电路57构成。从预测电 路44供应的运动补偿图像MCtl被输入至差分计算电路51和加法器电路57，运动补偿图像 MC1被输入至差分计算电路51。例如，在使用单向预测产生预测图像的情况中，如图6所示，被认为与预测图像具 有较高的相关性的、从参考帧Rtl提取的图像被视为运动补偿图像MCtl，从参考帧R1提取的图 像被视为运动补偿图像MC115从参考帧Rtl提取的图像可以被视为运动补偿图像MC1,并且， 从参考帧R1提取的图像可以被视为运动补偿图像MC。。另一方面，例如，在使用双向预测产生预测图像的情况中，如图7所示，从一个时 间单位之前的参考帧Ltl提取的图像被视为运动补偿图像MCtl,从一个时间单位之后的参考 帧L1提取的图像被视为运动补偿图像MC115从参考帧Ltl提取的图像可以被视为运动补偿图 像MC1,并且，从参考帧L1提取的图像可以被视为运动补偿图像MC0。差分计算电路51计算运动补偿图像MCtl和运动补偿图像MC1之间的差分，并且将 差分图像输出至低通滤波器电路52。差分图像D由下面的公式(3)表达。[数学式3]D(i, j) =MC0(Lj)-MC1(Lj) ···· )在公式(3)中，(i，j)表示运动补偿图像中的像素的相对位置。当要按照16X16 像素的宏块的单位执行处理时，满足0 < i < 16和0 < j < 16。以下同样是这样。低通滤波器电路52具有FIR滤波器电路。低通滤波器电路52对从差分计算电路 51供应的差分图像D执行低通滤波，并且，将获得的图像输出到增益调节电路53和高通滤 波器电路54。作为通过执行低通滤波获得的图像的差分图像D'由下面的公式(4)表达。在公式(4)中，LPF(X)表示使用二维FIR滤波器对输入图像X执行低通滤波。[数学式4]D' = LPF(D) · · · · (4)增益调节电路53调节从低通滤波器电路52供应的差分图像D'的增益，并且将调 节了增益的图像输出至加法器电路56。增益调节电路53的输出图像X(i，j)由下面的公 式(5)表达。[数学式5]X(i，j) = aD' (i，j) · · · · (5)高通滤波器电路54具有FIR滤波器电路。高通滤波器电路54对从低通滤波器电 路52供应的差分图像D'执行高通滤波，并且将获得的图像输出至增益调节电路55。作 为通过执行高通滤波获得的图像的差分图像D"由下面的公式(6)表达。在公式(6)中， HPF(X)表示使用二维FIR滤波器对输入图像X执行高通滤波。[数学式6]D" = HPF(D' ) · · · · (6)增益调节电路55调节从高通滤波器电路54供应的差分图像D"的增益，并且将调 节了增益的图像输出至加法器电路56。增益调节电路55的输出图像Y(i，j)由下面的公 式(7)表达。[数学式7]Y(i，j) = β " (i，j) · · · · (7)作为公式(5)中的α和公式(7)中的β的值，例如，选择值a = 0. 8和β = 0. 2，但是，可以使用其它的值，以便提高预测图像的精度。此外，可以根据输入序列的性质 适应性地改变这些值。加法器电路56将调节了增益的图像X(i，j)和图像Y(i，j)相加，并且输出通过相 加获得的图像。加法器电路56的输出图像Z(i，j)由下面的公式⑶表达。[数学式8]Z(i，j) = X(i, j)+Y(i, j) · · · · (8)输出图像Z(i，j)表示可以从运动补偿图像MCtl和运动补偿图像MC1之间的差分 (即，其间的相关性)获得的图像的高频分量。加法器电路57将从加法器电路56供应的输出图像Z (i,j)与运动补偿图像MCtl相 加，并且将获得的图像作为预测图像输出至加法器电路15。作为加法器电路57的最终输出 的预测图像S(i，j)由下面的公式(9)表达。[数学式9]S(i, j) =MC。(i，j)+Z(i，j) · · · · (9)以这样的方式，根据滤波预测模式，产生通过将表示高频分量的图像与运动补偿 图像MCc^H加而获得的图像，作为预测图像。该预测图像与在仅仅执行双向预测的情况中 获得的预测图像相比包含更大量的高频分量。如上所述，由于作为像素值获得多个运动补 偿图像的像素值的平均值，所以在通过执行双向预测产生的预测图像中失去了高频分量。此外，由于在加法器电路15中将包含大量的高频分量的预测图像与解码图像相 加，所以最终从解码装置1输出的图像是包含大量的高频分量的高分辨率图像。
此外，与仅仅执行单向预测的情况相比，能够更加有效地使用图像的时间相关性 来产生预测图像。如上所述，因为使用多个运动补偿图像中的任何一个的像素值，所以通过 单向预测产生的预测图像不被视为通过充分地使用图像的时间相关性而产生的图像。现在，将描述由具有前述的配置的解码装置1执行的处理。首先，将参照图9中的流程图描述由解码装置1执行的解码处理。例如，当无损耗解码电路12从存储于存储缓冲器11中的信息读取诸如16 X 16像 素的宏块的特定尺寸的图像时，开始图9中的处理。图9中的各个步骤中的处理在必要的 时候与另一步骤中的处理并行地执行或者通过改变顺序来执行。在下面描述的各个流程图 中的各个步骤中的处理中同样是这样。在步骤Sl中，无损耗解码电路12对从存储缓冲器11读取的图像执行解码处理， 并且将量化的变换系数输出到逆量化电路13。此外，如果要被解码的图像是帧内编码图像， 则无损耗解码电路12将帧内预测模式信息输出至帧内预测电路22，并且，如果要被解码的 图像是帧间编码图像，则无损耗解码电路12将运动向量和识别标志输出至运动预测/补偿 电路21。在步骤S2中，逆量化电路13按照与在编码侧使用的量化方法相对应的方法执行 逆量化，并且，将变换系数输出至逆正交变换电路14。在步骤S3中，逆正交变换电路14对从逆量化电路13供应的变换系数执行逆正交 变换，并且将获得的图像输出至加法器电路15。在步骤S4中，加法器电路15将从逆正交变换电路14供应的解码图像和从运动预 测/补偿电路21或从帧内预测电路22供应的预测图像组合，并且，将合成图像输出至去块 滤波器16。在步骤S5中，去块滤波器16执行滤波以去除合成图像中包含的块噪声，并且输出 去除了块噪声的图像。在步骤S6中，帧存储器19临时存储从去块滤波器16供应的图像。在步骤S7中，控制电路31判定目标图像是否为帧内编码图像。如果在步骤S7中判定目标图像是帧内编码图像，则帧内预测电路22在步骤S8中 执行帧内预测以产生预测图像，并且将产生的预测图像输出至加法器电路15。另一方面，如果在步骤S7中判定目标图像不是帧内编码图像，即为帧间编码图 像，则在步骤S9中由运动预测/补偿电路21执行运动预测/补偿处理。通过执行运动预 测/补偿处理产生的预测图像被输出至加法器电路15。下面将参照图10的流程图描述运 动预测/补偿处理。在步骤SlO中，控制电路31判定对一个完整的帧中的宏块是否执行了前述处理。 如果控制电路31判定对一个完整的帧中的宏块尚未执行该处理，则从步骤Sl开始对另一 宏块重复该处理。另一方面，如果在步骤SlO中判定对一个完整的帧中的宏块执行了该处理，则重 排缓冲器17在步骤Sll中根据由控制电路31执行的控制将产生的帧输出至D/A转换器电 路18。在步骤S12中，D/A转换器电路18对从重排缓冲器17供应的帧执行D/A转换，并 且将模拟信号输出至外部。对各个帧执行前述处理。
接下来，将参照图10中的流程图描述在图9的步骤S9中执行的运动预测/补偿处理。在步骤S21中，运动预测/补偿电路21的预测模式确定电路41判定从无损耗解 码电路12供应的识别标志是否表示将要在滤波预测模式中执行处理。如果在步骤S21中判定识别标志不表示将要在滤波预测模式中执行处理，则在步 骤S22中执行单向预测或双向预测，以产生预测图像。也就是说，如果识别标志表示将要在单向预测模式中执行处理，则运动向量从预 测模式确定电路41被供应到单向预测电路42，并且，在单向预测电路42中执行单向预测。 此外，如果识别标志表示将要在双向预测模式中执行处理，则运动向量从预测模式确定电 路41被供应到双向预测电路43，并且，在双向预测电路43中执行双向预测。在预测图像被 输出到加法器电路15之后，该处理返回到图9中的步骤S9，并且执行后续的处理。另一方面，如果在步骤S21中判定识别标志表示将要在滤波预测模式中执行处 理，则预测电路44在步骤S23中从多个相应的参考帧提取运动补偿图像并将它们输出至滤 波电路45。运动向量从预测模式确定电路41被供应到预测电路44，并且使用它们来提取 运动补偿图像。在步骤S24中，滤波电路45的差分计算电路51计算运动补偿图像MCtl和运动补 偿图像MC1之间的差分，并且将差分图像输出至低通滤波器电路52。在步骤S25中，低通滤波器电路52对从差分计算电路51供应的差分图像执行低 通滤波，并且，将获得的图像输出到增益调节电路53和高通滤波器电路M。在步骤S^中，增益调节电路53调节从低通滤波器电路52供应的图像的增益，并 且将调节了增益的图像输出至加法器电路56。在步骤S27中，高通滤波器电路M对从低通滤波器电路52供应的差分图像执行 高通滤波，并且将获得的图像输出至增益调节电路55。在步骤S28中，增益调节电路55调节从高通滤波器电路M供应的差分图像的增 益，并且将调节了增益的图像输出至加法器电路56。在步骤S29中，加法器电路56将从增益调节电路53供应的图像和从增益调节电 路55供应的图像相加，以获得图像的高频分量。获得的高频分量从加法器电路56被供应 到加法器电路57。在步骤S30中，加法器电路57将从加法器电路56供应的图像(高频分量)与运 动补偿图像MCc^H加，并且将获得的图像作为预测图像输出至加法器电路15。其后，该处理 返回到图9中的步骤S9，并且执行后续的处理。以这样的方式，使用通过滤波预测产生的预测图像来执行解码，从而可以获得高 分辨率解码图像。 接下来，将描述该装置在编码侧的配置和操作。图11是示出编码装置101的配置例子的框图。通过由编码装置101执行的编码 而获得的压缩图像信息被输入至图3中的编码装置1。A/D转换器电路111对输入信号执行A/D转换，并且将图像输出至重排缓冲器 112。重排缓冲器112根据压缩图像信息的GOP (图片组)结构执行帧的重排，并且按照诸如宏块的特定单位输出图像。从重排缓冲器112输出的图像被供应给加法器电路113、模 式确定电路123、运动预测/补偿电路125和帧内预测电路126。加法器电路113获得从重排缓冲器112供应的图像和经由开关127供应的、且由 运动预测/补偿电路125或帧内预测电路1 产生的预测图像之间的差，并且将残差输出 至正交变换电路114。随着预测图像与原始图像越相似，并且，随着这里获得的残差越小，分 配给残差的代码量就越小，从而编码效率高。正交变换电路114对从加法器电路113供应的残差执行诸如离散余弦变换或 Karhunen-Loeve变换的正交变换，并且，将通过执行正交变换获得的变换系数输出至量化 电路115。量化电路115根据由速率控制电路(rate control circuit) 118执行的控制对从 正交变换电路114供应的变换系数进行量化，并且输出该量化的变换系数。由量化电路115 量化的变换系数被供应到无损耗编码电路116和逆量化电路119。无损耗编码电路116通过执行诸如可变长度编码或算术编码的无损耗编码来压 缩从量化电路115供应的变换系数，并且将该信息输出到存储缓冲器117。此外，无损耗编码电路116根据从模式确定电路123供应的信息设置识别标志的 值，并且在图像的头部中描述识别标志。基于由无损耗编码电路116描述的识别标志，在上 述的解码装置1中确定预测模式。无损耗编码电路116还在图像的头部中描述从运动预测/补偿电路125或帧内预 测电路1 供应的信息。从运动预测/补偿电路125供应在执行帧间预测时检测到的运动 向量等，并且，从帧内预测电路126供应关于应用的帧内预测模式的信息。存储缓冲器117临时存储从无损耗编码电路116供应的信息，并且将它作为压缩 图像信息在特定的定时输出。存储缓冲器117将关于产生的代码的量的信息输出至速率控 制电路118。速率控制电路118基于从存储缓冲器117输出的代码的量来计算量化尺度，并且 控制量化电路115，从而以计算出的量化尺度执行量化。逆量化电路119对由量化电路115量化的变换系数执行逆量化，并且，将变换系数 输出至逆正交变换电路120。逆正交变换电路120对从逆量化电路119供应的变换系数执行逆正交变换，并且 将获得的图像输出至去块滤波器121。去块滤波器121去除在局部解码的图像中出现的块噪声，并且将去除了块噪声的 图像输出至帧存储器122。帧存储器122存储从去块滤波器121供应的图像。在必要的时候，由模式确定电 路123读取存储于帧存储器122中的图像。模式确定电路123基于存储于帧存储器122中的图像和从重排缓冲器112供应的 原始图像确定要执行帧内编码还是要执行帧间编码。此外，如果模式确定电路123确定执 行帧间编码，则模式确定电路123确定单向预测模式、双向预测模式和滤波预测模式中的 任何一种模式。模式确定电路123将显示确定结果的信息作为模式信息输出至无损耗编码 电路116。如果模式确定电路123确定执行帧间编码，则模式确定电路123将存储于帧存储器122中且通过局部解码获得的帧经由开关IM输出至运动预测/补偿电路125。此外，如果模式确定电路123确定执行帧内编码，则模式确定电路123将存储于帧 存储器122中且通过局部解码获得的帧输出至帧内预测电路126。当执行帧间编码时，开关IM连接至端子A1,并且，当执行帧内编码时，开关124连 接至端子bn。例如，由控制电路131控制开关124的切换。运动预测/补偿电路125基于从重排缓冲器112供应的原始图像和从帧存储器 122读取的参考帧检测运动向量，并且将检测到的运动向量输出至无损耗编码电路116。此 外，运动预测/补偿电路125使用检测到的运动向量和参考帧来执行运动补偿以产生预测 图像，并且将产生的预测图像经由开关127输出至加法器电路113。帧内预测电路1 基于从重排缓冲器112供应的原始图像和局部解码的且存储于 帧存储器122中的参考帧来执行帧内预测，以产生预测图像。帧内预测电路1 将产生的 预测图像经由开关127输出至加法器电路113，并且，将帧内预测模式信息输出至无损耗编 码电路116。开关127连接至端子a12或端子b12，并且将由运动预测/补偿电路125或帧内预 测电路1 产生的预测图像输出至加法器电路113。控制电路131根据由模式确定电路123确定的模式来切换开关IM和127的连接， 并且控制编码装置101的整个操作。图12是示出图11中的模式确定电路12的配置例子的框图。如图12所示，模式确定电路123由帧内预测电路141、帧间预测电路142、预测误 差计算电路143和确定电路144构成。在模式确定电路123中，对具有相互不同的尺寸的块 执行帧间预测和帧间预测，并且，基于该结果确定要用于预测的预测模式。关于帧间预测， 在单向预测模式、双向预测模式和滤波预测模式中的各个预测模式中执行处理。从重排缓 冲器112供应的原始图像被输入至帧内预测电路141、帧间预测电路142和预测误差计算电 路 143。帧内预测电路141基于从帧存储器122读取的图像和原始图像按照相互不同的 尺寸的块的单位执行帧内预测，并且将产生的预测图像输出至预测误差计算电路143。在 4X4预测电路151-1中，按照4X4像素的块的单位执行帧内预测。在8X8预测电路151-2 中，按照8X8像素的块的单位执行帧内预测。在16X16预测电路151-3中，按照16X16 像素的块的单位执行帧内预测。帧间预测电路142的预测电路161基于从帧存储器122读取的参考帧和原始图像 来检测以相互不同的尺寸的块为单位的运动向量。此外，预测电路161基于检测到的运动 向量来执行运动补偿，并且输出用于产生预测图像的运动补偿图像。在16X 16预测电路161-1中，按照16X 16像素的块的单位对图像执行处理。在 16X8预测电路161-2中，按照16X8像素的块的单位对图像执行处理。此外，在4X4预 测电路161-(n-l)中，按照4X4像素的块的单位对图像执行处理。在跳过/直接预测电路 161-n中，在跳过预测模式或直接预测模式中检测运动向量，并且，使用检测到的运动向量 执行运动补偿。相对于当前帧从在一个方向上排列的多个参考帧提取的运动补偿图像从预测电 路161的各个电路被供应到单向预测电路162。此外，相对于当前帧从在两个方向上排列的多个参考帧提取的运动补偿图像从预测电路161的各个电路供应到双向预测电路163。在使用从在一个方向上排列的多个参考帧提取的运动补偿图像执行滤波预测的 情况中，如上所述，从在一个方向上排列的参考帧提取的运动补偿图像从预测电路161的 各个电路供应到滤波电路164。在使用从在两个方向上排列的多个参考帧提取的运动补偿 图像执行滤波预测的情况中，从在两个方向上排列的参考帧提取的运动补偿图像从预测电 路161的各个电路供应到滤波电路164。单向预测电路162使用从预测电路161的各个电路供应的相互不同的尺寸的运动 补偿图像来执行单向预测，从而产生预测图像，并且，单向预测电路162将产生的预测图像 输出至预测误差计算电路143。例如，单向预测电路162通过将从预测电路161-1供应的 16X16像素的多个运动补偿图像中的任何一个的像素值视为预测图像的像素值来产生预 测图像。双向预测电路163使用从预测电路161的各个电路供应的相互不同的尺寸的运动 补偿图像来执行双向预测，从而产生预测图像，并且，双向预测电路163将产生的预测图像 输出至预测误差计算电路143。例如，双向预测电路163通过将从预测电路161-1供应的 16X16像素的多个运动补偿图像的像素值的平均值视为预测图像的像素值来产生预测图像。滤波电路164使用从预测电路161的各个电路供应的相互不同的尺寸的运动补偿 图像来执行滤波预测，从而产生预测图像，并且，滤波电路164将产生的预测图像输出至预 测误差计算电路143。滤波电路164对应于解码装置1的滤波电路45，并且具有与图8中 所示的配置相同的配置。例如，在使用从预测电路161-1供应的16X16像素的运动补偿图像MCtl和MC1来产 生预测图像的情况中，滤波电路164获得运动补偿图像MCtl和MC1之间的差分，并且对获得 的差分图像执行低通滤波。此外，滤波电路164对低通滤波的输出执行高通滤波，并且，将 调节了增益的其输出的图像和调节了增益的低通滤波的输出的图像相加。滤波电路164将 作为表示高频分量的相加结果的图像与运动补偿图像MCtl相加，从而产生预测图像，并且， 滤波电路164将产生的预测图像输出至预测误差计算电路142。预测误差计算电路143获得从帧内预测电路141的各个电路供应的各个预测图像 和原始图像之间的差，并且将表示获得的差的残差信号输出至确定电路144。此外，预测误 差计算电路143获得从帧间预测电路142的滤波电路164、双向预测电路163和单向预测电 路162供应的各个预测图像和原始图像之间的差，并且将表示获得的差的残差信号输出至 确定电路144。确定电路144测量从预测误差计算电路143供应的残差信号的强度，并且，将用于 产生与原始图像具有小的差异的预测图像的预测方法确定为用于产生要用于编码的预测 图像的预测方法。确定电路144将作为模式信息的显示确定结果的信息输出至无损耗编码 电路116。模式信息包含显示要用作处理的单位的块尺寸的信息等。此外，如果确定电路144确定使用帧间预测产生预测图像(确定执行帧间编码)， 则确定电路144将从帧存储器122读取的参考帧与模式信息一起输出至运动预测/补偿电 路125。如果确定电路144确定使用帧内预测产生预测图像(确定执行帧内编码)，则确定 电路144将从帧存储器122读取的且用于帧内预测的图像与模式信息一起输出至帧内预测电路U6。图13是示出图11中的运动预测/补偿电路125的配置例子的框图。如图13所示，运动预测/补偿电路125由运动向量集成电路181、单向预测电路 182、双向预测电路183、预测电路184和滤波电路185构成。除了提供运动向量检测电路 181代替预测模式确定电路41以外，运动预测/补偿电路125具有与图5中所示的运动预 测/补偿电路21的配置相似的配置。运动向量检测电路181通过基于从重排缓冲器112供应的原始图像和从模式确定 电路123供应的参考帧执行块匹配等来检测运动向量。运动向量检测电路181参考从模式 确定电路123供应的模式信息，并且，将运动向量与参考帧一起输出至单向预测电路182、 双向预测电路183和预测电路184中的任何一个。如果选择单向预测，则运动向量检测电路181将运动向量与参考帧一起输出至单 向预测电路182，并且，如果选择执行双向预测，则运动向量检测电路181将这些信息输出 至双向预测电路183。如果选择执行滤波预测，则运动向量预测电路181将运动向量与参考 帧一起输出至预测电路184。与图5中的单向预测电路42 —样，单向预测电路182通过执行单向预测来产生预 测图像。单向预测电路182将产生的预测图像输出至加法器电路113。与图5中的双向预测电路43—样，双向预测电路183通过执行双向预测来产生预 测图像。双向预测电路183将产生的预测图像输出至加法器电路113。与图5中的预测电路44 一样，预测电路184从多个(例如，两个)参考帧提取运 动补偿图像，并且，将提取的多个运动补偿图像输出至滤波电路185。与图5中的滤波电路45 —样，滤波电路185通过执行滤波预测来产生预测图像。 预测电路185将产生的预测图像输出至加法器电路113。请注意，滤波电路185具有与图8 中所示的滤波电路45的配置相似的配置。在下文中，通过适当地引用图8中所示的滤波电 路45的配置作为滤波电路185的配置来给出描述。与通过单向预测或双向预测产生的预测图像相比，通过滤波预测产生的预测图像 包含大量的高频分量，并且是与原始图像具有小的差异的图像。因此，分配给残差的代码量 小，从而可以提高编码效率。此外，如果参考帧的数目为至少两个，则可以执行滤波预测，从而可以在不使处理 复杂的情况下实现对编码效率的这种提高。例如，通过由用于帧间预测的大量的参考帧产 生高度精确的预测图像并使用它，可以减少与原始图像的残差，并且可以提高编码效率。然 后，在这种情况下，由于参考帧的数目大，所以处理复杂。请注意，当要选择预测方法时，在考虑到诸如预测所需的运动向量的信息的代码 量和编码模式的情况下，可以根据代码量向残差信号的强度添加权重，从而选择最佳的预 测方法。因此，可以进一步提高编码效率。此外，为了简化编码处理，使用输入原始图像的 时间和空间方向上的特征量，可以适应性地选择预测方法。接下来，将描述由具有前述的配置的编码装置101执行的处理。将参照图14中的流程图描述由编码装置101执行的编码处理。当从重排缓冲器 112输出诸如宏块的特定单位的图像时，开始该处理。在步骤S51中，加法器电路113获得从重排缓冲器112供应的图像和由运动预测/补偿电路125或帧内预测电路1 产生的预测图像之间的差，并且将残差输出至正交变换 电路114。在步骤S52中，正交变换电路114对从加法器电路113供应的残差执行正交变换， 并且将变换系数输出至量化电路115。在步骤S53中，量化电路115对从正交变换电路114供应的变换系数进行量化，并 且输出量化的变换系数。在步骤SM中，逆量化电路119对由量化电路115量化的变换系数执行逆量化，并 且，将变换系数输出至逆正交变换电路120。在步骤S55中，逆正交变换电路120对从逆量化电路119供应的变换系数执行逆 正交变换，并且将获得的图像输出至去块滤波器121。在步骤S56中，去块滤波器121执行滤波以去除块噪声，并且将去除了块噪声的图 像输出至帧存储器122。在步骤S57中，帧存储器122存储从去块滤波器121供应的图像。在步骤S58中，由模式确定电路123执行模式确定处理。通过模式确定处理确定 要用于产生预测图像的预测模式。下面将参照图15的流程图描述模式确定处理。在步骤S59中，控制电路131基于模式确定电路123进行的确定来判定是否要执 行帧内预测。如果在步骤S59中判定要执行帧内预测，则帧内预测电路1 在步骤S60中执行 帧内预测，并且将预测图像输出至加法器电路113。另一方面，如果在步骤S59中判定将不执行帧内预测，即，将执行帧间预测，则在 步骤S61中由运动预测/补偿电路125执行运动预测/补偿处理，并且，将预测图像输出至 加法器电路113。下面将参照图16的流程图描述运动预测/补偿处理。在步骤S62中，无损耗编码电路116压缩从量化电路115供应的变换系数，并且将 它输出至存储缓冲器117。此外，无损耗编码电路116根据从模式确定电路123供应的信息 在图像的头部中描述识别标志，并且，在图像的头部中描述由运动预测/补偿电路125供应 的运动向量。在步骤S63中，存储缓冲器117临时存储从无损耗编码电路116供应的信息。在步骤S64中，控制电路31判定对一个完整的帧中的宏块是否执行了前述处理。 如果判定对一个完整的帧中的宏块尚未执行该处理，则从步骤S51开始对另一宏块重复该处理。另一方面，如果在步骤S64中判定对一个完整的帧中的宏块执行了该处理，则存 储缓冲器117在步骤S65中根据由控制电路131执行的控制输出压缩图像信息。对各个帧 执行前述处理。接下来，将参照图15中的流程图描述在图14的步骤S58中执行的模式确定处理。在步骤S81中，帧内预测电路141和帧间预测电路142对具有相互不同的尺寸的 块分别执行帧内预测和帧间预测，从而产生预测图像。将产生的预测图像供应至预测误差 计算电路143。在步骤S82中，预测误差计算电路143获得从帧内预测电路141的各个电路以及 从帧间预测电路142的滤波电路164、双向预测电路163和单向预测电路162供应的各个预测图像与原始图像之间的差。预测误差计算电路143将残差信号输出至确定电路144。在步骤S83中，确定电路144基于从预测误差计算电路143供应的残差信号的强 度确定用于产生要供应至加法器电路113的预测图像的预测方法。在步骤S84中，确定电路144将作为关于确定的预测方法的信息的模式信息输出 至无损耗编码电路116。其后，该处理返回到图14中的步骤S58，并且执行后续的处理。接下来，将参照图16中的流程图描述在图14的步骤S61中执行的运动预测/补 偿处理。在步骤S91中，运动向量检测电路181基于原始图像和参考帧检测运动向量。在步骤S92中，运动向量检测电路181判定模式确定电路123是否确定了要在滤 波预测模式中执行该处理。如果在步骤S92中判定尚未确定在滤波预测模式中执行该处理，则在步骤S93中 执行单向预测或双向预测，并且产生预测图像。也就是说，如果确定了在单向预测模式中执行该处理，则运动向量从运动向量检 测电路181供应至单向预测电路182，并且，在单向预测电路182中执行单向预测。此外，如 果确定了在双向预测模式中执行该处理，则运动向量从运动向量检测电路181供应至双向 预测电路183，并且，在双向预测电路183中执行双向预测。在预测图像被输出到加法器电 路113之后，该处理返回到图14中的步骤S61，并且执行后续的处理。另一方面，如果在步骤S92中判定确定了在滤波预测模式中执行该处理，则预测 电路184在步骤S94中从多个参考帧提取运动补偿图像并将它们输出至滤波电路185。运 动向量从运动向量确定电路181被供应到预测电路184，并且使用它们来提取运动补偿图 像。在步骤S95中，滤波电路185的差分计算电路51 (图8)计算运动补偿图像MCtl和 运动补偿图像MC1之间的差分，并且将差分图像输出至低通滤波器电路52。在步骤S96中，滤波电路185的低通滤波器电路52对从差分计算电路51供应的差 分图像执行低通滤波，并且，将获得的图像输出到增益调节电路53和高通滤波器电路M。在步骤S97中，滤波电路185的增益调节电路53调节从低通滤波器电路52供应 的差分图像的增益，并且将调节了增益的图像输出至加法器电路56。 在步骤S98中，滤波电路185的高通滤波器电路M对从低通滤波器电路52供应 的差分图像执行高通滤波，并且将获得的图像输出至增益调节电路阳。在步骤S99中，滤波电路185的增益调节电路55调节从高通滤波器电路M供应 的图像的增益，并且将调节了增益的图像输出至加法器电路56。在步骤SlOO中，滤波电路185的加法器电路56将从增益调节电路53供应的图像 和从增益调节电路55供应的图像相加，以获得高频分量。获得的高频分量从加法器电路56 被供应到加法器电路57。在步骤SlOl中，滤波器电路185的加法器电路57将从加法器电路56供应的图像 (高频分量)与运动补偿图像MCO相加，并且将获得的图像作为预测图像输出至加法器电路 113。其后，该处理返回到图14中的步骤S61，并且执行后续的处理。以这样的方式，使用通过滤波预测产生的预测图像来执行编码，从而可以提高编 码效率。
在上面给出的描述中，滤波电路45和185具有图8中所示的配置，但是，在必要的 时候可以改变该配置。图17是示出滤波电路45的另一配置例子的框图。与图8中所示的配置相对应的 配置由相同的附图标记表示。将适当地省略赘述。图17中的差分计算电路51计算运动补偿图像MCtl和运动补偿图像MC1之间的差 分，并且将差分图像输出至低通滤波器电路52。低通滤波器电路52对从差分计算电路51供应的差分图像执行低通滤波，并且将 获得的图像输出至加法器电路57。加法器电路57将从低通滤波器电路52供应的图像与运动补偿图像MCtl相加，并 且将获得的图像作为预测图像输出。与使用图8中的配置的情况相比，通过使用图17中所示的配置，可以减少处理量， 并且，可以实现高速操作。图18是示出滤波电路45的另一配置例子的框图。与图8中所示的配置相对应的 配置由相同的附图标记表示。将适当地省略赘述。在图18中的滤波电路45中，对频率域中的信号而不是时间域中的信号执行滤波。 图8和图17中所示的滤波电路45都对时间域中的信号执行滤波。图18中的差分计算电路51计算运动补偿图像MCtl和运动补偿图像MC1之间的差 分，并且将差分图像输出至正交变换电路201。正交变换电路201对差分图像执行由DCT (离散余弦变换)、Hadamard变换和 KLT(Karhunen Loeve变换)代表的正交变换，并且将正交变换之后的信号输出至带通滤波 器电路202。执行正交变换，并且，对频率域中的信号执行滤波，从而与对时间域中的信号执 行滤波的情况相比，可以更加灵活地执行高度精确的滤波处理。当DCT用作正交变换时，正交变换之后的输出DF由下面的公式(10)表达。在公 式(10)中，DCT(X)表示对信号X执行二维DCT处理。[数学式10]DF = DCT(D)... (10)带通滤波器电路202对正交变换电路201的输出执行滤波，并且输出特定带中的信号。增益调节电路203通过将带通滤波器电路202的输出乘以α来调节其增益，并且 还调节频率分量。增益调节电路203的输出XF由下面的公式(11)表达。在公式(11)中， BPF(X)表示对信号X执行带通滤波处理。[数学式11]XF = α ‘ BPF(DF)- (11)逆正交变换电路204按照与由正交变换电路201执行的正交变换相对应的方法执 行逆正交变换，以将从增益调节电路203供应的频率域中的信号变换为时间域中的信号。 例如，当DCT用作正交变换电路201中的正交变换时，在逆正交变换电路204中执行IDCT。 逆正交变换电路204的输出X由下面的公式(12)表达。在公式(12)中，IDCT⑴表示对 信号X执行二维IDCT处理。[数学式I2]
X = IDCT(XF)... (12)加法器电路57将从逆正交变换电路204供应的信号X与时间域中的运动补偿图 像MCtl相加，并且将获得的图像作为预测图像输出。作为加法器电路57的最终输出的预测 图像S(i，j)由下面的公式(13)表达。[数学式I3]S(i，j) =MC0(i, j)+X(i, j) - (13)以这样的方式，通过对频率域中的信号执行滤波，还可以产生高度精确的预测图像。此外，在上面给出的描述中，使用两个参考帧执行滤波预测，但是，两个或更多个 帧可以用作参考帧。图19是示出使用三个参考帧的情况的例子的示图。在图19中的例子中，在预测帧的时刻充当基准的情况下，时间上一个时间单位之 前、两个时间单位之前和三个时间单位之前的三个帧被视为参考帧。更靠近预测图像且在 预测图像之前的一个时间单位的帧被视为参考帧Rtl,在参考帧Rtl之前的一个时间单位的帧 被视为参考帧R1,并且在参考帧札之前的一个时间单位的帧被视为参考帧&。图20是示出在使用三个参考帧的情况中的滤波电路的配置例子的框图。如图20中所示，滤波电路211由滤波电路221和滤波电路222构成。滤波电路 221和滤波电路222中的每一个都具有图8、图17或图18中所示的配置。也就是说，滤波 电路211被配置为通过对用于两个输入和一个输出的滤波电路45进行级联来作为三个输 入和一个输出的电路操作。这里，将通过下述方式来给出描述将从参考帧Rtl提取的运动补偿图像视为运动 补偿图像MCtl，将从参考帧R1提取的运动补偿图像视为运动补偿图像MC1，将从参考帧&提 取的运动补偿图像视为运动补偿图像MC2。运动补偿图像MC1和MC2被输入至滤波电路221， 运动补偿图像MCtl被输入至滤波电路222。滤波电路221通过将运动补偿图像MC1和MC2分别视为图8等中的运动补偿图像 MC0和MC1来执行滤波，并且将作为滤波结果的中间输出X输出至滤波电路222。滤波电路221通过将中间输出X和运动补偿图像MCtl分别视为图8等中的运动补 偿图像MCtl和MC1来执行滤波，并且将滤波结果作为预测图像输出。还有可能的是，在图3中的解码装置1或者图11中的编码装置101中设置处理这 样三个参考帧的滤波电路211，而不是滤波电路45。另外，滤波电路221和滤波电路222不必一定具有相同的配置，各个配置可以相互 不同，例如，一个具有图8中所示的配置，另一个具有图17中所示的配置。此外，可以在考 虑到滤波之前和之后的输入/输出特性的情况下改变用于滤波器的参数。滤波电路211可以对从在两个时间方向上排列的三个参考帧提取的运动补偿图 像而不是从在一个时间方向上排列的参考帧提取的运动补偿图像执行滤波。请注意，在包括上面参照图7描述的情况的使用在预测帧的时间之前和之后的帧 作为参考帧的情况中，可以根据参考帧的时间方向或距离来动态地改变用于滤波的诸如抽 头系数的参数。经由诸如包括光盘、磁盘和闪存的记录介质，卫星广播，有线TV，互联网和移动电话网络的各种类型的媒体来执行将压缩图像信息从编码装置101发送到解码装置1。现在，将描述滤波预测中的运动补偿。在下文中，将给出对将运动补偿图像输出至 滤波电路45的解码装置1的预测电路44的配置和操作的描述。该描述同样适用于将运动 补偿图像输出至滤波电路的图12中的预测电路161和图13中的预测电路184。用于对根据H. 264标准编码的图像进行解码的运动补偿不是按照16X 16像素的 宏块的单位而是按照通过进一步分割宏块而获得的块的单位来执行的。也就是说，基于运 动向量，通过下述方式来执行运动补偿关注通过分割要被解码的宏块而获得的各个块，并 且，将参考帧中的相应块的各个像素的像素值视为目标块的各个像素的像素值。此外，在上 述的滤波预测中，通过下述方式来执行使用HR滤波器的滤波处理将通过执行这种运动 补偿而获得的运动补偿图像视为输入图像。此时，由于用作滤波处理的单位的块的尺寸小，所以其影响不能被忽略。例如，为 了在要通过滤波处理产生的预测图像的末端附近产生像素，必须根据HR滤波器的抽头的 数目对作为输入图像的运动补偿图像的像素进行内插。图21是示出像素的内插的例子的示图。在图21的上阶段中示出的16X16像素的输入图像是通过聚集由运动补偿获得的 各个块而构成的运动补偿图像。在下阶段中示出的16X16像素的输出图像是由通过下述 方式获得的像素构成的预测图像使用HR滤波器，对上阶段中的运动补偿图像执行滤波 处理。这里，假设FIR滤波器的抽头的数目是5。为了产生预测图像的特定像素，运动补偿 图像的五个像素是必需的。例如，当在预测图像的左下端产生像素Pl的情况中，在水平方向上排列的五个像 素是必需的，其中，以作为运动补偿图像的相应像素的左下端的像素Pl为中心。然而，如虚 线所示，在像素Pl的左侧没有像素。此外，当在预测图像的右下端产生像素P16的情况中， 在水平方向上排列的五个像素是必需的，其中，以作为运动补偿图像的相应像素的右下端 的像素P16为中心。然而，如虚线所示，在像素P16的右侧没有像素。因此，可以在通过复制像素Pl和P16对缺少的像素进行内插或者用在以边界为中 心的对称位置的像素执行内插之后来执行滤波处理。然而，这些像素的值不同于由虚线所 示的像素的真实值，从而预测图像的像素值的精度降低。为了避免这种降低，必须使用真 实的像素值，但是，在现有的运动补偿中从参考帧仅仅获得与块尺寸相同的尺寸的区域，由 此，需要这种内插处理。然后，在预测电路44中，在执行运动补偿，以产生具有这样形状的宏块该形状具 有与FIR滤波器的抽头的数目相对应的像素的数目的边缘。图22是示出使用添加有边缘区域的运动补偿图像的处理的概念的示图。如图22中的箭头Al所示，其中边缘区域被添加至16X16像素的宏块的图像的图 像从参考帧被提取作为运动补偿图像，并且，被视为滤波处理的输入图像。图23是示出运动补偿图像的例子的示图。如图23中所示，(16+2a) X (16+2a)像素的图像从参考帧被提取作为运动补偿图 像，该(16+2a) X (16+2a)像素的图像是通过在16X 16像素的图像周围添加具有“a”像素 的宽度的一种带以扩大图像而获得的。“a”是根据FIR滤波器的抽头的数目确定的值。使用这种运动补偿图像作为输入图像来执行滤波处理，并且，将16X16像素的预测图像作为滤波处理的输出图像输出，如图22中的箭头A2所示。在图3中的加法器电路 15中将预测图像与逆正交变换电路14的输出图像相加，并且，作为相加结果的图像用作构 成解码帧的宏块。以这样的方式，在预测电路44中的运动补偿中，使用这样的事实参考帧是在时 间上靠近目标帧的过去的或未来的帧，并且，整个帧可以用于运动补偿。通过使用具有与用于滤波处理的FIR滤波器的抽头的数目相对应的边缘区域的 运动补偿图像，可以使用实际的像素值来执行处理，并且，即使在预测图像的末端产生像素 的情况中也可以提高预测图像的像素值的精度。也就是说，为了执行滤波处理，不必一定对 像素进行内插。由于可以提高预测图像的像素值的精度，所以最终可以在解码装置1中提高解码 帧的精度，并且，可以减少与原始图像的残差，可以在编码装置101中提高编码效率。图M是示出滤波电路44的配置例子的框图。如图M中所示，预测电路44由块分割电路231、削波电路232和缓冲器233构成。 从图5中的预测模式确定电路41供应的运动向量被输入至削波电路232。块分割电路231对要被解码的宏块进行分割，并且，将关于各个块的区域的信息 输出至削波电路232。削波电路232关注构成要被解码的宏块的各个块，并且基于从预测模式确定电路 41供应的运动向量来指定对应于目标块的参考帧中的块。参考帧中的块是具有与目标块相 同的尺寸的块。在下文中，在必要的时候，基于运动向量确定的对应于目标块的参考帧中的 块将被称为参考块。此外，削波电路232判定指定的参考块是否与包含该参考块的宏块的外围接触。 如果削波电路232判定参考块不与宏块的外围接触，则削波电路232从帧存储器19读取关 于参考块的信息，并且将它作为目标块的像素的像素值输出至缓冲器233。如果削波电路232判定参考块与宏块的外围接触，则削波电路232从帧存储器19 读取关于参考块的信息和关于位于包含该参考块的宏块之外的作为与参考块接触的带区 域的边缘区域的信息，并且将它们输出至缓冲器233。在关注了所有的块从而获得关于图23中所示的运动补偿图像的信息之后，缓冲 器233将它输出至滤波电路45，在该运动补偿图像中边缘区域被添加至要被解码的宏块。 在滤波预测中使用多个运动补偿图像，并且，各个运动补偿图像由预测电路44以相似的方 式产生。现在，将参照图25中的流程图描述由预测装置44执行的运动补偿处理。执行图 25中所示的处理，以产生各个运动补偿图像。在步骤Sl中，块分割电路231对要被解码的宏块进行分割，并且，将关于各个块的 区域的信息输出至削波电路232。图沈是示出分割要被解码的宏块的例子的示图。在图沈中的例子中，将16X16像素的宏块分割为块Bll至B44。在步骤S2中，削波电路232关注一个块。在步骤S3中，削波电路232确定参考帧。在步骤S4中，削波电路232判定从预测模式确定电路41供应的运动向量的精度是否为小数精度。如果在步骤S4中判定精度不是小数精度，则在步骤S5中削波电路232基于整数 精度的运动向量来指定对应于目标块的参考块的位置。另一方面，如果在步骤S4中判定精度是小数精度，则在步骤S6中，削波电路232 使用由标准指定的内插滤波器来执行像素的内插，并且指定在由小数精度的运动向量指示 的位置的参考块。在指定参考块之后，削波电路232在步骤S7中判定参考块的一侧是否与包含该参 考块的宏块的外围接触。这里，基于下面的公式(14)至(17)的条件来执行判定。如果至少有一个条件被 满足，则判定参考块的一侧与宏块的外围接触。如果没有条件被满足，则判定参考块的一侧 不与宏块的外围接触。(bk_pos_X，bk_pos_y)表示参考块的左上顶点的位置，(bk_width， bk_height)表示参考块的宽度和高度。(MB_p0S_X，MB_p0S_y)表示包含该参考块的宏块的 左上顶点的位置。[数学式14]MB_pos_x = bk_pos_x... (14)[数学式I5]MB_pos_y = bk_pos_y... (15)[数学式ie]MB_pos_x+16 = bk_pos_x+bk_width... (16)[数学式Π]MB_pos_y+16 = bk_pos_y+bk_he i ght · · · (17)图27是示出参考帧的例子的示图。在图27中的例子中，示出宏块MBll至MB33的九个宏块。这里，将给出对下述情 况的描述其中，与通过分割要被解码的宏块获得的各个块相对应的参考块是构成由粗线 L包围所指示的宏块MB22的各个块。图28是示出构成图27中的宏块MB22的块的例子的示图。图28中的块bll至 b44分别充当构成要被解码的宏块的图沈中的块Bll至B44的参考块。例如，当关注图沈中的块Bll时，充当块Bll的参考块的图28中的块bll满足公 式(14)和(15)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块B12和B13时，充当这些块的参考块的图观中的块bl2和bl3 满足公式(15)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块B14时，充当块B14的参考块的图观中的块bl4满足公式(15) 和(16)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块B21和B31时，充当这些块的参考块的图28中的块Ml和b31 满足公式(14)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块BM和B34时，充当这些块的参考块的图28中的块bM和b34 满足公式(16)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块B41时，充当块B41的参考块的图观中的块b41满足公式(14) 和(17)的条件，并且被判定为与宏块MB22的外围接触。
当关注图沈中的块B42和B43时，充当这些块的参考块的图观中的块b42和b43 满足公式(17)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块B44时，充当块B44的参考块的图观中的块b44满足公式(16) 和(17)的条件，并且被判定为与宏块MB22的外围接触。当关注图沈中的块B22、B23、B32和B33时，充当这些块的参考块的图28中的块 b22, b23, b32和b33不满足任何条件，并且被判定为不与宏块MB22的外围接触。返回参考图25，如果在步骤S7中判定参考块的一侧与宏块的外围接触，则削波电 路232在步骤S8中判定参考块的顶点是否与包含该参考块的宏块的顶点匹配。可以基于 由参考块满足的条件来判定参考块的顶点是否与宏块的顶点匹配。在参考块的顶点与宏块的顶点匹配的情况中的条件由下面的公式(18)至(19)表 达。如果任何一个条件被满足，则判定参考块的顶点与宏块的顶点匹配。[数学式IS]MB_pos_x = bk_pos_x并且MB_pos_y = bk_pos_y... (18)[数学式W]MB_pos_x = bk_pos_x并且MB_pos_y+16 = bk_pos_y+bk_he i ght · · · (19)[数学式2O]MB_pos_x+16 = bk_pos_x+bk_width并且MB_pos_y = bk_pos_y... (20)[数学式2I]MB_pos_x+16 = bk_pos_x+bk_width并且MB_pos_y+16 = bk_pos_y+bk_he i ght · · · (21)例如，作为在关注图沈中的块Bll的情况中的参考块的图28中的块bll满足上 述公式(18)(公式(14)和(15))的条件，并且，判定参考块的顶点与宏块的顶点匹配。作为在关注图沈中的块B14的情况中的参考块的图28中的块bl4满足上述公式 00)(公式(15)和(16))的条件，并且，判定参考块的顶点与宏块的顶点匹配。作为在关注图沈中的块B41的情况中的参考块的图28中的块b41满足上述公式 (19)(公式(14)和(17))的条件，并且，判定参考块的顶点与宏块的顶点匹配。作为在关注图沈中的块B44的情况中的参考块的图28中的块b44满足上述公式 (公式(16)和(17))的条件，并且，判定参考块的顶点与宏块的顶点匹配。在关注图沈中的任何其它块的情况中的参考块不满足公式(18)至(21)的条件 中的任何一个，并且，判定参考块的顶点不与宏块的顶点匹配。如果在步骤S8中判定参考块的顶点与宏块的顶点匹配，则在步骤S9中削波电路 232将在一点处与宏块的匹配顶点接触且位于宏块之外的aXa像素的区域设置为边缘区域。另一方面，如果在步骤S8中判定参考块的顶点不与宏块的顶点匹配，或者，如果 在步骤S9中设置边缘区域，则处理前进至步骤S10。在步骤SlO中，削波电路232将与参考块接触且位于包含该参考块的宏块之外的 aXw像素的区域设置为边缘区域。“W”是参考块的与宏块的外围接触的一边的长度。当以 图观中所示的方式设置参考块时，w = 4。在步骤Sll中，削波电路232从帧存储器19读取关于添加有边缘区域的参考块的 信息，并且将它输出至缓冲器233。另一方面，如果在步骤S7中判定参考块的一边不与宏块的外围接触，则在步骤 S12中削波电路232从帧存储器19读取关于参考块的信息并将它输出至缓冲器233。在步骤S13中，削波电路232判定是否关注了所有的块。如果判定尚未关注所有 的块，则处理返回至步骤S2，在步骤S2中，关注另一个块，并且重复相似的处理。如果在步骤S13中判定关注了所有的块，则缓冲器233在步骤S14中将充当运动 补偿图像的具有边缘区域的宏块输出至滤波电路45，并且结束该处理。将描述边缘区域的具体例子。例如，当关注图沈中的块Bll时，充当参考块的块bll的顶点与宏块MB22的顶点 匹配，由此，将作为在一点处与匹配的顶点接触的aXa像素的区域的图四中的区域al设 置为边缘区域。此外，将作为与块bll接触且位于宏块MB22之外的aXw像素的区域的图 四中的区域a2和a3设置为边缘区域。充当参考块的块bll和以这样方式设置的边缘区域 al、a2和a3从参考帧被削去，并且作为关于充当目标块的块Bll的信息存储在缓冲器233 中。区域al是由位于宏块MB22之外的宏块MBll (图27)的像素构成的区域。区域a2 是由宏块MB21的像素构成的区域，并且区域a3是由宏块MB12的像素构成的区域。当关注图沈中的块B12时，将图30中的区域all设置为边缘区域，该区域all是 与充当参考块的块bl2接触且位于宏块MB22以外的aXw像素的区域。充当参考块的块 bll和以这样方式设置的边缘区域all从参考帧被削去，并且作为关于充当目标块的块B12 的信息存储在缓冲器233中。区域all是由位于宏块MB22之外的宏块MB12的像素构成的 区域。同样地，当关注图沈中的块B13时，将图31中的区域a21设置为边缘区域，该区 域a21是与充当参考块的块bl3接触且位于宏块MB22以外的aXw像素的区域。充当参考 块的块bl3和以这样方式设置的边缘区域a21从参考帧被削去，并且作为关于充当目标块 的块B13的信息存储在缓冲器233中。区域a21是由位于宏块MB22之外的宏块MB12的像 素构成的区域。当关注图沈中的块B14时，充当参考块的块bl4的顶点与宏块MB22的顶点匹配， 由此，将作为在一点处与匹配的顶点接触的aXa像素的区域的图32中的区域a31设置为 边缘区域。此外，在这种情况下，将作为与块bl4接触且位于宏块MB22之外的aX w像素的 区域的图32中的区域a32和a33设置为边缘区域。充当参考块的块bl4和以这样方式设 置的边缘区域a32和a33从参考帧被削去，并且作为关于充当目标块的块B14的信息存储 在缓冲器233中。
区域a31是由位于宏块MB22之外的宏块MB13的像素构成的区域。区域a32是由 宏块MB23的像素构成的区域，并且区域a33是由宏块MB12的像素构成的区域。当关注图沈中的块B21时，将图33中的区域a41设置为边缘区域，该区域a41是 与充当参考块的块b21接触且位于宏块MB22以外的aXw像素的区域。充当参考块的块 b21和以这样方式设置的边缘区域a41从参考帧被削去，并且作为关于充当目标块的块B21 的信息存储在缓冲器233中。区域a41是由位于宏块MB22之外的宏块MB21的像素构成的 区域。当关注图沈中的块B22时，充当参考块的块b22是其各边不与宏块MB22的外围 接触的块，由此，不设置边缘区域，如图34中所示。块b22从参考帧被削去，并且作为关于 充当目标块的块B22的信息存储在缓冲器233中。同样地，当关注图沈中的块B23时，充当参考块的块b23是其各边不与宏块MB22 的外围接触的块，由此，不设置边缘区域，如图35中所示。块b23从参考帧被削去，并且作 为关于充当目标块的块B23的信息存储在缓冲器233中。当关注图沈中的块B24时，将图36中的区域a51设置为边缘区域，该区域a51是 与充当参考块的块bM接触且位于宏块MB22以外的aXw像素的区域。充当参考块的块 bM和以这样方式设置的边缘区域a51从参考帧被削去，并且作为关于充当目标块的块B24 的信息存储在缓冲器233中。区域a51是由位于宏块MB22之外的宏块MB23的像素构成的 区域。同样地，当关注图沈中的块B31至44时，适当地设置边缘区域，并且，将该边缘区 域与关于参考块的信息一起存储在缓冲器233中。图37是示出从预测电路44输出的运动补偿图像的例子的示图。以前述的方式，由从帧存储器19读取的关于参考块的信息和关于边缘区域的信 息产生图37中所示的运动补偿图像。图37中的运动补偿图像是(16+2a) X (16+2a)像素 的图像。在滤波电路45中，对以这样方式产生的多个运动补偿图像执行差分的计算、使用 FIR滤波器的滤波、增益的调节、相加等，从而产生预测图像。图38是示出在滤波电路45的低通滤波器电路52和高通滤波器电路M中设置的 FIR滤波器的例子的示图。例如，在设置其中抽头数目是5的图38中所示的FIR滤波器的情况中，2被设置为 “a”的值，并且，被输入至滤波电路45的运动补偿图像是通过将16X16像素的宏块的各四 边延伸2个像素而获得的20X20像素的图像。当假设HR滤波器的抽头的数目是T时，带“a”(像素)的宽度由下面的公式02) 确定。Floor(X)是用于计算等于或小于χ的最大整数值的函数。[数学式22]a ^ floor (Τ/2) — (22)以这样的方式，当抽头的数目T小时，宽度“a”也小，当抽头的数目T大时，宽度 “a”也大。请注意，当执行二维滤波处理时，在低通滤波器电路52等中设置具有用于输入在 水平方向上排列的五个像素和输出一个像素的五个抽头的HR滤波器、以及具有用于输入 在垂直方向上排列的五个像素和输出一个像素的五个抽头的FIR滤波器。
图39是示出对具有边缘区域的运动补偿图像执行的滤波处理的例子的示图。在图39的上阶段中示出的(16+2a) X (16+2a)像素的输入图像是通过由预测电路 44执行的前述运动补偿产生的运动补偿图像。在下阶段中示出的16X16像素的输出图像 是由通过下述方式获得的像素构成的预测图像使用HR滤波器，对上阶段中的运动补偿 图像执行滤波处理。例如，当在预测图像的左下端产生像素Pl的情况中，可以通过将以作为运动补偿 图像的相应像素的像素Pl为中心的在水平方向上排列的五个像素(即，像素p21、p22、pl、 p2和ρ)输入至HR滤波器来获得像素Pl的像素值。像素p21和p22是边缘区域中的像
ο此外，当在预测图像的右下端产生像素P16的情况中，可以通过将以作为运动补 偿图像的相应像素的像素P16为中心的在水平方向上排列的五个像素(即，像素pl4、pl5、 pl6、p31和输入至FIR滤波器来获得像素P16的像素值。像素p31和p32是边缘区 域中的像素。因此，可以使用实际的像素值来执行滤波处理，从而可以提高预测图像的像素值 的精度。由于二维图像在空间方向上具有高的相关性，所以认为，宏块内的像素值与宏块外 的像素值具有高的相关性。因此，与通过用宏块中的像素进行内插来执行滤波处理的情况 相比，预测图像的像素值是高度可靠的。一般来说，HR滤波器的抽头的数目较大在特性上是有利的。然而，当抽头的数目 大时，使用块之外的像素值的可能性增加，并且，影响输出图像的像素值的范围变宽。具体地说，在按照宏块的单位执行滤波处理的情况中，当具有三个抽头的HR滤 波器用作由公式⑷表达的LPF时，由于缺少输入图像的像素，所以影响整个帧的像素的大 约25%。此外，当使用具有五个抽头的FIR滤波器时，影响整个帧的像素的大约50%。此 外，当使用具有七个抽头的FIR滤波器时，影响整个帧的像素的大约73%。在使用前述的运动补偿图像作为滤波处理的输入图像的情况下，可以使用具有大 量的抽头的HR滤波器来执行滤波处理。在上面给出的描述中，在产生预测图像的特定像素的情况中，以运动补偿图像的 相应像素为中心的在水平方向上排列的像素被输入至FIR滤波器，但是，输入像素并不限 于在水平方向上排列的像素或者在垂直方向上排列的像素。例如，还可以输入运动补偿图 像的相应像素和在该像素的上方、下方、右边和左边的像素，或者，还可以输入运动补偿图 像的相应像素和在该像素的右上方、左下方、右下方和左下方的像素。图40和图41是示出通过使用由图8中的滤波电路45产生的预测图像执行编码 而获得的结果的示图。图40的曲线图示出所产生的编码数据的量。水平轴表示帧编号。例如，水平轴上的“1”表示要被处理的运动图像的第一图片， “2”表示第二图片。垂直轴表示各个图片的代码的量，并且，单位是位。随着该值越小，用于 压缩帧的压缩率就越高。线L1表示在使用传统的AVC执行编码的情况中的代码的量，线L2表示在使用滤 波预测执行编码的情况中的代码的量。在这个例子中，每十五帧插入一个帧的帧内图片，并 且，除帧内图片以外的十四个帧被视为P图片。
如图40中所示，在利用AVC的情况中和在利用使用滤波预测的编码方法的情况 中，帧内图片是相同的，由此产生的代码的量的值也是相同的。另外，在使用滤波预测的编 码方法中，需要两个参考帧，由此，其中仅有第一帧内图片可以用作参考帧的第二 P图片的 代码量具有与在利用AVC的情况中的代码量相同的值。关于其它P图片的代码量，由线L2 表示的使用滤波预测的编码方法中的值小于由线L1表示的值。可以通过利用使用滤波预测的编码方法来抑制产生的代码的量的原因在于，预测 图像的精度高，并且，与利用AVC的情况相比，可以减少残差的编码数据。图41中的曲线图示出编码数据的图像质量。与图40中的水平轴一样，图41中的水平轴表示帧编号。垂直轴表示PSNR值。PSNR 值是客观指标，其中，随着其值越大，与原始图像的相似性就越高(图像质量就越高)，单位 是[dB]。线L11表示在使用传统的AVC执行编码的情况中的PSNR值，线L12表示在使用滤波 预测执行编码的情况中的PSNR值。由于与图40的情况中相同的原因，在利用AVC的情况 中和在使用滤波预测执行编码的情况中，帧内图片和第二 P图片的PSNR值相同。另一方面，关于其它的P图片，由线L12表示的在利用使用滤波预测的编码方法的 情况中的PSNR值大于由线L11表示的利用AVC的情况中的PSNR值。可以通过利用使用滤波预测的编码方法来提高PSNR值即图像质量的原因在于， 可以提高预测图像的精度。上述一系列的处理可以通过硬件来执行，并且可以通过软件来执行。在通过软件 执行一系列处理的情况中，通过程序记录介质将构成软件的程序安装到合并入专用硬件中 的计算机、能够通过安装有各种程序来执行各种功能的通用个人计算机等。图42是示出根据程序执行上述一系列处理的计算机的硬件配置例子的框图。CPU(中央处理单元)251、ROM (只读存储器)252和RAM(随机存取存储器)253经 由总线邪4相互连接。输入/输出接口 255进一步与总线邪4连接。由键盘、鼠标、传声器等构成的输入 单元256，由显示器、扬声器等构成的输出单元257，由硬盘、非易失性存储器等构成的存储 单元258，由网络接口等构成的通信单元259，以及驱动诸如光盘或半导体存储器的可移动 介质的驱动器沈0，与输入/输出接口 255连接。在具有前述配置的计算机中，例如，CPU 251经由输入/输出接口 255和总线2M 将存储在存储单元258中的程序装入RAM 253，并且执行该程序，从而执行上述一系列处理。由CPU 251执行的程序在被记录在例如可移动介质261上的同时被提供，或者，经 由诸如局域网、互联网或数字广播的有线或无线传输媒体来提供，并且，该程序被安装在存 储单元258中。另外，由计算机执行的程序可以是根据本说明书中描述的顺序按照时间序列执行 处理的程序，或者，可以是例如在执行呼叫时并行地或者在必要的定时执行处理的程序。本发明的实施例并不限于上述的实施例，在不脱离本发明的范围的情况下，可以 进行各种改变。例如，上述的解码装置1和编码装置101可以应用于任意的电子设备。在下文中，将描述其例子。图43是示出使用应用本发明的解码装置的电视接收机的主要配置例子的框图。图43中所示的电视接收机300具有地面调谐器313、视频解码器315、视频信号处 理电路318、图形产生电路319、面板驱动电路320和显示面板321。地面调谐器313经由天线接收模拟地面广播的广播波信号，对它进行解调，获得 视频信号，并且将它供应给视频解码器315。视频解码器315对从地面调谐器313供应的视 频信号执行解码处理，并且，将获得的数字分量信号供应给视频信号处理电路318。视频信号处理电路318对从视频解码器315供应的视频数据执行诸如去噪声的特 定处理，并且，将获得的视频数据供应至图形产生电路319。图形产生电路319产生要在显示面板321上显示的节目的视频数据、基于根据经 由网络供应的应用的处理的图像数据等，并且将产生的视频数据和图像数据供应至面板驱 动电路320。此外，在必要的时候，图形产生电路319执行下述处理产生用于显示要由用 户用来选择项目的画面的视频数据(图形)，将它叠加在节目的视频数据上，并且，将由此 获得的视频数据供应至面板驱动电路320。面板驱动电路320基于从图形产生电路319供应的数据驱动显示面板321，并且使 显示面板321显示节目的视频和上述各种画面。显示面板321由IXD (液晶显示器)等构成，并且，根据由面板驱动电路320执行 的控制来显示节目的视频等。此外，电视接收机300具有音频A/D (模拟/数字)转换器电路314、音频信号处理 电路322、回声消除/音频合成电路323、音频放大器电路3 和扬声器325。地面调谐器313对接收到的广播波信号进行解调，从而，不仅获得视频信号，而且 获得音频信号。地面调谐器313将获得的音频信号供应至音频A/D转换器电路314。音频A/D转换器电路314对从地面调谐器313供应的音频信号执行A/D转换处理， 并且将获得的数字音频信号供应至音频信号处理电路322。音频信号处理电路322对从音频A/D转换器电路314供应的音频数据执行诸如去 噪声的特定处理，并且将获得的音频数据供应至回声消除/音频合成电路323。回声消除/音频合成电路323将从音频信号处理电路322供应的音频数据供应至 音频放大器电路324。音频放大器电路3M对从回声消除/音频合成电路323供应的音频数据执行D/A 转换处理和放大处理以将它调节为特定的音量，并且使该音频从扬声器325输出。此外，电视接收机300具有数字调谐器316和MPEG解码器317。数字调谐器316经由天线接收数字广播(数字地面广播、BS(广播卫星)/CS(通 信卫星)数字广播)的广播波信号，对该广播波信号进行解调，获得MPEG-TS(运动图片专 家组-传输流)，并且将该MPEG-TS供应至MPEG解码器317。MPEG解码器317消除在从数字调谐器316供应的MPEG-TS上设置的扰码，并且提 取包含要播放(要观看/收听)的节目的数据的流。MPEG解码器317对构成提取的流的 音频分组进行解码，并且将获得的音频数据供应至音频信号处理电路322，并且还对构成该 流的视频分组进行解码，并且将获得的视频数据供应至视频信号处理电路318。此外，MPEG 解码器317经由未示出的路径将从MPEG-TS提取的EPG(电子节目指南)数据供应至CPU332。电视接收机300使用上述的解码装置1作为以这种方式对视频分组进行解码的 MPEG解码器317。因此，与解码装置1中的情况一样，MPEG解码器317使用通过滤波预测 产生的预测图像来执行解码，由此，可以通过有效地使用图像的时间相关性来获得高分辨 率的解码图像。与在从视频解码器315供应的视频数据的情况一样，使从MPEG解码器317供应 的视频数据在视频信号处理电路318中经过特定处理，在其上适当地叠加在图形产生电路 319中产生的视频数据等，该视频数据经由面板驱动电路320被供应至显示面板321，并且 显示其图像。与在从音频A/D转换器电路314供应的音频数据的情况一样，使从MPEG解码器 317供应的音频数据在音频信号处理电路322中经过特定的处理，并且，该音频数据经由回 声消除/音频合成电路323被供应至音频放大器电路324，并且使该音频数据经过D/A转换 处理和放大处理。结果，从扬声器325输出被调节为特定音量的音频。此外，电视接收机300具有传声器316和A/D转换器电路327。A/D转换器电路327接收用于音频对话的由设置在电视接收机300中设置的传声 器3 捕获的用户的音频的信号，对接收到的音频信号执行A/D转换处理，并且将获得的数 字音频数据供应至回声消除/音频合成电路323。在从A/D转换器电路327供应电视接收机300的用户(用户A)的音频的数据的 情况中，回声消除/音频合成电路323对用户A的音频数据执行回声消除，并且使通过与其 它音频数据合成而获得的音频的数据经由音频放大器电路3M从扬声器325输出。此外，电视接收机300具有音频编解码器328、内部总线329、SDRAM(同步动态随 机存取存储器)330、闪存331、CPU 332、旧8(通用串行总线)1汗333和网络I/F 334。A/D转换器电路327接收用于音频对话的由设置在电视接收机300中设置的传声 器3 捕获的用户的音频的信号，对接收到的音频信号执行A/D转换处理，并且将获得的数 字音频数据供应至音频编解码器328。音频编解码器3 将从A/D转换器电路327供应的音频数据转换为特定格式的数 据以便经由网络发送它，并且将它经由内部总线3 供应至网络I/F 334。网络I/F 334经由附接到网络端子335的线缆连接至网络。例如，网络I/F 334将 从音频编解码器3 供应的音频数据发送到与网络连接的另一设备。另外，例如，网络I/F 334经由网络端子335接收从经由网络连接的另一设备发送的音频数据，并且经由内部总 线3 将它供应至音频编解码器328。音频编解码器3 将从网络I/F 334供应的音频数据转换为特定格式的数据，并 且将它供应至回声消除/音频合成电路323。回声消除/音频合成电路323对从音频编解码器3 供应的音频数据执行回声消 除，并且使通过与其它音频数据合成而获得的音频数据经由音频放大器电路3M从扬声器 325输出。SDRAM 330存储CPU 332执行处理所需的各种类型的数据。闪存331存储由CPU 332执行的程序。在特定的定时，例如，在启动电视接收机 300时，由CPU 332读取存储在闪存331中的程序。闪存331还存储经由数字广播获得的EPG数据和经由网络从特定服务器获得的数据。例如，闪存331在由CPU 332执行的控制下存储包含经由网络从特定服务器获得 的内容数据的MPEG-TS。例如，闪存331在由CUP332执行的控制下经由内部总线3 将 MPEG-TS供应至MPEG解码器317。MPEG解码器317处理MPEG-TS，与从数字调谐器316供应的MPEG-TS的情况一样。 以这样的方式，电视接收机300能够经由网络接收视频、音频等的内容数据，使用MPEG解码 器317对它进行解码，并且使视频显示或者使音频输出。此外，电视接收机300具有用于接收从遥控器351发送的红外信号的光接收单元 337。光接收单元337接收来自遥控器351的红外线，并且将通过解调获得的表示用户 操作的内容的控制代码输出至CPU 332。CPU 332执行在闪存331中存储的程序，并且，根据从光接收单元337供应的控制 代码等控制电视接收机300的整个操作。CPU 332经由未示出的路径与电视接收机300的 各个单元连接。USB I/F 333将数据发送到电视接收机300的外部设备/从电视接收机300的外 部设备接收数据，该设备经由附接于USB端子336的USB线缆被连接。网络I/F 334经由 附接于网络端子335的线缆连接至网络，并且将除音频数据以外的数据发送至与网络连接 的各种设备/从与网络连接的各种设备接收除音频数据以外的数据。电视接收机300使用解码装置1作为MPEG解码器317，从而能够产生高度精确的 预测图像，而不会增加处理负荷。结果，电视接收机300能够从经由天线接收的广播波信号 或经由网络获得的内容数据获得较高的分辨率解码图像并显示它。图44是示出移动电话设备的主要配置例子的框图，该移动电话设备使用应用本 发明的解码装置和编码装置。图44所示的移动电话设备400具有被配置为整体地控制各个单元的主控制单元 450、电源电路单元451、操作输入控制单元452、图像编码器453、照相机I/F单元454、LCD 控制单元455、图像解码器456、分用器单元457、记录/再现单元462、调制/解调电路单元 458和音频编解码器459。这些单元经由总线460相互连接。此外，移动电话设备400具有操作键419、CXD(电荷耦合器件)照相机416、液晶 显示器418、存储单元423、发送/接收电路单元463、天线414、传声器421和扬声器417。当通过用户操作接通呼叫端或电源键时，电源电路单元451将电力从电池组供应 至各个单元，从而使移动电话设备400进入可工作的状态。基于由包含CPU、ROM、RAM等的主控制单元450执行的控制，移动电话设备400在 诸如音频呼叫模式或数据通信模式的各种模式中执行各种操作，例如，发送/接收音频信 号、发送/接收电子邮件或图像数据、图像捕获或者数据记录。例如，在音频呼叫模式中，移动电话设备400使用音频编解码器459将由传声器 421收集的音频信号转换为数字音频数据，使用调制/解调电路单元458对其执行谱扩展处 理，并且，使用发送/接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话 设备400经由天线414将通过转换处理获得的要发送的信号发送至未示出的基站。将发送 至基站的要发送的信号(音频信号)经由公用电话线网络供应至呼叫的另一端的移动电话设备。此外，例如，在音频呼叫模式中，移动电话设备400使用发送/接收电路单元463 来放大由天线414接收的接收信号，进一步执行频率转换处理和模拟数字转换处理，使用 调制/解调电路单元458执行谱逆扩展处理，并且使用音频编解码器459将该信号转换为 模拟音频信号。移动电话设备400从扬声器417输出通过转换获得的模拟音频信号。此外，例如，当在数据通信模式中发送电子邮件的情况中，移动电话设备400在操 作输入控制单元452中接受通过操作键419的操作输入的电子邮件的文本数据。移动电话 设备400在主控制单元450中处理文本数据，并且经由IXD控制单元455使它作为图像显 示在液晶显示器418上。此外，基于由操作输入控制单元452接受的用户指示或文本数据，移动电话设备 400在主控制单元450中产生电子邮件数据。移动电话设备400使用调制/解调电路单元 458对电子邮件数据执行谱扩展处理，并且使用发送/接收电路单元463执行数字模拟转换 处理和频率转换处理。移动电话设备400经由天线414将通过转换处理获得的要发送的信 号发送至未示出的基站。将发送至基站的要发送的信号(电子邮件)经由网络和邮件服务 器等供应至特定的目的地。此外，例如，当在数据通信模式中接收电子邮件的情况中，移动电话设备400使用 发送/接收电路单元463经由天线414接收从基站发送的信号，放大它，并且进一步执行频 率转换处理和模拟数字转换处理。移动电话设备400使用调制/解调电路单元458对接收 到的信号执行谱逆扩展处理，以恢复原始的电子邮件数据。移动电话设备400经由LCD控 制单元455在液晶显示器418上显示恢复的电子邮件数据。另外，移动电话设备400能够经由记录/再现单元462使接收到的电子邮件数据 记录(存储)在存储单元423中。存储单元423是任意的可重写的存储介质。存储单元423可以是诸如RAM或内置 闪存的半导体存储器，硬盘，或者可移动介质，例如，磁盘、磁光盘、光盘、USB存储器或存储 卡。当然，也可以使用其它类型的介质。此外，例如，当在数据通信模式中发送图像数据的情况中，移动电话设备400使用 CXD照相机416通过捕获产生图像数据。CXD照相机416具有诸如透镜和光圈的光学装置、 以及用作光电转换元件的CCD，捕获被摄体的图像，将接收到的光的强度转换为电信号，并 且产生被摄体的图像的图像数据。使用诸如MPEG2或MPEG4的特定的编码方法，经由照相 机I/F单元454，由图像编码器453对图像数据进行压缩和编码，以转换为编码的图像数据。移动电话设备400使用上述的编码装置101作为执行这种处理的图像编码器453。 因此，与编码装置101的情况一样，图像编码器453使用预测图像来执行编码，由此，可以减 少分配给残差的代码的量，并且，可以提高编码效率，该预测图像是通过滤波预测产生的， 包含大量的高频分量，并且与原始图像具有小的差异。另外，同时，移动电话设备400在音频编解码器459中对在使用CCD照相机416进 行图像捕获的期间由传声器421收集的音频进行模拟数字转换，而且对它进行编码。移动电话设备400按照特定的方法在分用器单元457中对从图像编码器453供应 的编码的图像数据和从音频编解码器459供应的数字音频数据进行复用。移动电话设备 400使用调制/解调电路单元458对作为结果获得的复用数据执行谱扩展处理，并且使用发送/接收电路单元463执行数字模拟转换处理和频率转换处理。移动电话设备400经由天 线414将通过转换处理获得的要发送的信号发送至未示出的基站。将发送至基站的要发送 的信号(图像数据)经由网络等供应至通信的另一端。请注意，在不发送图像数据的情况中，移动电话设备400可以经由IXD控制单元 455而不是经由图像编码器453使由CXD照相机416产生的图像数据显示在液晶显示器418 上。此外，例如，当在数据通信模式中接收与简单页面等链接的运动图像文件的数据 的情况中，移动电话设备400使用发送/接收电路单元463经由天线414接收从基站发送的 信号，放大它，并且进一步执行频率转换处理和模拟数字转换处理。移动电话设备400使用 调制/解调电路单元458对接收到的信号执行谱逆扩展处理，以恢复原始的复用数据。移 动电话设备400使用分用器单元457将复用数据分离为编码的图像数据和音频数据。移动电话设备400在图像解码器456中使用与诸如MPEG2或MPEG4的特定的编码 方法相对应的解码方法对编码的图像数据进行解码，从而产生再现的运动图像数据，并且， 移动电话设备400经由IXD控制单元455使该运动图像数据显示在液晶显示器418上。因 此，例如，包含在与简单页面链接的运动图像文件中的运动图像数据显示在液晶显示器418 上。移动电话设备400使用上述的解码装置1作为执行这种处理的图像解码器456。 因此，与解码装置1中的情况一样，图像解码器456使用通过滤波预测产生的预测图像来执 行解码，由此，可以更加有效地使用图像的时间相关性来获得高分辨率的解码图像。此时，同时，移动电话设备400使用音频编解码器459将数字音频数据转换为模拟 音频信号，并且使它从扬声器417输出。因此，例如，再现在与简单页面链接的运动图像文 件中包含的音频数据。请注意，与电子邮件的情况一样，移动电话设备400还可以经由记录/再现单元 462使接收到的与简单页面等链接的数据记录(存储)在存储单元423中。此外，移动电话设备400可以分析通过图像捕获由CXD照相机416捕获的二维代 码，并且使用主控制单元450获得在二维代码中记录的信息。此外，移动电话设备400可以使用红外通信单元481通过红外线与外部设备通信。通过使用编码装置101作为图像编码器453，移动电话设备400可以提高通过对在 例如CCD照相机416中产生的图像数据进行编码而产生的编码数据的编码效率，而没有使 该处理复杂。结果，移动电话设备400可以将高编码效率的编码数据(图像数据)提供给 另一设备。此外，通过使用解码装置1作为图像解码器456，移动电话设备400可以产生高度 精确的预测图像，而没有增加处理负荷。结果，例如，移动电话设备400可以从与简单页面 链接的运动图像文件获得较高分辨率解码图像并显示它。请注意，尽管上面给出了对移动电话设备400使用CCD照相机416的描述，但是， 可以使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)来代替 CXD照相机416。在这种情况下，同样地，移动电话设备400可以捕获被摄体的图像并产生 被摄体的图像的图像数据，与使用CXD照相机416的情况一样。此外，尽管上面给出了对移动电话设备400的描述，但是解码装置1和编码装置101可以应用于诸如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、上网本 (net book)或笔记本个人计算机的具有与移动电话设备400的图像捕获功能和通信功能 相似的图像捕获功能和通信功能的任何设备，与移动电话设备400的情况一样。图45是示出硬盘记录器的主要配置例子的框图，该硬盘记录器使用应用本发明 的解码装置和编码装置。图45中所示的硬盘记录器(HDD记录器)500是存储在广播波信号(电视信号) 中包含的广播节目的音频数据和视频数据的设备，该广播波信号从卫星、地上的天线等发 送并由包含在其中的硬盘中的调谐器接收，并且，该设备在与从用户提供的指示相对应的 定时向用户提供存储的数据。例如，硬盘记录器500可以从广播波信号提取音频数据和视频数据，适当地对它 们进行解码，并且使它们存储在包含于其中的硬盘中。此外，例如，硬盘记录器500可以经 由网络从另一设备获得音频数据和视频数据，适当地对它们进行解码，并且使它们存储在 包含于其中的硬盘中。此外，例如，硬盘记录器500可以对记录在包含于其中的硬盘中的音频数据和视 频数据进行解码，将它们供应至监视器560，使其图像显示在监视器560的屏幕上，并且，使 其音频从监视器560的扬声器输出。此外，例如，硬盘记录器500可以对从经由调谐器获得 的广播波信号提取的音频数据和视频数据或者经由网络从另一设备获得的音频数据和视 频数据进行解码，将它们供应至监视器560，使其图像显示在监视器560的屏幕上，并且使 其音频从监视器560的扬声器输出。当然，可以执行另一操作。如图45所示，硬盘记录器500具有接收单元521、解调单元522、分用器532、音频 解码器524、视频解码器525和记录器控制单元526。硬盘记录器500还具有EPG数据存储 器527、节目存储器528、工作存储器529、显示转换器530、OSD (同屏显示)控制单元531、 显示控制单元532、记录/再现单元533、D/A转换器534和通信单元535。此外，显示转换器530具有视频编码器Ml。记录/再现单元533具有编码器551 和解码器阳2。接收单元521从遥控器(未示出)接收红外信号，将它转化为电信号，并且将它输 出至记录器控制单元526。记录器控制单元526由例如微处理器等构成，并且根据存储于节 目存储器528中的节目执行各种处理。此时，在必要的时候，记录器控制单元5 使用工作 存储器5四。通信单元535与网络连接，并且经由网络与另一设备执行通信处理。例如，通信单 元535由记录器控制单元5 控制，与调谐器(未示出)通信，并且将信道选择控制信号主 要输出至该调谐器。解调单元522对从调谐器供应的信号进行解调，并且将它输出至分用器523。分用 器523将从解调单元522供应的数据分离为音频数据、视频数据和EPG数据，并且将它们分 别输出至音频解码器524、视频解码器525和记录器控制单元526。音频解码器5M用例如MPEG方法对输入的音频数据进行解码，并且将它输出至记 录/再现单元533。视频解码器525用例如MPEG方法对输入的视频数据进行解码，并且将 它输出至显示转换器530。记录器控制单元5 将输入的EPG数据供应至EPG数据存储器527，并且使该数据存储在其中。显示转换器530使用视频编码器541将从视频解码器525或记录器控制单元5 供应的视频数据编码为例如NTSC(国家电视标准委员会)方法的视频数据，并且将它输出 至记录/再现单元533。此外，显示转换器530将从视频解码器525或记录器控制单元5 供应的视频数据的画面的尺寸转换为与监视器560的尺寸相对应的尺寸，用视频编码器 541将它转换为NTSC方法的视频数据，将它转换为模拟信号，并且将它输出至显示控制单 元 532。显示控制单元532在由记录器控制单元5 执行的控制下将从OSD(同屏显示) 控制单元531输出的OSD信号叠加在从显示转换器530输入的视频信号，将它输出至监视 器560的显示器，并且使它显示。此外，向监视器560供应音频数据，该音频数据从音频解码器5M输出，并且由D/ A转换器534已经转换为模拟信号。监视器560从包含在其中的扬声器输出该音频信号。记录/再现单元533具有硬盘，作为用于将视频数据、音频数据等记录在其上的存 储介质。例如，记录/再现单元533使用MPEG方法通过编码器551对从音频解码器5 供 应的音频数据进行编码。此外，记录/再现单元533使用MPEG方法通过编码器551对从显 示转换器530的视频编码器541供应的视频数据进行编码。记录/再现单元533通过复用 器将音频数据的编码数据和视频数据的编码数据组合。记录/再现单元533对合成数据进 行信道编码以放大它，并且经由记录头将该数据写入在硬盘上。记录/再现单元533经由再现头对记录在硬盘上的数据进行再现，放大它，并且使 用分用器将它分离为音频数据和视频数据。记录/再现单元533用MPEG方法通过解码器 552对该音频数据和视频数据进行解码。记录/再现单元533对解码的音频数据进行D/A 转换，并且将它输出至监视器560的扬声器。此外，记录/再现单元533对解码的视频数据 进行D/A转换，并且将它输出至监视器560的显示器。记录器控制单元5 基于由红外信号表示的用户指示从EPG数据存储器527读取 最新的EPG数据，并且将它供应至OSD控制单元531，该红外信号从遥控器供应，并且经由接 收单元521接收。OSD控制单元531产生与输入的EPG数据相对应的图像数据，并且将它输 出至显示控制单元532。显示控制单元532将从OSD控制单元531输入的视频数据输出至 监视器560的显示器，并且使它显示。因此，在监视器560的显示器上显示EPG (电子节目 指南)。此外，硬盘记录器500可以获得经由诸如互联网的网络从另一设备供应的各种数 据，例如，视频数据、音频数据或EPG数据。通信单元535由记录器控制单元5 控制，获得经由网络从另一设备发送的视频 数据、音频数据和EPG数据的编码数据，并且将它供应至记录器控制单元5 。例如，记录器 控制单元5 将获得的视频数据和音频数据的编码数据供应至记录/再现单元533，并且使 硬盘存储它。此时，记录器控制单元5 和记录/再现单元533在必要的时候可以执行诸 如重新编码的处理。此外，记录器控制单元5 对获得的视频数据和音频数据的编码数据进行解码， 并且将获得的视频数据供应至显示转换器530。显示转换器530处理从记录器控制单元5 供应的视频数据，如从视频解码器525供应的视频数据一样，经由显示控制单元532将它供 应至监视器560，并且使该图像显示。此外，根据该图像显示，记录器控制单元5 可以经由D/A转换器534将解码的音 频数据供应至监视器560，并且使该音频从扬声器输出。此外，记录器控制单元5 对获得的EPG数据的编码数据进行解码，并且将解码的 EPG供应至EPG数据存储器527。上述的硬盘记录器500使用解码装置1作为视频解码器525、解码器552和包含在 记录器控制单元5 中的解码器。因此，与解码装置1中的情况一样，视频解码器525、解码 器552和包含在记录器控制单元5 中的解码器使用通过滤波预测产生的预测图像来执行 解码，由此，可以更加有效地使用图像的时间相关性来获得高分辨率的解码图像。因此，硬盘记录器500可以在不增加处理负荷的情况下产生高度精确的预测图 像。结果，例如，硬盘记录器500可以获得从经由调谐器接收的视频数据的编码数据、从记 录/再现单元533的硬盘读取的视频数据的编码数据、或者经由网络获得的视频数据的编 码数据获得更高分辨率的解码图像，并且使它显示在监视器560上。此外，硬盘记录器500使用编码装置101作为编码器551。因此，与编码装置101 的情况一样，编码器551使用预测图像来执行编码，由此，可以减少分配给残差的代码的 量，并且，可以提高编码效率，该预测图像是通过滤波预测产生的，包含大量的高频分量，并 且与原始图像具有小的差异。因此，例如，硬盘记录器500可以在不使该处理复杂的情况下提高要记录在硬盘 上的编码数据的编码效率。结果，硬盘记录器500可以更加有效地使用硬盘的存储区域。请注意，尽管上面给出对用于将视频数据和编码数据记录在硬盘上的硬盘记录器 500的描述，但是，当然可以使用任何类型的记录介质。例如，解码装置1和编码装置101可 以应用于记录器，该记录器应用除硬盘以外的记录介质，例如，闪存、光盘或视频带，与上述 的硬盘记录器500的情况一样。图46是示出照相机的主要配置例子的框图，该照相机使用应用本发明的解码装 置和编码装置。图46所示的照相机600捕获被摄体的图像，使IXD 616显示被摄体的图像，并且 将它作为图像数据记录在记录介质633上。透镜块611使光(即，被摄体的图像)进入(XD/CM0S 612。(XD/CM0S 612是使用 CCD或CMOS的图像传感器，将接收的光的强度转换为电信号，并且将它供应至照相机信号 处理单元613。照相机信号处理单元613将从(XD/CM0S 612供应的电信号转换为Y、Cr和Cb的 颜色差信号，并且将它们供应至图像信号处理单元614。图像信号处理单元614对从照相机 信号处理单元613供应的图像信号执行特定的图像处理，并且，在由控制器621执行的控制 下通过编码器641使用例如MPEG方法对图像信号进行编码。图像信号处理单元614将通 过对图像信号进行编码而产生的编码数据供应至解码器615。此外，图像信号处理单元614 获得在同屏显示器(OSD) 620中产生的要显示的数据，并且将它供应至解码器615。在前述的处理中，照相机信号处理单元613适当地使用经由总线617连接的 DRAM(动态随机存取存储器)618，并且在必要的时候使DRAM 618保存图像数据、通过对图像数据进行编码而获得的编码数据等。解码器615对从图像信号处理单元614供应的编码数据进行解码，并且将获得的 图像数据(解码的图像数据)供应至LCD 616。此外，解码器615将从图像信号处理单元 614供应的要显示的数据供应至IXD 616。IXD 616将从解码器615供应的解码的图像数据 的图像和要显示的数据的图像适当地组合，并且显示合成图像。同屏显示器620在由控制器621执行的控制下经由总线617将要显示的数据(例 如，由符号、字符或数字和图标构成的菜单画面)输出至图像信号处理单元614。控制器621基于表示从用户使用操作单元622提供的指示的内容的信号来执行各 种处理，并且经由总线617控制图像信号处理单元614、DRAM 618、外部接口 619、同屏显示 器620、介质驱动器623等。在闪速ROM 6 中存储控制器621执行各种处理所需的程序、 数据等。例如，控制器621可以对存储在DRAM 618中的图像数据进行编码，并且代表图像 信号处理单元614或解码器615对存储在DRAM618中的编码数据进行解码。此外，控制器 621可以按照与图像信号处理单元614或解码器615的编码/解码方法相似的方法执行编 码/解码处理，或者，可以按照与图像信号处理单元614或解码器615不可兼容的方法执行 编码/解码处理。此外，例如，如果从操作单元622提供启动打印图像的指示，则控制器621从DRAM 618读取图像数据，并且经由总线617将它供应至与外部接口 619连接的打印机634以打印 它。此外，例如，如果从操作单元622提供记录图像的指示，则控制器621从DRAM 618 读取编码数据，并且经由总线617将它供应至装载在介质驱动器623中的记录介质633以 存储它。记录介质633是任意的可读写的可移动介质，例如，磁盘、磁光盘、光盘或半导体 存储器。当然，记录介质633可以是任何类型的可移动介质，并且，可以是带装置(tape device)、盘或存储卡。当然，记录介质633可以是非接触式IC卡等。此外，介质驱动器623和记录介质633可以集成，并且，可以由诸如内置硬盘驱动 器或SSD (固态驱动器)的不可传输的存储介质构成。外部接口 619由例如USB输入/输出端子等构成，并且在打印图像的情况下与打 印机634连接。此外，驱动器631在必要的时候与外部接口 619连接，诸如磁盘、光盘或磁 光盘的可移动介质632被适当地装载在该驱动器上，并且，从该可移动介质读取的计算机 程序在必要的时候被安装到闪速ROM 624中。此外，外部接口 619具有与诸如LAN或互联网的特定网络连接的网络接口。例如， 根据从操作单元622提供的指示，控制器621可以从DRAM 618读取编码数据并将它从外部 接口 619供应至经由网络连接的另一设备。此外，控制器621可以经由外部接口 619获得 经由网络从另一设备提供的编码数据或图像数据，并且使DRAM 618保存它并将它供应至 图像信号处理单元614。上述的照相机600使用解码装置1作为解码器615。因此，与解码装置1中的情况 一样，解码器615使用通过滤波预测产生的预测图像来执行解码，由此，可以更加有效地使 用图像的时间相关性来获得高分辨率的解码图像。
因此，照相机600可以在不增加处理负荷的情况下产生高度精确的预测图像。结 果，例如，照相机600可以从在(XD/CM0S 612中产生的图像数据、从DRAM 618或记录介质 633读取的视频数据的编码数据或者经由网络获得的视频数据的编码数据获得更高分辨率 的解码图像，并且使它显示在IXD 616上。此外，照相机600使用编码装置101作为编码器641。因此，与编码装置101的情况 一样，编码器641使用预测图像来执行编码，由此，可以减少分配给残差的代码的量，并且， 可以提高编码效率，该预测图像是通过滤波预测产生的，包含大量的高频分量，并且与原始 图像具有小的差异。因此，例如，照相机600可以在不使该处理复杂的情况下提高要记录在硬盘上的 编码数据的编码效率。结果，照相机600可以更加有效地使用DRAM 618和记录介质633的 存储区域。另外，解码装置1的解码方法可以应用于由控制器621执行的解码处理。同样地， 编码装置101的编码方法可以应用于由控制器621执行的编码处理。此外，由照相机600捕获的图像数据可以是运动图像或静止图像。当然，解码装置1和编码装置101可以应用于除上述设备以外的设备或系统。附图标记列表1解码装置，21运动预测/补偿电路，41预测模式确定电路，42单向预测电路，43 双向预测电路，44预测电路，45滤波电路，45，51差分计算电路，52低通滤波器电路，53增益 调节电路，54高通滤波器电路，54，55增益调节电路，56加法器电路，57加法器电路，231块 分割电路，232削波电路，233缓冲器。
权利要求
1.一种图像处理装置，包括确定部件，用于根据用于滤波处理的滤波器的抽头的数目来确定带区域的宽度方向上 的像素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与 该参考块接触；获得部件，用于在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与 由确定部件确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处理 的图像的块相对应的参考帧的块；以及滤波部件，用于对通过获得部件获得的参考块和带区域的图像执行滤波处理。
2.根据权利要求1所述的图像处理装置，其中，如果参考块不与包含该参考块的宏块的外围接触，则获得部件从参考帧获得参 考块。
3.根据权利要求2所述的图像处理装置，其中，确定部件确定等于下述最大整数的像素的数目是带区域的宽度方向上的像素的 数目该最大整数等于或小于通过将用于滤波处理的滤波器的抽头的数目除以2而获得的值。
4.根据权利要求3所述的图像处理装置，其中，滤波部件包括第一滤波部件，用于对多个图像的差分图像执行低通滤波；第二滤波部件，用于对通过由第一滤波部件执行的低通滤波获得的图像执行高通滤 波；以及加法部件，用于将通过由第一滤波部件执行的低通滤波获得的图像和通过由第二滤波 部件执行的高通滤波获得的图像与所述多个图像中的任何一个相加，从而产生以宏块为单 位的预测图像。
5.根据权利要求4所述的图像处理装置，还包括存储部件，用于将通过以构成帧的宏块为单位执行的解码处理获得的被解码的帧作为 参考帧存储，其中，获得部件从存储于存储部件中的参考帧获得参考块和带区域。
6.根据权利要求5所述的图像处理装置，还包括指定部件，用于基于运动向量指定参考块。
7.根据权利要求6所述的图像处理装置，其中，滤波器是HR滤波器。
8.一种图像处理方法，包括确定步骤，根据用于滤波处理的滤波器的抽头的数目来确定带区域的宽度方向上的像 素的数目，该带区域位于包含作为被解码的参考帧的块的参考块的宏块之外，并且与该参 考块接触；获得步骤，用于在参考块与包含该参考块的宏块的外围接触的情况下从参考帧获得与 在确定步骤中确定的像素的数目相对应的带区域和参考块，该参考块是与构成经过滤波处 理的图像的块相对应的参考帧的块；以及滤波步骤，对在获得步骤中获得的参考块和带区域的图像执行滤波处理。
全文摘要
本发明公开能够在没有增加处理负荷的情况下产生高度精确的预测图像的图像处理装置和方法。下述图像从参考帧提取作为运动补偿图像并用作经过滤波处理的输入图像该图像是通过将作为边缘区域的具有(a)像素的宽度的带状区域与以16×16像素的宏块单位的图像相加而产生的。(a)是根据FIR滤波器的抽头的数目确定的值。使用这种运动补偿图像作为输入图像来执行滤波处理，并且，将16×16像素的预测图像经过滤波的输出图像输出。由加法器电路将预测图像与逆正交变换电路的输出图像相加，并且，作为相加结果的图像用作构成解码帧的宏块。本发明可以应用于执行预测编码的装置和对通过预测编码而编码的信息进行解码的装置。
文档编号H04N7/32GK102100072SQ20098012788
公开日2011年6月15日 申请日期2009年7月24日 优先权日2008年7月25日
发明者中神央二, 田中润一, 矢崎阳一 申请人:索尼公司