图像处理设备和方法
【专利摘要】提供可以利用少量控制信息生成高度精确的预测图像的图像处理设备和方法。该图像处理设备包括：通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及基于所生成的预测图像编码图像的电路。此图像处理设备和方法例如可应用于编码和解码装置。
【专利说明】图像处理设备和方法
[0001]相关申请的交叉参考
[0002]本申请是国际申请号为PCT/JP2010/052017的、于2010年2月12日进入中国国家阶段的国家申请号为201080016294.7的、中文发明名称为“图像处理设备和方法”的发明申请的分案申请。
【技术领域】
[0003]本发明涉及图像处理设备和方法，具体地，涉及使得能够在不增大处理负荷的情况下生成高度精确的预测图像的图像处理设备和方法。
【背景技术】
[0004]传统上，使用动作补偿(如，MPEG (运动图像专家组)或H.26x)和正交变换(如，离散余弦变换、Karhunen Loeve变换或小波变换)的编码方法已经通常用作应对运动图像的情况下的编码方法。在这些运动图像编码方法中，通过使用要进行编码的输入图像信号的特性之中的空间方向和时间方向上的相关性，代码量得到降低。
[0005]例如，在H.264中，将单向预测或双向预测用于通过使用时间方向上的相关性来生成作为用作帧间帧预测(帧间预测)的目标的帧的帧间帧(inter-frame)。帧间帧预测基于不同时间的帧生成预测图像。
[0006]图1是图示单向预测的示例的示图。
[0007]如图1所示，在通过单向预测生成待编码帧PO(其为当前时间要编码的帧)的情况下，通过将在时间上相对于当前时间过去或将来的时间的编码帧用作参考帧来进行运动补偿。使用时间方向上的相关性对预测图像和实际图像之间的残差(residual)进行编码，从而可以减少代码量。参考帧信息和运动矢量分别用作指定参考帧的信息和指定要在参考帧中参照的位置的信息，并且将这些个信息从编码侧发送至解码侧。
[0008]这里，参考帧的数目不一定是一个。例如，在H.264中，可以将多个帧用作参考帧。当将在时间上接近于待编码帧PO的两个帧用作参考帧RO和Rl时，如图1中所示，可以根据参考帧RO或Rl中的任意像素的像素值预测待编码帧PO中任意宏块(macroblock)的像素值。
[0009]图1中各个帧内部图示的方框表示宏块。当假设作为预测目标的待编码帧PO中的宏块为宏块MBPO时，对应于宏块MBPO的参考帧RO中的宏块是由运动矢量MVO指定的宏块MBR0。此外，参考帧Rl中的宏块是由运动矢量MVl指定的宏块MBRl。
[0010]当假设宏块MBRO和MBRl的像素值(运动补偿图像的像素值)是MC0(i，j)和MCI (i, j)时，由于任何运动补偿图像的像素值在单向预测中都用作预测图像的像素值，因此由下列等式(I)表达预测图像Pred(i，j)。(i，j)表示宏块中像素的相对位置，并且满足O≤i≤16且O≤j≤16。在等式⑴中，〃| |〃表示采用10)(丨，」)和MCl(i，j)中任何的值。
[0011][算式I][0012]Pred(i, j) =MC0(i>j) | IMC1(I1J)...(I)
[0013]此外，可以将16X16像素的单个宏块分割为例如具有大小为16X8像素的更小的块，并且可以通过参考不同的参考帧对通过分割形成的各个块进行运动补偿。通过发送小数(decimal)精度的运动矢量(而不是整数精度的运动矢量)，并且通过使用根据标准定义的FIR滤波器进行内插，可以将要参考的对应位置周围的像素的像素值用于运动补偿。
[0014]图2是图示双向预测的示例的示图。
[0015]如图2所示，在通过双向预测生成待编码帧BO (其为当前时间要编码的帧)的情况下，通过将在时间上相对于当前时间过去和将来的时间的编码帧用作参考帧来进行运动补偿。使用与这些帧的相关性对预测图像和实际图像之间的残差进行编码，从而可以减少代码量。在H.264中，也可以将多个过去的帧和多个后续的帧用作参考帧。
[0016]如图2所示，当在待编码帧BO用作基础的情况下将一个过去的帧和一个后续的帧用作参考帧LO和LI时，基于参考帧LO和LI的任意像素的像素值，可以预测待编码帧BO中任意宏块的像素值。
[0017]在图2的示例中，对应于待编码帧BO中宏块MBBO的参考帧LO中的宏块是由运动矢量MVO指定的宏块MBL0。此外，对应于待编码帧BO中宏块MBBO的参考帧LI中的宏块是由运动矢量MVl指定的宏块MBLl。
[0018]当假设宏块MBLO和MBLl的像素值分别是MCO (i，j)和MCI (i，j)时，可以获得预测图像Pred(i，j)的像素值Pred(i，j)作为这些像素值的平均值，如下列等式(2)所表达的。
[0019][算式2]
[0020]Pred (i, j) = (MC0 (i, j) +MC1 (i, j) )/2...(2)
[0021]在使用单向预测的前述动作补偿中，通过增大运动矢量的精度并减小宏块的尺寸以减小相对于实际图像的残差，增大了预测图像的精度，从而增大了编码效率。
[0022]此外，在使用双向预测的动作补偿中，将在时间上接近的参考帧的像素的像素值的平均用作预测图像的像素的像素值，从而根据概率的观点，在预测残差中实现了稳定的降低。
[0023]此外，作为另一方法，提出了使用像素值的动作补偿和FIR滤波将时间方向上的相关性转换为空间分辨率并使用空间分辨率的方法(例如，参见NPL1)。
[0024]在NPLl描述的方法中，将时间方向上的相关性用于对输入图像序列进行的分辨率增大处理。特别地，计算关于已经进行了运动预测/补偿的过去图像和当前图像之间差异(difference)的差异信息，并且将该差异信息反馈至目标当前图像，从而恢复输入图像中包括的高频分量。
[0025]引用列表
[0026]非专利文献
[0027]NPLl: "Improving Resolution by Image Registration"，MICHAL IRANI AND SHMUELPELEGj Department of Computer Science, The Hebrew University of Jerusalem, 91904Jerusalem, Israel, Communicated by Rama Chellapaj 1989 年 6 月 16 日收到；1990 年 5 月 25 日收录
【发明内容】
[0028]技术问题
[0029]在传统的单向预测的情况下，即使在可以选择多个参考帧的时候，也需要选择性地使用参考帧中任何一个的像素值作为待编码帧的像素值。由此，由于未选择的参考帧不用于运动补偿，因此未充分地使用参考帧和待编码帧之间的时间相关性，根据增大编码效率的观点，存在许多有待改善。
[0030]此外，在传统的双向预测的情况下，使用两个参考帧的像素值的平均值作为待编码帧的像素值，以便进行时间上的低通滤波处理并且从预测图像中失去了高频分量。结果，由于包括高频分量的残差信号不能被编码，因此通过解码获得的图像不包括高频分量，并且分辨率退化。
[0031]进而，通过以NPL2中所述的方法对关于两个或更多个参考帧的信息进行滤波并且使用它，相比于传统的双向预测，可以更高精度地进行预测。然而，在此情况下，需要将涉及两个或更多个参考帧的运动矢量信息发送至解码器。即，为了增大预测精度，大量的控制信息是必要的，这根据编码效率的观点可能不是高效的。
[0032]本发明鉴于这些情形而做出，并且目标在于通过降低对于进行双向预测或者参考多个图像所需要的运动矢量的代码量，使得可以使用少量的控制信息生成高度精确的预测图像。
[0033]问题的解决方案
[0034]本发明的一方面是图像处理设备，包括:通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路；通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及基于所生成的预测图像编码图像的电路。
[0035]所述滤波处理加重运动补偿图像的高频分量。
[0036]从由原始图像形成的参考帧进行生成第一运动补偿图像的处理，而从不同于从其生成第一运动补偿图像的参考帧的参考帧进行生成第二运动补偿图像的处理。
[0037]通过使用运动补偿图像中包括的时间方向上的相关性来进行运动补偿图像的高频分量的加重。
[0038]通过使用特定成本函数，第二运动补偿图像匹配或类似于从参考帧生成的第一运动补偿图像，该第二运动补偿图像用作对应于预测图像的运动补偿图像。
[0039]所述成本函数可以是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。
[0040]所述成本函数也可以是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的最小平方差的函数。
[0041]生成预测图像的电路包括:用于对第一运动补偿图像和第二运动补偿图像之间的差异图像进行低通滤波的电路；用于对通过低通滤波所获得的图像进行高通滤波的电路；以及用于将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至第一运动补偿图像和第二运动补偿图像中的任何一个从而生成预测图像的电路。
[0042]用于相加的电路将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧生成的运动补偿图像。[0043]该图像处理设备进一步包含:用于接收用以识别要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过进行滤波处理生成预测图像的识别标志的电路；以及用于通过参照接收到的识别标志，判断要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过滤波处理生成预测图像的电路。
[0044]该图像处理设备进一步包含:用于使用多个运动补偿图像进行单向预测以生成预测图像的电路；以及用于使用多个运动补偿图像进行双向预测以生成预测图像的电路。
[0045]本发明的一方面是图像处理方法，包括:通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像；以及基于所生成的预测图像编码图像。
[0046]本发明的另一方面是图像处理设备，包括:解码部件，其用于对编码图像进行解码；生成部件，其用于通过将解码部件解码的图像与预测图像相加以生成解码图像；第一提取部件，其用于通过将生成部件生成的解码图像所形成的帧用作参考帧，借助于编码图像的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；第二提取部件，其用于从与提取出运动补偿图像的参考帧不同的参考帧中，提取与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及预测图像生成部件，其用于通过对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量。
[0047]所述第二提取部件可以通过使用由对图像进行编码的编码设备共享的特定的成本函数，从参考帧中提取出与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像。
[0048]所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的差异值的绝对值的总和的函数。
[0049]所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的最小平方误差的函数。
[0050]所述预测图像生成部件可以包括:第一滤波器部件，其用于对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像之间的差异图像进行低通滤波；第二滤波器部件，其用于对通过第一滤波器部件进行的低通滤波所获得的图像进行高通滤波；以及相加部件，其用于将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像中的任何一个，从而生成预测图像。
[0051]所述相加部件可以将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧中提取出的运动补偿图像。
[0052]所述图像处理设备可以进一步包含:单向预测部件，其用于使用多个运动补偿图像进行单向预测以生成预测图像；双向预测部件，其用于使用多个运动补偿图像进行双向预测以生成预测图像；以及判断部件，其用于通过使用编码图像的头文件中包括的识别标志，判断通过单向预测部件进行的单向预测、双向预测部件进行的双向预测、还是预测图像生成部件进行的滤波处理来生成预测图像。
[0053]本发明的另一方面是图像处理方法，包含:对编码图像进行解码；通过将解码的图像与预测图像相加以生成解码图像；通过将生成的解码图像所形成的帧用作参考帧，借助于编码图像的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及通过对多个提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量。
[0054]本发明的另一方面是图像处理设备，包括:编码部件，其用于对作为待编码图像的原始图像进行编码，以生成编码图像；检测部件，其基于所述原始图像以及通过基于表示所述原始图像和预测图像之间的差异的残差信号进行局部解码所获得的图像来检测运动矢量；第一提取部件，其用于通过将进行局部解码获得的图像所形成的帧用作参考帧，借助于检测部件检测到的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；第二提取部件，其用于从与提取出运动补偿图像的参考帧不同的参考帧中，提取与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及生成部件，其用于通过对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量。
[0055]所述第二提取部件可以通过使用由对编码图像进行解码的解码设备共享的特定的成本函数，从参考帧中提取出与第一提取部件提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像。
[0056]所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。
[0057]所述成本函数可以是用于计算第一提取部件提取出的运动补偿图像和参考帧的处理目标块之间的各个像素值的最小平方误差的函数。
[0058]所述生成部件可以包括:第一滤波器部件，其用于对第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像之间的差异图像进行低通滤波；第二滤波器部件，其用于对通过第一滤波器部件进行的低通滤波所获得的图像进行高通滤波；以及相加部件，其用于将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至第一提取部件提取出的运动补偿图像和第二提取部件提取出的运动补偿图像中的任何一个，从而生成预测图像。
[0059]所述相加部件可以将通过第一滤波器部件进行的低通滤波所获得的图像和通过第二滤波器部件进行的高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧中提取出的运动补偿图像。
[0060]所述编码部件可以使得编码图像的头文件包括识别标志，该识别标志用于识别要通过单向预测、双向预测、还是滤波处理来生成要加至由解码设备解码的图像的预测图像。
[0061]本发明的另一方面是图像处理方法，包括:对作为待编码图像的原始图像进行编码，以生成编码图像；基于所述原始图像以及通过基于表示所述原始图像和预测图像之间的差异的残差信号进行局部解码所获得的图像来检测运动矢量；通过将进行局部解码获得的图像所形成的帧用作参考帧，借助于检测到的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；以及通过对多个提取出的运动补偿图像进行滤波处理以生成预测图像，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量。
[0062]在本发明的一方面中，对编码图像进行解码；将解码的图像与预测图像相加以生成解码图像；通过将生成的解码图像所形成的帧用作参考帧，使用编码图像的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；对多个提取出的运动补偿图像进行滤波处理，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量，从而生成预测图像。
[0063]在本发明的另一方面中，对作为待编码图像的原始图像进行编码，生成编码图像；基于所述原始图像以及通过基于表示所述原始图像和预测图像之间的差异的残差信号进行局部解码所获得的图像来检测运动矢量；通过将进行局部解码获得的图像所形成的帧用作参考帧，借助于检测到的运动矢量进行运动补偿，并且从参考帧中提取对应于预测图像的运动补偿图像；从与提取出运动补偿图像的参考帧不同的参考帧中，提取与提取出的运动补偿图像匹配或类似的部分，所述部分用作对应于预测图像的运动补偿图像；并且对多个提取出的运动补偿图像进行滤波处理，所述滤波处理通过使用运动补偿图像中包括的时间方向上的相关性来添加高频分量，从而生成预测图像。
[0064]本发明的有益效果
[0065]根据本发明，可以在不增加流中传送的运动矢量的数量的情况下生成高度精确的预测图像，并且可以取得高的编码效率。
【专利附图】
【附图说明】
[0066]图1是图示单向预测的示例的示图。
[0067]图2是图示双向预测的示例的示图。
[0068]图3是描述生成本发明的预测图像的概要的示图。
[0069]图4是图示根据本发明实施例的解码设备的示例配置的框图。
[0070]图5是图示第三预测模式的构思的示图。
[0071]图6是图示图3中的运动预测/补偿电路的示例配置的框图。
[0072]图7是图示参考巾贞的示例的示图。
[0073]图8是图示参考巾贞的另一示例的示图。
[0074]图9是图示图6中的预测电路的示例配置的框图。
[0075]图10是图示图6中的滤波电路的示例配置的框图。
[0076]图11是描述解码设备进行的解码处理的流程图。
[0077]图12是描述图11中步骤S9中进行的运动预测/补偿处理的流程图。
[0078]图13是描述提取处理的过程的示例的流程图。
[0079]图14是描述滤波预测处理的过程的示例的流程图。[0080]图15是图示编码设备的示例配置的框图。
[0081]图16是图示图15中的模式确定电路的示例配置的框图。
[0082]图17是图示图15中的运动预测/补偿电路的示例配置的框图。
[0083]图18是描述编码设备进行的编码处理的流程图。
[0084]图19是描述图18中的步骤S108中进行的模式确定处理的流程图。
[0085]图20是描述图18中的步骤Slll中进行的运动预测/补偿处理的流程图。
[0086]图21是图示滤波电路的另一示例配置的框图。
[0087]图22是图示滤波电路的又一示例配置的框图。
[0088]图23是图示使用三个参考巾贞的情况的示例的示图。
[0089]图24是图示使用三个参考帧的情况下的滤波电路的示例配置的框图。
[0090]图25是图示个人计算机的示例配置的框图。
[0091]图26是图示本发明应用到的电视接收器的主要示例配置的框图。
[0092]图27是图示本发明应用到的移动电话装置的主要示例配置的框图。
[0093]图28是图示本发明应用到的硬盘记录器的主要示例配置的框图。
[0094]图29是图示本发明应用到的相机的主要示例配置的框图。
[0095]图30是图示宏块的尺寸的示例的示图。
【具体实施方式】
[0096]下文描述用于实施本发明的实施例(下文称为实施例)。注意，将按照下列顺序给出描述。
[0097]1.第一实施例(解码处理)
[0098]2.第二实施例(编码处理)
[0099]3.第三实施例(滤波电路的修正)
[0100]〈1.第一实施例>
[0101][预测的概要]
[0102]图3是描述本发明应用到的预测图像生成方法的概要的示图。
[0103]在本发明中，以比特流的方式发送至少一个运动矢量(运动矢量A)，以便在解码器中从多个参考平面中获得多个运动补偿图像。
[0104]图3图示将帧(N-1)和帧(N-2)这两个帧用作运动补偿的参考平面以便对帧N进行解码的状态。
[0105]在图3中，以流的方式发送指示帧(N-1)中的坐标的运动矢量A。解码器使用该矢量获得图像MC。
[0106]然后，解码器基于帧(N-2)进行运动预测以便进行运动补偿。即，在帧(N-2)中搜索对于图像MC具有适当值的图像MC’。搜索方法，例如，搜索算法、搜索范围、成本函数等可以任意地确定，只要它们由编码器和解码器预先共享即可。当它们由编码器和解码器共享时，编码器和解码器中的搜索结果(即，图像MC’的像素值)彼此匹配。
[0107]以此方式，解码器可以基于帧(N-1)和帧(N-2)获得运动预测图像。据此，MC’的运动矢量不是必要的。即，运动矢量的代码量减少。由此，解码器和编码器可以使用少量的控制信息生成高度精度的预测图像。[0108][解码设备的配置]
[0109]图4是图示根据本发明实施例的解码设备I的示例配置的框图。
[0110]下面将要描述的编码设备所编码的图像信息经由线缆、网络或可拆卸介质输入至解码设备I。压缩的图像信息例如是根据H.264标准编码的的图像信息。
[0111]存储缓冲器11依次存储作为压缩的图像信息输入的比特流。在必要时，无损解码电路12以诸如构成帧的宏块之类的某些单元的图像为单位读取存储缓冲器11中存储的信息。在H.264标准中，不仅可以以16X16像素的宏块为单位，而且可以以通过进一步分割宏块获得的8X8像素或4X4像素的块为单位进行处理。
[0112]无损解码电路12对从存储缓冲器11读取出的图像进行与编码方法对应的解码处理，如可变长度解码处理或算术解码处理。无损解码电路12将通过解码处理获得的量化的变换系数输出至逆量化电路13。
[0113]此外，无损解码电路12基于要解码的图像的头文件(header)中包括的识别标志，识别图像是帧内编码图像还是帧间编码图像。如果无损解码电路12判断要解码的图像是帧内编码图像，则无损解码电路12将图像的头文件中存储的帧内预测模式信息输出至帧内预测电路22。帧内预测模式信息包括有关帧内预测的信息，如用作处理的单位的块的大小。
[0114]如果无损解码电路12判断要解码的图像是帧间编码信息，则无损解码电路12将图像的头文件中存储的识别标志和运动矢量输出至运动预测/补偿电路21。利用识别标志，可以识别用于通过帧间预测生成预测图像的预测的模式。识别标志例如以宏块或帧为单位进行设置。
[0115]作为预测的模式，除了图1中的单向预测的模式和图2中的双向预测的模式之外，准备了用于通过对从一个或两个时间方向上安置的多个参考帧中提取出的运动补偿图像进行滤波以生成预测图像的第三预测模式。
[0116]图5是图示第三预测模式的构思的示图。
[0117]在图5的示例中，通过将当前帧(预测帧)的时间用作基础，将在时间上一个时间单位之前的帧当作参考帧R0，将参考帧RO的一个时间单位之前的帧当作参考帧Rl。在此情况下，根据第三预测模式，将从参考帧RO和Rl中提取出的运动补偿图像MCO和MCl输入至滤波电路，将滤波电路输出的图像的像素值当作作为目标宏块的预测图像的像素值。
[0118]下文将如上面参照图1描述的那样从一个方向上安置的多个参考帧提取出的任何运动补偿图像的像素值当作预测图像的像素值的预测模式简称为单向预测模式。此外，将如上面参照图2描述的那样从两个方向上安置的多个参考帧提取出的运动补偿图像的像素值的平均值当作预测图像的像素值的预测模式简称为双向预测模式。
[0119]图5图示的第三预测模式(其中通过对从一个方向或两个方向上安置的多个参考帧提取出的各个运动补偿图像进行滤波而获得预测图像的像素值)称为滤波预测模式。下面详细描述滤波预测模式。
[0120]返回参照图4，逆量化电路13以与编码侧使用的量化方法对应的方法，对无损解码电路12提供的量化的变换系数进行逆量化。逆量化电路13将通过进行逆量化获得的变换系数输出至逆正交变换电路14。
[0121]逆正交变换电路14使用与编码侧使用的正交变换方法(如，离散余弦变换或Karhunen Loeve变换)对应的方法，对逆量化电路13提供的变换系数进行四阶逆正交变换，并且将获得的图像输出至加法器电路15。
[0122]加法器电路15将逆正交变换电路14提供的解码图像和运动预测/补偿电路21或帧内预测电路22经由开关23提供的预测图像进行组合，并且将复合图像输出至解块滤波器16。
[0123]解块滤波器16去除加法器电路15提供的图像中所包括的块噪声，并且输出已经去除了块噪声的图像。解块滤波器16输出的图像供给重排缓冲器17和帧存储器19。
[0124]重排缓冲器17临时存储解块滤波器16提供的图像。重排缓冲器17例如以其中存储的宏块为单位根据图像生成各个帧，以某种顺序(如,显示顺序)重排所生成的帧,并且将它们输出至D/A (Digital/Analog，数字/模拟)转换器电路18。
[0125]D/A转换器电路18对重排缓冲器17提供的各个帧进行D/A转换，并且将各个帧的信号输出至外部。
[0126]帧存储器19临时存储解块滤波器16提供的图像。帧存储器19中存储的信息经由开关20供给运动预测/补偿电路21或帧内预测电路22。
[0127]开关20在使用帧间预测生成预测图像的情况下连接至端子al，而在使用帧内预测生成预测图像的情况下连接至端子bl。开关20的切换例如受控制电路31控制。
[0128]运动预测/补偿电路21根据无损解码电路12提供的识别标志确定预测模式，并且根据预测模式从帧存储器19中存储的解码帧之中选择要用作参考帧的帧。运动预测/补偿电路21基于无损解码电路12提供的运动矢量，从构成参考帧的宏块之中确定对应于目标预测图像的宏块，并且提取出所确定的宏块作为运动补偿图像。运动预测/补偿电路21根据预测模式从运动补偿图像的像素值获取预测图像的像素值，并且经由开关23将已获得了像素值的预测图像输出至加法器电路15。
[0129]帧内预测电路22根据无损解码电路12提供的帧内预测模式信息进行帧内预测以生成预测图像。帧内预测电路22经由开关23将生成的预测图像输出至加法器电路15。
[0130]开关23在运动预测/补偿电路21生成预测图像的情况下连接至端子a2，而在帧内预测电路22生成预测图像的情况下连接至端子b2。开关23的切换例如也受控制电路31控制。
[0131]控制电路31切换开关20和23的连接，并且控制解码设备I的整体操作。要处理的图像是巾贞内编码图像还是巾贞间编码图像可以由控制电路31识别。
[0132]图6是图示图3中的运动预测/补偿电路21的示例配置的框图。
[0133]如图6所示，运动预测/补偿电路21由预测模式确定电路41、单向预测电路42、双向预测电路43、预测电路44和滤波电路45构成。无损解码电路12提供的识别标志和运动矢量输入至预测模式确定电路41。
[0134]预测模式确定电路41根据无损解码电路12提供的识别标志确定预测模式。预测模式确定电路41在确定要使用单向预测进行预测图像的生成时将运动矢量输出至单向预测电路42，而在确定要使用双向预测进行预测图像的生成时将运动矢量输出至双向预测电路43。此外，预测模式确定电路41在确定要使用滤波预测进行预测图像的生成时将运动矢量输出至预测电路44。
[0135]以此方式，为了使得能够识别滤波预测，可以将与传统H.264标准中定义的表示单向预测的值和表示双向预测的值不同的值设置为识别标志的值。可替换地，代之根据识别标志确定，可以通过预定方法确定预测模式，以便减少信息量。
[0136]单向预测电路42将一个时间方向上安置的多个帧当作参考帧，并且如图1所示那样基于运动矢量确定与预测图像对应的参考帧中的宏块。此外，单向预测电路42从帧存储器19中读取各个参考帧中的确定宏块作为运动补偿图像，并且使用任何运动补偿图像的像素值作为预测图像的像素值以生成预测图像。单向预测电路42将预测图像输出至加法器电路15。作为单向预测电路42进行的单向预测，例如使用H.264标准中定义的单向预测。
[0137]双向预测电路43将两个时间方向上安置的多个帧当作参考帧，并且如图2所示那样基于运动矢量确定对应于预测图像的参考帧中的宏块。此外，双向预测电路43从帧存储器19中读取各个参考帧中的确定宏块作为运动补偿图像，并且使用读取的运动补偿图像的像素值的平均作为预测图像的像素值以生成预测图像。双向预测电路43将预测图像输出至加法器电路15。作为双向预测电路43进行的双向预测，例如使用H.264标准中定义的双向预测。
[0138]预测电路44确定一个或两个时间方向上安置的多个帧作为参考帧。要用作参考帧的帧可以预先确定，或者可以通过连同识别标志一起从编码侧发送的信息加以指定。
[0139]图7是图示参考巾贞的示例的示图。
[0140]在图7的示例中，通过将预测帧的时间用作基础，将在时间上一个时间单位之前和两个时间单位之前的两个帧用作参考帧，如上面参照图5所述的示例中那样。在两个参考帧当中，将更接近于预测帧并且在预测帧之前一个时间单位的帧当作参考帧R0，而将参考帧RO之前一个时间单位的帧当作参考帧Rl。
[0141]图8是图示参考巾贞的另一示例的示图。
[0142]在图8的示例中，通过将预测帧的时间用作基础，将在时间上一个时间单位之前和一个时间单位之后的两个帧当作参考帧。在两个参考帧当中，将预测帧之前一个时间单位的帧当作参考帧L0，将预测帧之后一个时间单位的帧当作参考帧LI。
[0143]以此方式，在滤波预测中，将在一个时间方向上安置的多个帧或者在两个方向上安置的多个帧用作参考帧。
[0144]此外，预测电路44基于预测模式确定电路41提供的运动矢量，确定以图7或图8中所示的方式确定出的至少一个参考帧中的各解码块当中预测图像所对应的宏块。
[0145]进而，预测电路44使用基于运动矢量确定出的预测图像所对应的宏块，对以图7或图8中所示的方式确定出的参考帧当中的剩余参考帧(至少一个参考帧)进行运动预测，从而确定对应于预测图像的宏块。
[0146]预测电路44从帧存储器19读取各个参考帧中确定的宏块作为运动补偿图像，并且将读取出的运动补偿图像输出至滤波电路45。
[0147]S卩，预测电路44基于运动矢量从部分参考帧中提取运动补偿图像，并且基于使用运动补偿图像的运动预测从剩余的参考帧中提取出运动补偿图像。
[0148]不仅可以以16X16像素的宏块为单位，而且可以以通过进一步分割宏块获得的块为单位执行运动矢量。例如将以宏块为单位的图像输入至滤波电路45。在图6中，从预测电路44朝向滤波电路45延伸的两个箭头的图示表示提供两个运动补偿图像。[0149]滤波电路45接收预测电路44提供的运动补偿图像并对其进行滤波，并且将通过进行滤波所获得的预测图像输出至加法器电路15。
[0150]图9是图示图6中的预测电路44的示例配置的框图。在图9中，预测电路44具有运动补偿电路51和运动预测电路52。
[0151]运动补偿电路51使用预测模式确定电路41提供的运动矢量，指定部分参考帧中预测图像所对应的宏块。运动补偿电路51从帧存储器19中读取指定宏块的图像，并且将其提取为运动补偿图像。运动补偿电路51将提取出的运动补偿图像MCO供给滤波电路45，并且还将其供给运动预测电路52。
[0152]运动预测电路52在至少一个或更多个剩余参考帧(与已经提取出运动补偿图像MCO的参考帧不同的参考帧)中，对运动补偿电路51提供的运动补偿图像MCO进行匹配(进行运动预测)。
[0153]当在参考帧中搜索与运动补偿图像MCO匹配或类似的部分时，运动预测电路52使用提前由编码设备和解码设备I共享的某个成本函数。例如，共享下列等式(3)表达的成本函数。
[0154][算式3]
[0155]
【权利要求】
1.一种图像处理设备，包括: 通过使用图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像的电路； 通过使用图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像的电路； 通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像的电路；以及 基于所生成的预测图像编码图像的电路。
2.如权利要求1所述的图像处理设备，其中，所述滤波处理加重运动补偿图像的高频分量。
3.如权利要求1所述的图像处理设备，其中，从由原始图像形成的参考帧进行生成第一运动补偿图像的处理；而 从不同于从其生成第一运动补偿图像的参考帧的参考帧进行生成第二运动补偿图像的处理。
4.如权利要求2所述的图像处理设备，其中，通过使用运动补偿图像中包括的时间方向上的相关性来进行运动补偿图像的高频分量的加重。
5.如权利要求1所述的图像处理设备，其中，通过使用特定成本函数，第二运动补偿图像匹配或类似于从参考 帧生成的第一运动补偿图像，该第二运动补偿图像用作对应于预测图像的运动补偿图像。
6.如权利要求5所述的图像处理设备，其中，所述成本函数是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的差值的绝对值的总和的函数。
7.如权利要求5所述的图像处理设备，其中，所述成本函数是用于计算第一运动补偿图像与参考帧的处理目标块之间的各个像素值的最小平方差的函数。
8.如权利要求1所述的图像处理设备，其中，生成预测图像的电路包括: 用于对第一运动补偿图像和第二运动补偿图像之间的差异图像进行低通滤波的电路，用于对通过低通滤波所获得的图像进行高通滤波的电路，以及用于将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至第一运动补偿图像和第二运动补偿图像中的任何一个从而生成预测图像的电路。
9.如权利要求8所述的图像处理设备，其中，用于相加的电路将通过低通滤波所获得的图像和通过高通滤波所获得的图像加至从作为预测图像的时间之前的一个时间单位的帧生成的运动补偿图像。
10.如权利要求1所述的图像处理设备，进一步包含: 用于接收用以识别要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过进行滤波处理生成预测图像的识别标志的电路；以及 用于通过参照接收到的识别标志，判断要通过单向预测生成预测图像、要通过双向预测生成预测图像、还是要通过滤波处理生成预测图像的电路。
11.如权利要求10所述的图像处理设备，进一步包含: 用于使用多个运动补偿图像进行单向预测以生成预测图像的电路；以及 用于使用多个运动补偿图像进行双向预测以生成预测图像的电路。
12.—种图像处理方法，包括: 通过使用已编码图像的第一运动矢量进行第一运动补偿以生成第一运动补偿图像；通过使用已编码图像的第二运动矢量进行第二运动补偿以生成第二运动补偿图像；通过对第一运动补偿图像和第二运动补偿图像进行滤波处理以生成预测图像；以及基于所生成的预测图像编 码图像。
【文档编号】H04N19/107GK104023239SQ201410291365
【公开日】2014年9月3日 申请日期:2010年2月12日 优先权日:2009年2月19日
【发明者】中神央二, 矢崎阳一 申请人:索尼公司