图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及用于检测两个不同画面之间的运动(运动向量)的图像处理设备和 图像处理方法。在本说明书中，术语“画面”是指由在显示器上作为单个图像出现的一场 (field)或一帧图像数据构成的图像。
背景技术：
各种图像处理运算可以通过检测两个画面之间的运动(运动向量)并使用所检测 到的运动向量来执行。例如，众所周知，如果使用两个画面之间的运动向量，则在处理这样的数据期间可 以高效地压缩运动图像数据。还知道，所检测的运动向量被用来检测摄像机的摇动和倾斜 并跟踪对象。此外，近年来，已经看到运动向量越来越多地在各种应用中使用，例如通过使用所 检测到的运动向量叠加图像来在低照明下拍摄期间的进行无传感器的晃动校正和噪声去 除。块匹配法和梯度法是已知的运动向量计算方法的示例。通常使用块匹配法。块匹配法通过逐块地计算所关心的参考画面与作为参考画面中的运动的起源的 模板画面之间的相关度，来计算参考画面与模板画面这两个画面之间的运动向量，一个块 是具有预定尺寸的长方形区域。S卩，块匹配法针对参考画面的搜索区域中所设置的多个参考块中的每个参考块， 得到模板画面中所设置的模板块与这多个参考块之间的相关度。相关度表示这两个块相互 之间有多相关。运动向量是相对于模板块基于具有得到的所有相关度中的最大值的那个参 考块来计算出的。应当注意，存在两种情况，一种是模板画面在参考画面之前(例如，MPEG中的运动 检测)，另一种是参考画面在模板画面之前(例如，通过叠加图像帧进行的降噪)。如前所述，在本说明书中，术语“画面”是指由一场或一帧图像组成的图像。为了 以下本说明书中的描述方便，假定一个画面由一帧组成。结果，画面被称为帧。因此，参考 画面被称为参考帧，并且模板画面被称为模板帧。以下，将参考图27A至图30来概要描述现有的普通块匹配法。 这里所描述的块匹配方法例如将模板帧100划分成多个长方形区域(称为块)，每 个块具有预定的尺寸并且由多个水平像素和多个垂直行组成，如图27A所示。模板帧100 中的这多个块102中的每一个被称为模板块。 块匹配从参考帧101中的那些块中搜索与模板块102高度相关的块。参考帧101 中所设置的与模板块102等同尺寸的块被称为参考块。作为该搜索的结果被检测为参考 帧101中具有最高相关度的参考块103 (参考图27B)被称为运动补偿块。另一方面，模板 块102与运动补偿块103之间的位移(包括位移的大小和方向)被称为运动向量(参考图 27B中的标号104)。
5
当假定每个模板块102的投影图像块109在参考帧101中的位置与模板块102在 模板帧100中的位置相同时，运动向量104对应于该模板块的投影图像块109的位置(例 如，中心)与运动补偿块103的位置(例如，中心)之间的位移。运动向量104还包含位移 的大小分量和方向分量。以下，将简要概括块匹配处理。如图28中的虚线所示，假定每个模板块102的投 影图像块109在参考帧101中的位置与模板块102在模板帧100中的位置相同。该模板块 的投影图像块109的中心的坐标被设置为运动检测原点105。假定运动向量104存在于运 动检测原点105的给定区域以内，以运动检测原点105为中心的预定区域被设置为搜索区 域106 (参考图27B中的长短虚线)。接着，在参考帧中设置与模板块102等同尺寸的块(参考块)108。然后，参考块 108例如在搜索区域106中每次水平或垂直地移动一个或多个像素。因此，这多个参考块 108被设置在搜索区域106中。这里，在搜索区域106中移动参考块108是指在搜索区域106中移动参考块108 的中心，因为运动检测原点105是该参考块的中心。因此，组成参考块108的像素被推离搜 索区域106。接着，在每个参考块108的搜索区域中设置向量(称为参考向量)107(参考图 27B)。参考向量107表示所关心的参考块108与模板块102之间的位移的大小和方向。然 后，评估在由参考向量107之一指示的位置处的参考块108的图像内容与模板块102的图 像内容之间的相关性。如图29中所示，当参考块108的水平位移(X方向上)是Vx并且其垂直位移(Y 方向)是Vy时，参考向量107可以表示为向量(Vx，Vy)。例如，如果参考块108在X方向上从模板块102移动一个像素，则参考向量107是 向量(1，0)。另一方面，如果如图30中所示，参考块108从模板块102在X方向上移动三个 像素并且在Y方向上移动两个像素，则参考向量107是向量(3，2)。S卩，当如图30中的示例所示假定参考块108和模板块102的位置是各个块的中心 时，参考向量107表示参考块108的中心与模板块102的中心之间的位移。参考块108在搜索区域106中移动。在这种情况中，参考块108的中心在搜索区 域106中移动。如之前所描述的，参考块108由多个水平和垂直的像素组成。因此，要对照 模板块102去匹配的参考块108移动的最大区域是匹配区域110，匹配区域110比搜索区域 106大，如图30中所示。被检测为与模板块102具有最高的图像内容相关度的参考块108的位置被检测 出，作为模板块102 (运动后)在参考帧101中的位置。所检测出的参考块被确定为运动补 偿块103。然后，所检测到的运动补偿块103的位置与模板块102的位置之间的位移被检测 出，作为运动向量104，运动向量104具有是包含方向分量的量(参考图27B)。这里，表示模板块102与搜索区域106中所设置的多个参考块108相互之间的相 关程度的相关水平基本上使用模板块102和参考块108的相关像素值来计算。已经提出了 各种用来获取相关水平的方法，包括使用均方值的一种方法以及适于计算块中像素的差分 和的其它方法。如上所述，块匹配法计算参考块与模板块之间的相关度作为指示这些块相互相似的评估水平。接着，具有计算出的高相关度(高评估水平)的参考块在搜索区域中被检测 出。然后，具有高评估水平的参考块与模板块之间的位移的大小和方向被检测出，作为相对 于该模板块的运动向量。由于以上块匹配法针对搜索区域中所设置的多个参考块中的每一个来计算这些 参考块与模板块之间的相关度，因此产生大量图像处理运算(图像处理周期)并且导致高 功耗。为了解决这一问题，已经提出了一种方法。该方法将模板帧和参考帧组织到层中。 每层包括高分辨率图像和通过缩小该高分辨率图像获得的低分辨率图像。针对每层计算运 动向量(参考日本专利申请特开2009-55410号公报，以下称为专利文件1)。该分层运动向量计算方法针对低分辨率图像来寻找相对于模板块的运动向量，以 基于所得到的运动向量来确定高分辨率图像中参考块相对于模板块的搜索区域。这使得可 以缩小高分辨率图像的参考帧中参考块的搜索区域。从以上所述，分层法为低分辨率图像中的运动向量的计算提供减少数目的像素， 因此为模板块与参考块之间的相关度的计算确保减少的算术运算。因为有基于低分辨率图 像获得的运动向量，所以可以缩小高分辨率图像中参考块相对于模板块的搜索区域。这使 得可以利用较少数目的图像处理运算(图像处理周期)来针对目标分辨率图像计算出相对 于模板块的运动向量。然而，如果图像被以高缩小比缩小，即使分层运动向量计算方法也不能得到精确 的运动向量。因此，单独的分层运动向量计算方法在减少图像处理运算的数目和功耗上具 有其限制性。相对照地，例如，日本专利申请特开2004-56305号公报(以下称为专利文件2)公 开了设计用于通过将图像分离到频带中来将低频图像和高频图像组织到层中这样的技术。 该技术在高频分量的和低于阈值时跳过针对高频图像的运动向量计算。

发明内容
然而，专利文件2中所公开的方法需要将图像信号分离到频带中以用于对图像进 行分层组织这样的处理运算，导致增多的而不是减少的图像处理运算。此外，专利文件2中所公开的方法跳过针对整个高频图像帧的运动向量计算。因 此，如果高频图像在真个帧中占很高比例，则运动向量计算不会被跳过，因此使得不能减少
计算量。鉴于以上所述，希望提供更有效地减少处理周期数以降低功耗的图像处理设备和 方法。为了解决以上问题，根据本发明一个实施例的一种图像处理设备包括高分辨率 模板帧缓冲器；高分辨率参考帧缓冲器；低分辨率模板帧缓冲器；低分辨率参考帧缓冲器； 低分辨率运动向量计算部件；高分辨率运动向量计算部件；以及高分辨率层计算确定部 件。高分辨率模板帧缓冲器存储高分辨率模板帧的图像信息。高分辨率参考帧缓冲器存储 高分辨率参考帧的图像信息。低分辨率模板帧缓冲器存储通过缩小高分辨率模板帧的图像 得到的低分辨率模板帧的图像信息。低分辨率参考帧缓冲器存储通过缩小高分辨率参考帧 的图像得到的低分辨率参考帧的图像信息。低分辨率运动向量计算部件针对低分辨率模板
7帧和低分辨率参考帧中的低分辨率层的每个块计算低分辨率运动向量。每个块具有预定尺 寸并且由多个像素组成。高分辨率运动向量计算部件使用低分辨率层运动向量的计算结果 来针对高分辨率模板帧与高分辨率参考帧中的高分辨率层的每个块计算高分辨率层运动 向量。高分辨率层的块具有与低分辨率层的块相关联的尺寸。高分辨率层计算确定部件针 对高分辨率层的每个块确定是否计算运动向量。如果高分辨率层计算确定部件针对高分辨率层的块确定应当计算运动向量，则高 分辨率运动向量计算部件被激活来在高分辨率层中计算运动向量。另一方面，如果高分辨 率层计算确定部件针对高分辨率层的块确定不需要计算运动向量，则高分辨率运动向量计 算部件不被激活，而是通过根据所述高分辨率层的图像尺寸来缩放由低分辨率运动向量计 算部件计算出的低分辨率层的运动向量得到的运动向量被用作替代值。根据如上所述那样配置的实施例的图像处理设备不是通过分离到频带而是通过 图像缩小来将帧组织到层中，因此使得分层处理简单。在高分辨率层中，是否计算运动向量是对高分辨率模板帧逐块确定的。这使得可 以根据要计算运动向量的模板帧和参考帧的图像内容来在适当时跳过针对高分辨率层的 块的运动向量计算。本实施例对高分辨率模板帧逐块确定是否在高分辨率层中计算运动向量。这使得 可以根据模板帧和参考帧的图像内容来在适当时跳过针对高分辨率层的块的运动向量计 算，从而精确地提供减少的处理周期数和降低的功耗。


图1是图示出根据本发明的图像处理设备的第一实施例的硬件配置的示例的框 图；图2是用于描述用于根据本发明的图像处理设备的实施例的分层块匹配处理的 示图；图3是用于描述用于根据本发明的图像处理设备的实施例的分层块匹配处理的 示图；图4A至图4C是用于描述用于根据本发明的图像处理设备的实施例的分层块匹配 处理的示图；图5是用于描述用于根据本发明的图像处理设备的实施例的分层块匹配处理的 示图；图6是用于描述用于根据本发明的图像处理设备的实施例的分层块匹配处理的 示图；图7是图示出用来描述根据本发明的图像处理设备的实施例的计算公式的示图；图8是用于描述用于根据本发明的图像处理设备的实施例的块匹配处理的流程 的流程图；图9是用于描述根据本发明第一实施例的图像处理设备中的处理流程的流程图；图10是描述根据本发明第二实施例的图像处理设备的硬件配置的示例的框图；图11是用于描述根据本发明第二实施例的图像处理设备的处理流程的流程图；图12是用于描述根据本发明第三实施例的图像处理设备的硬件配置的示例的框图；图13是用于描述根据本发明第三实施例的图像处理设备中的处理流程的流程 图；图14是用于图示出根据本发明第四实施例的图像处理设备的硬件配置的示例的 框图；图15是用于描述根据本发明第四实施例的图像处理设备中的处理流程的流程 图；图16是图示出根据本发明第五实施例的图像处理设备的硬件配置的示例的框 图；图17是用于描述根据本发明第五实施例的图像处理设备中的处理流程的流程 图；图18是图示出根据本发明第六实施例的图像处理设备的硬件配置的示例的框 图；图19是用于描述根据本发明第六实施例的图像处理设备中的处理流程的流程 图；图20是图示出根据本发明第七实施例的图像处理设备的硬件配置的示例的框 图；图21是用于描述根据本发明第七实施例的图像处理设备中的处理流程的流程 图；图22是图示出根据本发明第八实施例的图像处理设备的硬件配置的示例的框 图；图23是用于描述根据本发明第八实施例的图像处理设备中的处理流程的流程 图；图24是用于描述根据本发明另一实施例的图像处理设备的示图；图25是用于描述根据本发明又一实施例的图像处理设备的示图；图26是用于描述根据本发明又一实施例的图像处理设备中的处理流程的流程 图；图27A和图27B是用于描述用于根据本发明的图像处理设备的实施例的块匹配处 理的概要的示图；图28是用于描述用于根据本发明的图像处理设备的实施例的块匹配处理的概要 的示图；图29是用于描述用于根据本发明的图像处理设备的实施例的块匹配处理的概要 的示图；图30是用于描述用于根据本发明的图像处理设备的实施例的块匹配处理的概要 的示具体实施例方式以下，将参考附图来描述根据本发明的图像处理设备和方法的实施例中的某些实 施例。
以下，在进行实施例的，描述之前，将给出用于本发明实施例的使用分层运动向量 计算方法的图像处理设备的概要。在本实施例中，首先，从原始图像(高分辨率图像)获得缩小的图像(低分辨率图 像)。接着，通过块匹配在缩小的图像中得到运动向量。最后，基于缩小的图像中的运动向 量检测结果在原始的高分辨率图像中执行块匹配。图2和图3图示出模板和参考帧的图像缩小的概念示意。即，在本实施例中，高 分辨率帧120在水平方向和垂直方向上都缩小至l/n(n 正整数)来产生低分辨率模板帧 121。即，水平和垂直的像素在数目上缩小至1/n来产生低分辨率图像信息。如前所述，针对该帧被划分成的多个块中的每一个块检测运动向量。通过将高分 辨率帧120划分成多个块产生的高分辨率模板块122被缩小，变成低分辨率模板帧中的低 分辨率模板块123。低分辨率模板块123在水平方向和垂直方向上都被缩小至1/n。参考帧以与模板帧相同的图像缩小比或1/n被缩小。即，如图3中所示，高分辨 率参考帧124在水平方向和垂直方向上都缩小至1/n (η 正整数)来产生低分辨率参考帧 125。高分辨率参考帧124中所设置的高分辨率参考块126变成低分辨率参考帧125中 的低分辨率参考块127。低分辨率参考块127在水平方向和垂直方向上都被缩小至1/n。高 分辨率参考帧124中所检测到的高分辨率运动向量128在低分辨率参考帧125中被检测为 是在水平方向和垂直方向上都被缩小至1/n的低分辨率运动向量129。图4A至图4C图示出低分辨率运动向量与高分辨率运动向量之间的关系。参考帧 中所设置的搜索区域例如以运动检测原点131和132为中心，运动检测原点131和132与 位于与参考块的中心相关联的位置处的参考块的中心相同。如图4B中所示在水平方向和垂直方向上都已被缩小至1/n的低分辨率参考帧125 中所设置的低分辨率搜索区域134变成如图4A中所示的高分辨率参考帧124中的搜索区 域133或更大的区域。在该分层处理的示例中，在低分辨率搜索区域134中设置低分辨率参考向量135。 向量135表示从低分辨率参考帧125中的运动检测原点132的位移。低分辨率模板块123 与位于由各个低分辨率参考向量135指示的位置处的低分辨率参考块127之间的相关性被 评估(参考图2)。然后，具有高相关性评估水平的低分辨率参考块127的低分辨率参考向量被检测 出作为低分辨率运动向量129(参考图3)。在该情况中，块匹配在缩小图像中被执行，从而在低分辨率参考帧125中提供较 少数目的要计算相关水平的低分辨率参考块的位置。这提供较少次数的相关水平计算(匹 配处理执行)，因此提供降低的功耗。如图5中所示，在根据低分辨率搜索区域134确定的低分辨率匹配区域143中设 置多个低分辨率参考块和模板块。在相同区域143中，在参考块和模板帧之间执行块匹配。 低分辨率参考帧125中的低分辨率运动向量129是基于块匹配的相关性评估来计算的。所检测到的低分辨率运动向量129精度低或具有η倍像素的精度，这是因为图像 在水平方向上和垂直方向生都被缩小至1/n。结果，将该计算出的运动向量129乘以η并不 能在高分辨率参考帧124中提供任何像素精度的运动向量。
然而，显然，在高分辨率参考帧124中，在通过将低分辨率运动向量129乘以η获 得的运动向量附近，存在像素精度的高分辨率运动向量。因此，在该示例中，如图4C和图5中所示，在高分辨率参考帧124中设置高分辨率 搜索区域140。区域140以由用低分辨率运动向量129乘以η得到的运动向量所指示的位 置为中心。由用低分辨率运动向量129乘以η得到的运动向量所指示的位置被设置为高分 辨率参考帧124中所检测到的高分辨率运动向量的原点。高分辨率搜索区域140是很有可能存在高分辨率运动向量的小区域。该小区域 140以设置成比搜索区域133 (参考图4Α)小很多，搜索区域133是在高分辨率参考帧124 中未执行分层处理时设置的。高分辨率匹配区域144根据已被设置的高分辨率搜索区域 140来设置。高分辨率参考帧124的高分辨率向量被设置为高分辨率搜索区域140中的位置指 示符。这些高分辨率参考向量的原点在由用低分辨率运动向量129乘以η得到的运动向量 所指示的位置处。高分辨率参考帧块142被设置在由高分辨率参考向量指示的位置处。在 高分辨率帧120的相同块142与高分辨率模板块122之间计算上述相关度。与高分辨率模板块122具有最高相关度的高分辨率参考块142的高分辨率参考向 量被检测出作为高分辨率运动向量。针对高分辨率模板块的逐块运动向量被检测出作为以下两个向量的合成向量，这 两个向量即高分辨率参考帧124中所检测到的高分辨率运动向量和低分辨率参考帧125中 所检测到的低分辨率运动向量。S卩，在该分层处理的示例中，如图6中所示，在作为来自原始图像的缩小图像的低 分辨率模板帧121中设置低分辨率模板块123。低分辨率模板块123与高分辨率帧120中 所设置的高分辨率模板块相关联。通过低分辨率模板帧121与低分辨率参考帧125之间的 块匹配来得到针对低分辨率模板块123的低分辨率运动向量129。接着，在高分辨率参考帧124中以由运动向量151指示的位置为原点设置搜索区 域。向量151是用低分辨率运动向量129乘以η得到的。在该搜索区域中设置多个高分辨 率参考块。得到这多个高分辨率参考块中的每一个与高分辨率模板块122之间的相关度。 与具有最高相关度的高分辨率参考块相关联的高分辨率参考向量被检测出作为高分辨率 运动向量152。针对高分辨率模板块122所关心的逐块运动向量153被检测出，作为用低分辨率 运动向量129乘以η得到的运动向量151与高分辨率运动向量152这两个向量的合成向量。这里，用MVl表示低分辨率运动向量129，用MV2表示高分辨率运动向量152，并且 用MV表示所关心的逐块运动向量153，则用下式计算MV MV = nMVl+MV2如图5中所示，高分辨率参考帧124中所设置的高分辨率搜索区域140和高分辨 率匹配区域144分别比搜索区域134’和匹配区域143’小得多。搜索区域134’和匹配区 域143’分别是通过将低分辨率搜索区域134和低分辨率匹配区域143乘以缩小比的倒数 η得到的。如果在不进行分层匹配的情况下在高分辨率层中执行块匹配，则必须在搜索区域 134’和匹配区域143’中设置多个参考块来计算与模板块的相关水平。然而，分层匹配处理
11仅需要在如图5中明显小的区域中执行匹配。因此，在同样的这些区域，即，高分辨率搜索区域140和高分辨率匹配区域144中， 仅设置数目明显要少的高分辨率参考块，因此，提供数目少得多的匹配(相关水平计算)。 这提供减少的处理量、降低的功耗以及更快的处理。应当注意，在以上描述中，模板帧和参考帧被以相同的图像缩小比缩小。然而，为 了减小计算量，也可以以这样的方式执行匹配，其中，模板帧和参考帧以不同的图像缩小比 被缩小并且这两个帧的像素数例如通过像素插值而被设置成相等。在以上描述中，另一方面，水平方向和垂直方向上的图像缩小比相同。然而，水平 方向和垂直方向上的图像缩小比可以不同。例如，如果该帧在水平方向上被缩小至1/n并 且在垂直方向上被缩小至l/m(m:正数并且！！兴！!!)，则缩小画面在水平方向是原始尺寸的 1/n并且在垂直方向上是原始尺寸的1/m。应当注意，在以上分层处理中，所关心的逐块运动向量被计算出，作为低分辨率运 动向量和高分辨率运动向量的合成向量。这样做的原因是因为高分辨率参考向量的原点在 由用低分辨率运动向量乘以图像缩小比的倒数得到的运动向量所指示的位置处。如果高分辨率参考向量的原点留在高分辨率模板块的中心而不改变，则所检测到 的高分辨率运动向量可以原样(as-is)用作所关心的逐块运动向量。在以上描述中，块匹配总是使用利用低分辨率帧获得的块匹配结果在高分辨率帧 之间执行。相对照地，根据本发明的实施例确定在高分辨率层中是否要针对高分辨率帧中的 每个高分辨率模板块计算运动向量。如果确定不必计算运动向量，则对于这些高分辨率模 板块，跳过运动向量计算。在高分辨率层，不对其计算运动向量的那些高分辨率模板块的运动向量用通过将 低分辨率运动向量乘以图像缩小比的倒数得到的运动向量替代，这些针对第分辨率模板块 获得的低分辨率运动向量与所关心的高分辨率模板块相对应。如以下将要描述的，存在用来针对高分辨率层中的各个高分辨率模板块确定是否 计算运动向量的若干方法。下述多个实施例的不同在于它们如何确定是否针对各个高分 辨率模板块计算运动向量。所有实施例都以上述分层处理为先决条件。[第一实施例]图1是图示出根据本发明第一实施例的图像处理设备的主要组件的配置示例的 框图。应当注意，不仅根据第一实施例的图像处理设备还有根据稍后描述的实施例的其它 图像处理设备都是适于从运动图像信号检测运动向量的运动向量检测器。第一实施例仅使用低分辨率层中的信息来确定是否针对每个高分辨率模板块计 算运动向量。在该示例中，仅低分辨率图像，即，原始图像的缩小图像的信息被使用，因此提 供进一步减少的处理周期和功耗。如图1中所示，在该示例中，被延迟一帧的每个在前帧的运动图像信号被加载到 高分辨率模板帧缓冲器1，作为模板帧信号TG。当前帧中每一帧的信号的运动图像信号被加载到高分辨率参考帧缓冲器2，作为 参考信号帧REF。高分辨率模板帧缓冲器1和高分辨率参考帧缓冲器2可以分别包括分离的帧存储器。可替换地，这两个缓冲器可以包括能存储多个帧的单个图像存储器中不同的存储区域。被加载到高分辨率模板帧缓冲器1中的高分辨率模板帧的图像信号被图像缩小 部件3缩小至原始的l/η，以用作上述低分辨率模板帧的图像信号，然后，所产生的信号被 存储在低分辨率模板帧缓冲器5中。被加载到高分辨率参考帧缓冲器2中的高分辨率参考帧的图像信号被图像缩小 部件4缩小至原始的l/η，以用作上述低分辨率参考帧的图像信号，然后，所产生的信号被 存储在低分辨率参考帧缓冲器6中。低分辨率模板帧缓冲器5和低分辨率参考帧缓冲器6也可以分别包括分离的帧存 储器。可替换地，这两个缓冲器可以包括能够存储多个帧的单个图像存储器的不同存储区 域。低分辨率模板块确定部件7从低分辨率模板帧中所设置的多个低分辨率模板块 中，顺次确定要对其检测低分辨率运动向量的低分辨率模板块。该部件7从低分辨率模板 帧缓冲器5读出所确定的低分辨率模板块的图像信号并且将该信号提供给低分辨率运动 向量计算部件9。低分辨率模板块确定部件7将有关所确定的低分辨率模板块的位置信息通知低 分辨率参考块确定部件8。低分辨率参考块确定部件8基于来自低分辨率模板块确定部件7的有关所确定的 低分辨率模板块的位置信息，确定低分辨率参考帧中的搜索区域(匹配区域)。部件8从低 分辨率参考帧缓冲器6顺次读出所确定的搜索区域的多个低分辨率参考块，并且将这些块 提供给低分辨率运动向量计算部件9。低分辨率运动向量计算部件9计算低分辨率模板块与所确定的搜索区域中的多 个低分辨率参考块中的每一个之间的相关度。在该示例中，对于低分辨率模板块和低分辨率参考块中的所有像素，低分辨率模 板块中的像素的亮度水平与低分辨率参考块中的像素的亮度水平之间的差的绝对值之和 (参考图7中的式1)被用作相关水平，相关水平用作指示相关度的度量。这些差的绝对值 之和被称为绝对差分和。以下，该绝对差分和被称为SAD (绝对差分和)值。如果SAD值被 用作相关水平，则SAD值越小，两个块越相关(相关度越高)。低分辨率运动向量计算部件9检测出与具有最高相关度的低分辨率参考块相关 联的低分辨率参考向量来作为针对低分辨率模板块的低分辨率运动向量。该部件9将有关低分辨率模板帧中的低分辨率模板块的位置信息和针对该低分 辨率模板块检测到的低分辨率运动向量存储到低分辨率运动向量缓冲器10中。低分辨率运动向量缓冲器10存储有关低分辨率模板帧中的所有低分辨率模板块 的位置信息和针对这些低分辨率模板块检测到的低分辨率运动向量。图8图示出由低分辨率模板块确定部件7、低分辨率参考块确定部件8和低分辨率 运动向量计算部件9执行的处理的流程。图8图示出针对单个低分辨率模板帧的所有低分 辨率模板块执行的处理的流程。图8中所示的处理流程与低分辨率模板块确定部件7、低分辨率参考块确定部件8 和低分辨率运动向量计算部件9的处理例如使用微机通过软件来执行时的处理流程相同。应当注意，图8没有清楚地说明模板块和参考块是低分辨率层中的那些块。这是因为实际上在高分辨率层中以相同的方式计算运动向量。首先，在低分辨率模板帧中得到要对其得到低分辨率运动向量的低分辨率模板块 (步骤S101)。接着，针对已确定的低分辨率模板块确定搜索区域，之后在搜索区域中确定 低分辨率参考块(步骤S102)。接着，将得到在步骤S102中确定的低分辨率参考块与在步骤SlOl中确定的低分 辨率模板块之间的相关水平(步骤S103)。在该示例中，得到SAD值作为前述相关水平。接着，已得到的相关水平(SAD值)与低分辨率参考帧中低分辨率参考块的位置相 互关联地存储(步骤S104)。接着，判断是否已对搜索区域中的所有低分辨率参考块完成了相关水平计算(步 骤 S105)。如果在步骤S105中判断还未对所有低分辨率参考块完成相关水平的计算，则控 制返回步骤S102，在步骤S102中，在搜索区域中确定还未完成相关水平计算的低分辨率参 考块，之后，重复步骤S102之外的处理步骤。如果在步骤S105中判断已经对所有低分辨率参考块完成了相关水平的计算， 则从搜索区域中的低分辨率参考块中检测出具有最高相关度的低分辨率参考块(步骤 S106)。如果相关水平是SAD值，则检测出具有最小SAD值的低分辨率参考块。在步骤S106中检测出具有最高相关度的低分辨率参考块之后，与所检测出的低 分辨率参考块相关联的参考向量被检测出作为低分辨率运动向量并被写入低分辨率运动 向量缓冲器10(步骤S107)。接着，判断是否已经对低分辨率模板帧中的所有低分辨率模板块完成了低分辨率 运动向量的检测(步骤S108)。如果在步骤S108中判断还未对低分辨率模板帧中的所有低分辨率模板块完成低 分辨率运动向量的检测，则控制返回步骤S101，在步骤SlOl中，确定低分辨率模板帧中还 未对其检测低分辨率运动向量的低分辨率模板块，之后重复步骤SlOl以外的处理步骤。如果在步骤S108中判断已经对低分辨率模板帧中的所有低分辨率模板块完成了 低分辨率运动向量的检测，则该处理例程终止。以下，将描述图1中所示的高分辨率层的配置。高分辨率模板块确定部件11从高分辨率模板帧中所设置的多个高分辨率模板块 中，确定要对其检测高分辨率运动向量的高分辨率模板块。该部件11从高分辨率模板帧缓 冲器1读出所确定的高分辨率模板块的图像信号，并且将该信号提供给高分辨率运动向量 计算部件13。高分辨率模板块确定部件11将有关所确定的高分辨率模板块的位置信息通知高 分辨率参考块确定部件12。高分辨率参考块确定部件12基于从高分辨率模板块确定部件11提供的有关所确 定的高分辨率模板块的位置信息，从低分辨率运动向量缓冲器10获得针对相关联的低分 辨率模板块的低分辨率运动向量。该部件12基于从高分辨率模板块确定部件11提供的有关该高分辨率模板块的位 置信息和从低分辨率运动向量缓冲器10获得低分辨率运动向量，来在高分辨率参考帧中 确定搜索区域(匹配区域)。
14
该部件12从高分辨率参考帧缓冲器2顺次读出所确定的搜索区域的多个高分辨 率参考块并且将这些块提供给高分辨率运动向量计算部件13.高分辨率运动向量计算部件13以与图8中所示的处理流程相同的方式，计算高分 辨率模板块与所确定的搜索区域中的多个高分辨率参考块中的每一个之间的相关度。然而，应当注意，高分辨率层中步骤S102中参考块的确定期间的搜索区域确定与 低分辨率层中的搜索区域确定的区别在于如上所述，不仅使用高分辨率运动向量，还要使 用低分辨率运动向量。在该示例中，高分辨率运动向量计算部件13还执行以下计算将已经得到的高分 辨率运动向量与来自低分辨率运动向量缓冲器10的相关联的低分辨率运动向量合成来获 得分层处理后的运动向量。现有分层处理输出由高分辨率运动向量计算部件13获得的运动向量作为其最后 的运动向量。在该情况中，图8的步骤S107中所检测到的运动向量被存储在缓冲器中。然 而，在高分辨率层中，运动向量被输出，而没有被存储在缓冲器中。在根据本发明实施例的图像处理设备的分层处理中，图像处理设备确定在高分辨 率层中是否对已经设置的每个高分辨率模板块计算以上运动向量。如果图像处理设备确定 在高分辨率层中应当计算运动向量，则该装置输出由高分辨率运动向量计算部件13得出 的运动向量。另一方面，如果图像处理设备确定在高分辨率层中不必计算运动向量，则该装 置输出将针对在与高分辨率模板块相关联的位置处的低分辨率模板块得到的低分辨率运 动向量乘以图像缩小比的倒数得到的运动向量，作为替代的运动向量。因此，根据本发明实施例的图像处理设备包括高分辨率层计算确定部件14，缩放 部件15和运动向量切换部件16。缩放部件15将来自低分辨率运动向量缓冲器10的低分辨率运动向量乘以图像缩 小比的倒数并且将所产生的运动向量提供给运动向量切换部件16。运动向量切换部件16接收两个运动向量，即来自高分辨率运动向量计算部件13 的一个运动向量和来自缩放部件15的另一个运动向量，选择这两个向量中的一个并且输 出所选择的运动向量。高分辨率层计算确定部件14从高分辨率模板块确定部件11接收有关所确定的高 分辨率模板块的位置信息。该部件14基于所接收到的位置信息来识别高分辨率模板块并 且如后所述确定在高分辨率层中是否对该高分辨率模板块计算运动向量。高分辨率层计算确定部件14向高分辨率运动向量计算部件13和高分辨率参考块 确定部件12提供控制信号CTL来确定是否执行计算和处理。此外，在该实施例中，该部件 14将切换控制信号SW提供给运动向量切换部件16以用于选择输出这两个运动向量中的一 个。如果高分辨率层计算确定部件14确定在高分辨率层中应当执行计算，则该部件 14使用控制信号CTL来指示高分辨率运动向量计算部件13和高分辨率参考块确定部件12 执行计算和处理。此外，如果高分辨率层计算确定部件14确定应当在高分辨率层执行计 算，则该部件14使用切换控制信号SW来指示运动向量切换部件16选择并输出来自高分辨 率运动向量计算部件13的运动向量。另一方面，如果高分辨率层计算确定部件14确定在高分辨率层中不必执行计算，
15则该部件14使用控制信号CTL来指示高分辨率运动向量计算部件13和高分辨率参考块确 定部件12不要执行任何计算或处理。此外，如果高分辨率层计算确定部件14确定在高分辨率层中不必执行计算，则该 部件14向低分辨率运动向量缓冲器10发送与高分辨率模板块的位置相关联的低分辨率运 动向量应当被读出这样的指示。结果，低分辨率运动向量缓冲器10将该低分辨率运动向量 提供给缩放部件15。缩放部件15将所接收到的低分辨率运动向量与图像缩小比的倒数相 乘并且将所产生的结果提供给运动向量切换部件16。如果高分辨率层计算确定部件14确定在高分辨率层不需要执行计算，则该部件 14使用切换控制信号SW来指示运动向量切换部件16选择并输出来自缩放部件15的运动 向量。因此，如果该部件14确定在高分辨率层不必执行计算，则运动向量切换部件16输出 通过将来自缩放部件15的低分辨率运动向量乘以图像缩小比的倒数获得的运动向量。<在第一实施例中由高分辨率层计算确定部件14执行的判断>在第一实施例中，高分辨率层计算确定部件14如下进行判断。该部件14获取针对与由高分辨率模板块确定部件11确定的高分辨率模板块相关 联的低分辨率模板块的低分辨率运动向量。该部件14从低分辨率运动向量缓冲器10获得 该运动向量。即，该部件14向缓冲器10发送与该高分辨率模板块相关联的低分辨率模板 块应当被读出的指示，从而获得该运动向量。在第一实施例中，高分辨率层计算确定部件14判断所获得的低分辨率运动向量 是否大于预定阈值。部件14根据判断结果来确定是否在高分辨率层中计算运动向量。这里，部件14使用图7中式(2)中所示的欧几里德距离和式3中所示的曼哈顿距 离来计算运动向量(X，y)的大小|V(X，y) I。如果高分辨率层计算确定部件14判断低分辨率运动向量的大小等于或大于预定 阈值，则部件14确定在高分辨率层中应当计算运动向量。结果，部件14输出与该确定结果 相应的控制信号CTL和切换控制信号SW。另一方面，如果高分辨率层计算确定部件14判断 低分辨率运动向量的大小小于预定阈值，则部件14确定在高分辨率层中不必计算运动向 量。结果，部件14输出与该确定结果相应的控制信号CTL和切换控制信号SW。部件14进行这些判断，是因为当低分辨率运动向量的大小小于预定阈值时，在两 个画面之间很有空仅发生很小的运动，并且在通过使用高分辨率运动向量得到的最终运动 向量与低分辨率运动向量之间可能仅有很小的差。因此，该阈值是根据作为通过使用高分辨率运动向量得到的最终运动向量与低分 辨率运动向量之间的差能够被容忍的水平来确定的。以下，将参考图9中所示的流程图来描述第一实施例中高分辨率层中的处理流程。该流程图中所示出的处理对应于高分辨率模板块确定部件11、高分辨率参考块确 定部件12、高分辨率运动向量计算部件13和高分辨率层计算确定部件14由微机构成时的 软件处理。对于稍后描述的其它实施例同样如此。首先，在高分辨率模板帧中确定要对其得出高分辨率运动向量的高分辨率模板块 (步骤 S111)。接着，从低分辨率运动向量缓冲器10获得在与所确定的高分辨率模板块相关联的位置处的低分辨率模板块(低分辨率运动向量)(步骤S112)。计算出所获得的低分辨率运动向量的大小来判断其大小是否等于或大于阈值 (步骤 Sl 13)。如果在步骤S113中判断所计算出的低分辨率运动向量的大小等于或大于阈值， 则在高分辨率层中计算运动向量。得到的运动向量输出到运动向量切换部件16(步骤 Sl 14)。步骤Sl 14中的处理流程在细节上与针对图8中的虚线所包围的运动向量计算相同。另一方面，如果在步骤S113判断所计算出的低分辨率运动向量的大小小于阈值， 则在高分辨率层中不计算运动向量。而是，从低分辨率运动向量缓冲器10读出在与高分 辨率模板块相关联的位置处的低分辨率运动向量。此外，从运动向量切换部件16输出通 过将来自缩放部件15的低分辨率运动向量乘以图像缩小比的倒数获得的运动向量(步骤 S115)。在步骤S114和S115之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S116)。如果在步骤S116中判断还未对所有高分辨率模板块完成这些处理步 骤，则控制返回步骤S111，在步骤Slll中，设置未经处理的下一高分辨率模板块，之后重复 步骤Slll以外的处理步骤。另一方面，如果在步骤S116中判断已经对所有高分辨率模板 块完成了这些处理步骤，则该处理例程结束。[第二实施例]图10是图示出根据本发明第二实施例的图像处理设备的主要组件的配置示例的 框图。在图10中，用相似的标号标出与图1中所示的根据第一实施例的图像处理设备中的 组件相似的组件。第二实施例和以下将描述的其它几个实施例在配置和处理上与第一实施例相比， 除了提供给高分辨率层计算确定部件14的信息和使用该信息执行的处理的细节不同以 外，其余完全相同。与利用第一实施例一样，第二实施例也仅使用低分辨率层中的信息来确定是否对 每一个高分辨率模板块计算运动向量。在第二实施例中，高分辨率层计算确定部件14将与在和高分辨率模板块相关联 的位置处的低分辨率模板块的运动向量(低分辨率运动向量)相关联的相关水平与预定阈 值相比较。部件14基于比较结果来确定是否在高分辨率层中计算运动向量。与低分辨率模板块的低分辨率运动向量相关联的相关水平表示与低分辨率运动 向量相关联的低分辨率参考块与低分辨率模板块之间的相关度。在低分辨率层得出的低分 辨率运动向量在相关度很高时非常可靠。因此，很有可能不需要在高分辨率层中检测运动 向量。在通过使用高分辨率运动向量得到的最后的运动向量与低分辨率运动向量之间也很 有可能仅存在细微的差别。因此，在第二实施例中，高分辨率层计算确定部件14将与和在高分辨率模板块相 关联的位置处的低分辨率模板块的运动向量相关联的相关水平与预定阈值相比较来判断 相关度是否很高。如果高分辨率层计算确定部件14基于相关水平和阈值之间的比较的结果判断相 关度低，则部件14确定在高分辨率层应当计算运动向量。部件14输出与确定结果相应的 控制信号CTL和切换控制信号SW。另一方面，如果高分辨率层计算确定部件14基于相关水平和阈值之间的比较的结果判断相关度高，则部件14确定在高分辨率层中需要计算运动 向量。部件14输出与确定结果相对应的控制信号CTL和切换控制信号SW。因此，在第二实施例中，阈值是根据两个向量之间的相关度来确定的，这两个向量 即低分辨率层中基于其来确定是否需要在高分辨率层中计算运动向量的低分辨率运动向 量以及被检测为该运动向量的那个低分辨率参考向量。在第二实施例中，低分辨率运动向量缓冲器不仅存储有关低分辨率模板块的位置 信息和低分辨率运动向量，还存储与低分辨率运动线路工相关联的相关水平。该相关水平是由低分辨率运动向量计算部件9计算出的低分辨率模板块与搜索 区域中的多个低分辨率参考块中的每一个之间的所有相关水平中的最高值。如果使用SAD 值，则该相关水平是针对搜索区域中的多个低分辨率参考块计算出的所有SAD值中的最小 值。根据第二实施例的高分辨率层计算确定部件14从低分辨率运动向量缓冲器10获 得与在和高分辨率模板块相关联的位置处的低分辨率模板块的运动向量(低分辨率运动 向量)相关联的相关水平。结果，图10中所示的第二实施例的硬件配置与图1中所示的第一实施例的框图相 同。然而，第一实施例和第二实施例的不同在于在第一实施例中从低分辨率运动向量缓冲 器10获得的信息是低分辨率运动向量，而在第二实施例中获得的信息是与低分辨率运动 向量相关联的相关水平。以下将参考图11中的流程图来描述第二实施例中的高分辨率层中的处理流程。首先，在高分辨率模板帧中确定要对其得出高分辨率运动向量的高分辨率模板块 (步骤 S201)。接着，从低分辨率运动向量缓冲器10获得与在和所确定的高分辨率模板块相关 联的位置处的低分辨率模板块的运动向量(低分辨率运动向量)相关联的相关水平(步骤 S202)。所获得的相关水平与阈值相比较来判断与低分辨率运动向量相关联的低分辨率 参考块与低分辨率模板块之间的相关水平是高还是低(步骤S203)。如果SAD值被用作相 关水平，则当相关水平等于或小于阈值时判断相关度高。当相关水平大于阈值时，判断相关 度低。如果在步骤S203中判断相关度低，则在高分辨率层中计算运动向量。从运动向量 切换部件16中输出得到的运动向量(步骤S204)。步骤S204中的处理流程在细节上与图 8中用虚线围绕的运动向量计算的相同。另一方面，如果在步骤S203中判断相关度高，则在高分辨率层中不计算运动向 量。而是，从低分辨率运动向量缓冲器10中读出在与高分辨率模板块相关联的位置处的低 分辨率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分辨率 运动向量乘以图像缩小比的倒数获得的运动向量(步骤S205)。在步骤S204和S205之后，判断是否对所有高分辨率模板块执行了这些处理步骤 (步骤S206)。如果在步骤S206中判断还未对所有高分辨率模板块执行这些处理步骤，则 控制返回步骤S201，在步骤S201中，设置未经处理的下一高分辨率模板块，之后重复步骤 S201以外的处理步骤。另一方面，如果在步骤S206中判断已经对所有高分辨率模板块执行
18了这些处理步骤，则该处理例程结束。在以上描述中，应当注意，在第二实施例中，与低分辨率运动向量相关联的相关水 平被存储在低分辨率运动向量缓冲器10中。然而，可替换地，可以再计算在与高分辨率模 板块相关联的位置处的低分辨率模板块与低分辨率参考块之间的相关性而不是存储相关 水平，以计算与低分辨率向量相关联的相关水平，并且将所计算出的相关水平提供给高分 辨率层计算确定部件14。[第三实施例]图12是图示出根据本发明第三实施例的图像处理设备的主要组件的配置示例的 框图。在图12中，与图1中所示的根据第一实施例的图像处理设备的组件类似的组件用类 似的标号表示。与利用第一和第二实施例一样，第三实施例也仅使用低分辨率层的信息来确定是 否对每一个高分辨率模板块计算运动向量。在第三实施例中，高分辨率层计算确定部件14从在与高分辨率模板块相关联的 位置处的低分辨率模板块的图像信息计算边缘大小，以基于边缘大小来确定是否在高分辨 率层中计算运动向量。如果在与高分辨率模板块相关联的低分辨率模板块的图像信息中，边缘信息大， 则图像的内容复杂。结果，运动向量很有可能容易受检测误差的影响。另一方面，如果在与 高分辨率模板块相关联的低分辨率模板块的图像信息中，边缘信息小，则图像是平坦的。结 果，运动向量很有可能不容易受检测误差的影响。基于这一概念，在第三实施例中，如果与高分辨率模板块相关联的低分辨率模板 块的图像信息中的边缘信息大，则高分辨率层计算确定部件14确定应当在高分辨率层中 计算运动向量。另一方面，如果与高分辨率模板块相关联的低分辨率模板块的图像信息中的边缘 信息小，则部件14确定应当用低分辨率运动向量作为代替至而不是在高分辨率层中计算 运动向量。从以上所述，在图12中所示的根据第三实施例的硬件配置示例中，高分辨率层计 算确定部件14不从低分辨率运动向量缓冲器10接收信息，而是，部件14通过向低分辨率 模板块确定部件7做出请求来接收与由高分辨率模板块确定部件11确定的高分辨率模板 块相关联的低分辨率模板块的图像信息。第三实施例在所有其它方面都与第一实施例相同。在第三实施例中，高分辨率层计算确定部件14例如使用拉普拉斯滤波器来得到 低分辨率模板块中每个像素的边缘大小。部件14计算这些边缘大小的和来得到总的边缘 大小。应当注意，拉普拉斯滤波器可以通过对用系数给和给定像素(X，y)相邻的像素 (x-i, y-j)的亮度电平I(x-i，y-i)加权获得的值进行卷积来计算(参考图7中的式4)。 拉普拉斯滤波器的卷积系数矩阵α例如使用如图7的式5所示的系数，该矩阵的中心被设 置成要处理的像素的坐标。以下将参考图13中所示的流程图来描述第三实施例中的高分辨率层中的处理流禾呈。
19
首先，在高分辨率模板帧中确定要对其得到高分辨率运动向量的高分辨率模板块 (步骤 S301)。接着，获得在与所确定的高分辨率模板块相关联的位置处的低分辨率模板块的图 像信息来计算低分辨率模板块中的图像信息的边缘大小(步骤S302)。所计算出的边缘大小与预定的阈值相比较来判断边缘大小是否等于或大于阈值 (步骤 S303)。如果在步骤S303中判断边缘大小等于或大于阈值，则在高分辨率层中计算运动 向量，并且从运动向量切换部件16输出所得到的运动向量(步骤S304)。步骤S304中的处 理流程在细节上与图8中用虚线包围的运动向量计算的相同。另一方面，如果在步骤S303中判断边缘大小小于阈值，则在高分辨率层中不计算 运动向量。而是，从低分辨率运动向量缓冲器10读出在与高分辨率模板块相关联的位置处 的低分辨率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分 辨率运动向量乘以图像缩小比的倒数获得的运动向量(步骤S305)。在步骤S304和S305之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S306)。如果在步骤S306中判断还未对所有高分辨率模板块完成这些处理步 骤，则控制返回步骤S301，在步骤S301中，设置未经处理的下一高分辨率模板块，之后，重 复步骤S301以外的处理步骤。另一方面，如果在步骤S306中判断已经对所有高分辨率模 板块完成了处理步骤，则该处理例程结束。[第四实施例]图14是图示出根据本发明第四实施例的图像处理设备的主要组件的配置示例的 框图。在图14中，与图1中所示的根据第一实施例的图像处理设备的组件类似的组件用类 似的标号表示。与利用第一至第三实施例一样，第四实施例也仅使用低分辨率层的信息来确定是 否对每一个高分辨率模板块计算运动向量。在第四实施例中，高分辨率层计算确定部件14基于与高分辨率模板块相关联的 位置处的低分辨率模板块与相同位置处的低分辨率参考块之间的相关度来确定是否在高 分辨率层中计算运动向量。如果相同位置处的低分辨率模板块与低分辨率参考块之间的相关度高，则在两个 画面之间很有可能仅发生小的运动，并且在通过使用高分辨率运动向量获得的最后的运动 向量与低分辨率运动向量之间很有可能仅存在细微的差别。另一方面，如果相同位置处的 低分辨率模板块与低分辨率参考块之间的相关度低，则在两个画面之间很有可能仅发生大 的运动，并且应当通过使用高分辨率运动向量来获得最后的运动向量。基于这一概念，在第四实施例中，如果与高分辨率模板块相关联的位置处的低分 辨率模板块与相同位置处的低分辨率参考块之间的相关度低，则高分辨率层计算确定部件 14确定应当在高分辨率层中计算运动向量。另一方面，如果与高分辨率模板块相关联的位置处的低分辨率模板块与相同位置 处的低分辨率参考块之间的相关度高，则部件14判断应当用低分辨率运动向量作为替代 值而不是在高分辨率层中计算运动向量。部件14将与高分辨率模板块相关联的位置处的低分辨率模板块与相同位置处的低分辨率参考块之间的相关度与阈值相比较，来判断相关度是否高。在图14中所示的根据第四实施例的硬件配置示例中，高分辨率层计算确定部件 14分别从低分辨率模板块确定部件7和低分辨率参考块确定部件8获得在与高分辨率模板 块相关联的位置处的低分辨率模板块和低分辨率参考块。即，部件14从高分辨率模板块确 定部件11获得有关高分辨率模板块的位置信息。部件14通过基于位置信息向低分辨率模 板块确定部件7和低分辨率参考块确定部件8做出请求，来获得在相关联的位置处的低分 辨率模板块和低分辨率参考块。高分辨率层计算确定部件14得到所获得的低分辨率模板块与参考块之间的相关 水平，例如作为SAD值。部件14将得到的SAD值与预定阈值相比较。部件14在SAD值等 于或小于阈值时判断相关度高。部件14在SAD值大于阈值时判断相关度低。第四实施例在所有其它方面与第一实施例相同。应当注意，在某些情况中，低分辨率运动向量计算部件9得出在低分辨率模板帧 和参考帧中的相同位置处的低分辨率模板块与参考块之间的相关水平。因此，在部件9中 设置保存缓冲器使得这些相关水平被存储在该缓冲器中。这使得部件9可以在来自高分辨 率层计算确定部件14的请求以及位置信息之后，向高分辨率层计算确定部件14提供针对 相关联的位置的相关水平。然而，应当注意，如果运动向量的大小大，则不计算低分辨率模板块与参考块之间 的相关水平。结果，在低分辨率运动向量计算部件9的保存缓冲器中可能不存在相关联的 相关水平。在该情况中，高分辨率层计算确定部件14必须如前所述获得相同位置处的低分 辨率模板块与参考块并且计算它们之间的相关水平。以下，将参考图15中所示的流程图来描述第四实施例中的高分辨率层中的处理 流程。首先，在高分辨率模板帧中确定要对其得到高分辨率运动向量的高分辨率模板块 (步骤 S401)。接着，获得与高分辨率模板块相关联的位置处的低分辨率模板块的图像信息以及 相同位置处的低分辨率参考块的图像信息来计算低分辨率模板块与参考块之间的相关水 平(步骤S402)。所获得的相关水平与阈值相比较来判断相同位置处的低分辨率模板块与低分辨 率参考块之间的相关度是高还是低(步骤S403)。如果SAD值被用作相关水平，则在相关水 平等于或小于阈值时，判断相关度高。当相关水平大于阈值时，判断相关度低。如果在步骤S403中判断相关度低，则在高分辨率层中计算运动向量，并且从运动 向量切换部件16输出所得到的运动向量(步骤S404)。步骤404中的处理流程在细节上与 图8中用虚线围绕的运动向量计算的相同。另一方面，如果在步骤S403中判断相关度高，则在高分辨率层中不计算运动向 量。而是，从低分辨率运动向量缓冲器10读出与高分辨率模板块相关联的位置处的低分辨 率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分辨率运动 向量乘以图像缩小比的倒数获得的运动向量(步骤S405)。在步骤S404和S405之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S406)。如果在步骤S406中判断还未对所有高分辨率模板块执行这些处理步
21骤，则控制返回步骤S401，设置未经处理的下一高分辨率模板块，之后重复步骤S401以外 的处理步骤。另一方面，如果在步骤S406中判断已经对所有高分辨率模板块完成了这些处 理步骤，则该处理例程结束。接着，将描述使用高分辨率层中的信息来确定是否在高分辨率层中计算运动向量 的实施例。在该情况中，使用高分辨率层的信息可以在有关是否在高分辨率层中计算运动 向量的确定中提供高的精度。[第五实施例]图16是图示出根据本发明第五实施例的图像处理设备的主要组件的配置示例的 框图。在图16中，与图1中所示的根据第一实施例的图像处理设备的组件类似的组件用类 似的标号表示。第五实施例通过将第三实施例的概念应用于使用高分辨率层中的信息这样的情 况来实现。在第五实施例中，高分辨率层计算确定部件14计算高分辨率模板块的图像信息 中的边缘大小，以基于边缘信息来确定是否在高分辨率层中计算运动向量。即，在第五实施例中，如果高分辨率模板块的图像信息中的边缘大小大，则部件14 确定应当在高分辨率层中计算运动向量。另一方面，如果高分辨率模板块的图像信息中的边缘大小小，则部件14确定应当 使用低分辨率运动向量作为代替值而不是在高分辨率层中计算运动向量。在图16中所示的根据第五实施例的硬件配置示例中，高分辨率层计算确定部件 14从高分辨率模板块确定部件11获得高分辨率模板块的图像信息。第五实施例在所有其它方面与第一实施例相同。与利用根据第三实施例高分辨率层计算确定部件14 一样，根据第五实施例的部 件14例如使用拉普拉斯滤波器来得到低分辨率模板块中的每个像素的边缘大小。部件14 计算这些边缘大小的和来得到总的边缘大小。以下，将参考图17中所示的流程图来描述第五实施例中的高分辨率层中的处理 流程。首先，在高分辨率模板帧中确定要对其得到高分辨率运动向量的高分辨率模板块 (步骤 S501)。接着，获得所确定的高分辨率模板块的图像信息来计算高分辨率模板块的图像信 息中的边缘大小(步骤S502)。所计算出的边缘大小与预定阈值相比较来判断边缘大小是否等于或大于阈值 (步骤 S503)。如果在步骤S503中判断边缘大小等于或大于阈值，则在高分辨率层中计算运动 向量，并且从运动向量切换部件16输出得到的运动向量(步骤S504)。步骤S504中的处理 流程在细节上图8中用虚线围绕的运动向量计算的相同。另一方面，如果在步骤S503中判断边缘大小小于阈值，则在高分辨率层中不计算 运动向量。而是，从低分辨率运动向量缓冲器10读出与高分辨率模板块相关联的位置处的 低分辨率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分辨 率运动向量乘以图像缩小比的倒数获得的运动向量(步骤S505)。
在步骤S504和S505之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S506)。如果在步骤S506中判断还未对所有高分辨率模板块执行这些处理步 骤，则控制返回步骤S501，设置未经处理的下一高分辨率模板块，之后重复步骤S501以外 的处理步骤。另一方面，如果在步骤S506中判断已经对所有高分辨率模板块完成了这些处 理步骤，则该处理例程结束。[第六实施例]图18是图示出根据本发明第六实施例的图像处理设备的主要组件的配置示例的 框图。在图18中，与图1中所示的根据第一实施例的图像处理设备的组件类似的组件用类 似的标号表示。第六实施例通过将第四实施例的概念应用于使用高分辨率层中的信息这样的情 况来实现。在第六实施例中，高分辨率层计算确定部件14基于相同位置处的高分辨率模板 块与高分辨率参考块之间的相关度来确定是否在高分辨率层中计算运动向量。如果相同位置处的高分辨率模板块与高分辨率参考块之间的相关度高，则在两个 画面之间很有可能仅发生小的运动，并且在通过分层处理获得的最后的运动向量与低分辨 率运动向量之间很有可能仅存在细微的差别。另一方面，如果相同位置处的高分辨率模板块与高分辨率参考块之间的相关度 低，则在两个画面之间很有可能仅发生大的运动，并且应当通过使用分层处理检测高分辨 率运动向量来获得最后的运动向量。基于这一概念，在第六实施例中，如果相同位置处的高分辨率模板块与高分辨率 参考块之间的相关度低，则高分辨率层计算确定部件14确定应当在高分辨率层中计算运 动向量。另一方面，如果相同位置处的高分辨率模板块与高分辨率参考块之间的相关度 高，则部件14确定应当用低分辨率运动向量作为替代值而不是在高分辨率层中计算运动向量。部件14将同位置处的高分辨率模板块与高分辨率参考块之间的相关度与阈值相 比较来判断相关度是否高。在图18中所示的根据第六实施例的硬件配置示例中，高分辨率层计算确定部件 14获得作为高分辨率模板块确定部件11的输出的高分辨率模板块的图像信息。此外，部件 14基于有关来自该部件11的高分辨率模板块的位置信息来访问高分辨率参考帧缓冲器2， 以获得相同位置处的高分辨率参考块的图像信息。接着，部件14使用所获得的图像信息来得到所获得的高分辨率模板块与参考块 之间的相关水平，例如作为SAD值。最终，部件14将得到的SAD值与预定阈值相比较。部 件14在SAD值等于或小于阈值时，判断相关度高。部件14在SAD值大于阈值时，判断相关 度低。第六实施例在所有其它方面与第一实施例相同。以下，将参考图19中所示的流程图来描述第六实施例中的高分辨率层中的处理 流程。首先，在高分辨率模板帧中确定要对其得到高分辨率运动向量的高分辨率模板块(步骤 S601)。接着，获得相同位置处的高分辨率模板块和高分辨率参考块的图像信息来计算高 分辨率模板块与参考块之间的相关水平(步骤S602)。所获得的相关水平与阈值相比较来判断相同位置处的高分辨率模板块与高分辨 率参考块之间的相关度是高还是低(步骤S603)。如果SAD值被用作相关水平，则在相关水 平等于或小于阈值时，判断相关度高。当相关水平大于阈值时，判断相关度低。如果在步骤S603中判断相关度低，则在高分辨率层中计算运动向量，并且从运动 向量切换部件16输出所得到的运动向量(步骤S604)。步骤604中的处理流程在细节上与 图8中用虚线围绕的运动向量计算的相同。另一方面，如果在步骤S603中判断相关度高，则在高分辨率层中不计算运动向 量。而是，从低分辨率运动向量缓冲器10读出与高分辨率模板块相关联的位置处的低分辨 率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分辨率运动 向量乘以图像缩小比的倒数获得的运动向量(步骤S605)。在步骤S604和S605之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S606)。如果在步骤S606中判断还未对所有高分辨率模板块执行这些处理步 骤，则控制返回步骤S601，设置未经处理的下一高分辨率模板块，之后重复步骤S601以外 的处理步骤。另一方面，如果在步骤S606中判断已经对所有高分辨率模板块完成了这些处 理步骤，则该处理例程结束。接着，将描述使用低分辨率层和高分辨率层中的信息来确定是否在高分辨率层中 计算运动向量的实施例。[第七实施例]图20是图示出根据本发明第七实施例的图像处理设备的主要组件的配置示例的 框图。在图20中，与图1中所示的根据第一实施例的图像处理设备的组件类似的组件用类 似的标号表示。在第七实施例中，高分辨率层计算确定部件14基于在相互关联的位置处的高分 辨率模板块与低分辨率模板块之间的相关度来确定是否在高分辨率层中计算运动向量。相同位置处的高分辨率模板块与低分辨率模板块之间的相关度是指原始图像和 通过该缩小原始图像得到的图像之间的相关度高。这很有可能意味着该块中的图像相对平 坦，几乎没有变化。在这样的情况中，在用分层处理获得的最终的运动向量与低分辨率运动 向量之间很有可能仅存在细微的差别。基于这一概念，在第七实施例中，如果在相互关联的位置处的高分辨率模板块与 低分辨率模板块之间的相关度低，则则高分辨率层计算确定部件14确定应当在高分辨率 层中计算运动向量。另一方面，如果在相互关联的位置处的高分辨率模板块与低分辨率模板块之间的 相关度高，则部件14确定应当用低分辨率运动向量作为替代值而不是在高分辨率层中计 算运动向量。部件14将在相互关联的位置处的高分辨率模板块与低分辨率模板块之间的相关 度与阈值相比较来判断相关度是否高。在图20中所示的根据第七实施例的硬件配置示例中，高分辨率层计算确定部件14获得作为高分辨率模板块确定部件11的输出的高分辨率模板块的图像信息。此外，部 件14从低分辨率模板块确定部件7获得在与高分辨率模板块相关联的位置处的低分辨率 模板块的图像信息。即，部件14通过基于从高分辨率模板块确定部件11获得的高分辨率 模板块的位置信息向低分辨率模板块确定部件7做出请求，来获得在相关联的位置处的低 分辨率模板块。接着，部件14得到所获得的高分辨率和低分辨率模板块之间的相关水平，例如作 为SAD值。最后，部件14将得到的SAD值与预定阈值相比较。部件14在SAD值等于或小 于阈值时，判断相关度高。部件14在SAD值大于阈值时，判断相关度低。第七实施例在所有其它方面与第一实施例相同。以下，将参考图21中所示的流程图来描述第七实施例中的高分辨率层中的处理 流程。首先，在高分辨率模板帧中确定要对其得到高分辨率运动向量的高分辨率模板块 (步骤 S701)。接着，获得相关联位置处的高分辨率模板块和低分辨率模板块的图像信息来计算 高分辨率与低分辨率模板块之间的相关水平(步骤S702)。所获得的相关水平与阈值相比较来判断相同位置处的高分辨率模板块与低分辨 率模板块之间的相关度是高还是低(步骤S703)。如果SAD值被用作相关水平，则在相关水 平等于或小于阈值时，判断相关度高。当相关水平大于阈值时，判断相关度低。如果在步骤S703中判断相关度低，则在高分辨率层中计算运动向量，并且从运动 向量切换部件16输出所得到的运动向量(步骤S704)。步骤704中的处理流程在细节上与 图8中用虚线围绕的运动向量计算的相同。另一方面，如果在步骤S703中判断相关度高，则在高分辨率层中不计算运动向 量。而是，从低分辨率运动向量缓冲器10读出与高分辨率模板块相关联的位置处的低分辨 率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分辨率运动 向量乘以图像缩小比的倒数获得的运动向量(步骤S705)。在步骤S704和S705之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S706)。如果在步骤S706中判断还未对所有高分辨率模板块执行这些处理步 骤，则控制返回步骤S701，设置未经处理的下一高分辨率模板块，之后重复步骤S701以外 的处理步骤。另一方面，如果在步骤S706中判断已经对所有高分辨率模板块完成了这些处 理步骤，则该处理例程结束。[第七实施例的修改例]在上述第七实施例中，基于在相互关联的位置处的高分辨率模板块与低分辨率模 板块之间的相关度来确定是否在高分辨率层中计算运动向量。相对照地，如果第四实施例 的概念被应用于使用低分辨率层和高分辨率层的信息这样的情况中，则可以得到在相互关 联的位置处的高分辨率模板块与低分辨率参考块之间的相关度。S卩，可以基于在相互关联的位置处的高分辨率模板块与低分辨率参考块之间的相 关度来确定是否在高分辨率层中计算运动向量。[第八实施例]图22是图示出根据本发明第八实施例的图像处理设备的主要组件的配置示例的
25框图。在图22中，与图1中所示的根据第一实施例的图像处理设备的组件类似的组件用类 似的标号表示。如前所述，高分辨率参考块确定部件12从低分辨率运动向量缓冲器10获得在与 高分辨率模板块相关联的位置处的低分辨率模板块的运动向量。接着，部件12识别由通过 将低分辨率运动向量乘以图像缩小比的倒数获得的运动向量所指示的位置。然后，部件12 在高分辨率参考帧中设置搜索区域。该区域以由该运动向量所指示的位置为中心。在第八实施例中，高分辨率层计算确定部件14通过对高分辨率参考块确定部件 12做出请求，来获得中心在由该低分辨率模板块的运动向量所指示的位置处的高分辨率参 考块的位置信息。以下，该位置处的高分辨率参考块将被称为判断高分辨率参考块。部件14使用所获得的位置信息从高分辨率参考帧缓冲器2获得判断高分辨率参 考块的图像信息。部件14还从高分辨率模板块确定部件11获得高分辨率模板块的图像信 肩、ο然后，在第八实施例中，部件14得到高分辨率模板块与判断高分辨率参考块之间 的相关度。部件14基于它们之间的相关度来确定是否在高分辨率层中计算运动向量。S卩，在第八实施例中，如果高分辨率模板块与判断高分辨率参考块之间的相关度 高，则部件14确定不需要在高分辨率层中计算运动向量。另一方面，如果高分辨率模板块 与判断高分辨率参考块之间的相关度低，则部件14确定应当在高分辨率层中计算运动向 量。同样，在第八实施例中，得出高分辨率模板块与判断高分辨率参考块之间的相关 水平。然后，所得出的相关水平与阈值相比较来判断相关度是否高。在该示例中，也用SAD 值作为相关水平。第八实施例在所有其它方面与第一实施例相同。应当注意，在第八实施例中，即使在高分辨率层不计算运动向量，高分辨率参考块 确定部件12也确定判断高分辨率参考块。然而，在以上实施例中，如果确定判断高分辨率 参考块的任务由高分辨率层计算确定部件14处理并且如果在高分辨率层中不计算运动向 量，则可以使部件12失效。以下，将参考图23中所示的流程图来描述第八实施例中的高分辨率层中的处理 流程。首先，在高分辨率模板帧中确定要对其得到高分辨率运动向量的高分辨率模板块 (步骤 S801)。接着，从低分辨率运动向量缓冲器10加载(获得)在与所确定的高分辨率模板块 相关联的位置处的低分辨率模板块的运动向量(步骤S802)。接着，所获得的在与所确定的高分辨率模板块相关联的位置处的低分辨率模板块 的运动向量乘以图像缩放比的倒数来将该运动向量缩放成与高分辨率图像成相适合的大 小(步骤S803)。接着，在高分辨率参考帧中确定由缩放后的运动向量指示的高分辨率参考块 (即，判断高分辨率参考块)(步骤S804)。使用在步骤S801中获得的高分辨率模板块的图像信息和在步骤S804中获得的判 断高分辨率参考块来计算高分辨率模板块与判断高分辨率参考块之间的相关水平(步骤S805)。得到的相关水平与阈值相比较来判断高分辨率模板块与判断高分辨率参考块之 间的相关水平是高还是低(步骤S806)。如果SAD值被用作相关水平，则在相关水平等于或 小于阈值时，判断相关度高。当相关水平大于阈值时，判断相关度低。如果在步骤S806中判断相关度低，则在高分辨率层中计算运动向量，并且从运动 向量切换部件16输出所得到的运动向量(步骤S807)。步骤S807中的处理流程在细节上 与图8中用虚线围绕的运动向量计算的相同。另一方面，如果在步骤S806中判断相关度高，则在高分辨率层中不计算运动向 量。而是，从低分辨率运动向量缓冲器10读出与高分辨率模板块相关联的位置处的低分辨 率运动向量。此外，从运动向量切换部件16输出通过将来自缩放部件15的低分辨率运动 向量乘以图像缩小比的倒数获得的运动向量(步骤S808)。在步骤S807和S808之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S809)。如果在步骤S809中判断还未对所有高分辨率模板块执行这些处理步 骤，则控制返回步骤S801，设置未经处理的下一高分辨率模板块，之后重复步骤S801以外 的处理步骤。另一方面，如果在步骤S809中判断已经对所有高分辨率模板块完成了这些处 理步骤，则该处理例程结束。[其它实施例和修改例]在上述实施例中，如果确定在高分辨率层不计算运动向量，则在低分辨率层中得 到的低分辨率运动向量以原样方式(an as-is manner)乘以图像缩小比的倒数并被输出。然而，上述块匹配发可以逐像素执行块匹配。结果，可以以像素精度来计算运动向 量。因此，低分辨率层中得到的低分辨率运动向量在低分辨率图像中仅提供像素精度。相对照地，可以以以下方式来计算相对高精度的或子像素精度的低分辨率运动向 量。以下，将描述如何计算非常精确的子像素精度的低分辨率运动向量。低分辨率运动向量计算部件9将低分辨率参考块放在搜索区域中并且每次进行 块匹配时将块移动一个像素。部件9得到差一个像素的位置处的低分辨率参考块与模板块 之间的相关水平并且准备所得到的相关水平的表格。部件9从针对搜索区域中的所有低分辨率参考块得到的相关水平的表格检测到 与低分辨率模板块具有最高相关度的低分辨率参考块的位置。部件9检测出与该位置相关 联的低分辨率参考向量作为低分辨率运动向量。如果SAD被用作相关水平，则以上表格被称为SAD值表。这里，我们考虑计算从通过逐像素匹配处理获得的SAD值表中计算子像素精度的 运动向量。该匹配处理是通过使用二次方曲线对SAD值表进行插值来实现的。在该情况中， 可以使用线性插值或三次方或更高阶的逼近/插值而不是使用二次方近似/插值。然而， 在该示例中，由于在精度和硬件实现之间的折中而执行二次方近似/插值。在二次方近似/插值中，使用SAD值表中由像素精度的运动向量151指示的最小 SAD值Smin (参考图24中的标号152)和与该最小值Smin邻近的多个SAD值。这里，与该最小值Smin相邻的多个SAD值称为相邻SAD值。在该示例中，在X和Y 方向上与最小值Smin相邻的4个SAD值，即Sxl、Sx2、Syl和Sy2 (参考图24中的标号153、 154、155和156)被用作相邻SAD值。
27
首先针对X(水平)方向执行子像素精度的计算。如图25中所示，使用最小SAD值 Smin和在X (水平)方向上相邻的两个SAD值Sxl和Sx2来拟合近似二次方曲线157。二 次方曲线157取得最小值的坐标是具有子像素精度的最小SAD值SXmin的运动向量(高精 度运动向量)的X坐标Vx。下式6示出针对这种关系的二次方近似/插值。SXmin = 1/2 X (Sx2_Sxl) / (Sx2_2Smin+Sxl)式 6用式6得到的SAD值表中的最小子像素精度的SAD值SXmin的X坐标是子像素精 度的SAD值为最小值时的X坐标Vx。式6中的相除可以通过反复相减多次来实现。如果所希望的子像素精度是原始像 素间距(pitch)精度的四分之一，则仅通过两次相减就可以得到该精度。结果，电路的规模 很小并且仅需要很短的计算时间。这提供与使用三次方插值实现的性能相当的性能，而三 次方插值比二次方即近似/插值复杂得多。类似地，使用最小SAD值Smin和在Y(垂直)方向上相邻的两个SAD值Syl和Sy2 来拟合近似二次方曲线。二次方曲线取得最小值的坐标是具有子像素精度的最小SAD值 SXmin的运动向量(高精度运动向量)的Y坐标Vy。下式7示出针对这种关系的二次方近
似/插值。SYmin = 1/2 X (Sy2-Syl) / (Sy2-2Smin+Syl)式 7如上所述，通过在X和Y方向上执行二次近似两次得到子像素精度或高精度的运 动向量(Vx, Vy) 0尽管，在以上描述中，使用了最小SAD值Smin以及在X(水平)和Y(垂直)方向 上相邻的SAD值，但是可以使用两个或更多相邻的SAD值。可替换地，可以对角地而不是在 X和Y方向上拟合近似二次方曲线。此外，不仅可以在X和Y方向上而且可以在对角方向上 拟合近似曲线。在以上实施例中，应当注意，运动向量是用块匹配方法检测到的。然而，运动向量 可以使用梯度法来检测。梯度法基于帧中亮度的空间变化和连续的帧之间亮度随时间的变化来估计速度。 该方法例如被详细记载在专利文件(专利号3617671)中。由Lucas和Kanade提出的技术 是公知的用于本地区域的梯度法。该技术以逐块地使得梯度法的均方误差最小的方式得到
运动向量。应当注意，使用梯度法得到相对于块匹配运动向量的运动向量以较少数目的计算 提供精确的(子像素精度的)运动向量，如以上专利文件(专利号3617671)中所述。在以上实施例中，分层处理在已经针对低分辨率图像帧的所有模板块中的每一个 得到运动向量之后，开始针对高分辨率图像帧的模板块的处理。然而，分层处理可以针对每一个模板块来执行。图26的流程图示出该情况中的处
理流程。S卩，首先，确定低分辨率模板块(步骤S901)。接着，针对所确定的低分辨率模板块 计算和检测低分辨率运动向量(步骤S902)。接着，确定高分辨率模板块(步骤S903)。接着，确定是否针对所确定的高分辨率 模板块计算运动向量(步骤S904)。步骤S904中的判断被描述为高分辨率层计算确定部件 14的操作。
如果在步骤S904中确定应当计算运动向量，则由高分辨率运动向量计算部件13 在高分辨率层中计算运动向量，并且从运动向量切换部件16输出该运动向量(步骤S905)。 步骤S905中的处理流程在细节上与针对图8中的虚线所包围的运动向量计算相同。另一方面，如果在步骤S904确定不需要计算运动向量，则高分辨率运动向量计算 部件13被暂停使得不会在高分辨率层中计算运动向量。而是，从低分辨率运动向量缓冲器 10读出在与高分辨率模板块相关联的位置处的低分辨率运动向量。此外，从运动向量切换 部件16输出通过将来自缩放部件15的低分辨率运动向量乘以图像缩小比的倒数获得的运 动向量(步骤S906)。在步骤S905和S906之后，判断是否已经对所有高分辨率模板块完成了这些处理 步骤(步骤S907)。如果在步骤S907中判断还未对所有高分辨率模板块完成这些处理步 骤，则控制返回步骤S901，在步骤S901中，设置未经处理的下一高分辨率模板块，之后重复 步骤S901以外的处理步骤。另一方面，如果在步骤S907中判断已经对所有高分辨率模板 块完成了这些处理步骤，则该处理例程结束。在以上实施例中，分层处理被应用于两层。然而，分层处理也可应用于三层或更多 层。在那样情况中，不言自明，如果确定在中间层不需要计算运动向量，则在比中间层高的 层中也不需要计算运动向量。此外，在那样的情况中，层中计算出的运动向量根据最上层的 的图像尺寸被缩放以用作要被输出的运动向量。例如，如果在存在4层时确定在第一和第二层中应当检测运动向量，但是在第三 层不检测运动向量，则在第四层中也不检测运动向量。而是，在第二层中计算出的合成运动 向量根据第四层中的图像尺寸被缩放并被输出。以上实施例是参考针对运动图像信息检测出运动向量这样的情况来描述的。然 而，本发明也可应用于在成像装置中叠加多个图像来产生静止图像。本发明还适用于在静 止图像捕获期间检测运动向量以校正晃动。本申请包含与2009年6月12日于日本专利局提交的日本在先专利申请JP 2009-140813中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子 组合和更改，只要它们在所附权利要求及其等同物的范围内即可。
权利要求
一种图像处理设备，包括高分辨率模板帧缓冲器，适于存储高分辨率模板帧的图像信息；高分辨率参考帧缓冲器，适于存储高分辨率参考帧的图像信息；低分辨率模板帧缓冲器，适于存储低分辨率模板帧的图像信息，所述低分辨率模板帧是通过缩小所述高分辨率模板帧的图像而获得的；低分辨率参考帧缓冲器，适于存储低分辨率参考帧的图像信息，所述低分辨率参考帧是通过缩小所述高分辨率参考帧的图像而获得的；低分辨率运动向量计算装置，适于在所述低分辨率模板帧和所述低分辨率参考帧中，针对低分辨率层的每个块计算低分辨率层运动向量，所述每个块具有预定的尺寸并且由多个像素组成；高分辨率运动向量计算装置，适于在所述高分辨率模板帧和所示高分辨率参考帧中，使用所述低分辨率层运动向量的计算结果来针对高分辨率层的每个块计算高分辨率层运动向量，所述高分辨率层的块具有与所述低分辨率层的块相关联的尺寸；以及高分辨率层计算确定装置，适于确定是否要针对所述高分辨率层的每个块计算运动向量，其中如果所述高分辨率层计算确定装置确定出应当针对所述高分辨率层的块计算运动向量，则所述高分辨率运动向量计算装置被激活来在所述高分辨率层中计算运动向量，并且如果所述高分辨率层计算确定装置确定出不需要针对所述高分辨率层的块计算运动向量，则所述高分辨率运动向量计算装置不被激活，而是将通过根据所述高分辨率层的图像尺寸对由所述低分辨率运动向量计算装置计算出的所述低分辨率层运动向量进行缩放而得到的运动向量用作替代。
2.根据权利要求1所述的图像处理设备，其中所述高分辨率层计算确定装置通过使用针对在与所述高分辨率模板帧中所设置的块 相关联的位置处的所述低分辨率模板帧的块计算运动向量时所使用的所述低分辨率层的 信息，来确定是否要针对所述高分辨率层的每个块计算运动向量。
3.根据权利要求2所述的图像处理设备，其中所述高分辨率层计算确定装置基于针对在与所述高分辨率模板帧中所设置的块相关 联的位置处的所述低分辨率模板帧的块而计算出的运动向量的大小，来确定是否要针对所 述高分辨率层的每个块计算运动向量。
4.根据权利要求2所述的图像处理设备，其中所述高分辨率层计算确定装置基于在与所述高分辨率模板帧中所设置的块相关联的 位置处的所述低分辨率模板帧的块与针对所述低分辨率模板帧的块计算出的运动向量所 参照的低分辨率参考帧的块之间的相关度，来确定是否要针对所述高分辨率层的每个块计 算运动向量。
5.根据权利要求2所述的图像处理设备，其中所述高分辨率层计算确定装置基于在与所述高分辨率模板帧中所设置的块相关联的 位置处的所述低分辨率模板帧的块中的图像信息的边缘大小，来确定是否要针对所述高分 辨率层的每个块计算运动向量。
6.根据权利要求2所述的图像处理设备，其中所述高分辨率层计算确定装置基于在与所述高分辨率模板帧中所设置的块相关联的 位置处的所述低分辨率模板帧的块与在和所述低分辨率模板帧的块相同位置处的所述低 分辨率参考帧的块之间的相关度，来确定是否要针对所述高分辨率层的每个块计算运动向量。
7.根据权利要求1所述的图像处理设备，其中所述高分辨率层计算确定装置使用针对所述高分辨率模板帧中所设置的块计算运动 向量时所使用的所述高分辨率层的信息，来确定是否要针对所述高分辨率层的每个块计算 运动向量。
8.根据权利要求7所述的图像处理设备，其中所述高分辨率层计算确定装置基于所述高分辨率模板帧中所设置的块中的图像信息 的边缘大小，来确定是否要针对所述高分辨率层的每个块计算运动向量。
9.根据权利要求7所述的图像处理设备，其中所述高分辨率层计算确定装置基于所述高分辨率参考帧中所设置的块与在与所述高 分辨率模板帧中所设置的块相关联的位置处的所述高分辨率参考帧的块之间的相关度，来 确定是否要针对所述高分辨率层的每个块计算运动向量。
10.根据权利要求1所述的图像处理设备，其中所述高分辨率层计算确定装置基于所述高分辨率模板帧中所设置的块与在与所述高 分辨率模板帧中所设置的块相关联的位置处的所述低分辨率模板帧的块之间的相关度，来 确定是否要针对所述高分辨率层的每个块计算运动向量。
11.根据权利要求1所述的图像处理设备，其中所述高分辨率层计算确定装置基于所述高分辨率参考帧中所设置的块与根据针对在 与所述高分辨率模板帧中所设置的块相关联的位置处的所述低分辨率模板帧的块计算出 的运动向量而确定的位置处的所述高分辨率参考帧的块之间的相关度，来确定是否要针对 所述高分辨率层的每个块计算运动向量。
12.—种在图像处理设备中使用的图像处理方法，所述图像处理设备可操作用于为图 像针对每个块计算模板帧与参考帧之间的运动向量，所述每个块具有预定的尺寸并且由所 述模板帧和所述参考帧中所设置的多个像素组成，所述图像处理方法包括第一存储步骤，其中，第一存储装置将高分辨率模板帧的图像信息存储在高分辨率模 板帧缓冲器中；第二存储步骤，其中，第二存储装置将高分辨率参考帧的图像信息存储在高分辨率参 考帧缓冲器中；第一缩小步骤，其中，第一缩小装置通过缩小所述高分辨率模板帧的图像来生成低分 辨率模板帧的图像信息；第二缩小步骤，其中，第二缩小装置通过缩小所述高分辨率参考帧的图像来生成低分 辨率参考帧的图像信息；第三存储步骤，其中，第三存储装置将所述低分辨率模板帧的图像信息存储在低分辨 率模板帧缓冲器中；第四存储步骤，其中，第四存储装置将所述低分辨率参考帧的图像信息存储在低分辨 率参考帧缓冲器中；低分辨率运动向量计算步骤，其中，低分辨率运动向量计算装置在所述低分辨率模板 帧和所述低分辨率参考帧中，针对每个低分辨率层块，计算所述模板帧和所述参考帧之间 的所述低分辨率层的运动向量，所述每个块具有预定的尺寸并且由多个像素组成；高分辨率运动向量计算步骤，其中，高分辨率运动向量计算装置在所述高分辨率模板 帧和所述高分辨率参考帧中，使用所述低分辨率层的运动向量的计算结果来针对每个高分 辨率层的块计算高分辨率层运动向量，所述高分辨率层的块具有与所述低分辨率层的块相 关联的尺寸；以及确定步骤，其中，高分辨率层计算确定装置确定是否要针对所述高分辨率层的每个块 计算运动向量，其中如果在所述确定步骤中确定出应当针对所述高分辨率层的块计算运动向量，则所述高 分辨率运动向量计算步骤被执行来在所述高分辨率层中计算运动向量，以及如果在所述确定步骤中确定出不需要针对所述高分辨率层的块计算运动向量，则所述 高分辨率运动向量计算步骤不被执行，而是将通过根据所述高分辨率层的图像尺寸对在所 述低分辨率运动向量计算步骤计算出的所述低分辨率层的运动向量进行缩放而得到的运 动向量用作替代。
全文摘要
本发明公开了一种图像处理设备和图像处理方法。该图像处理设备包括高分辨率模板帧缓冲器；高分辨率参考帧缓冲器；低分辨率模板帧缓冲器、低分辨率参考帧缓冲器、低分辨率运动向量计算部件；高分辨率运动向量计算部件；以及高分辨率层计算确定部件。
文档编号H04N7/26GK101924873SQ20101019843
公开日2010年12月22日 申请日期2010年6月7日 优先权日2009年6月12日
发明者横山正幸 申请人:索尼公司