专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及一种适用于使背景的静止图片部分与运动图像拾 取对象部分相互分离的图^象处理装置和方法。
背景技术：
根据图像信息本身来确定两个画面图像之间的运动矢量的块
匹配冲支术是一项历史悠久的:f支术。
块匹配^支术是计算包括作为受关注的画面图 <象的参考画面图 像和从中出现参考画面图^象的运动的原始图^f象(下文称为目标画面 图像)的两个画面图像之间的运动矢量的方法。根据块匹配技术， 通过计算关于预定大小的矩形区域的块(即，目标块和参考块)的 参考画面图像和目标画面图像之间的相关性来计算运动矢量。
块匹配才支术包:fe以下两种情况目才示画面图^f象在时间上先于参
考画面图^f象；以及参考画面图4象在时间上先于目标画面图j象。前一 种情况的实例是通过MPEG(运动图片专家组)方式进行运动检测， 而后一种情况的实例是通过下文所述的图像帧的叠加来降低噪声。注意，在本说明书中，术语画面图像表示由一帧或一场的图像 数据形成的图像。然而，为了描述方便，在本说明书的以下描述中， 々支i殳一个画面图4象由一帧形成。因此， 一个画面图像在下文中被称 为一帧。因此，参考画面图像在下文中被称为参考帧，而目标画面 图4象在下文中^f皮称为目标帧。
具体地，对于电视相机的云台检测和图像拾取对象跟踪、MPEG 方式的运动图片编码等，已经开发了利用块匹配的运动矢量检测技 术。在90年代，已促进了在包括通过图像叠加进行无传感器相枳i 抖动校正、低照度下进行图像拾取时的降噪等宽范围内的应用。
此夕卜，利用块匹配的运动矢量冲企测方法不^f又被应用于图像识别 应用和相机抖动校正应用中，而且还被应用于如图像拾取装置的快 门速度的自动调节和液晶电视机的双倍速帧频转换的新应用中。
顺便提及，检测在画面图像中设置的大量目标块中的每一个的 运动矢量(即，局部运动矢量)，并4吏用以这种方式4全测的大量局 部运动矢量来计算表示在两个画面图l象之间施加给整个图像的变 形的全局运动。全局运动通常表示运动以及作为图l象的静止图片部 分的背景的运动量。
作为相关技术，在日本专利公开第2007-221631号中(下文称 为专利文献1 )披露了一种失真校正方法，其中，将一个画面图像 划分为"i午多块并对每个块确定矢量。然后，以这种方式确定的运动 矢量被直接用于计算全局运动。专利文献l的这种^t支术直至多年前 都被一直用作主要针对像素数目较小的运动图片的相机抖动校正 技术。
通过专利文献l中4皮露的4支术，可以用^氐成本的石更件规^莫来才企 测全局运动并实现良好的无传感器或无陀螺相机的抖动才交正以及 对高图片质量的静止图片和运动图片的降噪。同时，作为确定全局运动的方法，已经提出了对所4佥测的多个 局部运动矢量应用仿射变才灸的方法。
图51示出了仿射变换作为(表达式1)的通式。参看图51, 在(表达式1)中，v表示目标块的运动矢量的水平分量，w表示 目标块的运动矢量的垂直分量，以及a、 b、 c、 d、 e和f表示仿射 参数。在普通的仿射变换中，仿射参数a、 b、 c、 d、 e和f都是固 定值。此外，x与y分别表示目标块的中心坐标的水平分量和垂直 分量。
每个目标块的中心坐标，获得对应于全局运动的运动矢量。刚刚損_ 及的这种运动矢量在下文中^皮称为理想运动矢量。在这些理想矢量 与通过块匹配检测的观察运动矢量之间的误差总和s被表示为图52 的(表达式2)。
推导全局运动的命题是估计使上述误差总和e最小化的仿射参 :数a f，并且可以通过例如最小二乘法获得解决。图53、图54和 图55的(表达式3 )、另 一个(表达式4 )和又一个(表达式5 )分 别示出了仿射参数a ~ f的推导过程以及推导过程的结果。
虽然以这种方式较容易地计算仿射变换的参数，但这种计算的 效果很好。因为仿射变换不仅为图像的平移、旋转以及扩展或压缩 做了准备，而且也为一定程度的变形作了准备，所以覆盖了大多数 相才A4斗动(即，相详几工作的津奇细冲交正)。
例如，在日本专利7>开第2005-321902号(下文中称为专利文 献2)中披露了上述这种仿射变换。
发明内容
如果一旦确定了上述全局运动，则由于在上文提及的(表达式 1)中给出了坐标，所以能够确定每个目标块的全局运动矢量。如
果将该全局运动矢量用于以目标块为单位^M于图像的叠加，则可以 实现无传感器的相机抖动校正、低照度下图像拾取时的降噪(即， 产生降噪图像)等。
然而，必须考虑到拾取图像可能包括运动图像拾取对象。这是 因为，如果使用由全局运动产生的全局运动矢量使包括不同于背景 静止图片部分的运动图像拾取对象的目标块的图像相互叠加，那么 就会产生类似于通过多次曝光的图像状态。
例如，如果目标图像如图56A所示而参考图像如图56B所示， 则获得如图56C所示的图像，其中，右下角部分的运动图像拾取对 象部分表示多次曝光状态。
因此，还提出了一种方法，其中，将画面图像划分为多个小块 并对每一个块才企测局部运动矢量，并且用作由例如在MPEG系统中
使用的ME (运动估计)技术来表示。
然而，在使用这种方法的情况下，不可避免要使运动补偿块的 图像与目标块的图像的相加率适中，从而防止透明的运动图像拾取 对象图像部分的误相加以及由变形、掩蔽等引起的边缘部分的变化 等。这就可能产生不能实现期望的降噪效果的问题。
如果可以将图像中的背景静止图片部分与运动图像拾取对象 等的运动图像部分相互分离，则可以执行将背景静止图片部分的相 加率设为高值而将运动图像部分的相加率设为低值处理。这样能够 在防止运动图^f象部分的"i吴相加的同时增强降，喿效果。除刚刚描述的对图^f象相加的这种应用之外，背景部分与运动图4象部分的分离还可 应用于各种应用。
因此，希望提供一种能够使图像的背景静止图片部分与运动图 叶象部分相互分离以消除上述问题的图i象处理装置和方法。
根据本发明的实施例，提供了一种图像处理装置，包括局部 运动矢量检测部，被配置为在与目标画面图像不同的参考画面图像 上所设置的搜索范围中设置多个参考块，所述多个参考块具有与设 置在所述目标画面图^象中的预定尺寸的目标块相同的尺寸并且包 括多个像素，确定所述目标块与每个参考块之间的相关值，并检测 所述目标块的局部运动矢量作为计算出相关值的最大值的那一个 参考块相对于所述目标块的位移。该装置还包括全局运动计算部， 被配置为计算表示施加给整个图像的变形的全局运动；全局运动矢 量计算部，被配置为使用全局运动来计算目标块的全局运动矢量； 以及评估部，被配置为将目标块和对应于局部运动矢量的参考块的 相关值与目标块和对应于全局运动矢量的参考块的相关值进行互 相比较，并基于比较结果来执行关于目标块是否为背景静止图片部 分的评估。
在该图像处理装置中，全局运动矢量计算部4吏用由全局运动计 算部计算的全局运动来计算目标块的全局运动矢量。
然后，评估装置将关于目标块和对应于所检测局部运动矢量的 参考块的相关值与关于目标块与对应于所计算全局运动矢量的参 考块的相关值进行比较，以评估目标块是否为背景静止图片部分。
如果作为比较结果，评估部判定两个相关值之间的差具有噪声 范围内的值，则将目标块评估为背景静止图片部分。然而，如果对 目标块4故了不同的判定，则可将目标块评估为运动图l象部分。优选地，评估部将关于对应于全局运动矢量的参考块的相关偵一 与一个预定偏移值的和与关于对应于局部运动矢量的参考块的相 关值进行比较，并基于比较结果评估目标块是否为背景静止图片部
分
在该图像处理装置中，在将两个相关值进行比较之前，预先将 根据噪声范围的大小确定的预定偏移与关于对应于全局运动矢量 的参考块的相关值相加。因此，如果关于对应于全局运动矢量的参
考块的相关值，则可将目标块评估为背景静止图片部分。
可选地，评估装置可将通过将关于对应于全局运动矢量的参考 块的相关值乘以预定增益获得的值与关于对应于局部运动矢量的 参考块的相关值进行比较，并基于比较结果评估目标块是否为背景 静止图片部分。
在该图像处理装置中，代替将偏移与相关值相加，将相关值乘 以根据噪声范围的大小确定的预定增益。因此，可基于两个相关值 的大小关系来评估目标块是否为背景静止图片部分。具体地，如果 在乘以预定增益之后的相关值大于关于对应于局部运动矢量的参 考块的相关值，则可将目标块评估为背景静止图片部分。
图{象处理装置可#皮配置为，当关于对应于全局运动矢量的参考
的参考块的相关值乘以预定增益所获得的值大于关于对应于局部 运动矢量的参考块的相关值时，评估部输出关于对应目标块的全局
运动矢量；但是当关于对应于全局运动矢量的参考块的相关值与预 定偏移值的和或通过将关于对应于全局运动矢量的参考块的相关 值乘以预定增益所获得的值小于关于对应于局部运动矢量的参考
块的相关值时，评估部iir出关于对应目标块的局部运动矢量。
15在该图像处理装置中，作为目标块^皮评估为背景静止图片部分 的目标块的运动矢量，输出全局运动矢量。另一方面，作为关于目 标块没有被评估为背景静止图片部分的目标块的运动矢量，输出局
部运动矢量。乂人而，对于目标块，^r出响应于作为消除了^^桑声影响 的评估结果指定的背景静止图片部分或运动图像部分而#皮认为是 正确的运动矢量。
该4言息处理装置可以一皮配置为佳j平估部不^u夸只于应于全局运
考块的相关值进行比较，并基于比较结果来评估所述目标块是否为 背景静止图片部分。
图像处理装置准备用于从全局运动计算的全局运动矢量的精 度较低的情况。在该图像处理装置中，不仅将对应于全局运动矢量
相关值进行比较。然后，如果相关值之间的任意差具有在噪声范围 内的值，则评估部将目标块评估为背景静止图片部分。
在这种情况下，评估部可将对应于全局运动矢量的参考块的相 关值以及位于对应于全局运动矢量的参考块附近的不同参考块的 相关值与预定偏移值的和与关于对应于局部运动矢量的参考块的 相关值进行比较，并基于比较结果评估目标块是否为背景静止图片部分。
在该图像处理装置中，将对应于全局运动矢量的参考块的相关 值与对应于局部运动矢量的参考块的相关值进行比较。对于关于参 考块的相关值，预先加上#>据噪声范围的大小所确定的预定偏移。 因此，如果对应于全局运动矢量的参考块与位于附近的不同参考块中的4壬4可一个、在相力O偏移之后的相关Y直大于关于对应于局部运动 矢量的参考块的相关值，则能将目标块评估为背景静止图片部分。
可选地，评估部可将通过将对应于全局运动矢量的参考块的相 关值以及位于对应于全局运动矢量的参考块附近的不同参考块的 相关值乘以预定增益获得的值与关于对应于局部运动矢量的参考 块的相关值进行比较，并基于比较结果评估目标块是否为背景静止 图片部分。
在该图像处理装置中，代替使偏移与相关值相加，将相关值乘 以根据噪声范围的大小所确定的预定增益。因此，如果判定了相关 值的大小关系，就能够评估目标块是否为背景静止图片部分。
总之，通过图像处理装置，能够将图像中的背景静止图片部分 与运动图像部分相互分离。然后，可通过块匹配获得消除了噪声影 响的正确运动矢量。
结合附图从以下描述和所附权利要求中，本发明上述与其他特 征及优点将更加显而易见，在附图中，由类似的参考符号表示类似 的部4牛或元4牛。
图1是示出了应用根据本发明的第 一实施例的图像处理装置的
图像拾取装置的配置实例的框图2A、图2B以及图3 ~图10是示出了通过图像处理装置进 -f亍的块匹配处理的示意图11是示出了通过图像处理装置进行的块匹配处理的框图；图12是示出了通过图像处理装置拾取的图像的实例的示意图13是以与图12的拾取图像相关联的关系示出由图像处理装 置冲企测到的局部运动矢量的示意图14是示出了图像处理装置所使用的SAD表的示意图15是示出了在一维轴上所采用的图14的SAD表的示意图16是以与图12的拾取图像相关联的关系示出通过图像处理 方法确定为具有高可靠性的局部运动矢量的示图17是示出了图像处理装置的全局运动矢量计算部的配置实 例的框图18是示出了图像处理装置的主要处理」燥作的流程图19是示出了图17所示全局运动矢量计算部的操作的示意
图20是示出了通过图像处理装置的局部运动矢量计算部进行
的才全测处理l乘作的实例的流禾呈图21A和图21B是示出了至今已知的仿射变换的问题的示意
图22是示出了用于4吏用正交才殳影变换,人局部运动矢量确定全 局运动的处理的表达式的示图23是示出了普通仿射变换的示意图；图24~图30是示出了关于通过图〗象处理装置执^亍的,人局部运 动矢量计算全局运动的处理实例的示图31和图32是示出了关于通过图像处理装置执行的从局部运 动矢量计算全局运动的处理实例的流程图33是以与图像相关联的关系示出了通过图像处理装置从所 算的全局运动确定的块单位的运动矢量的示图34是示出了通过图像处理装置使用全局运动矢量来评估目 标块的背景 一 致度的处理的示图35是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置实例的框图36和图37是示出了通过图35的背景/运动图像拾取对象判 定部进行的处理净喿作的流程图38是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置的另 一 实例的冲匡图39是示出了为全局运动矢量的位置设置了容限的情况下的 仿射变换的示意图40是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置的又一 实例的才匡图41和图42是示出了通过图40的背景/运动图像拾取对象判 定部进行的处理才喿作的流程图43是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置的再 一 实例的冲匡图；图44是示出了通过根据本发明的第二实施例的图像处理装置 进行的处理4乘作的流禾呈图45A~图45D是示出了通过根据第二实施例的图像处理装置 实现的效果的示图46和图47是示出了确定通过根据第二实施例的图像处理装 置冲全测的局部运动矢量的处理的另 一 实例的示意图48是示出了确定通过根据第二实施例的图像处理装置才全测 的局部运动矢量的处理的又一 实例的示意图49和图50是示出了根据本发明的不同实施例的图像处理装 置的配置实例的才匡图51~图55是示出了在用于乂人局部运动矢量确定全局运动的 处理实例中所4吏用的表达式的示图；以及
图56A-图56C是示出了在通过图像叠加形成的图像上运动图 像拾取对象部分处的多次曝光的示意图。
具体实施例方式
下面，参考附图结合优选实施例详细地描述本发明，其中，才艮 据本发明的图像处理装置和图像处理方法被应用于图像拾取装置。
第一实施例
根据第 一 实施例的图像拾取装置总体上被配置为使得通过图 像拾取装置或成像器拾取的多个静止图像经;汶置并相互叠加以降 低图像的噪声。
20在用户用手把持图像拾取装置以拾取图像的环境中，可能发生 相积々牛动。例如，在通过利用以这种方式由用户手持的图i象拾取装 置通过连续拍摄来拾取静止图片的情况下，第一静止图片被用作目 标帧，而第二个和后续的静止图片被用作参考帧。
在可通过向整个参考帧施加包括平移、旋转以及扩展或压缩的 变换处理使参考帧定^^皮置于目标帧的位置的情况下，应用于整个参 考帧的变换处理是全局运动。全局运动通常表示移动以及图像的背 景静止图片的移动量。刚刚提及的这种背景静止图片在下文中只称
为背景。
相机抖动意味着对于目标帧来说发生了通过相对目标帧对参 考帧执行包括平移、旋转以及扩展或压缩的图像变换的量的全局运动。
在本实施例的描述中，为了简化描述，所拾取的静止图片中的 第一个被用作参考，即，作为目标帧。然而，这并不是必须的。可
以使用任意的第n个静止图片来作为目标帧并且可以将任意的第m 个(r^m)静止图片用作参考帧以重新定义全局运动。或者，可以 为运动图片中时间上不同的两个帧图像来定义全局运动。又或者， 全局运动处理可以不^皮应用于所才合取图^象的一帧内的整个有效图 片帧，而是4又应用于一帧图4象的一部分。
如果确定了全局运动，则可以从所确定的全局运动中计算出表 示施加于图像上的每个坐标位置的目标帧与参考帧之间的整个画 面图像的运动的运动矢量。刚刚提及的这种运动矢量在下文中被称 为全局运动矢量。可以为在画面图Y象上设置的大量目标块中的每一 个确定全局运动矢量。此外，可以为每个《象素确定全局运动矢量。然后，如果可基于全局运动冲t确i也确定全局运动矢量，则可以 顺利地校正相机抖动。或者，可以使帧图像相互叠加同时针对相机 抖动来4交正全局运动矢量。
在以下描述中，使用运动矢量检测与运动补偿(其中，使用运 动矢量来定位不同帧的两个图像)来叠加多个图像以降低噪声被称
为降噪(NR)。此外，通过这种降噪而使噪声降低的图像被称为降
噪图像。
在本实施例中， 一个画面图傳3皮划分为多个块(下文描述为目 标块)，并通过上述块匹配方法4企测以块为单4立的运动矢量。通过 块匹配方法对每块所4企测的运动矢量在下文中械^f尔为局部运动矢量。
此夕卜，在本实施例中，在块匹配方法中，^f吏用相关值，以下文 所述的方式来4企测局部运动矢量的可靠性的指标。然后，〗又,人那些 ,皮;险测具有高可靠性的局部运动矢量中计算全局运动，并且从所计 算的全局运动中4全测每块的全局运动矢量。
块匹配的扭无要
图2A 图7示出了块匹配方法的概要。在此处描述的块匹配 方法中，如图2A所示，在目标帧100中偶/没包^"水平方向上的多 个像素和垂直方向上的多条线的预定尺寸的矩形区域的块(即，目
标块102 )。
在块匹配中，从参考帧101中^臾索出与目标块102具有高相关 性的块。图2B所示的^皮检测为在参考帧101中与目标块102具有 最高相关性的块的参考块103在下文中被称为运动补偿块。此外， 在目标块102和与目标块102具有最高相关性的运动补偿块103之 间的位移量在下文中^皮称为运动矢量(参照图2B的参考凄t字104)。对应于目标块102与运动补偿块103之间的位置位移(包括W立 置位移量和位置位移方向)的运动矢量104与目标块102在参考帧 101中的投影图像块109的位置与运动补偿块103的位置之间的位 置位移相对应。例如，对于才殳影图〗象块109的4立置和运动补偿块103 的位置，4吏用了它们的中心位置。
假定目标块102的4殳影图像块109在参考帧101中的位置与目 标帧100的目标块102的位置相同。
描述块匹配处理的纟既要。
参照图3,假设目标帧100的目标块102的投影图像块109位 于由图3的虚线表示的参考帧101中与目标帧100的目标块102的 位置相同的位置。然后，目标块102的投影图像块109的中心坐标 净皮确定为用于运动检测的原点105。随后，々K殳运动矢量104存在 于用于运动4企测的原点105的4争定范围内，并且以用于运动冲企测的 原点105为中心的预定范围被 没置为由图3中的点划线所表示的控一 索范围106。
随后，在参考画面图像上设定与目标块102具有相同尺寸的块 (即，参考块108)。然后，例如，在4臾索范围106内的水平方向或 垂直方向上以一个像素或多个像素为单位来移动参考块108的位 置。因此，在搜索范围106中设定了多个参考块108。
此处，在4臾索范围106内移动参考块108意p木着由于用于运动 检测的原点105是目标块的中心位置，所以参考块108的中心位置 在搜索范围106内移动。因此，构成参考块108的像素可以从搜索 范围106中突出。随后，对于在搜索范围106内设定的每个参考块108，设置表 示参考块108和目标块102的位移量和位移方向的矢量(即，参考 矢量107 (参照图3))。然后，评估在位于由每个这样的参考矢量 107所表示的位置的参考块108的图像内容和目标块102的图像内 容之间的相关性。
参照图4，参考矢量107可表示为矢量(Vx, Vy)，其中，Vx 为参考块108在水平方向上(即，X方向上)的位移量，Vy为参考 块108在垂直方向上(即，Y方向上)的位移量。如果参考块108 的位置坐标(例如，中心位置坐标)与目标块102的位置坐标(例 如，中心位置坐标)相同，则参考矢量107表示为矢量(0， 0)。
例如，如果参考块108位于与目标块102的位置相比在X方向 上偏移1个像素距离的位置，则参考矢量107表示为矢量(1， 0)。 同时，如果参考块108位于与目标块102的位置相比在X方向上偏 移3个像素距离且在Y方向上偏移2个像素距离的位置，则参考矢 量107表示为矢量(3， 2)。
简言之，如图5所示，参考矢量107意味着在相互对应的每个 参考块108与目标块102之间的位置位移(包括位置位移量和位置 位移方向的矢量)。注意，在图5中，目标块102与参考块108的 位置分别由块的中心位置表示。
参考块108在搜索范围106内移动，并且在这种情况下，参考 块108的中心位置在搜索范围106内移动。由于参考块108包括在 水平方向和垂直方向上的多个^f象素，所以如图5所示，作为与目标 块102进4亍块匹配处理对象的参考块108的移动的最大范围净皮给出 作为比4臾索范围106更大的匹配处理范围110。随后，被检测为与目标块102的图像内容具有最高相关性的块 的参考块108的位置一皮检测作为目标帧100的目标块102在参考帧 101上的位置，即，作为移动后的位置。然后，所检测的参考块净皮 确定为上文所述的运动补偿块103。然后，如图2B所示，所4企测 的运动补偿块103的位置与目标块102的位置之间的位移量祐j企测 作为包4舌方向分量的运动矢量104。
基本上使用目标块102和参考块108的对应像素值来计算表示 目标块102与在搜索范围106内移动的参考块108之间的相关度的
相关值。包括使用均方根方法的各种计算方法可用于计算相关值。
例如，如图6所示，对于各个块中的所有像素， 一般在计算运 动矢量时使用的相关值中的一个是目标块102中的每个像素的亮度 值与搜索范围106中的对应像素的亮度值之间的差的绝对值的总 和。差的绝刮"f直的总和称为差分绝只tl直和(difference absolute value sum)，并在下文中^皮称为SAD (绝对差分和，Sum of Absolute Difference )值。
在SAD值被用作相关数学运算结果的情况下，随着SAD值减 小，相关值增大。因此，在搜索范围106内移动的参考块108中， 位于SAD值最低位置的参考块108是具有最高相关性的最高相关 性参考块。该最高相关性参考块被检测作为运动补偿块103，所检 测运动补偿块103的位置相对于目标块102的位置的位移量纟皮检测 作为运动矢量。
应当注意，通常相关性随着相关值的增加而增加。然而，可以 认为在SAD值被用作相关数学运算结果的情况下，随着SAD值的 )咸少，泮目关'I"生土曾力口。如上所述，在块匹配中，通过作为包4舌方向分量的量的参考矢
量107来表示在搜索范围106内设定的多个参考块108中的每一个 相对于目标块102的位置位移量。每个参考块108的参考矢量107 都具有与参考块108在参考帧101上的位置相对应的值。如上所述， 在块匹配中，作为相关值的SAD值最小的参考块108的参考矢量 净皮才企测作为运动矢量104。
因此，在块匹配中，首先确定在4臾索范围106内i殳置的多个参 考块108中的每一个与目标块102之间的SAD值(为简化描述， 这种SAD值在下文中^皮称为参考块108的SAD值)。
然后，以这种方式确定的SAD值以与对应于参考块108的位 置的参考矢量107的对应关系存储在存储器中。然后，检测存储在 存储器中的所有参考块108中具有最低SAD值的参考块108以检 测运动矢量104。注意，在下面的描述中，为简4匕描述，只寸应于参 考块108位置的参考矢量107在下文中净皮称为参考块108的参考矢 量107。
在搜索范围106内设置的、与对应于参考块108的位置的参考 矢量107相对应地存々者的多个参考块108的相关《直(在所述实例中 为SAD值)被称为相关值表。在所描述的实例中，由于作为差分 绝对值和的SAD值被用作相关值，所以相关值表被称为差分绝对 4直和表或SAD表。
这在图7中表示为SAD表TBL。参照图7，在所示的SAD表 TBL中，每个参考块108的相关值(在所示实例中为SAD值)被 称为相关值表元素。在图7的实例中，由参考凄t字lll表示的SAD 值是参考矢量为矢量(0, 0)时的SAD值。此外，在图7的实例 中，由于当参考矢量为矢量(3， 2)时SAD值的最小值为"7", 所以所确定的运动矢量104为矢量(3, 2)。注意，例如，目标块102和参考块108的位置意p木着诸如各个 块的中心位置的任意具体位置。此外，参考矢量107表示参考帧101 的目标块102的投影图像块109的位置与参考块108的位置之间的 位移量(包>^方向)。
对应于每个参考块108的参考矢量107是参考帧101上参考块 108相对于与目标块102对应的投影图像块109的位置的位移。因 此，如果指定了参考块108的位置，也就指定了对应于该位置的参 考矢量的值。因此，指定参考块的相关值表元素在SAD表TBL的 存储器中的地址，然后指定对应的参考矢量。
注意，可以相乂于于两个或两个以上目才示块来并4于计算这些SAD 值。如果祠—皮同时处理的目标块凄t增多，则处理速度加快。然而， 由于用于计算SAD值的硬件规模增大，所以处理速度的加快和电 路规模的增大具有折中关系。
实施例的块匹配
上面块匹配的描述涉及一个目标块的运动矢量的计算。由于目 标块在目标帧中的所占比率通常很低，所以通常难以将运动矢量直 4妄确定为目标块的全局运动矢量。
在本实施例中，如图8所示，例如，目标帧100 ^皮划分成64 个像素x64条线大小的多个目标块102。然后，确定每个目标块的 运动矢量或局部运动矢量104B。此时，在本实施例中，同时计算 表示每个所确定的局部运动矢量的可靠性的指标。
随后，基于局部运动矢量的可靠性指标，仅提取那些关于具有 高可靠性的目标帧所确定的局部运动矢量。然后，仅从所述提取的具有高可靠性的局部运动矢量来计算全 局运动。然后，所计算的全局运动被用于以目标块为单位来计算全 局运动矢量。
然后，将所计算的全局运动矢量与每个目标块的局部运动矢量 进行比较，并基于比较结果评估并判定每个目标块是背景部分还是 运动图像拾取对象部分。在本实施例中，将所计算的全局运动矢量 与每个目标块的局部运动矢量进行比较以判定两个矢量的一致度。
执行这种评估判定的原因在于考虑到将通过块匹配计算相关 值时包括在图像中的噪声的影响。
当关于目标块的全局运动矢量与局部运动矢量相互一致时，能 够判定目标块为背景图^f象部分。因此，该一致度表明了目标块的图 像与背景图像部分的一致度，即，背景一致度。该背景一致度在下
文寻皮一尔为命中率(hit ratio )。
如果目标块是背景图像部分，则由于其是静止图像部分，所以 能够将运动补偿图〗象以100%的比率(即，以1:1的比率)添力o到目 标块的图^象上。由此，可以4吏降噪(NR)效果最大化。
然后，如果所述背景一致度较低，则估计目标块为运动图像拾 取对象部分。因此，如果响应于背景一致度降低运动补偿图像与数 据块的图^f象的相加率(addition ratio )，则能乡爰和i者如多次曝光的这 种状态。
此处，如果全局运动矢量与局部运动矢量并不不相互一致，那 么如果不考虑图像噪声就可以判定目标块完全为运动图像拾取对
象部分。在这种情况下，关于对应于局部运动矢量的参考块的相关 值为最高(即，所述SAD值为最低)，并且相关值大于关于对应于 全局运动矢量的参考块的相关值(即，SAD值较低)。然而，通常诸如所拾取图像的图像包括噪声。如果考虑到这个 图像噪声，则即使全局运动矢量与局部运动矢量不相互一致，也存 在目标块为背景部分的可能性。然后，考虑到关于上面刚刚描述的 这种目标块，关于对应于局部运动矢量的参考块的相关值与关于对 应于全局运动矢量的参考块的相关值之间的差小于由于图像噪声 而提供的差。
因此，在本实施例中，关于对应于全局运动矢量的参考块的相 关值被校正为反映由于图像噪声而提供的差的值。然后，将所校正 的相关值与关于对应于局部运动矢量的参考块的相关值相互比较。
然后，如果所校正的相关值较高(即，如果SAD值较低)，则将目 标块评估为背景图像部分。换言之，在本实施例中，基于所校正的 相关值评估背景一致度。此时，认为全局运动矢量与关于目标块的 原始局部运动矢量一致。
然后，在本实施例中，如果作为背景一致度的评估结果而判定 目标块为背景图像部分，则输出全局运动矢量作为关于目标块的输 出运动矢量。另一方面，如果作为背景一致度的评估结果而判定目 标块与背景图像部分不一致，则输出局部运动矢量作为关于目标块 的输出运动矢量。在本实施例中，输出运动矢量是用于随后阶段处 理的运动矢量，在本实施例中为用于降噪处理的运动矢量。
然后，以这种方式计算的以目标块为单位的全局运动矢量或局 部运动矢量被用于相对于目标块以块为单位执行参考帧的定位，以 生成运动补偿图像(即，运动补偿帧)。然后，将目标帧与运动补 偿帧相互叠加以生成降噪图像。
然后，在静止图片图像拾取时，如图9所示，图像拾取装置高 速拾取多个静止图像并确定第一个静止图片拾取图像为目标帧 100。然后，图像拾取装置确定预定数目的静止图片拾取图像(包括第二个和后续的静止图片拾取图像)为多个参考帧101并执行参 考帧101的叠加。然后，图像拾取装置将叠加得到的图像记录为静
止图片拾取图像。
具体地，如果图像拾取者按下图像拾取装置的快门按钮，则高 速拾取预定数目的静止图像。然后，在第一个拾取的静止图像或帧 上，叠加并记录时间上在后拾取的多个静止图〗象或帧。
注意，尽管在本实施例的描述中没有描述，但是当进行运动图
片图像拾取时，如图10所示，当前从图像拾取元件中输出的当前 帧的图像被确定为目标帧100的图像，而过去的先前帧图像被确定 为参考帧101的图像。话说，当进行运动图片图像拾取时，为
了执行当前帧的图像的降噪，在当前帧之前帧的图像被叠加到当前 帧上。
图像拾取装置的硬件配置的实例
图1示出了作为根据本发明实施例的图像处理装置的图像拾取
装置的实例；
参照图1，所示的图像拾取装置包括连接至系统总线2的中央 处理部(CPU) 1。该图像拾取装置还包括连接至系统总线2的拾 取图像信号处理系统IO、用户操作输入部3、图像存储部4以及记 录和再生装置部5。注意，尽管在图1中未示出，^旦CPU1包4舌其 中存储有用于执行各种软件处理的程序的ROM (只读存储器)、用 于工作区的RAM (随机存取存储器)等。图1的图像拾取装置的 图像拾取信号处理系统10响应于通过用户操作输入部3的图像拾 取记录启动操作执行如下所述的拾取图像数据的记录处理。此外， 拾取图像信号处理系统10响应于通过用户操作输入部3的拾取记 录图像的再生启动操作来执行记录在记录和再生装置部5的记录介质上的拾取图像数据的再生处理。如图1所示，在拾取图像信号处
理系统10中，通过包括图像拾取透镜IOL的相机光学系统(未示 出)接收的来自图像拾取对象的入射光照射在图像拾取元件11上 以拾取图像。在本实施例中，图像拾取元件11由CCD (电荷耦合 器件)成像器形成。注意，图像拾取元件11还可以由CMOS (互 补金属氧化物半导体)成像器形成。
在图像拾取装置中，如果执行了图像拾取记录启动操作，则通 过图像拾取透镜10L输入的图像经由图像拾取元件11被转换成拾 取图像信号。随后，由红色(R)、绿色(G)和蓝色(B)的三原 色所形成的贝尔阵列的原信号形式的模拟拾取图像信号从图像拾 取元件ll输出作为与来自定时信号生成部12的定时信号同步的信 号。所输出的模拟拾取图像信号被提供给预处理部13，通过预处理 部来执行诸如缺陷校正和y校正的预处理，并且将所得到的模拟图 像信号提供给数据转换部14。
数据转换部14将以原信号形式输入其中的模拟拾取图像信号 转换成数字拾取图像信号或由亮度信号分量Y和色差信号分量 Cb/Cr组成的YC数据。根据通过用户操作输入部3接收的图傳4合 取指令，将来自数据转换部14的数字拾取图像信号写入图像存储 部4。
具体地，如果通过用户操作输入部3接收的图像拾取指令是源 自按压快门按钮的静止图片拾取指令，则来自数据转换部14的数 字拾取图像信号被写入帧存储器41~4N中。在这种情况下，来自 数据转换部14的数字拾取图像信号的、如上所述将被相互叠加的 多个帧被写入图像存储器部4的第一~第N个帧存储器41-4N中 (N是将被叠加的静止图片的数目)。在本实施例中，按下快门按钮时的第一个帧的图像数据被作为
目标帧的图像数据写入第一帧存储器41。随后，第二个和随后的帧 图像的数据被作为参考帧的图像数据顺序写入第二 第N个帧存 储器42 4N。
在将不同帧的多个图像写入图像存储器部4中之后，通过运动 矢量计算部15读入目标帧的图像数据和参考帧的图像数据。然后， 运动矢量计算部15执4于如下所述的局部运动矢量LMV的枱，测、局 部运动矢量LMV的可靠性计算、全局运动的计算以及全局运动矢 量GMV的计算。另外，运动矢量计算部15扭j亍目标块的背景一致 度的评估，以生成命中率(3。
在本实施例中，运动矢量计算部15输出目标帧的图傳4丈据 TGv、参考帧的图像数据REFv和命中率(3的信息。此外，运动矢量 计算部15输出由全局运动矢量GMV或局部运动矢量LMV形成的 降噪运动矢量MVnr的信息。
来自运动矢量计算部15的降p喿运动矢量MVnr和参考帧的图 像数据REFv的信息被提供给运动补偿图片生成部16。运动补偿图 片生成部16对参考帧的图傳4t据REFv应用对应于全局运动的处理 (即，基于降噪运动矢量MVnr的包括平移、旋转以及扩展或压缩 的变换处理)，以生成运动补偿图4象。
然后，来自运动矢量计算部15的目标帧的图像数据TGv被提 供给加法部17,并且来自运动补偿图片生成部16的运动补偿图傳_ 的图像数据MCv被提供给加法部17。
此外，来自运动矢量计算部15的目标帧的图像数据TGv与命 中率(3被提供给相加率计算部21。相加率计算部21根据表示背景一 致度的命中率P对目标帧的每个目标块计算相加率ct。然后，相加率 计算部21将为每个目标块计算的相加率a提供给加法部17。加法部17将在图係4t据TGv与MCv对应位置的^象素相加以 执行图像的叠加处理，并输出所得到的作为降噪图像的和图像的图 像数据MIXv。以目标块为单位执行这种图像叠加。具体地，将运 动补偿图像的图像数据MCv的对应块的图像数据以相加率a加入 到目标块的图傳4t据中。
来自加法部17的和图^f象的图係4t梧MIXv作为先前目才示帧的 图像数据上的目标帧的图像数据被重写入图像存储器部4的第一帧 存储器41中。
具体地，第一帧存储器41的目标帧的图像数据首先是紧接在 按下快门按钮之后的第一帧的图像数据。然后，如果第二参考帧的 运动补偿图像的图像数据MCv与目标帧相加，则第一帧存储器41 的目标帧的图〗象数据;帔重写入加法结果的和图^f象的图〗象tt据 MIXv。
然后，对于第三参考帧的图像数据，和图像的图像数据MIXv 被用作为目标帧的图像数据。然后，通过运动矢量计算部15如上 所述类似地计算降p喿运动矢量MVnr,并通过加法部17执4亍图{象叠 力口处理。
然后，加法结果的和图像的图像数据MIXv作为在先前目标帧 的图像数据上的目标帧的图像数据被重写入图像存储器部4的第一 帧存储器41中。此后，对于作为参考图像的第四及后续帧的每一 个批j于类似的处理纟喿作。
因此，在执行了直至作为参考图像的第N个图像的图像的叠加 处理之后，叠加了所有待叠加的N帧的降噪图像被写入到图像存储 部4的第一帧存储器41中。随后，将存储在图像存储部4的第一帧存储器41中、作为叠 加结果的降噪图像的和图像的图像数据MIXv通过系统总线2提供 纟合l争止图片编解码部18，并通过静止图片编解码部18进4亍编解码 转换。例如，来自静止图片编解码部18的输出数据被记录在诸如 记录和再生装置部5的DVD (ft字通用盘)或^更盘的记录介质上。 在本实施例中，静止图片编解码部18根据JPEG(联合图像专家组) 方式对静止图片执行图像压缩编码处理。
此外，在静止图片图像拾取模式中，在按下快门按钮之前，来 自数据转换部14的图像数据通过图像存储部4的第一帧存储器41 被提供给分辨率转换部19。然后，通过分辨率转换部19被转换成 预定分辨率的数据，然后提供给NTSC (国家电视系统委员会)编 码器20。 NTSC编码器20将图傳H据转换成NTSC方式的标准色 图像信号。随后，所得到的标准色图像信号被提供给监控显示部6， 并在监控显示部6的显示屏上显示静止图片图像拾取模式状态下的 再生图像。
响应于通过用户操作输入部3的再生启动才喿作来读出记录在记 录和再生装置部5的记录介质上的静止图片的图像数据，并将其提 供给静止图片编解码部18，通过静止图片编解码部18将它们进4亍 解码以用于再生。随后，为再生而解码的静止图片的图像数据通过 图像存储部4的緩冲存储器(未示出)被提供给NTSC编码器20， 并通过NTSC编码器20被转换成NTSC方式的标准色图像信号。 随后，标准色图像信号被提供给监控显示部6,并在监控显示部6 的显示屏上显示其再生图像。
注意，尽管在图1中未示出，但仍能够通过图像输出终端将来 自NTSC编码器20的输出图像信号导向外部。注意，在本实施例中，虽然通过静止图片编解码部18以压缩 形式来记录图像数据，但是也可以省略静止图片编解码部18而不 以压缩形式记录图傳^t据。
此外，可以由石更件形成上述的运动矢量计算部15和运动补偿 图片再生部16。还可以用DSP (数字信号处理器)形成运动矢量计 算部15和运动补偿图片再生部16。此外，运动矢量计算部15与运 动补偿图片再生部16可被CPU 1的软件处理代替。
类似地，也可以由硬件或用DSP来形成加法部17。此夕卜，加 法部17也可被CPU 1的软件处理代替。这被类似地应用于静止图 片编解码部18。
运动矢量计算部15
在本实施例中，运动矢量计算部15 4吏用参照图2A 图7在上 文所述的SAD值来冲丸行块匹配处理，以执行局部运动矢量LMV的 才企测。然而，注意，在本实施例中，运动矢量计算部15由如下所 述的石更件构成，并通过分层块匹配处理计算局部运动矢量LMV。
此外，如上所述，运动矢量计算部15还计算每个局部运动矢 量LMV的可靠性指标。
此外，运动矢量计算部15 K使用具有高可靠性的那些局部运 动矢量来计算全局运动。然后，运动矢量计算部15从所计算的全 局运动中以块为单位来计算全局运动矢量。此外，运动矢量计算部 15执行每个目标块为背景部分还是运动图像拾取目标部分的判定， 以计算表示背景一致度的命中率P。
<分层的块匹配处理>在通常已知的块匹配的运动矢量检测处理中，在4叟索范围内以 像素为单位(即，以一个像素为单位或以多个像素为单位)移动参
考块，并计算参考块在每个移动位置处的SAD值。随后，^^测在 以这种方式计算的SAD值中表示最小值的SAD值，并基于表示最 小SAD值的参考块位置来检测运动矢量。
此外，在本实施例中，由于一帧被划分成多块，所以通过顺序 转变目标块和参考块对整个画面图卩象执^f亍上述块匹配处理。从而4丸 行目标帧中所有目标块的局部运动矢量LMV的计算。
然而，上述这种已知的运动矢量4企测处理存在一个问题由于 参考块在搜索范围内以像素为单位移动，所以用于计算SAD值的 匹配处理的次数增加，从而与搜索范围成比例地增加了匹配处理时 间。此外，已知的运动矢量检测处理存在另一个问题SAD表的容 量也增大。
如果考虑到静止图像像素数目的增加、运动图片清晰度的增强 (较高清晰度)以及一个图像的尺寸变得非常大，这个问题就尤其 明显。已知的运动矢量检测处理还存在一个问题通过系统总线2 访问图像存储器的次数增加，并且总线频带也必须增加。
考虑到上述问题，在本实施例中，才丸4亍分层的块匹配，其中， 首先减小目标图像或目标帧以及参考图像或参考帧的尺寸，以准备 缩小图像和中间图像，然后按缩小图像、中间图像和原始图像的顺 序执行块匹配的运动矢量搜索，同时将先前阶段的块匹配结果反映 在下一阶l殳的4叟索中。
通过批^于分层的块匹配，以相对少量的计算和相对4交短的处理 时间来有效地4丸行局部运动矢量的计算。注意，缩小图像在下文中被称为缩小面，中间图像在下文中被称为中间面，而不处于缩小形 式的原始图像在下文中被称为基底面。
图11示出了分层的块匹配。参照图11，在所示实例中，基底
面目标帧201和基底面参考帧301的尺寸缩小至l/a'1/b ( 1/a和1/b 为缩小率，其中，a〉l和b〉1)，以分别生成缩小面目标帧211和缩 小面参考帧311。
随后，将基底面目标帧201和基底面参考帧301缩小至1/b， 以分别生成中间面目标帧221和中间面参考帧321。
尽管可以相对于基底面对缩小面和中间面使用任意倍率 (scale )，但是可以将它们适当地设定为1/2 ~ 1/8倍，即，转换成 像素数时为1/4~1/64倍。注意，在图ll的实例中，缩小面相对于 中间面的缩小率为1/4，即，a = 4，而中间面对目又于于基底面的缩小 率为1/4,即，b-4。
此外，为了生成缩小面和中间面，可应用^壬意的方法。然而， 如果应用仅响应于缩小率对原始图像的像素进行采样来生成缩小 面或中间面的方法，则生成折返(jreflection )分量，并且在第 一层 (缩小面)中检测到的运动矢量很可能偏离正确的运动矢量。因此， 首先通常将具有适合于缩小率的截止频带的低通滤波器应用于原 始图像，然后执行适合于该缩小率的采样。
在本实施例中，计算在包括通过根据倍率的采样而消失的那些 像素的像素的亮度平均值，并将其用作缩小面像素或中间面像素的 亮度值。具体地，在l/a缩小的情况下，计算axa像素的正方形区 域中的亮度平均值，并用作缩小面像素或中间面像素的亮度值。在 这种情况下，即4吏首先形成中间面并随后乂人中间面生成缩小面，仍 能够获得与通过原始画面图像直接生成缩小面的情况相同的效果。 因jt匕，这种方法岁丈率更高。注意，当生成缩小图〗象时，水平方向上的缩小率和垂直方向上 的缩小率可以与上述情况相同，或者也可以不同。
在以上述方式生成缩小面或中间面之后，首先为缩小面目才示帧
211设定缩小面目标块212，并且为缩小面参考帧311 -没定缩小面搜 索范围313。
随后，通过缩小面运动矢量4企测装置401对在缩小面纟臾索范围 313内的多个缩小面参考块312扭一f亍块匹配处理，以4企测呈现最小 SAD值的缩小面参考块位置。然后，基于缩小面参考块的位置检测 对缩小面运动矢量MVs进4于4企测。
在本实例中，运动矢量检测装置401对作为缩小面目标块212 的大小的块(即，水平方向上的〗象素凄t x垂直方向上的j象素的块)
的块匹配处理单位4丸4亍处理。
在缩小面运动矢量MVs的计算结束之后，在大小等于缩小面 目标帧211乘以a的中间面目标帧221上i殳定中间面目标块222。
在图11的实例中，中间面运动矢量检测装置402 7十作为尺寸 与缩小面运动矢量才企测装置401的块匹配处理单位相同的块的中间 目标块执行块匹配处理。相同尺寸的块是相等4象素数的块并包括水 平方向上的相等像素数x相同垂直方向上的相等像素。
在本实例的情况下，由于缩小面具有中间面1/a的尺寸，所以 与缩小面目标块212相对应的、包括在中间面目标帧的区域中的中 间面目标块222的数目为a。因此，等于a的所有中间面目标块222 ^Li殳定为中间面运动矢量^r测装置402的块匹配处理对象。随后，在具有尺寸等于缩小面参考帧311的a倍的中间面参考 帧321中，设定以缩小面运动矢量MVs为中心的中间面搜索范围 323。随后，通过运动矢量检测装置402对中间面搜索范围323内 的多个中间面参考块322扭J亍上述块匹配处理，以4企测呈现最小 SAD ^直的中间面参考块4立置，以#:测中间面运动矢量MVm。
中间面运动矢量检测装置402对设置在中间面搜索范围323中 的用于每个中间面目标块的4臾索范围中的每个中间面目标块扭^f亍 块匹配处理，从而4企测每个中间面目标块的运动矢量。然后，多个 运动矢量中呈现最小SAD ^直的那一个^皮4企测作为中间面的运动矢 量MVm,即，4乍为中间面运动矢量
在中间面运动矢量MVm的计算结束之后，在具有等于中间面 目标帧221的b倍的尺寸的基底面目标帧201中设定基底面目标块 202。
在图11的实例中，基底面运动矢量检测装置403也对作为尺 寸与运动矢量检测装置401和402相同(即，相等像素数=水平方 向上的相等像素数x垂直方向上的相等像素)的块的处理单位块执
4亍块匹配处理。
随后，以上述处理单位块为单4立获得了中间面运动矢量MVm。 因此，设定作为基底面运动矢量检测装置403的对象的基底面目标 帧201的基底面目标块202的数目，以使其等于尺寸等于如图11 中的斜线所表示的缩小面的块(即，处理单位块)的数目的a七倍。
另一方面，在具有等于中间面参考帧321的b倍尺寸的基底面 参考帧301中，设定以缩小面运动矢量MVs和中间面运动矢量 MVm的合成矢量为中心的基底面4叟索范围303。通过基底面运动矢 量才企测装置403在基底面:搜索范围303中对多个基底面参考块302执行上述块匹配处理，以检测呈现最小SAD值的基底面参考块的 位置，从而检测出基底面运动矢量MVb。
以相同尺寸的处理单位块为单位获得缩小面运动矢量MVs和 中间面运动矢量MVm。因jt匕，以缩小面运动矢量MVs和中间面运 动矢量MVm的合成矢量为中心所i殳定的基底面4臾索范围303比包 括b个基底面目标块202的区域大点。
基底面运动矢量检测装置403在用于b个基底面目标块202的 基底面搜索范围303中所设定的基底面目标块的搜索范围内执行块 匹配处理，从而执行基底面目标块的运动矢量的才企测。随后，多个 运动矢量中呈现最小SAD值的那一个净皮检测作为基底面运动矢量 MVb,即，基底面的基底面运动矢量。
随后，作为以上述方式确定的缩小面运动矢量MVs、中间面运 动矢量MVm和基底面运动矢量MVb的合成矢量，4全测基底面目 标帧201与基底面参考帧301之间的基底面目标块的局部运动矢量 LMV。
欣和麥考中贝
处理，同时顺序转变目标块和参考块。因此，计算以在目标帧中i殳 置的多个目标块为单^f立的所有多个局部运动矢量LMV。
在图ll的实例中，运动矢量检测装置401、 402和403实际上 是一个装置，它们的区别在于从图像存储部4中读出然后输入的目 标块以及从搜索范围内读出的参考块。
注意，在配置基底面目标帧201以获得所有基底面目标块202 的局部运动矢量LMV的情况下，应以以下方式执4于目标块的專争变。 具体地，在缩小面上设置缩小面目标块，同时，根据倍率1/a和1/b，在水平方向上将缩小面目标块顺序移动与水平方向上的〗象素凄t相
对应的量。同时，在垂直方向上，根据倍率l/a和l/b，将缩小面目 标块顺序移动与垂直方向上的^f象素相对应的量。
然而，乂寸于由多个局部运动矢量LMV确定全局运动矢量GMV 的对象，可以釆取如下的对策。具体地，将缩小面目标块设置为在 水平方向和垂直方向上顺序移动，从而关于在基底面目标帧201的
if兆过位置处的基底面目标块获得局部运动矢量LMV。
注意，
层的缩小面和基底面来^丸^f亍，或者可以包:^舌用于不同中间面的多个 中间层。但是，如果缩小率很高而在同一单位块中包括了运动图像 拾取对象和背景，则必须小心。具体地，最初应该被;险测为不同运 动矢量的多个运动矢量被作为单个运动矢量处理，由于在后续层中 无法恢复，所以必须小心地执行缩小率的选择。
局部运动矢量LMV的可靠性的计算
在具有相对大量噪声的图像为目标图像的情况下，由于SAD 值受到噪声影响，所以通常不能获得正确的矢量。图12为包括相 对大量p朵声的夜景的照片。如果示出图12的图4象与包含非常小的 旋转量的同时通过左方的相机抖动所拾取的图像(作为参考图像) 之间的运动矢量，则得到如图13所示的这种结果。图13是通过绘 制通过将原始图片缩小至1/8所获得的缩小图像的缩小面运动矢量 而得到的。
从图13可以看出，获得其紋理不是特别清晰的夜空的运动矢 量作为多样运动。在分层块匹配中，由于在生成缩小图像时应用了 低通滤波器，所以耐噪声性相对教高。但是，如图13所示，缩小 图像受到噪声的影响。由于通过缩小面运动矢量周围的搜索获得基底面的局部运动
矢量LMV,所以如果缩小面运动矢量偏离了正确的运动矢量，则 恢复无效，并且缩小面运动矢量直"^妻受到噪声的影响并^皮进一步地扰乱。
即使根本不具有噪声的拾取图像是对象图像，但如果图像的紋 理不清晰，则由于连续拍摄图像拾取时外部光线的微小变化或由曝 光时间差引起的灰阶变化更大，并且所检测的运动矢量通常偏离正 确值。此外，当大量的树木或诸如大楼的人工结构具有4艮多重复的 紋理图案时，即使通过刚刚描述的紋理的重复图案，所才企测的运动 矢量也可能会偏离正确值。
假设刚刚描述的这种情况，在相关技术中已经进行了仅使用具 有高可靠性的运动矢量来计算全局运动的尝试。例如，已经提出执 行目标图像的边缘检测，并确定具有清晰边缘的块的运动矢量作为 具有高可靠性的运动矢量。此外，还提出了使用目标图像的IDCT (离散反余弦变换)结果的DC分量和AC分量来计算可靠性。
还推荐了一种方法，其中，使用作为一种滤波器的角检测器来 检测目标图像上的特征点，使得所得到的运动矢量具有高可靠性。 此外，已提出了以下技术按照在参考图像上也维持多个特征点的 位置关系的假设，乂人不同点处的多个运动矢量的組合中提取出高可 靠性的运动矢量。
然而，上述这些现有技术并没有假设高噪声的图像，并且对于 具有高水平噪声的图〗象明显无效。
在本实施例中，考虑到上述情况，采用了一种对策来获得可靠 性指标值，通过这种对策，即使是高噪声环境下的图像仍能够有效 地评估运动矢量的可靠性。在本实施例中，目标块和参考块之间的相关值中的第 一极大值 和第二极大值的差或比被用作运动矢量可靠性的指标值。在本实施
例中，由于目标块和参考块之间的相关值净皮4企测为SAD值，所以 相关值中的第一极大值和第二极大值分别为SAD值的第一极小值 和第二极小值。
图14示意性示出了关于一个目标块的SAD表的SAD值。在 图14中，搜索范围被表示为在图像的水平方向或x方向以及垂直 方向或y方向上的二维范围，并在高度方向上(即，在与x和y方 向垂直的方向上)取SAD {直。因jt匕，SAD表^皮表示为三次线面(cubic curved face )。
在通常的块匹配处理中，为了检测运动矢量，4又将SAD表中 SAD值的最小值确定为4企测对象。然而，SAD值的这个最小值是 SAD表中的SAD值的第一极小值，并且在图14中，该值假设由点 501所表示的位置。在图14中，冲企测运动矢量MV作为从运动的原 点(即，(x = 0, y = 0))至由点501所表示的SAD值的最小值位 置的矢量。
如果考虑到不存在噪声的理想状态，则当确定搜索范围内的多 个参考块和目标块之间的相关值时，由三次线面表示的SAD表呈
现以下状态其中，三次线面均匀向下凸出，并且仅存在SAD值 的一个极小值。但是，在实际的图像拾取状态下，因为不仅存在光 量变化、运动体的运动等影响，而且还存在各种噪声的影响，所以 由三次线面表示的SAD表几乎不呈现均匀向下凸出的形状，而是 通常具有SAD值的多个极小值。
因此，在本实施例中，基于呈现等于SAD值的最小值的第一 极小值的参考块的位置来4企测运动矢量MV。然而，SAD值中除 SAD值的第一极小值之外的极小值(即，SAD值的第二极小值)^皮才企测用于生成相对于可靠性的指标。在图14中，由点501表示 的位置代表第一极小值，而由另一个点502表示的位置代表第二极小值。
如果限制噪声等的影响，则SAD值的第一极小值和SAD值的 第二极小值之间的差值很大，并且通过SAD值的第一极小值(即， 通过SAD值的最小值)所^r测的运动矢量MV的可靠性4艮高。另 一方面，在包括大量噪声等的另一种环境下，SAD值的第一极小值 和SAD值的第二才及小值之间的差值^艮小，不能够区分SAD值的第 一和第二才及小值中的哪一个正确地对应于运动矢量MV。因此，可 靠性很低。
如上所述，在本实施例中，SAD值的第一极小值(即，SAD 值的最小值)和SAD值的第二极小值之间的差值被确定作为所检 测运动矢量的可靠性指标。图15示出了在一维轴上表示图14中的 搜索范围的SAD表。在本实施例中，图15中的第二极小值与第一 极小值(即，SAD值的最小值)之间的差被确定为运动矢量MV的 指标值Ft。
注意，在仅获得SAD值的第一极小值而没有获得第二极小值 的情况下，在本实施例中，将SAD值理论上的最大值或SAD值表 中的SAD值的最大值确定为运动矢量MV的可靠性指标值。因此， 确定刚刚描述的这种块的运动矢量很高。但是，由于所描述类型的 块很少存在，所以可以从可靠性的评估中排除仅从中获得SAD值 的第一极小值而没有获得第二极小值的块的运动矢量。
注意，代替SAD值的第一极小值(即，SAD值的最小值)与 SAD值的第二极小值之间的差，SAD值的第一极小值(即，SAD 值的最小值)与SAD值的第二极小值之间的比可以被用作运动矢 量MV的可靠性指标值Ft。但是，在下面的描述中，SAD值的第一极小值(即，SAD值的最小值)与SAD值的第二极小值之间的 差被用作运动矢量的可靠性指标值Ft。
根据本实施例中的运动矢量的可靠性指标，由于没有如相关技 术使用诸如图像的边缘或特性的图像分量而是仅使用了目标帧与 参考帧之间的相关值，所以抗噪稳定性很高。换句话说，获得具有 高精确度的运动矢量的可靠性指标，而不会受到图像噪声影响。
此外，在本实施例中，使用相关值的第一极大值(即，SAD值 的第 一极小值)与相关值的第二极大值(即，SAD值的第二极小值) 之间的差或比也是使本实施例中运动矢量的可靠性指标具有很高 抗噪稳定性的原因。
具体地，如果噪声水平升高，则即4吏运动矢量正确，通常运动 矢量的SAD值也会升高。因此，在为了提取出具有高可靠性的运 动矢量而对运动矢量的可靠性指标值Ft设定阈值从而扭J于与阈值 的比專交处理的情况下，还需要响应于噪声水平改变其本身的阈值。
相反，在使用本实施例中的运动矢量的可靠性指标值Ft的情况 下，如果噪声水平升高，则相关值中的第一极大值(即，SAD值的 第 一极小值)和相关值中的第二极大值(即，SAD值的第二极小值) 都响应于噪声水平而升高。因此，消除了噪声对相关值中的第一极 大值(即，SAD值的第一极小值)和相关值中的第二极大值之间的 差的影响。
换言之，可以实现不取决于所述噪声水平的固定值的阈值处 理。这同样也适用于将相关值中的第一极大值(即，SAD值的第一 极小值)和相关值中的第二极大值(即，SAD值的第二极小值)之 间的比用作运动矢量的可靠性指标值Ft的情况。顺便提及，在对其执行块匹配的目标块的图像的对比度4艮低的
情况下，SAD值的第二极小值与SAD值的最小值之间的差具有减 小的趋势。因此，当相同的帧包括具有高对比度的区域和具有低对 比度的另 一个区域时，如果将相同的阈值用于评估矢量可靠性的评 估值Ix,则很可能优先选择具有高对比度的区域。
尽管从运动矢量可靠性的角度来看这是正确的结果，但是为了 在一定程度上减小具有低对比度的区域，在本实施例中，用于緩解 对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数 学运算表达式。具体地，确定目标帧图像的最大亮度值与最小亮度 值之间的差值，并在运动矢量可靠性的指标值上反映亮度的差值。 注意，为了避免噪声的不良影响，在将低通滤波器应用于目标帧的 图像数据之后，执行最大亮度和最小亮度的提取。
鉴于上述，给出本实施例中运动矢量的可靠性指标值Ft的计算 表达式
Ft= ( Btm2SAD - MinSAD ) - ( MaxTAR - MinTAR ) x Co
…(表达式6)
其中
Ft:运动矢量的可靠性指标值 Btm2SAD: SAD值的第二极小值 MinSAD: SAD值的最小值(第一极小值) MaxTAR:目标块的最大亮度值MinTAR:目标块的最小亮度值 Co:力口权系数1 )
注意，在相关值的第 一极大值与相关值的第二极大值之间的比 被用作运动矢量可靠性指标值的情况下，完全类似于上文所给出的 (表达式6 )，用于緩解对比度影响的项也可以被添加至可靠性指标 值计算表达式。但是，在运动矢量的指标值Ft的计算中，实质上并 不必须添力p用于纟爰解》十比度影响的项，而是可以省略该项。
虽然在上面的4苗述中，4又确定基底面运动矢量MVb的运动矢 量可靠性指标值，但自然也可以相对于缩小面运动矢量MVs或中 间面运动矢量MVm来类似地确定运动矢量的可靠性指标值。
全局运动和全局运动矢量GMV的计算
在相关技术中，不使用上述这种运动矢量的可靠性指标值。因 此，利用相同的4又重来4吏用对目标帧确定的所有多个局部运动矢量 LMV，以i十算全局运动矢量GMV。
相反，在本实施例中，能够以上述方式来获得目标帧的多个局 部运动矢量LMV中的每一个的可靠性指标值Ft
随后，可以只于以这种方式确定的多个局部运动矢量LMV的可 靠性指标值进行标准化，从而对每个局部运动矢量LMV确定例如 大于等于0但小于等于1的加权系数。随后，可以不通过相同的权 重而是通过根据各个加权系数所确定的多个权重来使用局部运动 矢量LMV，以计算全局运动。具体;l也，当4吏用确定的所有多个局 部运动矢量LMV以启动用于计算全局运动的j]文敛i十算时，在局部 运动矢量LMV利用对应于各个可靠性指标值Ft的加权系数进行加 权之后，才使用这些局部运动矢量LMV。然而，为了简化全局运动的数学运算处理来降低数学运算负
荷，在本实施例中，将局部运动矢量LMV的加权系数W 二进值化 成0和1 。
因此，在本实施例中，设置用于运动矢量的可靠性指标值Ft 的阈值th,并根据以下数学运算表达式使用每个运动矢量的可靠性 指标值Ft来计算每个局部运动矢量LMV的加权系数W:
当Ft > th时，W = 1,而
当FtSth时，W = 0, …(表达式7)
具体地，在本实施例中，运动矢量可靠性指标值Ft^:用于判定
多个局部运动矢量LMV中的每一个的可靠性，并JU5U人多个局部 运动矢量LMV中提取出具有高可靠性的那些局部运动矢量。然后， 仅将所提取的具高可靠性的局部运动矢量用于计算全局运动。
在本实施例中，由于目标帧中的目标块数相对较多，所以即使 在使用如本实例仅提取具有高可靠性的局部运动矢量LMV的方法 的情况下，仍能够计算具有高精确度的全局运动。
注意，下文将描述通过多个局部运动矢量LMV来计算全局运 动的具体处理实例。
上面描述了以上参照图12所述的具有大量噪声的图^f象中获取 如图13所示的这种局部运动矢量。然而，如果使用根据本实施例 的运动矢量的可靠性指标值对图13的图《象上表示的局部运动矢量 执行可靠性判定，以仅提取具有大于阈值的可靠性的那些可靠性指 标值并随后绘制块和运动矢量，则获得如图16所示的这种图像。 鉴于此，对于图16所示的多个块，获4寻基本正确的局部运动矢量， 而不受噪声影响。运动矢量计算部15的碩J牛配置的实例
运动矢量计算部15执4于如上所述的对每个目标块检测局部运 动矢量LMV、计算所检测局部运动矢量LMV的可靠性指标值、计 算全局运动GM和全局运动矢量GMV等处理。
图17示出了运动矢量计算部15的硬件配置的实例。参照图17, 运动矢量计算部15包4舌目标块《爰存部151 ，用于存^f诸目标块102 的像素数据；以及参考块緩存部152，用于存储参考块108的像素数据。
运动矢量冲企测部15还包4舌匹配处理部153，用于计算目才示块 102和参考块108的对应像素的SAD值。运动矢量4企测部15还包 才舌局部运动矢量计算部154,用于#4居乂人匹配处理部153输出的 SAD值信息计算局部运动矢量。运动矢量检测部15还包括控制部 155、运动矢量可靠性指标^直计算部156、全局运动计算部157、全 局运动矢量计算部158、对比度计算部159以及背景/运动图像拾取 只于象判定部150。
对比度计算部159包括^f氏通滤波器1591、最大亮度值4企测部 1592和最小亮度值检测部1593。
此外，尽管未示出，但是在本实例中，由目标帧和参考帧的图 像数据所生成的原始图片的目标帧和参考帧的缩小面的图像数据 和中间面的图像数据被存储并保留在图像存储部4中。
如图17所示，控制部155控制运动矢量计算部15的处理顺序， 并将控制信号提供给运动矢量计算部15的各个部件。在控制部155的控制下，目标块緩存部151从图像存储部4的 缩小面、中间面或基底面的目标帧的图傳4t据中读入指定目标块的 图傳4t据，并将所述图傳4t据4是供给匹配处理部153。
在控制部155的控制下，参考块緩存部152从图像存储部4的 缩小面、中间面或基底面的参考帧的图傳_#1据中读入指定匹配处理 范围内的图像数据。然后，参考块緩存部152将来自匹配处理范围 内的图像数据的参考块的图像数据顺序提供给匹配处理部153。
匹配处理部153接收来自目标块緩存部151的目标块的图傳_数 据以及来自参考块緩存部152的参考块的图像数据。然后，匹配处 理部153在控制部155的控制下对缩小面、中间面和基底面4丸4亍块 匹配处理。然后，匹配处理部153将参考矢量(即，参考块的^f立置 信息)以及块匹配处理结果的SAD值^是供给局部运动矢量计算部 154。
局部运动矢量计算部154包括用于SAD值的第一4及小值存卡者 单元1541和用于SAD值的第二极小值存储单元1542，并才丸行从来 自匹配处理部153的SAD值中4企测出SAD值的第一极小值和SAD 值的第二极小值的处理。
随后，局部运动矢量计算部154依次更新用于SAD ^L的第一 极小值存储单元1541中的SAD值的第一极小值和SAD值的第一 极小值的位置信息(即，参考矢量)以及用于SAD值的第二极小 值存4渚单元1542中的SAD值的第二才及小值和SAD值的第二才及小 值的位置信息(即，参考矢量)。局部运动矢量计算部154扭j亍该 更新处理直至对匹配处理范围中的所有参考块的块匹配处理都结 束。然后，当所述块匹配处理结束时，该时间点的目才示块的SAD 值的第一极小值以及SAD值的第一极小值的位置信息或参考矢量 存储在用于SAD值的第一极小值存储单元1541中。此外，SAD值 的第二极小值以及SAD值的第二极小值的位置信息或参考矢量被 存储在用于SAD值的第二极小值存储单元1542中。
随后，当对匹配处理范围内的所有参考块的块匹配处理结束 时，局部运动矢量计算部154^r测存々者在用于SAD的第一才及小佳— 存储单元1541中的参考矢量的信息(即，位置信息)，作为在缩小 面、中间面和基底面的每一个中的运动矢量。下文将详细描述局部 运动矢量计算部154的处理:操作。
本实施例中的局部运动矢量计算部154在缩小面匹配处理时将 缩小面运动矢量MVs作为局部运动矢量LMV提供给控制块155。
当进行分层的块匹配处理时，控制部155从缩小面运动矢量 MVs的信息确定用于中间面的搜索范围。然后，控制部155将控制 信号提供纟合目标块緩存部151、参考块緩存部152和匹配处理部 153,以4吏它们在中间面中批j亍块匹配。
然后，当中间面中的匹配处理结束时，局部运动矢量计算部154 将缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量的信息 作为局部运动矢量LMV提供给控制部155。
控制部155 乂人缩小面运动矢量MVs和中间面运动矢量MVm 的合成矢量的信息确定用于基底面的搜索范围。然后，控制部155 将控制信号提供给目标块緩存部151、参考块緩存部152和匹配处 理部153，以使它们在基底面中扭J亍块匹配。
如上所述，控制器155可以控制哪个层应扭J于分层的块匹配以 及是否应该输出该层中的运动矢量作为局部运动矢量LMV。例如，如果即^f吏牺牲^奮确度也希望在短时间内获得局部运动矢
量LMV，则局部运动矢量计算部154可以^U丸行缩小面的块匹配 处理。另一方面，在需要高精确度的局部运动矢量LMV的情况下， 局部运动矢量计算部154可执4亍分层的块匹配处理直至基底面块匹 配处理。或者，在考虑到精确度和时间的情况下，局部运动矢量计 算部154可能批^亍分层的块匹配处理直至中间面块匹配处理。
当直到基底面的分层匹配处理结束时，局部运动矢量计算部 154获4寻缩小面运动矢量MVs、中间面运动矢量MVm和基底面运 动矢量MVb的合成矢量的信息作为局部运动矢量LMV。局部运动 矢量LMV ^皮纟是供纟会全局运动计算部157。
全局运动计算部157临时存储所接收的局部运动矢量LMV。
此外，当通过局部运动矢量计算部154进4亍局部运动矢量LMV 的匹配处理结束时，通过4空制部155;敫活运动矢量可靠4生指冲示1直计 算部156。同时，第一才及小值存〗诸单元1541的SAD值的最小值 MinSAD和第二极小值存储单元1542的SAD值的第二极小值 Btm2SAD从局部运动矢量计算部154被提供给运动矢量可靠性指 标值计算部156。
此外，此时将目标块的图j象凄t据乂人目标块纟爰存部151通过^f氐通 滤波器1591才是供给最大亮度值4企测部1592和最小亮度值4企测部 1593。然后，分别将由最大亮度值检测部1592和最小亮度值检测 部1593检测的最大亮度值MaxTAR和最小亮度值MinTAR提供给 运动矢量可靠性指标值计算部156。
运动矢量可靠性指标值计算部156根据上文给出的(表达式6 ) 使用提供给其的信息以计算运动矢量的可靠性指标值Ft。然后，运 动矢量可靠性指标值计算部156将所计算的运动矢量可靠性指标值Ft提供给全局运动计算部157。全局运动计算部157以与此时提供 的局部运动矢量LMV相关联的关系来临时存书者输入其中的运动矢 量可靠性指标值Ft。
在对目标帧中的所有目标块都结束了上述的一系列处理之后， 控制部155将控制指令信号提供给全局运动计算部157，从而开始 全局运动的凄t学运算处理。
在本实施例中，全局运动计算部157首先才艮据来自控制部155 的控制指令信号使用以与局部运动矢量LMV的对应关系存储的运 动矢量可靠性指标值Ft来执行对存储在其中的多个局部运动矢量 LMV的可靠性的判定。在本实施例中，根据上文给出的(表达式7) 计算每个运动矢量LMV的加4又系凄史W。然后，全局运动计算部157 仅提取加权系数W为W=l并呈现高可靠性的那些局部运动矢量 LMV。
然后，全局运动计算部157仅使用所提取的具有高可靠性的局 部运动矢量LMV来4丸4于计算全局运动GM的lt学运算处理。然后， 全局运动计算部157将所得到的全局运动矢量GM提供给全局运动 矢量计算部158。
全局运动矢量计算部158将全局运动GM应用于目标块的坐标 4立置(例如，中心4立置)以计算目标块的全局运动矢量GMV。
全局运动矢量计算部158将所计算的全局运动矢量GMV提供 给背景/运动图像拾取对象判定部150。此外，将来自局部运动矢量 计算部154的局部运动矢量LMV提供给背景/运动图像拾取对象判 定部150。关于上述目标块，背景/运动图像拾取对象判定部150将用于每 个目 一示块的局部运动矢量LMV与全局运动矢量GMV进4于比4交以 判定它们的一致度(即，背景一致度)。在这种情况下，背景/运动 图像拾取对象判定部150将关于分别对应于局部运动矢量LMV和 全局运动矢量GMV的参考块的相关值(即，SAD值)进4亍比摔交以 进行背景和运动图像拾取对象的判定。
顺便提及，也可以使用通过局部运动矢量计算部154确定的用 于计算全局运动的局部运动矢量LMV和相关值(即，SAD值)作 为通过背景/运动图像对象判定部150用于上文所述比较的值。
然而，在这种情况下，局部运动矢量计算部154需要在全局运 动计算部157和全局运动矢量计算部158进4亍处理的时间,殳内{呆留 局部运动矢量和SAD值。在这种情况下，尤其是因为不知道全局 运动矢量GMV对应哪个参考矢量，所以需要保留关于各个目标块 的SAD值表的所有SAD值作为将被保留的那些SAD值。因此， 为了保留局部运动矢量LMV和SAD值需要具有非常大容量的存储 器。
考虑到这一点，在本实施例中，局部运动矢量计算部154执行 局部矢量LMV和SAD值的再计算用于背景/运动图像拾取对象判 定部150的比较。通过这样的再计算，局部运动矢量计算部154不 再需要包括用于存储局部运动矢量LMV和SAD值的存储器，并且 可以消除存储器容量的问题。
因此，背景/运动图像拾取对象判定部150使用再计算的局部运 动矢量LMV和SAD值来确定表示关于目标块的背景 一致度的命中 率P。在进行这种再计算时，背景/运动图像拾取对象判定部150还 获取关于与全局运动矢量GMV —致的参考矢量(即，参考块位置) 的SAD值。然后，背景/运动图像拾取对象判定部150使用再计算的局部运动矢量LMV和SAD值来判定目标块是背景部分还是运动 图像拾取对象部分。
背景/运动图像拾取对象判定部150将关于对应于全局运动矢 量GMV的参考块的SAD值(其与关于对应于局部运动矢量LMV 的参考块的SAD值进行比较)校正为反映图像噪声量的值。
图像噪声通常具有对应于图像亮度值的值。因此，在本实施例 中，来自对比度计算部159的最大亮度值检测部1592的最大亮度 值MaxTAR和来自最小亮度值4企测部1593的最小亮度值MinTAR 被提供给背景/运动图像拾取对象判定部150。
背景/运动图像拾取对象判定部150检测图像的亮度值作为最 大亮度值MaxTAR与最小亮度值MinTAR之间的差，并响应于所抬r 测的亮度值确定关于对应于全局运动矢量GMV的参考块的SAD值 的校正值。
然后，背景/运动图4象拾取对象判定部150将所+之正的相关值与 关于对应于全局运动矢量GMV的参考块的所述校正值进行比较。 然后，背景/运动图像拾取对象判定部150判定关于对应于全局运动 矢量GMV的参考块的SAD值的校正值是否小于(即，相关值是否 大于)关于对应于局部运动矢量LMV的参考块的SAD值的校正值。 当前者较低时，背景/运动图像拾取对象判定部150评估并判定目标 块为背景部分。
当命中率P具有目标块可被认为是背景部分的这样的值时，背 景/运动图像拾取对象判定部150输出全局运动矢量GMV作为经过 降噪处理的运动矢量MVnr。在任何其他情况下，背景/运动图像拾 耳又对象判定部150 $俞出局部运动矢量LMV作为关于目标块的降噪: 处玉里的运动矢量MVnr。如上所述，将来自背景/运动图像拾取对象判定部150的降噪处 理的运动矢量MVnr^是供给运动补偿图片生成部16。
运动补偿图片生成部16对通过运动矢量计算部15传送至其的 用于参考帧的图像数据REFv的降噪处理运动矢量MVnr施加变换 处理，以生成运动补偿图像的数据MCv。然后，将所生成的运动补 偿图像的数据MCv提供给加法部17。
此外，背景/运动图像拾取对象判定部150将所确定的命中率(3 提供给相加率计算部21。相加率计算部21基于命中率(3计算对应于 目标图像的运动补偿图像的相加率oc。
在这种情况下，可以以块为单位或以^象素为单位计算相加率a。 即使在以像素为单位计算相加率a的情况下，也由于是以块为单位 计算命中率p,所以命中率p自然以块为单位参与相加率的计算。
在以块为单位计算相加率a的情况下，也可以〗又响应于命中率|3 来计算相加率a。自然，可以通过考虑除命中率P以外的其他相加率 计算因素来计算相加率a。
在本实施例中，相加率计算部21以^象素为单位确定相加率a。 为此，将目标图像的数据TGv与运动补偿图像的数据MCv提供给 相加率计算部21。
在本实施例中，相加率计算部21 -使用目标图^象的〗象素与运动 补偿图像的像素之间的差值的绝对值(即，像素差绝对值)、目标 图像的像素平均值与运动补偿图像的像素平均值之间的差值的绝 对值(即，平均量差绝对值)、目标图像的方差差值绝对值以及命 中率p来确定相加率a。例如，作为像素平均值，确定受关注的像素(即，像素本身) 附近的九个像素的平均值。作为方差差值绝对值，确定受关注的像 素(即，像素自身)与邻近像素之间的差值的方差值的绝对值。
由相加率计算部21确定的相加率a被提供给加法部17。加法 部17使运动补偿图像的数据MCv以相加率a与传送给其的目标图 像的图像数据TGv相加。
在本实施例中，加法部17以对应于目标块的背景一致度(即， 命中率P)的相加率将目标图像与运动补偿图像进行叠加。换言之， 在静止图片部分，运动补偿图像与目标图像的相加率较高，而在运 动图像拾取对象部分，运动补偿图像与目标图像的相加率较低。
以这种方式，在本实施例中，可以利用各个适当的相加率，在 背景部分和运动图像拾取对象部分处执行图像的叠加。因此，通过 图像叠加获得了良好的降噪图像。
此外，由于乂人具有高可靠性的那些局部运动矢量LMV中生成 在本实施例中^f吏用的全局运动和全局运动矢量GMV,所以它们是 高精确度的运动矢量。此外，关于这点，可获得良好的降噪图像。
用于降噪生成的一4史处理的流程
图18示出了从进入图像存储器4的拾取图像中生成降噪图像
的处理流程。
首先在步驶《S1，在运动矢量计算部15中，局部运动矢量计算 部154通过块匹配4丸行局部运动矢量LMV的才企测。然后，在步骤 S2中，运动矢量可靠性指标值计算部156 4吏用通过局部运动矢量计 算部154计算的SAD值的第一极小值MinSAD和第二极小值 Btm2SAD计算所4企测的局部运动矢量LMV的可靠性的指标^直Ft。然后，在步骤S3，全局运动计算部157基于所计算的可靠性指 标值Ftl是耳又高可靠性的局部运动矢量LMV。然后，全局运动计算 部157 ^U吏用所才是取的高可靠性的局部运动矢量LMV来计算全局 运动GM。
然后，在步骤S4，全局运动矢量计算部158使用在步骤S3中 计算出的全局运动GM来计算每个目标块的全局运动矢量GMV。
然后，在步-骤S5，局部运动矢量计算部154进4于块再匹配处理 以重新才企测所述局部运动矢量LMV。然后，局部运动矢量计算部 154存储在从中检测到局部运动矢量LMV的参考块的位置(即， 参考矢量)处的SAD值(即，第一极小值MinSAD)。此外，局部 运动矢量计算部154还存储了关于对应于在步骤S4中计算出的全 局运动矢量GMV的参考块的SAD值。注意，此时，没有必要计算 局部运动矢量LMV的可靠性的指标Y直Ft。
然后，在步骤S6，背景/运动图像拾取对象判定部150将在步 骤S5中计算的局部运动矢量LMV与在步骤S4中确定的全局运动 矢量GMV进行比專交，以评估关于每个目标块的背景一致度乂人而确 定命中率P。然后，背景/运动图像拾取对象判定部150确定关于每 个目标》夹的降，喿处J里运动矢量MVnr,并爿寻降p喿处J里运动矢量MVnr 输出给运动补偿图片生成部16。
在步骤S6的局部运动矢量LMV与全局运动矢量GMV之间的 比專交中，将关于对应于局部运动矢量LMV的参考块的SAD值与关 于对应于全局运动矢量GMV的参考块的SAD值进行比较。此外， 对于关于对应于全局运动矢量GMV的参考块的SAD^直，基于上述 图像噪声应用4交正。然后，在步骤S7,运动补偿图片生成部16使用在步骤S6中确 定的降噪处理运动矢量MVnr来生成用于每个参考块的运动补偿图 -像，并将所生成的运动补偿图^象输出症合加法部17。
然后，在本实施例中，在步骤S8，相加率计算部21 4吏用在步 -骤S6中确定的命中率P以计算用于每个4象素的相加率a，并4寻所计 算的相加率a提供给加法部17。
然后，在步骤S9，加法部17以在步骤S8中计算的相加率a将 在步骤S7中生成的运动补偿图^f象叠加在各个^象素的目标图l象上以 生成降噪图〗象。降噪处理由此结束。
注意，图18示出了一个特定目标帧的处理操作。在叠加大于 等于3的多个图像的情况下，将由两个图像生成的降噪图像设为目 标帧，而将最新叠加的图傳^殳为参考帧，以重复图18的处理。
现在，将进一步描述运动矢量计算部15的主要部件的详细处
理操作。
局部运动矢量计算部154的处理^喿作
在本实施例中，为了检测SAD值的极小值，局部运动矢量计 算部154将关于关注像素或像素自身的差值与关于关注像素周围的 像素的差值进行比较。具体地，局部运动矢量计算部154将位置Po 确定为判定对象点或^象素，并比4交判定对象点位置Po处的SAD值 与接近判定对象点位置Po和在其周围(由图19中的虚线框包围) 的8个SAD值。然后，局部运动矢量计算部154从由虚线框包围 的区域中的9个SAD值中判定判定对象点的SAD值是否为最小值 (下文中称为局部极小值)。然后，如果判定对象点的SAD值被确定为局部极小值，则局 部运动矢量计算部154将判定对象点的SAD值与目前所存^f诸的 SAD值的极小值进行比较。然后，如果局部运动矢量计算部154判 定判定对象点的SAD值小于目前所存储的SAD值的极小值，则用 新才金测到的局部最小SAD值来更新存^f诸于其中的SAD值的才及小 值。
作为上述的用于检测这种局部极小SAD值的配置，局部运动 矢量计算部154被设计曾减小用于存储SAD值的SAD存储器的緩 冲存储器的规模。具体地，当局部运动矢量计算部154以一个像素 为单位搜索参考块时，如图19所示，准备能够存储水平方向上目 标块尺寸的两条线的SAD值+三个SAD值的緩冲存储器作为用于 存储SAD值的SAD表的緩冲存储器。
乂人图19可以看出，如果将水平方向上目标块尺寸的两4亍的 SAD值+三个SAD值写入緩冲存储器，则可以判定处于判定对象 点位置Po的局部^ L小值。
为了使緩沖存储器的尺寸最小化，如图19所示，新输入的SAD 值:帔重写在已存々者了旧SAD值但已不再用于才及小值评估或局部4 L 小值检测的存储器位置Pa处。具体地，虽然新输入的SAD值按顺 序被写入如19所示的存储器位置Pb,但不是存储器位置Pb而是重 写利用不再使用的存储器位置Pa来抑制存储器硬件规模的增加。
注意，局部运动矢量计算部154除了用于检测局部极小值的緩 冲器外还包括上文所述的第一极小值存储单元1541和第二极小值 存储单元1542。
上述的这一系列处理是基本的处理，并将该基本处理应用于第 一极小值和第二极小值以检测SAD值的最小值和SAD值的第二极小值。在本实施例中，局部运动矢量计算部154对缩小面、中间面和 基底面执行相同的操作，但其在基底面上检测局部运动矢量LMV 并计算局部运动矢量LMV的可靠性指标4直。因此，一f叉对基底面需 要SAD值的第二极小值，并且可以省略缩小面和中间面上的SAD 值的第二极小值的计算与存储。
图20示出了局部运动矢量计算部154进行的第一极小值和第 二极小值的检测处理操作的流程图。
参照图20，在步骤SIOI,首先，局部运动矢量计算部154 乂人 匹配处理部153取得SAD值。然后，在步骤S102，局部运动矢量 计算部154将处于判定对象点位置Po处的SAD值与判定对象点位 置Po周围位置处的8个SAD值进行比较。然后，在步骤S103中， 局部运动矢量计算部154基于比4交结果判定判定对象点位置Po处 的SAD值是否为局部极小值。
如果在步骤S103中判定处于判定对象点位置Po处的SAD值 不是局部极小值，则处理返回至步骤SIOI以执行接下来的SAD值
的获取。
另一方面，如果在步骤S103中判定处于判定对象点位置Po处 的SAD值是局部极小值，则在步骤S104中，局部运动矢量计算部 154将存储在其中的SAD值的第 一极小值和第二极小值与处于判定 对象点位置Po处的SAD值进行比较。
然后，在步骤S105，局部运动矢量计算部154判定处于判定对 象点位置Po处的SAD值是否小于存储在其中的SAD值的第一极 小值。然后，如果判定处于判定对象点位置Po处的SAD值较低， 则在步骤S106中，局部运动矢量计算部154用存储在第一极小值 存4渚单元1541中的SAD值更新第二才及小值存4诸单元1542并将处于判定对象点位置Po处的SAD值存储在第一极小值存储单元1541中。
然后，在步骤S109中，局部运动矢量计算部154判定是否利 用目标块完成了关于所有参考块的SAD值的计算处理。如果判定 计算处理还没有完成，则处理返回至步骤S101,以获取4妄下来的 SAD值。另一方面，如果在步骤S109中判定利用目标块完成了关 于所有参考块的SAD值的计算处理，则局部运动矢量计算部154 结束处理程序。
另一方面，如果在步骤S105中判定处于判定对象点位置Po处 的SAD值大于等于存储在其中的SAD值的第一极小值，则在步骤 S107中，局部运动矢量计算部154判定处于判定对象点位置Po处 的SAD值是否小于存储在其中的SAD值的第二极小值。如果判定 处于判定对象点位置Po处的SAD值较低，则在步骤S108中，局 部运动矢量计算部154用处于判定对象点位置Po处的SAD值更新 存l诸在第二极小值存储单元1542中的SAD值。
处理乂人步骤S108前进至步骤S109,局部运动矢量计算部154 判定是否完成了关于所有参考块的SAD值的计算处理。如果判定 计算处理还没有完成，则处理返回至步骤S101,以取^f^接下来的 SAD值。另一方面，如果在步骤S109中判定针对目标块完成了关 于所有参考块的SAD值的计算处理，则结束处理程序。
另一方面，如果在步骤S107中判定处于判定对象点位置Po处 的SAD值不小于存储在其中的SAD值的第二极小值，则处理前进 至步骤S109。在步骤S109中，局部运动矢量计算部154判定是否 针对目标块完成了关于所有参考块的SAD值的计算处理。如果在步骤S109中判定关于所有参考块的SAD值的计算处理 还没有完成，则处理返回至步骤SlOl，以取得接下来的SAD值。 另一方面，如果在步骤S109中判定4t对目标块完成了关于所有参 考块的SAD值的计算处理，则结束处理程序。
图20所示的处理流程图可类似地应用于缩小面、中间面和基 底面。在这种情况下，对于缩小面和中间面，最终存々者在第一才及小 值存储单元1541中的SAD值被J企测为SAD值的最小值MinSAD， 并且对应的参考矢量祐j企测分别作为缩小面运动矢量MVs和中间 面运动矢量MVm。然后，输出最小值MinSAD以及缩小面运动矢 量MVs和中间面运动矢量MVm。
另一方面，对于基底面，最终存储在第一极小值存储单元1541 中的SAD值被才企测为SAD值的最小值MinSAD,并且对应的参考 矢量被检测为基底面运动矢量MVb。然后，输出SAD值的最小值 MinSAD和基底面运动矢量MVb。此夕卜，对于基底面，最终存储在 第一极小值存储单元1541中的SAD值(即，最小值MinSAD )以 及最终存储在第二极小值存储单元1542中的SAD值(即，SAD值 的第二极小值)被提供给运动矢量可靠性指标值计算部156。
全局运动计算部157的处理操作
<扩展仿射变换>
在本实施例中，乂人大量的局部运动矢量LMV计算或估计全局 运动。然后，才艮据所计算的全局运动，计算全局运动矢量GMV或 估计全局运动矢量GMV。在这种情况下，4吏用通过仿射变换表示 全局运动的方法。然而，普通的仿射变换具有不适于"倾斜失真"的缺点。"倾 斜失真"是由相机抖动的俯仰轴(即，垂直方向上的轴)或偏转轴 (即，与垂直方向垂直的水平方向上的轴)的旋转分量引起的现象。
通过"倾斜失真"，如图21A和图21B所示，准确面乂于状态的矩形 平面变形为梯形，因此，也被称为梯形失真或畸变。
具体地，当相机CAM准确面对图像才合取对象OBJ以如图21A 的下侧所示使相才几CAM的光轴Lz垂直地扩展至图像拾取对象OBJ 的矩形平面时，图像拾取对象OBJ的矩形平面的拾取图像直接呈现 如图21A上侧所示的矩形形习犬。
另一方面，例如，如图21B的下侧所示，如果相才几CAM的光 轴Lz经受了俯仰轴旋转(即，竖直平面上的旋转)角度e而没有 准确面对图像拾取对象OBJ,则图像拾取对象OBJ的矩形平面的拾 耳又图像呈现出梯形形状，其中，如图21B的上侧所示，图^f象的左向 和右向(即，水平方向)上的长度响应于角度e角而线性变化。
注意，虽然未示出，但是如果相才/L CAM的光轴Lz并未准确面 对图像拾取对象OBJ而是经受偏转轴旋转(即，水平平面内的旋转) 角度e，则图像拾取对象OBJ的矩形平面的拾取图像呈现出梯形形 状，其中，图像的向上和向下方向(即，图像的竖直方向)的长度
响应于角度e角线性变化。
用于将通过相机抖动以上述扭曲形式拾取的图像恢复为准确 面对状态的原始形状的图像的方法是"倾斜失真，，校正或梯形校正。 然而，这种4交正并不能用上述仿射变换的参it来表示。具体地，如
果需要执行将图21B所示的"倾斜扭曲的"梯形图像恢复为矩形图 像的这种"倾斜失真"校正，则图像沿垂直轴或y轴的上部应该被 水平收缩而图像的下部应被水平扩展。但是，对于仿射变换的参数， 参与水平扩展或收缩的参数为a，并且由于参数a为固定值，仿射 变换并不适于上述的纟交正。为了避免刚刚描述的这个问题，已经提出了利用正交投影变换
来代替仿射变换。正交投影变换由图22所示的(表达式8)表示， 并且可以表示乂人三维空间中的4壬意平面到另 一个平面的4殳影变才奐。
然而，难以将正交投影变换应用于这里假设的从大量矢量中指 定一个全局运动的情况。这是因为难以才艮据图22的(表达式8)的 形状使用最小二乘法，并且在使用一些其他技术的情况下，还需要
大量的数学运算。
作为现实的问题，因为实际的图傳^合取对象是三维对象，所以 观察的局部运动矢量包括大量距离互不相同的图像拾取部分。在这 种情况下，正交投影变换的应用只能是近似的。因此，如果考虑到 需要非常高的成本来获得对正交投影变换的通解，则正交投影变换
并不能作为降低成本的对策看起来是合理的决定。
为了更加简单;也应用正交才殳影变4灸，可以采用相对于6个矢量 确定解的方法。这是因为，由于必须确定12个参凄欠，所以如果K 入6个矢量的坐标，则生成具有6个未知凄t的6x2的一阶方禾呈式， 可以通过6x2矩阵的逆矩阵计算而比较容易地得出解。因此，需 要从大量的局部矢量中适当地选择6个矢量。
然而，如果考虑到运动图像拾取对象包括在拾取图像中的情 况，则由于不能期望每一个局部矢量都相当准确，所以难以从大量 的局部运动矢量中仅提取具有高精确度的那些矢量。因此，难以从 大量的局部运动矢量中适当地选择6个矢量。
考虑到上述情况，本实施例使用了即使图像经受"倾斜失真" 仍可以顺利地4企测全局运动的才支术。具体地，在本实施例中，4吏用上面参照图21A描述的现有普通 仿射变换的修改形式。刚刚描述的普通仿射变换的修改形式在下文 中被称为扩展仿射变换。
现在，尝试执行将由图23中实线表示"倾斜扭曲"的梯形图 像恢复为由图23中虚线表示的矩形图像的"倾斜失真"校正。在 这种情况下，梯形图4象的上半部分应沿垂直轴，即，由箭头标记表 示的y轴水平地减小，而梯形图像的下半部分应水平扩展。
在普通的仿射变换中，在仿射变换的参数a、 b、 c、 d、 e和f 中，与水平扩展和收缩有关的参数是a。由于参数a具有固定值， 所以普通仿射变换并不适于"倾斜失真，，校正。
因此，如果将参数a重写为qO.y+ rO以使其值可如图23的下 部所示沿y轴变化，则仿射变换变为水平方向上的扩展或收缩比响 应于垂直轴而线性变化。换句话i兌，参凄ta纟皮替换为用于"倾斜失 真，，4交正的y轴的变量y的函凄t。这里，对于图23中的"倾杀牛失 真，，校正，参数a可以是线性函数，即，函数q0.y + rO。
虽然图23中的仿射变换考虑到通过旋转上述俯仰轴进行"倾 斜失真"的校正，但是还需要考虑到通过旋转偏转轴进行"倾斜失 真，，的4交正以及通过俯仰轴和偏转轴的合成旋转进4于"倾斜失真" 的校正。
因此，在本实施例中，扩展了上面参照图23描述的相克念。具 体地，为了使仿射变换允许在垂直于任意轴的方向上沿该轴扩展或 收缩，参凄欠a、 b、 d和e由图24的(表达式9 )表示的pn.x + qn.y + m (n = 0, 1， 2， 3 )所取代。这里，在仿射参tta、 b、 d和e参与图^f象变换的同时，仿射参 凄史c和f分别参与沿向左或向右方向以及向上或向下方向l扁移。因 此，仿射参数c和f并不能被替换为函数。
在仿射参数a、 b、 d和e如(表达式9 )表示的情况下，涉及 14个参数，并且扩展仿射变换看起来复杂程度非常高。然而，如果 (表达式9)被展开并整理，则其具有使用总共12个参数的图25 所示的(表达式IO)的形式。
如果使用扩展仿射变换的这种表达式，则经过表达式很复杂， ^f旦是仍可以通过最小二乘法p舉一i也:惟出多个局部运动矢量的解。由 于该技术与仿射变换相同，所以分别如图26~图30中的(表达式 11) ~ (表达式15)给出最终结果。
注意，在本实施例中，虽然参与图像变换的所有仿射参数a、 b、 d和e都被替换为函数，但是如果图像变换只出现在特定方向，则 仅关于该方向的参数才被替换为函数。例如，为了仅考虑图23的 上侧所示的变换，如图23的下侧所示，仅参数a应用函数替换。
此外，在上述实例中，虽然由于^^殳线性变形而4吏用于替换的 函数是线性函数，但如果假设曲线是线性的，则函数可以是二次或
高阶函凄史。
<使用扩展的仿射变换计算全局运动>
作为用于从未指定的大量矢量中推导出最优全局运动的技术， 本实施例4吏用了在图31和图32的流程图中示出的方法。4艮据该方 法，当不太可能符合全局运动的块的那些运动矢量(例如，运动图 像拾取对象)逐步从具有高可靠性的块中排除时，最小二乘法被用 于l吏全局运动收敛。根据图31和图32的处理，釆用扩展仿射变换以使得可以从许 多低矢量精确度的局部运动矢量中排除运动图像拾取对象等的误 差矢量，同时在实际的数学运算成本下推导包含"倾斜失真"的最 佳全局运动。
顺便提及，由于本实施例中的扩展仿射变换涉及到许多变换参 数并且是可变通的，所以存在全局运动的收敛数学运算还可适于运 动图像拾取对象的误差运动矢量或噪声的可能性，这就不能排除这 种误差运动矢量。
因此，在本实施例中，在收^L数学运算循环的初始阶^T殳，^使用 普通仿射变换排除误差运动矢量(下文中称为误差矢量)，此后， 如图31和图32所示，执行使用扩展仿射变换的收敛数学运算。这 是因为，期望使用在矢量误差降到通过使用普通仿射变换不能排除 这种倾斜失真因子的程度之后尝试使高精确度收敛同样可适于使 用扩展仿射变换的倾斜失真因子的技术。
此外，在本实施例中，4企测矢量误差的最高值作为在收敛数学 运算的每个周期确定的全局运动GM中确定的运动矢量(即，全局 运动矢量)与所4企测运动矢量(即，上述的所检测的局部运动矢量 LMV)的差。
然后，如果所检测的矢量误差的最高值大于预先确定的阈值， 则继续普通的仿射变换，但是如果所检测的矢量误差最高值小于或 等于预定阈值，则执行使用扩展仿射变换的收敛数学运算。
现在，将详细描述图31和图32的方法。
首先，在步骤S201中，全局运动计算部157将存储在其中的 多个局部运动矢量LMV的运动矢量可靠性指标值与预先确定的阈值进行比较。然后，根据比较结果，全局运动计算部157仅选择运 动矢量LMV可靠性指标值Ft大于预定阈值的目标块。刚刚提及的 这些目标块在下文中被简称为块。所描述的处理对应于参照上面给 出的(表达式7 )所描述的1和0两个值被用作权重系数W的情况。
然后，在步骤S202中，全局运动计算部157判定是否是第一 次冲丸行收敛凄t学运算的收敛循环。如果判定收敛循环为第 一次#丸 行，则在步骤S203中，全局运动计算部157仅使用所选块的局部 运动矢量LMV以及〗吏用普通仿射变换来4,导或估算全局运动GM。 换言之，全局运动计算部157推导全局运动GM的仿射参lt a ~ f。
然后，在步骤S206中，全局运动计算部157基于所推导的全 局运动GM来计算用于凄t学运算的所选块的理i仑局部运动矢量 LMVs。
然后，在步骤S207中，全局运动计算部157对每一个所选块 计算由块匹配处理确定的局部运动矢量LMV与在步骤S206中确定 的理论局部运动矢量LMVs之间的误差En。
对于由块匹配确定的局部运动矢量与理i仑局部运动矢量之间 的误差计算，如果重点在于数学运算的精确度，则应利用勾股定理 正确地冲丸行距离计算。然而，如果重点在于减少凄t学运算而非津奇确 度，则可以将水平和垂直方向上两个运动矢量之间确定的距离和用 作近似距离。
然后，在步骤S208中，全局运动计算部157使用为所选块确 定的所有误差En来计算平均值Eave和误差En的最大值Emax。然 后，在步骤S209中，全局运动计算部157判定平均值Eave是否小 于预先确定的阈值ea以及最大值Emax是否小于预先确定的阈值eb。如果作为图32中步骤S209的判定结果判定并不满足这些条 件，则处理前进到步骤S211,其中，全局运动计算部157/人用于推 导全局运动的块中排除在步骤S207中确定的块的误差En中"i吴差 En满足En-Emax的一个块。或者，在步骤S211中，全局运动计 算部157检测误差En满足En20b的那些块并从用于推导全局运动 GM的块中排除所有才企测出的块。
然后，在步-骤S212,全局运动计算部157判定作为步骤S211 中的块排除结果的剩余块数是否小于预先确定的阈值0c。如果在步 骤S212中判定剩余块凄t不小于阈值0c，则处理返回到步骤S212, 以将剩余块设置为所选块来重复从步骤S202开始的步骤的处理。
如果剩余块数小于阈值0c，则由于无法获得适当的全局运动 GM，所以对象参考帧的图像不能用于与本实施例中的图像进行重 叠。因此，如果在步骤S212中判定剩余块凄t小于阈值0c，则在步 骤S213中，全局运动计算部157浪匕过后面用于参考帧的所有处理。 由此，全局运动计算部157结束图31和图32的处理。
另一方面，如果在步骤S202中判定不是第一次执行收敛数学 运算的收敛循环，则全局运动计算部157在步骤S204中判定在步 骤S208中确定的块的误差En的最大值Emax是否大于预先确定的 阈值9d。
将阈值0d选择为以下值当普通仿射变换被用于执行全局运 动GM的数学运算并以上述步骤S211的这种方式排除矢量误差时， 不会排除倾斜失真分量的矢量。
如果在步骤S204中判定误差En的最大值Emax大于预定阈值 ed,则全局运动计算部157前进至步骤S203的处理，其中，其使 用普通仿射变换来推导全局运动GM。换言之，全局运动计算部157
70计算用于扩展仿射变换的参数。此后，全局运动计算部157重复地 执行从上述步骤S203开始的步骤的处理。
如果在步骤S204中判定误差En的最大值Emax小于或等于预 定阈值0d，则全局运动计算部157在步骤S205中仅使用所选块的 局部运动矢量LMV以及使用扩展仿射变换来推导全局运动。在步 骤S205的处理之后，执行以步骤S206开始的步骤的处理。
然后，如果在图31的步骤S209中确定误差En的平均值Eave 小于阈值9a且误差En的最大值Emax小于阈值eb，则在步骤S210 中，全局运动计算部157判定数学运算收敛，并最终确定该时间点 的全局运动GM,此后结束处理程序。
注意，步骤S211中是否应该仅排除误差En为最大误差值Emax 的块还是应该排除误差En等于或大于阈值0b的块可以基于当确定 全局运动矢量GMV时的收敛的快捷性和精确度之间的平衡来确 定。如果精确度优先，则应该采用前一种方法来逐个地排除误差块， 但如果快捷性优先，则应该采用后一种方法。
注意，在上述处理程序的步骤S204中，误差En的最大误差值 Emax被用于判定使用普通仿射变换的数学运算和使用扩展仿射变 换的数学运算之间的转换。然而，可以不4又考虑到误差En的最大 误差值Emax还考虑到误差En的平均值Eave来执4亍步骤S204中 的转换判定。
在这种情况下，在步骤S204中，判定误差En的平均值Eave 是否大于预先确定的阈值，如果平均值Eave大于阈值，则使用普 通仿射变换执行数学运算。然而，如果平均值Eave小于或等于阔 值，则使用扩展仿射变换执行数学运算。或者，可以在步骤S204中判定误差En的最大值Emax和平均 值Eave是否大于各个预先确定的阈值。在这种情况下，如果确定 它们都大于各个阈值，则可以使用普通仿射变换来执行数学运算。 然而，如果确定它们都不大于各个阈值，则可以使用扩展仿射变换 来执行数学运算。
注意，因为类似于可以从光学变焦率或i殳置形状中识别出相枳i 抖动4交正范围的事实，可以从最大的相扭4牛动量中获得倾杀+失真分 量的最大值，所以阈值的识别相对来说是比较容易的。
全局运动计算部157基于以上述方式计算的全局运动GM来计 算每个目标块的全局运动矢量GMV。具体地，全局运动计算部157 使用用于所计算的全局运动GM的扩展仿射变换的参凄t a~ 1 (参见 图25)以根据图25的(表达式IO)来确定每个目标块的运动矢量， 其对应于理论局部运动矢量LMVs。对于图25的(表达式10)中 的x和y，使用每个目标块中心位置的坐标。以这种方式确定的运 动矢量变为每个目标块的全局运动矢量GMV。
然后，以上述这种方式确定的目标块的全局运动矢量GMV净皮 才是供给运动补偿图片生成部16。然后，运动补偿图片生成部16 <吏 用目标块的全局运动矢量GMV来生成目标块的运动补偿图片，并 将生成的运动补偿图片提供给加法部17。
图33示出了本实施例中从图12包括许多噪声的图像中确定的 目标块的全局运动矢量。在图33中，每个目标块的全局运动矢量 由空白的箭头标记表示。
背景/运动图像拾取对象判定部150的配置和处理操作的实例在通过局部运动矢量计算部154进行块的再匹配时，背景/运动 图像拾取对象判定部150获取关于由上述全局运动矢量计算部158 计算的对应于全局运动矢量GMV的参考块的SAD值。然后，背景 /运动图像拾取对象判定部150响应于上述图像噪声利用4交正值来 才交正所获取的SAD值。在本实施例的以下描述中，提供了两种利 用才交正<直进4亍才交正的方法。
<第 一 实例通过偏移相加才交正SAD 4直>
图34示出了第一实例的概念。在图34中，横坐标轴表示搜索 范围，纵坐标轴表示SAD的值，以及图34示出了关于一个目标块 的SAD表的内容，即，SAD值。横坐标轴上的每个值均表示参考 块位置，即，参考矢量，并且实线曲线表示与图15非常相似的SAD 表的内容。
参见图34，类似于图15,通过块匹配将呈现最小SAD值的参 考块的4立置或参考矢量501冲企测作为局部运动矢量LMV。同时， 呈现出全局运动矢量GMV的另 一个参考块的位置是图34中的位置 503。
此时，如果关于局部运动矢量LMV的SAD^f直和关于全局运动 矢量GMV的SAD值保持在与由图像噪声所提供量相对应的差值范 围内，则存在全局运动矢量GMV可以是表示最小SAD ^直的参考矢 量的可能性。
具体地，尽管作为参考块的位置的关于全局运动矢量GMV的 SAD值必须最初为最小SAD值，但考虑到由于噪声而错误地将位 于不同参考块的SAD值，即，局部运动矢量LMV的SAD4直确定 为最小SAD值。
73因此，在本实施例中，为了校正全局运动矢量GMV，对全局 运动矢量GMV处的SAD 4直添加了与图傳 乘声量相对应的偏移值 OFS。在本实例中，从全局运动矢量GMV处的SAD值(由 SAD—GMV表示)中减去偏移值OFS以校正SAD值。具体地，在 校正后的SAD值由MinSAD—G表示的情况下，其^皮表示为
MinSAD—G = SAD—GMV - OFS ,..(表达式16 )
这里，如果偏移值OFS被设置为非常高的值，则运动图像拾取 对象的运动矢量也^皮判定为最小SAD ^直。因此，在本实施例中， 偏移值OFS被设置为小于局部运动矢量的可靠性指标值Ft的阈值 th (参见表达式7)的值。
然后，背景/运动图像拾取对象判定部150将所校正的SAD值 MinSAD—G与局部运动矢量LMV处的SAD值MinSAD进4亍比寿交。 如果比4交结果表明MinSAD—G<MinSAD,则评估关于目标块的SAD 值的最小值是关于与全局运动矢量GMV相对应的参考块的SAD值 的冲交正^直MinSAD—G。图34示出了满足MinSAD—G<MinSAD情况 下的SAD表。
具体地，在SAD表为图34所示的情况下，确定关于目标块的 真实局部运动矢量与全局运动矢量GMV—致。然后，在这种情况 下，评估与目标块的背景一致度较高同时关于目标块的命中率p具 有较大的值。然后，关于目标块的降噪处理运动矢量是全局运动矢 量GMV。
这里，在本实施例中，假定命中率(3为OSP^l范围内的值。 如果局部运动矢量LMV和全局运动矢量GMV彼此完全一致，则 命中率P可,皮确定为(3= 1。然而，在本实施例中，没有执4亍局部运 动矢量LMV和全局运动矢量GMV〗皮此是否完全一致的评估，但>是将4交正的SAD值MinSAD—G与在局部运动矢量LMV处的SAD 值(MinSAD)进行比较用于评估。因此，评估结果不仅包括局部 运动矢量LMV和全局运动矢量GMV 4皮此完全一致的情况，而且 还包括它们并不完全一致的另一种情况。
然后，如下所述，在本实施例中作i i殳如果满足 MinSAD—G<MinSAD,贝寸命中率p为侈寸^口 |3 = 0.75。这里，^L有4吏 用(3= 1的原因在于上述比4交结果包4舌如上所述局部运动矢量LMV 和全局运动矢量GMV4皮jt匕并非完全一致的情况。
图35示出了在第一实例的情况下背景/运动图像拾取对象判定 部150的配置及其相关元〗牛的实例。
参照图35,所示实例的所述背景/运动图像拾取对象判定部150 包括SAD—GMV才企测部1501,偏移减法部1502，偏移生成部1503 和比丰交判定部1504。
在本实例中，将从匹配处理部153进行块再匹配时计算的参考 块的SAD值和位置信息(即，参考矢量的信息)提供给局部运动 矢量计算部154。局部运动矢量计算部154检测块再匹配时的最小 SAD^直MinSAD，并计算局部运动矢量LMV,即，参考块的4立置 信息或参考矢量的信息。然后，局部运动矢量计算部154将局部运 动矢量LMV和通过块再匹配处理获得的SAD值的最小值MinSAD 提供给比较判定部1504。
将从匹配处理部153进行块再匹配时计算的参考块的SAD值 和位置信息(即，参考矢量的信息)还提供给SAD一GMV检测部 1501。 SAD—GMV 4企测部1501冲企测关于与全局运动矢量GMV — 致的参考矢量的参考块的SAD值SAD_GMV,并将所检测的SAD 值SAD GMVl是供给偏移减法部1502。偏移减法部1502将来自SAD—GMV冲企测部1501的SAD值 SAD—GMV中减去来自偏移生成部1503的偏移值OFS以生成4交正 后的SAD值MinSAD—G。然后，偏移减法部1502将生成的才交正后 的SAD值MinSAD—G提供给比较判定部1504。
偏移生成部1503生成对应于图像噪声的偏移值OFS并将其提 供给偏移减法部1502。由于图像噪声呈现出对应于图像亮度值的 值，所以在本实施例中，不同亮度值和不同偏移值OFS之间的对照 表的信息存储在偏移生成部1503中。
偏移生成部1503计算目标块的亮度值作为来自最大亮度值检 测部1592的最大亮度值MaxTAR与来自最小亮度值检测部1593的 最小亮度值MinTAR的差值。然后，偏移生成部1503使用所计算 的目标块的亮度值作为自变量搜索上述对照表，以获取对应于自变 量的亮度值的偏移值OFS。
比專交判定部1504将对应于局部运动矢量LMV的最小SAD值 MinSAD与来自偏移减法部1502的4交正后的SAD值MinSAD—G进
行比4交，并响应于比4交结果生成并输出命中率P。
才是供给比4交判定部1504的还有来自局部运动矢量计算部154 的重新计算的局部运动矢量LMV以及来自全局运动矢量计算部 158的全局运动矢量GMV。
然后，如果满足MinSAD—G<MinSAD，则由于背景一致度较 高，所以比较判定部1504将全局运动矢量GMV作为降噪处理运动 矢量MVnr输出至运动补偿图片生成部16。另一方面，如果不满足 MinSAD_G<MinSAD ，则由于背景一致度4交4氐，所以比较判定部 1504将局部运动矢量LMV作为P条噪处理运动矢量MVnr输出之运 动补偿图片生成部16。注意，用于全局运动矢量GMV的SAD_GMV才企测部1501和 偏移减法部1502可被配置为以使可包括在局部运动矢量计算部154 中。在这种情况下，局部运动矢量计算部154执行块再匹配来检测 关于与全局运动矢量GMV相对应的参考块的SAD值SAD_GMV， 并^U于偏移^f直OFS的减法H学运算。
<背景/运动图像拾取对象判定处理的流程>
参照图36和图37具体描述具有图35配置的通过局部运动矢 量计算部154进行的块再匹配处理以及通过背景/运动图傳^合耳又对 象判定部150进^f于的背景一致度评估处理的流程。通过在控制部155 的控制下的各个部件来执行图36和图37的处理。注意，图36和 图37的处理用于SAD—GMV 4企测部1501和偏移减法部1502 #皮配 置为包4舌在局部运动矢量计算部154中的情况。
首先，在步骤S301中，在控制部155的控制下开始块再匹配 以在目标块緩冲器部151中设置第一个目标块。然后，在步骤S302 中，在控制部155的控制下，从在参考块緩沖器152中緩存的匹配 处理范围内的参考帧的图像数据中设置用于将被进行块再匹配处 理的参考块。
然后，在步艰《S303中，匹配处理部153》于所i殳置的目标块和 所i殳置的参考块4丸4亍块匹配处理，以计算SAD ^直。然后，匹配处 理部153将确定的SAD值与参考块的位置信息或参考矢量一起提 供纟合局部运动矢量计算部154。
然后，在步骤S304中，局部运动矢量计算部154判定参考矢 量是否与全局运动矢量GMV —致。这对应于SAD—GMV 4企测部
1501的处理#:作。如果在步骤S304中判定参考矢量与全局运动矢量GMV不一 致，则在步骤S305中，局部运动矢量计算部154执行最小SAD值 MinSAD和参考块位置或参考矢量的更新处理。具体地，局部运动 矢量计算部154将至此所存〗诸的最小SAD值MinSAD与新计算的 SAD值进行比较，并将较低值存储作为最小SAD值MinSAD。此 外，局部运动矢量计算部154还更新表示最小SAD卩直的参考块位 置或参考矢量。
然后，在步骤S308中，控制部155判定搜索范围内的所有参 考块和目标块的块匹配是否完成。
然后，如果在步骤S308中判定还没有完成对:溲索范围内的所 有参考块的处理，则控制部155在步骤S309中i殳置下一个参考块。 然后，处理返回至步骤S302来重复上述/人步骤S302开始的步骤的 处理。
另一方面，如果在步骤S304中判定参考矢量与全局运动矢量 GMV —致，则在步骤S306中，局部运动矢量计算部154从SAD 值SAD一GMV中减去偏移值OFS。然后，在步骤S307中，局部运 动矢量计算部154将减法结果作为4交正后的SAD值MinSAD—G与 对应参考块位置(即，对应参考矢量-全局运动矢量GMV) —起 进行存储。
然后，处理前进至步骤S308，其中，控制部155判定是否完成
了搜索范围内的所有参考块的处理。
然后，如果在步骤S308中判定完成了搜索范围内的所有参考 块的处理，则局部运动矢量计算部154 4全测局部运动矢量LMV和 最小SAD值MinSAD,并将它们提供给比较判定部1504。在图37 中的步骤S311中，局部运动矢量计算部154还将冲交正后的SAD值 MinSAD G提供给比较判定部1504。
78然后，在步骤S312中，背景/运动图像拾取对象判定部150的 比较判定部1504判定最小SAD值MinSAD是否小于预先确定的阈 值TH1。为了解决上述问题而提供了步骤S312中的处理。
具体地，例如，如果对应于目标图^象上的运动图像4会取对象部 分的块由于参考图<象的移动或经受严重变形而消失，则发生才企测不 到搜索范围内的任一参考块与目标块匹配的情况。
在刚刚所述的这种情况下，SAD表的SAD值为彼此相似的较 高值，以及最小SAD值MinSAD4妾近于其他SAD值。在刚刚所述 的这种情况下，通过,人与全局运动矢量GMV —致的参考矢量的 SAD值中减去偏移值OFS所获得的才交正后的SAD值MinSAD—G 必定小于最小SAD值MinSAD，并存在将对应部分4晉误4全测为背 景部分的可能性。
因此，为了消除该问题，在本实施例中，校正与全局运动矢量 GMV —致的参考矢量的SAD值，使得在最小SAD值MinSAD大 于阈值TH1的情况下，不4丸行背景一致度的判定处理。
因此，如果在步骤S312中判定最小SAD值MinSAD大于阈值 THl ，则比專交判定部1504不4吏用全局运动矢量GMV执4亍背景一致 度的判定，而是在步骤S313中将命中率P设定为p-0.25。没有将 命中率(3设定为p = 0的原因在于考虑到与背景一致的块可能存在 于呈现出SAD值大于阈值TH1的那些目标块中。
然后，在步骤S314中，比较判定部1504向运动补偿图片生成 部16输出重写计算的局部运动矢量LMV作为目标块的降，桑处理运
动矢量。此后，在步骤S320中，控制部155判定是否完成对目标帧中 的所有目标块的处理。如果处理还没有完成，则在步骤S321中， 控制部155设置下一个目标块。然后，处理返回步骤S302以在控 制部155的控制下重复^人上述步骤S302开始的步骤的处理。
另一方面，如果在步骤S312中判定最小SAD值MinSAD小于 阈值TH1，则在步骤S315中，比较判定部1504将最小SAD值 MinSAD与4交正后的SAD值MinSAD—G进4亍比4交。然后，在步骤 S316中，比專交判定部1504判定是否满足MinSAD〉MinSAD—G。如 果判定不满足MinSAD>MinSAD—G,则判定目标块与背景不一致， 并在步骤S317中将命中率p设定为p-O。
处理/人步骤S317前进至步骤S314，其中，比4交判定部1504 向运动补偿图片生成部16l斩出重新计算的局部运动矢量LMV作为 目标块的降噪处理运动矢量。然后，处理前进至步骤S320以重复 乂人上述步骤S320开始的步骤的处理。
另 一方面，如果在步骤S316中判定满足MinSAD>MinSAD—G， 则判定目标块与背景一致的程度较高，并在步骤S318中将命中率(3 设定为)3 = 0.75。然后，在步骤S319中，比较判定部1504向运动 补偿图片生成部16输出全局运动矢量GMV作为目标块的降噪处理 运动矢量。
处理从步骤S319前进至步骤S320，其中，控制部155判定是 否完成了对目标帧内的所有目标块的处理。如果在步骤S320中判 定对目标帧内的所有目标块的所述处理还没有完成，则在步骤S321 中控制部155设置下一个目标块。此后，处理返回至步骤S302。
另一方面，如果在步骤S320中判定已经完成对目标帧内的所 有目标块的处理，则控制部155结束背景/运动图像拾取对象判定处 理操作。
80注意，在上述实施例中，从全局运动矢量GMV的SAD值 SAD_GMV中减去偏移值OFS来获得才交正后的SAD值MinSAD—G, 然后将校正后的SAD值MinSAD—G与最小SAD值MinSAD进行 比较。然而，如果通过将通过使偏移值OFS与局部运动矢量LMV 的最小SAD值MinSAD相加获得的值(MinSAD + OFS )与全局运 动矢量GMV的SAD值SAD—GMV进行比较，则也是完全等同的。
<第二实例通过增益乘法才交正SAD <直>
在上述第一实例中，应用偏移值OFS来4交正关于在与全局运动 矢量GMV —致的参考矢量位置处的参考块的SAD <直SAD—GMV。 可以应用以下这种类4以的想法来代卢齐偏移4直OFS的加法，可以乘以 考虑到图像噪声而确定的增益g来校正SAD值SAD—GMV。在本 实例中，由于SAD <直SAD—GMV在减小方向上乘以增益g，所以 增益g为g〈1。注意，在相关值具有其响应于相关性的增加而增加 的特性的情况下，自然满足g〉1。
在第二实例中，全局运动矢量的SAD值SAD_GMV的校正后 的SAD值MinSAD—G由下式给出
MinSAD—G = SAD—GMV x g ...(表达式17 )
图38是示出了在第二实例的情况下背景/运动图像拾取对象判 定部150的配置实例的功能才匡图。
参照图38,除代替偏移减法部1502包括增益乘法部1505以及 代替偏移生成部1503包括增益生成部1506之外，所示背景/运动图 像拾取对象判定部150是对参照图35的上述配置的背景/运动图孑象 4合取对象判定部150的^务改并且配置和处理操作与其相似。由于图像噪声对应于图像的亮度值，所以增益生成部1506存 储各种亮度值与增益g (g<l )的对照表的信息，并使用目标块的亮 度值作为自变量来输出对应增益g。
增益乘法部1505将来自SAD—GMV检测部1501的SAD值 SAD一GMV乘以来自增益生成部1506的增益g，以生成4交正后的 SAD值MinSAD一G。然后，增益乘法部1505将所生成的才交正后的 SAD值MinSAD一G提供给比较判定部1504。其他配置和处理操作 与上述第一个实例相同。
在根据第二实例的背景/运动图像拾取对象判定处理中，图36 所示步骤S306中用于SAD的值SAD_GMV的校正处理被上面给出 的表达式17的lt学运算处理所取4戈。其他步骤的处理与第一实例 的非常相似。
注意，在上述实例中，全局运动矢量GMV的SAD值SAD—GMV 乘以增益g ( g<l )以获得4交正后的SAD值MinSAD—G,并将4交正 后的SAD值MinSAD—G与最小SAD值MinSAD进4亍比專交。然而， 如果将通过使局部运动矢量LMV的最小SAD值MinSAD乘以增益 g的倒数所获得的值(MinSAD x 1/g )与全局运动矢量GMV的SAD 值SAD—GMV进行比较，则也是完全等同的。
注意，第二实例中的增益g具有与第 一实例的偏移值OFS类似 的防止运动图像拾取对象的运动矢量被检测为最小SAD值的值。 换言之，在本实例中，也将增益g设置为与偏移值OFS类似考虑到 用于局部运动矢量的可靠性指标值Ft的阈值th (参见表达式7 )的值。
背景/运动图像拾取对象判定部150的配置和处理操作的其他实例顺便提及，在上述实施例中，在基于全局运动GM计算的全局 运动矢量GMV可以用大于像素间距的精确度来表示的同时，以像 素间距的精确度来执行块匹配。因此，与全局运动矢量GMV—致 的参考矢量的参考块位置有时会出现误差。
此外，即使在上述实施例中使用扩展仿射变换，但误差可能存 在于所确定的全局运动GM和实际全局运动之间。此夕卜，在上述实 施例中的分层块匹配中，如果在浅层的块匹配中出现差错，则差错 无法在后面的任何层中被恢复。考虑到上述情况，认为最好对全局 运动矢量GMV的位置提供特定容限。
在下述实例中考虑到这个问题。在本实例中，不仅使全局运动 矢量GMV的位置Pgmv的SAD值而JM吏位置Pgmv附近和周围的 SAD值也经受上述才交正，然后与最小SAD值MinSAD进4亍比净交。
例如，如图39所示，,ii殳判定关于目标块的SAD表TBL中 的全局运动矢量GMV的位置为位置Pgmv。此时，不4又位置Pgmv 的SAD值，而且与位置Pgmv直接相邻的周围邻近位置PI ~ P8的 8个SAD值也经受上述这种校正，并被确定为背景一致度的判定对象。
此外，在本实例的情况下，位置Pgmv和位置PI ~P8处SAD 值的九个校正SAD值MinSAD—G—O ~ MinSAD—G—8与重新计算的 最小SAD值MinSAD进行比较。然后，如果九个校正SAD值中的 任何一个小于最小SAD值MinSAD,则评估目标块的运动矢量具 有与全局运动矢量GMV的高一致度，并且还评估背景一致度较高。
在本实例中，在将上述第一实例用作SAD值的校正方法的情 况下的背景/运动图像拾取对象判定部150以及背景/运动图像拾取 对象判定部150周围的多个元4牛如图40所示。参见图40，所示的背景/运动图像拾取对象判定部150是对图 35所示的修改，并且不同之处在于代替SAD一GMV4企测部1501而 包括GMV相邻SAD值检测部1507,另外还包括插入在偏移减法 部1502和比4交判定部1504之间的最小^直4企测部1508。
从来自匹配处理部153的位置信息和SAD值中，GMV相邻 SAD值检测部1507检测全局运动矢量GMV的位置Pgmv和位置 Pgmv的SAD值以及在位置Pgmv附近和周围的8个位置PI ~ P8 和4立置PI ~ P8的SAD值。
然后，GMV相邻SAD值检测部1507将检测的SAD值提供给 偏移减法部1502。偏移减法部1502从位置Pgmv及PI ~ P8的9个 SADl直中减去来自偏移生成部1503的偏移量OFS,以生成才交正后 的SAD值MinSAD—G—0~MinSAD_G_8。然后，偏移减法部1502 将校正后的SAD值MinSAD—G—0 ~ MinSAD—G—8提供给最小值检 测部1508。
此夕卜，GMV相邻SAD值才企测部1507还将检测到的位置Pgmv 和Pl ~P8以分别对应于各个位置的SAD值的这种方式提供给最小 值才企测部1508。
最小值检测部1508从位置Pgmv以及PI ~ P8的9个才交正后的 SAD值MinSAD—G—0 ~ MinSAD—G—8检测最小值，并将4企测结果 的最小值作为校正SAD值MinSAD—G与校正SAD值MinSAD_G 的位置信息一起提供给比较判定部1504。
比寿交判定部1504将来自局部运动矢量计算部154的作为块再 匹配结果而获得的最小SAD值MinSAD与来自最小值检测部1508 的才交正SAD值MinSAD一G进4亍比4交，以与上述类似的方式执ff背 景一致度的评估判定。当不满足MinSAD〉MinSAD—G时，比较判定部1504将命中率 P设为(3 = 0.0,并提供局部运动矢量LMV作为降噪处理运动矢量。 该才乘作与上述实例相同。
另 一方面，当满足MinSAD>MinSAD—G时，比寿交判定部1504 判定对应于校正SAD值MinSAD—G的位置信息是否与全局运动矢 量GMV—致，并根据判定结果改变命中率P。例如，如果对应于 校正SAD值MinSAD一G的位置信息与全局运动矢量GMV —致， 则将命中率(3设为p = 0.75。另一方面，如果对应于校正SAD值 MinSAD一G的位置信息与全局运动矢量GMV不一致，则将命中率 (3设为p = 0.5。
此夕卜，在本实例的情况下，当满足MinSAD>MinSAD—G时， 全局运动矢量GMV #皮输出作为降噪处理运动矢量。
然而，在本实例中，当满足MinSAD>MinSAD—G时，比4交判 定部1504还可以将对应于来自最小值检测部1508的位置信息的局 部运动矢量LMV專t出作为降噪处理运动矢量。
注意，最小值4企测部1508可包4舌在比^_判定部1504中。在这 种情况下，可以从9个校正SAD值中检测最小值，然后与最小SAD 值MinSAD进行比较，或者9个校正SAD值也可以与最小SAD值 MinSAD——进行比较。
<背景/运动图像拾取对象判定处理的流程>
参照图41和图42进一步描述具有上面参照图40描述的配置 的局部运动矢量计算部154进4亍的块再匹配处理以及背景/运动图 像拾取对象判定部150进行的背景一致度评估处理的流程。通过在 控制部155控制下的各个部件执行图41和图42的处理。注意，在SAD—GMV冲企测部1501和偏移减法部1502包4舌在局部运动矢量计 算部154中的情况下，由局部运动矢量计算部154和背景/运动图傳_ 拾取对象判定部150执行图41和图42的处理。此外，最小值检测 部1508包括在比较判定部1504中。
首先，在步骤S401中，在控制部155的控制下，开始块再匹 配并在目标块緩冲器部151中设置第一个目标块。然后，在步骤 S402中，在控制部155的控制下，从在参考块緩冲器152中緩存的 匹配处理范围内的参考帧的图像数据中设置进行块再匹配处理的
参考块。
然后，在步骤S403中，匹配处理部153在所设置的目标块和 所i殳置的参考块之间扭J亍块匹配处理以计算SAD值。然后，匹配 处理部153将所计算的SAD值与参考块的位置信息或参考矢量提 供给局部运动矢量计算部154。
然后，在步骤S404中，局部运动矢量计算部154判定参考矢 量是否与全局运动矢量GMV —致以及参考矢量是否与全局运动矢 量GMV附近和周围的8个位置PI ~ P8的任意一个一致。
如果在步骤S404中判定参考矢量与全局运动矢量GMV和8 个位置PI ~P8的任意一个都不一致，则在步骤S405中，局部运动 矢量计算部154 4丸行最小SAD值MinSAD和最小SAD值MinSAD
的参考块位置或参考矢量的更新处理。
然后，在步-骤S408中，控制部155判定是否完成4臾索范围内 的所有参考块和参考块的块匹配。
如果在步骤S408中判定还没有完成搜索范围的所有参考块的 处理，则在步骤S409中，控制部155设置下一个参考块。然后， 处理返回至步骤S402来重复以上述步骤S402开始的步骤的处理。
86另一方面，如果在步骤S404中判定参考矢量与全局运动矢量 GMV及周围相邻位置PI ~P8中的一个一致，贝'J在步骤S406中， 局部运动矢量计算部154 乂人SAD ^直中减去偏移^直OFS。然后，局 部运动矢量计算部154存储,减法结果作为4交正SAD值 MinSAD—G—0 ~ MinSAD—G—8中的只于应一个，并在步艰《S407中， 存储校的SAD值的参考块的位置或参考矢量。
然后，处理前进至步骤S408，其中，判定是否完成搜索范围内 的所有参考块的处理。
然后，如果在步骤S408中判定已经完成4臾索范围内的所有参 考块的处理，则局部运动矢量计算部154才企测局部运动矢量LMV 和最小SAD值MinSAD，并将它们才是供给比较判定部1504。此夕卜， 局部运动矢量计算部154还从9个4交正SAD值MinSAD—G—0~ MinSAD_G—8中冲企测校正SAD值MinSAD—G作为最小值，并在图 42的步骤S411中将校正SAD值MinSAD—G提供给比较判定部 1504。
参照图42,在步骤S412中，背景/运动图像拾取对象判定部150 的比较判定部1504判定最小SAD值MinSAD是否小于预先确定的 阈值TH1。
如果在步骤S412判定最小SAD值MinSAD大于阈值TH1，则 比專交判定部1504不4吏用全局运动矢量GMV批j于背景相似度的判 定，而是在步骤S413中将命中率(3设置为P = 0.25。然后在步骤S414 中，比较判定部1504向运动补偿图片生成部16输出重新计算的局 部运动矢量LMV作为目标块的降噪处理运动矢量。
然后，处理从步骤S414前进至步骤S422，其中，控制部155
判定是否完^^目标帧中的所有目标块的处理。如果还没有完成处理，则在步骤S432中，控制部155i殳置下一个目标块。然后，处 理返回步骤S402以在控制部155的控制下重复从步骤S402开始的 步-骤的上述处理。
如果在步骤S412中判定最小SAD值MinSAD小于阈值TH1 ， 则在步骤S415中，比4交判定部1504将最小SAD值MinSAD与校 正后的SAD值MinSAD—G进4亍比寿交。然后，在步骤S416中，比 较判定部1504判定是否满足MinSAD〉MinSAD—G。然后，如果判 定不满足MinSAD〉MinSAD—G,则在步骤S417中，比较判定部1504
判定目标块与背景并不一致并将命中率p设定为p-o。
然后，处理从步骤S417前进至步骤S421,其中，比较判定部 1504向运动补偿图片生成部16 l命出全局运动矢量GMV作为目标 块的降噪处理运动矢量。然后，过程前进至步骤S422以重复/人步 -骤S422开始的步艰《的处理。
另 一方面，如果在步艰《S416中判定满足MinSAD〉MinSAD—G， 则在步骤S418中，判定最小SAD值MinSAD的位置或参考矢量是 否与全局运动矢量GMV —致。如果在步骤S418中判定最小SAD 值MinSAD的位置或参考矢量与全局运动矢量GMV不一致，则在 步骤S419中，比较判定部1504将命中率p设定为|3 = 0.5。
另 一方面，如果在步骤S418中判定最小SAD值MinSAD的位 置或参考矢量与全局运动矢量GMV—致，则在步骤S420中，比较 判定部1504将命中率p设定为p = 0.75。
然后，接着步骤S419或S420,在步骤S421中，比较判定部 1504向运动补偿图片生成部16 ^T出全局运动矢量GMV作为目标 块的降，噪处理运动矢量。接着步骤S421，处理前进至步骤S422，其中，控制部155判 定是否完成目标帧中的所有目标块的处理。如果在步骤S422中判 定目标帧中的所有目标块的处理尚未完成，则在步骤S423中，控 制部155设置下一个目标块。此后，处理返回至步骤S402。
另一方面，如果在步骤S422中判定已经完成目标帧中的所有 目标块的处理，则控制部155结束背景/运动图傳^合取对象判定处理操作。
不〈又考虑全局运动矢量GMV位置的SAD值而且考虑全局运动 矢量GMV位置的相邻周围位置的SAD值来执行背景/运动图像拾 取乂于象判定的方法也可以应用于上述第二实例的SAD〗直4交正方法中。
图43示出了在应用第二实例的情况下背景/运动图像拾取对象 判定部及其相关外围部件的配置实例。除了代替SAD—GMV检测部 1501包括GMV临近SAD值检测部1507并且还包含插入在增益乘 法部1505和比较判定部1504之间的最小值才企测部1508夕卜，图43 所示的背景/运动图像拾取对象判定部是对上面参照图38描述的背 景/运动图像拾取对象判定部150的修改并具有与其类似的配置。
除上述第二实例;故用作SAD值4交正方法之外，图43的背景/ 运动图像拾取对象判定部150执行与图38的背景/运动图像拾取对 象判定部150非常相似的#:作处理。因此，为了避免赘述，这里省 略图43的背景/运动图像拾取对象判定部150的操作处理的详细描述。
第二实施例在上述第一实施例中，局部运动矢量i十算部154执4亍分层块匹 配来计算基底面上的局部运动矢量LMV。然后，运动矢量可靠性 指标值计算部156计算基底面的局部运动矢量LMV的可靠性指标 值Ft。
jt匕夕卜，全局运动计算部157生成基底面的局部运动矢量LMV 的可靠性指标值Ft并使用可靠性指标值Ft来提取具有高可靠性的 那些局部运动矢量LMV。然后，全局运动计算部157 4吏用具有高 可靠性的局部运动矢量LMV来计算全局运动GM，然后/人全局运 动GM中计算全局运动矢量GMV。
顺便提及，通过将缩小面运动矢量MVs和中间面运动矢量 MVm与基底面的图像缩小率的倒数相乘，可以获得基底面运动矢 量MVb。因此，为了计算全局运动GM,可以不确定基底面运动矢 量MVb而是从缩小面运动矢量MVs或中间面运动矢量MVm中确 定全局运动GM。
例如，为了从缩小面运动矢量MVs中计算全局运动GM，局 部运动矢量计算部154首先计算缩小面的局部运动矢量LMV,即， 缩小面运动矢量MVs。
然后，运动矢量可靠性指标值计算部156计算所计算缩小面运 动矢量MVs的可靠性指标值Ft。此外，全局运动计算部157 4吏用 缩小面的局部运动矢量LMV的可靠性指标值来才是取具有高可靠性 的那些局部运动矢量LMV。然后，全局运动计算部157<吏用具有 高可靠性的局部运动矢量LMV来计算全局运动GM和全局运动矢 量GMV。
此外，在寸吏用全局运动GM的情况下，还可以乂人通过在直到中 间面的层中执行块匹配所获得的中间面运动矢量MVm中进行类似计算。然而，可以^4居各层来适当地i殳置扭J亍关于全局运动矢量 GMV位置处的SAD ^f直的才交正的偏移^直OFS或增益g。
以这种方式4吏用缩小面或中间面的局部运动矢量来确定全局 运动GM和全局运动矢量GMV具有以下优点。
第一个优点在于，由于将低通滤波器用于生成上述缩小面或中 间面，所以去除了噪声，使得所得到的局部运动矢量不太可能被噪
声所影响。
第二个优点在于，由于在缩小面或中间面中减少了目标块的凝: 量，所以局部运动矢量的凄t目和数学运算成本减少，另外，由于处 理戶斤需时间减少了，所以可以以高速4丸4亍处J里。
缩小面、中间面和基底面的匹配处理块单位由于受上述实例的 硬件限制而通常具有相同尺寸。因此，具有较小图片尺寸的缩小面 的目标块的lt目(即，局部运动矢量的凄t目)与〗叉在基底面执^f亍块 匹酉己白勺"5f &十青"乙才目t匕才目只于i也少、。
然后，在,人缩小面运动矢量中确定全局运动和全局运动矢量 GMV的情况下，可以省略中间面和基底面上的运动矢量检测处理。 换言之，在乂人中间面运动矢量中确定全局运动和全局运动矢量 GMV的情况下，可以省略基底面的运动矢量检测处理。因此，可 以与其处J里速度的增力口 。
特别在缩小面运动矢量MVs纟皮用于确定全局运动和全局运动 矢量GMV的情况下，优点更为明显。
图44示出了使用缩小面运动矢量M Vs确定全局运动和全局运 动矢量GMV并^1夺其与基底面上的局部运动矢量LMV相比的处理 的一i&流程。首先，在步骤S501中，运动矢量计算部15才丸4亍缩小面块匹配 以确定缩小面上的每个目标块的局部运动矢量LMVs。然后，运动 矢量计算部15评估每个目标块的缩小面的局部运动矢量LMVs的 可靠性，并且仅使用具有高可靠性的那些缩小面局部运动矢量 LMVs来计算全局运动GM。然后，运动矢量计算部15,人所计算的 全局运动GM来计算全局运动矢量GMV。
然后，在步骤S502,运动矢量计算部15对分层块匹配执4亍缩 小面块匹配来重新计算缩小面局部运动矢量LMVs。
然后，在步骤S503,运动矢量计算部15才艮据缩小面局部运动 矢量LMVs确定与中间面上的目标块相对应的参考块的搜索范围， 并才丸4亍中间面块匹配。然后，运动矢量计算部15计算中间面局部 运动矢量LMVm。
然后，在步骤S504，运动矢量计算部15才艮据中间面局部运动 矢量LMVm确定与基底面上的目标块相对应的参考块的搜索范围， 并扭J亍基底面块匹配。然后，运动矢量计算部15计算基底面局部 运动矢量LMVb。然后，运动矢量计算部15使用基底面局部运动 矢量LMVb和在步骤S501中计算的全局运动矢量GMV来为每个 目标块执行上述背景一致度的评估和判定。然后，运动矢量计算部 15确定命中率P并基于评估判定来4企测降p桑处理运动矢量MVnr。
然后，在步骤S505，运动补偿图片生成部16使用述降噪处理 运动矢量MVnr以从参考帧的图像数据中生成以块为单位的运动补
偿图片。
然后，在步骤S506,相加率计算部21基于在步骤S504中计算 的命中率p以^象素为单位或以目标块为单位计算相加率a。然后， 在步骤S507中，加法部17以块为单位将在步骤S505中生成的运动补偿图片与目标图像以在步骤S506中计算的相加率a进行相力口， 从而生成降噪图像。
注意，在上述图44的处理流程中，在运动矢量4企测时通过第 一次块匹配确定的全局运动GM和全局运动矢量GMVl又;被应用于 分层块匹配中的基底面运动矢量。
然而，同样在分层块匹配的缩小面和/或中间面上，可4吏用全局 运动矢量GMV、局部运动矢量LMVs和中间面局部运动矢量LMVs 来执行目标块的背景一致度评估。在这种情况下，作为背景一致度 评估结果的降噪处理运动矢量MVnr可以#1用作关于缩小面或中间 面上的每个目标块而输出的运动矢量。
这使得可以获得比 一般情况下具有更高精确度的关于缩小面 或中间面上的每个目标块的运动矢量(即，局部运动矢量)。这类 似地应用于基底面。因此，如上所述，根据每层适当地设置偏移值 OFS或增益g。
图45A~图45D示出了当才艮据图44的处理流程执4亍处理时的 块匹配结果和所4企测运动矢量的方式的实例。图45A~图45D的实 例示出了当将上述处理应用于上述目标图像和参考图像时的处理结果。
图45A示出了当对目标图像和参考图像执行缩小面块匹配时 局部运动矢量LMVs的4企测结果。
图45B示出了作为对缩小面局部运动矢量LMVs执行可靠性评 估的结果一皮确定为具有高可靠性的缩小面局部运动矢量LMVs和缩 小面局部运动矢量LMVs的目标块。注意，图45B右下角的重点强 调块是具有高局部运动矢量LMVs的运动图像拾取对象部分。图45C示出了基于由基底面局部运动矢量LMVb计算的全局 运动GM所计算的目标块的全局运动矢量GMV。此外，图45D示 出了通过再次执行运动矢量检测，通过背景部分和运动图像拾取对 象部分的i平估4企测的P争，噪处理运动矢量MVnr。
根据图45D，可以识别出背景部分中的运动矢量有序i也寻皮配置 为全局运动矢量GMV的a犬态。
注意，在图45D中，右下角部分的大运动矢量是在4吏用局部运 动矢量LMV和全局运动矢量GMV的评〗古判定中^皮确定为运动图 像拾取对象(全局运动矢量GMV不会从中输出作为降噪处理运动 矢量)的运动图像拾取对象块。同时，中空的矢量表示与全局运动 矢量GMV —致的参考矢量在搜索范围内的有效像素区域中不存在 的块。
准备图45A~图45D以表明容易被识别的效果，实际目标快的 尺寸4交小。如下所述，以更小块为单位生成命中率P更加有效。
然而，在图像中的运动图像拾取对象区域和矢量以粗略单位被 检测并被跟踪，优选地，基于以如图45D所示的这种粗略单位使用 全局运动矢量GMV扭J于的评估来llT出降p喿处理运动矢量MVnr。 因此，不需要画面图像中所有块的信息，但是如果着重于运动图{象 才合耳又对象4企测的可靠性，则如图45B的情况，4又/人第一次运动矢量 检测时具有高可靠性的那些矢量中执行运动图像拾取对象块的分 离。
通过内插处理提高精确度
顺便提及，由于缩小面或中间面通过减小基底面而生成，所以 应该考虑到这种缩小面运动矢量或中间面动矢量的精确度相对4交低。因此，为了消除或减轻精确度低的问题，在使用缩小面运动矢 量或中间面动矢量的情况下，执行内插处理。具体地，使用由所计 算的缩小面运动矢量或所计算的中间面运动矢量表示的缩小面参 考块位置或中间面参考块位置附近的缩小面参考块或中间面参考
块的SAD值以及SAD值的位置信息来执行内插处理。通过该内插 处理，可以执行像素精确度的缩小面运动矢量或中间面运动矢量的 才企测。下文所述的内插处理以缩小面情况下的内插处理为例。
例如，在7jC平和垂直方向上老卩缩至1/4的缩小面上才丸4亍块匹配 的情况下，缩小面运动矢量是4像素精确度的运动矢量。然而，显 而易见，在基底面参考帧中，1像素精确度的基底面运动矢量MVb 存在于通过将缩小面运动矢量增加至n倍所获得的运动矢量附近。
因此，在如图46所示确定缩小面上的最小SAD <i 601的情况 下，可以理想地使用最小SAD值601附近的多个SAD值(例如， 分别使用在上、下、左和右方向上与最小SAD值601相邻的4个 SAD值602、 603、 604和605来4丸行内插处理，以检测4像素精确 度的运动矢量。在这种情况下，所需的内插倍率为四倍。
例3口，可以5里想地/使用二次曲线来对SAD表^U亍内4翁，以从 例如以n像素为单位已经执行了匹配处理的缩小面SAD表中计算 像素精确度的运动矢量。在这种情况下，尽管可以不使用二次曲线 近似内插而是4吏用线性、三次或更高阶曲线近似内插，^f旦在本实例 中，根据精确度和硬件配置之间的均衡而使用二次曲线近似内插。
在二次曲线近似内插中，如图46所示，使用通过n像素精确 度的缩小面运动矢量所表示的缩小面SAD表中的SAD值的最小值 Smin以及在最小值Smin位置附近的多个SAD值(下文称作邻近 缩小面SAD值)。在本实例中，4吏用在缩小面的X方向或水平方向 以及Y方向或垂直方向上邻近最小值Smin位置的4个邻近的SAD 值Sxl、 Sx2和Syl、 Sy2。如图47所示，在X方向或7jc平方向上的内插中，缩小面SAD 值的最小值Smin和在X方向或水平方向上处于两个相邻点的相邻 缩小面SAD值Sxl和Sx2^皮用于应用二次近似曲线700。具体地， 确定经过最小值Smin以及在X方向或水平方向上处于两个相邻点 的相邻缩小面SAD值Sxl和Sx2的二次近似曲线700。通过这种方 式，如图47所示，二次近似曲线70(H艮设为最小值的坐标变为冲是 供像素精确度的SAD值的最小值SXmin的缩小面运动矢量或高精 确度缩小面运动矢量的X坐标Vx。给出it匕时用于二次曲线近《以内 插的表达式，如下面的(表达式19):
Sxmin = 1/2 x ( Sx2 - Sxl ) / ( Sx2 - 2Smin + Sxl )…(表达式19 )
根据计算表达式(表达式19)确定的像素精确度的SAD值的 最小值SXmin假设在SAD表上的X坐标变为像素精确度的缩小面 SAD值假定为最小值的X坐标Vx。
可通过多次执行的减法来实现计算表达式(表达式19)中的除 法。例如，如果将被使用的像素精确度为缩小面的1/4像素间距的 精确度，则可以仅通过两次减法就能实现上述除法。因此，电路A见 模小且数学运算时间短，并且能够实现与比二次近似曲线内插复杂 得多的三次曲线内插非常接近的性能。
类似地，在Y方向或垂直方向上的内插中，缩小面SAD值的 最小值Smin和在Y方向或垂直方向上与最小值Smin邻近的两个 点的邻近缩小面SAD值Syl和Sy2用于应用二次近似曲线。因此， 二次近似曲线假设为极小值SYmin处的Y坐标变成像素精确度的 SAD值呈现最小值的Y坐标Vy。通过下面的表达式(表达式20) 给出此时的二次曲线近似内插的表达式
SYmin = 1/2 x ( Sy2 - Syl ) / ( Sy2 - 2Smin + Syl )…(表达式20 )通过以这种方式对X方向和Y方向才丸4亍两次二次曲线近4以， 确定高精确度(即，像素精确度)的缩小面运动矢量(Vx， Vy)。
虽然在先前的描述中，4吏用了缩小面SAD ^直以及在X方向或 水平方向和y方向或垂直方向上与最小^直邻近的两个点的缩小面 SAD值的最小值，^f旦是在不同方向邻近的缩小面SAD值的凄丈量可 以为两个以上。此夕卜， ^^在X方向和Y方向上的二次曲线的应 用，例如，二次曲线可以4皮应用于4牛方向。此夕卜，近似曲线可以4皮 应用于除X和Y方向之外的杀牛方向上。
图48示出了通过使用如上所述的这种装置和处理程序，能够 通过n个像素单位精确度的SAD表的值来获得像素精确度的矢量 检测结果。图48的横坐标轴表示内插倍率，并表示在一维方向上 应该i殳定多少次分解。由于SAD表为二维的，所以表面积以平方 率降低。然而，由于由内插引起的误差仅以线性的程度增加，所以 可以认可内插4支术的有用性。
注意，自然地，上述参照图46 ~图48描述的内插法不4又可应 用于缩小面，而且还可应用于中间面和基底面。在向基底面应用内 插才支术的情况下，所获得的局部运动矢量LMV具有比^f象素间3巨更 高的精确度，即，子像素精确度。
在基底面上确定子〗象素精确度的局部运动矢量LMV的情况 下，将^皮输出作为降，喿处理运动矢量MVnr的全局运动矢量GMV 应该为与其一致的基底面的子^f象素津fr确度的局部运动矢量LMV。 具体地，对于^^皮确定为背景的快，可以输出由全局运动GM计算的 全局运动矢量GMV，或者可以输出与全局运动矢量GMV —致的 局部运动矢量LMV。尽管可以^T出全局运动矢量GMV和局部运动 矢量LMV的任意一个，但在这种情况下，最好输出更高精确度的 局部运动矢量LMV 4乍为全局运动矢量GMV。另一方面，在基底面上计算子〗象素姊青确度的局部运动矢量LMV 的情况下，还具有运动补偿图片生成部16可生成子〗象素^"确度的 内插图像来作为运动补偿图片的优点。
实施例的步文果
如上所述，根据本实施例，关于图像中所有目标块的运动矢量 都可以以高精确度进行检测。此外，可以判定运动矢量表示背景图
像部分还是运动图像拾:取对象部分。
因此，可以实现具有难度的、从具有高噪声级别的图像中检测 高精确度的局部运动矢量或者在整个图像中提取运动图像拾取对 象区域。
其4也实施例和》务改
在先前的描述中，背景/运动图像拾取对象判定部1504丸行关于 目标帧内的所有目标块的背景一致度的评估判定。
然而，背景/运动图傳^合取对象判定部150可通过H使用具有高 可靠性的那些局部运动矢量LMV的收症支凄t学运算来确定全局运 动。上面参照图31和图32所示乂人全局运动的收劲:it学运算中排除 的具有高可靠性的那些局部运动矢量LMV是运动图像拾取对象块 的具有高可靠性的局部运动矢量LMV。另外，最终用于在全局运 动的收敛数学运算4喿作中计算全局运动的那些局部运动矢量LMV 可被确定为背景块。
因此，呈现具有高可靠性的局部运动矢量LMV的那些评估块 不需要再次经受背景和运动图像拾取对象之间的评估判定。因此， 对于刚刚描述的具有高可靠性的局部运动矢量LMV的这种目标块，可以省略块再匹配处理和背景/运动图像拾取对象判定处理。这 就可以缩短处理时间和凄t学运算量。
注意，在全局运动收敛数学运算中，最终用于计算全局运动的
局部运动矢量LMV可纟皮判定为背景块，它们的命中率p可^^皮判定 为(3 = 1.0。
然后，当命中率p为i.o时，目标块和补偿图片块之间的相加 率净皮i殳置为1.0。通过这样，对背景部分扭J于正向加强相加，可以
预期高降噪效果。
注意，在上述实例中，虽然通过运动补偿以目标块为单位生成 运动补偿图像，但因为获得了全局运动GM，所以可以通过运动补 偿以像素为单位来生成。具体地，例如，在呈现高背景一致度(其 中，其命中率(3达到1.0或0.75)的目标块的图像的情况下，对每 个像素根据全局运动计算全局运动矢量。然后，针对各个像素所计 算的全局运动矢量被用于执行运动补偿。由于运动补偿结果可能与 像素位置一致，所以还4丸行内插处理来生成运动补偿像素，并使用 运动补偿像素来生成运动补偿图片。
在以这种方式以〗象素为单位进^f于运动补偿的情况下，可以期望 获得更平滑的运动内插图像。
注意，在上述实施例中，虽然SAD值被检测作为相关值，但 相关值当然不限于SAD值。
此外，在上述实施例中，虽然批J亍关于静止图片的运动检测处 理和图像的叠加处理以-使多个拾取图4象被取入图像存储部4并对由 此取入的拾取图像执行上述运动4企测和图像叠加处理。然而，处理 对象的多个图^f象可类似地如运动图片的图俜^合取时实时地生成。注意，自然地，运动矢量检测对象的图像信息不受拾取图像信 息的限制。
此外，在上述实施例中，基于运动矢量可靠性指标值执行运动 矢量的可靠性判定。然而，除相关值的第一极大值与第二极大值之 间的差或比，在取相关值的第 一极大值的参考矢量与取相关值的第 二极大值的另 一参考矢量之间的位置差异也可被用于进行可靠性 的判定。此外，相关值的第三极大值、高阶极大值或取这种极大值 的参考矢量的位置分布可以另外被用于可靠性的判定。
注意，在上述实施例中，为了减小执行全局运动的数学运算处
理时的数学运算负荷，对于局部运动矢量LMV的可靠性指标值， 二进制至0和1 -故用于力口4又系凄t W。然而，通过局部运动矢量LMV 的可靠性指标值的归一化获得、并例如取等于或大于O但等于或小 于1的加权系数W可自然地按原样被用于执行全局运动的数学运
算处理。
此外，在上述实施例中，虽然在静止图片的图傳4合取时将本发 明应用于运动矢量检测和背景/运动图像拾取对象判定，但自然地， 本发明还可以应用于执4亍运动图片的图傳4合取时的运动矢量才企测 和背景/运动图像拾取对象判定的情况。
图49示出了考虑到运动图片图像拾取的图像拾取装置的硬件 配置的实例。在图49中，与图1所示图傳4合取装置类似的那些部 件净皮指定为相同标号并省略了重叠描述。
此外，在通过图49的图俜^会取装置进^亍运动图片的降噪处理 时，针对每个IV (V是用于帧或场的垂直周期)从图像拾取元件 11输入的拾取图像被用作目标图像，而IV和2V之前的图像至加 法之后的输出图像被用作参考图像。不仅参照1V之前的图像而且参照2V之前的图像的原因在于， 在隔行扫描图像的情况下，利用2V之前的图像静止物品呈现4交高
的匹酉己率。
此外，在图49的系统中，从局部矢量中计算全局运动，并根 据目标图像中的每块或每个像素的运动矢量是否与全局运动一致 来生成命中率信息，从而在后续阶段控制相加率oc。图像拾取系统 由此提供呈现高降噪效果的运动图片。
注意，图49的图像拾取装置中的编解码部22被配置为执行 MPEG方式的压缩编石马。
此外，在上述实施例中，虽然本发明应用于图像拾取装置叠加 图像以执行降噪处理的情况，但本发明不仅仅只应用于上述类型的 这种图像拾取装置。
图50示出了执行除降噪处理之外的处理的图像拾取装置。具 体地，图50的图傳4合取装置包括用于运动图片的无传感器相枳4牛 动校正系统和运动图像拾取对象检测系统。
此外，图50的图像拾取装置包括与图1类似的部件，并且为 了避免赘述在此省略重复描述。图50的图像拾取装置与图1的不 同之处在于，在运动矢量计算部15的后级设置了分辨率转换部23。 此外，在分辨率转4奂部23的后级i殳置了编解码部24并扭^f亍运动图 片压缩编码(例如，MPEG方式的压缩编码)，并将所得到的图l象 数据记录在记录和再生装置5中。
从记录和再生装置5中读出所记录的图像数据并通过编解码部 2进行解码，然后通过NTSC编码器20提供给监控显示部6，使得 在监控显示部6上显示再生图像。在图50的图傳j合取装置中，为了批^亍无传感器(无陀螺)相 才几4+动4交正，通过运动矢量计算部15以上述方式获得的全局运动 GM被提供给分辨率转换部23。分辨率转换部23从图像存储部4 读出图像以基于所接收的全局运动GM执行空间运动补偿。从而实 现相枳4+动4交正。
此外，在图50的图〗象才合取装置的运动矢量计算部15中，背景 /运动拾取图像判定部将图像分为背景部分和运动图像拾取对象部 分，并将所检测的运动图像拾取部分作为运动图像拾取对象信息IM 输出至CPU 1。运动图像拾取对象信息IM包括图像中的运动图像 拾取对象的位置和运动图像拾取对象的运动矢量。
CPU 1可使用图像中的运动图像拾取对象的位置和运动矢量实 现各种应用。例如，可以实现当图像拾取对象的运动图像拾取对象 的运动被激活时在图像拾取时自动将快门速度控制为更高速度 (即，将曝光时间控制为更短时间)的应用或者当才企测到面部之后 面部区域丢失时连续估计面部位置用于if艮踪的另一应用。
虽然前面的描述针对图像信息是拾取图像信息的情况，但本发 明对象的图像信息当然不限于拾取图像信息。
虽然4吏用特定术语描述了本发明的优选实施例，〗旦这种描述指 示为了例示的目的，应理解，在不背离所附权利要求的精神或范围 的情况下，可以进行各种修改和变化。
权利要求
1.一种图像处理装置，包括局部运动矢量检测装置，用于在与目标画面图像不同的参考画面图像上所设置的搜索范围中设置多个参考块，所述多个参考块具有与设置在所述目标画面图像中的预定尺寸的目标块相同的尺寸并且包括多个像素，确定所述目标块与每个参考块之间的相关值，并检测所述目标块的局部运动矢量作为计算出相关值的最大值的那一个参考块相对于所述目标块的位移；全局运动计算装置，用于计算表示施加给整个图像的变形的全局运动；全局运动矢量计算装置，用于使用所述全局运动来计算所述目标块的全局运动矢量；以及评估装置，用于将所述目标块和对应于所述局部运动矢量的所述参考块的相关值与所述目标块和对应于所述全局运动矢量的所述参考块的相关值进行互相比较，并基于比较结果来执行关于所述目标块是否为背景静止图片部分的评估。
2. 根据权利要求1所述的图像处理装置，其中，所述评估装置将 关于对应于所述全局运动矢量的所述参考块的相关值和预定 偏移值的和与关于对应于所述局部运动矢量的所述参考块的 相关值进行比较，并基于比较结果评估所述目标块是否为背景 静止图片部分。
3. 根据权利要求2所述的图像处理装置，其中，当关于对应于所 述全局运动矢量的所述参考块的相关值和所述预定偏移值的 和大于关于对应于所述局部运动矢量的所述参考块的相关值 时，所述评估装置输出关于对应目标块的全局运动矢量，但是 当关于对应于所述全局运动矢量的所述参考块的相关值与所 述预定偏移值的和小于关于对应于所述局部运动矢量的所述 参考块的相关值时，所述评估装置输出关于所述对应目标块的 局部运动矢量。
4. 根据权利要求1所述的图像处理装置，其中，所述评估装置将 通过使关于对应于所述全局运动矢量的所述参考块的相关值 乘以预定增益获得的值与关于对应于所述局部运动矢量的所 述参考块的相关值进行比较，并基于比较结果评估所述目标块 是否为背景静止图片部分。
5. 根据权利要求4所述的图像处理装置，其中，当通过使关于对 应于所述全局运动矢量的所述参考块的相关值乘以所述预定 增益获得的值大于关于对应于所述局部运动矢量的所述参考 块的相关值时，所述评估装置输出关于对应目标块的全局运动 矢量，但是当通过使关于对应于所述全局运动矢量的所述参考 块的相关值乘以所述预定增益获得的值小于关于对应于所述 局部运动矢量的所述参考块的相关值时，所述评估装置输出关 于所述^于应目标块的局部运动矢量。
6. 根据权利要求1所述的图像处理装置，其中，所述评估装置不 仅将对应于所述全局运动矢量的所述参考块的相关值而且还 将位于对应于所述全局运动矢量的所述参考块附近的不同参 考块的相关值与关于对应于所述局部运动矢量的所述参考块 的相关值进行比较，并基于比较结果评估所述目标块是否为背 景静止图片部分。
7. 根据权利要求6所述的图像处理装置，其中，所述评估装置将 对应于所述全局运动矢量的所述参考块以及4立于对应于所述 全局运动矢量的所述参考块附近的不同参考块的相关值和预 定偏移值的和与关于对应于所述局部运动矢量的所述参考块 的相关值进行比较，并基于比较结果评估所述目标块是否为背 景静止图片部分。
8. 根据权利要求7所述的图像处理装置，其中，当关于对应于所 述全局运动矢量的所述参考块的相关值或位于对应于所述全 局运动矢量的所述参考块附近的不同参考块的相关值与所述 预定偏移值的和大于关于对应于所述局部运动矢量的所述参 考块的相关值时，所述评估装置输出表示其相关值被确定为较 高的参考块关于对应目标块的位置的运动矢量，但是当关于对 应于所述全局运动矢量的所述参考块的相关值或位于对应于 所述全局运动矢量的所述参考块附近的不同参考块的相关值 与所述预定偏移值的和小于关于对应于所述局部运动矢量的 所述参考块的相关值时，所述评估装置输出关于所述对应目标 块的局部运动矢量。
9. 根据权利要求6所述的图像处理装置，其中，所述评估装置将 通过4吏对应于所述全局运动矢量的所述参考块和位于对应于 所述全局运动矢量的所述参考块附近的不同参考块的相关值 乘以预定增益获得的值与关于对应于所述局部运动矢量的所 述参考块的相关值进行比较，并基于比较结果评估所述目标块 是否为背景静止图片部分。
10. 根据权利要求9所述的图像处理装置，其中，当通过使对应于 所述全局运动矢量的所述参考块或位于对应于所述全局运动增益获得的值大于关于对应于所述局部运动矢量的所述参考块的相关值时，所述评估装置输出表示其相关值#:确定为较高 的参考块关于对应目标块的位置的运动矢量，但是当通过使对 应于所述全局运动矢量的所述参考块或位于对应于所述全局 运动矢量的所述参考块附近的不同参考块的相关值乘以所述 预定增益获得的值小于关于对应于所述局部运动矢量的所述 参考块的相关值时，所述评估装置输出关于所述对应目标块的 局部运动矢量。
11. 根据权利要求l所述的图像处理装置，其中，仅当关于对应于 将与所述全局运动矢量进行比较的所述局部运动矢量的所述 参考块的相关值大于预定阔值时，所述评估装置才将所述全局 运动矢量与所述局部运动矢量进行互相比较，并基于比4交结果 评估所述目标块是否为背景静止图片部分。
12. 根据权利要求l所述的图像处理装置，其中，所述全局运动计 算装置/人关于由所述局部运动矢量4企测装置4企测到的多个目 标块的多个局部运动矢量计算所述全局运动，以及，将与所述全局运动矢量进行比较的所述局部运动矢量是通过所述局部运动矢量^r测装置相^"于所述目标块再次;险测 到的局部运动矢量。
13. 根据权利要求12所述的图像处理装置，还包括用于检测通过所述局部运动矢量检测装置4企测到的所述 局部运动矢量中呈现出高可靠性的那些局部运动矢量的装置，所述全局运动计算装置仅从呈现高可靠性的所述局部运 动矢量来计算所述全局运动，所述评估装置乂人评估的处理对象中排除其局部运动矢量 具有高可靠性的目标块。
14. 根据权利要求1所述的图像处理装置，其中，所述评估装置确 定在所述目标块的局部运动矢量与所述目标块的全局运动矢 量之间的一致度的指标值，并基于所确定的指标值来执行所述 目标块是否为背景静止图片部分的评估。
15. —种图^f象处理装置，包^l舌局部运动矢量4企测装置，用于在与目标画面图4象不同的 参考画面图像上所设置的搜索范围中设置多个参考块，所述多 个参考块具有与设置在所述目标画面图^f象中的预定尺寸的目 标块相同的尺寸并且包括多个4象素，确定所述目标块与每个参 考块之间的相关值，并检测所述目标块的局部运动矢量作为计 算出相关值的最大值的那一个参考块相对于所述目标块的位 移；全局运动计算装置，用于计算表示施加给整个图像的变 形的全局运动；判定装置，用于判定在所述目标块的局部运动矢量与从 所述全局运动确定的所述目标块的全局运动矢量之间的 一 致 度；以及指标值获取装置，用于获取通过所述判定装置判定的所 述目标块的局部运动矢量与全局运动矢量之间的所述一致度 的指标值。
16. 根据权利要求15所述的图像处理装置，还包括运动补偿图像生成装置，用于使用所述目标块的局部运 动矢量或全局运动矢量、从所述参考块的图像来生成运动补偿 块的图l象；以及用于基于通过所述指标值获取装置获取的所述指标值来 控制所述运动补偿块的图像与所述目标块的图像的相加度的装置。
17. 根据权利要求16所述的图像处理装置，其中，对于其局部运动矢量与全局运动矢量#:确定为相互一致的所述目标块，所述 运动补偿图像生成装置从所述参考块的图像中使用所述全局 运动、以像素为单位来获取所述运动补偿块的像素信息。
18. 根据权利要求16所述的图像处理装置，其中，对于其局部运 动矢量与全局运动矢量^皮确定为相互一致的所述目标块，所述 运动补偿图像生成装置从所述参考块的图像中使用所述全局 运动、以块为单位获取所述运动补偿块的^f象素信息。
19. 一种图4象处理方法，包4舌局部运动矢量检测步骤，在与目标画面图〗象不同的参考 画面图像上所设置的搜索范围中设置多个参考块，所述多个参 考块具有与i殳置在所述目标画面图#>中的预定尺寸的目标块 相同的尺寸并且包括多个像素，确定所述目标块与每个参考块 之间的相关^f直，并检测所述目标块的局部运动矢量作为计算出 相关值的最大值的那一个参考块相对于所述目标块的位移；全局运动计算步骤，计算表示施加给整个图像的变形的 全局运动；全局运动矢量计算步骤，^f吏用在所述全局运动计算步骤 中计算的所述全局运动来计算所述目标块的全局运动矢量；以及评估步骤，将所述目标块与对应于所述局部运动矢量的量的所述参考块的相关值进行互相比较，并基于比较结果来执 行关于所述目标块是否为背景静止图片部分的评估。
20. —种图〗象处理方法，包^^:局部运动矢量^r测步骤，在与目标画面图像不同的参考 画面图像上所设置的搜索范围中设置多个参考块，所述多个参 考块具有与设置在所述目标画面图像中的预定尺寸的目标块 相同的尺寸并且包括多个像素，确定所述目标块与每个参考块 之间的相关值，并才企测所述目标块的局部运动矢量作为计算出 相关值的最大值的那一个参考块相对于所述目标块的位移；全局运动计算步骤，计算表示施加给整个图像的变形的 全局运动；判定步骤，判定在所述局部矢量4企测步骤纟全测到的所述 目标块的局部运动矢量与乂人所述全局运动确定的所述目标块 的全局运动矢量之间的一致度；以及指标值获取步骤，获取在所述判定步骤中判定的所述目 标块的局部运动矢量与全局运动矢量之间的所述一致度的指标值。
21. —种图像处jk装置，包括局部运动矢量才企测部，-陂配置为在与目才示画面图^象不同 的参考画面图像上所设置的搜索范围中设置多个参考块，所迷 多个参考块具有与i殳置在所述目标画面图^f象中的预定尺寸的 目标块相同的尺寸并且包"fe多个《象素，确定所述目标块与每个 参考块之间的相关值，并检测所述目标块的局部运动矢量作为 计算出相关值的最大值的那一个参考块相对于所述目标块的 位移；全局运动计算部，被配置为计算表示施加给整个图像的变形的全局运动；全局运动矢量计算部，净皮配置为4吏用所述全局运动来计 算所述目标块的全局运动矢量；以及评估部，^皮配置为将所述目标块与对应于所述局部运动运动矢量的所述参考块的相关值进行互相比较，并基于比较结 果来执行关于所述目标块是否为背景静止图片部分的评估。
22.—种图i象处理装置，包^":局部运动矢量4企测部，；故配置为在与目才示画面图^f象不同 的参考画面图像上所设置的搜索范围中设置多个参考块，所述 多个参考块具有与设置在所述目标画面图像中的预定尺寸的 目标块相同的尺寸并且包4舌多个〗象素，确定所述目标块与每个 参考块之间的相关值，并4企测所述目标块的局部运动矢量作为 计算出相关值的最大值的那一个参考块相对于所述目标块的 位移；全局运动计算部，被配置为计算表示施加给整个图像的 变形的全局运动；判定部，^皮配置为判定所述目标块的局部运动矢量与乂人 所述全局运动确定的所述目标块的全局运动矢量之间的一致 度；以及指标值获取部，被配置为荻取通过所述判定部判定的所 述目标块的局部运动矢量与全局运动矢量之间的所述一致度 的指标值。
全文摘要
本发明公开了一种图像处理装置和图像处理方法，其中，该图像处理装置包括局部运动矢量检测部、全局运动计算部、全局运动矢量计算部和评估部。通过本发明，能够使图像中的背景静止图片部分与运动图像部分相互分离，并且可以通过块匹配来获得消除了噪声影响的准确运动矢量。
文档编号H04N5/232GK101588501SQ20091020341
公开日2009年11月25日 申请日期2009年5月19日 优先权日2008年5月19日
发明者仓田徹 申请人:索尼株式会社