图像处理装置及图像处理方法

专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及图4象处理装置及方法，其中，例如在无传感器相枳j 抖动校正或低照度图像拾取时，叠加图像以获得从中去除或减少了 噪声的图4象。
背景技术：
根据图像信息本身来确定两个画面图像之间的运动矢量的块 匹配技术是一项历史悠久的技术。
块匹配技术是计算包括作为受关注的画面图像的参考画面图 像和从中出现参考画面图像的运动的原始图^f象(下文称为目标画面 图像)的两个画面图像之间的运动矢量的方法。根据块匹配4支术， 通过计算关于预定大小的矩形区域的块(即，目标块和参考块)的 参考画面图像和目标画面图像之间的相关性来计算运动矢量。
块匹配技术包括以下两种情况目标画面图像在时间上先于参 考画面图^象；以及参考画面图<象在时间上先于目标画面图<象。前一种情况的实例是通过MPEG(运动图片专家组)方式进行运动检测， 而后一种情况的实例是通过下文所述的图〗象帧的叠加来降^f氐p桑声。
注意，在本说明书中，术语画面图像表示由一帧或一场的图像 数据形成的图像。然而，为了描述方便，在本说明书的以下描述中， 假设一个画面图像由一帧形成。因此， 一个画面图像在下文中被称 为一帧。因此，参考画面图像在下文中^皮称为参考帧，而目标画面 图Y象在下文中^皮称为目标帧。
具体地，对于电视相机的云台才企测和图像拾取对象跟踪、MPEG 方式的运动图片编码等，已经开发了利用块匹配的运动矢量检测技 术。在90年代，已促进了在包括通过图像叠加进行无传感器相机 抖动校正、低照度下进行图像拾取时的降噪等宽范围内的应用。
顺便提及，检测在画面图像中设置的大量目标块中的每一个的 运动矢量(即，局部运动矢量)，并^f吏用以这种方式检测的大量局 部运动矢量来计算表示在两个画面图像之间施加给整个图像的变 形的全局运动。全局运动通常表示运动以及作为图像的静止图片部 分的背景的运动量。
作为相关技术，在日本专利公开第2007-221631号中(下文称 为专利文献1 )披露了一种失真校正方法，其中，将一个画面图像 划分为许多块并对每个块确定矢量。然后，以这种方式确定的运动 矢量被直接用于计算全局运动。专利文献l的这种技术直至多年前 都被一直用作主要针对像素数目较小的运动图片的相机抖动校正 技术。
通过专利文献l中4皮露的4支术，可以用^氐成本的石更件规^莫来检 测全局运动并实现良好的无传感器或无陀螺相才几的抖动校正以及 对高图片质量的静止图片和运动图片的降噪。同时，作为确定全局运动的方法，已经提出了对所检测的多个 局部运动矢量应用仿射变4灸的方法。
图69示出了仿射变换作为(表达式1)的通式。参看图69, 在(表达式1)中，v表示目标块的运动矢量的水平分量，w表示 目标块的运动矢量的垂直分量，以及a、 b、 c、 d、 e和f表示仿射 参数。在普通的仿射变换中，仿射参数a、 b、 c、 d、 e和f都是固 定值。此外，x与y分别表示目标块的中心坐标的水平分量和垂直 分量。
才艮据通过全局运动的收敛凄t学运算处理确定的仿射参凄t以及 每个目标块的中心坐标，获得对应于全局运动的运动矢量。刚刚提 及的这种运动矢量在下文中净皮称为理想运动矢量。在这些理想矢量 与通过块匹配检测的观察运动矢量之间的误差总和s被表示为图70 的(表达式2)。
推导全局运动的命题是估计使上述误差总和s最小化的仿射参 数a f，并且可以通过例如最小二乘法获得解决。图71、图72和 图73的(表达式3)、另一个(表达式4)和又一个(表达式5)分 别示出了仿射参数a ~ f的推导过程以及推导过程的结果。
虽然以这种方式较容易地计算仿射变换的参数，但这种计算的 效果很好。因为仿射变换不仅为图像的平移、旋转以及扩展或压缩 做了准备，而且也为一定程度的变形作了准备，所以覆盖了大多数 相冲几才牛动(即，相才几工作的^青细才交正)。
例如，在日本专利7>开第2005-321902号(下文中称为专利文 献2)中披露了上述这种仿射变换。

发明内容
如果一旦确定了上述全局运动，则由于在上文提及的(表达式 1)中给出了坐标，所以能够确定每个目标块的全局运动矢量。如 果将该全局运动矢量用于以目标块为单位执行图像的叠加，则可以 实现无传感器的相机抖动校正、低照度下图像拾取时的降噪(即， 产生降噪图像)等。
然而，必须考虑到拾取图像可能包括运动图像拾取对象。这是 因为，如果使用由全局运动产生的全局运动矢量使包括不同于背景 静止图片部分的运动图像拾取对象的目标块的图像相互叠加，那么 就会产生类似于通过多次曝光的图像状态。
例如，如果目标图^象如图74A所示而参考图l象如图74B所示， 则获得如图74C所示的图像，其中，右下角部分的运动图像拾取对 象部分表示多次曝光状态。
因此，还提出了一种方法，其中，将画面图像划分为多个小块 并对每一个块冲企测局部运动矢量，并且用作由例如在MPEG系统中 4吏用的ME (运动估计)技术来表示。
然而，在4吏用这种方法的情况下，不可避免要〗吏运动补偿块的 图像与目标块的图像的相加率适中，从而防止透明的运动图像拾取 对象图像部分的误相加以及由变形、掩蔽等引起的边缘部分的变化 等。这就可能产生不能实现期望的降噪效果的问题。
因此，需要提供通过图像叠加能够实现期望的降噪效果的图像 处理装置和方法。
根据本发明的一个实施例，提供了一种图像处理装置，包括局部运动矢量检测部，被配置为将目标画面图像分割为多个目 标块，对每个目标块，在设置在不同于目标画面图像的参考画面图 像上的搜索范围内设置多个参考块，所述多个参考块具有与目标块 相同的尺寸，确定目标块与参考块之间的相关值，并检测目标块的 局部运动矢量作为参考块中计算出相关值的最大值的那一个参考
块相对于目标块的位移；
全局运动矢量获取部，被配置为获取由表示施加给整个目标画 面图像的变形的全局运动确定的每个目标块的全局运动矢量；
指标值计算部，帔配置为对每个目标块计算表示由局部运动矢
量检测部检测的局部运动矢量与由全局运动矢量获取部获取的全
局运动矢量之间的一致度的指标值；
运动补偿部，被配置为生成运动补偿图〗象，其中，4吏用由局部
运动矢量检测部检测的局部运动矢量来对参考快进行运动补偿；
相加率计算部，被配置为响应于由指标值计算部计算的对应指 标值来计算每个目标块的图像与对应的运动补偿图像之间的相加 率；以及
相加部，被配置为利用由相加率计算部计算的各个相加率来使 目标块的图像与对应的运动补偿图像相加。
根据本发明的另一个实施例，提供了一种图像处理方法，包括 下列步艰A:
将目标画面图{象分割为多个目标块，对每个目标块，在i殳置在 不同于目标画面图〗象的参考画面图j象上的4叟索范围内i殳置多个参 考块，所述多个参考块具有与目标块相同的尺寸，确定目标块与参考块之间的相关值，并检测目标块的局部运动矢量作为参考块中计
算出相关值的最大值的那一个参考块相对于目标块的位移；
获取由表示施加给整个目标画面图〗象的变形的全局运动确定 的针对每个目标块的全局运动矢量；
对每个目标块计算表示在局部运动矢量4企测步骤中4企测的局 部运动矢量与在全局运动矢量获取步骤中获取的全局运动矢量之 间的一致度的指标值；
生成运动补偿图像，其中，使用在局部运动矢量检测步骤中检 测的局部运动矢量来对参考快进行运动补偿；
响应于在指标值计算步骤中计算的对应指标值来计算每个目 标块的图像与对应的运动补偿图像之间的相加率；以及
利用在相加率计算步骤中计算的各个相加率来使目标块的图 Y象与对应的运动补偿图^f象相加。
在图^象处理装置中，局部运动矢量4企测部对通过分割目标画面 图像所获得的目标块的每一个检测局部运动矢量。全局运动矢量获 取部获取由表示施加给整个目标画面图像的变形的全局运动确定 的针对每个目标块的全局运动矢量。
指标值计算部对每个目标块计算表示局部运动矢量与全局运 动矢量之间的一致度的指标值。该指标值表示目标块是否与背景静 止图片一致的程度，如果一致度较大，则目标块可被看作是背景静 止图片部分。
相加率计算步响应于由指标值计算部计算的对应指标值来计 算每个目标块的图像与对应的运动补偿图像之间的相加率。简而言之，如果一致度的指标值较大，则由于目标块可以被看作是背景静 止图片部分，所以将相加率设定为大的值。
相加部利用各个相加率来4吏目标块的图^f象与对应的运动补偿 图像相加。在这种情况下，在背景静止图片部分中，通过高相加率 寺丸行相力。，^旦在运动图像部分中，通过4氐相加率执4亍相加。因此， 根据目标块是背景静止图片部分还是运动图像部分，通过适当的相 加率执行以块为单位的图像相加。
通过该图像处理装置，计算表示目标块与背景静止图片是否一 致的程度的指标值，并响应于指标值计算目标块的图像与运动补偿 图像之间的相加率。因此，根据目标块是背景静止图片部分还是运 动图像部分，通过适当的相加率执行以块为单位的图像相加，并且 可以获得实现了期望降噪效果的相加结果图 <象。


图l是示出了应用#4居本发明的第 一 实施例的图^象处理装置的 图傳j合取装置的配置实例的框图2A、图2B以及图3~图IO是示出了通过图像处理装置进 4亍的块匹配处理的示意图11是示出了通过图像处理装置进行的块匹配处理的框图12是示出了通过图像处理装置拾取的图像的实例的示意图13是以与图12的拾取图像相关联的关系示出由图像处理装 置才全测到的局部运动矢量的示意图14是示出了图像处理装置所使用的SAD表的示意图；图15是示出了在一维轴上所采用的图14的SAD表的示意图16是以与图12的拾取图像相关联的关系示出通过图像处理 方法确定为具有高可靠性的局部运动矢量的示图17是示出了图像处理装置的全局运动矢量计算部的配置实 例的框图18是示出了图像处理装置的主要处理操作的流程图19是示出了图17所示全局运动矢量计算部的操作的示意
图20是示出了通过图1象处理装置的局部运动矢量计算部进4亍 的才企测处理才喿作的实例的流程图21A和图21B是示出了至今已知的仿射变换的问题的示意
图22是示出了用于使用正交投影变换从局部运动矢量确定全 局运动的处理的表达式的示图23是示出了普通仿射变换的示意图24-图30是示出了关于通过图像处理装置执行的从局部运 动矢量计算全局运动的处理实例的示图31和图32是示出了关于通过图像处理装置执行的从局部运 动矢量计算全局运动的处理实例的流程图；图33是以与图像相关联的关系示出了通过图像处理装置从所 算的全局运动确定的块单位的运动矢量的示图34是示出了通过图像处理装置使用全局运动矢量来评估目 标块的背景一致度的处理的示图35是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置实例的4匡图36和图37是示出了通过图35的背景/运动图像拾取对象判 定部进行的处理才喿作的流程图38是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置的另 一 实例的才匡图39是示出了为全局运动矢量的位置设置了容限的情况下的 仿射变换的示意图40是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置的又一实例的才匡图41和图42是示出了通过图40的背景/运动图像拾取对象判 定部进4亍的处理才喿作的流禾呈图43是示出了图像处理装置的背景/运动图像拾取对象判定部 的配置的再 一 实例的才匡图44和图45是示出了相加率计算部的一部分配置实例的才匡
图46-图52是示出了相加率计算部的配置的示意图；的示意图59和图60是示出了本发明第二实施例中的处理的第一实例 的示意图61和图62是示出了本发明第二实施例中的处理的第二实例 的示意图63是示出了通过根据本发明第二实施例的图像处理装置进 4亍的处理才喿作的流程图64A~图64D是示出了通过根据第二实施例的图像处理装置 实现的效果的示意图65和图66是示出了确定由才艮据第二实施例的图^f象处理装置 才全测的局部运动矢量的处理的另 一 实例的示意图67是示出了确定由根据第二实施例的图像处理装置检测的 局部运动矢量的处理的又一 实例的示意图68是示出了才艮据本发明不同实施例的图像处理装置的配置 实例的冲匡图69~图73是示出了在从局部运动矢量中确定全局运动的处 理实例中4吏用的表达式的示图；以及
图74A~图74C是示出了在通过图^f象叠加形成的图^象上运动图 4象拾取对象部分处的多次曝光的示意图。
1具体实施例方式
下面，参考附图结合优选实施例详细地描述本发明，其中，才艮 据本发明的图像处理装置和图像处理方法被应用于图像拾取装置。
第一实施例
根据第 一 实施例的图像拾取装置总体上被配置为以使通过图 像拾取装置或成像器拾取的多个静止图像经放置并相互叠加以降 低图像的噪声。
在用户用手把持图像拾取装置以拾取图像的环境中，可能发生 相机抖动。例如，在通过利用以这种方式由用户手持的图像拾取装 置通过连续拍摄来拾取静止图片的情况下，第 一静止图片被用作目 标帧，而第二个和后续的静止图片被用作参考帧。
在可通过向整个参考帧施加包括平移、旋转以及扩展或压缩的 变换处理使参考帧定被置于目标帧的位置的情况下，应用于整个参 考帧的变换处理是全局运动。全局运动通常表示移动以及图像的背 景静止图片的移动量。刚刚提及的这种背景静止图片在下文中只称
为背景。
相积i抖动意P未着对于目标帧来i兌发生了通过相对目标帧对参 考帧执行包括平移、旋转以及扩展或压缩的图像变换的量的全局运动。
在本实施例的描述中，为了简化描述，所拾取的静止图片中的 第一个#1用作参考，即，作为目标帧。然而，这并不是必须的。可
以使用任意的第n个静止图片来作为目标帧并且可以将任意的第m 个(n^m)静止图片用作参考帧以重新定义全局运动。或者，可以为运动图片中时间上不同的两个帧图像来定义全局运动。又或者， 全局运动处理可以不^皮应用于所冲合取图〗象的一帧内的整个有效图 片帧，而是^又应用于一帧图《象的一部分。
如果确定了全局运动，则可以/人所确定的全局运动中计算出表 示施加于图^f象上的每个坐标〗立置的目标帧与参考帧之间的整个画 面图像的运动的运动矢量。刚刚提及的这种运动矢量在下文中^皮称
为全局运动矢量。可以为在画面图^象上"i殳置的大量目标块中的每一 个确定全局运动矢量。此外，可以为每个^象素确定全局运动矢量。
然后，如果可基于全局运动精确地确定全局运动矢量，则可以 顺利地才交正相枳4牛动。或者，可以使帧图^f象相互叠加同时针对相枳j 抖动来校正全局运动矢量。
在以下描述中，使用运动矢量检测与运动补偿(其中，使用运 动矢量来定位不同帧的两个图像)来叠加多个图像以降低噪声被称 为降噪(NR)。此外，通过这种降噪而使噪声降低的图像被称为降 噪图像。
在本实施例中， 一个画面图傳^皮划分为多个块(下文描述为目 标块)，并通过上述块匹配方法检测以块为单位的运动矢量。通过 块匹配方法对每块所检测的运动矢量在下文中^皮称为局部运动矢量。
此夕卜，在本实施例中，在块匹配方法中，4吏用相关值，以下文 所述的方式来^r测局部运动矢量的可靠性的指标。然后， <又/人那些 被检测具有高可靠性的局部运动矢量中计算全局运动，并JU人所计 算的全局运动中检测每块的全局运动矢量。
块匹配的概要图2A 图7示出了块匹配方法的相克要。在此处描述的块匹配 方法中，如图2A所示，在目标帧100中〗艮设包括水平方向上的多 个像素和垂直方向上的多条线的预定尺寸的矩形区域的块(即，目 标块102)。此外，在参考帧101中，i殳置与目标块102尺寸相同的
块(即，参考块)。
在块匹配中，从参考帧101中搜索出与目标块102具有高相关 性的参考块。图2B所示的被j企测为在参考帧101中与目标块102 具有最高相关性的块的参考块103在下文中被称为运动补偿块。此 外，在目标块102和与目标块102具有最高相关性的运动补偿块103 之间的位移量在下文中^皮称为运动矢量(参照图2B的参考凄t字 104)。
对应于目标块102与运动补偿块103之间的位置位移(包括位 置位移量和位置位移方向)的运动矢量104与目标块102在参考帧 101中的4殳影图^f象块109的4立置与运动补偿块103的位置之间的4立 置位移相对应。例如，对于才更影图^象块109的位置和运动补偿块103 的位置，使用了它们的中心位置。
*支定目标块102的4殳影图〗象块109在参考帧101中的位置与目 标帧100的目标块102的4立置相同。
描述块匹配处理的相克要。
参照图3 ，假设目标帧100的目标块102的投影图像块109位 于由图3的虚线表示的参考帧101中与目标帧100的目标块102的 4立置相同的位置。然后，目标块102的^L影图4象块109的中心坐标 被确定为用于运动4企测的原点105。随后，個z没运动矢量104存在 于用于运动冲全测的原点105的特定范围内，并且以用于运动检测的原点105为中心的预定范围^^殳置为由图3中的点划线所表示的4臾 索范围106。
随后，在参考画面图像上设定与目标块102具有相同尺寸的块 (即，参考块108)。然后，例如，在4臾索范围106内的水平方向或 垂直方向上以一个像素或多个像素为单位来移动参考块108的位 置。因此，在搜索范围106中设定了多个参考块108。
此处，在4臾索范围106内移动参考块108意p未着由于用于运动 检测的原点105是目标块的中心位置，所以参考块108的中心位置 在搜索范围106内移动。因此，构成参考块108的^象素可以/人:溲索 范围106中突出。
随后，对于在搜索范围106内设定的每个参考块108，设置表 示参考块108和目标块102的位移量和位移方向的矢量(即，参考 矢量107(参照图3))。然后，评估在位于由每个这样的参考矢量 107所表示的位置的参考块108的图像内容和目标块102的图像内 容之间的相关性。
参照图4，参考矢量107可表示为矢量(Vx， Vy),其中，Vx 为参考块108在水平方向上(即，X方向上)的位移量，Vy为参考 块108在垂直方向上(即，Y方向上)的位移量。如果参考块108 的位置坐标(例如，中心位置坐标)与目标块102的位置坐标(例 如，中心位置坐标)相同，则参考矢量107表示为矢量(0， 0)。
例如，如果参考块108位于与目标块102的位置相比在X方向 上偏移1个像素距离的位置，则参考矢量107表示为矢量(1, 0)。 同时，如杲参考块108位于与目标块102的^f立置相比在X方向上偏 移3个像素距离且在Y方向上偏移2个像素距离的位置，则参考矢 量107表示为矢量(3, 2)。简而言之，如图5所示，参考矢量107意味着在相互对应的每 个参考块108与目标块102之间的位置位移(包括位置位移量和位 置位移方向的矢量)。注意，在图5中，目标块102与参考块108 的位置分别由块的中心位置表示。
参考块108在搜索范围106内移动，并且在这种情况下，参考 块108的中心位置在4臾索范围106内移动。由于参考块108包括在 水平方向和垂直方向上的多个^f象素，所以如图5所示，作为与目标 块102进行块匹配处理对象的参考块108的移动的最大范围^皮给出 作为比4叟索范围106更大的匹配处理范围110。
随后，被检测为与目标块102的图像内容具有最高相关性的块 的参考块108的位置祐:;险测作为目标帧100的目标块102在参考帧 101上的位置，即，作为移动后的位置。然后，所4企测的参考块净皮 确定为上文所述的运动补偿块103。然后，如图2B所示，所4企测 的运动补偿块103的位置与目标块102的4立置之间的位移量^皮;险测 作为包纟舌方向分量的运动矢量104。
基本上使用目标块102和参考块108的对应像素值来计算表示 目标块102与在搜索范围106内移动的参考块108之间的相关度的 相关值。包括使用均方根方法的各种计算方法可用于计算相关值。
例如，如图6所示，对于各个块中的所有^f象素，一4殳在计算运 动矢量时使用的相关值中的 一个是目标块102中的每个像素的亮度 值与搜索范围106中的对应像素的亮度值之间的差的绝对值的总 和。差的绝对"fi的总和牙尔为差分绝乂十值和(difference absolute value sum )，并在下文中寻皮称为SAD (绝对差分和，Sum of Absolute Difference )值。在SAD值被用作相关数学运算结果的情况下，随着SAD值减 小，相关值增大。因此，在搜索范围106内移动的参考块108中， 位于SAD值最低位置的参考块108是具有最高相关性的最高相关 性参考块。该最高相关性参考块被检测作为运动补偿块103,所检 测运动补偿块103的位置相对于目标块102的位置的位移量^皮检测 作为运动矢量。
应当注意，通常相关性随着相关^直的增加而增力P。然而，可以 认为在SAD值被用作相关数学运算结果的情况下，随着SAD值的 减少，相关性增加。
如上所述，在块匹配中，通过作为包括方向分量的量的参考矢 量107来表示在4臾索范围106内i殳定的多个参考块108中的每一个 相对于目标块102的位置位移量。每个参考块108的参考矢量107 都具有与参考块108在参考帧101上的位置相对应的值。如上所述， 在块匹配中，作为相关值的SAD值最小的参考块108的参考矢量 4皮才企测作为运动矢量104。
因此，在块匹配中，首先确定在:t叟索范围106内i殳置的多个参 考块108中的每一个与目标块102之间的SAD值(为简化描述， 这种SAD值在下文中^皮称为参考块108的SAD值)。
然后，以这种方式确定的SAD值以与对应于参考块108的位 置的参考矢量107的对应关系存储在存储器中。然后，；险测存储在 存储器中的所有参考块108中具有最低SAD值的参考块108以检 测运动矢量104。注意，在下面的描述中，为简化描述，对应于参 考块108位置的参考矢量107在下文中#1称为参考块108的参考矢 量107。
22在4臾索范围106内i殳置的、与对应于参考块108的^f立置的参考 矢量107相对应地存4诸的多个参考块108的相关值(在所述实例中 为SAD值)被称为相关值表。在所描述的实例中，由于作为差分 绝对值和的SAD值#_用作相关值，所以相关值表4皮称为差分绝对 值和表或SAD表。
这在图7中表示为SAD表TBL。参照图7，在所示的SAD表 TBL中，每个参考块108的相关值(在所示实例中为SAD值)被 称为相关值表元素。在图7的实例中，由参考数字111表示的SAD 值是参考矢量为矢量(0， 0)时的SAD值。此外，在图7的实例 中，由于当参考矢量为矢量(3， 2)时SAD值的最小值为"7", 所以所确定的运动矢量104为矢量(3， 2)。
注意，例如，目标块102和参考块108的位置意味着诸如各个 块的中心位置的任意具体位置。此外，参考矢量107表示参考帧101 的目标块102的投影图像块109的位置与参考块108的位置之间的 位移量(包括方向)。
对应于每个参考块108的参考矢量107是参考帧101上参考块 108相对于与目标块102对应的投影图像块109的位置的位移。因 此，如果指定了参考块108的位置，也就指定了对应于该4立置的参 考矢量的值。因此，指定参考块的相关值表元素在SAD表TBL的 存储器中的地址，然后指定对应的参考矢量。
注意，可以相对于两个或两个以上目标块来并4亍计算这些SAD 值。如果待被同时处理的目标块数增多，则处理速度加快。然而， 由于用于计算SAD值的硬件规^莫增大，所以处理速度的加快和电 路规模的增大具有折中关系。
实施例中的块匹西己上面块匹配的描述涉及到关于目标块的运动矢量的计算。由于 目标块在整个目标帧中的占用比率通常较小，所以通常难以基于一 个目标块确定目标帧的运动(即，全局运动)。
在本实施例中，如图8所示，例如，目标帧100^皮划分成64 个像素x64条线大小的多个目标块102。然后，确定每个目标块的 运动矢量或局部运动矢量104B。此时，在本实施例中，同时计算 表示每个所确定的局部运动矢量的可靠性的指标。
随后，基于局部运动矢量的可靠性指标，仅提取那些关于具有 高可靠性的目标帧所确定的局部运动矢量。
然后，^f又从所纟是取的具有高可靠性的局部运动矢量来计算全局 运动。然后，所计算的全局运动4皮用于以目标块为单位来计算全局
运动矢量0
然后，将所计算的全局运动矢量与每个目标块的局部运动矢量 进行比较，并基于比较结果评估并判定每个目标块是背景部分还是 运动图像拾取对象部分。在本实施例中，将所计算的全局运动矢量 与每个目标块的局部运动矢量进行比较以判定两个矢量的一致度。
然后，作为判定结果，计算表示每个目标块的局部运动矢量与全局 运动矢量之间的 一致程度的指标值。该指标值在下文称为命中率 (hit ratio )。
执行这种评估判定的原因在于考虑到将通过块匹配计算相关 值时包括在图像中的噪声的影响。
当关于目标块的全局运动矢量与局部运动矢量相互一致时，能 够判定目标块为背景图^象部分。因此，该一致度表明了目标块的图 像与背景图像部分一致的程度。如果目标块是背景图像部分，则由于其是静止图像部分，所以
能够将运动补偿图〗象以100%的比率(即，以1:1的比率)添加到目 标块的图《象上。由此，可以l吏降噪(NR)效果最大化。
然后，如果所述背景一致度较小，则估计目标块为运动图像拾 取对象部分。因此，如果响应于背景一致度降低运动补偿图像与数 据块的图l象的相加率(addition ratio )，则能乡爰和"i者如多次曝光的这 种状态。
此处，如果全局运动矢量与局部运动矢量并不相互一致，那么 如果不考虑图像噪声就可以判定目标块完全为运动图像拾取对象 部分。在这种情况下，关于对应于局部运动矢量的参考块的相关值 为最高(即，所述SAD值为最4氐)，并且相关值大于关于对应于全 局运动矢量的参考块的相关值(即，SAD值较小)。
然而，通常诸如所拾取图像的图像包括噪声。如果考虑到这个 图^f象噪声，则即^f吏全局运动矢量与局部运动矢量不相互一致，也存 在目标块为背景部分的可能性。然后，考虑到关于上面刚刚描述的 这种目标块，关于对应于局部运动矢量的参考块的相关值与关于对 应于全局运动矢量的参考块的相关值之间的差小于由于图像噪声 而提供的差。
因此，在本实施例中，关于对应于全局运动矢量的参考块的相 关值被校正为反映由于图像噪声而提供的差的值。然后，将所校正 的相关值与关于对应于局部运动矢量的参考块的相关值相互比较。 然后，如果所校正的相关值较大(即，如果SAD值较小)，则将目 标块评估为背景图像部分。换言之，在本实施例中，基于所校正的 相关值评估背景一致度。此时，认为全局运动矢量与关于目标块的 原始局部运动矢量一致。然后，在本实施例中，如果作为背景一致度的评估结果而判定 目标块为背景图像部分，则输出全局运动矢量作为关于目标块的输 出运动矢量。另一方面，如果作为背景一致度的评估结果而判定目 标块与背景图像部分不一致，则输出局部运动矢量作为关于目标块 的输出运动矢量。在本实施例中，输出运动矢量是用于随后阶段处 理的运动矢量，在本实施例中为用于降噪处理的运动矢量。
注意，如果全局运动矢量与局部运动矢量4皮此完全一致，则自
然地，可将全局运动矢量和局部运动矢量的任一个确定为丰lr出运动矢量。
在本实施例中，以上述方式获得的以目标块为单位的丰叙出运动 矢量被用于以块为单位执行参考帧的定位，从而生成运动补偿图 ^象，即，运动补偿帧。然后，将目标帧与运动补偿帧相互叠加以生
成降噪图像。
然后，在静止图片图像拾取时，如图9所示，图像拾取装置高 速拾取多个静止图像并确定第一个静止图片拾取图像为目标帧 100。然后，图像拾取装置确定预定数目的静止图片拾取图像(包 括第二个和后续的静止图片拾取图像)为多个参考帧101并执行参 考帧101的叠加。然后，图像拾取装置将叠加得到的图像记录为静 止图片拾取图像。
具体地，如果图像拾取者按下图像拾取装置的快门按钮，则高 速拾取预定数目的静止图像。然后，在第一个拾取的静止图像或帧 上，叠加并记录时间上在后才合取的多个静止图^象或帧。
注意，尽管在本实施例的描述中没有描述，^f旦是当进4亍运动图 片图像拾取时，如图10所示，当前从图像拾取元件中输出的当前 帧的图傳4皮确定为目标帧IOO的图Y象，而过去的先前帧图傳4皮确定
26为参考帧101的图像。换句话说，当进4亍运动图片图像拾取时，为
了执行当前帧的图像的降噪，在当前帧之前帧的图像被叠加到当前 帧上。
图像拾取装置的硬件配置的实例
图1示出了作为根据本发明实施例的图像处理装置的图像拾取
装置的实例。
参照图1,所示的图像拾取装置包括连接至系统总线2的中央 处理部(CPU) 1。该图像拾取装置还包括连接至系统总线2的拾 取图像信号处理系统IO、用户操作输入部3、图像存储部4以及记 录和再生装置部5。注意，尽管在图1中未示出，但CPU1包括其 中存储有用于执行各种软件处理的程序的ROM (只读存储器)、用 于工作区的RAM (随机存取存储器)等。图1的图像拾取装置的 图像拾取信号处理系统10响应于通过用户操作输入部3的图像拾 取记录启动操作执行如下所述的拾取图像数据的记录处理。此外， 拾取图像信号处理系统10响应于通过用户操作输入部3的拾取记 录图像的再生启动操作来执行记录在记录和再生装置部5的记录介 质上的拾取图像数据的再生处理。如图1所示，在拾取图像信号处 理系统10中，通过包括图像拾取透镜10L的相机光学系统(未示 出)接收的来自图像拾取对象的入射光照射在图像拾取元件11上 以拾取图像。在本实施例中，图像拾取元件11由CCD (电荷耦合 器件)成像器形成。注意，图像拾取元件11还可以由CMOS (互 补金属氧化物半导体)成像器形成。
在图像拾取装置中，如果执行了图像拾取记录启动操作，则通 过图像拾取透镜10L输入的图像经由图像拾取元件11被转换成拾 取图像信号。随后，由红色(R)、绿色(G)和蓝色(B)的三原色所形成的贝尔阵列的原信号形式的模拟拾取图像信号从图像拾
取元件11输出作为与来自定时信号生成部12的定时信号同步的信 号。所输出的模拟拾取图像信号被提供给预处理部13，通过预处理 部来才丸行诸如缺陷4交正和y才交正的预处理，并且将所得到的才莫拟图 像信号提供给数据转换部14。
数据转换部14将以原信号形式输入其中的模拟拾取图像信号 转换成数字拾取图像信号或由亮度信号分量Y和色差信号分量 Cb/Cr组成的YC数据。根据通过用户操作输入部3接收的图像拾 取指令，将来自数据转换部14的数字拾取图像信号写入图像存储 部4。
具体地，如果通过用户操作输入部3接收的图像拾取指令是源 自按压快门按钮的静止图片拾取指令，则来自数据转换部14的数 字拾取图像信号被写入帧存储器41-4N中。在这种情况下，来自 凄史据转4奐部14的#:字才合取图傳_信号的、如上所述爿寻纟皮相互叠加的 多个帧被写入图像存储器部4的第一 ~第N个帧存储器41 ~ 4N中 (N是将被叠加的静止图片的数目)。
在本实施例中，按下快门按钮时的第一个帧的图像数据被作为 目标帧的图像数据写入第一帧存储器41。随后，第二个和随后的帧 图像的数据被作为参考帧的图像数据顺序写入第二~第N个帧存 储器42 ~ 4N。
在将不同帧的多个图像写入图像存储器部4中之后，通过运动 矢量计算部15读入目标帧的图像数据和参考帧的图像数据。然后， 运动矢量计算部15 4丸^于如下所述的局部运动矢量LMV的枱T测、局 部运动矢量LMV的可靠性计算、全局运动的计算以及全局运动矢 量GMV的计算。另外，运动矢量计算部15执^f亍目标块的背景一致 度的评估，以生成命中率P。在本实施例中，运动矢量计算部15输出目标帧的图像数据 TGv、参考帧的图像数据REFv和命中率P的信息。此外，运动矢量 计算部15丰餘出由全局运动矢量GMV或局部运动矢量LMV形成的 降噪运动矢量MVnr的信息。
来自运动矢量计算部15的降p朵运动矢量MVnr和参考帧的图 像数据REFv的信息被提供给运动补偿图片生成部16。运动补偿图 片生成部16对参考帧的图傳4t据REFv应用对应于全局运动的处理 (即，基于降噪运动矢量MVnr的包括平移、旋转以及扩展或压缩 的变换处理)，以生成运动补偿图^f象。
然后，来自运动矢量计算部15的目标帧的图像数据TGv被提 供给相加部17，并且来自运动补偿图片生成部16的运动补偿图傳_ 的图像数据MCv被提供给相加部17。
此外，来自运动矢量计算部15的目标帧的图像数据TGv与命 中率P被提供给相加率计算部21。相加率计算部21根据表示背景一 致度的命中率P对目标帧的每个目标块计算相加率oc。然后，相加率 计算部21将为每个目标块计算的相加率ot提供给相加部17。
相加部17将在图像数据TGv与MCv对应位置的像素相力口以 执行图像的叠加处理，并输出所得到的作为降噪图像的和图像的图 像数据MIXv。以目标块为单位执行这种图像叠加。具体地，将运 动补偿图像的图像数据MCv的对应块的图像数据以相加率a加入 到目标块的图傳4t据中。
来自相加部17的和图像的图像数据MIXv作为先前目标帧的 图像数据上的目标帧的图像数据被重写入图像存储器部4的第一帧 存储器41中。具体地，第一帧存储器41的目标帧的图像数据首先是紧接在 按下快门按钮之后的第一帧的图像数据。然后，如果第二参考帧的 运动补偿图像的图像数据MCv与目标帧相加，则第一帧存储器41 的目标帧的图像数据被重写入相加结果的和图像的图像数据 MIXv。
然后，对于第三参考帧的图像数据，和图像的图像数据MIXv 被用作为目标帧的图像数据。然后，通过运动矢量计算部15如上 所述类似地计算降噪运动矢量MVnr，并通过相加部17执4亍图4象叠 力口处理。
然后，相加结果的和图像的图像数据MIXv作为在先前目标帧 的图像数据上的目标帧的图像数据被重写入图像存储器部4的第一 帧存储器41中。此后，对于作为参考图像的第四及后续帧的每一 个4丸行类似的处理，喿作。
因此，在执行了直至作为参考图像的第N个图像的图像的叠加 处理之后，叠加了所有待叠加的N帧的降噪图像被写入到图像存储 部4的第一帧存储器41中。
随后，将存储在图像存储部4的第一帧存储器41中、作为叠 加结果的降噪图像的和图像的图像数据MIXv通过系统总线2提供 纟会请争止图片编解码部18，并通过静止图片编解石马部18进4亍编解石马 转换。例如，来自静止图片编解码部18的输出数据被记录在诸如 记录和再生装置部5的DVD (lt字通用盘)或石更盘的记录介质上。 在本实施例中，静止图片编解码部18根据JPEG(联合图像专家组) 方式对静止图片执行图像压缩编码处理。
此外，在静止图片图像拾取模式中，在按下快门按钮之前，来 自数据转换部14的图像数据通过图像存储部4的第一帧存储器41被提供给分辨率转换部19。然后，通过分辨率转换部19被转换成 预定分辨率的数据，然后提供给NTSC (国家电视系统委员会)编 码器20。 NTSC编码器20将图像数据转换成NTSC方式的标准色 图像信号。随后，所得到的标准色图像信号被提供给监控显示部6， 并在监控显示部6的显示屏上显示静止图片图像拾取才莫式状态下的 再生图像。
响应于通过用户#:作$餘入部3的再生启动操作来读出记录在i己 录和再生装置部5的记录介质上的静止图片的图像数据，并将其提 供给静止图片编解码部18,通过静止图片编解码部18将它们进行 解码以用于再生。随后，为再生而解码的静止图片的图像数据通过 图像存储部4的緩冲存储器(未示出)被提供给NTSC编码器20, 并通过NTSC编码器20 ^^转换成NTSC方式的标准色图像信号。 随后，标准色图像信号被提供给监控显示部6,并在监控显示部6 的显示屏上显示其再生图像。
注意，尽管在图1中未示出，但仍能够通过图像输出终端将来 自NTSC编码器20的输出图像信号导向外部。
注意，在本实施例中，虽然通过静止图片编解码部18以压缩 形式来记录图傳4t据，^f旦是也可以省略静止图片编解码部18而不 以压缩形式记录图傳4史据。
此外，可以由石更件形成上述的运动矢量计算部15和运动4卜偿 图片再生部16。还可以用DSP(凄t字信号处理器)形成运动矢量计 算部15和运动补偿图片再生部16。此外，运动矢量计算部15与运 动补偿图片再生部16可#皮CPU 1的寿欠件处理^替。类似地，也可以由石更件或用DSP来形成相加部17。此外，相 加部17也可被CPU 1的软件处理代替。这被类似地应用于静止图 片编解石马部18。
运动矢量计算部15
在本实施例中，运动矢量计算部15^f吏用参照图2A~图7在上 文所述的SAD^i来执4亍块匹配处理，以执4亍局部运动矢量LMV的 检测。然而，注意，在本实施例中，运动矢量计算部15由如下所 述的石更件构成，并通过分层块匹配处理计算局部运动矢量LMV。
此外，如上所述，运动矢量计算部15还计算每个局部运动矢 量LMV的可靠性指标。
此外，运动矢量计算部15仅使用具有高可靠性的那些局部运 动矢量来计算全局运动。然后，运动矢量计算部15从所计算的全 局运动中以块为单位来计算全局运动矢量。此外，运动矢量计算部 15执行每个目标块为背景部分还是运动图像拾取目标部分的判定， 以计算表示背景一致度的命中率P。
<分层的块匹配处理>
在通常已知的块匹配的运动矢量检测处理中，在4臾索范围内以 像素为单位(即，以一个像素为单位或以多个像素为单位)移动参 考块，并计算参考块在每个移动位置处的SAD值。随后，检测在 以这种方式计算的SAD值中表示最小值的SAD值，并基于表示最 小SAD值的参考块位置来检测运动矢量。
32此夕卜，在本实施例中，由于一帧被划分成多块，所以通过顺序 转变目标块和参考块对整个画面图像执行上述块匹配处理。从而执
4亍目标帧中所有目标块的局部运动矢量LMV的计算。
然而，上述这种已知的运动矢量检测处理存在一个问题由于 参考块在搜索范围内以像素为单位移动，所以用于计算SAD值的 匹配处理的次数增加，从而与搜索范围成比例地增加了匹配处理时 间。此外，已知的运动矢量检测处理存在另一个问题SAD表的容 量也增大。
如果考虑到静止图像像素数目的增加、运动图片清晰度的增强 (较大清晰度)以及一个图像的尺寸变得非常大，这个问题就尤其 明显。已知的运动矢量检测处理还存在一个问题通过系统总线2 访问图像存储器的次数增加，并且总线频带也必须增加。
考虑到上述问题，在本实施例中，执行分层的块匹配，其中， 首先减小目标图像或目标帧以及参考图像或参考帧的尺寸，以准备 缩小图像和中间图像，然后按缩小图〗象、中间图〗象和原始图^f象的顺 序执行块匹配的运动矢量搜索，同时将先前阶段的块匹配结果反映 在下一阶段的搜索中。
通过执行分层的块匹配，以相对少量的计算和相对较短的处理 时间来有效地4丸行局部运动矢量的计算。注意，缩小图l象在下文中 寻皮称为缩小面，中间图^f象在下文中^皮称为中间面，而不处于缩小形 式的原始图像在下文中被称为基底面。
图11示出了分层的块匹配。参照图11，在所示实例中，基底 面目标帧201和基底面参考帧301的尺寸缩小至l/a'1/b ( 1/a和1/b 为缩小率，其中，a〉l和b〉1)，以分别生成缩小面目标帧211和缩 小面参考帧311。随后，将基底面目标帧201和基底面参考帧301缩小至l/b， 以分别生成中间面目标帧221和中间面参考帧321。
尽管可以相对于基底面对缩小面和中间面使用任意倍率 (scale),但是可以将它们适当地设定为1/2~1/8倍，即，转换成 ^象素凄t时为1/4-1/64倍。注意，在图ll的实例中，缩小面相对于 中间面的缩小率为1/4，即，a = 4,而中间面才目对于基底面的缩小 率为1/4，即，b = 4。
jt匕外，为了生成缩小面和中间面，可应用4壬意的方法。然而， 如果应用《又响应于缩小率对原始图Y象的〗象素进4亍采样来生成缩小 面或中间面的方法，则生成4斤返(jreflection )分量，并且在第 一层 (缩小面)中才企测到的运动矢量^艮可能偏离正确的运动矢量。因此， 首先通常将具有适合于縮小率的截止频带的低通滤波器应用于原 始图像，然后执行适合于该缩小率的采样。
在本实施例中，计算在包括通过才艮据倍率的采样而消失的那些 像素的像素的亮度平均值，并将其用作缩小面像素或中间面像素的 亮度值。具体地，在l/a缩小的情况下，计算axa像素的正方形区 域中的亮度平均值，并用作缩小面像素或中间面像素的亮度值。在 这种情况下，即l吏首先形成中间面并随后从中间面生成缩小面，仍 能够获得与通过原始画面图像直接生成缩小面的情况相同的效果。 因jt匕，这种方法效率更高。
注意，当生成缩小图^f象时，水平方向上的缩小率和垂直方向上 的缩小率可以与上述情况相同，或者也可以不同。
在以上述方式生成缩小面或中间面之后，首先为缩小面目标帧 211 i殳定缩小面目标块212，并且为缩小面参考帧311 _没定缩小面控_ 索范围313。随后，通过缩小面运动矢量检测装置401对在缩小面搜索范围 313内的多个缩小面参考块312执4亍块匹配处理，以检测呈^L最小 SAD值的缩小面参考块位置。然后，基于缩小面参考块的位置检测 对缩小面运动矢量MVs进4于检测。
在本实例中，运动矢量检测装置401对作为缩小面目标块212 的大小的块(即，水平方向上的像素数x垂直方向上的像素的块) 的块匹配处理单4立才丸4亍处J里。
在缩小面运动矢量MVs的计算结束之后，在大小等于缩小面 目标帧211乘以a的中间面目标帧221上设定中间面目标块222。
在图11的实例中，中间面运动矢量检测装置402对作为尺寸 与缩小面运动矢量才企测装置401的块匹配处理单4立相同的块的中间 目标块才丸4亍块匹配处理。相同尺寸的块是相等〗象素凄史的块并包4舌水 平方向上的相等像素数x相同垂直方向上的相等像素。
在本实例的情况下，由于缩小面具有中间面1/a的尺寸，所以 与缩小面目标块212相对应的、包4舌在中间面目标帧的区i或中的中 间面目标块222的数目为a。因此，等于a的所有中间面目标块222 4皮-没定为中间面运动矢量检测装置402的块匹配处理对象。
随后，在具有尺寸等于缩小面参考帧311的a倍的中间面参考 帧321中，设定以缩小面运动矢量MVs为中心的中间面搜索范围 323。随后，通过运动矢量4全测装置402对中间面4叟索范围323内 的多个中间面参考块322执行上述块匹配处理，以检测呈现最小 SAD值的中间面参考块位置，以检测中间面运动矢量MVm。
中间面运动矢量才企测装置402对i殳置在中间面搜索范围323中 的用于每个中间面目标块的;l叟索范围中的每个中间面目标块#丸4亍块匹配处理，/人而检测每个中间面目标块的运动矢量。然后，多个
运动矢量中呈现最小SAD值的那一个^皮检测作为中间面的运动矢 量MVm,即，孑乍为中间面运动矢量
在中间面运动矢量MVm的计算结束之后，在具有等于中间面 目标帧221的b倍的尺寸的基底面目标帧201中设定基底面目标块 202。
在图11的实例中，基底面运动矢量检测装置403也对作为尺 寸与运动矢量检测装置401和402相同(即，相等像素数=水平方 向上的相等像素数x垂直方向上的相等像素)的块的处理单位块执 ^"块匹配处理。
随后，以上述处理单位块为单位获得了中间面运动矢量MVm。 因此，设定作为基底面运动矢量4企测装置403的对象的基底面目标 帧201的基底面目标块202的数目，以使其等于尺寸等于如图11 中的斜线所表示的缩小面的块(即，处理单位块)的数目的a'b倍。
另一方面，在具有等于中间面参考帧321的b倍尺寸的基底面 参考帧301中，设定以缩小面运动矢量MVs和中间面运动矢量 MVm的合成矢量为中心的基底面搜索范围303。通过基底面运动矢 量检测装置403在基底面搜索范围303中对多个基底面参考块302 才丸行上述块匹配处理，以检测呈现最小SAD值的基底面参考块的 位置，从而检测出基底面运动矢量MVb。
以相同尺寸的处理单位块为单位获得缩小面运动矢量MVs和 中间面运动矢量MVm。因此，以缩小面运动矢量MVs和中间面运 动矢量MVm的合成矢量为中心所i殳定的基底面4臾索范围303比包 括b个基底面目标块202的区域大点。基底面运动矢量检测装置403在用于b个基底面目标块202的 基底面搜索范围303中所设定的基底面目标块的搜索范围内执行块 匹配处理，从而执行基底面目标块的运动矢量的检测。随后，多个 运动矢量中呈现最小SAD值的那一个祐:4企测作为基底面运动矢量 MVb,即，基底面的基底面运动矢量。
随后，作为以上述方式确定的缩小面运动矢量MVs、中间面运 动矢量MVm和基底面运动矢量MVb的合成矢量，检测基底面目 标帧201与基底面参考帧301之间的基底面目标块的局部运动矢量 LMV。
对目标帧和参考帧的所有区域都扭J亍上述的这种分层块匹配 处理，同时顺序转变目标块和参考块。因此，计算以在目标帧中i殳 置的多个目标块为单位的所有多个局部运动矢量LMV。
在图ll的实例中，运动矢量4企测装置401、 402和403实际上
是一个装置，它们的区别在于从图像存储部4中读出然后输入的目 标块以及/人^_索范围内读出的参考块。
注意，在配置基底面目标帧201以获得所有基底面目标块202 的局部运动矢量LMV的情况下，应以以下方式执行目标块的转变。 具体地，在缩小面上设置缩小面目标块，同时，根据倍率1/a和1/b， 在水平方向上将缩小面目标块顺序移动与水平方向上的像素数相 对应的量。同时，在垂直方向上，根据倍率l/a和l/b，将缩小面目 标块顺序移动与垂直方向上的^象素相对应的量。
然而，乂寸于由多个局部运动矢量LMV确定全局运动矢量GMV 的对象，可以采取如下的对策。具体地，将缩小面目标块设置为在 水平方向和垂直方向上顺序移动，从而关于在基底面目标帧201的
if兆过位置处的基底面目标块获得局部运动矢量LMV。注意，
层的缩小面和基底面来执行，或者可以包括用于不同中间面的多个 中间层。但是，如果缩小率很高而在同一单位块中包括了运动图像 才合取对象和背景，则必须小心。具体地，最初应该被j企测为不同运 动矢量的多个运动矢量被作为单个运动矢量处理，由于在后续层中 无法恢复，所以必须小心地执行缩小率的选择。
局部运动矢量LMV的可靠性的计算
在具有相对大量噪声的图像为目标图像的情况下，由于SAD 值受到噪声影响，所以通常不能获得正确的矢量。图12为包括相 对大量噪声的夜景的照片。如果示出图12的图^象与包含非常小的 旋转量的同时通过左方的相机抖动所拾取的图像(作为参考图像) 之间的运动矢量，则得到如图13所示的这种结果。图13是通过绘 制通过将原始图片缩小至1/8所获得的缩小图像的缩小面运动矢量 而得到的。
从图13可以看出，获得其紋理不是特别清晰的夜空的运动矢 量作为多样运动。在分层块匹配中，由于在生成缩小图像时应用了 低通滤波器，所以耐噪声性相对教高。但是，如图13所示，缩小 图像受到噪声的影响。
由于通过缩小面运动矢量周围的搜索获得基底面的局部运动 矢量LMV，所以如果缩小面运动矢量偏离了正确的运动矢量，则 恢复无效，并且缩小面运动矢量直接受到噪声的影响并被进一步地扰乱。
即使根本不具有噪声的拾取图像是对象图像，但如果图像的紋 理不清晰，则由于连续拍摄图像拾取时外部光线的微小变化或由曝 光时间差引起的灰阶变化更大，并且所冲企测的运动矢量通常偏离正确值。此外，当大量的树木或诸如大楼的人工结构具有^^艮多重复的 紋理图案时，即使通过刚刚描述的紋理的重复图案，所检测的运动 矢量也可能会偏离正确值。
假设刚刚描述的这种情况，在相关技术中已经进行了仅使用具 有高可靠性的运动矢量来计算全局运动的尝试。例如，已经提出执 行目标图像的边缘检测，并确定具有清晰边缘的块的运动矢量作为
具有高可靠性的运动矢量。此外，还提出了使用目标图像的IDCT (离散反余弦变换)结果的DC分量和AC分量来计算可靠性。
还推荐了一种方法，其中，使用作为一种滤波器的角检测器来 检测目标图像上的特征点，以使所得到的运动矢量具有高可靠性。 此外，已提出了以下技术按照在参考图像上也维持多个特征点的 位置关系的假设，从不同点处的多个运动矢量的组合中提取出高可 靠性的运动矢量。
然而，上述这些现有技术并没有假设高噪声的图像，并且对于 具有高水平噪声的图像明显无效。
在本实施例中，考虑到上述情况，采用了一种对策来获得可靠 性指标值，通过这种对策，即使是高噪声环境下的图像仍能够有效 地评估运动矢量的可靠性。
在本实施例中，目标块和参考块之间的相关值中的第一极大值 和第二极大值的差或比被用作运动矢量可靠性的指标值。在本实施 例中，由于目标块和参考块之间的相关值械^企测为SAD值，所以 相关值中的第一极大值和第二极大值分别为SAD值的第一极小值 和第二极小值。图14示意性示出了关于一个目标块的SAD表的SAD值。在 图14中，4臾索范围^皮表示为在图^f象的水平方向或x方向以及垂直 方向或y方向上的二维范围，并在高度方向上(即，在与x和y方 向垂直的方向上)取SAD值。因此，SAD表^皮表示为三次线面(cubic curved face )。
在通常的块匹配处理中，为了检测运动矢量，仅将SAD表中 SAD值的最小值确定为检测对象。然而，SAD值的这个最小值是 SAD表中的SAD值的第一极小值，并且在图14中，该值l叚设由点 501所表示的位置。在图14中，检测运动矢量MV作为从运动的原 点(即，(x = 0, y = 0))至由点501所表示的SAD值的最小值位 置的矢量。
如果考虑到不存在噪声的理想状态，则当确定搜索范围内的多 个参考块和目标块之间的相关值时，由三次线面表示的SAD表呈 现以下状态其中，三次线面均匀向下凸出，并且《叉存在SAD值 的一个极小值。但是，在实际的图像拾取状态下，因为不仅存在光 量变化、运动体的运动等影响，而且还存在各种噪声的影响，所以 由三次线面表示的SAD表几乎不呈现均匀向下凸出的形状，而是 通常具有SAD值的多个极小值。
因此，在本实施例中，基于呈现等于SAD值的最小值的第一 极小值的参考块的位置来检测运动矢量MV。然而，SAD值中除 SAD值的第一极小值之外的极小值(即，SAD值的第二极小值) 被检测用于生成相对于可靠性的指标。在图14中，由点501表示 的位置代表第一极小值，而由另一个点502表示的位置代表第二极 小值。
如果限制噪声等的影响，贝'J SAD值的第一极小值和SAD值的 第二极小值之间的差值很大，并且通过SAD值的第一极小值(即，通过SAD值的最小值)所检测的运动矢量MV的可靠性纟艮高。另 一方面，在包括大量噪声等的另一种环境下，SAD值的第一极小值 和SAD值的第二极小值之间的差值很小，不能够区分SAD值的第 一和第二极小值中的哪一个正确地对应于运动矢量MV。因此，可
靠性很低。
如上所述，在本实施例中，SAD值的第一极小值(即，SAD 值的最小值)和SAD值的第二极小值之间的差值被确定作为所检 测运动矢量的可靠性指标。图15示出了在一维轴上表示图14中的 搜索范围的SAD表。在本实施例中，图15中的第二极小值与第一 极小值(即，SAD值的最小值)之间的差^皮确定为运动矢量MV的 指标值Ft。
注意，在仅荻得SAD值的第一极小值而没有获得第二极小值 的情况下，在本实施例中，将SAD值理论上的最大值或SAD值表 中的SAD^f直的最大^f直确定为运动矢量MV的可靠性指标<1_。因此， 确定刚刚描述的这种块的运动矢量很高。但是，由于所描述类型的 块很少存在，所以可以从可靠性的评估中排除仅从中获得SAD值 的第一极小值而没有获得第二极小值的块的运动矢量。
注意，代替SAD值的第一极小值(即，SAD值的最小值)与 SAD值的第二极小值之间的差，SAD值的第一极小值(即，SAD 值的最小值)与SAD值的第二极小值之间的比可以被用作运动矢 量MV的可靠性指标值Ft。但是，在下面的描述中，SAD值的第 一极小值(即，SAD值的最小值)与SAD值的第二极小值之间的 差被用作运动矢量的可靠性指标值Ft。
根据本实施例中的运动矢量的可靠性指标，由于没有如相关技 术使用诸如图像的边缘或特性的图像分量而是仅使用了目标帧与参考帧之间的相关值，所以抗噪稳定性很高。换句话说，获得具有 高精确度的运动矢量的可靠性指标，而不会受到图像噪声影响。
此外，在本实施例中，使用相关值的第一极大值(即，SAD值 的第 一极小值)与相关值的第二极大值(即，SAD值的第二极小值) 之间的差或比也是使本实施例中运动矢量的可靠性指标具有很高 抗噪稳定性的原因。
具体地，如果噪声水平升高，则即使运动矢量正确，通常运动 矢量的SAD值也会升高。因此，在为了提取出具有高可靠性的运 动矢量而对运动矢量的可靠性指标值Ft设定阈值从而执行与阈值 的比较处理的情况下，还需要响应于噪声水平改变其本身的阈值。
相反，在使用本实施例中的运动矢量的可靠性指标值Ft的情况 下，如果噪声水平升高，则相关值中的第一极大值(即，SAD值的 第 一极小值)和相关值中的第二极大值(即，SAD值的第二极小值) 都响应于噪声水平而升高。因此，消除了噪声对相关值中的第一极 大值(即，SAD值的第 一极小值)和相关值中的第二极大值之间的 差的影响。
换言之，可以实现不取决于所述噪声水平的固定值的阈值处 理。这同样也适用于将相关值中的第一极大值(即，SAD值的第一 极小值)和相关值中的第二极大值(即，SAD值的第二极小值)之 间的比用作运动矢量的可靠性指标值Ft的情况。
顺便提及，在对其执行块匹配的目标块的图像的对比度很低的 情况下，SAD值的第二极小值与SAD值的最小值之间的差具有减 小的趋势。因此，当相同的帧包括具有高对比度的区域和具有低对 比度的另 一个区域时，如果将相同的阄值用于评估矢量可靠性的评 估值Ix，则很可能优先选择具有高对比度的区域。尽管从运动矢量可靠性的角度来看这是正确的结果，但是为了 在一定程度上减小具有低对比度的区域，在本实施例中，用于緩解 对比度影响的项被添加至用于确定运动矢量可靠性的指标值的数 学运算表达式。具体地，确定目标帧图像的最大亮度值与最小亮度 值之间的差值，并在运动矢量可靠性的指标值上反映亮度的差值。 注意，为了避免噪声的不良影响，在将低通滤波器应用于目标帧的 图像数据之后，执行最大亮度和最小亮度的提取。
鉴于上述，给出本实施例中运动矢量的可靠性指标值Ft的计算 表达式
Ft= ( Btm2SAD - MinSAD ) - ( MaxTAR - MinTAR ) x Co
…(表达式6)
其中
Ft:运动矢量的可靠性指标值 Btm2SAD: SAD值的第二极小值 MinSAD: SAD值的最小值(第一极小值) MaxTAR:目标块的最大亮度值 MinTAR:目标块的最小亮度值 Co:力口权系数(S 1 )
注意，在相关值的第 一极大值与相关值的第二极大值之间的比 被用作运动矢量可靠性指标值的情况下，完全类似于上文所给出的(表达式6 )，用于緩解对比度影响的项也可以被添加至可靠性指标 值计算表达式。但是，在运动矢量的指标值Ft的计算中，实质上并 不必须添加用于纟爰解对比度影响的项，而是可以省略该项。
虽然在上面的描述中，^又确定基底面运动矢量MVb的运动矢 量可靠性指标值，但自然也可以相对于缩小面运动矢量MVs或中 间面运动矢量MVm来类合:U也确定运动矢量的可靠'I"生指4示1直。
全局运动和全局运动矢量GMV的计算
在相关技术中，不使用上述这种运动矢量的可靠性指标值。因 此，利用相同的4又重来4吏用对目标帧确定的所有多个局部运动矢量 LMV,以计算全局运动矢量GMV。
相反，在本实施例中，能够以上述方式来获得目标帧的多个局 部运动矢量LMV中的每一个的可靠性指标值Ft。
随后，可以对以这种方式确定的多个局部运动矢量LMV的可 靠性指标值进行标准化，从而对每个局部运动矢量LMV确定例如 大于等于O但小于等于1的加权系数。随后，可以不通过相同的权 重而是通过根据各个加权系数所确定的多个权重来使用局部运动 矢量LMV，以计算全局运动。具体地，当^f吏用确定的所有多个局 部运动矢量LMV以启动用于计算全局运动的收敛计算时，在局部 运动矢量LMV利用对应于各个可靠性指标值Ft的加外又系凄t进4亍加 权之后，才使用这些局部运动矢量LMV。
然而，为了简化全局运动的数学运算处理来降低数学运算负 荷，在本实施例中，将局部运动矢量LMV的加权系数W二进值化 成0和1。因此，在本实施例中，设置用于运动矢量的可靠性指标值Ft 的阈值th，并根据以下数学运算表达式使用每个运动矢量的可靠性 指标值Ft来计算每个局部运动矢量LMV的加4又系凄t W:
当Ft > th时，W = 1 ，而
当Ft^th时，W = 0， …(表达式7)
具体地，在本实施例中，运动矢量可靠性指标值FW皮用于判定 多个局部运动矢量LMV中的每一个的可靠性，并JM又乂人多个局部 运动矢量LMV中提取出具有高可靠性的那些局部运动矢量。然后， 仅将所提取的具高可靠性的局部运动矢量用于计算全局运动。
在本实施例中，由于目标帧中的目标块数相对较多，所以即使 在使用如本实例<又纟是取具有高可靠性的局部运动矢量LMV的方法 的情况下，仍能够计算具有高精确度的全局运动。
注意，下文将描述通过多个局部运动矢量LMV来计算全局运 动的具体处理实例。
上面描述了以上参照图12所述的具有大量噪声的图像中获取 如图13所示的这种局部运动矢量。然而，如果Y吏用4艮据本实施例 的运动矢量的可靠性指标值对图13的图像上表示的局部运动矢量 执行可靠性判定，以仅提取具有大于阈值的可靠性的那些可靠性指 标值并随后绘制块和运动矢量，则获得如图16所示的这种图像。 鉴于此，对于图16所示的多个块，获得基本正确的局部运动矢量， 而不受p喿声影响。
运动矢量计算部15的硬/f牛配置的实例运动矢量计算部15拭J亍如上所述的对每个目标块检测局部运 动矢量LMV、计算所4企测局部运动矢量LMV的可靠性指标值、计 算全局运动GM和全局运动矢量GMV等处理。
图17示出了运动矢量计算部15的石更件配置的实例。参照图17， 运动矢量计算部15包括目标块緩存部151 ，用于存储目标块102 的像素数据；以及参考块緩存部152，用于存储参考块108的像素数据。
运动矢量冲企测部15还包括匹配处理部153，用于计算目标块 102和参考块108的对应^f象素的SAD值。运动矢量检测部15还包 括局部运动矢量计算部154，用于才艮据/人匹配处理部153 l餘出的 SAD值信息计算局部运动矢量。运动矢量检测部15还包括控制部 155、运动矢量可靠性指标值计算部156、全局运动计算部157、全 局运动矢量计算部158、对比度计算部159以及背景/运动图像拾取 对象判定部150。
对比度计算部159包括低通滤波器1591、最大亮度值检测部 1592和最小亮度值检测部1593。
此外，尽管未示出，但是在本实例中，由目标帧和参考帧的图 ^f象^:据所生成的原始图片的目标帧和参考帧的缩小面的图傳4t据 和中间面的图像数据被存储并保留在图像存储部4中。
如图17所示，控制部155控制运动矢量计算部15的处理顺序， 并将控制信号提供给运动矢量计算部15的各个部件。
在控制部155的控制下，目标块纟爰存部151从图〗象存々者部4的 缩小面、中间面或基底面的目标帧的图像数据中读入指定目标块的 图像数据，并将所述图像数据提供给匹配处理部153。在控制部155的控制下，参考块緩存部152从图像存储部4的 缩小面、中间面或基底面的参考帧的图像数据中读入指定匹配处理 范围内的图像数据。然后，参考块緩存部152将来自匹配处理范围 内的图像数据的参考块的图像数据顺序提供给匹配处理部153。
匹配处理部153接收来自目标块緩存部151的目标块的图像数 据以及来自参考块緩存部152的参考块的图像数据。然后，匹配处 理部153在控制部155的控制下对缩小面、中间面和基底面扭J亍块 匹配处理。然后，匹配处理部153将参考矢量(即，参考块的4立置 信息)以及块匹配处理结果的SAD值提供给局部运动矢量计算部 154。
局部运动矢量计算部154包括用于SAD值的第一极小值存储 单元1541和用于SAD值的第二极小值存储单元1542，并执行从来 自匹配处理部153的SAD值中才企测出SAD值的第一才及小值和SAD 值的第二极小值的处理。
随后，局部运动矢量计算部154依次更新用于SAD〗直的第一 极小值存储单元1541中的SAD值的第一极小值和SAD值的第一 极小值的位置信息(即，参考矢量)以及用于SAD值的第二极小 值存储单元1542中的SAD值的第二极小值和SAD值的第二极小 值的位置信息(即，参考矢量)。局部运动矢量计算部154扭j亍该 更新处理直至对匹配处理范围中的所有参考块的块匹配处理老卩结 束。
然后，当所述块匹配处J里结束时，该时间点的目才示块的SAD 值的第一极小值以及SAD值的第一极小值的位置信息或参考矢量 存储在用于SAD值的第一极小值存储单元1541中。此外，SAD值 的第二极小值以及SAD值的第二极小值的位置信息或参考矢量被 存储在用于SAD值的第二极小值存储单元1542中。随后，当对匹配处理范围内的所有参考块的块匹配处理结束
时，局部运动矢量计算部154检测存4诸在用于SAD的第一才及小1直 存储单元1541中的参考矢量的信息(即，位置信息)，作为在缩小 面、中间面和基底面的每一个中的运动矢量。下文将详细描述局部 运动矢量计算部154的处理操作。
本实施例中的局部运动矢量计算部154在缩小面匹配处理时^)夺 缩小面运动矢量MVs作为局部运动矢量LMV提供给控制块155。
当进行分层的块匹配处理时，控制部155从缩小面运动矢量 MVs的信息确定用于中间面的4臾索范围。然后，控制部155将控制 信号提供给目标块緩存部151、参考块緩存部152和匹配处理部 153,以4吏它们在中间面中执4亍块匹配。
然后，当中间面中的匹配处理结束时，局部运动矢量计算部154 将缩小面运动矢量MVs和中间面运动矢量MVm的合成矢量的信息 作为局部运动矢量LMV提供给控制部155。
控制部155 乂人缩小面运动矢量MVs和中间面运动矢量MVm 的合成矢量的信息确定用于基底面的搜索范围。然后，控制部155 将控制信号提供给目标块緩存部151、参考块緩存部152和匹配处 理部153,以使它们在基底面中执行块匹配。
如上所述，控制器155可以控制哪个层应执4于分层的块匹配以 及是否应该输出该层中的运动矢量作为局部运动矢量LMV。
例如，如果即4吏牺4生并奇确度也希望在短时间内获4寻局部运动矢 量LMV，则局部运动矢量计算部154可以^f又执4亍缩小面的块匹配 处理。另一方面，在需要高精确度的局部运动矢量LMV的情况下， 局部运动矢量计算部154可执4亍分层的块匹配处理直至基底面块匹配处理。或者，在考虑到精确度和时间的情况下，局部运动矢量计
算部154可能批J亍分层的块匹配处理直至中间面块匹配处理。
当直到基底面的分层匹配处理结束时，局部运动矢量计算部 154获得缩小面运动矢量MVs、中间面运动矢量MVm和基底面运 动矢量MVb的合成矢量的4言息4乍为局部运动矢量LMV。局部运动 矢量LMV祐j是供纟会全局运动计算部157。
全局运动计算部157临时存々者所4妄收的局部运动矢量LMV。
此夕卜，当通过局部运动矢量计算部154进行局部运动矢量LMV 的匹配处理结束时，通过控制部155激活运动矢量可靠性指标值计 算部156。同时，第一极小值存储单元1541的SAD值的最小值 MinSAD和第二极小值存储单元1542的SAD值的第二极小值 Btm2SAD从局部运动矢量计算部154被提供给运动矢量可靠性指 标值计算部156。
此外，此时将目标块的图像数据从目标块緩存部151通过低通 滤波器1591提供给最大亮度值检测部1592和最小亮度值检测部 1593。然后，分别将由最大亮度值检测部1592和最小亮度值检测 部1593检测的最大亮度值MaxTAR和最小亮度值MinTAR提供给 运动矢量可靠性指标值计算部156。
运动矢量可靠性指标值计算部156根据上文给出的(表达式6 ) 使用提供给其的信息以计算运动矢量的可靠性指标值Ft。然后，运 动矢量可靠性指标值计算部156将所计算的运动矢量可靠性指标值 Ft提供给全局运动计算部157。全局运动计算部157以与此时提供 的局部运动矢量LMV相关联的关系来临时存储输入其中的运动矢 量可靠性指标值Ft。在对目标帧中的所有目标块都结束了上述的一系列处理之后，
控制部155将控制指令信号提供给全局运动计算部157，从而开始 全局运动的数学运算处理。
在本实施例中，全局运动计算部157首先才艮据来自4空制部155 的控制指令信号^f吏用以与局部运动矢量LMV的对应关系存々者的运 动矢量可靠性指标值Ft来执行对存储在其中的多个局部运动矢量 LMV的可靠性的判定。在本实施例中，根据上文给出的(表达式7) 计算每个运动矢量LMV的加纟又系^: W。然后，全局运动计算部157 仅提取加权系数W为W=l并呈现高可靠性的那些局部运动矢量 LMV。
然后，全局运动计算部157仅使用所提取的具有高可靠性的局 部运动矢量LMV来执行计算全局运动GM的数学运算处理。然后， 全局运动计算部157将所得到的全局运动矢量GM纟是供给全局运动 矢量计算部158。
全局运动矢量计算部158将全局运动GM应用于目标块的坐标 位置(例如，中心位置)以计算目标块的全局运动矢量GMV。
全局运动矢量计算部158将所计算的全局运动矢量GMV提供 给背景/运动图像拾取对象判定部150。此外，将来自局部运动矢量 计算部154的局部运动矢量LMV提供给背景/运动图像拾取对象判 定部150。
关于上述目标块，背景/运动图像拾取对象判定部150将用于每 个目才示块的局部运动矢量LMV与全局运动矢量GMV进4亍比4交以 判定它们的一致度(即，背景一致度)。在这种情况下，背景/运动 图像拾取对象判定部150将关于分别对应于局部运动矢量LMV和全局运动矢量GMV的参考块的相关值(即，SAD值)进行比较以 进行背景和运动图像拾取对象的判定。
顺使j是及，也可以4吏用通过局部运动矢量计算部154确定的用 于计算全局运动的局部运动矢量LMV和相关值(即，SAD^直)作 为通过背景/运动图像对象判定部150用于上文所述比较的值。
然而，在这种情况下，局部运动矢量计算部154需要在全局运 动计算部157和全局运动矢量计算部158进4亍处理的时间,爻内{呆留 局部运动矢量和SAD值。在这种情况下，尤其是因为不知道全局 运动矢量GMV对应哪个参考矢量，所以需要保留关于各个目标块 的SAD值表的所有SAD值作为将被保留的那些SAD值。因此， 为了保留局部运动矢量LMV和SAD值需要具有非常大容量的存储 器。
考虑到这一点，在本实施例中，局部运动矢量计算部154执4亍 局部矢量LMV和SAD值的再计算用于背景/运动图像拾取对象判 定部150的比4交。通过这样的再计算，局部运动矢量计算部154不 再需要包4舌用于存^f渚局部运动矢量LMV和SAD值的存4渚器，并且 可以消除存储器容量的问题。
因此，背景/运动图像拾取对象判定部150使用再计算的局部运 动矢量LMV和SAD值来确定表示关于目标块的背景一致度的命中 率P。在进行这种再计算时，背景/运动图像拾取对象判定部150还 获:f又关于与全局运动矢量GMV —致的参考矢量(即，参考块位置) 的SAD值。然后，背景/运动图像拾取对象判定部150使用再计算 的局部运动矢量LMV和SAD值来判定目标块是背景部分还是运动 图像拾取对象部分。背景/运动图像拾取对象判定部150将关于对应于全局运动矢 量GMV的参考块的SAD^f直(其与关于对应于局部运动矢量LMV 的参考块的SAD值进行比较)校正为反映图像噪声量的值。
图像噪声通常具有对应于图像亮度值的值。因此，在本实施例 中，来自对比度计算部159的最大亮度值检测部1592的最大亮度 值MaxTAR和来自最小亮度值检测部1593的最小亮度值MinTAR 被提供给背景/运动图像拾取对象判定部150。
背景/运动图像拾取对象判定部150检测图像的亮度值作为最 大亮度值MaxTAR与最小亮度值MinTAR之间的差，并响应于所枱r 测的亮度值确定关于对应于全局运动矢量GMV的参考块的SAD值 的才交正值。
然后，背景/运动图像拾取对象判定部150将所校正的相关值与 关于对应于全局运动矢量GMV的参考块的所述4交正值进4于比專交。 然后，背景/运动图像拾取对象判定部150判定关于对应于全局运动 矢量GMV的参考块的SAD值的校正值是否小于(即，相关值是否 大于)关于对应于局部运动矢量LMV的参考块的SAD值的校正值。 当前者较小时，背景/运动图像拾取对象判定部150评估并判定目标 块为背景部分。
当命中率(3具有目标块可被认为是背景部分的这样的值时，背 景/运动图傳_拾取对象判定部150输出全局运动矢量GMV作为经过 降噪处理的运动矢量MVnr。在任何其他情况下，背景/运动图像拾 取对象判定部150输出局部运动矢量LMV作为关于目标块的降噪: 处理的运动矢量MVnr。
如上所述，将来自背景/运动图像拾取对象判定部150的降噪处 理的运动矢量MVnrl是供给运动补偿图片生成部16。运动补偿图片生成部16对通过运动矢量计算部15传送至其的 用于参考帧的图傳4t据REFv的降，条处理运动矢量MVnr施加变换: 处理，以生成运动补偿图像的数据MCv。然后，将所生成的运动补 偿图像的数据MCv提供给相加部17。
此外，背景/运动图像拾取对象判定部150将所确定的命中率(3 才是供^合相加率计算部21。相加率计算部21基于命中率P计算3于应于 目标图像的运动补偿图像的相加率ot。
在这种情况下，可以以块为单4立或以<象素为单4立计算相加率00。
即使在以像素为单位计算相加率ot的情况下，也由于是以块为单位 计算命中率P，所以命中率(3自然以块为单位参与相加率的计算。
在以块为单4立计算相加率a的情况下，也可以-f又响应于命中率p 来计算相加率a。自然，可以通过考虑除命中率(3以外的其他相加率
计算因素来计算相加率a。在本实施例中，如下文所述，不^f又考虑 到命中率P而且考虑到如目标图像与运动补偿图像之间以像素为单
位的差以及目标图<象的噪声的这些因素来计算相加率a。
在本实施例中，坤目力口率计算部21以l象素为单4立确定相力口率a。 为此，将目标图像的数据TGv与运动补偿图像的数据MCv提供给 才目力口率i十算吾卩21。
在本实施例中，相加率计算部21 4吏用目标图〗象的^f象素与运动 补偿图像的像素之间的差值的绝对值(即，像素差绝对值)、目标 图像的像素平均值与运动补偿图像的像素平均值之间的差值的绝 对值(即，平均量差绝对值)、目标图像的方差差值绝对值以及命 中率P来确定相加率a。例如，作为像素平均值，确定受关注的像素(即，像素本身) 附近的九个像素的平均值。作为方差差值绝对值，确定受关注的像 素(即，像素自身)与邻近像素之间的差值的方差值的绝对值。
由相加率计算部21确定的相加率ot被提供给相加部17。相加 部17 ^f吏运动补偿图^象的凄t据MCv以相加率a与传送给其的目标图 像的图像数据TGv相加。
在本实施例中，相加部17以对应于目标块的背景一致度(即， 命中率P)的相加率将目标图像与运动补偿图像进行叠加。换言之， 在静止图片部分，运动补偿图像与目标图像的相加率较大，而在运 动图像拾取对象部分，运动补偿图像与目标图像的相加率较小。
以这种方式，在本实施例中，可以利用各个适当的相加率，在 背景部分和运动图傳4合取对象部分处执4亍图<象的叠加。因此，通过 图像叠加获得了良好的降噪图像。
此外，由于乂人具有高可靠性的那些局部运动矢量LMV中生成 在本实施例中使用的全局运动和全局运动矢量GMV，所以它们是 高精确度的运动矢量。此外，关于这点，可获得良好的降噪图像。
用于降噪生成的一^:处理的流程
图18示出了从进入图像存储器4的拾取图像中生成降噪图像 的处理流禾呈。
首先在步骤S1，在运动矢量计算部15中，局部运动矢量计算 部154通过块匹配执行局部运动矢量LMV的检测。然后，在步骤 S2中，运动矢量可靠性指标值计算部156^f吏用通过局部运动矢量计算部154计算的SAD值的第一极小值MinSAD和第二才及小值 Btm2SAD计算所检测的局部运动矢量LMV的可靠性的指标值Ft。
然后，在步骤S3，全局运动计算部157基于所计算的可靠性指 标值Ft提耳又高可靠性的局部运动矢量LMV。然后，全局运动计算 部157仅使用所提取的高可靠性的局部运动矢量LMV来计算全局 运动GM。
然后，在步骤S4，全局运动矢量计算部158使用在步骤S3中 计算出的全局运动GM来计算每个目标块的全局运动矢量GMV。
然后，在步骤S5，局部运动矢量计算部154进4亍块再匹配处理 以重新4佥测所述局部运动矢量LMV。然后，局部运动矢量计算部 154存储在从中检测到局部运动矢量LMV的参考块的位置(即， 参考矢量)处的SAD值(即，第一极小值MinSAD)。此外，局部 运动矢量计算部154还存4诸了关于对应于在步骤S4中计算出的全 局运动矢量GMV的参考块的SAD值。注意，此时，没有必要计算 局部运动矢量LMV的可靠性的指标^f直Ft。
然后，在步骤S6，背景/运动图像拾取对象判定部150将在步 骤S5中计算的局部运动矢量LMV与在步骤S4中确定的全局运动 矢量GMV进行比较，以评估关于每个目标块的背景一致度从而确 定命中率P。然后，背景/运动图像拾取对象判定部150确定关于每 个目标块的降，喿处理运动矢量MVnr,并爿夸降p桑处理运动矢量MVnr 输出给运动补偿图片生成部16。
在步骤S6的局部运动矢量LMV与全局运动矢量GMV之间的 比專交中，将关于对应于局部运动矢量LMV的参考块的SAD^直与关 于对应于全局运动矢量GMV的参考块的SAD值进行比较。此外，对于关于对应于全局运动矢量GMV的参考块的SAD值，基于上述 图像噪声应用校正。
然后，在步骤S7，运动补偿图片生成部16 4吏用在步骤S6中确 定的降噪处理运动矢量MVnr来生成用于每个参考块的运动补偿图 像，并将所生成的运动补偿图像输出给相加部17。
然后，在本实施例中，在步艰《S8，相加率计算部21-使用在步 骤S6中确定的命中率(3以计算用于每个像素的相加率a，并将所计 算的相加率a提供给相加部17。
然后，在步骤S9，相加部17以在步骤S8中计算的相加率a将 在步骤S7中生成的运动补偿图像叠加在各个像素的目标图像上以 生成降噪图^f象。降噪处理由此结束。
注意，图18示出了一个特定目标帧的处理操作。在叠加大于 等于3的多个图像的情况下，将由两个图像生成的降噪图像i殳为目 标帧，而将最新叠加的图傳^殳为参考帧，以重复图18的处理。
现在，将进一步描述运动矢量计算部15的主要部件的详细处 理才乘作。局部运动矢量计算部154的处理:燥作
在本实施例中，为了才企测SAD值的才及小值，局部运动矢量计 算部154将关于关注像素或像素自身的差值与关于关注像素周围的 像素的差值进行比较。具体地，局部运动矢量计算部154将位置Po 确定为判定对象点或像素，并比较判定对象点位置Po处的SAD值 与接近判定对象点位置Po和在其周围(由图19中的虚线框包围) 的8个SAD值。然后，局部运动矢量计算部154从由虚线框包围的区域中的9个SAD值中判定判定对象点的SAD值是否为最小值 (下文中称为局部极小值)。
然后，如果判定对象点的SAD值被确定为局部极小值，则局 部运动矢量计算部154将判定对象点的SAD值与目前所存储的 SAD值的极小值进行比较。然后，如果局部运动矢量计算部154判 定判定对象点的SAD值小于目前所存储的SAD值的极小值，则用 新冲企测到的局部最小SAD值来更新存〗诸于其中的SAD值的才及小 值。
作为上述的用于;f企测这种局部极小SAD值的配置，局部运动 矢量计算部154被设计曾减小用于存储SAD值的SAD存储器的緩 冲存储器的规模。具体地，当局部运动矢量计算部154以一个像素 为单位搜索参考块时，如图19所示，准备能够存储水平方向上目 标块尺寸的两条线的SAD值+三个SAD值的緩冲存储器作为用于 存储SAD值的SAD表的緩冲存储器。
乂人图19可以看出，如果将水平方向上目标块尺寸的两4亍的 SAD值+三个SAD值写入緩沖存储器，则可以判定处于判定对象 点位置Po的局部极小值。
为了使緩冲存储器的尺寸最小化，如图19所示，新输入的SAD 值被重写在已存储了旧SAD值但已不再用于极小值评估或局部极 小值检测的存储器位置Pa处。具体地，虽然新输入的SAD值按顺 序被写入如19所示的存储器位置Pb，但不是存储器位置Pb而是重 写利用不再使用的存储器位置Pa来抑制存储器硬件规模的增加。
注意，局部运动矢量计算部154除了用于检测局部极小值的緩 冲器外还包括上文所述的第一极小值存储单元1541和第二极小值 存储单元1542。上述的这一 系列处理是基本的处理，并将该基本处理应用于第
一极小值和第二极小值以检测SAD值的最小值和SAD值的第二极小值。
在本实施例中，局部运动矢量计算部154对缩小面、中间面和 基底面执行相同的操作，但其在基底面上检测局部运动矢量LMV 并计算局部运动矢量LMV的可靠性指标值。因此，仅对基底面需 要SAD值的第二极小值，并且可以省略缩小面和中间面上的SAD 值的第二极小值的计算与存储。
图20示出了局部运动矢量计算部154进行的第一极小值和第 二极小值的检测处理操作的流程图。
参照图20，在步骤S101,首先，局部运动矢量计算部154从 匹配处理部153取得SAD值。然后，在步骤S102，局部运动矢量 计算部154将处于判定对象点位置Po处的SAD值与判定对象点位 置Po周围位置处的8个SAD值进行比较。然后，在步骤S103中， 局部运动矢量计算部154基于比较结果判定判定对象点位置Po处 的SAD值是否为局部极小值。
如果在步骤S103中判定处于判定对象点位置Po处的SAD值 不是局部极小值，则处理返回至步骤SIOI以执行4妄下来的SAD值
的获取。
另一方面，如果在步骤S103中判定处于判定对象点位置Po处 的SAD值是局部极小值，则在步骤S104中，局部运动矢量计算部 154将存储在其中的SAD值的第一极小值和第二极小值与处于判定 对象点位置Po处的SAD值进行比较。
58然后，在步骤S105,局部运动矢量计算部154判定处于判定对 象点位置Po处的SAD〗直是否小于存^f诸在其中的SAD ^f直的第一招^ 小值。然后，如果判定处于判定对象点位置Po处的SAD ^L4交小， 则在步骤S106中，局部运动矢量计算部154用存储在第一极小值 存储单元1541中的SAD值更新第二极小值存储单元1542并将处 于判定对象点位置Po处的SAD值存储在第一极小值存储单元1541 中。
然后，在步驶《S109中，局部运动矢量计算部154判定是否利 用目标块完成了关于所有参考块的SAD值的计算处理。如果判定 计算处理还没有完成，则处理返回至步骤SlOl，以获取4妻下来的 SAD值。另一方面，如果在步骤S109中判定利用目标块完成了关 于所有参考块的SAD ^t的计算处理，则局部运动矢量计算部154 结束处理程序。
另一方面，如果在步骤S105中判定处于判定对象点位置Po处 的SAD值大于等于存储在其中的SAD值的第一4及小值，则在步骤 S107中，局部运动矢量计算部154判定处于判定对象点位置Po处 的SAD值是否小于存储在其中的SAD值的第二极小值。如果判定 处于判定对象点位置Po处的SAD值较小，则在步骤S108中，局 部运动矢量计算部154用处于判定对象点位置Po处的SAD值更新 存储在第二极小值存储单元1542中的SAD值。
处理/人步-骤S108前进至步骤S109,局部运动矢量计算部154 判定是否完成了关于所有参考块的SAD值的计算处理。如果判定 计算处理还没有完成，则处理返回至步骤S101,以取纟寻4姿下来的 SAD值。另一方面，如果在步骤S109中判定4十对目标块完成了关 于所有参考块的SAD值的计算处理，则结束处理程序。另一方面，如果在步骤S107中判定处于判定对象点4立置Po处 的SAD值不小于存储在其中的SAD值的第二极小值，则处理前进 至步骤S109。在步骤S109中，局部运动矢量计算部154判定是否 针对目标块完成了关于所有参考块的SAD值的计算处理。
如果在步骤S109中判定关于所有参考块的SAD值的计算处理 还没有完成，则处理返回至步骤SlOl，以取得接下来的SAD值。 另一方面，如果在步骤S109中判定针对目标块完成了关于所有参 考块的SAD值的计算处理，则结束处理程序。
图20所示的处理流禾呈图可类似;也应用于缩小面、中间面和基 底面。在这种情况下，对于缩小面和中间面，最终存储在第一才及小 值存储单元1541中的SAD值被检测为SAD值的最小值MinSAD， 并且对应的参考矢量^皮^^企测分别作为缩小面运动矢量MVs和中间 面运动矢量MVm。然后，lt出最小值MinSAD以及缩小面运动矢 量MVs和中间面运动矢量MVm。
另一方面，对于基底面，最终存储在第一极小值存储单元1541 中的SAD值被检测为SAD值的最小值MinSAD,并且对应的参考 矢量被检测为基底面运动矢量MVb。然后，输出SAD值的最小值 MinSAD和基底面运动矢量MVb。此外，对于基底面，最终存储在 第一极小值存储单元1541中的SAD值(即，最小值MinSAD)以 及最终存储在第二极小值存储单元1542中的SAD值(即，SAD值 的第二极小值)被提供给运动矢量可靠性指标值计算部156。
全局运动计算部157的处理4喿作
<扩展仿射变换>在本实施例中，从大量的局部运动矢量LMV计算或4古i十全局 运动。然后，根据所计算的全局运动，计算全局运动矢量GMV或 估计全局运动矢量GMV。在这种情况下，使用通过仿射变换表示 全局运动的方法。
然而，普通的仿射变换具有不适于"倾斜失真"的缺点。"倾 杀+失真"是由相积^牛动的俯仰轴(即，垂直方向上的轴)或偏转轴 (即，与垂直方向垂直的水平方向上的轴)的旋转分量引起的现象。 通过"倾斜失真"，如图21A和图21B所示，准确面对状态的矩形 平面变形为梯形，因此，也^f皮称为梯形失真或畸变。
具体地，当相才几CAM准确面对图像拾取对象OBJ以如图21A 的下侧所示使相机CAM的光轴Lz垂直地扩展至图像拾取对象OBJ 的矩形平面时，图像拾取对象OBJ的矩形平面的拾取图像直接呈现 如图21A上侧所示的矩形形状。
另一方面，例力口，》口图21B的下侧所示，力口果才目才几CAM的光 轴Lz经受了俯仰轴旋转(即，竖直平面上的旋转)角度e而没有 准确面对图傳4合取对象OBJ，则图像拾取对象OBJ的矩形平面的才合 取图像呈现出梯形形状，其中，如图21B的上侧所示，图像的左向 和右向(即，水平方向)上的长度响应于角度e角而线性变化。
注意，虽然未示出，但是如果相机CAM的光轴Lz并未准确面 对图像拾取对象OBJ而是经受偏转轴旋转(即，水平平面内的旋转) 角度e，则图像拾取对象OBJ的矩形平面的拾取图像呈现出梯形形 状，其中，图像的向上和向下方向(即，图像的竖直方向)的长度
响应于角度e角线性变化。
用于将通过相枳^牛动以上述扭曲形式拾取的图^f象恢复为准确 面对状态的原始形状的图像的方法是"倾斜失真，，校正或梯形校正。 然而，这种校正并不能用上述仿射变换的参数来表示。具体地，如果需要执行将图21B所示的"倾斜扭曲的"梯形图像恢复为矩形图 像的这种"倾斜失真"校正，则图像沿垂直轴或y轴的上部应该被 水平收缩而图像的下部应被水平扩展。但是，对于仿射变换的参数， 参与水平扩展或收缩的参数为a,并且由于参数a为固定值，仿射
变换并不适于上述的4交正。
为了避免刚刚描述的这个问题，已经提出了利用正交投影变换 来代替仿射变换。正交投影变换由图22所示的(表达式8)表示， 并且可以表示乂人三维空间中的任意平面到另 一个平面的4更影变换。
然而，难以将正交投影变换应用于这里4叚设的从大量矢量中指 定一个全局运动的情况。这是因为难以4艮据图22的(表达式8)的 形状使用最小二乘法，并且在使用一些其他技术的情况下，还需要
大量的数学运算。
作为现实的问题，因为实际的图像拾取对象是三维对象，所以 观察的局部运动矢量包括大量距离互不相同的图像拾取部分。在这 种情况下，正交投影变换的应用只能是近似的。因此，如果考虑到 需要非常高的成本来获得对正交投影变换的通解，则正交投影变换 并不能作为降低成本的对策看起来是合理的决定。
为了更加简单地应用正交投影变换，可以采用相对于6个矢量 确定解的方法。这是因为，由于必须确定12个参fc所以如果代 入6个矢量的坐标，则生成具有6个未知数的6x2的一阶方程式， 可以通过6x2矩阵的逆矩阵计算而比较容易地得出解。因此，需 要从大量的局部矢量中适当地选择6个矢量。
然而，如果考虑到运动图像拾取对象包括在拾取图像中的情 况，则由于不能期望每一个局部矢量都相当准确，所以难以从大量
62的局部运动矢量中仅提取具有高精确度的那些矢量。因此，难以从
大量的局部运动矢量中适当地选择6个矢量。
考虑到上述情况，本实施例使用了即使图像经受"倾斜失真，， 仍可以顺利地;险测全局运动的4支术。
具体地，在本实施例中，4吏用上面参照图69描述的现有普通 仿射变换的修改形式。刚刚描述的普通仿射变换的修改形式在下文 中被称为扩展仿射变换。
现在，尝试执行将由图23中实线表示"倾斜扭曲"的梯形图 像恢复为由图23中虚线表示的矩形图像的"倾斜失真"校正。在 这种情况下，梯形图4象的上半部分应沿垂直轴，即，由箭头标记表 示的y轴水平地减小，而梯形图4象的下半部分应水平扩展。
在普通的仿射变换中，在仿射变4灸的参凄t a、 b、 c、 d、 e和f 中，与水平扩展和收缩有关的参数是a。由于参数a具有固定值， 所以普通仿射变换并不适于"倾斜失真"才交正。
因此，如果将参数a重写为qO.y+ rO以使其值可如图23的下 部所示沿y轴变化，则仿射变换变为水平方向上的扩展或收缩比响 应于垂直轴而线性变化。换句话说，参数a被替换为用于"倾斜失 真"校正的y轴的变量y的函数。这里，对于图23中的"倾斜失 真，，校正，参数a可以是线性函数，即，函数q0.y + rO。
虽然图23中的仿射变换考虑到通过凝:转上述俯仰轴进^f亍"倾 斜失真"的校正，但是还需要考虑到通过旋转偏转轴进行"倾斜失 真"的4交正以及通过俯仰轴和偏转轴的合成S走转进4亍"倾杀+失真" 的校正。因此，在本实施例中，扩展了上面参照图23描述的扭克念。具 体地，为了使仿射变换允许在垂直于任意轴的方向上沿该轴扩展或 |丈缩，参凄t a、 b、 d和e由图24的(表达式9 )表示的pn.x + qn.y + m (n = 0, 1， 2, 3 )所取代。
这里，在仿射参数a、 b、 d和e参与图像变换的同时，仿射参 凄t c和f分别参与沿向左或向右方向以及向上或向下方向l扁移。因 此，仿射参数c和f并不能被替换为函数。
在仿射参数a、 b、 d和e如(表达式9)表示的情况下，涉及 14个参数，并且扩展仿射变换看起来复杂程度非常高。然而，如果 (表达式9)被展开并整理，则其具有使用总共12个参数的图25 所示的(表达式IO)的形式。
如果使用扩展仿射变换的这种表达式，则经过表达式很复杂， 4旦是仍可以通过最小二乘法唯一地推出多个局部运动矢量的解。由 于该技术与仿射变换相同，所以分别如图26~图30中的(表达式 11) ~ (表达式15)给出最终结果。
注意，在本实施例中，虽然参与图像变换的所有仿射参数a、 b、 d和e都被替换为函数，但是如果图像变换只出现在特定方向，则 仅关于该方向的参数才被替换为函数。例如，为了仅考虑图23的 上侧所示的变换，如图23的下侧所示，仅参数a应用函数替换。
此外，在上述实例中，虽然由于假设线性变形而使用于替换的 函数是线性函数，但如果假设曲线是线性的，则函数可以是二次或
高阶函凄史。
<使用扩展的仿射变换计算全局运动〉作为用于从未指定的大量矢量中推导出最优全局运动的技术，
本实施例4吏用了在图31和图32的流程图中示出的方法。4艮据该方 法，当不太可能符合全局运动的块的那些运动矢量(例如，运动图 像拾取对象)逐步从具有高可靠性的块中排除时，最小二乘法被用 于使全局运动收敛。
根据图31和图32的处理，采用扩展仿射变换以以使可以从许 多低矢量精确度的局部运动矢量中排除运动图像拾取对象等的误 差矢量，同时在实际的数学运算成本下推导包含"倾斜失真"的最 4圭全局运动。
顺便提及，由于本实施例中的扩展仿射变换涉及到许多变换参 数并且是可变通的，所以存在全局运动的收敛数学运算还可适于运 动图像拾取对象的误差运动矢量或噪声的可能性，这就不能排除这 种误差运动矢量。
因此，在本实施例中，在收敛数学运算循环的初始阶段，使用 普通仿射变换排除误差运动矢量(下文中称为误差矢量)，此后， 如图31和图32所示，执行使用扩展仿射变换的收敛数学运算。这 是因为，期望使用在矢量误差降到通过使用普通仿射变换不能排除 这种倾斜失真因子的程度之后尝试使高精确度收敛同样可适于使 用扩展仿射变换的倾斜失真因子的技术。
此外，在本实施例中，检测矢量误差的最大的值作为在收敛数 学运算的每个周期确定的全局运动GM中确定的运动矢量(即，全 局运动矢量)与所4企测运动矢量(即，上述的所检测的局部运动矢 量LMV)的差。然后，如果所检测的矢量误差的最大的值大于预先确定的阈 值，则继续普通的仿射变换，但是如果所检测的矢量误差最大的值 小于或等于预定阈值，则执行使用扩展仿射变换的收敛数学运算。
现在，将详细描述图31和图32的方法。
首先，在步骤S201中，全局运动计算部157将存储在其中的 多个局部运动矢量LMV的运动矢量可靠性指标值与预先确定的阈 值进行比较。然后，根据比较结果，全局运动计算部157仅选择运 动矢量LMV可靠性指标值Ft大于预定阔值的目标块。刚刚提及的 这些目标块在下文中^皮简称为块。所描述的处理对应于参照上面纟合 出的(表达式7)所描述的1和0两个值^皮用作4又重系凄tW的情况。
然后，在步骤S202中，全局运动计算部157判定是否是第一 次执行收敛数学运算的收敛循环。如果判定收敛循环为第 一 次执 行，则在步骤S203中，全局运动计算部157仅使用所选块的局部 运动矢量LMV以及〗吏用普通仿射变换来推导或估算全局运动GM。 换言之，全局运动计算部157推导全局运动GM的仿射参数a ~ f。
然后，在步骤S206中，全局运动计算部157基于所推导的全 局运动GM来计算用于凄t学运算的所选块的理i仑局部运动矢量 LMVs。
然后，在步骤S207中，全局运动计算部157对每一个所选块 计算由块匹配处理确定的局部运动矢量LMV与在步骤S206中确定 的理i仑局部运动矢量LMVs之间的i吴差En。
对于由块匹配确定的局部运动矢量与理论局部运动矢量之间 的误差计算，如果重点在于数学运算的精确度，则应利用勾股定理 正确地执行距离计算。然而，如果重点在于减少数学运算而非精确度，则可以将水平和垂直方向上两个运动矢量之间确定的距离和用 作近似距离。
然后，在步骤S208中，全局运动计算部157使用为所选块确 定的所有误差En来计算平均值Eave和误差En的最大值Emax。然 后，在步骤S209中，全局运动计算部157判定平均值Eave是否小 于预先确定的阈^直ea以及最大值Emax是否小于预先确定的阈^直 0b。
如果作为图32中步骤S209的判定结果判定并不满足这些条 件，则处理前进到步骤S211，其中，全局运动计算部157从用于推 导全局运动的块中排除在步骤S207中确定的块的误差En中误差 En满足En-Emax的一个块。或者，在步骤S211中，全局运动计 算部157 4企测误差En满足Er^eb的那些块并从用于推导全局运动 GM的块中排除所有4全测出的块。
然后，在步骤S212中，全局运动计算部157判定作为步骤S211 中的块排除结果的剩余块数是否小于预先确定的阈值ec。如果在步 骤S212中判定剩余块数不小于阈值0c，则处理返回到步骤S212, 以将剩余块设置为所选块来重复从步骤S202开始的步骤的处理。
如果剩余块数小于阈值0c，则由于无法获得适当的全局运动 GM,所以对象参考帧的图像不能用于与本实施例中的图像进行重 叠。因此，如果在步骤S212中判定剩余块数小于阔值ec，则在步 骤S213中，全局运动计算部157跳过后面用于参考帧的所有处理。 由此，全局运动计算部157结束图31和图32的处理。
另一方面，如果在步骤S202中判定不是第一次执行收敛数学 运算的收敛循环，则全局运动计算部157在步骤S204中判定在步骤S208中确定的块的误差En的最大值Emax是否大于预先确定的 阈值6d。
将阈值9d选择为以下值当普通仿射变换净皮用于执4亍全局运
不会排除倾斜失真分量的矢量。
如果在步骤S204中判定误差En的最大值Emax大于预定阈值 ed,则全局运动计算部157前进至步骤S203的处理，其中，其使 用普通仿射变换来推导全局运动GM。换言之，全局运动计算部157 计算用于扩展仿射变换的参数。此后，全局运动计算部157重复地 执行从上述步骤S203开始的步骤的处理。
如果在步骤S204中判定误差En的最大值Emax小于或等于预 定阈值0d,则全局运动计算部157在步骤S205中仅使用所选块的 局部运动矢量LMV以及4吏用扩展仿射变换来4,导全局运动。在步 骤S205的处理之后，执行以步骤S206开始的步骤的处理。
然后，如果在图31的步骤S209中确定误差En的平均值Eave 小于阈值9a且误差En的最大值Emax小于阈值0b,则在步骤S210 中，全局运动计算部157判定凄t学运算收^:，并最终确定该时间点 的全局运动GM,》匕后结束处理禾呈序。
注意，步骤S211中是否应该仅排除误差En为最大误差值Emax 的块还是应该排除误差En等于或大于阈值9b的块可以基于当确定 全局运动矢量GMV时的收敛的快捷性和4青确度之间的平4軒来确 定。如果精确度优先，则应该采用前一种方法来逐个地排除误差块， 但如果快捷性优先，则应该采用后一种方法。注意，在上述处理程序的步骤S204中，误差En的最大误差值 Emax被用于判定使用普通仿射变换的数学运算和使用扩展仿射变 换的lt学运算之间的转换。然而，可以不l又考虑到误差En的最大 误差值Emax还考虑到误差En的平均值Eave来执行步骤S204中 的转换判定。
在这种情况下，在步骤S204中，判定误差En的平均值Eave 是否大于预先确定的阈值，如果平均值Eave大于阔值，则4吏用普 通仿射变换执行数学运算。然而，如果平均值Eave小于或等于阈 值，则使用扩展仿射变换执行数学运算。
或者，可以在步骤S204中判定误差En的最大值Emax和平均 值Eave是否大于各个预先确定的阈值。在这种情况下，如果确定 它们都大于各个阈值，则可以使用普通仿射变换来执行数学运算。 然而，如果确定它们都不大于各个阈值，则可以使用扩展仿射变换 来执行数学运算。
注意，因为类似于可以从光学变焦率或设置形状中识别出相机 4牛动4交正范围的事实，可以乂人最大的相枳4牛动量中获得倾斜失真分 量的最大值，所以阈值的识别相对来说是比较容易的。
全局运动计算部157基于以上述方式计算的全局运动GM来计 算每个目标块的全局运动矢量GMV。具体地，全局运动计算部157 4吏用用于所计算的全局运动GM的扩展仿射变换的参凄t a ~ 1 (参见 图25)以根据图25的(表达式10)来确定每个目标块的运动矢量， 其对应于理i仑局部运动矢量LMVs。对于图25的(表达式10)中 的x和y， -使用每个目标块中心4立置的坐标。以这种方式确定的运 动矢量变为每个目标块的全局运动矢量GMV。然后，以上述这种方式确定的目标块的全局运动矢量GMV净皮 提供给运动补偿图片生成部16。然后，运动补偿图片生成部16使 用目标块的全局运动矢量GMV来生成目标块的运动补偿图片，并 将生成的运动补偿图片提供给相加部17。
图33示出了本实施例中从图12包括许多噪声的图像中确定的 目标块的全局运动矢量。在图33中，每个目标块的全局运动矢量 由空白的箭头标记表示。
背景/运动图像拾取对象判定部150的配置和处理操作的实例
在通过局部运动矢量计算部154进4于块的再匹配时，背景/运动 图像拾取对象判定部150获取关于由上述全局运动矢量计算部158 计算的对应于全局运动矢量GMV的参考块的SAD值。然后，背景 /运动图像拾取对象判定部150响应于上述图像噪声利用校正值来 才交正所获取的SAD <直。在本实施例的以下描述中，提供了两种利 用校正值进行校正的方法。
<第 一实例通过偏移相加才交正SAD 4直>
图34示出了第一实例的概念。在图34中，横坐标轴表示搜索 范围，纵坐标轴表示SAD的值，以及图34示出了关于一个目标块 的SAD表的内容，即，SAD值。横坐标轴上的每个值均表示参考 块位置，即，参考矢量，并且实线曲线表示与图15非常相似的SAD 表的内容。
参见图34，类似于图15,通过块匹配将呈现最小SAD值的参 考块的位置或参考矢量501 4企测作为局部运动矢量LMV。同时， 呈现出全局运动矢量GMV的另 一个参考块的位置是图34中的位置 503。此时，^口果关于局部运动矢量LMV的SAD值和关于全局运动 矢量GMV的SAD值保持在与由图像噪声所提供量相对应的差值范 围内，则存在全局运动矢量GMV可以是表示最小SAD l直的参考矢 量的可能性。
具体地，尽管作为参考块的位置的关于全局运动矢量GMV的 SAD值必须最初为最小SAD值，但考虑到由于噪声而错误地将位 于不同参考块的SAD值，即，局部运动矢量LMV的SAD值确定 为最小SADj直。
因此，在本实施例中，为了校正全局运动矢量GMV，对全局 运动矢量GMV处的SAD值添加了与图像噪声量相对应的偏移值 OFS。在本实例中，从全局运动矢量GMV处的SAD值(由 SAD—GMV表示)中减去偏移值OFS以4交正SAD值。具体地，在 校正后的SAD值由MinSAD—G表示的情况下，其被表示为
MinSAD_G = SAD—GMV - OFS ...(表达式16 )
这里，如果偏移值OFS被^i殳置为非常高的值，则运动图像拾取 对象的运动矢量也净皮判定为最小SAD值。因此，在本实施例中， 偏移值OFS被设置为小于局部运动矢量的可靠性指标值Ft的阈值 th (参见表达式7 )的值。
然后，背景/运动图像拾取对象判定部150将所校正的SAD值 MinSAD—G与局部运动矢量LMV处的SAD值MinSAD进行比專交。 如果比较结果表明MinSAD—G<MinSAD,则评估关于目标块的SAD 值的最小值是关于与全局运动矢量GMV相对应的参考块的SAD值 的校正值MinSAD—G。图34示出了满足MinSAD—G〈MinSAD情况 下的SAD表。
71具体地，在SAD表满足如图34所示MinSAD—G<MinSAD的 情况下，确定关于目标块的真实局部运动矢量与全局运动矢量 GMV —致。然后，在这种情况下，评估与目标块的背景一致度较 大同时关于目标块的命中率卩具有较大的值。然后，关于目标块的 降噪处理运动矢量是全局运动矢量GMV。
这里，在本实施例中，假定命中率p为osp^i范围内的值。
如果局部运动矢量LMV和全局运动矢量GMV 4皮此完全一致，则 命中率P可被确定为p= 1。然而，在本实施例中，没有执行局部运 动矢量LMV和全局运动矢量GMV彼此是否完全一致的评估，但 是将校正的SAD值MinSAD—G与在局部运动矢量LMV处的SAD 值(MinSAD)进行比较用于评估。因此，评估结果不仅包括局部 运动矢量LMV和全局运动矢量GMV 4皮此完全一致的情况，而且 还包括它们并不完全一致的另一种情况。
然后，如下所述，在本实施例中设如果满足 MinSAD_G<MinSAD，贝'J命中率p为侈寸:i口 P = 0.75。这里，5殳有4吏 用P = 1的原因在于上述比较结果包括如上所述局部运动矢量LMV 和全局运动矢量GMV4皮此并非完全一致的情况。
图35示出了在第一实例的情况下背景/运动图像拾取对象判定 部150的配置及其相关元4牛的实例。
参照图35，所示实例的所述背景/运动图傳^合取对象判定部150 包括SAD—GMV4全测部1501，偏移减法部1502,偏移生成部1503 和比4交判定部1504。
在本实例中，将从匹配处理部153进行块再匹配时计算的参考 块的SAD值和位置信息(即，参考矢量的信息)提供给局部运动 矢量计算部154。局部运动矢量计算部154检测块再匹配时的最小SAD值MinSAD，并计算局部运动矢量LMV,即，参考块的位置 信息或参考矢量的信息。然后，局部运动矢量计算部154将局部运 动矢量LMV和通过块再匹配处理获得的SAD值的最小值MinSAD -提供给比较判定部1504。
将从匹配处理部153进行块再匹配时计算的参考块的SAD值 和位置信息(即，参考矢量的信息)还提供给SAD一GMV检测部 1501。 SAD—GMV才佥测部1501才企测关于与全局运动矢量GMV — 致的参考矢量的参考块的SAD值SAD—GMV，并将所4企测的SAD 值SAD—GMV提供给偏移减法部1502。
偏移减法部1502将来自SAD—GMV检测部1501的SAD值 SAD一GMV中减去来自偏移生成部1503的偏移值OFS以生成才交正 后的SAD值MinSAD—G。然后，偏移减法部1502将生成的4交正后 的SAD值MinSAD—G提供给比较判定部1504。
偏移生成部1503生成对应于图傳_噪声的偏移值OFS并将其提 供给偏移减法部1502。由于图像噪声呈现出对应于图像亮度值的 值，所以在本实施例中，不同亮度值和不同偏移值OFS之间的对照 表的信息存储在偏移生成部1503中。
偏移生成部1503计算目标块的亮度值作为来自最大亮度值检 测部1592的最大亮度值MaxTAR与来自最小亮度值检测部1593的 最小亮度值MinTAR的差值。然后，偏移生成部1503使用所计算 的目标块的亮度值作为自变量搜索上述对照表，以获取对应于自变 量的亮度值的偏移值OFS。
比较判定部1504将对应于局部运动矢量LMV的最小SAD值 MinSAD与来自偏移减法部1502的校正后的SAD值MinSAD—G进
行比较，并响应于比较结果生成并输出命中率P。才是供乡合比4交判定部1504的还有来自局部运动矢量计算部154 的重新计算的局部运动矢量LMV以及来自全局运动矢量计算部 158的全局运动矢量GMV。
然后，如果满足MinSAD—G〈MinSAD，则由于背景一致度丰交 大，所以比4交判定部1504将全局运动矢量GMV作为降p朵处理运动 矢量MVnr输出至运动补偿图片生成部16。另一方面，如果不满足 MinSAD—G<MinSAD,则由于背景一致度4交小，所以比4交判定部 1504将局部运动矢量LMV作为降噪处理运动矢量MVnr输出之运 动补偿图片生成部16。
注意，用于全局运动矢量GMV的SAD_GMV 4企测部1501和 偏移减法部1502可^皮配置为以〗吏可包4舌在局部运动矢量计算部154 中。在这种情况下，局部运动矢量计算部154执4亍块再匹配来才企测 关于与全局运动矢量GMV相对应的参考块的SAD值SAD_GMV, 并冲丸行偏移值OFS的减法ft学运算。
<背景/运动图像拾取对象判定处理的流程>
参照图36和图37具体描述具有图35配置的通过局部运动矢 量计算部154进^亍的块再匹配处理以及通过背景/运动图傳^合取对 象判定部150进行的背景一致度评估处理的流程。通过在控制部155 的控制下的各个部件来执行图36和图37的处理。注意，图36和 图37的处理用于SAD—GMV检测部1501和偏移减法部1502净皮配 置为包括在局部运动矢量计算部154中的情况。
首先，在步骤S301中，在控制部155的控制下开始块再匹配 以在目标块緩冲器部151中i殳置第一个目标块。然后，在步骤S302 中，在控制部155的控制下，从在参考块緩沖器152中緩存的匹配处理范围内的参考帧的图像数据中设置用于将被进行块再匹配处 理的参考块。
然后，在步骤S303中，匹配处理部153对所i殳置的目标块和 所i殳置的参考块执4亍块匹配处理，以计算SAD值。然后，匹配处 理部153将确定的SAD值与参考块的位置信息或参考矢量一起才是 供纟合局部运动矢量计算部154。
然后，在步-骤S304中，局部运动矢量计算部154判定参考矢 量是否与全局运动矢量GMV —致。这对应于SAD_GMV检测部 1501的处理，喿作。
如果在步骤S304中判定参考矢量与全局运动矢量GMV不一 致，则在步骤S305中，局部运动矢量计算部154执行最小SAD值 MinSAD和参考块位置或参考矢量的更新处理。具体地，局部运动 矢量计算部154将至此所存々者的最小SAD值MinSAD与新计算的 SAD值进行比较，并将较小的值存储作为最小SAD值MinSAD。 此外，局部运动矢量计算部154还更新表示最小SAD l直的参考块 位置或参考矢量。
然后，在步骤S308中，控制部155判定搜索范围内的所有参 考块和目标块的块匹配是否完成。
然后，如果在步骤S308中判定还没有完成对搜索范围内的所 有参考块的处理，则控制部155在步骤S309中设置下一个参考块。 然后，处理返回至步骤S302来重复上述,人步骤S302开始的步骤的处理。
另一方面，如果在步骤S304中判定参考矢量与全局运动矢量 GMV —致，则在步骤S306中，局部运动矢量计算部154从SAD值SAD—GMV中减去偏移值OFS。然后，在步骤S307中，局部运 动矢量计算部154将减法结果作为校正后的SAD值MinSAD—G与 对应参考块位置(即，对应参考矢量-全局运动矢量GMV) —起
进行存储。
然后，处理前进至步骤S308,其中，控制部155判定是否完成 了搜索范围内的所有参考块的处理。
然后，如果在步骤S308中判定完成了搜索范围内的所有参考 》夹的处J里，则局部运动矢量^十算部154 4企测局部运动矢量LMV和 最小SAD值MinSAD,并将它们提供给比较判定部1504。在图37 中的步骤S311中，局部运动矢量计算部154还一夺冲交正后的SAD值 MinSAD—G提供给比较判定部1504。
然后，在步骤S312中，背景/运动图像拾取对象判定部150的 比较判定部1504判定最小SAD值MinSAD是否小于预先确定的阔 值TH1。为了解决上述问题而提供了步骤S312中的处理。
具体地，例如，如果对应于目标图像上的运动图傳^合取对象部 分的块由于参考图像的移动或经受严重变形而消失，则发生检测不 到^^索范围内的4壬一参考块与目标块匹配的情况。
在刚刚所述的这种情况下，SAD表的SAD值为4皮此相似的较 大的值，以及最小SAD值MinSAD接近于其他SAD值。在刚刚所 述的这种情况下，通过从与全局运动矢量GMV —致的参考矢量的 SAD值中减去偏移值OFS所获得的4交正后的SAD值MinSAD—G 必定小于最小SAD值MinSAD,并存在将对应部分错误检测为背 景部分的可能性。因此，为了消除该问题，在本实施例中，校正与全局运动矢量
GMV —致的参考矢量的SAD值，以4吏在最小SAD值MinSAD大 于阈值TH1的情况下，不执行背景一致度的判定处理。
因此，如果在步骤S312中判定最小SAD值MinSAD大于阈值 TH1，则比较判定部1504不使用全局运动矢量GMV执行背景一致 度的判定，而是在步骤S313中将命中率P设定为p = 0.25。没有将 命中率P设定为|3 = 0的原因在于考虑到与背景一致的块可能存在 于呈现出SAD值大于阈值TH1的那些目标块中。
然后，在步骤S314中，比较判定部1504向运动补偿图片生成 部16输出重写计算的局部运动矢量LMV作为目标块的降噪处理运
动矢量。
此后，在步骤S320中，控制部155判定是否完成对目标帧中 的所有目标块的处理。^口果处理还没有完成，则在步骤S321中， 控制部155设置下一个目标块。然后，处理返回步骤S302以在控 制部155的控制下重复从上述步骤S302开始的步骤的处理。
另一方面，如果在步骤S312中判定最小SAD值MinSAD小于 阈值TH1,则在步骤S315中，比较判定部1504将最小SAD值 MinSAD与才交正后的SAD值MinSAD一G进4亍比4交。然后，在步骤 S316中，比较判定部1504判定是否满足MinSAD〉MinSAD—G。如 果判定不满足MinSAD>MinSAD_G,则判定目标块与背景不一致， 并在步骤S317中将命中率P设定为(3 = 0。
处理A人步骤S317前进至步骤S314，其中，比较判定部1504 向运动补偿图片生成部16输出重新计算的局部运动矢量LMV作为 目标块的降噪处理运动矢量。然后，处理前进至步骤S320以重复 从上述步骤S320开始的步骤的处理。另 一方面，々口果在步骤S316中判定满足MinSAD>MinSAD_G， 则判定目标块与背景一致的程度较大，并在步骤S318中将命中率p 设定为卩=0.75。然后，在步骤S319中，比较判定部1504向运动 补偿图片生成部16输出全局运动矢量GMV作为目标块的降噪处理 运动矢量。
处理从步骤S319前进至步骤S320,其中，控制部155判定是 否完成了对目标帧内的所有目标块的处理。如果在步骤S320中判 定对目标帧内的所有目标块的所述处理还没有完成，则在步骤S321 中控制部155设置下一个目标块。此后，处理返回至步骤S302。
另一方面，如果在步骤S320中判定已经完成对目标帧内的所 有目标块的处理，则控制部155结束背景/运动图像拾取对象判定处 理操作。
注意，在上述实施例中，从全局运动矢量GMV的SAD值 SAD—GMV中减去偏移值OFS来获得校正后的SAD值MinSAD—G, 然后将校正后的SAD值MinSAD_G与最小SAD值MinSAD进行 比專交。然而，如果通过爿夺通过4吏偏移值OFS与局部运动矢量LMV 的最小SAD值MinSAD相加获得的值(MinSAD + OFS )与全局运 动矢量GMV的SAD值SAD—GMV进行比專交，则也是完全等同的。
<第二实例通过增益乘法才交正SAD<S>
在上述第一实例中，应用偏移值OFS来才交正关于在与全局运动 矢量GMV —致的参考矢量位置处的参考块的SAD值SAD—GMV。 可以应用以下这种类4以的想法来^C替偏移值OFS的相力口，可以乘以 考虑到图像噪声而确定的增益g来校正SAD值SAD_GMV。在本 实例中，由于SAD值SAD_GMV在减小方向上乘以增益g，所以 增益g为g〈1。注意，在相关值具有其响应于相关性的增加而增加 的特性的情况下，自然满足g>l 。在第二实例中，全局运动矢量的SAD值SAD—GMV的校正后 的SAD值MinSAD—G由下式给出
MinSAD—G = SAD—GMV x g ...(表达式17 )
图38是示出了在第二实例的情况下背景/运动图像拾取对象判 定部150的配置实例的功能框图。
参照图38，除^替偏移减法部1502包括「增益乘法部1505以及 代替偏移生成部1503包括增益生成部1506之外，所示背景/运动图 像拾取对象判定部150是对参照图35的上述配置的背景/运动图像 才合取对象判定部150的》务改并且配置和处理纟喿作与其相似。
由于图傳_噪声对应于图<象的亮度值，所以增益生成部1506存 储各种亮度值与增益g ( g<l )的对照表的信息，并使用目标块的亮 度值作为自变量来输出对应增益g。
增益乘法部1505将来自SAD—GMV检测部1501的SAD值 SAD—GMV乘以来自增益生成部1506的增益g,以生成才交正后的 SAD卩直MinSAD—G。然后，增益乘法部1505将所生成的4交正后的 SAD值MinSAD—G提供给比较判定部1504。其他配置和处理操作 与上述第一个实例相同。
在根据第二实例的背景/运动图像拾取对象判定处理中，图36 所示步骤S306中用于SAD的值SAD_GMV的才交正处理^皮上面给出 的表达式17的lt学运算处理所取代。其他步骤的处理与第一实例 的非常相A乂。
注意，在上述实例中，全局运动矢量GMV的SAD值SAD—GMV 乘以增益g ( g<l )以获得4交正后的SAD值MinSAD_G,并将校正后的SAD值MinSAD—G与最小SAD值MinSAD进4亍比4交。然而， 如果将通过使局部运动矢量LMV的最小SAD值MinSAD乘以增益 g的倒数所获得的值(MinSAD x 1/g )与全局运动矢量GMV的SAD 值SAD_GMV进4亍比4交，则也是完全等同的。
注意，第二实例中的增益g具有与第一实例的偏移值OFS类似 的防止运动图像拾取对象的运动矢量被检测为最小SAD值的值。 换言之，在本实例中，也将增益g设置为与偏移值OFS类似考虑到 用于局部运动矢量的可靠性指标值Ft的阈值th (参见表达式7 )的值。
背景/运动图像拾取对象判定部150的配置和处理操作的其他实例
顺便提及，在上述实施例中，在基于全局运动GM计算的全局 运动矢量GMV可以用大于像素间距的精确度来表示的同时，以像 素间距的精确度来执行块匹配。因此，与全局运动矢量GMV—致 的参考矢量的参考块位置有时会出现误差。
此外，即使在上述实施例中使用扩展仿射变换，^旦误差可能存 在于所确定的全局运动GM和实际全局运动之间。此外，在上述实 施例中的分层块匹配中，如果在浅层的块匹配中出现差错，则差错 无法在后面的任何层中被恢复。考虑到上述情况，认为最好对全局 运动矢量GMV的位置提供特定容限。
在下述实例中考虑到这个问题。在本实例中，不仅使全局运动 矢量GMV的位置Pgmv的SAD值而且使位置Pgmv附近和周围的 SAD值也经受上述校正，然后与最小SAD值MinSAD进行比较。
例如，如图39所示，假设判定关于目标块的SAD表TBL中 的全局运动矢量GMV的位置为位置Pgmv。此时，不仅位置Pgmv的SAD值，而且与位置Pgmv直接相邻的周围邻近位置PI ~ P8的 8个SAD值也经受上述这种校正，并纟皮确定为背景一致度的判定对象。
此外，在本实例的情况下，位置Pgmv和位置P1 P8处SAD 值的九个4交正SAD值MinSAD—G—0 ~ MinSAD—G—8与重新计算的 最小SAD值MinSAD进行比较。然后，如果九个才交正SAD值中的 任何一个小于最小SAD值MinSAD，则评估目标块的运动矢量具 有与全局运动矢量GMV的高一致度，并且还评估背景一致度较大。
在本实例中，在将上述第一实例用作SAD值的4交正方法的情 况下的背景/运动图像拾取对象判定部150以及背景/运动图像拾取 》寸象判定部150周围的多个元4牛如图40所示。
参见图40，所示的背景/运动图像拾取对象判定部150是对图 35所示的修-改，并且不同之处在于代替SAD—GMV4企测部1501而 包括GMV相邻SAD值检测部1507，另外还包4舌插入在偏移减法 部1502和比较判定部1504之间的最小值检测部1508。
从来自匹配处理部153的位置信息和SAD值中，GMV相邻 SAD值4企测部1507检测全局运动矢量GMV的位置Pgmv和位置 Pgmv的SAD值以及在位置Pgmv附近和周围的8个位置PI ~P8 和位置PI ~ P8的SAD值。
然后，GMV相邻SAD值检测部1507将检测的SAD值提供给 偏移减法部1502。偏移减法部1502 乂人位置Pgmv及PI ~ P8的9个 SADl直中减去来自偏移生成部1503的偏移量OFS,以生成4交正后 的SAD ^f直MinSAD—G—0 ~ MinSAD—G—8。然后，偏移减法部1502 将校正后的SAD值MinSAD—G—0 ~ MinSAD—G—8提供给最小值检 测部1508。此外，GMV相邻SAD值才企测部1507还将检测到的位置Pgmv 和P1 ~P8以分别对应于各个位置的SAD值的这种方式提供给最小 值才企测部1508。最小值检测部1508从位置Pgmv以及PI ~ P8的9个校正后的 SAD值MinSAD—G—0 ~ MinSAD—G_8才企测最小值，并将才企测结果 的最小值作为校正SAD值MinSAD—G与才交正SAD值MinSAD—G 的位置信息一起提供给比较判定部1504。比举交判定部1504 4寻来自局部运动矢量计算部154的作为块再 匹配结果而获得的最小SAD值MinSAD与来自最小值;险测部1508 的校正SAD值MinSAD_G进行比较，以与上述类似的方式执行背 景一致度的评估判定。当不满足MinSAD〉MinSAD—G时，比4交判定部1504将命中率 p设为(3 = 0.0，并提供局部运动矢量LMV作为降噪处理运动矢量。 该才乘作与上述实例相同。另 一方面，当满足MinSAD>MinSAD—G时，比4交判定部1504 判定对应于校正SAD值MinSAD—G的位置信息是否与全局运动矢 量GMV—致，并才艮据判定结果改变命中率|3。例如，如果对应于 校正SAD值MinSAD—G的位置信息与全局运动矢量GMV —致， 则将命中率P设为P = 0.75。另一方面，如果对应于校正SAD值 MinSAD—G的位置信息与全局运动矢量GMV不一致，则将命中率 P设为(3 = 0.5。jt匕外，在本实例的情况下，当满足MinSAD〉MinSAD—G时， 全局运动矢量GMV^皮输出作为降噪处理运动矢量。然而，在本实例中，当满足MinSAD〉MinSAD—G时，比较判 定部1504还可以将对应于来自最小值检测部1508的位置信息的局 部运动矢量LMV输出作为降噪处理运动矢量。注意，最小值^r测部1508可包括在比4^判定部1504中。在这 种情况下，可以从9个4交正SAD值中检测最小值，然后与最小SAD 值MinSAD进行比较，或者9个校正SAD值也可以与最小SAD值 MinSAD--进行比较。<背景/运动图像拾取对象判定处理的流程>参照图41和图42进一步描述具有上面参照图40描述的配置 的局部运动矢量计算部154进4亍的块再匹配处理以及背景/运动图 像拾取对象判定部150进行的背景一致度评估处理的流程。通过在 控制部155控制下的各个部件执行图41和图42的处理。注意，在 SAD—GMV才企测部1501和偏移减法部1502包4舌在局部运动矢量计 算部154中的情况下，由局部运动矢量计算部154和背景/运动图像 拾取对象判定部150执行图41和图42的处理。此外，最小值检测 部1508包4舌在比寿交判定部1504中。首先，在步骤S401中，在控制部155的4空制下，开始块再匹 配并在目标块緩冲器部151中设置第一个目标块。然后，在步骤 S402中，在控制部155的控制下，从在参考块緩沖器152中緩存的 匹配处理范围内的参考帧的图像数据中设置进行块再匹配处理的 参考块。然后，在步骤S403中，匹配处理部153在所i殳置的目标块和 所i殳置的参考块之间执4亍块匹配处理以计算SAD值。然后，匹配 处理部153将所计算的SAD值与参考块的位置信息或参考矢量提 供给局部运动矢量计算部154。然后，在步骤S404中，局部运动矢量计算部154判定参考矢 量是否与全局运动矢量GMV —致以及参考矢量是否与全局运动矢 量GMV附近和周围的8个位置PI ~ P8的4壬意一个一致。如果在步骤S404中判定参考矢量与全局运动矢量GMV和8 个位置PI ~P8的任意一个都不一致，则在步骤S405中，局部运动 矢量计算部154 4丸行最小SAD值MinSAD和最小SAD值MinSAD的参考块位置或参考矢量的更新处理。然后，在步骤S408中，控制部155判定是否完成搜索范围内 的所有参考块和参考块的块匹配。如果在步骤S408中判定还没有完成搜索范围的所有参考块的 处理，则在步骤S409中，控制部155设置下一个参考块。然后， 处理返回至步骤S402来重复以上述步骤S402开始的步骤的处理。另一方面，如果在步骤S404中判定参考矢量与全局运动矢量 GMV及周围相邻位置P1-P8中的一个一致，则在步骤S406中， 局部运动矢量计算部154从SAD值中减去偏移值OFS。然后，局 部运动矢量计算部154存4诸减法结果作为4交正SAD值 MinSAD—G—0 ~ MinSAD—G_8中的对应一个，并在步骤S407中， 存储校的SAD值的参考块的位置或参考矢量。然后，处理前进至步骤S408，其中，判定是否完成搜索范围内 的所有参考块的处理。然后，如果在步骤S408中判定已经完成搜索范围内的所有参 考块的处理，则局部运动矢量^十算部154检测局部运动矢量LMV 和最小SAD值MinSAD,并将它们提供给比较判定部1504。此夕卜， 局部运动矢量计算部154还从9个4交正SAD值MinSAD—G—0 ~ MinSAD—G_8中才企测校正SAD值MinSAD_G作为最小值，并在图42的步骤S411中将校正SAD值MinSAD—G提供给比较判定部 1504。参照图42，在步骤S412中，背景/运动图像拾取对象判定部150 的比较判定部1504判定最小SAD值MinSAD是否小于预先确定的 阈值THl。如果在步骤S412判定最小SAD值MinSAD大于阈值THl ，则 比较判定部1504不使用全局运动矢量GMV执行背景相似度的判 定，而是在步骤S413中将命中率卩设置为(3 = 0.25。然后在步骤S414 中，比较判定部1504向运动补偿图片生成部16输出重新计算的局 部运动矢量LMV作为目标块的降噪处理运动矢量。然后，处理从步骤S414前进至步骤S422，其中，控制部155判定是否完成目标帧中的所有目标块的处理。如果还没有完成处 理，则在步骤S432中，控制部155设置下一个目标块。然后，处 理返回步骤S402以在控制部155的控制下重复从步骤S402开始的 步-骤的上述处理。如果在步骤S412中判定最小SAD值MinSAD小于阈值THl ， 则在步骤S415中，比较判定部1504将最小SAD值MinSAD与校 正后的SAD值MinSAD—G进行比较。然后，在步骤S416中，比 较判定部1504判定是否满足MinSAD〉MinSAD—G。然后，如果判 定不满足MinSAD>MinSAD—G,则在步骤S417中，比專交判定部1504 判定目标块与背景并不一致并将命中率p设定为p = 0。然后，处理从步骤S417前进至步骤S421，其中，比较判定部 1504向运动补偿图片生成部16 ^T出全局运动矢量GMV作为目标 块的降噪处理运动矢量。然后，过程前进至步骤S422以重复从步 -骤S422开始的步艰《的处理。另 一方面，如果在步骤S416中判定满足MinSAD>MinSAD—G， 则在步骤S418中，判定最小SAD值MinSAD的位置或参考矢量是 否与全局运动矢量GMV —致。如果在步骤S418中判定最小SAD 值MinSAD的位置或参考矢量与全局运动矢量GMV不一致，则在 步骤S419中，比较判定部1504将命中率P设定为P = 0.5。另 一方面，如果在步骤S418中判定最小SAD值MinSAD的位 置或参考矢量与全局运动矢量GMV—致，则在步骤S420中，比较 判定部1504将命中率(3设定为p = 0.75。然后，接着步骤S419或S420,在步骤S421中，比4交判定部 1504向运动补偿图片生成部16输出全局运动矢量GMV作为目标 块的降噪处理运动矢量。接着步骤S421,处理前进至步骤S422，其中，控制部155判 定是否完成目标帧中的所有目标块的处理。如果在步骤S422中判 定目标帧中的所有目标块的处理尚未完成，则在步骤S423中，控 制部155设置下一个目标块。此后，处理返回至步骤S402。另一方面，如果在步骤S422中判定已经完成目标帧中的所有 目标块的处理，则控制部155结束背景/运动图傳4合取对象判定处理操作。不仅考虑全局运动矢量GMV位置的SAD值而且考虑全局运动 矢量GMV位置的相邻周围位置的SAD值来执行背景/运动图像拾 :取对象判定的方法也可以应用于上述第二实例的SAD值4交正方法中。图43示出了在应用第二实例的情况下背景/运动图像拾取对象 判定部及其相关外围部件的配置实例。除了代替SAD—GMV检测部1501包括GMV临近SAD值检测部1507并且还包含插入在增益乘 法部1505和比较判定部1504之间的最小值检测部1508夕卜，图43 所示的背景/运动图像拾取对象判定部是对上面参照图38描述的背 景/运动图傳4合取对象判定部150的》务改并具有与其类似的配置。除上述第二实例净皮用作SAD值4交正方法之外，图43的背景/ 运动图像拾取对象判定部150执行与图38的背景/运动图像拾取对 象判定部150非常相似的操作处理。因此，为了避免赘述，这里省 略图43的背景/运动图像才合取对象判定部150的操作处理的详细描述。相加率计算部21的配置实例在本实施例中，相加率计算部21以像素为单位确定相加率a( 0 $aSl)。然后，如上所述，主要响应于目标图像与运动补偿图像之 间以^象素为单位的差以及命中率(3来计算相加率ot。为此，将命中率 P、目标图像的数据TGv以及运动补偿图像的数据MCv提供给相 加率计算部21。这里，如果目标图像与运动补偿图像之间以像素为单位的差较 大，则由于图像部分被认为是运动部分，相加率a应被设定为小的 值。另一方面，如果以像素为单位不存在差或存在4艮小的差，则相 加率a可被设定为大的值。然而，如果不知道目标块是背景静止图 片部分还是运动图〗象拾取对象部分，则如上所述为了4吏移动部分处 的多次曝光不明显，需要将相加率a设定为相对较小的值。然而，在本实施例中，因为通过命中率J3确定与背景静止图片 部分的一致度，所以相加率a随着命中率(3的增加被设定为增加值， 因此背景一致度增加。此外，在本实施例中，由于图像噪声响应于图像亮度增加，所以相加率计算部21在以像素为单位的目标图像与运动补偿图像之 间的差中考虑对应于图像亮度的噪声。具体地，如果以像素为单位 的目标图像与运动补偿图像之间的差在噪声范围之内，则判定图像 之间的实际差较小。另一方面，如果以像素为单位的差大于噪声范 围，则判定实际差4交大。为了考虑到噪声，将最大亮度值MaxTAR与最小亮度值 MinTAR从运动矢量计算部15提供给相加率计算部21。相加率计 算部21根据最大亮度值MaxTAR和最小亮度值MinTAR计算每个 目标块的亮度，即，照度Lx。此外，为了能够从相加率计算部21的外部控制相加程度，将 附加调节增益GA提供^会相加率计算部21。可通过用户选择预先准 备的一个增益值来i殳定附加调节增益GA的值。或者，附加调节增 益GA的值可响应于拾取图像的ISO灵敏度来确定。在后一种情况 下，可基于图像拾取时的曝光值、快门速度等判定图像亮度以确定 附加调节增益GA的值。具体地，在图^f象明亮的情况下，由于噪声 比较明显，所以将增益设定为一个相对较小的值，以使相加率可具 有小值，但是相反在图像较暗的情况下，将增益设定为相对较大的 值，以使相加率可具有大的值。在图44和图45中示出了相加率计算部21的硬/阵配置的实例。 在图44和图45的实例中，目标图像的数据TGv和运动补偿图像的 数据MCv关于亮度分量和色差分量经受相互分离的处理。图44示出了用于亮度分量的相加率计算部21的硬件配置的实 例。参照图44首先描述相加率计算处理。具体地，来自目标图像的数据TGv内的亮度数据Ytg通过低通 滤波器601提供给差分绝对值计算部603。同时，来自运动补偿图 像的数据MCv内的亮度数据Ymc通过另 一个低通滤波器602提供 给差分绝对值计算部603。差分绝对值计算部603对每个像素计算 亮度数据Ytg和亮度数据Ymc之间的像素差分绝对值APxY，并将 所计算的像素差分绝对值APxY提供给相加率转换输出部608。穿过低通滤波器601的亮度数据Ytg被提供给空间平均滤波器 604。同时，穿过低通滤波器602的亮度数据Ymc^皮提供给另一个 空间平均滤波器605。空间平均滤波器604和605分别确定平9个^象素的均值Mtg和 Mmc,其中，这9个〗象素包括通过差分绝对值计算部603确定^f象素 差的^f象素(该<象素在下文中#1称为关注-像素)以及分别在关注-像素 周围的8个^f象素。然后，空间平均滤波器604和605爿寻所确定的平 均值Mtg和Mmc 4是供给差分绝对值计算部606。差分绝对值计算部606计算在平均值Mtg与平均值Mmc之间 的平均差分绝对值AMeY，并将计算的平均差分绝对值AMeY提供 纟合相加率转换丰IT出部609。在图44所示的相加率计算部21中，提供了用于亮度分量的噪 声模型存储器607。预先计算关于亮度值的像素值的噪声标准偏差a 并存储在噪声模型存储器607中。具体地，在横坐标轴表示像素值 的亮度值而纵坐标轴表示噪声标准偏差C7的情况下，噪声标准偏差a 具有(例如)如图46所示曲线表示的值。如图46所示，，乘声标准 偏差CJ相对于明亮像素较低，但相对于暗像素较高。由于噪声根据图像亮度而不同，所以根据图像照度Lx的多个 噪声模型被存储在噪声模型存储器607中。然后，乂人最大亮度值MaxTAR和最小亮度值MinTAR中对每个 目标块确定的照度Lx被提供给噪声模型存储器607用于选择与照 度相对应的噪声模型。由此，基于照度Lx确定应使用哪一个噪声模型。穿过低通滤波器601的数据TGv的亮度数据Ytg被提供给噪声 模型存储器607，并从噪声模型存储器607中获得由照度Lx和亮度 凄t据Ytg限定的噪声标准偏差dY。该噪声标准偏差aY #^是供给相 加率转换输出部608和609。此外，来自运动矢量计算部15的命中率(3以及来自外部的附加 调节增益GA被提供给相加率转换输出部608和609。相加率转换输出部608使用利用像素差分绝对值APxY、噪声 标准偏差oY、命中率(3和增益GA作为转换参数的转换功能，以基 于^f象素差分绝对值APxY确定相加率aYA，并输出相加率aYA。同时，相加率转换输出部609 4吏用利用平均像素差分绝对值 AMeY、噪声标准偏差ctY、命中率(3和增益GA作为转换参数的转 换功能，以基于平均差分绝对值AMeY确定相加率aYB，并输出相 力口率aYB。如图47所示，相加率转换输出部608和609主要#4居噪声标 准偏差a和差值确定相加率a。注意，在相加率转换输出部608和 609中，噪声标准偏差c7是来自噪声模型存储器607的噪声标准偏差 cjY,以及差值是l象素差分绝对值APxY和平均差分绝对值AMeY。 此夕卜，输出相力口率a是相力口率aYA和aYB。在本实施例中，如果差值低于预定的第一阈值，其中，第一阈 值可被设定为噪声标准偏差cj的倍数，则确定图像部分是背景图像部分，并且相加率o^皮设定为a= 1的最大值。然后，在差值在第一阈值<差值<第二阈值的范围内的情况下， 判定在背景部分与运动图像拾取对象部分之间不能区别出图像部 分。因此，如图47所示，将相加率ai殳定为随着差值的增加而线性 减小。此外，当差值在差值>第二阈值的范围内时，图^象部分净皮确 定为运动图像才合耳又对象部分，并且相加率为a = 0的最小值。如果目标块的背景一致度未知，则为了緩和如运动图像拾取对 象图像部分处的多次曝光的这种状态，考虑到安全性确定第 一 阈 值，并且通常限制相加率a。简而言之，如果已知图^f象部分是背景 图像部分，则第一和第二阈值被设定为相对较大的值，以便可以以 尽可能高的相加率来执行图像相加。然而，如果背景一致度未知，则需要关于所有目标块考虑如运 动图傳j合耳又对象部分处的多次曝光的这种状态。因此，如图47所 示，通常将第一阔值设定为约标准偏差cj的一倍(1cj),并且将第二阈佳J殳定为约才示准偏差CJ的三倍(3(7)。另一方面，在本实施例中，对如上所述的每个目标块计算背景 一致度作为作为指标值的命中率P。因此，如果使用背景一致度的 命中率P,则在背景静止图像部分处，可使用相对较大的相加率用 f才目力口。在图48中示出了在考虑命中率(3的情况下的相加率转换输出部 608和609的相加率转换输出特性。具体地，在图48的实例中，响应于命中率P改变用于差值的第一阈值。具体地，当命中率p最小且p-o时(表示图像部分是运动图像拾取对象部分)，类似于图47的实例的情况，将第一阈值设定 为一^f咅(lci)。另一方面，在命中率P为卩>0的情况下，响应于命中 率(3的值将第一阈值改变为较大值。在图48的实例中，相加率a逐渐减小的线性直线的杀牛率是固 定的，其中，差值大于第一阈值。因此，在图48的实例中，第二 阈值响应于第一阈值的变化自动地被更新。例如，在图47的不考虑命中率|3 (P = 0)实例的情况下，在差 值为2d的情况下，如图49所示相加率a总是0.5。相反，在考虑 命中率的情况下，在命中率p为P= 1.0的背景静止图像部分中，如 图49声斤示才目力口率a为a = 1,并且最大才目力口率4皮用于4目力口。在背景静止固像部分中，由于以这种方式响应于命中率|3设定 相对较大的相加率a，所以实现期望的降噪效果。同时，在运动图 像拾取对象部分中，由于相加率a响应于命中率P被限制为小的值， 所以可以保持多次曝光的状态净皮緩和的效果。注意，在上述实例中，虽然只有第一阈值响应于命中率P而改 变并且在差值高于第一阈值的情况下相加率a逐渐减小的直线斜率 固定，但第二阈值也可以响应于命中率改变，从而也改变逐渐减小 的直线的4斗率。现在，描述附加调节增益GA对相加率转换输出部608和609 的影响。附加调节增益GA是用于进一步不可变控制以上述这种方式计 算的相加率a的参凄t。如上所述，附加调节增益GA由用户i殳定或者响应于图像拾取条件根据图像亮度来设定。例如，在附加调节增益GA由用户设定的情况下，如果希望通过降噪相加实现较大降噪 岁文果，则增加附加调节增益GA。从而，以上述方式计算的附力口相 加率a被可变地控制为与附加调节增益GA对应的值。图50示出了相加率转换專俞出部608和609中的附加调节增益 GA、命中率P和相加率a之间的关系。在图50中，相力。率a华皮表 示为基于参考相加率ao所确定的值，其中，参考相加率(X()是在命 中率|3为|3 = 0的情况下的相加率。在图50的实例中，附力0调节增益GA可以由用户或响应于图 像拾取条件被可变地设定为GA = 0、 GA = 1 、 GA = 2和GA = 3的 4个不同的4直。命中率(3也^皮i殳定为P = 0、卩=0.25、 |3 = 0.5和|3 = 1.0的4个不同的4直。然后，当相加率a被设定为通过将参考相加率a0与系数k( k > 1 )相乘获得的值时，系数k是响应于附加调节增益GA与命中率p 的纟且合所确定的倍凄t。相加率转换输出部608 4艮据像素差分绝对值APxY、噪声标准 偏差cjY、命中率|3和增益GA基于亮度分量的像素差来计算并输 出输出相加率aYA。此外，相加率转换输出部609根据平均差分绝 对值AMeY、噪声标准偏差aY、命中率|3和增益GA基于亮度分 量的平均差来计算并输出输出命中率(3YB。对于色差信号分量，不计算平均差，而是仅计算像素差分绝对 值，并且与上述亮度分量类似地计算基于色差分量的相加率。具体地，将来自目标图像的数据TGv中的蓝色色差数据Cbtg 通过^f氐通滤波器621提供给差分绝对值计算部623。同时，将来自 运动补偿图像的数据MCv中的蓝色色差数据Cbmc通过低通滤波 器622提供给差分绝对值计算部623。差分绝对值计算部623对每 个像素计算色差数据Cbtg与色差数据Cbmc之间的像素差分绝对值 △PxCb,并将所计算的像素差分绝对值APxCb提供给相加率转换输 出部625。与亮度分量的情况类似，相加率计算部21包括用于像素值的 蓝色色差分量的噪声模型存储器624，并计算像素值的蓝色色差分 量的噪声标准偏差cj的值并预先存储在噪声模型存储器624中。与 亮度分量的情况类似，与图像的照度Lx相对应的多个噪声冲莫型被 存储在噪声模型存储器624中。然后，将每个目标块的照度Lx以及穿过低通滤波器621的数 据TGv的色差数据Cbtg提供给噪声模型存储器624。从而，从噪 声模型存储器624获得取决于照度Lx和色差数据Cbtg的噪声标准 偏差ciCb，并将其提供给相加率转换输出部625。此外，将来自运动矢量计算部15的命中率p和来自外部的增 益GA提供给相加率转换输出部625。相加率转换:l叙出部625具有与上述相加率转换:;输出部608和 609类似的配置，并且从相加率转换输出部625获得基于〗象素差分 纟色对值APxCb、 p喿声标准偏差dCb、命中率p和增益GA的组合的 才目力口率aCb。类似地，将来自目标图像的数据TGv中的红色色差数据Crtg 通过低通滤波器631提供给差分绝对值计算部633。此外，将来自 数据MCv中的红色色差数据Crmc通过低通滤波器632提供给差分绝对值计算部633。差分绝对值计算部633对每个像素计算色差数 据Crtg与色差数据Crmc之间的像素差分绝对值APxCr,并将所计 算的像素差分绝对值APxCr提供给相加率转换输出部635。与亮度分量的情况类似，提供用于像素值的红色色差分量的噪 声模型存储器634，并计算与像素值的红色色差分量相对应的噪声 标准偏差cj的值并预先存储在噪声模型存储器634中。与亮度分量 的情况类似，与图像的照度Lx相对应的多个噪声级^皮存储在噪声 模型存储器634中。然后，将每个目标块的照度Lx以及穿过低通滤波器631的图 像数据TGv的色差数据Crtg提供给噪声模型存储器634。从而，从 噪声模型存储器634获得取决于照度Lx和色差数据Crtg的噪声标 准偏差ciCr，并将其4是供给相加率转换输出部635。此外，来自运动矢量计算部15的命中率p和来自外部的增益 GA被提供给相加率转换输出部635。相加率转换车命出部635具有与上述相加率转4灸输出部608和 609类似的配置，并且从相加率转换输出部635获得取决于〗象素差 分绝对值APxCr、噪声标准偏差cjCr、命中率p和增益GA的组合 的相力口率aCr。此外，在本实施例中，还基于目标图像的像素方差值确定相加 率。关于关注像素或像素本身以及例如在关注像素周围邻近的8个 像素来确定方差值。对亮度分量和色差分量的每一个确定方差值。 然后，从所有确定的方差值中计算相加率。具体地，如图44所示，将目标块的凝:据TGv的亮度数据Ytg 通过低通滤波器601提供给空间方差滤波器610。然后，例如，从空间方差滤波器610获得关于总共9个像素的方差值VaY，其中， 9个像素包括关注像素或像素本身以及在关注^象素周围邻近的8个像素。然后，如图45所示，将目标块的数据TGv的蓝色色差数据Cbtg 通过^氐通滤波器621 ^是供给空间方差滤波器626。然后，从空间方 差滤波器626获得关于总共9个像素的方差值VaCb,其中，9个像 素包括关注像素或像素本身以及在关注像素周围邻近的8个像素。此外，将目标块的数据TGv的红色色差数据Crtg通过^f氐通滤 波器631 ^是供给空间方差滤波器636。然后，从空间方差滤波器636 获得关于总共9个像素的方差值VaCr，其中，9个像素包括关注像 素或像素本身以及在关注像素周围邻近的8个像素。然后，如图44所示，方差值VaY、 VaCb和VaCr通过相加部 611进行相加，然后祐j是供给相加率转换输出部612。此外，将来 自运动矢量计算部15的命中率p和来自外部的增益GA提供给相 加率转换:l叙出部612。通过相加率转换输出部612确定相加率aC，从而在目标块的 图像包括少量紋理分量且呈现出中等的亮度级变化(在灰度的情况 下)的情况下抑制相加率。在本实施例的图像被分为多块的图像处 理中，通过人类纟见觉感知的影响而〗吏块边界非常不明显，并且特别 是在考虑到这在亮度级变化中等的情况下尤为如此。为了实现该目的，基本上应该将相加率i殳定为随着块中方差Y直 的减小而减小。如图51A所示，其中，横坐标轴表示方差值，纵坐 标轴表示输出相加率，本实施例中的相加率转换输出部612将每个 预定步长的方差值分为几步，以响应于每步的方差值来确定东叙出相 加率。在图51A的实例中，将每个8的步长的方差值分为五步，并将 0 ~ 7的方差值的相力口率设定为0.0;将8 ~ 15的方差值的相加率设 定为0.25;将16 23的方差^直的相加率i殳定为0.5;将24~31的 方差值的相加率设定为0.75;对于将32以上的方差值的相加率设 定为1.0。顺使^是及，如上所述图傳二故叠加的块之间的边界明显的原因在 于被叠加的图像相互是不同的。换言之，由于关于背景静止图^f象部 分图〗象相互是不同的，所以不需要响应于方差值来抑制相加率。因此，在本实施例中，相加率转换输出部612响应于命中率|3 控制方差值的步长，以使用于方差值的步长随着命中率P的增加而 减少。通过这种控制，对于背景静止图像部分，抑制了相加率响应 于方差值的降低，从而能够以尽可能高的相加率执行相加。具体地，在图51A~51C的实例中，在命中率J3具有小的值(例 如，卩=0)的情况下，如图51A所示，用于方差值的步长^皮i殳定为 "8"。然后，当命中率p具有例如(3 = 0.5这样的值时，如图51B 所示，用于方差值的步长被设定为"4"。此外，在命中率P为p= l(表示图像部分是背景静止画面部分) 的情况下，如图51C所示，用于方差值的步长浮皮i殳定为"0"。 ^:言 之，在这种情况下，不执行取决于方差值的相加率的降低。如上所述，增益GA也被提供给相加率转换输出部612,以便 可以基于增益GA来执行输出相加率的控制。在本实例的情况下， 根据增益GA与命中率p的组合可变地控制用于方差值的步长。图52示出了相加率转换输出部612中增益GA、命中率|3和步 长之间的关系。此外，在图52的实例中，通过用户或响应于图《象拾取条件将增益GA可变地设定为GA = 0、 GA = 1 、 GA = 2和GA =3的4个不同的4直。此夕卜，命中率P也4皮i殳定为P = 0、 P = 0.25、 (3 = 0.5和p= 1.0的4个不同的^直。注意，在图52的实例中，步长被设定为可通过位移位凄t学运 算得到的值。注意，在本实施例中，虽然在使用方差值计算相加率时参照图 51A 图51C将使用步长的多步i殳置用于上述方差值，1旦方差值可 以不被分为多步，而是可以在多步之间应用线性内插。此夕卜，可以 不使用线性内插，而是代替4吏用二次曲线内插或三次曲线内插。以这种方式，才目力口率專争才奐專t出部608、 609、 612、 625和635计算基于亮度差值、色差值、亮度平均差值或方差值以及命中率P 的才目力口率aYA、 aYB、 aC、 aCb和aCr。jt匕夕卜，在本实施例中，3夸相力口率aYA、 aYB、 aC、 aCb和aCr 合成以获4寻相加率计算部21的输出相加率a。具体地，如图44所 示，通过乘法器613将来自相加率转换输出部608和609的相力口率 aYA与aYB相乘，并将乘法结果提供给另 一个乘法器614。此外， 将来自相加率转换输出部625的相加率aCb被提供给乘法器614， 并通过乘法器614将相加率aCb与乘法器613的乘法结果相乘。然后，将乘法器614的乘法结果提供给又一个乘法器615。此 夕卜，将来自相加率转换输出部635的相加率aCr提供给乘法器615, 并通过乘法器615将相加率aCr与乘法器614的乘法结果相乘。此 外，将乘法器615的乘法结果提供给再一个乘法器616。另外，将 来自相加率转换输出部612的相加率aC提供给乘法器616，并通 过乘法器616将相加率aC与乘法器615的乘法结果相乘。结果，从乘法器616获得所有所计算的相力。率aYA、 aYB、 aC、 aCb和aCr的乘法结果，并将其输出作为相加率计算部21的丰俞出 相力口率a。以这种方式，通过相加率计算部21以^象素为单位计算相加率a 作为对应于命中率P的^L,并将其提供给相加部17。相加部17响应于来自相加率计算部21的用于每个像素的相加 率a以像素为单位将目标块的图像数据TGv与运动补偿块的图像数 据MCv相加。然后，来自相加部17的相加图像数据经由图像存储 器部4和静止画面编解码器部18#皮记录和再生装置部5记录。根据上述实施例，由于可以使用作为每个目标块的背景一致度 的指标值的命中率P在静止图像部分中将相加率a设定为相对较大 的值，所以可以获得呈现出高降噪效果的图像作为降噪图像的卓越效果。例如，考虑来源于具有图53A所示噪声的这种目标图像以及如 图53B所示的这种参考图像的降噪图像。注意，由图53A和图53B 的每一个中圓圈表示的部分是目标图像与参考图像之间的运动图像拾取对象部分。本实例的两个图像完全是由除运动图像拾取对象 部分之外的背景静止画面部分形成的。如果对图53A和图53B的实例的两个图^象执4亍块匹配以确定 每个目 一示块的局部运动矢量LMV并表示这才羊的局部运动矢量 LMV，则获得如图54所示的这种图像。当使用上述这种局部运动矢量LMV来根据参考图像执行运动 补偿以执行相加率的确定而不考虑上述命中率p时，结果的相加率 分布图像被示出为图55中的单色图像。在图55中，示出图像，以994吏随着相加率的增加，白色考呈度增加，而随着相加率的降《氐，黑色 程度增加。由图54中的圆圏表示的部分是背景静止画面部分，并且在此 部分中，所确定的局部运动矢量LMV是正确的。然而，由于-殳有 考虑命中率(3，所以能够i人为在图55的对应部分中，相加率呈现4交 小的值。换言之，能够认为不能够实现预期的降噪效果。如果将/人关于图53A和图53B所示的两个图〗象确定的全局运 动GM生成的全局运动矢量GMV被示出作为图像，则获得如图56A所示的这种图像。然后，如果4企查在由此生成的全局运动矢量GMV与局部运动 矢量LMV之间的一致度并将作为4全查结果^皮确定输出至运动^卜偿 画面生成部16的运动矢量表示为图像，则获得如图56B所示的这 种图<象。图56B的右下部分处的图l象部分中的大运动矢量对应于图 53A和图53B所示的运动图像拾取对象部分。从图56可以看出， 才艮据本实施例，以正确的区分状态来判定背景静止画面部分和运动 图像拾取部分。然后，如果以与图4象的对应关系示出当生成图56B的运动矢量 时所计算的命中率P，则获得如图57所示的这种图像。注意，在图 57中，通过判定一致和不一致的两个值之间的一致度，局部运动矢 量LMV与全局运动矢量GMV之间的一致度^皮表示为命中率(3的二 元4直(包4舌卩=0和卩=1)中的一个。白色的部分是(3=1的部分， 而黑色部分是(3 = 0的部分。图58示出了以与图^象的乂于应关系由上述相加率计算部21确定 的才目力口率a的4直。在图58中，相力口率a4皮表示以^f吏才目力口率a的0.0 ~0.1的值被划分为128级，并且相加率随着颜色从白到黑的变化而 降低(a接近a = 0.0 )。如果将图54与图58相互比^_,则可以i人为，才艮据本实施例， 相加率a在背景静止画面部分呈现较大值。从而，通过本实施例实 现了期望的降噪效果。:;主意，对目力口率4争才奐丰lr出部608、 609、 612、 625和635可浮皮商己 置为包括响应于上文的四个参数输入来输出输出相力口率aYA、 aYB、 aC、 aCb和aCr的專争4奐表的ROM。第二实施例在上述第一实施例中，以目标块为单位输出命中率p。然后， 以目标块为单位的命中率P被用于控制相加率a。因此，第一实施 例存在以下问题虽然以Y象素为单位计算相加率a， ^f旦容易突出降 噪图 <象的块之间的边界。因此，在第二实施例中，参考与关注块相邻的目标块的命中率 以执行内插处理，以使以目标块为单位计算的命中率p可以空间平 滑地变化。<命中率3的内^1处理的第一实例>在命中率p的内插处理的第一实例中，以目标块为单位执^f亍命中率P的内插。图59A-图60B示出了在第一实例的情况下内4翁处 理的实例。注意，在图59A 图60B中，参考符号Bk表示目标块， 并且在每个目标块Bk中表示的数值表示命中率(3的值。这里，为 了简4匕"i兌明，所计算的命中率P具有卩=1.0和p-0.5的两个^直中 的一个。图59A和图59B示出了一个实例，其中，通过参照与关注目 标块Bk相邻的其他目标块Bk的命中率|3，关注目标块Bk的命中 率(3在减小方向上被内插以空间平滑地进行变化。换言之，在以目 标块Bk为单位计算的命中率p具有如图59A所示这样的值的情况 下，预定的目标块Bk的命中率p通过内插处理如图59B所示一皮改变。在图59A和图59B的实例中，当关注目标块Bk的命中率f3为|3 =1.0且其他相邻目标块Bk的命中率p为卩=0.0时，关注目标块-皮确定为内插对象的目标块。然后，在所示的实例中，内插对象的 目才示块的命中率卩从卩=1.0变4匕成卩=0.5。从而，以目才示块Bk为单位的命中率p呈现图59B所示的空间平滑变化。同时，在图60的实例中，通过参照与关注目标块Bk相邻的其 他目标块Bk的命中率p，关注目标块Bk的命中率(3在增加方向上 被内插以空间平滑地进行变化。换言之，在以目标块Bk为单位计 算的命中率(3具有图60A所示这样的值的情况下，预定的目标块 Bk的命中率p通过内插处理如图60B所示^L改变。在图60A和图60B的实例中，当关注目标块Bk的命中率j3为 (3-0.0且其4也相邻目标块Bk的命中率P为卩=1.0时，关注目才示块 被确定为内插对象的目标块。然后，内插对象的目标块的命中率P 从卩=0.0变化成卩=0.5。从而，以目标块Bk为单位的命中率P呈 现如图60B所示的空间平滑变化。从而，即使以目标块为单位计算命中率P,但仍可以使块之间 的边界不明显。<命中率p的内插处理的第二实例>在命中率p的内插处理的第二实例中，以通过细分目标块而荻得的子块为单位执行命中率P的内插。图61A 图61C以及图 62A ~ 62C中示出了在第二实例中的内插处理的实例。参看图61A ~ 图61C以及图62A 62C，参考符号Bk表示目标块，SBk表示通 过将目标块Bk细分为4个部分或子块所获4f的子块，以及SSBk 表示通过将目标块Bk划分为16个部分或子块所获得的子块。在每 个目标块Bk或每个子块中描述的数值表示命中率p的值。此外， 在第二实例中，为了简化描述，所计算的命中率p(即，在内插处 理之前的命中率(3)采用p= l.O和p-0.5的两个^直中的一个。在图61A 61C的实例中，参照与关注目标块Bk相邻的其他 目标块Bk的命中率p的值，以在关注目标块Bk的命中率p的减小 方向上内插命中率P， /人而命中率p可空间平滑;也变化。在图61A和图61B的实例中，#(^亍当目标块Bk^皮划分为4个 子块时以子块SBk为单位的内插。换言之，在以目标块Bk为单位 计算的命中率j3具有图61A所示这样的值的情况下，在预定目标块 Bk中的子块SBk的命中率p通过内插处理如图61B所示地:故改变。在图61B的实例中，当关注目标块Bk的命中率|3为p = l.O且 其他相邻目标块Bk的命中率j3为卩=0.0时，关注目标块被确定为 内插对象的目标块。然后，内插对象的关注目标块的命中率|3以子 块SBk为单位:故变为低于(3 = 1.0的值。在这种情况下，不是关注目标块Bk中的所有子块SBk的命中 率P都被改变为卩=0.5,而是仅与命中率p为P-O.O的其他目标块 Bk相邻的那些子块SBk的命中率p被改变为(3 = 0.5。同时，关注 目标块Bk中的其他子块的命中率p^皮^f呆持在p= 1.0。在第二实例 的情况下，相邻目标块Bk包括在斜方向上邻近的那些块。因此，与在杀牛方向上邻近的目标块Bk中的命中率|3为(3 = 0.0的那些子块 SBk的命中率p也^皮改变为卩=0.5。此外，在图61A和图61C的实例中，以通过将目标块Bk划分 为16个部分或子块获得的子块SSBk为单位执行内插。在本实例中， 在关注目标块Bk的命中率(3为p-1.0的情况下，在内插对象的目 才示块Bk中，以子块SSBk为单4立用0.25 ~ 0.25、 0.5、 0.75或1.0的变化宽度来改变命中率P。换言之，在以目标块Bk为单位计算的命中率P如图61A所示 的情况下，预定目标块Bk中的子块SSBk的命中率(3通过内插处 理如图61C所示i也-波改变。在图61C的实例中，当关注目标块Bk的命中率p为卩=1.0且 其他相邻目标块Bk的命中率p为|3 = 0.0时，关注目标块Bk被确 定为内插对象的目标块。然后，内插对象的关注目标块Bk的命中 率p以子块SSBk为单位进4亍改变。在这种情况下，与命中率p为p = 0.0的其他目标块Bk相邻的 子块SSBk的命中率|3被改变为p = 0.25。然后，关注目标块Bk中 与命中率(3被改变为J3-0.25的子块SSBk相邻的子块的命中率(3 4皮 文变为(3 = 0.5。同时，在内插对象的目标块Bk中与命中率J3为|3= 1.0的其他 目标块Bk相邻的子块SSBk的命中率p被保留为P=1.0。然后， 关注目标块Bk中与命中率p保留为|3= 1.0的子块SSBk相邻的子 块的命中率p被改变为(3 = 0.75。此外，关注目标块Bk中与命中率 (3被改变为卩=0.75的子块SSBk相邻的子块的命中率p被改变为|3 -0.5。此外，在本实例的情况下，相邻目标块Bk包括与在斜方向上 相邻的那些块。从而，以目标块Bk为单位的命中率(3呈现如图61B或图61C 所示的空间平滑变化。现在，参照图62A 图62C，实例示出了通过参考与关注目标 块Bk相邻的其他目标块Bk的命中率|3在关注目标块Bk的命中率 |3的增加方向上进行的内插以使命中率|3可呈现空间平滑变化。在图62A和图62B所示的实例中，以通过将目标块Bk划分为 4个部分或子块获得的子块SBk为单位执行内插。具体地，在以目 标块Bk为单位的命中率p具有图62A所示这样的值的情况下，预 定目标块Bk中的子块SBk的命中率p通过内插处理如图62B所示改变。在图62B的实例中，当关注目标块Bk的命中率p为p-O.O且 其他相邻目标块Bk的命中率|3为p = 1.0时，关注目标块Bk ^^皮确 定为内插对象的目标块。然后，内插对象的关注目标块的命中率|3 以子块SBk为单位变为大于p = 0.0的值。在这种情况下，不是关注目标块Bk中的所有子块SBk的命中 率P都被改变为(3 = 0.5,而是仅与命中率P为卩=0.0的其他目标块 Bk相邻的那些子块SBk的命中率p被改变为卩=0.5。同时，关注 目标块Bk中的其他子块的命中率(3被保持在(3 = 1.0。在第二实例 的情况下，相邻目标块Bk包括在斜方向上邻近的那些块。因此， 与在斜方向上邻近的目标块Bk中的命中率|3为p = 0.0的那些子块 SBk的命中率p也被改变为|3 = 0.5。此外，在图62A和图62C的实例中，以通过将目标块Bk划分 为16个部分或子块获得的子块SSBk为单位执行内插。在本实例中， 在关注目标块Bk的命中率P为p-l.O的情况下，在内插对象的目 标块Bk中，以子块SSBk为单4立用0.25 ~ 0.25、 0.5、 0.75或1.0的
变化宽度来改变命中率p。
换言之，在以目标块Bk为单位计算的命中率j3如图62A所示 的情况下，预定目标块Bk中的子块SSBk的命中率p通过内插处 理如图62C所示地^皮改变。
在图62C的实例中，当关注目标块Bk的命中率(3为p-0.0且 其他相邻目标块Bk的命中率p为p = 1.0时，关注目标块Bk ^t确 定为内插对象的目标块。然后，内插对象的关注目标块Bk的命中 率(3以子块SSBk为单4立进4亍改变。
在这种情况下，与命中率P为P = 1,0的其他目标块Bk相邻的 子块SSBk的命中率p被改变为(3 = 0.75。然后，关注目标块Bk中 与命中率p被改变为p-0.75的子块SSBk相邻的子块的命中率p #皮改变为卩=0.5。
同时，在内插对象的目标块Bk中与命中率P为卩=0.0的其他 目标块Bk相邻的子块SSBk的命中率|3被保留为卩=0.0。然后， 关注目标块Bk中与命中率p保留为(3 = 0.0的子块SSBk相邻的子 块的命中率P^C改变为(3 = 0.25。此夕卜，关注目标块Bk中与命中率 (M皮改变为p = 0.25的子块SSBk相邻的子块的命中率卩#:改变为(3 =0.5。
此外，在本实例的情况下，相邻目标块Bk包括与在斜方向上 相邻的那些块。从而，以目标块Bk为单位的命中率p呈现如图62B或图62C 所示的空间平滑变化。
第三实施例
在上述第一实施例中，局部运动矢量计算部154执行分层块匹 配来计算基底面上的局部运动矢量LMV。然后，运动矢量可靠性 指标值计算部156计算基底面的局部运动矢量LMV的可靠性指标 值Ft。
此外，全局运动计算部157生成基底面的局部运动矢量LMV 的可靠性指标值Ft并使用可靠性指标值Ft来提取具有高可靠性的 那些局部运动矢量LMV。然后，全局运动计算部157 4吏用具有高 可靠性的局部运动矢量LMV来计算全局运动GM,然后从全局运 动GM中计算全局运动矢量GMV。
顺使j是及，通过将缩小面运动矢量MVs和中间面运动矢量 MVm与基底面的图像缩小率的倒数相乘，可以获得基底面运动矢 量MVb。因此，为了计算全局运动GM，可以不确定基底面运动矢 量MVb而是从缩小面运动矢量MVs或中间面运动矢量MVm中确 定全局运动GM。
例如，为了乂人缩小面运动矢量MVs中计算全局运动GM，局 部运动矢量计算部154首先计算缩小面的局部运动矢量LMV，即， 缩小面运动矢量MVs。
然后，运动矢量可靠性指标值计算部156计算所计算缩小面运 动矢量MVs的可靠性指标值Ft。此外，全局运动计算部157 4吏用 缩小面的局部运动矢量LMV的可靠性指标值来提取具有高可靠性 的那些局部运动矢量LMV。然后，全局运动计算部157〗吏用具有高可靠性的局部运动矢量LMV来计算全局运动GM和全局运动矢 量GMV。
此外，在4吏用全局运动GM的情况下，还可以从通过在直到中 间面的层中执行块匹配所获得的中间面运动矢量MVm中进行类似 计算。然而，可以才艮据各层来适当地i殳置执4亍关于全局运动矢量 GMV ^f立置处的SAD〗直的4交正的偏移〗直OFS或增益g。
以这种方式〗吏用缩小面或中间面的局部运动矢量来确定全局 运动GM和全局运动矢量GMV具有以下优点。
第一个优点在于，由于将低通滤波器用于生成上述缩小面或中 间面，所以去除了噪声，以使所得到的局部运动矢量不太可能被噪 声所影响。
第二个优点在于，由于在缩小面或中间面中减少了目标块的数 量，所以局部运动矢量的^:目和凄史学运算成本减少，另外，由于处 理所需时间减少了，所以可以以高速执4亍处理。
缩小面、中间面和基底面的匹配处理块单位由于受上述实例的 硬件限制而通常具有相同尺寸。因此，具有较小图片尺寸的缩小面 的目标块的数目(即，局部运动矢量的数目)与仅在基底面执行块 匹配的可选情况相比相对地少。
然后，在乂人缩小面运动矢量中确定全局运动和全局运动矢量 GMV的情况下，可以省略中间面和基底面上的运动矢量才企测处理。 换言之，在/人中间面运动矢量中确定全局运动和全局运动矢量 GMV的情况下，可以省略基底面的运动矢量检测处理。因此，可 以预期处理速度的增加。特别在缩小面运动矢量MVS :故用于确定全局运动和全局运动
矢量GMV的情况下，优点更为明显。
图63示出了使用缩小面运动矢量MVs确定全局运动和全局运 动矢量GMV并〗夸其与基底面上的局部运动矢量LMV相比的处理 的一l殳流程。
首先，在步驶gS501中，运动矢量计算部15执4亍缩小面块匹配 以确定缩小面上的每个目标块的局部运动矢量LMVs。然后，运动 矢量计算部15评估每个目标块的缩小面的局部运动矢量LMVs的 可靠性，并且仅使用具有高可靠性的那些缩小面局部运动矢量 LMVs来计算全局运动GM。然后，运动矢量计算部15/人所计算的 全局运动GM来计算全局运动矢量GMV。
然后，在步骤S502中，运动矢量计算部15对分层块匹配执行 缩小面块匹配来重新计算缩小面局部运动矢量LMVs。
然后，在步骤S503中，运动矢量计算部15才艮据缩小面局部运 动矢量LMVs确定与中间面上的目标块相对应的参考块的4臾索范 围，并才丸4亍中间面块匹配。然后，运动矢量计算部15计算中间面 局善卩运动矢量LMVm。
然后，在步骤S504中，运动矢量计算部15才艮据中间面局部运 动矢量LMVm确定与基底面上的目标块相对应的参考块的搜索范 围，并扭J亍基底面块匹配。然后，运动矢量计算部15计算基底面 局部运动矢量LMVb。然后，运动矢量计算部15〗吏用基底面局部 运动矢量LMVb和在步骤S501中计算的全局运动矢量GMV来为 每个目标块执行上述背景一致度的评估和判定。然后，运动矢量计 算部15确定命中率p并基于评估判定来检测降噪处理运动矢量 MVnr。然后，在步骤S505中，运动补偿图片生成部16 4吏用述降噪处 理运动矢量MVnr以从参考帧的图像数据中生成以块为单位的运动
补偿图片。
然后，在步骤S506中，相加率计算部21基于在步骤S504中 计算的命中率p以^像素为单4立或以目标块为单4立计算相加率a。然 后，在步骤S507中，加法部17以块为单位将在步骤S505中生成 的运动补偿图片与目标图像以在步骤S506中计算的相加率a进行 相加，从而生成降噪图像。
注意，在上述图63的处理流禾呈中，在运动矢量4企测时通过第 一次块匹配确定的全局运动GM和全局运动矢量GMV积j皮应用于 分层块匹配中的基底面运动矢量。
然而，同样在分层块匹配的缩小面和/或中间面上，可4吏用全局 运动矢量GMV、局部运动矢量LMVs和中间面局部运动矢量LMVs 来执行目标块的背景一致度评估。在这种情况下，作为背景一致度 ;平估结果的降，乘处理运动矢量MVnr可以:故用作关于缩小面或中间 面上的每个目标块而输出的运动矢量。
这以使可以获得比一般情况下具有更高精确度的关于缩小面 或中间面上的每个目标块的运动矢量(即，局部运动矢量)。这类 似地应用于基底面。因此，如上所述，根据每层适当地设置偏移值 OFS或增益g。
图64A~图64D示出了当4艮据图63的处理流考呈执4亍处理时的 块匹配结果和所4企测运动矢量的方式的实例。图64A~图64D的实 例示出了当将上述处理应用于上述目标图像和参考图像时的处理结果。
110图64A示出了当对目标图像和参考图像执行缩小面块匹配时 局部运动矢量LMVs的4企测结果。
图64B示出了作为对缩小面局部运动矢量LMVs执行可靠性评 估的结果被确定为具有高可靠性的缩小面局部运动矢量LMVs和缩 小面局部运动矢量LMVs的目标块。注意，图64B右下角的重点强 调块是具有高局部运动矢量LMVs的运动图像拾取对象部分。
图64C示出了基于由基底面局部运动矢量LMVb计算的全局 运动GM所计算的目标块的全局运动矢量GMV。此外，图64D示 出了通过再次执行运动矢量4企测，通过背景部分和运动图像拾取对 象部分的i平估;险测的降p朵处理运动矢量MVnr。
冲艮据图64D,可以识别出背景部分中的运动矢量有序地3皮配置 为全局运动矢量GMV的4犬态。
注意，在图64D中，右下角部分的大运动矢量是在4吏用局部运 动矢量LMV和全局运动矢量GMV的评估判定中^皮确定为运动图 像拾取对象(全局运动矢量GMV不会从中输出作为降噪处理运动 矢量)的运动图像拾取对象块。同时，中空的矢量表示与全局运动 矢量GMV —致的参考矢量在搜索范围内的有效像素区域中不存在 的块。
准备图64A~图64D以表明容易被识别的效果，实际目标快的 尺寸较小。如下所述，以更小块为单位生成命中率(3更加有效。
然而，在图像中的运动图像拾取对象区域和矢量以粗略单位被 才全测并被跟踪，优选地，基于以如图64D所示的这种粗略单位使用 全局运动矢量GMV扭j亍的评估来l叙出降p朵处理运动矢量MVnr。 因此，不需要画面图像中所有块的信息，但是如果着重于运动图像拾取对象检测的可靠性，则如图64B的情况，仅从第一次运动矢量 检测时具有高可靠性的那些矢量中执行运动图像拾取对象块的分离。
通过内插处理提高精确度
顺使j是及，由于缩小面或中间面通过减小基底面而生成，所以 应该考虑到这种缩小面运动矢量或中间面动矢量的精确度相对较 小。
因此，为了消除或减轻精确度低的问题，在使用缩小面运动矢 量或中间面动矢量的情况下，扭J亍内插处理。具体地，4吏用由所计 算的缩小面运动矢量或所计算的中间面运动矢量表示的缩小面参 考块位置或中间面参考块位置附近的缩小面参考块或中间面参考 块的SAD值以及SAD值的位置信息来执行内插处理。通过该内插 处理，可以执行像素精确度的缩小面运动矢量或中间面运动矢量的 冲企测。下文所述的内4悉处理以缩小面情况下的内4翁处理为例。
例如，在水平和垂直方向上都缩至1/4的缩小面上扭^于块匹配 的情况下，缩小面运动矢量是4像素精确度的运动矢量。然而，显 而易见，在基底面参考帧中，1像素精确度的基底面运动矢量MVb 存在于通过将缩小面运动矢量增加至n倍所获得的运动矢量附近。
因此，在如图65所示确定缩小面上的最小SAD值601的情况 下，可以理想地/使用最小SAD值601附近的多个SAD值(例如， 分别〗吏用在上、下、左和右方向上与最小SAD值601相邻的4个 SAD值602、 603、 604和605来执行内插处理，以检测4l象素精确 度的运动矢量。在这种情况下，所需的内插倍率为四倍。
例4口，可以理想地/使用二次曲线来对SAD表执4亍内4翁，以从 例如以n像素为单位已经执行了匹配处理的缩小面SAD表中计算像素精确度的运动矢量。在这种情况下，尽管可以不使用二次曲线 近似内插而是使用线性、三次或更高阶曲线近似内插，^f旦在本实例 中，根据精确度和硬件配置之间的均衡而使用二次曲线近似内插。
在二次曲线近似内插中，如图65所示，使用通过n像素精确 度的缩小面运动矢量所表示的缩小面SAD表中的SAD值的最小值 Smin以及在最小值Smin位置附近的多个SAD值(下文称作邻近 缩小面SAD值)。在本实例中，使用在缩小面的X方向或水平方向 以及Y方向或垂直方向上邻近最小值Smin位置的4个邻近的SAD 值Sxl、 Sx2和Syl、 Sy2。
如图66所示，在X方向或水平方向上的内4翁中，缩小面SAD 值的最小值Smin和在X方向或水平方向上处于两个相邻点的相邻 缩小面SAD值Sxl和Sx2被用于应用二次近似曲线700。具体地， 确定经过最小值Smin以及在X方向或7jc平方向上处于两个相邻点 的相邻缩小面SAD值Sxl和Sx2的二次近似曲线700。通过这种方 式，如图66所示，二次近似曲线700假设为最小值的坐标变为提 供像素精确度的SAD值的最小值SXmin的缩小面运动矢量或高精 确度缩小面运动矢量的X坐标Vx。给出此时用于二次曲线近似内 4翁的表达式，如下面的(表达式19):
<formula>formula see original document page 113</formula>
根据计算表达式(表达式19)确定的像素精确度的SAD值的 最小值SXmirW叚设在SAD表上的X坐标变为〗象素精确度的缩小面 SAD值，I定为最小值的X坐标Vx。
可通过多次执行的减法来实现计算表达式(表达式19)中的除 法。例如，如果将被使用的像素精确度为缩小面的1/4像素间距的 精确度，则可以仅通过两次减法就能实现上述除法。因此，电路规模小且数学运算时间短，并且能够实现与比二次近似曲线内插复杂 得多的三次曲线内插非常接近的性能。
类似地，在Y方向或垂直方向上的内插中，缩小面SAD值的 最小<直Smin和在Y方向或垂直方向上与最小值Smin邻近的两个 点的邻近缩小面SAD值Syl和Sy2用于应用二次近似曲线。因此， 二次近似曲线假设为极小值SYmin处的Y坐标变成像素精确度的 SAD值呈现最小值的Y坐标Vy。通过下面的表达式(表达式20) 给出此时的二次曲线近似内插的表达式
SYmin = 1/2 x ( Sy2 - Syl ) / ( Sy2 - 2Smin + Syl )...(表达式20 )
通过以这种方式对X方向和Y方向执4于两次二次曲线近似， 确定高精确度(即，像素精确度)的缩小面运动矢量(Vx， Vy)。
虽然在先前的描述中， -使用了缩小面SAD值以及在X方向或 水平方向和Y方向或垂直方向上与最小值邻近的两个点的缩小面 SAD值的最小值，但是在不同方向邻近的缩小面SAD值的数量可 以为两个以上。》匕夕卜，4戈替在X方向和Y方向上的二次曲线的应 用，例如，二次曲线可以净皮应用于杀牛方向。jJ:匕夕卜，近如乂曲线可以^皮 应用于除X和Y方向之外的杀+方向上。
图67示出了通过使用如上所述的这种装置和处理程序，能够 通过n个像素单位精确度的SAD表的值来获得像素精确度的矢量 检测结果。图67的横坐标轴表示内插倍率，并表示在一维方向上 应该"i殳定多少次分解。由于SAD表为二维的，戶斤以表面积、以平方 率降低。然而，由于由内插引起的误差仅以线性的程度增加，所以 可以认可内插技术的有用性。
114注意，自然地，上述参照图65 ~图67描述的内插法不仅可应 用于缩小面，而且还可应用于中间面和基底面。在向基底面应用内 插技术的情况下，所获得的局部运动矢量LMV具有比像素间距更 高的精确度，即，子像素精确度。
在基底面上确定子像素精确度的局部运动矢量LMV的情况 下，将净皮llT出作为降噪处理运动矢量MVnr的全局运动矢量GMV 应该为与其一致的基底面的子l象素精确度的局部运动矢量LMV。 具体地，对于^皮确定为背景的快，可以输出由全局运动GM计算的 全局运动矢量GMV，或者可以l俞出与全局运动矢量GMV —致的 局部运动矢量LMV。尽管可以l餘出全局运动矢量GMV和局部运动 矢量LMV的任意一个，但在这种情况下，最好输出更高精确度的 局部运动矢量LMV作为全局运动矢量GMV。
另 一方面，在基底面上计算子^象素精确度的局部运动矢量LMV 的情况下，还具有运动补偿图片生成部16可生成子^f象素精确度的 内插图像来作为运动补偿图片的优点。
实施例的效果
如上所述，根据上述本实施例，可以以高精确度检测关于图像 中所有目标块的运动矢量。此外，可以判定图像部分是背景图像部
分还是运动图像拾取对象部分，并且可以获得作为这种判定的指标 值的命中率。然后，可响应于命中率将图像的相加率设定为大的值。
因此，可以执行迄今为止比较困难的高精确度的局部运动矢量 的检测以及整个图像的背景静止画面区域和运动图像拾取对象部 分的提取。此外，在背景静止画面区域中，可以以高相加率执行图 像的叠加。因此，可获得呈现出期望降噪效果的降噪图像。其他实施例和l奮改
在先前的描述中，背景/运动图像拾取对象判定部150执行关于 目标帧内的所有目标块的背景一致度的评估判定。
然而，背景/运动图像拾取对象判定部150可通过^f又使用具有高 可靠性的那些局部运动矢量LMV的收敛凄t学运算来确定全局运 动。上面参照图31和图32所示从全局运动的收敛数学运算中排除 的具有高可靠性的那些局部运动矢量LMV是运动图像拾取对象块 的具有高可靠性的局部运动矢量LMV。另外，最终用于在全局运 动的收敛凄t学运算才乘作中计算全局运动的那些局部运动矢量LMV 可被确定为背景块。
因此，呈现具有高可靠性的局部运动矢量LMV的那些评估块 不需要再次经受背景和运动图像拾取对象之间的评估判定。因此， 对于刚刚描述的具有高可靠性的局部运动矢量LMV的这种目标 块，可以省略块再匹配处理和背景/运动图像拾取对象判定处理。这 就可以缩4豆处理时间和凄t学运算量。
注意，在全局运动收敛数学运算中，最终用于计算全局运动的 局部运动矢量LMV可^皮判定为背景块，它们的命中率(3可净皮判定 为|3= 1.0。
然后，当命中率卩为l.O时，目标块和补偿图片块之间的相加 率祐 没置为1.0。通过这样，对背景部分执4亍正向加强相加，可以 预期高降噪效果。
注意，在上述实例中，虽然通过运动补偿以目标块为单位生成 运动补偿图^象，^旦因为获得了全局运动GM,所以可以通过运动补 偿以像素为单位来生成。具体地，例如，在呈现高背景一致度(其中，其命中率p达到1.0或0.75)的目标块的图像的情况下，对每 个像素根据全局运动计算全局运动矢量。然后，针对各个像素所计 算的全局运动矢量被用于执行运动补偿。由于运动补偿结果可能与 像素位置一致，所以还执行内插处理来生成运动补偿像素，并4吏用 运动补偿像素来生成运动补偿图片。
在以这种方式以<象素为单位进4于运动补偿的情况下，可以期望 获得更平滑的运动内插图像。
注意，在上述实施例中，虽然SAD值被才企测作为相关值，但 相关^f直当然不限于SAD <i。
此外，在上述实施例中，虽然4丸行关于静止图片的运动4企测处 理和图像的叠加处理以使多个拾取图像被取入图像存储部4并对由 此取入的拾取图像执行上述运动检测和图像叠加处理。然而，处理 对象的多个图像可类似地如运动图片的图像拾取时实时地生成。
注意，自然地，运动矢量检测对象的图像信息不受拾取图像信 息的限制。
此外，在上述实施例中，基于运动矢量可靠性指标值执4亍运动 矢量的可靠性判定。然而，除相关值的第一极大值与第二极大值之 间的差或比，在取相关值的第 一极大值的参考矢量与取相关值的第 二极大值的另一参考矢量之间的位置差异也可被用于进行可靠性 的判定。此外，相关值的第三极大值、高阶极大值或取这种极大值 的参考矢量的位置分布可以另外被用于可靠性的判定。
注意，在上述实施例中，为了减小执行全局运动的数学运算处 理时的数学运算负荷，对于局部运动矢量LMV的可靠性指标值， 二进制至0和1 ;故用于加^L系it W。然而，通过局部运动矢量LMV的可靠性指标值的归一化获得、并例如取等于或大于0^f旦等于或小 于1的加权系数w可自然地按原样被用于执行全局运动的数学运
算处理。
此外，可以不通过使用如上述实施例的仿射变换的单个处理计 算全局运动，而是可通过^f吏用加速传感器(例如，陀螺)4企测为施 加给整个图像拾取元件的位移的全局运动。然后，以这种方式才企测
的全局运动可^皮用于以上述类^f以的方式确定全局运动矢量GMV, 并且可以将由此确定的全局运动矢量GMV与局部运动矢量LMV 进行比较以确定它们的 一 致度。
在这种情况下，只有一个从全局运动中确定的全局运动矢量 GMV可与不同的局部运动矢量LMV进行比4交。此夕卜，可以判定在 图像或帧的中心位置发生全局运动，以使从全局运动中确定每个目 标块的全局运动矢量GMV，其中将中心位置设置为原始坐标。
或者，可以外部地生成对于将被叠加的图像的每个目标块的全 局运动矢量GMV。在这种情况下，图像处理装置不需要执4亍上述 关于全局运动矢量GMV的这种计算，而是可以4又乂人外部获取全局 运动矢量GMV。在图^象处理装置外部，可以通过^f又包括上述单个 处理或通过使用诸如陀螺的传感器并执行必要的计算来生成全局 运动矢量GMV。
尤其对于静止图像，在连续拍摄的图像被预先存储并在后面的 时间点执行降噪处理的情况下，相对容易地在外部计算全局运动并 获耳又全局运动矢量GMV。
此外，在上述实施例中，虽然在静止图片的图像拾取时将本发 明应用于运动矢量检测和背景/运动图像拾取对象判定，但自然地，
118本发明还可以应用于执行运动图片的图像拾取时的运动矢量4企测 和背景/运动图像拾取对象判定的情况。
图68示出了考虑到运动图片图像拾取的图像拾取装置的硬件 配置的实例。在图68中，与图1所示图傳4合取装置类似的那些部 件-故指定为相同标号并省略了重叠描述。
此外，在通过图68的图傳j合取装置进4亍运动图片的降，喿处理 时，针对每个IV (V是用于帧或场的垂直周期)从图像拾取元件 11输入的拾取图像被用作目标图像，而IV和2V之前的图像至加 法之后的输出图像被用作参考图像。
不仅参照IV之前的图像而且参照2V之前的图像的原因在于， 在隔行扫描图像的情况下，利用2V之前的图像静止物品呈现專交大 的匹S5率。
此外，在图68的系统中，从局部矢量中计算全局运动，并才艮 据目标图像中的每块或每个像素的运动矢量是否与全局运动一致 来生成命中率信息，从而在后续阶段控制相加率ct。图像拾取系统 由此提供呈现高降噪效果的运动图片。
注意，图68的图俜4合取装置中的编解码部22 #:配置为执4亍 MPEG方式的压缩编石马。
虽然前面的描述针对图像信息是拾取图像信息的情况，但本发 明对象的图像信息当然不限于4合取图像信息。
此外，在上述实施例中，虽然以像素为单位计算相加率，但可 以在目标块中确定相加率以执4亍相加。
虽然使用特定术语描述了本发明的优选实施例，但这种描述指 示为了例示的目的，应理解，在不背离所附^^又利要求的精神或范围 的情况下，可以进行各种修改和变化。
权利要求
1.一种图像处理装置，包括局部运动矢量检测装置，用于将目标画面图像分割为多个目标块，对每个目标块，在设置在不同于所述目标画面图像的参考画面图像上的搜索范围内设置多个参考块，所述多个参考块具有与所述目标块相同的尺寸，确定所述目标块与所述参考块之间的相关值，并检测所述目标块的局部运动矢量作为所述参考块中计算出相关值的最大值的那一个参考块相对于所述目标块的位移；全局运动矢量获取装置，用于获取由表示施加给整个目标画面图像的变形的全局运动确定的每个目标块的全局运动矢量；指标值计算装置，用于对每个目标块，计算表示由所述局部运动矢量检测装置检测的所述局部运动矢量与由所述全局运动矢量获取装置获取的所述全局运动矢量之间的一致度的指标值；运动补偿装置，用于生成运动补偿图像，其中，使用由所述局部运动矢量检测装置检测的所述局部运动矢量对所述参考块进行运动补偿；相加率计算装置，用于响应于由所述指标值计算装置计算的对应指标值来计算每个目标块的图像与对应的运动补偿图像之间的相加率；以及相加装置，用于利用由所述相加率计算装置计算的各个相加率来使所述目标块的图像与所述对应的运动补偿图像相加。
2. 根据权利要求1所述的图像处理装置，还包括全局运动计算装置，用于根据每个目标块的多个局部运 动矢量计算表示施加给所述整个目标画面图^f象的变形的所述 全局运动，其中，所述全局运动矢量获取装置根据由所述全局运动计算装 置计算的所述全局运动计算每个目标块的所述全局运动矢量。
3. 根据权利要求1所述的图像处理装置，还包括用于从外部获取表示施加给所述整个目标画面图像的变 形的所述全局运动的装置，其中，所述全局运动矢量获取装置包括用于根据所获取的全局运动计算每个目标块的所述 全局运动矢量的装置。
4. 根据权利要求1所述的图像处理装置，其中，所述全局运动矢量获取装置包括用于从外部获取每个目标块的所述全局运动矢量的装置。
5. 根据权利要求1所述的图像处理装置，其中，所述相加率计算装置基于所述目标块的图^f象与所述运动 补偿图像之间的差以及所述指标值来计算所述相加率。
6. 根据权利要求5所述的图像处理装置，其中，所述相加率计算装置以像素为单位计算所述相加率的值。
7. 根据权利要求1所述的图像处理装置，还包括指标值4交正装置，用于响应于所述目标块的相邻目标块 的指标值校正由所述指标值计算装置计算的每个目标块的所 述指标值，以使所述目标块的指标值可呈现出空间平滑变化。
8. 根据权利要求1所述的图像处理装置，还包括指标值4交正装置，用于细分所述目标块并响应于所述目 标块的相邻目标块的指标值校正由所述指标值计算装置计算 的每个目标块的所述指标值，以使所述指标值可以所述目标块 的细分块为单位呈现出空间平滑变化。
9 一种图^象处理方法，包4舌以下步骤局部运动矢量检测步骤，将目标画面图l象分割为多个目 标块，对每个目标块，在设置在不同于所述目标画面图像的参 考画面图像上的搜索范围内设置多个参考块，所述多个参考块 具有与所述目标块相同的尺寸，确定所述目标块与所述参考块 之间的相关值，并检测所述目标块的局部运动矢量作为所述参 考块中计算出相关值的最大值的那一个参考块相对于所述目标块的位移；全局运动矢量获取步骤，获取由表示施加给整个目标画 面图像的变形的全局运动确定的针对每个所述目标块的全局 运动矢量；指标值计算步骤，对每个目标块计算表示在所述局部运 动矢量^r测步骤中检测的所述局部运动矢量与在所述全局运 动矢量获取步骤中获取的所述全局运动矢量之间的一致度的 指标值；运动补偿步骤，生成运动补偿图〗象，其中，^L用在所述 局部运动矢量检测步骤中检测的所述局部运动矢量对所述参考块进行运动补偿；相加率计算步骤，响应于在所述指标值计算步骤中计算 的对应指标值来计算每个目标块的图 <象与对应的运动补偿图 l象之间的相加率；以及相加步骤，利用在所述相加率计算步骤中计算的各个相 加率来使所述目标块的图像与所述对应的运动补偿图像相加。
10. —种图4象处理装置，包^":局部运动矢量检测部，；陂配置为^l寻目标画面图^f象分割为 多个目标块，对每个目标块，在设置在不同于所述目标画面图 像的参考画面图像上的搜索范围内设置多个参考块，所述多个 参考块具有与所述目标块相同的尺寸，确定所述目标块与所述 参考块之间的相关^f直，并检测所述目标块的局部运动矢量作为 所述参考块中计算出相关值的最大值的那一个参考块相对于 所述目标块的位移；全局运动矢量获取部，被配置为获取对由表示施加给整 个目标画面图 <象的变形的全局运动确定的每个目标块的全局 运动矢量；指标^f直计算部，#皮配置为对每个目标块计算表示由所述 局部运动矢量检测部4全测的所述局部运动矢量与由所述全局 运动矢量获取部获取的所述全局运动矢量之间的一致度的指 标值；运动补偿部，被配置为生成运动补偿图像，其中，使用 由所述局部运动矢量检测部检测的所述局部运动矢量对所述 参考块进行运动补偿；相加率计算部，^皮配置为响应于由所述指才示值计算部计 算的对应指标值来计算每个目标块的图像与对应的运动补偿图4象之间的相力口率；以及相加部，用于利用由所述相力o率计算部计算的各个相力口 率来使所述目标块的图像与所述对应的运动补偿图<象相加。
全文摘要
本发明公开了图像处理装置和图像处理方法，其中，该图像处理装置包括运动矢量检测部、全局运动矢量获取部、指标值计算部、运动补偿部、相加率计算部和相加部。通过本发明，根据目标块是背景静止图片部分还是运动图像部分，通过适当的相加率执行以块为单位的图像相加，并且可以获得实现了期望降噪效果的相加结果图像。
文档编号H04N5/232GK101600113SQ200910146408
公开日2009年12月9日 申请日期2009年6月2日 优先权日2008年6月2日
发明者三屋晃二, 仓田徹 申请人:索尼株式会社