图像配准方法

专利名称：图像配准方法
技术领域：
本发明涉及图像配准方法，特别是涉及估计时间序列图像中的目标 图像和参考图像之间的运动的图像配准方法。
背景技术：
图像配准是指在将两幅图像(即参考图像和目标图像)重叠时，估 计图像一致的变换参数，即，是指估计目标图像和参考图像之间的运动。图像配准、即目标图像和参考图像之间的运动估计是在超析像处理、 图像去马赛克、三维重建、立体视觉、深度估计、图像测量和机器视觉 等许多图像处理中最基本且重要的处理(参照非专利文献1、非专利文献2)。为了进行图像配准，即，为了估计时间序列图像中的目标图像和参 考图像之间的运动参数，大多通过平面投影变换进行近似。只要能将配 准对象(以下简称为对象)的仅平面区域设定在目标区域(ROI: Region oflnterest)上，就能求出准确的运动参数。然而，由于在目标区域内不一定仅存在平面(平面区域)，因而往往 配准对象的实际运动与根据平面投影变换模型而估计的运动不同。而且， 由于照明变化和遮挡等，往往使运动参数的估计失败。针对这种问题，以往提出了以下等许多方法，例如利用表示照明 变化的基础图像的方法(参照非专利文献3、非专利文献4)，分割成多 个区域的方法(参照非专利文献5、非专利文献6)，在二次曲面上对对 象形状进行建模的方法(参照非专利文献7)，对脸那样的复杂形状进行 建模的方法(参照非专利文献8),利用运动分割的方法(参照非专利文 献9、非专利文献IO)对运动分布进行建模的方法(参照非专利文献11)， 以及选择并利用适合于运动估计的区域的方法(参照非专利文献12、非专利文献13)。其中，例如在选择并利用适合于运动估计的区域的方法(以下简称 为区域选择型方法)中，在非专利文献12所公开的方法中，求出根据沿 空间方向的浓度梯度的大小进行了加权的剩余运动(该剩余运动也称为法向流(normal flow))，将求出的剩余运动的大小较小的区域判断为可 准确地进行配准。然而，由于该法向流容易受到图像内包含的噪声的影响，因而存在这样的问题，即为了提取准确进行了配准的区域，需要对来自多个图 像的结果进行加权平均(参照非专利文献12)、利用概率模型(参照非专利文献14)等的后处理。并且，在属于区域选择型方法的非专利文献13所公开的方法中，存在这样的问题，即由于在按所估计的运动进行了变形的图像与参考图 像之间，根据目标区域内的各像素的像素值的差异来减小权重，因而权 重也根据对象的照明变化而减小，有可能导致配准失败。这里，对利用平面投影变换的现有的图像配准方法进行说明。艮口， 在进行图像配准时，使用平面投影变换模型来估计图像间的运动、即时 间序列图像中的输入图像(目标图像)和参考图像之间的运动。为了估计表示该平面投影变换模型的参数、即目标图像相对于参考 图像的运动参数(变换参数)，定义由下述算式l表示的目标函数。算式1<formula>formula see original document page 5</formula>式中，J(x)表示时间序列图像中的输入图像，^(x)表示参考图像， ROI表示目标区域。并且，x-『;c，乂l]T表示用同次坐标表示的图像上的 位置。h-[AA，…，^f是表示平面投影变换的8个参数。<formula>formula see original document page 5</formula>表示目标图像相对于参考图像的运动，即表示平面投影变换。作为目标区域(ROI)，可使用任一区域，然而往往使用参考图像上 的矩形区域。当使上述算式1的目标函数最小化时，全部利用该目标区域ROI内部的像素值。为了估计使上述算式1最小化的变换参数h，可利用例如梯度法(参 照非专利文献15、非专利文献16、非专利文献17和非专利文献18)、不 使用重复计算的超平面交叉法(参照非专利文献19)、非专利文献19所 公开的超平面交叉法的高速化方法(参照非专利文献20)等方法。当使用上述那样的属于直接利用目标区域内的像素值的基于区域的 方法的现有的图像配准方法，进行拍摄了被认为是刚体的对象而得到的 图像间的配准时，有可能由于如下的主要原因而失败。艮口，使用属于基于区域的方法的、利用平面投影变换的现有的图像 配准方法所进行的配准的失败主要原因包括如下。失败主要原因之一对象的形状当使用在三维空间内任意改变位置和方向的相机拍摄了平面时，可 使用平面投影变换模型来表示图像间的变形。这里，假定相机的镜头失 真小到可忽略不计，并且另行进行校正。当对象的形状不是平面时，当 然，利用平面投影变换模型不能完全表现对象的外形变化，算式1的目 标函数的最小值增大。因此，落入与正解运动参数不同的极小位置，有 可能导致配准失败。失败主要原因之二对象的表面反射特性当相机的位置和方向相对于平面发生变化时，通过相机观察平面的 角度或者相机与平面之间的距离也变化。在平面的表面反射特性是均等 扩散的情况下，平面的亮度不会由于观察平面的角度或距离而变化。然 而，实际上，由于具有平面形状的对象是完全均等扩散面的情况很少， 因而对象(平面)的亮度由于相机相对于对象(平面)的位置或方向而 变化。因此，当对象(平面)的亮度变化时，即当图像间的亮度变化时， 算式1的目标函数值也变化，目标函数的最小值增大，有可能导致配准 失败。失败主要原因之三到对象的距离变化当在时间序列图像上对所拍摄的对象依次进行配准时，在到对象的 距离变化时，由于以下原因，有可能导致配准失败。第一，在摄影相机的镜头可使用针孔镜头进行近似的情况下，艮P， 在即使到对象的距离变化也总是能拍摄对焦的时间序列图像的情况下， 当与对象之间的距离逐渐变大时，产生这种问题。在参考图像上将对象 拍摄得较大，而随着时间经过在所拍摄的时间序列图像(即，用作输入 图像的图像)上对象逐渐变小。为了针对设定在参考图像上的目标区域 将输入图像变形来进行配准，需要放大输入图像。伴随图像的放大，图 像必定模糊。结果，针对参考图像进行输入图像的配准变成在模糊不同 的图像间进行配准，最终导致配准失败。第二，在摄影相机的镜头可使用薄壁镜头进行近似的情况下，艮口， 在只有当对象存在于规定的距离范围内时才能拍摄对焦的时间序列图像 的情况下，当相对于对象的对焦变化时，产生与由于第一原因所产生的 问题相同的问题。失败主要原因之四照明变化上述算式1的目标函数表示图像间的像素值之差的平方和。因此， 目标函数值当然根据图像间的形状变化而变化，而目标函数值当然也根 据图像的亮度变化而变化。对象的亮度根据照明变化而变化，当对象的 亮度变化根据图像上的位置而不同时，对配准造成大的障碍。失败主要原因之五遮挡当在目标区域内有配准对象(对象物体，即对象)和其他物体的遮 挡时，将对配准造成大的障碍。特别是以遮挡对象物体的方式出现的其 他物体表面上的纹理密度或对比度高于对象表面的纹理时，使算式1的 目标函数最小化的运动参数h强烈受到其他物体位置的影响，有可能得 到与对象的位置和姿势不同的配准结果。并且，还存在这样的问题，艮P: 由于对象的形状和光源位置而产生对象自身的影子，该影子有时变化， 而该影子作为对象亮度的变化，给配准结果带来影响。以往，作为针对上述那样的配准失败主要原因的对策，想出了很多办法。作为主要对策，有如下所示的对策。 对策之一使用图像的边缘信息具体地说，例如通过使用图像的拉普拉斯算子或LoG (Laplacianof Gaussian,高斯-拉普拉斯算子)，可减小对象的亮度变化的影响。并且， 可在某种程度上吸收对象的模糊变化。然而，该对策存在不能应对平面 以外的对象形状和遮挡的问题。对策之二使像素值归一化通过在使目标区域内的像素值归一化之后，使算式1的目标函数最 小化，从而可减小对象的亮度变化的影响。当运动被限定为平行移动时， 只要利用归一化互相关即可。还提出了当运动是平面投影变换时可利用 归一化互相关的方法(参照非专利文献19和非专利文献20)。然而，该 对策也存在不能应对平面以外的对象形状和遮挡的问题。对策之三使用相邻帧间运动的累积该对策利用了这一点，即在时间上接近的相邻帧之间，对象的外形变化小。具体地说，首先，依次求出相邻帧之间的运动参数ht>t-1。然后，求出针对参考图像的平面投影变换WtXihM>J，将其作为相邻帧之间的平面投影变换的积Wf'''W[W(x;h"-i〕;h'-i"-2k'Shi，oL然而，该对策存在配准误差逐渐累积而使位置偏移的问题。对策之四更新参考图像利用这样的对策使用算式1的最小值等指标，在输入图像相对于 参考图像大幅变化之前更新参考图像。然而，尽管不象对策之三那样(即， 使用相邻帧之间的运动的累积)，然而该对策也存在配准误差逐渐累积而 使位置偏离的问题。发明内容鉴于上述情况，本发明的目的是提供一种图像配准方法，该方法是 用于估计时间序列图像中的目标图像和参考图像之间的运动的区域选择 型图像配准方法，能应用于具有任意形状的对象的配准，能针对照明变化和遮挡进行鲁棒和高精度图像配准。本发明涉及一种在拍摄对象所得的时间序列图像中的参考图像和目 标图像之间进行高精度的配准的图像配准方法，本发明的上述目的是这 样来达到的，即将所述参考图像上的规定区域设定为目标区域，在进 行上述配准时，在所设定的所述目标区域内，根据掩模图像的像素来估 计运动参数，该掩模图像表示能通过规定变换准确地进行配准的区域， 或者通过利用图像间的相似性评价来生成所述掩模图像，或者使用平面 投影变换、仿射变换、比例变换、旋转变换、平行移动或者采用它们的 组合的变换来作为所述规定变换。并且，本发明的上述目的是这样来更有效地达到的，即在用ROI表示所述目标区域，并且通过用某变换参数h使图像厶(x)变形而大致能在图像A(X)上配准的情况下，下面的算式成立，艮P:/"x)"Q(W(x;h))， xeROI此时，与以所述目标区域内的像素x为中心的小区域上的图像 /。(W(x;h))和所述图像/Jx)之间的定义如下離，11)= Z |/o(W(X;h))-"x-ii)|2jtePatch式中，U^K，"2，lf是表示图像间的平行移动的向量，patch表示所述小区域，当所述SSD全部满足以下三个条件时，将与所述目标区域 内的像素X对应的所述掩模图像的像素值设定为1，在除此以外的情况 下设定为0，条件一所述SSD与平行移动相关的子像素位置偏差小于0.5 [像素];条件二所述SSD的最小值足够小； 条件三当进行了以所述SSD的最小值为中心的抛物线拟合时的水平方向和垂直方向上的二次系数中的任一个大于阈值。并且，本发明的上述目的是这样来更有效地达到的，即所述配准 由第一阶段配准和第二阶段配准构成，在第一阶段配准中，生成表示相 邻帧之间没有变化的像素的跟踪用掩模图像，并估计相邻帧之间的运动 参数，在第二阶段配准中，在用通过所述第一阶段配准估计出的运动参 数进行了变形的目标图像和参考图像之间，生成表示与参考图像对应良 好的目标图像中的像素的误差校正用掩模图像，使用所生成的误差校正 用掩模图像来重新估计与参考图像对应的目标图像的运动参数。


图1是用于说明本发明中的掩模图像生成方法的示意图。 图2是用于说明本发明中的第一阶段配准的示意图。 图3是用于说明本发明中的第二阶段配准的示意图。图4是示出使用本发明的图像配准方法的实验一的配准结果的图。 图5是分别示出实验一中本发明的掩模图像fiOO、 W「,(X)的面积变化、本发明的第一阶段、第二阶段配准后的平均SSD、以及使用现有的配准方法配准后的平均SSD的图。图6是示出在实验一中基于所估计的运动参数的距正解位置的距离的RMSE的图。图7是示出使用本发明的图像配准方法的实验二的配准结果的图。 图8是分别示出实验二中本发明的掩模图像G (" 、00的面积变化、本发明的第一阶段、第二阶段配准后的平均SSD、以及使用现有的配准方法配准后的平均SSD的图。图9是示出使用本发明的图像配准方法的实验三的配准结果的图。 图lO是分别示出在实验三中本发明的掩模图像S(x)、 M,(x)的面积变化、本发明的第一阶段、第二阶段配准后的平均SSD、以及使用现 有的配准方法配准后的平均SSD的图。
具体实施方式
通常，图像配准方法(以下简称为运动估计方法)可大致分类为基于特征的方法和基于区域的方法。本发明的图像配准方法属于基于区域的方法，是能应用于具有任意 形状的对象而不限于平面形状的对象的配准、并能针对照明变化和遮挡 进行鲁棒和高精度图像配准的图像配准方法。艮口，本发明是区域选择型图像配准方法，在该区域选择型图像配准 方法中使用了表示能根据平面投影变换模型高精度地进行近似的区域的 掩模图像。由于本发明的图像配准方法分两个阶段进行图像配准，因而 以下将本发明的图像配准方法简称为区域选择两阶段配准方法。在本发明的第一阶段中，为了针对照明变化和遮挡等实现鲁棒配准， 进行基于相邻帧之间的运动的配准。此时，同时利用掩模图像(以下该 掩模图像称为跟踪用掩模图像)。并且，为使目标区域的形状为一定，使 用所估计的运动参数，使目标帧(以下简称为目标图像)对应于参考帧 (以下称为参考图像)进行变形，之后进行运动估计。然后，在本发明的第二阶段中，为了补偿在第一阶段所估计的运动 参数内包含的累积误差，g卩，为了实现高精度的配准，在根据在第一阶 段中估计的运动参数进行了变形的目标帧和参考帧之间再次估计运动参 数，同时生成与该运动参数对应的掩模图像(以下该掩模图像称为误差 校正用掩模图像)。在本发明的图像配准方法中，通过进行这种两阶段配准，能应用于 具有任意形状的对象的配准，能针对照明变化和遮挡实现鲁棒和高精度 的图像配准。如背景技术中所述，导致使用现有的基于区域的方法的配准失败的 原因是将目标区域内的像素值全部同等地利用。在本发明中，不是按照现有的基于区域的方法那样将目标区域内的 像素值全部同等地利用，而是将以下作为着眼点，g卩在目标区域内， 仅使用形状或亮度相对于参考图像不变化的像素(即，表示通过平面投 影变换能准确地进行配准的区域的掩模图像的像素)来估计运动参数， 从而在原理上不受这种形状或亮度变化的影响。并且，在本发明中，通过重复交替地进行区域选择和运动参数估计，实现了高精度的图像配准。实际上，当使用本发明的图像配准方法针对参考图像进行输入图像 的配准时，按以下两个阶段进行。第一阶段是通过重复计算来同时估计时刻t的掩模图像fi(x)、以 及使用掩模图像2(x)的相邻帧之间的变换参数、"的阶段。第二阶段是在通过平面投影变换w(w(x;h"'-0;hM，J进行了变换的输入图像和参考图像之间求出时刻t的掩模图像^^/(X)，并使用求出的^^00来重新估计输入图像相对于参考图像的变换参数h'，o的阶段。如上所述，在本发明的图像配准方法中，利用了Q")和^^,(x)这 两种掩模图像。掩模图像fi,")表示在相邻帧之间没有变化的像素，以下称为跟踪用掩模图像。并且，掩模图像^^(x)表示与参考图像对应良好的输入图像中的像素，以下称为误差校正用掩模图像。另外，跟踪用掩 模图像和误差校正用掩模图像都与目标区域一样，用参考图像上的坐标系来表示。以下，参照附图更详细地说明本发明的图像配准方法。 <1>掩模图像生成方法如图1 (A)所示，假定通过根据某变换参数h对图像厶(x)进行变形，能在图像A")上大致进行配准。算式2<formula>formula see original document page 12</formula>此时，与以目标区域(ROI)内的像素X为中心的小区域(Patch)对应的图像J。(W(x;h》和^ O)之间的ssd ( Sum of Squared Difference, 平方差之和)按下述算式3来定义。算式3<formula>formula see original document page 12</formula>式中，u二[^，"2，1]是表示图像间的平行移动的向量。当全部满足以下三个条件时，将与目标区域内的位置x，即与像素x 对应的2值跟踪用掩模图像G(X)设定为1，在除此以外的情况下设定为o。并且，在误差校正用掩模图像M(x)的情况下，也与跟踪用掩模图像洲一样。 条件一与平行移动相关的子像素位置偏差应小于0.5 [像素](参照图1 (B) 和图1 (C))。图1 (B)示出SSD抽样，图1 (C)示出将二次曲线与 SSD抽样进行了拟合(parabola fitting,抛物线拟合)时的状况。当用算 式表示条件一时，为下述算式4。算式4'雖,
t)〈雖,[-1,0，1]t) 雖,
丁)<他[1，0，1]丁)'A(x，
T)<i (x，
t) 及(x,
t)〈及(x,
T)<2Scr 2x/^式中，S是小区域(Patch)的面积，":是图像内包含的正态白色噪声的方差，S(《0是调整参数。顺便说一下，在后述的使用本发明进 行的实验中，使用了 S是9 [像素]x9 [像素]的小区域(Patch)。并且，cf这一参数按摄影使用的相机和增益等的设定而不同，例如在使用 PointGrey公司制DragonFly(单板彩色VGA相机)的情况下，设cr" =3.5，在使用SONY公司制VX2000的情况下，设(7 =4.5。条件三要有纹理。即，当进行了以SSD最小值为中心的抛物线拟合时的水 平方向和垂直方向上的二次系数(省略R ()的描述。在将 i (W) = "W2+^/+C与R (1)、R (0)、R (1)拟合时，算式 =讽-1) +及(1))/2-i (O) 、 6 =及(1) —i (—1)、 c-及(O)全部成立)中的任一个要大于阈值。当用算式表示条件三时，为下述算式6。算式6'(雖,[-1,0， l]丁 ) + i (x， [i, 0， 1]T ))/2-i (x,
T)>/r25*(雖，
丁 ) + ， [0， 1， 1〗T ))/2-W(x，
T)>/r2lS式中，^ — 1《W是通过实验决定的调整参数。 <2>第一阶段配准第一阶段配准(以下简称为鲁棒配准)的目的是尽量在长时间内继 续进行对象跟踪。如图2所示，在第一阶段配准中，作为相邻帧之间的平面投影变换 W(x;lv一)与在前一时刻卜i已求出的针对参考图像的平面投影变换 W(x;h,—，,。)之积，求出针对时刻t的输入图像的变换参数。由于在相邻帧之间图像变化少，因而第一阶段配准不会严重失败。 因此，即使对象的亮度或形状相对于参考图像逐渐变化，也能进行鲁棒 配准。总之，在第一阶段配准中，求出使下述算式7所表示的目标函数最小化的运动参数h"-1和跟踪用掩模图像Q(x)。算式7<formula>formula see original document page 14</formula>式中，^-],o是针对前一帧已求出的运动参数，即第t一l个帧(时刻 t一l的输入图像)相对于参考帧(参考图像)的运动参数。h"'-，是相邻帧之间运动参数，即第t个帧(时刻t的输入图像)与第t一l个帧(时刻t一l的输入图像)之间的运动参数。7'(X)和仏")分别是时刻t和时刻t 一l的输入图像。由于跟踪用掩模图像GOO被定义在参考图像上，因而使用己求出的运动参数将输入图像变形成与参考图像一致，之后求出相邻帧之间的运 动参数。具体地说，按照从步骤1到步骤4的步骤，重复交替地求出相邻帧 之间的运动参数和跟踪用掩模图像。 步骤1:使表示重复次数的指数i初始化，即，设i-O。将在时刻t一l已求出的跟踪用掩模图像Gm(x)设定为时刻t的初始掩模图像Gr'、")。步骤2:使用跟踪用掩模图像0"(x)来求出使算式7最小化的相邻帧之间 的运动参数h'ti 。步骤3:首先，使用在步骤2求出的相邻帧之间的运动参数h"-i来生成进行 了平面投影变换后的图像"W(W(x;h"-i);hM，o》。然后，在所生成的图像"w(w(x;h"");h,-w》和图像；i(w(x;hf-i，o))之间使用在上述<1〉中所述的掩模图像生成方法来生成跟踪用掩模图像0<'+1>(x)。步骤4:判断相邻帧之间的运动参数的变化是否为恒定值以下。在相邻帧之 间的运动参数的变化为恒定值以下的情况下，判断为相邻帧之间的运动参数已收敛，作为相邻帧之间的运动参数而输出h^:，，结束第一阶段配准处理。另一方面，在相邻帧之间的运动参数的变化不为恒定值以下的情况下，即当11 h:1 一W^^ (7;表示在步骤4所说的恒定值)时， 判断为相邻帧之间的运动参数还未收敛，设i —i + l，之后回到步骤2。 <3〉第二阶段配准第二阶段配准(以下称为累积误差校正配准)的目的是校正在第一 阶段配准中产生的配准误差。如图3所示，在第二阶段配准中，在第一阶段配准中求出的图像 /,(W(W(x;lv,);h,—w))、即通过平面投影变换W(W(x; h"—!); h卜!.Q)进行了变换的时刻t的输入图像和参考图像之间，求出时刻t的误差校正用掩模图像^^00 ，通过使用求出的^^(x)重新估计时刻t的输入图像相对于参考图像的运动参数h,.o ，来校正配准误差。跟踪用掩模图像G(x)表示能在相邻帧之间的配准中利用的像素。由于相邻帧之间的变化一般较小，因而跟踪用掩模图像^")的面积不怎 么减小。与此相对，当输入图像相对于参考图像逐渐变化时，误差校正用掩模图像^'("的面积逐渐减小。在第二阶段配准中，由于使用误差校正用掩模图像^f(x)的区域，因而为了获得稳定结果，需要使误差校正用掩模图像^^(x)的区域大到某种程度以上。因此，当误差校正用掩模图像^,")的区域小时(即，在误差校正用掩模图像^^(x)的面积不满规定阈值的情况下)，不进行第 二阶段配准，而直接使用在第一阶段配准中求出的运动参数。总之，在第二阶段配准中，求出使下述算式8所表示的目标函数最小化的运动参数h"Q和误差校正用掩模图像^^(x)。算式8&(h"0)= Z M洲/,(W(x;h,'o))-/0(x)|2xsROI式中，作为平面投影变换w";h,.o)的初始值w(x;h-)，使用在第一阶段配准中求出的平面投影变换w( w(x; h"-i); hf-i,o)。具体地说，按照从步骤5到步骤9的步骤求出运动参数h,.o (即，时刻t的输入图像相对于参考图像的变换参数)和误差校正用掩模图像。与第一阶段配准不同，在第二阶段配准中，不重复进行从步骤5到步骤9 的步骤。步骤5:将在第一阶段配准中求出的平面投影变换W(W(X; h"-i); h,-i,o )设 定为平面投影变换W(x;hM))的初始值W(^1^，)。步骤6:在通过平面投影变换W(x力!t)进行了变换的时刻t的输入图像、即图像人(W(x;h:》和参考图像A)(x)之间，使用在上述(1)中所述 的掩模图像生成方法来生成误差校正用掩模图像^^b(x)。步骤7:判断在步骤6中生成的误差校正用掩模图像^^^(x)的面积是否不 满规定阈值。在误差校正用掩模图像^^"^x)的面积不满规定阈值的情况下，作为运动参数而输出h，^，结束第二阶段配准处理。此时针对时刻t 的输入对象的配准处理全部结束。这里，需要根据时间序列图像的运动 特性、目标区域中的掩模区域的重心位置、掩模区域的分布等来调整规 定阈值。另外，在后述的使用本发明进行的配准实验中，将规定阈值设 定为20 [像素]x20 [像素]。 步骤8:在误差校正用掩模图像^C^^)的面积是规定阈值以上的情况下， 使用在步骤6中生成的误差校正用掩模图像^C^(x)来求出使算式8最小化的h,t，将其作为运动参数而输出，结束第二阶段配准处理。因此， 针对时刻t的输入对象的配准处理全部结束。步骤9:最后，在图像厶(w(x;h^))和参考图像厶(x)之间，使用在上述(l)中所述的掩模图像生成方法来生成误差校正用掩模图像^^<2>")，以便 用于确认。<4〉初始值估计在后述的使用本发明进行的配准实验中，为了估计在第一阶段配准 中求出的相邻帧之间的运动参数的初始值，利用了如下的分级检索法(参照非专利文献23)。不过，将级别限制成使缩小图像中的目标区域的面积 不小于25 [像素]x25 [像素]。 <5〉重复计算的高速化在本发明的图像配准方法中，首先，在第一阶段配准中，也需要进 行使用梯度法的运动参数估计，其中该梯度法利用了重复计算(将重复次数设定为ig)，并且只进行与跟踪用掩模图像Q(X)同时进行估计用的重复计算(将该重复次数设为ir)。然后，在第二阶段配准中，需要仅执 行一次梯度法(将该重复次数也设为ig)。在初始的梯度法中，需要每次重复计算输入图像的赫斯(Hessian) 矩阵。因此，在本发明中，需要针对各帧图像求出赫斯矩阵(igxif + ig)次，与不进行区域选择的通常梯度法相比较，计算量大幅增加。另外，提出了一种高速化方法，该方法取代每次重复计算输入图像 的赫斯矩阵而仅计算一次参考图像的赫斯矩阵来利用(参照非专利文献 15)。在本发明中，通过利用非专利文献15中公开的该高速化方法，在 第一阶段配准中，针对各帧图像进行一次赫斯矩阵的计算即可，然后在 第二阶段配准中，由于可在预处理中预先计算，因而可实现计算的大幅 高速化。<6〉利用本发明进行的配准实验结果以下，使用本发明的图像配准方法(以下简称为本发明)，利用实际 图像来进行若干配准实验，确认了本发明的有效性。即，通过后述的配 准实验确认了不仅是平面，还能应用于具有任意形状的对象，并且确认了相对于照明变化和遮挡的鲁棒性以及配准的高精度性的本发明独特的 优良效果。在后述的配准实验中，将PointGrey公司制DragonFly的单板彩色 VGA相机(30FPS)固定后加以利用。在配准中，在去马赛克处理后， 利用变换后的亮度分量。实验一 (与现有方法的比较实验)首先，进行对本发明和现有的图像配准方法(以下简称为现有方法) 进行比较的配准实验。在实验一中，使用由300帧构成的时间序列图像，目标区域(ROI) 的尺寸是200 [像素]x200 [像素]。并且，跟踪对象是贴附在固定平面 上的航拍的海报。为了形成照明变化和遮挡，使手在海报上移动。手的 影子相当于照明变化，手的部分成为遮挡。在实验一中，由于在使相机固定的状态下拍摄不移动的固定的平面 形状的对象(航拍的海报)，因而，由于对象位置不变化，成为正解的运 动参数当然成为单位矩阵。通过实验一确认如下在有照明变化或遮挡的情况下，即使在使用 现有方法而产生配准失败的状况下，通过使用本发明，能高精度地进行 配准而不会失败。图4示出实验一的配准结果。如图4所示，示出针对在实验一中利 用的时间序列图像中的一部分图像(即，第1帧、第72帧、第150帧、 第240帧)的配准结果。具体地说，图4 (A)示出设定在参考图像(作为开头帧的第l帧) 中的目标区域(ROI)的跟踪结果。而且，图4 (B)示出针对目标区域 (ROI),根据所估计的运动参数对输入图像整体进行了平面投影变换的 图像。只要准确地估计出运动参数，就会静止显示目标区域。另外，在 图4 (B)中，用浅蓝色表示跟踪用掩模图像。图4 (C)示出目标区域(ROI)中的跟踪用掩模图像G(x)。图4(D)示出目标区域(ROI)中的误差校正用掩模图像^^(x)。从图4(C) 和图4 (D)可知，当有因手的影子引起的照明变化或因手引起的遮挡时，尽管相对于参考图像的误差校正用掩模图像^^(x)的面积会减小，但由 于跟踪用掩模图像G")不怎么受影响，因而可继续进行跟踪。另一方面，当消除了因手的影子引起的照明变化或因手引起的遮挡时，相对于参考图像的误差校正用掩模图像^^(x)的面积会增加。图5 (A)示出在实验一中使用的跟踪用掩模图像^W和误差校正 用掩模图像^"x)的面积变化。从图5 (A)可以看出，虚线所示的跟踪 用掩模图像的0(x)的面积在有因手引起的遮挡的期间减少，而通过所有帧确保了进行跟踪用的足够面积。图5 (B)示出在实验一中虚线所示的第一阶段配准后和实线所示的 第二阶段配准后的平均SSD。这里所说的平均SSD是将在判断为基于梯 度法的重复已收敛时的图像间的SSD (最小SSD)除以掩模图像的面积 后的结果。从图5 (B)可知，在第一阶段配准中，平均SSD总是为低的值， 表示可稳定且高精度地进行配准。另一方面，在第二阶段配准中，随着 输入图像相对于参考图像而变化，平均SSD也增加。在图5 (B)中，表 示第二阶段配准后的平均SSD的实线中断的区间表示，由于图5 (A)中 的实线所示的误差校正用掩模图像^fOO的面积减小而不进行第二阶段 配准的帧。图5 (C)示出在实验一中使用现有的配准方法的结果，即示出使用 全部利用目标区域内的像素的分级检索法和梯度法的配准后的平均 SSD。从图5 (C)可以看出，在使用直接利用目标区域且不进行区域选 择的现有的配准方法进行图像配准的时候，当在目标区域内有照明变化 或遮挡时，该平均SSD单调增大，最后导致配准失败。图5 (C)中的平 均SSD的值是一个比在利用了图5 (B)的本发明的掩模图像的情况下的 平均SSD大出2位数的值。图5 (C)的平均SSD非常大不仅表示配准 可能不稳定，还表示配准不准确。在实验一中，由于运动是事先己知的，即由于成为正解的运动参数 是单位矩阵，因而根据基于所估计的运动参数的位置误差评价了运动估计精度(参照非专利文献15)。图6示出在实验一中使用了设定在目标区域内的200x200处的位置的、基于所估计的运动参数的距正解位置的距 离的RMSE (Root Mean Square Error;均方根误差)。具体地说，在图6中，将基于在(4)中所示的实线表示的本发明的区域选择两阶段配准方法的配准与如下配准进行了比较与使用在(1) 中所示的实线表示的现有的配准方法(即，全部利用目标区域的分级检索法和梯度法)的输入图像和参考图像的直接配准，使用在(2)中所示 的虚线表示的现有的配准方法(即，全部利用目标区域的分级检索法和 梯度法)的相邻帧之间的运动的累积的配准，以及仅使用在(3)中所示 的虚线表示的本发明的第一阶段配准的配准。从图6可知，基于(1)和(2)的现有的配准方法的配准在72帧附 近跟踪失败，而基于(3)的本发明的第一阶段配准和基于(4)的本发 明的区域选择两阶段配准方法成功跟踪到最终帧。并且，在(3)的本发 明的第一阶段配准方法中，随着时间经过，位置误差逐渐增大，而在(4) 的本发明的区域选择两阶段配准方法中，从第二阶段配准再次开始的186 帧附近，再次开始高精度的跟踪。实验二 (非平面对象的鲁棒跟踪实验)在实验二中，跟踪对象是直径约14 [cm]的地球仪，用手使其慢慢 向左右旋转，使用拍摄了作为跟踪对象的地球仪的由300帧构成的时间 序列图像，目标区域(ROI)的尺寸是100 [像素]xl00 [像素]。通过实验二确认如下即使跟踪对象具有非平面的形状，也能使用 本发明的区域选择两阶段配准方法进行鲁棒跟踪。图7示出实验二的配准结果。如图7所示，示出针对在实验二中利 用的时间序列图像中的一部分图像(即，第1帧、第104帧、第187帧、 第283帧)的配准结果。具体地说，图7 (A)示出设定在参考图像(作为开头帧的第l帧) 内的目标区域(ROI)的跟踪结果。然后，图7 (B)示出针对目标区域 (ROI)，根据所估计的运动参数对输入图像整体进行了平面投影变换后 的图像。另外，在图7 (B)中，用浅蓝色表示跟踪用掩模图像。图7 (C)示出目标区域(ROI)中的跟踪用掩模图像fi(x)。图7 (D)示出目标区 域(ROI)中的误差校正用掩模图像^^(x)。图8 (A)示出在实验二中使用的跟踪用掩模图像0")和误差校正 用掩模图像^^"x)的面积变化。图8 (B)示出在实验二中虚线所示的第 一阶段配准后和实线所示的第二阶段配准后的平均SSD。并且，图8 (C) 示出在实验二中使用现有的配准方法的结果，即示出使用全部利用目标 区域内的像素的分级检索法和梯度法的配准后的平均SSD。从图8可知因为本发明的跟踪用掩模图像0(X)的面积被保持得较 大(参照图8 (A)的虚线)，还有与全部利用目标区域的现有的配准方 法(参照图8 (C))相比较，本发明在平均SSD为小值的状态下推移(参 照图8 (B)的虚线)，因而与跟踪对象是非平面无关，使用本发明可良 好地进行跟踪。并且，从图8可知由于目标区域的照明变化，本发明的误差校正用掩模图像^^(x)—时消失，存在不进行第二阶段配准的期间(参照图 8 (B)的实线)，然而当作为跟踪对象的地球仪的旋转角度复原时，误差校正用掩模图像^^(x)恢复，通过第二阶段配准来校正累积误差。实验三(脸的鲁棒跟踪实验)在实验三中，跟踪对象是在室内拍摄的人物的脸，由于在固定的室 内照明下使脸的方向变化，因而有照明变化，并且，脸不仅仅是非平面， 而且形状也有少许变化。在实验三中，使用拍摄作为跟踪对象的脸所得的由600帧构成的时间序列图像，目标区域(ROI)的尺寸是90 [像素] xlOO [像素]。通过实验三确认如下:.即使是在现有的区域的配准方法中通常不被 使用的跟踪对象，也能使用本发明的区域选择两阶段配准方法进行鲁棒跟踪。图9示出实验三的配准结果。如图9所示，示出针对在实验三中利 用的时间序列图像中的一部分图像(即，第1帧、第104帧、第460帧、 第555帧)的配准结果。具体地说，图9 (A)示出设定在参考图像(作为开头帧的第l帧)内的目标区域(ROI)的跟踪结果。并且，图9 (B)示出针对目标区域(ROI)，根据所估计的运动参数对输入图像整体进行了平面投影变换后 的图像。另外，在图9 (B)中，用浅蓝色表示跟踪用掩模图像。图9 (C)示出目标区域(ROI)中的跟踪用掩模图像Q(x)。图9 (D)示出目标区域(ROI)中的误差校正用掩模图像^,(x)。图10 (A)示出在实验三中使用的跟踪用掩模图像fi")和误差校正 用掩模图像^f(x)的面积变化。图10 (B)示出在实验三中虚线所示的第 一阶段配准后和实线所示的第二阶段配准后的平均SSD。并且，图10(C) 示出在实验三中使用现有的配准方法的结果，即示出使用全部利用目标 区域内的像素的分级检索法和梯度法的配准后的平均SSD。从图10可知在实验三中使用的时间序列图像中，由于输入图像相 对于参考图像的变化多，因而本发明的第二阶段配准只进行到初始期间， 即进行到第25帧。然而，从图10可知因为本发明的跟踪用掩模图像fi^)的面积被保持得较大(参照图10 (A)的虚线)，还有与全部利用目标区域的现有 的配准方法(参照图10 (C))相比较，本发明在平均SSD为小值的状态 下推移(参照图10 (B)的虚线)，因而即使是人物的脸那样的非平面且 形状也变化的跟踪对象，只要使用本发明，即使不利用第二阶段配准来 进行累积误差的校正，也能继续进行良好跟踪(参照图9 (B))。另外，在上述本发明的实施方式中，在进行图像配准时，根据平面 投影变换进行了图像变形，然而本发明中所说的平面投影变换不仅仅是 平面投影变换，作为平面投影变换的特殊情况，还包含仿射变换、比例 变换、旋转变换、平行变换以及采用它们的组合的变换。产业上的可利用性本发明的图像配准方法是区域选择型图像配准方法，该区域选择型 图像配准方法中使用表示可根据平面投影变换模型高精度地进行近似的 区域的掩模图像。在本发明的图像配准方法中，其特征在于，当估计变换参数(运动 参数)时，利用表示通过平面投影变换准确地进行了配准的区域的掩模图像。实际上，重要的特征在于，在使用本发明的图像配准方法进行配准 时，进行第一阶段配准和第二阶段配准，在第一阶段配准中，为了针对 照明变化和遮挡等实现鲁棒的配准，而生成跟踪用掩模图像，并且进行 基于相邻帧之间的运动的配准，在第二阶段配准中，为了补偿在第一阶 段配准中估计的运动参数内包含的累积误差，即为了实现高精度的配准， 而在根据在第一阶段配准中估计的运动参数进行了变形的目标帧(目标 图像)和参考帧(参考图像)之间再次估计运动参数，同时生成与该运 动参数对应的误差校正用掩模图像。根据具有上述特征的本发明的图像配准方法，由于目标图像和参考 图像之间的配准是通过进行这种两阶段配准来进行的，因而可取得这样 的本发明独特的优良效果，即不仅对于平面对象，而且对于具有任意 形状的对象，都能针对照明变化和遮挡实现鲁棒和高精度的图像配准。<参考文献一览〉非专利文献l:工^."一. (L. G. Brown)著，「7—廿一《< 才71/^7>卜1/一>3> 亍夕二、乂夕 (A Survey of Image Registration Techniques) J'ACM 〕>tf:i — x<>々* 廿一《^7:(ACM Computing Surveys) ,1992年12月，第24巻，第4号，p. 325-376(图像配准技术综述，ACM计算综述，1992年12月，第24巻， 第4号，p. 325-376)非专利文献2:tf一.^卜八(B. ZUova) 、 y工寸.7 ， 、乂 >亇_ (J. FJusser) 共著，「 <一 "1/^7卜1/一5>3>乂V、;/卜' 7— 廿一《< (Image Registration Methods: A Survey)」— 7 > 卜' 匕' y 3 >〕 〉 tf工 一 亍 < 〉夕* (Image and Vision CompuUng) ,2003年 10月，第21巻，第11号，P. 977-1000(图像配准方法综述，图像和视频计算，2003年10月，第21巻，第11号，p. 977-1000)非专利文献3:工厶./，、乂夕(M. Black)、工<."工/、乂> (A. Jepson)共著， 「7< ，* >一卜，、乂年>^ : 口八7卜7';/^:/夕:7 〉卜''卜，'乂 牛〉^才77 —亍一牛工1^<亍、乂卜*才/"工夕卜 江一^>^匕'工--《—7 h'J "7'D七* >"亍一 〉3 〉 (Eigen-Tracking: RobustMatching and Tracking of Articulated Objects using a View-Based Representation) j,^〉夕一于^3于^"卞一f^ 才7 〕〉tf a —夕 匕'y 3 > (International Journal of Computer Vision) ,1 998年，第26巻，第号，p.63-84(特征跟踪使用基于阅览的表示的关节物体的鲁棒匹配和跟踪， 《国际计算机视觉杂志》，1998年，第26巻，第l号，p. 63-84)非专利文献4:i 一. f一. 八一力一 (G. D. Hager) 、bf — . 工7. 《^t:x厶 —(P. N. Belhumeur)共著，「工7 < 卞 > 卜 'J 一 9 3 > 卜，、乂 牛；> ^ 々,文 八'，义卜'J '乂夕 乇X 才7 "才乂卜'J 一 7 >■ F 》5氺一 -> 3 >( Efficient Region Tracking withParametric Models of Geometry and II lutninat ion) J , I EEE 卜 才>"夕一>7于)」->77>F7、>一> 4>亍'上 'y 工〉久 〈IEEE - Trans,on Pattern Analysis and Machine Intelligence) ， 1 998年10月，第20巻，第10号，p. 1 025- 1 039(使用几何和照明的参数模型的有效区域跟踪，《正EE图形分析和 机器智能学报》，1998年10月，第20巻，第10号，p. 1025-1039)非专利文献5:亍<—.^v力7 (T. Ishikawa) 、 了 < . 7-〉工一 ；C (I. Matthews )、工7.《<力一 (S. Baker)共著，「工7吖v亇〉卜 一乂一^75<;<>卜 々一父7，卜，47— U^工夕卜3〉 (Efficient Image Alignment with Outlier Rejection)」，x夕 k求 一 卜 CM U — ri-tR-02 — 27 (Tech. Report CMU-RI-TR-02-27) , 口 * 于-r夕7 "f^x亍^于二一卜(Robotics Institute),力一氺年一 乂口 >工二A—〉于一一 (Carnegie Mel Ion Univers i ty) ,2002年0月(使用离群值剔除的有效图像配准，技术报告CMU-RI-TR-02-27, 机器人技术学会，卡内基美隆大学，2002年10月)非专利文献6:工7. ^:xll;i— (F. Jurie)、工厶. 卜* —厶(M. Dbome〉共著'「 U7^ 夕<厶 口A又卜 亍〉/P—卜 7 、乂于〉夂(Real Time Robust Template Matching)」、4 > 7* 口 '乂夕 才7 :/ U于才、乂 〉 工 7 v — :> t:' i 3 〉 力；/ 7 7 k >" 7 ( In Proc. of Bri Ush Machine Vision Conference) , 2002年9月，p. 123-132(实时鲁棒模板匹配，《英国机器视觉会议会志》，2002年9月，p. 123-132)非专利文献7:工^.v亇i/工7 (A. Shashua) 、 々工夕7 ， 一 (Y. Wexler)共著，「Q —7一^〉夕'^^fl/夕卜〕〉匕工一亍一〉3〉 才 7 夕才一H，亍Y、乂夕 U77l^>7 廿一7一又(Q—Warping: Direct Computation of Quadratic Reference Surfaces) J , i EEE 卜5 〉人.才 > 八'夕一 > 7 * u 7 7 〉卜'7 — > 4 >亍 U y工> 7> ( IEEE Trans, on Pattern Analysis and Machine Intel) igence) , 200 1年8月，第23巻，第8号'p. 920-925(Q翘曲二次参考表面的直接计算，《正EE图形分析和机器智能 学报》，2001年8月，第23巻，第8号，p. 920-925)非专利文献8:亍-f —.工7.夕一、乂 (T. F. Cootes)、"工<.工K7 —义(J. Edwards) 、 > —.^工.亍一，(C. J. Taylor)共著，「7夕亍^ "7* 7tf7，》义乇力W (Active Appearance Models) J 、 I EE E卜5>又.才>/1夕一〉7于U、〉X7〉H75/ — ；> < ;>亍U 工 > 义 (IEEE Trans, on Pattern Analysis and Machine Intell igence) , 2001年6月，第.23巻，第6号，p. 681-685(活动外观模型，《正EE图形分析和机器智能学报》，2001年6月， 第23巻，第6号，p. 681-685)非专利文献9:— . :/— 7 7 < (P. Bouthemy) 、 <一. 7 ， > 〕 -f又 (E. Francois)共著，「乇一-〉3> 七^^>亍一5>3> 7>H 夕才U 歹4于5、y夕 、> —〉7于D、〉X 7口厶 ^义一^ 〉一 ^ > 7 (Motion SegmenUUon and Qualitative Dynamic Scene Analysis fro迈an Image Sequence) J , < >夕 一 少> 3于A i"7卞 一 于 ^ 才7 〕>tfjx —夕 tf"3>( International Journal of Computer Vision,) , 1 993年，第10巻，第2号，p.157-182(按图像顺序的运动分割和定性动态景物分析，《国际计算机视觉杂 志》，1993年，第10巻，第2号，p. 157-182)非专利文献10:7吖.八卜，7> (I. Patras)、 < 一. 工<.八〉'F'J夕7 (E. A. Hendriks) 、 7 — ^. 工Jh ，-工>夕*<夕(R. L. Lagendijk)共 著，「7〉 <>夕一1/<亍<- 乇一'>3〉 工7f^X^3^ —七 :jf / y于一-〉3〉 乂、乂':/卜'l — :^>^ 々才一夕一^工、乂卜'七^ y > 、乂 (An Iterative Motion Estimation-Segmentation Method using Watershed Segments) j,:f〉 7"口、乂夕 <〉夕一于->"3少/^ 力> 才〉:/口七'乂-;/〉^Un Proc. of IEEE International Conference on Image Processing) ,1 998年10月，第2 巻，p.642-64 6(使用分水岭分割的迭代运动估计分割方法，《国际图像处理会议会志》，1998年10月，第2巻，p. 642-646)非专利文献ll:工厶.工厶.于亇〉(M. M. Chang)、工<.工厶.r力A.:/ (A. M. Tekalp)、工厶.7<. 七廿> (M. I. Sezan)共著，「廿<7几 亍^f二7X 乇一v3〉 工7>亍<;< —v3> 7>卜'七y乂〉亍一 、〉3 > (Simultaneous Motion Estimation and 'Segmentation) J , I E EE 卜5>7>. 才> ^y — 2 :/口七、:/v〉y (IEEE Trans, on Image Processing) ， 1 9 97年9月，第6巻，第9号，p. 1 326-1 333(同时运动估计和分割，《IEEE图像处理学报》，1997年9月，第6 巻，第9号，p. 1326-1333)非专利文献12-工厶.4，二 (M. Irani) 、 t 一. ^一V7 (B. Rousso)、工X. 《k， (S. Peleg)共著，「〕 > tf工一于^ 〉夕'才牛xU工一x^TV ^ 7〉卜' 卜，〉7《7l^〉卜 乇一v3〉( Computing Occluding and Transparent Motions) j , 4 :>夕一于-> 3 t》 i^亇一f》 才7 〕> tf 二 一夕 t:'3 > (International Journal of Computer Vision )，1 994年2月，第12巻，第1号(计算遮挡和透明运动，《国际计算机视觉杂志》，1994年2月，第12巻，第l号)非专利文献13:深尾隆則.金出武雄共著，r才夕^一-3〉匕対LT口A'X卜^2段階 特徴点追従7 ^ ^ U义厶_!,情報処理学会，2003年11月，CVIM-141,p. 1U-118(针对遮挡的鲁棒的两阶段特征点跟踪算法，《信息处理学会》，2003 年11月，CVIM-141， p. 111-118)非专利文献14:<formula>formula see original document page 29</formula>Analysis and Machine Inte 11 igence) ,2003年12月，第25巻，第12号(使用从时间和多尺度共现统计所估计的非参数图像运动模型的运 动识别，《正EE图形分析和机器智能学报》，2003年12月，第25巻，第 12号)非专利文献15:工又.A —力一 (S. Baker) 、 7 、>工一 ；C (I. Matthews)共著，「^ —力又一力于f2047 —文才>:7— 工二77汀 >夕* 71/ —厶7 —夕 (Lucas-Kanade 20 Years On: A Unifying Framework)」，<>夕一于->3于儿 ^卞一于几才7 〕>匕1一夕 匕'-73 〉 (International Journal of Computer Vision) ，2004年3月 ，第56巻，第3号，p. 22 1 -255(卢卡斯.卡纳德法走过20年:一致化框架，《国际计算机视觉杂志》，2004年3月，第56巻，第3号，p. 221-255) 非专利文献16:工厶.1/<-:>工一几(M, Gleicher)著，「 /口 ^工夕亍^ :/ 1/^7Projective Registration with Difference Decomposition) J 、 口 、乂夕 才7 IEEE 吖〉夕一于〉3于^ 力>:771^>又 才〉 〕>匕。工一夕 tf"3〉 7>F 八°夕一> 1^〕夕*二-〉3> (Proc. of IEEE International C.onference on Computer Vision and Pattern Recognilion〉，廿> 7 7 > , 7义U力自治領/工^卜 U〕 (San Juan, Puerto Rico) , 1 997年6月，p.33 1 -337(具有差分分裂的投影配准，《正EE国际计算机视觉和图形识别会 议会志》，美国自治领地波多黎各，圣胡安，1997年6月，p. 331-337)非专利文献17:tf —. 几一力7 (B. Lucas) 、 x一一..力于f (T. Kanade)共著'「 7〉 "f夕k一亍一y <乂一、:>* V'2X卜l^一v3〉 亍夕二'乂夕 々Y乂 7〉 7^y亇一X3;v 卜々一 又亍k才 tf^3〉(An Iterative Image Registration 'Technique with 'an Application to Stereo Vi s i on〉」，/口'乂夕才7 O夕 一 于v 3 夕3 < >卜力〉77k〉7 才> 7—亍一7^v中^ 寸〉亍U^工〉7( Proc. of International Joint Conference on Artificial Intelligence),八'> 夕 一 八'力于^ (Vancouver, Canada) ,1981年4 月，p.674-679(应用于立体视觉的迭代图像配准技术，《国际人工智能联合会议会 志》，加拿大，温哥华，1981年4月，p. 674-679)非专利文献18:工<于.i;7寸. >工—厶(h. y. Shum)、7-^. 七一U7牛一 (R. Szeliski)共著，「〕>^卜，夕、>3> 才7 /、 / ， 5 '乂夕壬 廿 < 夕 0 — 乂 夂口 一八'^ 7 >卜* 口 一力》 7 ， 4 >卜( Construction of Panoramic Mosaics with Global and Local Alignment) J ， 4 >夕 一 于3于^ i^亇一于几才7 > tf工 一 夕 tfy3 > (International Journal of Computer Vision) ,2002年7月 ,第48巻，第2号，p. 151-152(具有全局和局部配准的全景马赛克的结构，《国际计算机视觉杂 志》，2002年7月，第48巻，第2号，p. 151-152)非专利文献19:工厶. v三文(M. Shimizu)、工厶.才夕卜5 (M.Okutomi)共著， 「7Jl/于一"，乂一夕 、〉5二1/一';/3;> 工只x^;^ — V3〉 才〉 工U7 —《一7B 7、;/于>:^ (Multi-Parameter Simultaneous Estimation o.n Area-Based Matching)」，<>夕一大':>3于^ -7卞一 于J1/ 才7 3 > tf 二 一夕 If ^ 3 > ( Internat ionalof Computer Vi s ion) 、 2 0 0 6年(针对基于区域的匹配的多参数同时估计，《国际计算机视觉杂志》， 2006年)非专利文献20:張馴槿 清水雅夫 奥富正敏共著，r画像0k-; x卜k一^3 〉f:右〖，S超平面交差法0高速化手法」，電子情報通信学会論文誌，2006年2月， 第J89-D巻，第2号，p. 332-343(图像配准中的超平面交叉法的高速化方法，《电子信息通信学会论 文志》，2006年2月，第J89-D巻，第2号，p. 332-343)非专利文献21:亍<—.力于f (T. Kanade)、工厶.才夕卜5 (M. Okuto迅i)共著， 「7— X亍l/才 7^3U;C厶々Y乂 7> 7夕'7'亍^7 々,>卜'々 v才U— 7>卜* 工夕7《iJ义〉卜(AStereo Matching Algorithm with an Adaptive Window: Theory and Experiment) j，IEEE 卜5>7. 才〉"夕一> 7于U卜7 7>卜*7 -Ti^xU-;^:^;^ IEEE Trans, on PatternAnalysis and Machine Intelligence) ,1 994年9月，第 16巻，第9号 ，p.920-932(具有自适应窗的立体匹配算法理论和实验，《IEEE图形分析和 机器智能学报》，1994年9月，第16巻，第9号，p. 920-932)非专利文献22:工厶.才夕卜S (M. Okutomi)、亍<—.力于f (T. Kanade)共著， 「7— 7^于7^1/ 《一7，4〉 7于k才(A Multiple Baseline Stereo)」，IEEE 卜，>又.才> 八'夕_> 7于U、〉X.7〉 卜* 7 v — > < >亍U 〉*工；> 7 (IEEE Trans, on Pattern Analysis and Machine Intelligence) ,1993年4月，第15巻，第4号，p.353-3 63(多基线立体，《IEEE图形分析和机器智能学报》，1993年4月，第 15巻，第4号，p. 353-363)非专利文献23:夕工<.7 — JK 《Jl/亇'〉(J. R. Bergen)、匕一.7于 > 夕* 〉( P. Anandan)、亇汀.^工汀.八>于(K. J. Hanna) 、 7 — ^. 匕> 〕""，二一 (R. Hingorani)共著，「八4工5 —亍力^ 乇5^k —《一7 K 乇一〉s:y 工7亍^y — 、〉3乂 (Hierarchical Mode卜Based Motion EsUmation) J , < ;> :/口、乂夕 才7 3 — 口 t！ 7 〉 力>7 7k〉7 才> 3>匕工一夕 tr^3>(In Proc. of European Conference on Computer Vision) , 夕D 7共和国，廿 > 夕 7几yiJ —夕iJ年工工一J1/ (Santa Margherita Liguere) , 1 992年，p. 237—25 2(基于分层模型的运动估计，《欧洲计算机视觉会议会志》，意大利共和国，圣'马格丽塔，利古雷，1992年，p. 237-252)
权利要求
1.一种图像配准方法，其在拍摄对象所得的时间序列图像中的参考图像和目标图像之间进行高精度的配准，该图像配准方法的特征在于，将所述参考图像上的规定区域设定为目标区域，在进行所述配准时，在所设定的所述目标区域内，根据掩模图像的像素来估计运动参数，该掩模图像表示能通过规定变换准确地进行配准的区域。
2. 根据权利要求l所述的图像配准方法，其特征在于，通过利用图 像间的相似性评价来生成所述掩模图像。
3. 根据权利要求2所述的图像配准方法，其特征在于，所述规定变 换是平面投影变换、仿射变换、比例变换、旋转变换、平行移动或者采 用它们的组合的变换。
4. 根据权利要求3所述的图像配准方法，其特征在于，在用ROI表示所述目标区域，并且通过用某变换参数h使图像^(X)变形而大致能在图像A00上配准的情况下，下面的算式成立 <formula>formula see original document page 2</formula>此时，以所述目标区域内的像素x为中心的小区域上的图像"^"h))和所述图像AW之间的SSD定义如下<formula>formula see original document page 2</formula>xePatch式中，u二[w""2，l]T是表示图像间的平行移动的向量，Patch表示所述小区域，当所述SSD全部满足以下三个条件时，将与所述目标区域内的像素 X对应的所述掩模图像的像素值设定为1 ，在除此以外的情况下设定为0， 条件一-所述SSD与平行移动相关的子像素位置偏差小于0.5 [像素]; 条件二所述SSD的最小值足够小；条件三当进行了以所述SSD的最小值为中心的抛物线拟合时的水平方向和 垂直方向上的二次系数中的任一个大于阈值。
5.根据权利要求4所述的图像配准方法，其特征在于，所述配准由第一阶段配准和第二阶段配准构成，在所述第一阶段配准中，生成表示相邻帧之间没有变化的像素的跟 踪用掩模图像，并估计相邻帧之间的运动参数，在所述第二阶段配准中，在用通过所述第一阶段配准估计出的运动 参数进行了变形的目标图像和参考图像之间，生成表示与参考图像对应 良好的目标图像中的像素的误差校正用掩模图像，使用所生成的误差校 正用掩模图像来重新估计目标图像相对于参考图像的运动参数。
全文摘要
本发明提供一种图像配准方法，该方法是用于估计时间序列图像中的目标图像和参考图像之间的运动的区域选择型图像配准方法，可应用于具有任意形状的对象的配准，可针对照明变化和遮挡进行鲁棒和高精度图像配准。该方法是在拍摄对象所得的时间序列图像中的参考图像和目标图像之间进行高精度配准的图像配准方法，将参考图像上的规定区域设定为目标区域，在进行配准时，在所设定的目标区域内，根据表示通过平面投影变换能准确地进行配准的区域的掩模图像的像素，来估计运动参数。通过利用图像间的相似性评价来生成掩模图像。
文档编号G06T7/20GK101405768SQ20078001017
公开日2009年4月8日 申请日期2007年3月23日 优先权日2006年3月23日
发明者奥富正敏, 张驯槿, 清水雅夫 申请人:国立大学法人东京工业大学