CPU40执行存储在该R0M41或RAM42中的程序，实现图像处理装置中的各种处 理。上述存储装置43是保存输入图像等的磁存储装置。存储装置43也可以具备非易失性 半导体存储介质（例如，闪存存储器）。此外，也可以利用经由网络等连接的外部存储装置。
[0051] 也可以是，CPU40执行的程序保存在存储介质50(例如光盘）中，介质输入部 45 (例如光盘驱动器）将该程序读入并向RAM42保存。此外，也可以在存储装置43中保存 该程序，从存储装置43将该程序装载到RAM42中。此外，也可以在R0M41中预先存储该程 序。
[0052] 图像输入部44是被输入由图像摄像装置49拍摄的图像的接口。CPU40使用从图 像摄像装置49输入的图像执行各处理。介质输入部45将存储在存储介质50中的数据及 程序读出。从存储介质50读出的数据及程序被CPU40向RAM42或存储装置43保存。
[0053] 输入控制部46是受理由用户从输入装置51 (例如键盘）输入的操作输入的接口。 输入控制部46接受到的操作输入由CPU40处理。图像生成部47例如根据由图1所示的浮 动图像变形部17变形后的浮动图像12生成图像数据，将所生成的图像数据向显示器52发 送。显示器52将该图像进行画面显示。
[0054] 接着，使用图1所示的图像处理装置和图3所示的流程图，说明有关实施方式1的 图像处理装置的动作。这里，图3是表示图1所示的图像处理装置的动作的流程图。
[0055] 开始处理（在图3中，开始），在步骤S101中分别输入参照图像11和浮动图像12。 特征点检测及对应建立部14在步骤S102中从各个图像提取图像的特征点，检测相互对应 的特征点的对。在步骤S102中，还基于检测出的特征点的对提取对应点对。
[0056] 特征点在图像中被赋予给特征性的图像部分。关于特征点在后面使用图4详细地 说明，各个特征点具有特征量。在参照图像中的特征点与浮动图像中的特征点之间，求出特 征量的距离。将求出的特征量的距离最小的两个特征点作为相互对应的特征点（特征点的 对）。即，将其具有的特征量间的距离最小处的1对特征点作为特征点的对。基于构成特征 点对之处在参照图像中的特征点，从参照图像提取与该特征点对应的位置。同样，基于构成 相同的特征点对之处在浮动图像中的特征点，从浮动图像提取与该特征点对应的位置。该 提取出的位置为与特征点的对对应之处的对。
[0057] 在步骤S102中，这样进行多个特征点的对的提取。即，进行多个对应点对的提取。 在提取出的多个特征点的对中，也存在例如特征量间的距离比较大的特征点的对。这样的 特征点的对由于可靠性较低，所以作为误对应点对在步骤S103中排除。通过步骤S103,形 成除去了误对应点对的对应点位置信息15。
[0058] 控制栅格变形部16使用对应点位置信息15,使控制栅格变形，决定处于控制栅格 上的控制点的初始位置（步骤S104)。将所决定的初始位置作为控制点移动量信息1001 (图 1)向对位部10供给。图像采样部13从参照图像11提取在图像类似度计算中使用的图像 采样点和采样数据（步骤S105)，向对位部10供给。
[0059] 上述对位部10如图1所示，具备坐标几何变换部1002、图像类似度计算部1003和 图像类似度最大化部1004。对于对位部10内的坐标几何变换部1002,供给参照图像11的 采样点、采样数据、浮动图像12和控制点移动量信息1001。对位部10使用控制点移动量信 息1001对浮动图像进行坐标变换。这里，求出与参照图像11中的采样点对应的、浮动图像 12上的采样点，进行浮动图像的坐标变换，以取得求出的采样点的采样数据（步骤S106)。
[0060] 对于对位部10的图像类似度计算部1003(图1)，供给参照图像11的采样数据、和 与参照图像11中的采样点对应的、浮动图像12的采样数据。即，供给相互对应的采样点的 采样数据。图像类似度计算部1003计算参照图像11和浮动图像12各自的对应的图像样 本（采样数据）间的图像类似度（步骤S107)。
[0061] 图像类似度最大化部1004(图1)动作，以将上述的图像类似度最大化。在步骤 S108中，进行图像类似度是否已最大化的判定，在判定为没有最大化的情况下，将控制点移 动量信息1001更新以使图像类似度成为最大（步骤S109)，再次执行步骤S106、S107及 S108。重复这些处理直到成为最大。
[0062] 另一方面，在判定图像类似度最大的情况下，对位部10将使图像类似度最大化时 的控制点移动量信息1001向浮动图像变形部17输出。浮动图像变形部17使用控制点移 动量信息1001对浮动图像12实施几何变换，生成已对位浮动图像18并输出（步骤S110)。
[0063] 关于这些各部，以下分别更详细地说明。
[0064] 〈特征点检测及对应建立部〉
[0065] 特征点检测及对应建立（对应点设定）部14检测参照图像11和浮动图像12各 自的图像特征点，将各特征点的特征量记录。使用图4说明记录形式的例子。
[0066] 在图4中表示由特征点检测及对应建立部14提取出的图像特征点的数据构造，在 该图中，表示将三维图像作为对象例提取时的数据构造。在图4中，列C1表示特征点的号 码，列C2表示特征点的坐标，列C3表示特征量向量Vi。在该图中，特征点有1至L，将各个 特征点的三维坐标用X坐标、y坐标及z坐标表示。此外，将各个特征点的特征量向量\^表 示为￥1至\^。例如，关于特征点1，其三维坐标是（X坐标：72. 16, y坐标：125. 61，z坐标： 51. 23)，其特征量向量是Vi。
[0067] 关于图像特征点的检测方法和特征量的记述方法可以使用周知的方法。作为周知 的方法，例如可以使用SIFT (Scale - Invariant Feature Transform)特征点检测及SIFT 特征量记述。在该实施方式中，由于作为对位对象的图像是三维图像，所以图像特征点的检 测和特征量记述方法从二维扩展到三维。
[0068] 接着，特征点检测及对应建立部14搜索与参照图像11中的特征点对应的、浮动图 像12上的特征点。具体说明如下，如果设参照图像11中的某个特征点Γ与浮动图像12中 的某个特征点疒的特征量（特征量向量）分别为VV f，则特征量间欧几里德距离d通过 式（1)计算。这里，Μ是特征量的维度。
[0071] 特征点检测及对应建立部14关于参照图像11中的某1点的特征点的特征量，计 算与浮动图像12中包含的全部特征点的特征量之间的距离d，检测其中距离d为最小的特 征点彼此作为相互对应的点（作为对）。
[0072] 由于能够判断为该特征量间的距离d较大的特征点的对可靠性较低，所以特征点 检测及对应建立部14在步骤S103 (图3)中进行将这样的可靠性较低的特征点的对作为误 对应点对而除去的处理。虽然没有特别限制，但误对应点对的排除处理以两个阶段实施。 首先，将具有超过实验性地设定的阈值的距离的特征点的对作为误对应对，从以后的处理 对象中排除。进而，对于其余的特征点的对，例如使用作为周知的方法的RANSAC (Random Sample Consensus)法，确实地将误对应对排除。特征点检测及对应建立部14将这样得到 的特征点的对（对应点对）的位置信息作为对应点位置信息15向控制栅格变形部16输出。
[0073] 在图16中表示对应点对的数据构造的例子。在该图中，列C6是特征点的对的号 码，列C4是参照图像中的特征点的坐标（位置），列C5是浮动图像中的特征点的坐标。与 图4所示的例子同样，在图16中表示作为对象而对三维的参照图像及浮动图像求出了特征 点的情况。
[0074] 与图4不同，在图16中，特征量不包含在数据构造中。这是因为，由于判明了是相 互对应的特征点，所以也可以不特别将特征量包含在数据构造中。此外，在图16中表示了 相互对应的点，所以在列C6中记载的号码也可以理解为对应点对的号码。与图4同样，在 图16中，特征点（对应点对）表示了 1至L，参照图像和浮动图像各自中的位置被用三维坐 标表示。即，关于对应点对的号码和构成由该号码表示的对应点对的特征点，在图16中表 示了参照图像中的位置和浮动图像中的位置。例如，号码1的对应点对由参照图像中的其 位置是三维坐标（X坐标：72. 16, y坐标：125. 61，z坐标：51. 23)的特征点、和浮动图像中 的其位置是三维坐标（X坐标：75. 34, y坐标：120. 85, z坐标：50. 56)的特征点构成。
[0075] 向控制栅格变形部16输出的对应点位置信息15包含图16所示的对应点（特征 点）对的信息。
[0076] 在特征点检测及对应建立部14中，还能够将对应点对进行编辑（将追加、删除也 包括在内）。例如，可以使用图1所示的输入装置51将图16所示的对应点对的信息进行编 辑。例如，也可以通过使用经验知识将对应点对进行编辑，使对位的精度提高。
[0077]〈控制栅格变形部〉
[0078] 控制栅格变形部16使用对应点位置信息15,使在对位处理中使用的控制栅格变 形（初始位置设定）。虽然没有特别限制，但在控制栅格变形部16中，在浮动图像12上配 置为了将该图像变形而使用的控制栅格（控制点设定）。将配置在浮动图像12上的控制 栅格中的栅格状的控制点看作三维网格的顶点，使用上述对应点间的几何距离使控制点网 格变形。这里，可以使用周知的方法，例如MLS(Moving Least Squares)法。在MLS法中， 对于控制网格中的某个顶点，以尽可能类似于处于其附近的浮动图像12上的特征点的运 动（朝向参照图像11上的对应点的移动）的方式使作为该顶点（上述某个顶点）的控制 点移动。因此，控制栅格变形部16对于控制网格能够得到灵活地匹配于其周围的对应点的 移动那样的非刚体性的变形（步骤S104)。控制栅格变形部16 (图1)从变形后的控制栅格 取得控制点移动量信息1001，向对位部10输出。
[0079]〈图像采样部〉
[0080] 图像采样部13 (图1)从参照图像11提取图像采样点和采样数据，向对位部10输 出。这些图像样本用于对位处理中的图像类似度的计算。
[0081] 采样也可以将作为对位处理的对象的图像区域的全部像素作为采样点来进行。但 是，为了提高对位处理的速度，也可以在图像上放置栅板（grid)，仅使用栅板的节点（nod) 处的像素作为采样点。此外，也可以在采样对象区域中随机地生成规定数量的坐标，使用得 到的坐标处的亮度值作为采样点的亮度值。作