图像处理装置、主题识别方法和程序的制作方法

图像处理装置、主题识别方法和程序的制作方法
【专利摘要】本图像处理装置设置有：第一局部特征值生成单元、对应点计算单元、相对对应点信息计算单元、对应点选择单元和判定单元。第一局部特征值生成单元在第一图像中计算包括第一特征点的第一局部特征值信息集合。对应点计算单元在第二图像中计算第一特征点与包含在从第二图像中计算的第二局部特征值信息集合中的第二特征点之间的对应关系作为对应信息。相对对应点信息计算单元基于第一局部特征值信息集合、第二局部特征值信息集合和对应信息计算特征点的尺度之间的相对关系作为对应点相对尺度信息。对应点选择单元基于对应点相对尺度信息对特征点执行成簇，并选择至少一个特征点。判定单元基于所选择的特征点针对每个簇判定主题的相同性。
【专利说明】
图像处理装置、主题识别方法和程序
[0001] 相关申请的交叉引用
[0002] 本申请基于2013年12月26日提交的日本专利申请第2013-268852并要求其优先权 权益，其内容通过参考整体结合于此。
技术领域
[0003] 本发明涉及图像处理装置、拍摄主题识别方法和程序。
【背景技术】
[0004] 为了针对遮挡或者摄影大小或角度的变化而可靠地识别图像中的拍摄主题，提出 了一种系统，该系统提取图像中的特性点（以下称为特征点)并且在每个特征点周围的局部 区域中提取特征值或量（以下称为局部特征值或量）。作为这种系统的典型实例，在专利文 献1中公开了使用SIFT(尺度不变特征变换)特征或特征值以识别拍摄主题的装置。在专利 文献2中公开了这样的技术:使用特征值形成被检索的图像的指标，并且基于如此准备的指 标计算图像的相似度。
[0005] 引用列表
[0006] 专利文献
[0007] 专利文献1:美国专利No. 6711293
[0008] 专利文献2:日本专利公开NO.JP2004-341940A

【发明内容】

[0009] 技术问题
[0010] 上面的技术文献的公开内容通过参考结合于此。从本发明的观点进行以下分析。 [0011]在专利文献1所示的技术中，基于第一局部特征值的集合中的每个局部特征值与 第二局部特征值的集合中的每个局部特征值之间的距离，识别不同图像之间的相同或相似 的拍摄主题。因此，在专利文献1公开的技术中，如果在噪声等的影响下在特征点之间的匹 配中引起错误，则相关或匹配中引起的错误越严重，识别精度变得越低。这同样适用于专利 文献2的情况，即，在特征点匹配中引起的错误越严重，则所计算的相似度的精度越低。
[0012] 因此，本发明的目的在于提供一种图像处理装置、拍摄主题识别方法和程序，其 中，即使存在在特征点匹配中引起的错误，也可以有助于抑制主题识别精度的劣化。
[0013] 解决问题的技术方案
[0014] 在本发明的第一方面中，提供了具有以下功能的图像处理装置。该图像处理装置 包括第一局部特征值生成单元，该第一局部特征值生成单元从第一图像检测第一特征点中 的一个或多个第一特征点，并且从包括所检测的每个第一特征点的预设范围的区域计算关 于与每个第一特征点相对应的第一局部特征值的信息集合。
[0015] 该图像处理装置还包括对应点计算单元，该对应点计算单元计算在第一特征点与 第二特征点之间的对应关系作为关于对应点的信息，其中该第二特征点被包含在关于从第 二图像计算的第二局部特征值的信息集合中。
[0016]该图像处理装置还包括相对对应点尺度大小计算单元，该相对对应点尺度尺寸计 算单元基于第一局部特征值的信息的集合、关于第二局部特征值的信息的集合和关于对应 点的信息来计算第一特征点的尺度与第二特征点的尺度之间的关系作为关于对应点的相 对尺度大小的信息。
[0017]该图像处理装置还包括对应点选择单元，该对应点选择单元基于关于对应点的相 对尺度大小的信息来对第一特征点和第二特征点中的至少一种执行成簇，并且基于成簇的 结果选择至少一个特征点。
[0018] 此外，该图像处理装置包括判定单元，该判定单元基于由对应点选择单元选择的 特征点逐簇地将第一图像和第二图像相互比较，并且判定可能的拍摄主题的相同性。
[0019] 在本发明的第二方面中，提供了一种拍摄主题识别方法，包括以下步骤：
[0020] 从第一图像检测第一特征点中的一个或多个第一特征点，从包括所检测的每个第 一特征点的预设范围的区域计算关于与每个第一特征点相对应的第一局部特征值的信息 集合，
[0021] 计算在第一特征点与第二特征点之间的对应关系作为关于对应点的信息，其中该 第二特征点被包含在关于从第二图像计算的第二局部特征值的信息集合中，以及
[0022] 基于关于第一局部特征值的信息的集合、关于第二局部特征值的信息的集合和关 于对应点的信息来计算第一特征点的尺度与第二特征点的尺度之间的关系作为关于对应 点的相对尺度大小的信息。
[0023] 该方法还包括以下步骤:基于关于对应点的相对尺度大小的信息来对第一特征点 和第二特征点中的至少一种执行成簇，并且基于成簇的结果选择至少一个特征点，以及 [0024]基于所选择的特征点逐簇地将第一图像和第二图像相互比较，并且判定可能的拍 摄主题的相同性。
[0025]应该注意，本方法与特定机器相关联，该机器是利用第二图像内的另一拍摄主题 判定第一图像内的拍摄主题的相同性的图像处理装置。
[0026]在本发明的第三方面中，提供了一种程序，该程序使得控制图像处理装置的计算 机执行以下处理：
[0027] 从第一图像检测第一特征点中的一个或多个第一特征点，以从包括所检测的每个 第一特征点的预设范围的区域计算关于与所检测的每个第一特征点相对应的第一局部特 征值的信息集合，
[0028] 计算在第一特征点与第二特征点之间的对应关系作为关于对应点的信息，其中该 第二特征点被包含在关于从第二图像计算的第二局部特征值的信息集合中，以及
[0029] 基于关于第一局部特征值的信息的集合、关于第二局部特征值的信息的集合和关 于对应点的信息来计算第一特征点的尺度与第二特征点的尺度之间的关系作为关于对应 点的相对尺度大小的信息。
[0030] 该程序还使得计算机执行以下处理：
[0031] 基于关于对应点的相对尺度大小的信息来对第一特征点和第二特征点中的至少 一种执行成簇，并且基于成簇的结果选择至少一个特征点，以及
[0032]基于所选择的特征点逐簇地将第一图像和第二图像相互比较，并且判定可能的拍 摄主题的相同性。
[0033]应该注意，本程序可以记录在计算机可读存储介质上，该介质可以是诸如光学存 储介质的非瞬态存储器。本发明可以实施为计算机程序产品。
[0034]本发明的有益效果
[0035] 在本发明的上述方面中，提供了一种图像处理装置、拍摄主题识别方法或程序，其 中，即使在存在特征点匹配中引起的错误的情况下也可以有助于抑制主题识别精度的劣 化。
【附图说明】
[0036] 图1是示出传统的图像处理装置的结构的框图。
[0037] 图2是示出示例性实施例1的结构的框图。
[0038]图3是示出示例性实施例1的操作的流程图。
[0039] 图4是示出示例性实施例2的结构的框图。
[0040] 图5是示出示例性实施例2的操作的流程图。
[0041 ]图6是示出示例性实施例3的结构的框图。
[0042]图7是示出示例性实施例3的操作的流程图。
[0043]图8是示出修改例1的结构的框图。
[0044] 图9是示出修改例1的操作的流程图。
[0045] 图10是示出示例性实施例4的结构的框图。
[0046] 图11是示出示例性实施例4的操作的流程图。
[0047]图12是示出修改例2的结构的框图。
[0048] 图13是示出修改例2的操作的流程图。
[0049] 图14是示出示例性实施例5的结构的框图。
[0050] 图15是示出示例性实施例5的操作的流程图。
[00511图16是示出修改例3的结构的框图。
[0052]图17是示出修改例3的操作的流程图。
[0053]图18是示出修改例4的结构的框图。
[0054]图19是示出修改例4的操作的流程图。
[0055]图20是示出修改例5的结构的框图。
[0056] 图21是示出修改例5的操作的流程图。
[0057] 图22是示出示例性实施例6的结构的框图。
[0058] 图23是示出示例性实施例6的操作的流程图。
[0059]图24是示出修改例6的结构的框图。
[0060]图25是示出修改例6的操作的流程图。
[00611图26是示出修改例7的结构的框图。
[0062]图27是示出修改例7的操作的流程图。
[0063]图28是示出修改例8的结构的框图。
[0064]图29是示出修改例8的操作的流程图。
[0065]图30是示出修改例9的结构的框图。
[0066]图31是示出修改例9的操作的流程图。
[0067]图32是示出修改例10的结构的框图。
[0068]图33是示出修改例10的操作的流程图。
[0069]图3 4是示出修改例11的结构的框图。
[0070]图35是示出修改例11的操作的流程图。
[0071]图36是示出修改例12的结构的框图。
[0072]图37是示出修改例12的操作的流程图。
[0073]图38是示出修改例13的结构的框图。
[0074]图39是示出修改例13的操作的流程图。
[0075]图40是示出修改例14的结构的框图。
[0076]图41是示出修改例14的操作的流程图。
[0077I图42是示出示例性实施例7的结构的框图。
[0078]图43是示出示例性实施例7的操作的流程图。
[0079]图44是示出修改例15的结构的框图。
[0080]图45是示出修改例15的操作的框图。
[0081 ]图46是示出修改例16的结构的框图。
[0082]图47是示出修改例16的操作的流程图。
[0083]图48是示出修改例17的结构的框图。
[0084]图49是示出修改例17的操作的流程图。
[0085]图50是示出修改例18的结构的框图。
[0086]图51是示出修改例18的操作的流程图。
[0087]图52是示出修改例19的结构的框图。
[0088]图53是示出修改例19的操作的流程图。
[0089]图54是示出修改例20的结构的框图。
[0090]图55是示出修改例20的操作的流程图。
[0091]图56是示出修改例21的结构的框图。
[0092]图57是示出修改例21的操作的流程图。
[0093]图58是示出修改例22的结构的框图。
[0094]图59是示出修改例22的操作的流程图。
[0095]图60是示出修改例23的结构的框图。
[0096]图61是示出修改例23的操作的流程图。
[0097]图62是示出特征点的示例性尺度大小的示意图。
[0098]图63是示出图像中的特征点的标准化尺度大小的示例性分布的图表。
[00"]图64是示出特征点的示例性方向的示意图。
【具体实施方式】
[0100] 首先，参照图1将作为概述澄清优选方式。应该注意，在本概述中仅作为示例而输 入附图中使用的符号，以帮助理解而不用于限制本发明的范围。
[0101] 如上所述，期望一种图像处理装置，其中即使在存在特征点匹配中引起的错误的 情况下，也可以有助于抑制主题识别精度的劣化。
[0102] 因此作为示例呈现如图1所示的图像处理装置10。图像处理装置10包括第一局部 特征值生成单元11、对应点计算单元13、相对对应点尺度大小计算单元14、对应点选择单元 15和判定单元16。
[0103] 第一局部特征生成单元11从第一图像检测一个或多个第一特征点。此外，第一局 部特征值生成单元11从包括所检测的每个第一特征点的预设程度或范围的区域计算与每 个这种第一特征点相对应的第一局部特征值信息的集合。
[0104] 对应点计算单元13计算在第一特征点和第二特征点之间的对应关系作为关于对 应点的信息，其中该第二特征点被包含在从第二图像计算的第二局部特征值信息的集合 中。这里通过关于对应点的信息表示第一图像的任选特征点与第二图像中的哪个特征点相 匹配的信息。
[0105] 相对对应点尺度大小计算单元14基于第一局部特征值信息的集合、第二特征值信 息的集合和关于对应点的信息来计算第一特征点的尺度与第二特征点的尺度之间的关系 作为关于对应点的相对尺度大小的信息。
[0106] 对应点选择单元15基于关于对应点的相对尺度大小的信息来对第一特征点和第 二特征点中的至少一种执行成簇，并且基于成簇的结果选择至少一个特征点。因此，对应点 选择单元15基于特征点的尺度关系选择通过成簇被分组成满足预设条件的簇的特征点。因 此，即使对应点计算单元13找到错误或不正确的对应关系，对应点选择单元15也可以排除 显现错误对应关系的特征点。
[0107] 判定单元16基于由对应点选择单元15选择的特征点逐簇地将第一图像和第二图 像进行相互比较。
[0108] 因此，利用可以消除显现错误对应关系的特征点的图像处理装置10,可以防止基 于不正确的特征点错误地识别拍摄主题。从而，即使在存在匹配特征点中引起的错误的情 况下，图像处理装置10也可以有助于抑制主体识别精度的劣化。
[0109] [示例性实施例1]
[0110] 现在将参照附图详细描述示例性实施例1。
[0111] (示例性实施例1的结构）
[0112] 参照图2,将描述示例性实施例1。图2描绘了示出本示例性实施例1的图像处理装 置20的功能结构的框图。如图2所示，图像处理装置20包括第一局部特征值生成单元201、第 二局部特征值生成单元202、对应点计算单元203、相对对应点尺度大小计算单元204、对应 点选择单元205和判定单元206。顺便提及，并不旨在将图像处理装置20限于图2所示的结 构。在以下的说明中，仅通过例示的方式，假设第一图像包括一个或多个相同或相似的拍摄 主题，并且第二图像包括唯一的拍摄主题，而不旨在用于将第一图像和第二图像限于所例 示的结构。
[0113] (特征值的生成）
[0114]第一局部特征值生成单元201从第一图像检测特征点，其中特征点的数量满足预 设条件，并且针对包括特征点本身的所检测的每个特征点的周围或相邻区域生成局部特征 值。例如，预设条件可以表示特征点的数量将超过预设阈值。
[0115]具体地，第一局部特征值生成单元201向相对对应点尺度大小计算单元204输出由 所检测的对应特征点的尺度大小组成的第一尺度信息的集合。第一局部特征值生成单元 201根据所检测的每个特征点的坐标值生成局部特征值，并且向对应点计算单元203输出由 所生成的局部特征值组成的第一局部特征值的集合。
[0116]特征值的尺度大小例如是附随于每个特征点的关于大小或幅度的信息，并且从包 括特征点本身的每个特征点的周围图像区域计算。优选地，特征点的尺度大小随着包括特 征点的周围区域的大小增加或减小而变化。尺度大小伴随周围区域的大小增加或减小的这 种变化例如可以是线性的、对数的或指数的。
[0117]第二局部特征值生成单元202类似于第一局部特征值生成单元201进行操作，以生 成由第二图像的相应特征点的局部特征值组成的第二局部特征值的集合以及由第二图像 的相应特征点的尺度大小组成的第二尺度信息的集合。第二局部特征值生成单元202向对 应点计算单元203输出第二局部特征值的集合。第二局部特征值生成单元202也向相对对应 点尺度大小计算单元204输出第二尺度信息的集合。在本文公开的所有示例性实施例中，第 二图像的相应特征点的局部特征值可以在开始处生成并例如存储在数据库中。即，可以使 用由此在开始处这样准备并且存储在数据库中而不是存储在第二局部特征值生成单元202 中的局部特征值的集合。
[0118](对应点的计算）
[0119]对应点计算单元203使用第一局部特征值生成单元201输出的第一局部特征值的 集合以及第二局部特征值生成单元202输出的第二局部特征值的集合来生成满足对应点的 预设条件的数量。预设条件可以表示关于对应点的信息的数量将超过预设阈值。
[0120]具体地，对应点计算单元203计算第一图像的任选特征点与第二图像的任选特征 点之间的距离作为局部特征值之间的距离。对应点计算单元203基于所计算的局部特征值 之间的距离来计算满足第一局部特征值的集合和第二局部特征值的集合之间的匹配关系 的预设条件的数量。
[0121]作为特征点之间的距离，例如可以使用欧式距离。可以计算具有最小距离值的特 征点作为匹配特征点。可能存在不显现对应关系的特征点。作为用于评估的措施，可以使用 最小距离值与第二最小距离值之间的比率来判定对应关系的可能存在。期望地适当判定特 征点检测的技术，使得上面所示技术仅仅是示例性的而不用于进行限制。
[0122] 对应点计算单元203向相对对应点尺度大小计算单元204输出由所计算的匹配关 系组成的关于对应点的信息的集合。
[0123] (对应点的相对尺度大小的计算）
[0124] 相对对应点尺度大小计算单元204使用对应点计算单元203输出的关于对应点的 信息的集合、第一局部特征值生成单元201输出的第一尺度信息的集合以及第二局部特征 值生成单元202输出的第二尺度信息的集合来计算图像之间相关的超过特征点的尺度大小 的关系的预设条件的数量，以下称为对应点。相对对应点尺度大小计算单元204向对应点选 择单元205输出由所计算的关系组成的关于对应点的相对尺度大小的信息的集合。
[0125] 具体地，对应点的相对尺度大小例如可以是对应点的尺度大小的比率。例如，等式 1
[0126] [等式 1]
[0127] o = s(q)/s(p)
[0128] 可用于计算尺度大小的比率。在上述等式中，〇表示对应点的尺度比率，s(q)表示 从第一图像检测的第q个特征点的尺度大小，以及S(P)表示从第二图像检测的第P个特征点 的尺度大小。特征点的尺度大小的对数例如可用于计算尺度比。
[0129] 在从特征点提取出具有对数函数特性的尺度大小的情况下，对应点的相对尺度大 小例如可以是对应点的尺度大小的差。为了计算尺度大小的差，例如可以使用等式2:
[0130] [等式 2]
[0131] 0，=s，（q)-s，（ p)
[0132] 其中，σ'表示对应点的尺度大小的差值，s'（q)表示从第一图像检测的第q个特征 点的尺度大小，以及s'（P)表示从第二图像检测的第P个特征点的尺度大小。
[0133] 参照图62，将阐述特征点的尺度大小的特性。图6 2示出了所捕捉的图像10001的拍 摄主题在图像10002中尺寸加倍的实例。箭头的尺寸表示尺度大小的尺寸。特征点的尺度大 小具有与图像中的拍摄主题的大小相关联变化的特性。即，如图62所示，特征点的尺度大小 具有这种特性:如果图像中的拍摄主题的尺寸加倍，则特征点的尺度大小也加倍。此外，特 征点的尺度大小具有这样的特性:如果图像中的拍摄主题尺寸减半，则尺度值也减半。也就 是说，由等式1和2计算的对应点的相对尺度大小具有以下特性:在第一图像的特征点与第 二图像的特征点之间正确匹配的情况下，变得从一个拍摄主题到另一个拍摄主题是恒定 的。
[0134] (对应点的选择）
[0135] 对应点选择单元205使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合来对特征点执行成簇。对应点选择单元205基于成簇的结果选 择特征点。具体地，对应点选择单元205可以在任选簇中包含的对应点的数量不小于预设阈 值的情况下选择包含在该任选簇中的特征点。
[0136] 对应点选择单元205向判定单元206输出由簇信息和关于这样选择的匹配特征点 的信息的集合组成的选择信息的集合。
[0137] 现在将详细描述对特征点的成簇。
[0138] 为了对特征点执行成簇，可以使用这样的方法:计算包含在第一图像中且与另一 图像中的特征点相关的任选匹配特征点的相对尺度大小的位置与每个簇的中心之间的距 离，并且第一图像中的特征点被分组成其中所计算距离最小的簇。在这种情况下，如果在任 选簇中包含具有对应点的相对尺度大小的相似度测量值小于预设阈值的这种特征点，则可 以从任选簇中去除对应点的相对尺度大小与簇中心具有较长距离的这种特征点，并且分组 成不同簇。顺便提及，欧式距离、马氏距离或街区距离可用作簇中心与对应点的相对尺度大 小的位置之间的距离。
[0139] 在对特征点执行成簇的过程中，可以使用这样的方法:计算所有值之间的距离，并 且使用图切割通过成簇来选择如此计算的距离。在这种情况下，生成这样的图：其中包含在 第一图像中且与另一图像相关的特征点是节点并且特征点之间的距离是节点之间的边缘。 对于图切割来说，可以使用标准化切割、已知技术或马尔克夫簇算法。关于标准化切割或马 尔克夫簇算法的细节，省略对应的描述。
[0140]在通过成簇选择特征点的过程中，可以使用k均值方法、已知技术、LBG(Linde-Buzo-Gray)方法或LBQ(学习贝叶斯量子化)方法。关于k均值方法、LBG方法或LBQ方法的细 节，省略对应的描述。
[0141] 通过成簇选择特征点的过程中，可以使用这样的方法:其中对于任选大小的每个 分析区域，包含于其中的特征点的数量被计数，并且如果计数值不小于预设阈值，则包含在 所考虑的分析区域中的特征点被分组成同一簇。
[0142] 为了生成分析区域，可以使用这样的方法:其中第一图像被分裂为栅格，每一个栅 格都具有任选大小，每一个这种栅格然后被用作分析区域。分析区域可以与另一分析区域 重叠或者不重叠。分析区域的大小可以是固定的或可变的。如果分析区域的大小可变，则可 以使用这样的方法:其中分析区域的中心越接近于图像中心，则分析区域的大小越小，或者 分析区域的中心与图像中心之间的距离越大，则分析区域的大小越大。
[0143] 在通过成簇选择特征点的过程中，可以使用这样的方法:其中包含在分析区域中 的特征点(计数值不小于预设阈值)被分组成同一簇，或者其中包含在分析区域中和周围分 析区域中的特征点被分组成同一簇。还可以使用这样的方法:其中如果多个分析区域(每一 个的计数值都不小于预设阈值)相邻或重叠，则包含在这种分析区域中的特征点被分组成 同一簇或者不同簇。
[0144] 以这种方式通过成簇选择特征点，处理速度可以高于使用马尔克夫簇算法、k均值 方法或LBS方法的情况。
[0145] (判定）
[0146]判定单元206使用对应点选择单元205输出的选择信息的集合逐簇地判定在不同 图像之间相同或相似的拍摄主题。例如，如果所选择的特征点的数量超过给定阈值，则可以 作出这样的判定:感兴趣的簇是与第二图像相同或相似的拍摄主题。判定单元206输出判定 的结果。
[0147] 现在将详述判定的处理。
[0148] 例如，如果所选择的特征点的数量超过特定(预定）阈值，则判定单元206可以判定 感兴趣的簇与第二图像的拍摄主题相同或相似。
[0149] 判定单元206还可以使用所发现的不同图像的特征点之间的对应关系执行几何验 证，以判定拍摄主题的相同性或相似性。例如，可以假设对应点的坐标值之间的几何关系是 单应性的并且使用鲁棒估计技术来估计单应性参数以找到输入对应关系相对于估计参数 的异常值，从而基于异常值的数量给出可能的拍摄主题相同性或相似性的判定。不对使用 的鲁棒估计方法做出限制，使得例如可以使用RANSAC(随机采样一致性)或最小二乘法。
[0150] 判定单元206可以根据形成点对的两个对应点的坐标值估计尺度或旋转的变化， 其中两个对应点属于感兴趣的簇。然后，判定单元206可基于两个对应点的相对尺度大小或 者方向信息的差值来估计尺度或旋转的变化。然后，判定单元206可以将通过相应方法计算 的尺度或旋转的变化相互进行比较。如果在如此比较的尺度或旋转的变化之间存在足够的 相似性，则感兴趣的簇可以被判定为与第二图像相同。具体地，形成对应点对的两个对应点 被认为在感兴趣的簇中，并且具有属于第一图像的形成对应点对的两个特征点作为端点的 线段与具有属于第二图像的分别与上述两个对应点匹配的两个特征点作为端点的线段进 行比较。判定单元206计算两个线段的尺度或旋转的变化。判定单元206将如此计算的尺度 或旋转的变化与基于对应点的相对尺度大小或方向信息差计算的尺度或旋转的变化进行 比较。在两个线段的比较中，可以使用尺度和旋转的变化中的一个或两个。找到基于对应点 的方向信息的差值和相对尺度大小从对应点对计算的尺度和旋转的变化的两个值。这两个 值可以独立使用或者两个值中的任一个可用于比较线段。或者，可以使用两个值的平均值。 可以使用属于感兴趣的簇的对应点对的两个任选对应点来执行拍摄主题相同性的判定。还 可以检查感兴趣的簇中的N数量(N> 1)的对应点对的集合，并且在具有多个对应点对被判定 为与第二图像相同的情况下，在超过特定(预定）比例时判定感兴趣的簇与第二图像相同。 顺便提及，N可以是属于感兴趣的簇的对应点对的全部或部分。
[0151] 判定单元206还可以从两个或多个对应点对的坐标值估计尺度或旋转的变化，其 中对应点对属于感兴趣的簇。然后，判定单元206可以基于对应点的相对尺度大小或方向信 息差来估计尺度或旋转的变化。然后，判定单元206可以将通过相应方法计算的尺度或旋转 的变化相互进行比较。如果在如此比较的尺度或旋转的变化之间具有足够的相似性，则感 兴趣的簇可以被判定为与第二图像相同。具体地，在感兴趣的簇中采用N数量的对应点对， 并且将每一个都具有属于第一图像1的形成对应点对的两个特征点作为端点的N数量的线 段分别与每一个都具有属于第二图像且与上述两个特征点匹配的两个特征点作为端点的N 数量的线段进行比较。判定单元206计算两个图像中的两条线段的尺度或旋转的变化。判定 单元206将如此计算的尺度或旋转的变化与基于对应点的相对尺度大小或方向信息之间的 差异计算的尺度或旋转的变化进行比较。在比较两条线段的过程中，可以使用尺度和旋转 变化中的一个或两个。在从N个对应点对计算尺度或旋转的变化中，可以使用对应点的N个 相对尺度大小或者方向信息的N个不同值的平均或中间值，或者从任意对应点对计算的值。 在基于对应点的相对尺度大小或方向信息差异估计尺度或旋转的变化中，可以使用对应点 的N个相对尺度大小或者对应点的方向信息的N个不同值的平均或中间值。或者可以使用从 任意对应点对计算的平均或中间值。顺便提及，N可以是属于感兴趣的簇的对应点对的数量 的全部或部分。
[0152] 对于判定单元206,还可以将例如通过鲁棒估计技术所估计的对应点的坐标值的 几何变换模型与基于对应点的相对尺度大小或方向信息差异估计的对应点的几何变换模 型进行比较。在两个几何模型之间的相似性足够高的情况下，判定单元206可以判定感兴趣 的簇与第二图像相同。相似性变换模型、仿射变换模型或单应性模型例如可以被用作对应 点的坐标值的几何变换模型。
[0153] 为了基于对应点的相对尺度大小或方向信息差异估计对应点的几何变换模型，可 以使用以下等式作为实例：
[0154] [等式 3]
[0155]
[0156] 在上述等式中，(?表示对应点的相对尺度大小的值，包括第一图像的第i个特征点 的尺度大小和第二图像的第j个特征点的尺度大小，以及PU是特征点i和j的方向信息之间 的差值。
[0157] 在判定两个几何变换模型之间的相似性的过程中，当估计的变换模型的尺度参数 和旋转参数之间的距离值的总和小于阈值时或者如果参数之间的所有距离值都小于阈值， 则可以判定为彼此相似。
[0158] 通过将基于不同指标计算的两个几何变换模型相互比较以检查感兴趣的簇和第 二图像之间的可能相同性，与使用两个几何变换模型中的任一个进行判定的情况相比，判 定可以更加稳健。
[0159] (示例性实施例1的操作）
[0160] 现在将更详细地描述示例性实施例1的操作。
[0161] 图3描绘了示出本示例性实施例的操作的流程图。
[0162] 第一局部特征值生成单元201从第一图像检测特征点，其中特征点的数量满足预 设条件，而第二局部特征值生成单元202从第二图像检测特征点，其中特征点的数量满足预 设条件(步骤S301)。然后，第一和第二局部特征值生成单元201、202根据特征点的坐标值生 成局部特征值和尺度信息（步骤S302)。对应点计算单元203基于第一局部特征值信息的集 合的任选局部特征值与第二局部特征值信息的集合的任选局部特征值之间的距离找到图 像之间的特征点的对应关系（步骤S303)。相对对应点尺度大小计算单元204使用第一尺度 信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺度关系（S304)。对 应点选择单元205基于对应点的相对尺度大小对特征点执行成簇，并且基于成簇的结果选 择特征点（步骤S305)。判定单元206例如基于所选择的特征点的数量逐簇地检查图像之间 的相似性或相同性(步骤S306)。
[0163] (示例性实施例1的有益效果）
[0164] 如上所述，在示例性实施例1中，图像处理装置10基于关于对应点的相对尺度大小 的信息对特征点执行成簇，同时逐簇地判定图像之间的拍摄主题的相同性或相似性。顺便 提及，图像之间正确匹配的特征点之间的相对尺度大小变得从一个拍摄主题到另一个拍摄 主题是恒定的，使得通过使用关于对应点的相对尺度大小的信息对特征点执行成簇，可以 消除第一图像和第二图像的特征点之间的错误或不正确的匹配事件，并因此精确地识别在 不同图像之间相同或相似的拍摄主题。
[0165] [示例性实施例2]
[0166] 现在将详细描述示例性实施例2。在本示例性实施例中，通过成簇来选择特征点， 因为在特征点的成簇时对相对尺度大小的范围施加限制。在以下描述中，与示例性实施例1 相同或相似的结构通过不例性实施例1中的相同符号来表不，并且省略对应的描述。这同样 适用于示例性实施例3等。
[0167] 图4描绘了示出根据示例性实施例2的图像处理装置40的功能结构的框图。参照图 4,图像处理装置40在结构上类似于图2所示的图像处理装置20,差别在于对应点选择单元 401的结构以及操作。
[0168] 对应点选择单元401使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合以及相对尺度大小的范围对第一图像中包含的特征点执行成 簇。可以使用示例性实施例1的方法来执行特征点的成簇以及对应点的选择，因此这里省略 详细的说明。
[0169] 相对尺度大小的范围的值可以是通过经验和观察得到的值、利用学习数据通过机 械学习得到的值或者通过无教导的成簇从关于对应点的相对尺度大小的信息集合计算的 值。
[0170] 仅一个相对尺度大小范围是足够的，然而，可以使用两个或多个相对尺度大小范 围。如果两个图像的特征点之间的匹配是正确的，则对应点的相对尺度大小从一个拍摄主 题到另一个是恒定的。因此，这足以使对应点选择单元401将相对尺度大小值例如在相对尺 度大小值的范围中分布的特征点分类到同一簇中。为了对特征点执行成簇以及选择对应 点，可以使用与示例性实施例1相同的方法，因此省略详细的说明。
[0171] (示例性实施例2的操作）
[0172] 图5描绘了示出本示例性实施例的操作的流程图。将参照图6说明本示例性实施例 的操作。由于图5的步骤S501至S503以及S506与图3所示的步骤S301至S303以及S306相同， 所以省略详细说明。
[0173] 在执行图5所示的步骤S501-S503的处理之后，相对对应点尺度大小计算单元204 使用第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺度关 系(步骤S504)。对应点选择单元401基于对应点的相对尺寸大小和相对尺度大小的范围对 特征点执行成簇，以基于成簇的结果选择特征点（步骤S505)。然后，处理进行到图5所示的 步骤S506。
[0174] (示例性实施例2的有益效果）
[0175]通过示例性实施例2，可以得到类似于示例性实施例1的有益效果。此外，可以减小 计算量，因为仅对具有在相对尺度大小值范围内的相对尺度大小信息的特征点执行成簇。
[0176] [示例性实施例3]
[0177] 现在将详细描述示例性实施例3。在本示例性实施例中，对应点的相对尺度大小被 标准化。
[0178] 图6示出了根据示例性实施例3的图像处理装置60的功能结构的框图。参照图6,图 像处理装置60在结构上类似于图2所示的图像处理装置20,然而，图像处理装置60的不同在 于标准化相对对应点尺度大小计算单元601的结构以及操作。
[0179]标准化相对对应点尺度大小计算单元601使用对应点计算单元203输出的关于对 应点的信息的集合、第一局部特征值生成单元201输出的第一尺度信息的集合以及第二局 部特征值生成单元202输出的第二尺度信息的集合来计算满足对应点的相对尺度大小的预 设条件的数量，这表示对应点的尺度大小的关系。
[0180] 然后，标准化相对对应点尺度大小计算单元601使用用于标准化的乘数 (multiplier)来标准化如此计算的对应点的相对尺度大小值，从而生成包括对应点的标准 化相对尺度大小值的关于对应点的标准化相对尺度大小的信息的集合。
[0181] 由此生成的关于对应点的标准化相对尺度大小的信息的集合被输出至对应点选 择单元205。在对应点的相对尺度大小的计算中，可以使用上面参照示例性实施例1描述的 相对对应点尺度大小计算单元204的方法。
[0182] 以下详细描述如何标准化对应点的相对尺度大小。
[0183] 在标准化对应点的相对尺度大小的过程中，可以使用等式4:
[0184] [等式 4]
[01 85] Onormalized (π )-〇 (ll)/z (ll)
[0186] 其中，Oncirmalize3d表示对应点的标准化相对尺度大小值，σ (η)是第η个对应点的相对 尺度大小值，诸如第一图像的第q个特征点和第二图像的第P个特征点，以及ζ是用于标准化 的乘数。
[0187] 用于标准化的乘数例如可以是第二图像的大小、第二图像中的拍摄主题的实际大 小或者第二图像中的拍摄主题的图像大小。图像大小例如可以是图像的宽度、高度、像素数 量或者纵横比。拍摄主题的实际大小可以是其宽度或高度。拍摄主题的图像大小例如可以 是图像中的拍摄主题的宽度、高度、像素数量或纵横比。
[0188]图63示出了对应点的标准化相对尺度大小值的实例。在图63中，横坐标表示标准 化相对尺度大小值的对数，以及纵坐标表示频率。如图63所示，标准化相对尺度大小值具有 这样的特性:如果不同图像的特征点之间的匹配是正确的，则其变得从图像中的一个拍摄 主题到另一个拍摄主题是恒定的。因此，足以使对应点选择单元205对特征点执行成簇，使 得显现不小于预设频率的相对尺度大小值的特征点将被分组到同一簇中。对于成簇，可以 使用类似于示例性实施例1所示的方法。
[0189](示例性实施例3的操作）
[0190]参照图7将详细阐述本示例性实施例的操作，图7描绘了示出本示例性实施例的操 作的流程图。顺便提及，图7所示的步骤S701-S703以及步骤S706与图3所示的步骤S301-S303以及步骤S306相同，因此这里不再进行描述。
[0191] 在执行图7所示的步骤S701-S703的处理之后，标准化相对对应点尺度大小计算单 元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算 尺度关系，并且然后例如使用拍摄主题的实际大小或图像大小来标准化这样计算的尺度关 系(步骤S704)。对应点选择单元205基于关于对应点的标准化相对尺度大小的信息的集合 对特征点执行成簇，并基于成簇的结果选择特征点（步骤S705)。然后，处理前进到图7所示 的步骤S706。
[0192] (示例性实施例3的有益效果）
[0193] 通过示例性实施例3,可以得到类似于示例性实施例1的有益效果。此外，如果不同 图像之间正确相关的特征点之间的相对尺度大小被标准化，则对应点的标准化相对尺度大 小变得从包含在第一图像中的一个拍摄主题到另一个拍摄主题是恒定的。因此，通过对特 征点执行成簇，基于对应点的标准化相对尺度大小，可以排除第一图像的特征点与第二图 像的特征点之间的错误匹配。这种错误匹配会发生在试图将具有相同图案部分(诸如标志） 但大小不同的拍摄主题的特征点相关联时。因此，即使涉及图像之间的大小不同的拍摄主 题，也可以比示例性实施例1更加精确地识别这种拍摄主题。
[0194] [示例性实施例4]
[0195] 现在将详细描述示例性实施例4。本示例性实施例基于特征点的相对方向的状态 来执行成簇。
[0196] 图10描绘了示出根据示例性实施例4的图像处理装置100的功能结构的框图。参照 图10,图像处理装置100包括第一局部特征值生成单元1001、第二局部特征值生成单元 1002、对应点计算单元203、相对对应点方向计算单元1003、对应点选择单元1004和判定单 元206。由于对应点计算单元203和判定单元206的操作与示例性实施例相同，所以省略对应 的说明。
[0197] (特征值的生成）
[0198] 第一局部特征值生成单元1001从第一图像检测特征点，其中特征点的数量满足预 设条件，同时从所检测的对应特征点的坐标值中生成在包括每个特征点的周围区域(相邻 区域）中的多个局部特征值。第一局部特征值生成单元1001向对应点计算单元203输出由所 产生的局部特征值组成的第一局部特征值的集合。
[0199] 第一局部特征值生成单元1001还计算从第一图像检测的特征点的方向信息，并将 由所计算的特征点的方向信息组成的第一方向信息的集合输出至相对对应点方向计算单 元 1003。
[0200] 特征点的方向信息是关于每个特征点附随的方向（角度)的信息，并且从包括特征 点的区域(相邻区域）的图像中计算其值。优选地，在包括特征点的区域的图像被旋转的情 况下，也旋转特征点附随的角度。作为实例，第一局部特征值生成单元1001可以计算包括感 兴趣的特征点的图像区域的亮度梯度的方向来作为特征点的方向信息。
[0201] 或者，第一局部特征值生成单元1001可以将包括任选特征点的周围区域划分为4 X 4小块(patch)区域以计算如此形成的小块区域中的亮度变化来作为特征点的方向信息。 具有所计算的最大亮度变化的方向可用作特征点的方向信息。
[0202] 或者，第一局部特征值生成单元1001可以使用小波滤波器来计算小波系数的较高 强度的方向来作为特征点的方向信息。
[0203]通过类似于第一局部特征值生成单元1001的操作，第二局部特征值生成单元1002 可以产生由第二图像的相应特征点的局部特征值组成的第二局部特征值的集合以及由第 二图像的相应特征点的方向信息组成的第二方向信息的集合。第二局部特征值生成单元 1002向对应点计算单元203输出第二局部特征值的集合。第二局部特征值生成单元1002还 将第二方向信息的集合输出至相对对应点方向计算单元1003。
[0204]相对对应点方向计算单元1003使用对应点计算单元203输出的关于对应点的信息 的集合、第一局部特征值生成单元1001输出的第一方向信息的集合和第二局部特征值生成 单元1002输出的第二方向信息的集合来计算超过对应点的方向信息的关系的预设条件的 数量，以下称为关于对应点的相对方向的信息。相对对应点方向计算单元1003将由所计算 的关于对应点的相对方向的信息组成的关于对应点的相对方向的信息的集合输出至对应 点选择单元1004。
[0205] 以下详细描述如何计算关于对应点的相对方向的信息。
[0206] 可以使相对对应点方向计算单元1003计算对应点的方向信息的差值作为关于对 应点的相对方向的信息。在对应点的方向信息的差值的计算中，可以使用等式5:
[0207] [等式5]
[0208] P = 0(q)-0(p)
[0209] 其中，P表示对应点的方向信息的差值，0(q)表示从第一图像检测的第q个特征点 的方向信息，以及θ(ρ)表示从第二图像检测的第P个特征点的方向信息。
[0210]如果从特征点中提取具有指数函数性质的方向信息，则对应点的相对方向例如可 以是对应点的方向信息的比率。在方向信息的比率的计算中，可以例如使用等式6:
[0211] [等式6]
[0212] p，=0，（q)/0，（p)
[0213]其中，p '表示对应点的方向信息的比率。
[0214]现在参照图64，将解释特征点的方向信息的性质。图64示出了图像10012的拍摄主 题相对于图像10011的拍摄主题旋转了45°的实例。图64的箭头的方向表示特征点的方向信 息。如图64所示，特征点的方向信息具有响应于图像中的拍摄主题的旋转而相对变化的性 质。即，如果图像中的拍摄主题旋转45°，则图像中的所有特征点的方向信息旋转45°。从而， 通过等式5和等式6计算的对应点的相对方向具有以下性质:在第一图像的特征点与第二图 像的特征点正确匹配的情况下，从一个拍摄主题到另一个拍摄主题是恒定的。
[0215] 对应点选择单元1004使用相对对应点方向计算单元1003输出的关于对应点的相 对方向的信息的集合对第一图像中包含的特征点执行成簇。基于成簇的结果，对应点选择 单元1004选择特征点以输出所选信息的集合。特征点的选择以及所选信息的集合的输出与 先前的示例性实施例相同，因此不再详细说明。
[0216] 可以使对应点选择单元1004执行成簇，使得具有对应点的相对方向的高相似度 (小距离值）的特征点将被分组到同一簇中。在对特征点执行成簇的过程中，可以使用由示 例性实施例1的对应点选择单元205用于基于对应点的相对尺度大小通过成簇来选择特征 点的相同方法。如果给定簇中包含的特征点的数量不小于预设阈值，则可以选择该簇中包 含的特征点。
[0217](示例性实施例4的操作）
[0218] 图11描绘了示出本示例性实施例的操作的流程图。由于图11所示的步骤SllOl-S1103和S1106与图3所示的步骤S301-S303和S306相同，所以省略详细说明。
[0219] 在执行图11所示的步骤SI 101-S1103的处理之后，相对对应点方向计算单元1003 使用第一方向信息的集合、第二方向信息的集合和关于对应点的信息的集合来计算关于对 应点的相对方向的信息（步骤S1104)。对应点选择单元1004基于关于对应点的相对方向的 信息的集合对特征点执行成簇，并且基于成簇的结果选择特征点（步骤S1005)。然后，处理 前进到图5所示的步骤S1106。
[0220](示例性实施例4的有益效果）
[0221 ]通过示例性实施例4,基于关于对应点的相对方向的信息通过成簇来选择特征点， 并且逐簇地对图像之间相同或相似的拍摄主题进行判定。由于图像之间正确匹配的特征点 之间的相对方向从一个拍摄主题到另一个拍摄主题是恒定的，所以可以通过使用关于对应 点的相对方向的信息通过成簇选择特征点来去除第一图像的特征点与第二图像的特征点 之间的错误对应关系。如此，可以高精度地识别图像之间相同或相似的拍摄主题。
[0222] [示例性实施例5]
[0223] 现在将详细描述示例性实施例5。本示例性实施例使用关于对应点的相对尺度大 小的信息和关于对应点的相对方向的信息来用于成簇。
[0224] 图14描绘了示出根据示例性实施例5的图像处理装置140的功能结构的框图。参照 图14,图像处理装置140包括第一局部特征值生成单元1401、第二局部特征值生成单元 1402、对应点计算单元203、相对对应点尺度大小计算单元204、相对对应点方向计算单元 1003、对应点选择单元1403和判定单元206。对应点计算单元203、相对对应点方向计算单元 1003和判定单元206在结构和操作上与上述示例性实施例的对应部件是相同的，因此为了 简化不再说明。
[0225] (特征值的生成）
[0226] 第一局部特征值生成单元1401生成关于第一局部特征值的信息的集合和第一尺 度信息的集合。第一局部特征值生成单元1401向对应点计算单元203输出所生成的关于第 一局部特征值的信息的集合，同时向相对对应点尺度大小计算单元204输出第一尺度信息 的集合。第一局部特征值生成单元1401向相对对应点方向计算单元1003输出第一方向信息 的集合。
[0227] 第二局部特征值生成单元1402生成第二局部特征值的集合、第二尺度信息的集合 和第二方向信息的集合，并将第二局部特征值的集合输出至对应点计算单元203。第二局部 特征值生成单元1402还将第二尺度信息的集合输出至相对对应点尺度大小计算单元204， 同时将第二方向信息的集合输出至相对对应点方向计算单元1003。
[0228] (对应点的选择）
[0229]对应点选择单元1403使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合以及相对对应点方向计算单元1003输出的相对对应点方向信 息的集合来对包含在第一图像中的特征点执行成簇。
[0230] 优选地，对应点选择单元1403执行成簇，使得其中关于对应点的尺度的信息的相 似度以及对应点的相对方向的相似度超过相应预设阈值的特征点将被分组到同一簇中。为 了对特征点执行成簇并基于对应点的相对尺度大小和相对方向选择对应点，可以使用与示 例性实施例1使用的相同方法。
[0231] (示例性实施例5的操作）
[0232] 图15描绘了示出本示例性实施例的操作的流程图，现在将参照图15进行详细描 述。由于图15所示的步骤S1501-S1503和S1506与图3所示的步骤S301-S303和S306相同，因 此省略详细说明。
[0233] 在执行图15所示的步骤S1501-S1503的处理之后，相对对应点尺度大小计算单元 204基于关于对应点的信息的集合、第一尺度信息的集合和第二尺度信息的集合来计算尺 度关系。相对对应点方向计算单元1003基于关于对应点的信息的集合、第一方向信息的集 合和第二方向信息的集合来计算关于对应点的相对方向的信息（S1504)。对应点选择单元 1403基于关于对应点的相对尺度大小的信息的集合以及关于对应点的相对方向的信息的 集合来对特征点执行成簇，并且基于成簇的结果选择特征点（步骤S1505)。然后，处理前进 到图15所述的步骤S1506。
[0234] (示例性实施例5的有益效果）
[0235] 通过示例性实施例5,可以得到与示例性实施例1相似的有益效果。此外，图像之间 正确匹配的特征点的相对方向可以变得从一个拍摄主题到另一个拍摄主题是恒定的。此 外，通过示例性实施例5,其中使用关于相对方向的信息通过成簇来选择特征点，可以消除 第一图像的特征点与第二图像的特征点之间的错误匹配。因此，通过示例性实施例5,识别 精度可以高于示例性实施例1。
[0236] [示例性实施例6]
[0237] 现在将详细说明示例性实施例6。本示例性实施例使用特征点的坐标值用于成簇。
[0238] 图22描绘了示出根据示例性实施例6的图像处理装置220的结构的框图。参照图 22,图像处理装置220与图2所示的图像处理装置20的结构相似，除了第一局部特征值生成 单元2201和对应点选择单元2202的结构和操作。
[0239](特征值的生成）
[0240]通过类似于示例性实施例1的第一局部特征值生成单元201的操作，第一局部特征 值生成单元2201生成第一局部特征值的集合，其随后被输出至对应点计算单元203。第一局 部特征值生成单元2201还将从特征点生成的第一尺度信息的集合输出至相对对应点尺度 大小计算单元204,同时将从第一图像检测的由特征点的坐标值组成的第一坐标值信息的 集合输出至对应点选择单元2202。
[0241](特征点的选择）
[0242]对应点选择单元2202使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合以及第一局部特征值生成单元2201输出的第一坐标值信息的 集合来对包含在第一图像中的特征点执行成簇。对应点选择单元2202基于成簇的结果选择 特征点以输出所选择的信息。特征点的选择以及所选信息的集合的输出与上述示例性实施 例中相同，因此为了简化不再说明。
[0243] 现在将详细描述对应点的选择。
[0244] 对应点选择单元2202向判定单元206输出选择信息的集合和成簇信息的集合，选 择信息的集合包括关于所选特征点的对应点的信息的集合并由其组成。成簇信息的集合由 关于多个簇(每一个都包含一个或多个特征点）的信息组成。
[0245] 还可以使对应点选择单元2202例如基于关于对应点的相对尺度大小的信息的集 合来对特征点执行成簇，基于成簇的结果选择特征点，并基于第一坐标值信息的集合来对 如此选择的特征点执行成簇。
[0246] 还可以使对应点选择单元2202使用关于对应点的相对尺度大小的信息和关于第 一坐标值的信息的集合二者来对特征点执行成簇。对于特征点的成簇，可以使用在上述示 例性实施例中使用的方法，因此为了简化不再进行对应的说明。
[0247] (示例性实施例6的操作）
[0248] 图23描绘了示出本示例性实施例的操作的流程图，现在将参照图23详细说明。由 于图23所示的步骤S2301-S2303和S2306与图3所示的步骤S301-S303和S306相同，因此省略 详细说明。
[0249] 在执行图23所示的步骤S2301-S2303的处理之后，相对对应点尺度大小计算单元 204使用第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系（步骤S2304)。对应点选择单元2202基于关于对应点的相对尺度大小的信息的集合 以及第一坐标值信息的集合来对特征点执行成簇，以基于成簇的结果选择特征点（步骤 S2305)。然后，处理前进到图23所示的步骤S2306。
[0250](示例性实施例6的有益效果）
[0251] 通过示例性实施例6,可以得到与示例性实施例1相似的有益效果。此外，使用图像 中的特征点的坐标值通过成簇来选择特征点，并且可以基于簇识别两个图像之间相同或相 似的拍摄主题。因此，在示例性实施例6中，使得两个图像之间正确匹配的特征点根据拍摄 主题被高密度聚集到一起，使得通过基于坐标值信息对特征点执行成簇，即使在存在相同 尺度的多个拍摄主题的情况下，也可以比示例性实施例1更正确地单独识别拍摄主题。
[0252] [示例性实施例7]
[0253] 现在将详细解释示例性实施例7。本示例性实施例计算特征点的相对坐标值并使 用如此计算的相对坐标值用于成簇。
[0254] (示例性实施例7)
[0255] 图42示出了根据示例性实施例7的图像处理装置420的功能结构的框图。参照图 42,图像处理装置420在结构上类似于图14所示的图像处理装置140,其中不同在于第二局 部特征值生成单元4201、相对坐标值计算单元4202和对应点选择单元4203的结构和操作。 [0256](特征值的生成）
[0257]第一局部特征值生成单元3401生成第一局部特征值的集合、第一方向信息的集合 和第一坐标值信息的集合，它们被分别输出至对应点计算单元203、相对对应点方向计算单 元1003和对应点选择单元4203。第一局部特征值生成单元3401还将通过与图2所示第一局 部特征值生成单元201相似的操作生成的第一尺度信息的集合输出至相对对应点尺度大小 计算单元204。
[0258]第二局部特征点生成单元4201分别将第二局部特征值的集合、第二尺度信息的集 合、第二方向信息的集合和第二坐标值信息的集合输出至对应点计算单元203、相对对应点 尺度大小计算单元204、相对对应点方向计算单元1003和相对坐标值计算单元4202。
[0259](相对坐标值的生成）
[0260]相对坐标值计算单元4202使用相对对应点尺度大小计算单元204输出的关于对应 点的相对尺度大小的信息的集合、相对对应点方向计算单元1003输出的相对对应点方向信 息的集合、第一局部特征值生成单元3401输出的第一坐标值信息的集合、第二局部特征值 生成单元4201输出的第二坐标值信息的集合以及基准点的坐标值来将第一图像的特征点 的坐标值转换为任选坐标系上的点。相对坐标值计算单元4202将如此转换的坐标值（以下 称为对应点的相对坐标值)输出至对应点选择单元4203。基准点是指预设坐标值，其例如可 以是与针对第二图像使用的笛卡尔坐标系相同的坐标系中的任选点。在以下说明中，假设 拍摄主题的中心点是基准点。
[0261 ]以下详细说明如何计算对应点的相对坐标值。
[0262] 相对坐标值计算单元4202基于基准点的坐标值（作为第二图像中的可选基准点 (诸如拍摄主题的中心点））、第二坐标值信息的集合、关于对应点的相对尺度大小的信息的 集合、关于对应点的相对方向的信息的集合以及第一坐标值信息的集合来计算第一图像中 的每个拍摄主题的中心点。相对坐标值计算单元4202向对应点选择单元4203输出由所计算 的摄影主题的中心点形成的关于相对坐标值的信息的集合。
[0263] 为了计算对应点的相对坐标值，可以使用通过以下等式7表示的等式：
[0264] 「等忒 7?
[0265]
[0266] 其中，i和j分别表示第一图像和第二图像的特征点数量，V1表示第一图像的第i个 特征点的坐标值，〇i j表示对应点的相对尺度大小，Pi j表示对应点的相对方向，Ci j表示第一 图像中的拍摄主题的中心的坐标值，以及u/表示从第二图像的第j个特征点到第二图像中 的拍摄主题的中心的矢量。例如可以根据以下等式8来计算该矢量：
[0267] [等式 8]
[0268] UjJ=Lxc-Xj yc-yj]T
[0269] 其中，X谦示第j个特征点的X坐标值，yi表示第j个特征点的y坐标值，X。表示所选 第二图像的基准点的X坐标值，以及y。表示第二图像的基准点的y坐标值。
[0270] (对应点的选择）
[0271] 对应点选择单元4203使用相对坐标值计算单元4202输出的相对坐标值信息的集 合以及相对对应点尺度大小计算单元204输出的关于对应点的相对尺度大小的信息的集合 来对包含在第一图像中的特征点执行成簇。对应点选择单元4203基于成簇的结果选择特征 点，以输出所选信息的集合。特征点的选择以及所选信息的集合的输出与上述示例性实施 例相同，因此不再详细描述。
[0272] 为了基于对应点的相对尺度大小对特征点成簇以及选择对应点，对应点选择单元 4203例如可以使用类似于示例性实施例6中使用的方法。为了基于相对坐标值信息的集合 对特征点成簇以及选择对应点，对应点选择单元可以使用类似于示例性实施例6使用的方 法以基于第一坐标值信息的集合对对应点执行成簇。
[0273] 相对坐标值计算单元4202可以不使用例如基准点的坐标值。在这种情况下，相对 坐标值计算单元4202和对应点选择单元4203可以以下方式来操作。
[0274]相对坐标值计算单元4202基于第二坐标值信息的集合、关于对应点的相对尺度大 小的信息的集合、关于对应点的相对方向的信息的集合以及第一坐标值信息的集合来计算 第一图像中的每个特征点和第二图像中的每个特征点的相对位移。相对坐标值计算单元 4202向对应点选择单元4203输出由所计算的相对位移组成的相对坐标值信息的集合。
[0275] 在这种情况下，可以使用由以下等式9表示的等式：
[0276] [等式 9]
[0277]
[0278] 来计算对应点的相对坐标值。在上述等式中，Vlj表示相对位移，以及Vj表示第二图 像中的第j个特征点的坐标值。
[0279] 图像之间相同的拍摄主题的对应点的相对位移是恒定的，使得在对特征点执行成 簇或者基于相对坐标值信息的集合选择对应点的过程中，例如，对应点选择单元4203可使 用类似于示例性实施例6中使用的方法以基于第一坐标值信息的集合对特征点执行成簇。 [0280]如果没有输入基准点的坐标值，则相对坐标值计算单元4202可以上述相同的方式 计算相对坐标值信息的集合。尽管没有明确表示，但这同样适用于以下示例性实施例。
[0281] (示例性实施例7的操作）。
[0282] 参照图43将详细说明本示例性实施例的操作，图43描绘了示出本示例性实施例的 操作的流程图。图43所示的步骤S4301-S4303和S4306与上述步骤S301-S303和S306相同，因 此不再详细描述。
[0283] 在执行图43所示的步骤S4301-S4303的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系，同时相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集 合和关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S4304)。相对坐 标值计算单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向 的信息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算 相对坐标值(步骤S4305)。对应点选择单元4203基于相对坐标值信息的集合和关于对应点 的相对尺度大小的信息的集合来对特征点执行成簇，并基于成簇的结果选择特征点（步骤 S4306)。然后，处理前进到图43所示的步骤S4307。
[0284] (示例性实施例7的有益效果）
[0285] 通过示例性实施例7,不仅可以得到类似于示例性实施例1的有益效果，而且还可 以比示例性实施例1更精确地对特征点进行分组，因为在进行到成簇之前关于拍摄主题的 中心收集第一图像的特征点。因此，在示例性实施例7中，可以比示例性实施例1更加精确地 识别图像中的相同或类似的拍摄主题。
[0286] 现在将示出上述示例性实施例的特定修改例。
[0287][修改例1]
[0288]现在将参照图8示出修改例1，图8是示出根据修改例1的图像处理装置80的功能结 构的框图。参照图8,图像处理装置80在结构上类似于图6所示的图像处理装置60,其中不同 在于对应点选择单元401的结构和操作。顺便提及，对应点选择单元401在结构和操作上类 似于示例性实施例2，因此这里不再详细说明。
[0289] (修改例1的操作）
[0290] 现在将参照图9示出修改例1，其中图9描绘了示出修改例1的操作的流程图。由于 图9所示的步骤S901-S903和S906与图3所示的步骤S301-S303和S306相同，因此省略详细说 明。
[0291] 在执行图9所示的步骤S901-S903的处理之后，标准化相对对应点尺度大小计算单 元601使用第一尺度信息的集合、第二尺度信息的集合以及关于对应点的信息的集合来计 算尺度关系，并且基于拍摄主题的图像大小或者其实际大小或整个大小来标准化尺度关系 (步骤S904)。对应点选择单元401基于关于对应点的标准化相对尺度大小的信息的集合和 相对尺度大小的范围来对特征点执行成簇，并基于成簇的结果选择特征点（步骤S905)。然 后，处理前进到图9所示的步骤S906。
[0292] (修改例1的有益效果）
[0293] 通过修改例1，不仅可以得到类似于示例性实施例3的有益效果，而且与示例性实 施例3相比还可以减小计算量，因为通过成簇仅选择具有在相对尺度大小范围内的标准化 相对尺度大小的特征点。
[0294] [修改例2]
[0295] 参照图12,将示出修改例2。图12描绘了示出根据修改例2的图像处理装置120的功 能结构的框图。参照图12,图像处理装置120在结构上类似于图10所示的图像处理装置100， 其中不同在于对应点选择单元1201的结构和操作。
[0296]对应点选择单元1201使用相对对应点方向计算单元1003输出的关于对应点的相 对方向的信息的集合以及相对尺度大小的范围来对包含在第一图像中的特征点执行成簇。
[0297] 相对方向的范围可以是通过经验或观察得到的值、通过使用根据无教导的成簇从 关于对应点的相对方向的信息的集合计算的学习数据或值进行机器学习得到的值。相对方 向的范围的数量可以是一个或任何适当的多个数量。
[0298] 如果不同图像之间的特征点的匹配是正确的，则关于对应点的相对方向的信息从 一个拍摄主题到另一个拍摄主题是恒定的。因此，足以使对应点选择单元1201将具有在相 对方向范围内分布的相对方向信息的特征点分组到同一簇中。为了对特征点进行成簇以及 选择对应点，例如可以使用类似于修改例1中使用的方法。
[0299] (修改例2的操作）
[0300] 图13描绘了示出修改例2的操作的流程图。参照图13,将详细说明修改例2的操作。 图13所示的步骤S1301-S1303和S1306与图3所示的步骤S301-S303和S306相同，因此不再详 细说明。
[0301] 在执行图13所示的步骤S1301-S1303的处理之后，相对对应点方向计算单元1003 基于第一方向信息的集合、第二方向信息的集合和关于对应点的信息的集合来计算关于对 应点的相对方向的信息（步骤S1304)。对应点选择单元1201基于关于对应点的相对方向的 信息的集合和相对方向的范围来对特征点执行成簇，并基于成簇的结果选择特征点（步骤 Sl 305)。然后，处理前进到图13所示的步骤Sl 306。
[0302](修改例2的有益效果）
[0303]通过修改例2,可以得到类似于示例性实施例4的有益效果。此外，计算量可以小于 示例性实施例4中的计算量，因为仅对具有在相对方向的范围内的方向信息的特征点执行 成簇。
[0304][修改例3]
[0305]现在将参照图16示出修改例3，图16是示出根据修改例3的图像处理装置160的功 能结构的框图。参照图16,图像处理装置160在结构上类似于图14所示的图像处理装置140， 其中不同在于对应点选择单元1601的结构以及操作。
[0306] 对应点选择单元1601使用关于对应点的相对尺度大小的信息的集合、关于对应点 的相对方向的信息的集合、对应点的相对尺度大小的范围以及对应点的相对方向的范围来 对包含在第一图像中的特征点执行成簇，其中相对对应点尺度大小计算单元204输出关于 对应点的相对方向的信息的集合，并且相对对应点方向计算单元1003输出关于对应点的相 对方向的信息的集合。
[0307] 如果图像之间的特征点的相关或匹配是正确的，则关于对应点的相对尺度大小值 和相对方向的信息变得从一个拍摄主题到另一个拍摄主题是恒定的。因此，足以使对应点 选择单元1601将具有关于对应点的相对尺度大小的信息、在相对方向范围内分布的关于对 应点的相对方向的信息以及关于对应点的相对方向的信息的特征点分组到同一簇中。为了 对特征点进行成簇以及选择对应点，可以使用类似于示例性实施例5中使用的方法。
[0308](修改例3的操作）
[0309] 现在将参照图17示出修改例3的操作，图17描绘了示出修改例3的操作的流程图。 图17所示的步骤S1701-S1703和S1706与图3所示的步骤S301-S303和S306相同，因此省略详 细说明。
[0310] 在执行图17所示的步骤S1701-S1703的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集合以 及关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S1704)。对应点选 择单元1601基于关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的信息 的集合、相对尺度大小的范围和相对方向的范围来对特征点执行成簇，并基于成簇的结果 选择特征点（步骤Sl 705)。然后，处理前进到图17所示的步骤Sl 706。
[0311] (修改例3的有益效果）
[0312] 通过修改例3,可以得到类似于示例性实施例5的有益效果。此外，计算量可以小于 示例性实施例5中的计算量，因为仅对具有在相对尺度大小范围内的关于对应点的相对尺 度大小的信息以及在相对方向范围内的关于对应点的相对方向的信息的特征点执行成簇。 [0313][修改例4]
[0314]现在将参照图18示出修改例4,图18是示出根据修改例4的图像处理装置180的功 能结构的框图。参照图18,图像处理装置180在结构上类似于图14所示的图像处理装置140， 其中不同在于标准化相对对应点尺度大小计算单元601的结构以及操作。标准化相对对应 点尺度大小计算单元601的操作类似于修改例1，因此不再详细描述。
[0315](修改例4的操作）
[0316] 将参照图19详细示出修改例4的操作，图19示出了图示操作的流程图。图19所示的 步骤S1901-S1903和S1906与图3所示的步骤S301-S303和S306相同，因此不再详细说明。
[0317] 在执行图19所示的步骤S1901-S1903的处理之后，标准化相对应对应点尺度大小 计算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合 来计算尺度关系，并基于摄影主题的图像大小或其实际大小来对如此计算的尺度关系进行 标准化。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集合和 关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S1904)。对应点选择 单元1403基于关于对应点的标准化相对尺度大小的信息以及关于对应点的相对方向的信 息来对特征点执行成簇，并基于成簇的结果选择特征点（步骤S1905)。然后，处理前进到图 19所示的步骤S1906。
[0318](修改例4的有益效果）
[0319]通过修改例4,可以得到与示例性实施例5相同的有益效果。此外，在图像之间正确 匹配的特征点之间的相对尺度大小被标准化的情况下，对应点的标准化相对尺度大小变得 从第一图像中的一个摄影主题到另一个摄影主题是恒定的。因此，与示例性实施例5中相 比，可以更正确地识别拍摄主题。
[0320] [修改例5]
[0321] 现在将参照图20示出修改例5,图20是示出根据修改例5的图像处理装置200的功 能结构的框图。参照图20,图像处理装置200在结构上类似于图18所示的图像处理装置180， 其中不同在于对应点选择单元1601的结构以及操作。对应点选择单元1601的操作类似于修 改例3，因此省略对应的描述。
[0322] 将参照示出图示操作的流程图的图21详细描述修改例5的操作。由于图21所示的 步骤S2101-2103和S2106与图3所示的步骤S301-S303和S306相同，因此省略详细说明。
[0323] 在执行图21所示的步骤S2101-S2103的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系，并基于拍摄主题的图像大小或其实际大小对如此计算的尺度关系进行标准 化。相对对应点方向计算单元1003使用第一方向信息的集合、第二方向信息的集合和关于 对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S2104)。对应点选择单元 1601基于关于对应点的标准化相对尺度大小的信息的集合、关于对应点的相对方向的信息 的集合、相对尺度大小的范围和相对方向的范围对特征点执行成簇，并基于成簇的结果选 择特征点(步骤S2105)。然后，处理前进到图21所示的步骤S2106。
[0324] (修改例5的有益效果）
[0325] 通过修改例5,可以得到类似于修改例4的有益效果。此外，仅对具有在相对尺度大 小范围内的标准化相对尺度大小的特征点以及具有在相对方向范围内的方向信息的特征 点执行成簇，所以计算量可以小于修改例4中的计算量。
[0326] [修改例6]
[0327] 将参照图24示出修改例6，图24示出了图示根据修改例6的图像处理装置240的功 能结构的框图。参照图24,图像处理装置240在结构上类似于图22所示的图像处理装置220， 其中不同在于对应点选择单元2401的结构以及操作。
[0328]对应点选择单元2401基于关于对应点的相对尺度大小的信息的集合、相对尺度大 小的范围、特征点的坐标值和坐标值的范围来对包含在第一图像中的特征点执行成簇，其 中相对对应点尺度大小计算单元204输出关于对应点的相对尺度大小的信息的集合，并且 其中第一局部特征值生成单元2201输出特征点的坐标值。
[0329] 相对坐标值的范围例如可以是表示图像中存在拍摄主题范围的范围的坐标值。为 了计算图像中存在拍摄主题范围的范围，可以通过经验或观察找到限制点P和q的矩形。或 者，可以使用学习数据机械地计算拍摄主题的存在概率(表示图像中最可能存在拍摄主题 的区域），并且可以使用具有大于预设值的概率密度的这种区域作为存在拍摄主题范围的 范围。可以使用一个或多个相对坐标值的范围。
[0330] 如果不同图像之间的特征点的相关或匹配是正确的，则对应点的相对尺度大小值 变得从一个拍摄主题到另一个拍摄主题是恒定的。因此，对应点选择单元2401足以将具有 在相对尺度大小范围内分布的相对尺度大小的特征点分组到同一簇中。对应点选择单元 2401还足以将位于相对坐标值范围内的特征点分组到同一簇中。为了基于相对尺度大小进 行成簇以及基于坐标值进行成簇，可以使用类似于示例性实施例1或6中使用的方法。为了 选择对应点，可以使用类似于修改例5中使用的方法。
[0331]对应点选择单元2401还可以基于关于对应点的相对方向的信息的集合对特征点 执行成簇，基于成簇的结果选择特征点，然后基于第一坐标值信息的集合对如此选择的特 征点执行成簇。对应点选择单元2401还可以例如基于第一坐标值信息的集合对特征点执行 成簇，基于成簇的结果选择特征点，并且基于关于对应点的相对方向的信息的集合对如此 选择的特征点执行成簇。对应点选择单元2401还可以使用关于对应点的相对方向的信息的 集合和第一坐标值信息的集合二者来对特征点执行成簇。
[0332] (修改例6的操作）
[0333] 将参照示出图示操作的流程图的图25来详细描述修改例6的操作。由于图25所示 的步骤S2501-S2503和S2506分别与图3所示的步骤S301-S303和S306相同，因此这里省略详 细说明。
[0334] 在执行图25所示的步骤S2501-S2503的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系（步骤S2504)。对应点选择单元2401基于关于对应点的相对尺度大小的信息的集合、 第一坐标值信息的集合、相对尺度大小的范围和相对坐标值的范围来对特征点执行成簇， 并基于成簇的结果选择特征点（S2505)。然后，处理前进到图25所示的步骤S2506。
[0335] (修改例6的有益效果）
[0336] 通过修改例6,可以得到类似于示例性实施例6的有益效果。此外，计算量可以小于 示例性实施例6,因为仅对具有在相对尺度大小范围内的相对尺度大小值的特征点以及具 有在相对坐标值范围内的坐标值的特征点执行成簇。
[0337] [修改例7]
[0338] 现在参照图26,将说明修改例7。图26描绘了示出根据修改例7的图像处理装置260 的功能结构的框图。参照图26,图像处理装置260在结构上类似于图22所示的图像处理装置 220的结构，其中不同在于标准化相对对应点尺度大小计算单元601的结构以及操作。由于 标准化相对对应点尺度大小计算单元601的操作与示例性实施例1中相同，因此这里省略对 应的说明。
[0339] (修改例7的操作）
[0340] 将参照示出图示操作的流程图的图27来详细描述修改例7的操作。应该注意，由于 图27所示的步骤S2701-S2703和S2706与图3所示的步骤S301-S303和S306分别相同，因此为 了简化这里不再详细说明。
[0341] 在执行图27所示的步骤S2701-S2703的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系。标准化相对对应点尺度大小计算单元601使用拍摄主题的图像大小或实际 大小来标准化如此计算的尺度关系（步骤S2704)。对应点选择单元2202基于关于对应点的 标准化相对尺度大小的信息和第一坐标值信息的集合来对特征点执行成簇，并基于成簇的 结果选择特征点（步骤S2705)。然后，处理前进到图27所示的步骤S2706。
[0342] (修改例7的有益效果）
[0343] 通过修改例7,可以得到类似于示例性实施例6的有益效果。此外，由于图像之间正 确相关的特征点之间的相对尺度大小被标准化，所以对应点的标准化相对尺度大小从第一 图像中的一个拍摄主题到另一个拍摄主题是恒定的。因此，可以比示例性实施例6更加精确 地识别拍摄主题。
[0344] [修改例8]
[0345] 现在参照图28，将说明修改例8。图28描绘了示出根据修改例8的图像处理装置280 的功能结构的框图。参照图28,图像处理装置280在结构上类似于图26所示的图像处理装置 260的结构，其中不同在于对应点选择单元2401的结构以及操作。对应点选择单元2401的操 作与修改例6中的类似，因此这里省略对应的说明。
[0346] (修改例8的操作）
[0347] 将参照示出图示操作的流程图的图29来详细描述修改例8的操作。应该注意，由于 图29所示的步骤S2901-S2903和S2906与图3所示的步骤S301-S303和S306分别相同，因此这 里不再详细说明。
[0348] 在执行图29所示的步骤S2901-S2903的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系，并基于拍摄主题的实际大小或图像大小对如此计算的尺度关系进行标准化 (步骤S2904)。对应点选择单元2401基于对应点的相对尺度大小、第一坐标值信息的集合、 相对尺度大小的范围和相对坐标值的范围来对特征点执行成簇，并基于成簇的结果选择特 征点（步骤S2905)。然后，处理前进到图29所示的步骤S2906。
[0349] (修改例8的有益效果）
[0350] 通过修改例8,可以得到类似于示例性实施例7的有益效果。此外，由于仅对具有在 标准化相对尺度大小范围内的相对尺度大小值的特征点和具有在特征点的坐标值范围内 的坐标信息的特征点执行成簇，因此计算量可以小于修改例7中的计算量。
[0351] [修改例9]
[0352] 现在参照图30,将说明修改例9。图30描绘了示出根据修改例9的图像处理装置300 的功能结构的框图。参照图30,图像处理装置300在结构上类似于图10所示的图像处理装置 100,其中不同在于第一局部特征值生成单元3001和对应点选择单元3002的结构以及操作。
[0353] 第一局部特征值生成单元3001将通过类似于示例性实施例1的第一局部特征值生 成单元201的操作生成的第一方向信息的集合输出至相对对应点方向计算单元1003。第一 局部特征值生成单元3001还分别将通过类似于示例性实施例6的第一局部特征值生成单元 2201的操作所生成的关于第一局部特征值的信息的集合和关于第一坐标值的信息的集合 输出至对应点计算单元203和对应点选择单元3302。
[0354]对应点选择单元3002使用相对对应点方向计算单元1003输出的关于对应点的相 对方向的信息的集合以及第一局部特征值生成单元3001输出的第一坐标值信息的集合来 对包含在第一图像中的特征点执行成簇。
[0355] (修改例9的操作）
[0356] 将参照示出图示操作的流程图的图31来详细描述修改例9的操作。应该注意，由于 图31所示的步骤S3101-S3103和S3106与图3所示的步骤S301-S303和S306分别相同，因此省 略这里对应的详细说明。
[0357] 在执行图31所示的步骤S3101-S3103的处理之后，相对对应点方向计算单元1003 基于第一方向信息的集合、第二方向信息的集合和关于对应点的信息的集合来计算关于对 应点的相对方向的信息（步骤S3104)。对应点选择单元3002基于关于对应点的相对方向的 信息的集合和第一坐标值信息的集合来对特征点执行成簇，并基于成簇的结果选择特征点 (步骤S3105)。然后，处理前进到图31所示的步骤S3106。
[0358] (修改例9的有益效果）
[0359] 通过修改例9,可以得到类似于示例性实施例4的有益效果。此外，使得图像之间正 确相关的特征点根据拍摄主题而密集地聚集，从而通过基于坐标值对特征点执行成簇，即 使在存在具有相同相对方向的多个拍摄主题的情况下，也可以比示例性实施例4更加精确 地单独识别拍摄主题。
[0360] [修改例10]
[0361] 现在参照图32,将说明修改例10。图32描绘了示出根据修改例10的图像处理装置 320的功能结构的框图。参照图32,图像处理装置320在结构上类似于图30所示的图像处理 装置300,其中不同在于对应点选择单元3201的结构以及操作。因此，以下说明针对对应点 选择单元3201。
[0362] 对应点选择单元3201使用关于对应点的相对方向的信息的集合、相对方向的范 围、特征点的坐标值和坐标值的范围来对包含在第一图像中的特征点执行成簇，其中相对 对应点方向计算单元1003输出关于对应点的相对方向的信息的集合，并且其中第一局部特 征值生成单元3001输出特征点的坐标值。
[0363] 对应点选择单元3201还可以例如基于关于对应点的相对方向的信息的集合来对 特征点执行成簇，然后基于成簇的结果选择特征点，并且随后基于第一坐标值信息的集合 对如此选择的特征点执行成簇。对应点选择单元3201还可以例如基于第一坐标值信息的集 合执行成簇，然后基于成簇的结果选择特征点，并且随后基于关于对应点的相对方向的信 息的集合对如此选择的特征点执行成簇。对应点选择单元3201还可以例如基于关于对应点 的相对方向的信息的集合和第一坐标值信息的集合二者来对特征点执行成簇。
[0364] (修改例10的操作）
[0365] 将参照示出图示操作的流程图的图33来详细描述修改例10的操作。应该注意，由 于图33所示的步骤S3301-S3303和S3306分别与图3所示的步骤S301-S303和S306相同，因此 省略对应说明。
[0366] 在执行图33所示的步骤S3301-S3303的处理之后，相对对应点方向计算单元1003 基于第一方向信息的集合、第二方向信息的集合和匹配值信息的集合来计算关于对应点的 相对方向的信息（步骤S3304)。对应点选择单元3201基于关于对应点的相对方向的信息的 集合、第一坐标值信息的集合、相对方向的范围和相对坐标值的范围来对特征点执行成簇， 并基于成簇的结果选择特征点（步骤S3305)。然后，处理前进到图33所示的步骤S3306。
[0367] (修改例10的有益效果）
[0368] 通过修改例10,可以得到类似于修改例9的有益效果。此外，由于仅对具有在相对 方向范围内的关于相对方向的信息的特征点和具有在相对坐标值范围内的坐标值的特征 点执行成簇，因此计算量可以小于修改例9中的计算量。
[0369] [修改例11]
[0370]现在参照图34,将说明修改例11。图34描绘了示出根据修改例11的图像处理装置 340的功能结构的框图。参照图34,图像处理装置340在结构上类似于图14所示的图像处理 装置140,其中不同在于第一局部特征值生成单元3401和对应点选择单元3402的结构以及 操作。
[0371]通过类似于图30所示的第一局部特征值生成单元3001执行的操作，第一局部特征 值生成单元3401生成第一局部特征值的集合、第一方向信息的集合和第一坐标值信息的集 合，它们被分别输出至对应点计算单元203、相对对应点方向计算单元1003和对应点选择单 元3402。第一局部特征值生成单元3401还向相对对应点尺度大小计算单元204输出通过类 似于示例性实施例1的第一局部特征值生成单元201执行的操作所生成的第一尺度信息的 集合。
[0372]对应点选择单元3402使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合、相对对应点方向计算单元1003输出的关于对应点的相对方向 的信息的集合以及第一局部特征值生成单元3401输出的第一坐标值信息的集合来对包含 在第一图像中的特征点执行成簇。
[0373] (修改例11的操作）
[0374] 将参照示出图示操作的流程图的图35来详细描述修改例11的操作。应该注意，由 于图35所示的步骤S3501-3503和S3506分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0375] 在执行图35所示的步骤S3501-S3503的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集合和 关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S3504)。对应点选择 单元3402基于关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的信息的 集合以及第一坐标值信息的集合来对特征点执行成簇，并基于成簇的结果选择特征点（步 骤S3505)。然后，处理前进到图35所示的步骤S3506。
[0376] (修改例11的有益效果）
[0377] 通过修改例11，可以得到类似于示例性实施例5的有益效果。此外，使用图像中的 特征点的坐标值通过成簇来选择图像中的特征点，并且逐簇地判定不同图像之间相同或相 似的拍摄主题。使得图像之间正确匹配的特征点根据拍摄主题被密集地聚集在一起，从而 通过基于坐标值信息对特征点执行成簇，即使在存在具有相同尺度或相同相对方向的多个 拍摄主题的情况下，示例性实施例11与示例性实施例5相比也可以更精确地单独识别拍摄 主题。
[0378] [修改例I2]
[0379] 现在将参照图36说明修改例12，图36示出了根据修改例12的图像处理装置360的 功能结构。参照图36,图像处理装置360在结构上类似于图34所示的图像处理装置340,其中 不同在于对应点选择单元3601的结构以及操作。
[0380]对应点选择单元3601使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合、相对对应点方向计算单元1003输出的关于对应点的相对方向 的信息的集合、第一局部特征值生成单元3401输出的第一坐标值信息的集合、相对尺度大 小的范围、相对方向的范围以及相对坐标值的范围来对包含在第一图像中的特征点执行成 簇。
[0381] (修改例12的操作）
[0382] 将参照示出图示操作的流程图的图37来详细描述修改例12的操作。应该注意，由 于图37所示的步骤S3701-3703和S3706分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0383] 在执行图37所示的步骤S3701-S3703的处理之后，相对对应点尺度大小计算单元 204使用第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集合和 关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S3704)。对应点选择 单元3601基于关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的信息的 集合、关于第一坐标值的信息的集合、相对尺度大小的范围、相对方向的范围以及相对坐标 值的范围来对特征点执行成簇，并基于成簇的结果选择特征点（步骤S3705)。然后，处理前 进到图37所示的步骤S3706。
[0384] (修改例12的有益效果）
[0385] 通过修改例12,可以得到类似于修改例11的有益效果。此外，由于仅对具有在相对 尺度大小范围内的相对尺度大小信息的特征点、具有在相对方向范围内的相对方向信息的 特征点和具有在相对坐标值范围内的坐标值信息的特征点执行成簇，所以计算量可以小于 修改例11中的计算量。
[0386] [修改例13]
[0387] 现在参照图38,将说明修改例13。图38描绘了示出根据修改例13的图像处理装置 380的功能结构的框图。参照图38,图像处理装置380在结构上类似于图34所示的图像处理 装置340,其中不同在于标准化相对对应点尺度大小计算单元601的结构以及操作。由于标 准化相对对应点尺度大小计算单元601的操作与示例性实施例14中的相同，因此为了简化 不再详细说明。
[0388] (修改例13的操作）
[0389] 将参照示出图示操作的流程图的图39来详细描述修改例13的操作。由于图39所示 的步骤S3901-3903和S3906分别与图3所示的步骤S301-S303和S306相同，因此省略对应的 说明。
[0390] 在执行图39所示的步骤S3901-S3903的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的 集合和关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S3904)。对应 点选择单元3402基于关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的 信息的集合以及第一坐标值信息的集合来对特征点执行成簇，并基于成簇的结果选择特征 点（步骤S3905)。然后，处理前进到图39所示的步骤S3906。
[0391] (修改例13的有益效果）
[0392] 通过修改例13，可以得到类似于修改例11的有益效果。此外，在图像之间正确匹配 的特征点之间的相对尺度大小被标准化的情况下，由此标准化的对应点的相对尺度大小变 得从一个拍摄主题到另一个拍摄主题是恒定的。因此，与修改例11相比，可以更精确地识别 拍摄主题。
[0393] [修改例14]
[0394] 现在参照图40,将说明修改例14。图40描绘了示出根据修改例14的图像处理装置 400的功能结构的框图。参照图40,图像处理装置400在结构上类似于图38所示的图像处理 装置380,其中不同在于对应点选择单元3601的结构以及操作。对应点选择单元3601的操作 与示例性实施例12中的相同，因此这里为了简化不再详细说明。
[0395] (修改例14的操作）
[0396] 将参照示出图示操作的流程图的图41来详细描述修改例14的操作。由于图41所示 的步骤S4101-S4103和S4106分别与图3所示的步骤S301-S303和S306相同，因此省略对应的 说明。
[0397] 在执行图41所示的步骤S4101-S4103的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系。标准化相对对应点尺度大小计算单元601还例如基于拍摄主题的实际整体 大小或图像大小对由此计算的尺度关系进行标准化。相对对应点方向计算单元1003使用第 一方向信息的集合、第二方向信息的集合和关于对应点的信息的集合来计算关于对应点的 相对方向的信息（步骤S4104)。对应点选择单元3601使用关于对应点的标准化相对尺度大 小的信息的集合、关于对应点的相对方向的信息的集合、第一坐标值信息的集合、相对尺度 大小的范围、相对方向的范围以及相对坐标值的范围来对特征点执行成簇，并基于成簇的 结果选择特征点（步骤S4105)。然后，处理前进到图41所示的步骤S4106。
[0398] (修改例14的有益效果）
[0399] 通过修改例14,可以得到类似于修改例13的有益效果。此外，仅对具有在相对尺度 大小范围内的标准化相对尺度大小的特征点、具有在相对方向范围内的方向信息的特征点 和在相对坐标值范围内的特征点执行成簇。因此，计算量可以小于修改例13中的计算量。
[0400] [修改例15]
[0401]现在参照图44,将说明修改例15。图44描绘了示出根据修改例15的图像处理装置 440的功能结构的框图。参照图44,图像处理装置440在结构上类似于图42所示的图像处理 装置420,其中不同在于对应点选择单元4401的结构以及操作。
[0402]对应点选择单元4401使用相对对应点尺度大小计算单元204输出的关于对应点的 相对尺度大小的信息的集合、相对坐标值计算单元4202输出的关于相对坐标值的信息的集 合以及相对坐标值的范围来对特征点执行成簇。
[0403](修改例15的操作）
[0404]将参照示出图示操作的流程图的图45来详细描述修改例15的操作。由于图45所示 的步骤S4501-S4503和S4506分别与图3所示的步骤S301-S303和S306相同，因此省略对应的 说明。
[0405] 在执行图45所示的步骤S4501-S4503的处理之后，相对对应点尺度大小计算单元 2 04计算对应点的相对尺度大小，同时相对对应点方向计算单元10 0 3计算对应点的相对方 向（步骤S4504)。相对坐标值计算单元4202使用关于对应点的相对尺度大小的信息的集合、 关于对应点的相对方向信的信息的集合、基准点的坐标值、第一坐标值信息的集合和第二 坐标值信息的集合来计算相对坐标值(步骤S4505)。对应点选择单元4401基于关于对应点 的相对尺度大小的信息的集合、相对尺度大小的范围、相对坐标值信息的集合和相对坐标 值的范围来对特征点执行成簇，并基于成簇的结果选择特征点（步骤S4506)。然后，处理前 进到图45所示的步骤S4507。
[0406] 通过修改例15,可以得到类似于修改例7的有益效果。此外，仅对具有在相对尺度 大小值范围内的相对尺度大小值的特征点和具有在相对坐标值范围内的相对坐标值的特 征点执行成簇。因此，计算量可以小于修改例7中的计算量。
[0407] [修改例16]
[0408]现在参照图46，将说明修改例16。图46描绘了示出根据修改例16的图像处理装置 460的功能结构的框图。参照图46,图像处理装置460在结构上类似于图42所示的图像处理 装置420,其中不同在于标准化相对对应点尺度大小计算单元601的结构以及操作。由于标 准化相对对应点尺度大小计算单元601的操作与示例性实施例14中的相同，因此这里为了 简化不再详细说明。
[0409] (修改例16的操作）
[0410] 将参照示出图示操作的流程图的图47来详细描述修改例16的操作。应该注意，由 于图47所示的步骤S4701-S4703和S4707分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0411] 在执行图47所示的步骤S4701-S4703的处理之后，标准化相对对应点尺度大小计 算单元601使用第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系，并且例如基于拍摄主题的实际大小或者图像大小对如此计算的尺度关系进 行标准化。另一方面，相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信 息的集合和关于对应点的信息的集合来计算关于对应点的相对方向的信息(步骤S4704)。 相对坐标值计算单元4202使用关于对应点的标准化相对尺度大小的信息的集合、关于对应 点的相对方向的信息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息 的集合来计算相对坐标值(步骤S4705)。对应点选择单元4203基于关于对应点的标准化相 对尺度大小的信息的集合、相对尺度大小的范围、相对坐标值信息的集合和相对坐标值的 范围来对特征点执行成簇，并基于成簇的结果选择特征点（步骤S4706)。然后，处理前进到 图47所示的步骤S4704。
[0412](修改例16的有益效果）
[0413] 通过修改例16,可以得到类似于示例性实施例7的有益效果。此外，在不同图像之 间正确匹配的特征点之间的相对尺度大小被标准化的情况下，匹配尺度的相对尺度大小变 得从第一图像中的一个拍摄主题到另一个拍摄主题是恒定的。从而，即使在修改例16中涉 及图像之间大小不同的拍摄主题，其中使用对应点的标准化相对尺度大小值对特征点执行 成簇，与示例性实施例7相比，仍可以更精确地识别这些拍摄主题。
[0414] [修改例17]
[0415] 现在参照图48，将说明修改例17。图48是示出了根据本修改例的图像处理装置480 的功能结构的框图。图像处理装置480在结构上类似于图46所示的图像处理装置460,其中 不同在于对应点选择单元4401的结构以及操作。由于对应点选择单元4401的结构类似于修 改例16的对应部件，所以这里省略详细说明。
[0416] (修改例17的操作）
[0417] 将参照示出图示操作的流程图的图49来详细描述修改例17的操作。由于图49所示 的步骤S4901-S4903和S4907分别与图3所示的步骤S301-S303和S306相同，因此为简明起见 不再详细说明。
[0418] 在执行图49所示的步骤S4901-S4903的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系。然后，标准化相对对应点尺度大小计算单元基于拍摄主题的图像大小或其 实际大小来对如此计算的尺度关系进行标准化。相对对应点方向计算单元1003基于第一方 向信息的集合、第二方向信息的集合和关于对应点的信息的集合来计算关于对应点的相对 方向的信息（步骤S4904)。相对坐标值计算单元4202使用关于对应点的标准化相对尺度大 小的信息的集合、关于对应点的相对方向的信息的集合、基准点的坐标值、第一坐标值信息 的集合和第二坐标值信息的集合来计算相对坐标值(步骤S4905)。对应点选择单元4401基 于关于对应点的相对尺度大小的信息的集合、相对尺度大小的范围、关于相对坐标值的信 息的集合以及相对坐标值的范围来对特征点执行成簇，并基于成簇的结果选择特征点（步 骤S4906)。然后，处理前进到图49所示的步骤S4907。
[0419](修改例17的有益效果）
[0420]通过修改例17，可以得到类似于示例性实施例15的有益效果。此外，由于对应点的 标准化相对尺度大小变得从第一图像中的一个拍摄主题到另一个拍摄主题是恒定的，所以 可以通过基于对应点的标准化相对尺度大小值对特征点执行成簇来得到类似于修改例16 的有益效果。此外，在本示例性实施例中，仅对具有在相对尺度大小范围内的相对尺度大小 值的特征点和具有在相对坐标值范围内的相对坐标值的特征点执行成簇。因此，计算量可 以小于修改例16中的计算量。
[0421] [修改例18]
[0422] 将参照图50说明修改例18，图50示出了图示根据修改例18的图像处理装置500的 功能结构的框图。参照图50,图像处理装置500在结构上类似于图34所示的图像处理装置 340,其中不同在于第二局部特征值生成单元4201、相对坐标值计算单元4202和对应点选择 单元5001的结构以及操作。第二局部特征值生成单元4201和相对坐标值计算单元4202的结 构和操作类似于修改例17使用的对应部件，因此这里为了简化不再详细说明。
[0423]对应点选择单元5001使用相对坐标值计算单元4202输出的相对坐标值信息的集 合和相对对应点方向计算单元1003输出的关于对应点的相对方向的信息的集合来对特征 点执行成簇，并基于成簇的结果选择特征点。
[0424] 将参照示出图示操作的流程图的图51来详细描述修改例18的操作。由于图51所示 的步骤S5101-S5103和S5107分别与图3所示的步骤S301-S303和S306相同，因此这里为了简 化不再详细说明。
[0425] 在执行图51所示的步骤S5101-S5103的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集合和 关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S5104)。相对坐标值 计算单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的信 息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算相对 坐标值(步骤S5105)。对应点选择单元5001基于关于对应点的相对方向的信息的集合和关 于相对坐标值的信息的集合来对特征点执行成簇，并基于成簇的结果选择特征点（步骤 S5106)。然后，处理前进到图51所示的步骤S5107。
[0426] (修改例18的有益效果）
[0427] 通过修改例18,可以得到类似于修改例11的有益效果。此外，在前进到成簇之前围 绕拍摄主题的中心收集第一图像的特征点，使得成簇精度可高于修改例11。从而，与修改例 11相比，可以更精确地识别图像内的相同或相似拍摄主题。
[0428] [修改例19]
[0429] 将参照图52说明修改例19，图52示出了图示根据修改例19的图像处理装置520的 功能结构的框图。参照图52,图像处理装置520在结构上类似于图50所示的图像处理装置 500,其中不同在于对应点选择单元5201的结构以及操作。
[0430]对应点选择单元5201使用相对坐标值计算单元4202输出的相对坐标值信息的集 合、相对坐标值的范围、相对对应点方向计算单元100 3输出的关于对应点的相对方向的信 息的集合和相对方向的范围来对特征点执行成簇。
[0431] (修改例19的操作）
[0432] 将参照示出图示操作的流程图的图53来详细描述修改例19的操作。应该注意，由 于图53所示的步骤S5301-S5303和S5307分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0433] 在执行图53所示的步骤S5301-S5303的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系，同时相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集 合和关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S5304)。相对坐 标值计算单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向 的信息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算 相对坐标值(步骤S5305)。对应点选择单元5201基于关于对应点的相对方向的信息的集合、 相对坐标值信息的集合、相对方向的范围和相对坐标值的范围来对特征点执行成簇，并基 于成簇的结果选择特征点（步骤S5306)。然后，处理前进到图53所示的步骤S5307。
[0434] (修改例19的有益效果）
[0435] 通过修改例19，可以得到类似于修改例18的有益效果。此外，仅对具有在相对方向 范围内的相对方向值的特征点和具有在相对坐标值范围内的相对坐标值的特征点执行成 簇。因此，计算量可以小于修改例18中的计算量。
[0436] [修改例20]
[0437] 将参照图54说明修改例20,图54描绘了示出根据修改例20的图像处理装置540的 功能结构的框图。参照图54,图像处理装置540在结构上类似于图42所示的图像处理装置 420,其中不同在于对应点选择单元5401的结构以及操作。
[0438]对应点选择单元5401使用相对坐标值计算单元4202输出的关于相对坐标值的信 息的集合、相对对应点尺度大小计算单元204输出的关于对应点的相对尺度大小的信息的 集合和相对对应点方向计算单元1003输出的关于对应点的相对方向的信息的集合来对特 征点执行成簇。
[0439](修改例20的操作）
[0440]将参照示出图示操作的流程图的图55来详细描述修改例20的操作。应该注意，由 于图55所示的步骤S5501-S5503和S5507分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0441 ] 在执行图55所示的步骤S5501-S5503的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系，同时相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集 合和关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S5504)。相对坐 标值计算单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向 的信息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算 相对坐标值(步骤S5505)。对应点选择单元5401基于关于对应点的相对尺度大小的信息的 集合、关于对应点的相对方向的信息的集合以及相对坐标值信息的集合来对特征点执行成 簇，并基于成簇的结果选择特征点（步骤S5506)。然后，处理前进到图55所示的步骤S5507。
[0442] (修改例20的有益效果）
[0443] 通过修改例20,可以得到类似于示例性实施例7的有益效果。此外，图像之间正确 匹配的特征点之间的相对方向变得从一个拍摄主题到另一个拍摄主题是恒定的，使得通过 基于关于对应点的相对方向的信息对特征点执行成簇，可以消除第一图像的特征点与第二 图像的特征点之间的错误匹配事件。因此，通过本示例性实施例，可以比示例性实施例7更 加精确地识别图像中的相同或相似拍摄主题。
[0444] [修改例21]
[0445] 现在将参照图56说明修改例21，图56是示出了根据修改例21的图像处理装置560 的功能结构的框图。参照图56,图像处理装置560在结构上类似于图54所示的图像处理装置 540,其中不同在于对应点选择单元5601的结构以及操作。
[0446]对应点选择单元5601使用相对坐标值计算单元4202输出的关于相对坐标值的信 息的集合、输出的相对坐标值的范围、相对对应点尺度大小计算单元204输出的关于对应点 的相对尺度大小的信息的集合、相对对应点方向计算单元1003输出的关于对应点的相对方 向的信息的集合和相对方向的范围来对特征点执行成簇。
[0447] (修改例21的操作）
[0448] 将参照示出图示操作的流程图的图57来详细描述修改例21的操作。应该注意，图 57所示的步骤S5701-S5703和S5707分别与图3所示的步骤S301-S303和S306相同，因此省略 这里的详细说明。
[0449] 在执行图57所示的步骤S5701-S5703的处理之后，相对对应点尺度大小计算单元 204基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来计算尺 度关系，同时相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集 合和关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S5704)。相对坐 标值计算单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向 的信息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算 相对坐标值(步骤S5705)。对应点选择单元5601基于关于对应点的相对尺度大小的信息的 集合、关于对应点的相对方向的信息的集合、相对坐标值信息的集合、相对尺度大小的范 围、相对方向的范围和相对坐标值的范围来对特征点执行成簇，并基于成簇的结果选择特 征点（步骤S5706)。然后，处理前进到图57所示的步骤S5707。
[0450](修改例21的有益效果）
[0451] 通过修改例21，可以得到类似于修改例20的有益效果。此外，由于仅对在具有相对 尺度大小范围内的相对尺度大小值的特征点、具有在相对方向范围内的方向信息的特征点 和具有在相对坐标值范围内的相对坐标值的特征点执行成簇，所以计算量可小于修改例20 中的计算量。
[0452] [修改例22]
[0453] 将参照图58说明修改例22，图58描绘了示出根据修改例22的图像处理装置580的 功能结构的框图。参照图58,图像处理装置580在结构上类似于图54所示的图像处理装置 540,其中不同在于标准化相对对应点尺度大小计算单元601的结构以及操作。由于标准化 相对对应点尺度大小计算单元601的操作与修改例17中的相同，因此为了简化不再详细说 明。
[0454] (修改例22的操作）
[0455] 将参照示出图示操作的流程图的图59来详细描述修改例22的操作。应该注意，由 于图59所示的步骤S5901-S5903和S5907分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0456] 在执行图59所示的步骤S5901-S5903的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系，并且基于拍摄主题的实际大小或图像大小来对如此计算的尺度关系进行标 准化。相对相对对应点方向计算单元1003使用第一方向信息的集合、第二方向信息的集合 和关于对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S5904)。相对坐标 值计算单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的 信息的集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算相 对坐标值(步骤S5905)。对应点选择单元5401基于关于对应点的相对尺度大小的信息的集 合、关于对应点的相对方向的信息的集合以及关于相对坐标值信息的集合来对特征点执行 成簇，并基于成簇的结果选择特征点（步骤S5906)。然后，处理前进到图59所示的步骤 S5907〇
[0457] (修改例22的有益效果）
[0458] 通过修改例22,可以得到类似于示例性实施例20的有益效果。此外，在不同图像之 间正确匹配的特征点之间的相对尺度大小被标准化的情况下，匹配尺度相对尺度大小变得 从第一图像中的一个拍摄主题到另一个拍摄主题是恒定的。从而，如果在修改例22中涉及 图像之间大小不同的拍摄主题，其中基于对应点的标准化相对尺度大小值对特征点执行成 簇，可以比示例性实施例20更精确地识别拍摄主题。
[0459] [修改例23]
[0460]将参照图60说明修改例23,图60描绘了示出根据修改例23的图像处理装置600的 功能结构的框图。参照图60,图像处理装置600在结构上类似于图58所示的图像处理装置 580,其中不同在于对应点选择单元5601的结构以及操作。由于对应点选择单元5602的操作 与修改例21中的相同，所以省略详细说明。
[0461] (修改例23的操作）
[0462] 将参照示出图示操作的流程图的图61来详细描述修改例23的操作。应该注意，由 于图61所示的步骤S6101-S6103和S6107分别与图3所示的步骤S301-S303和S306相同，因此 省略对应的说明。
[0463] 在执行图61所示的步骤S6101-S6103的处理之后，标准化相对对应点尺度大小计 算单元601基于第一尺度信息的集合、第二尺度信息的集合和关于对应点的信息的集合来 计算尺度关系，并且使用拍摄主题的实际大小或图像大小等对计算的尺度关系进行标准 化。相对对应点方向计算单元1003基于第一方向信息的集合、第二方向信息的集合和关于 对应点的信息的集合来计算关于对应点的相对方向的信息（步骤S6104)。相对坐标值计算 单元4202使用关于对应点的相对尺度大小的信息的集合、关于对应点的相对方向的信息的 集合、基准点的坐标值、第一坐标值信息的集合和第二坐标值信息的集合来计算相对坐标 值(步骤S6105)。对应点选择单元5601基于关于对应点的相对尺度大小的信息的集合、关于 对应点的相对方向的信息的集合、关于相对坐标值信息的集合、相对尺度大小的范围、相对 方向的范围和相对坐标值的范围来对特征点执行成簇，并基于成簇的结果选择特征点（步 骤S6106)。然后，处理前进到图61所示的步骤S6107。
[0464] (修改例23的有益效果）
[0465] 通过修改例23,可以得到类似于示例性实施例22的有益效果。此外，仅对具有在相 对尺度大小范围内的相对尺度大小的特征点、具有在相对方向范围内的相对方向信息的特 征点和具有在相对坐标值范围内的相对坐标值的特征点执行成簇。因此，计算量可小于修 改例22中的计算量。
[0466] 上面描述的示例性实施例的部分或所有可表示为如下方式，但不限于此。
[0467] [方式 1]
[0468] 方式1与根据第一方面的图像处理装置相同。
[0469] [方式 2]
[0470] 一种图像处理装置，包括：
[0471]第一局部特征值生成单元，从第一图像检测第一特征点中的一个或多个第一特征 点，并且从包括所检测的每一个第一特征点的预设范围的区域计算与每个第一特征点对应 的关于第一局部特征值的信息的集合；
[0472] 对应点计算单元，计算第一特征点与包含在从第二图像中计算的关于第二局部特 征值的信息的集合中的第二特征点之间的对应关系作为关于对应点的信息；
[0473] 相对对应点方向计算单元，基于关于第一局部特征值的信息的集合、关于第二局 部特征值的信息的集合和关于对应点的信息来计算第一特征点的方向与第二特征点的方 向之间的关系作为关于对应点的相对方向的信息；
[0474] 对应点选择单元，基于关于对应点的相对方向的信息来对第一特征点和第二特征 点中的至少一种执行成簇，并且基于成簇的结果选择至少一个特征点；以及
[0475] 判定单元，基于由对应点选择单元选择的特征点，逐簇地将第一图像与第二图像 相互比较，并且判定可能的拍摄主题的相同性。
[0476] [方式 3]
[0477] 根据方式1的图像处理装置，其中，相对对应点信息计算单元对关于对应点的相对 尺度大小的信息进行标准化。
[0478] [方式 4]
[0479] 根据方式1至3中任一项的图像处理装置，其中，对应点选择单元基于相对对应点 信息和第一特征点的坐标值来对第一特征点执行成簇。
[0480] [方式 5]
[0481] 根据方式1至4中任一项的图像处理装置，其中，对应点选择单元生成将所选特征 点的关于对应点的信息与簇信息中的一个或多个簇信息彼此相关联的选择信息。
[0482] [方式 6]
[0483] 根据方式1至5中任一项的图像处理装置，还包括:相对坐标值计算单元，从第二图 像中选择基准点，并基于第一特征点、第二特征点和相对对应点信息来计算第一特征点和 基准点之间的关系作为相对坐标信息。
[0484] [方式 7]
[0485] 根据方式1至6中任一项的图像处理装置，其中，对应点选择单元基于相对对应点 信息和相对对应点信息的预设范围来对第一特征点和第二特征点中的至少一种执行成簇。
[0486] [方式 8]
[0487] 方式8与根据第二方面的拍摄主题识别方法相同。
[0488] [方式 9]
[0489] -种用于识别拍摄主题的方法，包括以下步骤：
[0490] 从第一图像检测第一特征点中的一个或多个第一特征点，并且从包括所检测的每 一个第一特征点的预设范围的区域计算与每个第一特征点对应的关于第一局部特征值的 信息的集合；
[0491] 计算第一特征点与包含在从第二图像中计算的关于第二局部特征值的信息的集 合中的第二特征点之间的对应关系作为关于对应点的信息；
[0492] 基于关于第一局部特征值的信息的集合、关于第二局部特征值的信息的集合和关 于对应点的信息来计算第一特征点的方向与第二特征点的方向之间的关系作为关于对应 点的相对方向的信息；
[0493] 基于关于对应点的相对方向的信息对第一特征点和第二特征点中的至少一种执 行成簇，并且基于成簇的结果选择至少一个特征点；以及
[0494] 基于所选择的特征点，逐簇地将第一图像与第二图像相互比较，并且判定可能的 拍摄主题的相同性。
[0495] [方式 10]
[0496]方式10与根据第三方面的程序相同。
[0497][方式11]
[0498] 一种程序，使控制图像处理装置的计算机执行以下处理：
[0499] 从第一图像检测第一特征点中的一个或多个第一特征点，并且从包括所检测的每 一个第一特征点的预设范围的区域计算与每个第一特征点对应的关于第一局部特征值的 信息的集合；
[0500] 计算第一特征点与包含在从第二图像中计算的关于第二局部特征值的信息的集 合中的第二特征点之间的对应关系作为关于对应点的信息；
[0501] 基于关于第一局部特征值的信息的集合、关于第二局部特征值的信息的集合和关 于对应点的信息来计算第一特征点的方向与第二特征点的方向之间的关系作为关于对应 点的相对方向的信息；
[0502] 基于关于对应点的相对方向的信息对第一特征点和第二特征点中的至少一种执 行成簇，并且基于成簇的结果选择至少一个特征点；以及
[0503]基于所选择的特征点，逐簇地将第一图像与第二图像相互比较，并且判定可能的 拍摄主题的相同性。
[0504] 上面引用的专利文献的公开内容将通过参考结合于此。应该注意，基于本发明的 基本教导概念，可以在包括权利要求的本发明的公开概念内修改或调整示例性实施例和实 例。在本发明的公开范围内可以实现所公开元件的多种组合或选择，包括权利要求的元件、 实例或示例性实施例和附图。应该理解，本发明可以包括各种变化和修改，本领域技术人员 根据包括权利要求和发明的教导概念的公开可以实现这些变化和修改。具体地，即使没有 明确的表述，也可以具体地规定任何任选的数位或者包含在本文阐述的数值范围中的子范 围。
[0505] 参考标号列表
[0506] 10、20、40、60、80、100、120、140、160、180、200、220、240、260、280、300、320、340、 360、380、400、420、440、460、480、500、520、540、560、580、600 图像处理装置
[0507] 11第一局部特征值生成单元
[0508] 13对应点计算单元
[0509] 14相对对应点尺度大小计算单元
[0510] 15对应点选择单元
[0511] 16判定单元
[0512] 101、201、1001、1401、2201、3001、3401 第一局部特征值生成单元
[0513] 102、202、1002、1402、4201第二局部特征值生成单元
[0514] 103、203对应点计算单元
[0515] 104、206 判定单元
[0516] 204相对对应点尺度大小计算单元
[0517] 205、401、1004、1201、1403、1601、2202、2401、3002、3201、3402、3601、4203、4401、 5001、5201、5401、5601对应点选择单元
[0518] 601标准化相对对应点尺度大小计算单元
[0519] 1003相对对应点方向计算单元
[0520] 4202相对坐标值计算单元
[0521] 10001、10002、10011、10012 图像
【主权项】
1. 一种图像处理装置，包括： 第一局部特征值生成单元，所述第一局部特征值生成单元从第一图像检测第一特征点 中的一个或多个第一特征点，并且从包括所检测的每个第一特征点的预设范围的区域计算 与每个第一特征点对应的关于第一局部特征值的信息的集合； 对应点计算单元，所述对应点计算单元计算所述第一特征点与第二特征点之间的对应 关系作为关于对应点的信息，所述第二特征点被包含在从第二图像计算的关于第二局部特 征值的信息的集合中； 相对对应点尺度大小计算单元，所述相对对应点尺度大小计算单元基于所述关于第一 局部特征值的信息的集合、所述关于第二局部特征值的信息的集合和所述关于对应点的信 息来计算所述第一特征点的尺度与所述第二特征点的尺度之间的关系作为关于对应点的 相对尺度大小的信息； 对应点选择单元，所述对应点选择单元基于所述关于对应点的相对尺度大小的信息对 所述第一特征点和所述第二特征点中的至少一种执行成簇，并且基于所述成簇的结果选择 至少一个特征点；以及 判定单元，所述判定单元基于由所述对应点选择单元选择的特征点，逐簇地将所述第 一图像与所述第二图像相互比较，并且判定可能的拍摄主题的相同性。2. -种图像处理装置，包括： 第一局部特征值生成单元，所述第一局部特征值生成单元从第一图像检测第一特征点 中的一个或多个第一特征点，并且从包括所检测的每个第一特征点的预设范围的区域计算 与每个第一特征点对应的关于第一局部特征值的信息的集合； 对应点计算单元，所述对应点计算单元计算所述第一特征点与第二特征点之间的对应 关系作为关于对应点的信息，所述第二特征点被包含在从第二图像计算的关于第二局部特 征值的信息的集合中； 相对对应点方向计算单元，所述相对对应点方向计算单元基于所述关于第一局部特征 值的信息的集合、所述关于第二局部特征值的信息的集合和所述关于对应点的信息来计算 所述第一特征点的方向与所述第二特征点的方向之间的关系作为关于对应点的相对方向 的信息； 对应点选择单元，所述对应点选择单元基于所述关于对应点的相对方向的信息对所述 第一特征点和所述第二特征点中的至少一种执行成簇，并且基于所述成簇的结果选择至少 一个特征点；以及 判定单元，所述判定单元基于由所述对应点选择单元选择的特征点，逐簇地将所述第 一图像与所述第二图像相互比较，并且判定可能的拍摄主题的相同性。3. 根据权利要求1所述的图像处理装置，其中， 所述相对对应点信息计算单元对所述关于对应点的相对尺度大小的信息进行标准化。4. 根据权利要求1至3中任一项所述的图像处理装置，其中， 所述对应点选择单元基于所述相对对应点信息和所述第一特征点的坐标值来对所述 第一特征点执行成簇。5. 根据权利要求1至4中任一项所述的图像处理装置，其中， 所述对应点选择单元生成将所选择的特征点的所述关于对应点的信息与簇信息中的 一个或多个簇信息彼此相关联的选择信息。6. 根据权利要求1至5中任一项所述的图像处理装置，还包括： 相对坐标值计算单元，所述相对坐标值计算单元从所述第二图像选择基准点，并基于 所述第一特征点、第二特征点和所述相对对应点信息来计算所述第一特征点和所述基准点 之间的关系作为相对坐标信息。7. 根据权利要求1至6中任一项所述的图像处理装置，其中， 所述对应点选择单元基于所述相对对应点信息和所述相对对应点信息的预设范围来 对所述第一特征点和所述第二特征点中的至少一种执行成簇。8. -种用于识别拍摄主题的方法，包括以下步骤： 从第一图像检测第一局部特征点中的一个或多个第一局部特征点，从包括所检测的每 个第一特征点的预设范围的区域计算与每个第一特征点对应的关于第一局部特征值的信 息的集合； 计算所述第一特征点与第二特征点之间的对应关系作为关于对应点的信息，所述第二 特征点被包含在从第二图像计算的关于第二局部特征值的信息的集合中； 基于所述关于第一局部特征值的信息的集合、所述关于第二局部特征值的信息的集合 和所述关于对应点的信息来计算所述第一特征点的尺度与所述第二特征点的尺度之间的 关系作为关于对应点的相对尺度大小的信息； 基于所述关于对应点的相对尺度大小的信息对所述第一特征点和所述第二特征点中 的至少一种执行成簇，并且基于所述成簇的结果选择至少一个特征点；以及 基于所选择的特征点，逐簇地将所述第一图像与所述第二图像相互比较，并且判定可 能的拍摄主题的相同性。9. 一种用于识别拍摄主题的方法，包括以下步骤： 从第一图像检测第一局部特征点中的一个或多个第一局部特征点，从包括所检测的每 个第一特征点的预设范围的区域计算与每个第一特征点对应的关于第一局部特征值的信 息的集合； 计算所述第一特征点与第二特征点之间的对应关系作为关于对应点的信息，所述第二 特征点被包含在从第二图像计算的关于第二局部特征值的信息的集合中； 基于所述关于第一局部特征值的信息的集合、所述关于第二局部特征值的信息的集合 和所述关于对应点的信息来计算所述第一特征点的方向与所述第二特征点的方向之间的 关系作为关于对应点的相对方向的信息； 基于所述关于对应点的相对方向的信息对所述第一特征点和所述第二特征点中的至 少一种执行成簇，并且基于所述成簇的结果选择至少一个特征点；以及 基于所选择的特征点，逐簇地将所述第一图像与所述第二图像相互比较，并且判定可 能的拍摄主题的相同性。10. -种程序，所述程序使得控制图像处理装置的计算机执行以下处理： 从第一图像检测第一特征点中的一个或多个第一特征点，从包括所检测的每个第一特 征点的预设范围的区域计算与每个第一特征点对应的关于第一局部特征值的信息的集合； 计算所述第一特征点与第二特征点之间的对应关系作为关于对应点的信息，所述第二 特征点被包含在从第二图像计算的关于第二局部特征值的信息的集合中； 基于所述关于第一局部特征值的信息的集合、所述关于第二局部特征值的信息的集合 和所述关于对应点的信息来计算所述第一特征点的尺度与所述第二特征点的尺度之间的 关系作为关于对应点的相对尺度大小的信息； 基于所述关于对应点的相对尺度大小的信息对所述第一特征点和所述第二特征点中 的至少一种执行成簇，并且基于所述成簇的结果选择至少一个特征点；以及 基于所选择的特征点，逐簇地将所述第一图像与所述第二图像相互比较，判定可能的 拍摄主题的相同性。
【文档编号】G06T7/00GK105849776SQ201480071107
【公开日】2016年8月10日
【申请日】2014年12月25日
【发明人】包蕊寒, 比嘉恭太
【申请人】日本电气株式会社