信息处理装置、方法和程序的制作方法

专利名称：信息处理装置、方法和程序的制作方法
技术领域：
本发明涉及信息处理装置、方法和程序，具体而言涉及用于识别图像中的对象(object)的信息处理装置、方法和程序。
技术背景对于存在于图像(例如，由照相机捕获)中的对象的识别已经研究了 很长时间。这些研究主要关于如何以透视法描述对象，即，如何通过准备 整个对象的纹路模板并将该模板应用于整个对象以检查该对象是否与模板 相匹配来识别对象。但是，例如当对象的一部分是隐藏的或者图像包括复 杂背景时这些方法在识别所捕获的图像中的对象时有困难。为了解决这样的问题，近年来提出了 一种对于捕获的图像中的对象的 部分隐藏部分、复杂背景等非常健壮的方法，该方法利用局部特征值来描 述对象并且执行局部特征值之间的匹配(例如，见D. G. Lowe， "Object Recognition from local scale-invariant features", ICCV, 1999， 下文中称为非 专利文献O 。已提出了大量的用于利用对象的轮廓(contour)形状(例如边缘)来 识别纹路较少的对象的方法。基于边缘的识别方法的主体也使用透视描 述，从而它们在提取典型图像中的整个对象的轮廓时有明显的困难。另 外，如上所述，当对象的一部分是隐藏的或者背景复杂时，使用透视描述 的方法在识别这样的对象时有困难。为了解决这些问题，近年来提出了用于局部描述边缘的方法，该方法 是基于上述用于利用局部特征值描述纹路的方法的(例如，见S. Belongie, J. Malik禾口 J. Puzicha, "Shape Matching and Object Recognition Using Shape Contexts", PAMI， 2002以及F. Jurie和C. Schmid, "Scale-invariant shape features for recognition of object categories", CVPR， 2004，下文中称为非专利文献2和3)。发明内容尽管在非专利文献1中描述的方法对于纹路充分的对象来说是非常有 效的，但是难以将该方法应用于纹路较少的对象。另一方面，当前可以认为，在非专利文献2和3中描述的方法对于包括部分隐藏的部分和复杂背 景的典型图像来说是够健壮的。考虑到这样的情形，希望更可靠地识别部分包括部分隐藏的部分和复 杂背景的典型图像中的对象。根据本发明实施例的信息处理装置将输入图像与模型图像相比较以利 用模型图像的被拍摄体(subject)来识别输入图像的被拍摄体。该信息处 理装置包括特征值提取装置和匹配装置，特征值提取装置用于设置特征 点，每个特征点在模型图像的边缘上并且提供用于提取出作为模型图像的 特征值的模型图像特征值，并且特征值提取装置还用于从每个特征点附近 的多个特征值提取区域中的每一个提取出模型图像特征值，匹配装置用于 检查在输入图像的边缘上并且与特征点相对应的点处的作为输入图像的特 征值的输入图像特征值是否与特征点处的多个模型图像特征值中的任何一 个相匹配。特征值提取装置可以从多个特征值提取区域中的每一个提取出多种类 型的模型图像特征值，并且匹配装置可以针对多种类型中的每一种执行匹 酉己^j乍。特征值提取装置可以被配置为从多个特征值提取区域中的每一个提取 出模型图像特征值，模型图像特征值对于模型图像的边缘附近的每个像素 具有连续值。特征值提取装置可以被配置为从多个特征值提取区域中的每一个提取 出边缘强度，边缘强度是在模型图像的边缘附近获得的。特征值提取装置可以被配置为从特征点附近的多个特征值提取区域中 的每一个提取出作为模型图像的特征值的模型图像特征值，特征点被定义 为参考圆与模型图像的边缘相交的点，参考圆是以下述方式确定的，该方式使得其中包含相对较大部分的模型图像的边缘。特征值提取装置可以被配置为从通过对每个特征值提取区域进行径向 分割而获得的每个小区域提取出特征值，特征值提取区域由具有不同半径 的多个同心圆形成，并且被最外层同心圆包围，每个分割区域具有预定角 度，所提取出的特征值由距同心圆的中心的距离和角度的两维柱状图表 示。该信息处理装置还可以包括识别装置，用于当匹配对的数目大于预定 值时利用模型图像的被拍摄体来识别输入图像的被拍摄体，匹配对是用于 检査输入图像特征值是否与多个模型图像特征值中的任何一个相匹配的操 作的结果。根据本发明另一个实施例的信息处理方法被用在将输入图像与模型图 像相比较以利用模型图像的被拍摄体来识别输入图像的被拍摄体的信息处 理装置中。该信息处理方法包括以下步骤设置特征点，每个特征点在模 型图像的边缘上并且提供用于提取出作为模型图像的特征值的模型图像特 征值，并且从每个特征点附近的多个特征值提取区域中的每一个提取出模 型图像特征值；以及检查在输入图像的边缘上并且与特征点相对应的点处的作为输入图像的特征值的输入图像特征值是否与特征点处的多个模型图 像特征值中的任何一个相匹配。根据本发明另一个实施例的程序是一种使得计算机执行用于将输入图 像与模型图像相比较以利用模型图像的被拍摄体来识别输入图像的被拍摄体的过程的程序。该过程包括以下步骤设置特征点，每个特征点在模型 图像的边缘上并且提供用于提取出作为模型图像的特征值的模型图像特征 值，并且从每个特征点附近的多个特征值提取区域中的每一个提取出模型 图像特征值；以及检査在输入图像的边缘上并且与特征点相对应的点处的作为输入图像的特征值的输入图像特征值是否与特征点处的多个模型图像 特征值中的任何一个相匹配。在本发明的实施例中，在设置了特征点(每个特征点在模型图像的边 缘上并且提供用于提取出作为模型图像的特征值的模型图像特征值)之 后，从每个特征点附近的多个特征值提取区域中的每一个提取出模型图像特征值，并且执行检查以查看在输入图像的边缘上并且与特征点相对应的 点处的作为输入图像的特征值的输入图像特征值是否与特征点处的多个模 型图像特征值中的任何一个相匹配。如上所述，根据本发明的实施例，可以识别图像中的对象。具体而 言，根据本发明的实施例，可以更可靠地识别包括部分隐藏的部分和复杂 背景的典型图像中的对象。


图1是示出作为本发明实施例的对象识别装置的功能组件的配置的框图；图2说明了由模型特征值提取器确定的基点和支撑点；图3说明了基点和每个支撑点之间的几何位置关系；图4是用于说明用于注册模型图像的特征值的过程的流程图；图5是用于说明用于生成边缘强度图像的过程细节的流程图； 图6示出了用在用于生成边缘强度图像的过程中的差分滤波器 (differential filter);图7是用于说明用于生成边缘图像的过程细节的流程图； 图8A和8B是说明参考圆中的几何约束的视图； 图9说明了边缘点跨参考圆散布多宽的评估； 图IO是用于说明用于确定参考圆的过程的流程图； 图ll示出了熵图； 图12说明了如何对采样点采样； 图13A和13B示出了支撑点相对于基点的位置； 图14说明了如何设置特征值提取区域； 图15说明了如何提取特征值提取区域中的特征值； 图16说明了如何划分特征值提取区域131; 图17说明了划分的特征值提取区域中的边缘强度； 图18是用于说明用于获取目标图像和模型图像之间的匹配对的过程 的流程图；图19说明了如何检查模型图像中的基点处的模型特征值是否与目标 图像中的点处的目标特征值相匹配；图20示出了多个模型特征值和目标特征值之间的匹配操作的示例；图21说明了如何去除局外点(outlier);图22说明了特征值提取区域中的多种类型的特征值的提取； 图23说明了作为 一 种类型的特征值的色彩柱状图(color histogram);图24示出了用于检查第一类型的多个模型特征值是否与第一类型的 目标特征值相匹配的操作的示例；图25示出了用于检查第二类型的多个模型特征值是否与第二类型的 目标特征值相匹配的操作的示例；以及图26是示出个人计算机的示例性配置的框图。
具体实施方式
在下面描述本发明的实施例之前，本发明的配置需求如何与在说明书 或附图中描述的实施例相对应通过示例说明如下这一段中的描述旨在确 认在说明书或附图中描述了支持本发明的实施例。因此，当在说明书或附 图中描述的某一实施例被描述为并不与本发明的配置需求中的一个或多个 相对应时，并不意味着该实施例不与配置需求中的一个或多个相对应。相 反地，当这里某一实施例被描述为与配置需求中的一个或多个相对应时， 并不意味着该实施例排它地对应于配置需求中的一个或多个。根据本发明实施例的信息处理装置将输入图像与模型图像相比较以利 用模型图像的被拍摄体来识别输入图像的被拍摄体。该信息处理装置包括 特征值提取装置(例如，图1中的模型特征值提取器55)和匹配装置(例 如，图1中的匹配部件66)，特征值提取装置用于设置特征点，每个特征 点在模型图像的边缘上并且提供用于提取出作为模型图像的特征值的模型 图像特征值，并且特征值提取装置还用于从每个特征点附近的多个特征值 提取区域中的每一个提取出模型图像特征值，匹配装置用于检查在输入图 像的边缘上并且与特征点相对应的点处的作为输入图像的特征值的输入图像特征值是否与特征点处的多个模型图像特征值中的任何一个相匹配。特征值提取装置可以被配置为从多个特征值提取区域中的每一个提取 出多种类型的模型图像特征值(例如，在图22的示例中，从特征值提取区域131A提取出第一类型的特征值Al和第二类型的特征值A2，而从特 征值提取区域131B提取出第一类型的特征值Bl和第二类型的特征值 B2)，并且匹配装置可以被配置为针对多种类型中的每一种执行匹配操作 (例如，如图24所示执行针对第一类型的匹配操作，并且如图25所示执 行针对第二类型的匹配操作)。特征值提取装置可以被配置为从多个特征值提取区域中的每一个提取 出模型图像特征值，模型图像特征值对于模型图像的边缘附近的每个像素 具有连续值(例如，图4中的步骤S16)。特征值提取装置可以被配置为从多个特征值提取区域中的每一个提取 出边缘强度，边缘强度是在模型图像的边缘附近获得的(例如，图4中的 步骤S16)。特征值提取装置可以被配置为从特征点附近的多个特征值提取区域中 的每一个提取出作为模型图像的特征值的模型图像特征值，特征点被定义 为参考圆与模型图像的边缘相交的点，参考圆是以下述方式确定的，该方 式使得其中包含相对较大部分的模型图像的边缘(例如，图4中的步骤 S16)。特征值提取装置可以被配置为从通过对每个特征值提取区域进行径向 分割而获得的每个小区域提取出特征值，特征值提取区域由具有不同半径 的多个同心圆形成，每个分割区域具有预定角度，并且被最外层同心圆包 围，所提取出的特征值由距同心圆的中心的距离和角度的两维柱状图表示 (例如，图4中的步骤S16)。该信息处理装置还可以包括识别装置(例如，图1中的对象识别器 67)，用于当匹配对的数目大于预定值时利用模型图像的被拍摄体来识别 输入图像的被拍摄体，匹配对是用于检查输入图像特征值是否与多个模型 图像特征值中的任何一个相匹配的操作的结果。根据本发明另一个实施例的信息处理方法被用在将输入图像与模型图10像相比较以利用模型图像的被拍摄体来识别输入图像的被拍摄体的信息处 理装置中。该信息处理方法包括以下步骤设置特征点，每个特征点在模 型图像的边缘上并且提供用于提取出作为模型图像的特征值的模型图像特 征值，并且从每个特征点附近的多个特征值提取区域中的每一个提取出模 型图像特征值(例如，图4中的步骤S16);以及检查在输入图像的边缘 上并且与特征点相对应的点处的作为输入图像的特征值的输入图像特征值 是否与特征点处的多个模型图像特征值中的任何一个相匹配(例如，图18中的步骤S94)。根据本发明另一个实施例的程序是一种使得计算机执行用于将输入图 像与模型图像相比较以利用模型图像的被拍摄体来识别输入图像的被拍摄体的过程的程序。该过程包括以下步骤设置特征点，每个特征点在模型 图像的边缘上并且提供用于提取出作为模型图像的特征值的模型图像特征 值，并且从每个特征点附近的多个特征值提取区域中的每一个提取出模型图像特征值(例如，图4中的步骤S16);以及检查在输入图像的边缘上并且与特征点相对应的点处的作为输入图像的特征值的输入图像特征值是否与特征点处的多个模型图像特征值中的任何一个相匹配(例如，图18 中的步骤S94)。下面将参考附图描述本发明的实施例。图1是示出作为本发明的实施例的对象识别装置的功能组件的配置的 框图。在图1中，对象识别装置11包括模型特征值注册单元31和目标图像 识别单元32。在对象识别中，模型特征值注册单元31由作为要识别的对象图像的 模型图像生成边缘图像，提取出作为边缘图像上的每个边缘点处的局部特 征值的模型特征值，并在辞典中注册模型特征值以及边缘点之间的几何位 置关系。模型特征值注册单元31包括照相机51、帧存储器52、边缘强度图像 生成器53、边缘图像生成器54、模型特征值提取器55和模型辞典56。 照相机51包括成像器件和用于将图像聚焦在成像器件上的光学系统(例如透镜)。照相机51捕获对象的图像并将所捕获的图像提供给帧存 储器52。所捕获的图像或者是静止图像，或者是运动图像。帧存储器52累积由照相机51提供的模型图像。当所提供的图像是静 止图像时，帧存储器52按原样存储静止图像。另一方面，当所提供的图 像是运动图像时，帧存储器52存储运动图像的每个帧。存储在帧存储器 52中的静止图像或运动图像的帧图像在下面的过程中被当作模型图像。边缘强度图像生成器53基于累积在帧存储器52中的任何一个模型图 像生成边缘强度图像。边缘强度图像由边缘强度形成，每个边缘强度代表 像素值的变化相对于模型图像的预定区域中的位置变化的大小程度。在边 缘强度图像中，像素值的变化越突然越大，边缘强度就越高，而像素值的 变化越缓慢越小，边缘强度就越低。S卩，边缘强度图像生成器53生成由 边缘强度形成的边缘强度图像，每个边缘强度代表像素值的变化相对于模 型图像中关注像素附近的位置变化的大小程度。边缘强度图像生成器53 将所生成的边缘强度图像提供给模型特征值提取器55。边缘图像生成器54基于累积在帧存储器52中的任何一个模型图像生 成边缘图像。边缘图像代表模型图像中具有较大像素值的像素和具有较小 像素值的像素之间的边界。例如，边缘图像生成器54生成以如下方式获 得的边缘图像当模型图像中关注像素的像素值大于或等于预定阈值时向 该像素分配值1，否则分配值0。边缘图像生成器54将所生成的边缘图像 提供给模型特征值提取器55。模型特征值提取器55确定从边缘图像生成器54提供的边缘图像上的 局部区域中的采样点，每个采样点用来提取一个特征值。模型特征值提取 器55还确定基点和每个支撑点之间的几何位置关系，基点是采样点中的 参考点，支撑点是除了基点以外的采样点，并且是依赖于基点确定的。这 里所用的几何位置关系是以如下方式定义的，该方式使得关注的两个点中 的一点被指定作为参考，而另一点由距参考点的距离和角度表示。即，模 型特征值提取器55确定每个支撑点相对于基点的位置。用于提取特征值的采样点是在该处边缘图像与设置在边缘图像上的局 部区域中的参考圆相交的边缘点。基点是参考圆上的边缘点之一，而其他点是支撑点。利用基点和每个支撑点之间的几何位置关系，每个支撑点的 位置由距基点的距离和角度表示。
更具体而言，如图2所示，模型特征值提取器55确定参考圆R作为 由边缘图像生成器54生成的边缘图像Ul中的局部区域，并且指定在边 缘图像111与参考圆R相交的边缘点为基点b和支撑点sl、 s2和s3。
如图3所示，在模型特征值提取器55中，如图2所示确定的支撑点 sl至s3相对于基点b的位置(距离和角度)由相对距离rl、 r2和r3以及
根据参考轴i测得的相对角度ei、 e2和03表示。
模型特征值提取器55在这样确定的基点和支撑点中的每一个的附近 设置多个特征值提取区域，并且基于从边缘强度图像生成器53提供的边 缘强度图像提取出每个特征值提取区域中的边缘强度作为模型特征值，该 值是模型图像的特征值。
所提取的模型图像的模型特征值不是由根据边缘图像获得的二进制值 0和1表示的，而是对于边缘附近的每个像素具有连续值，这与上述边缘 强度一样。即，模型特征值并不限于边缘强度，而是可以是通过图像处理 获得并且代表模型图像的边缘附近的变化的任何东西。例如，模型特征值 是随像素位置变化的亮度。更具体而言，模型特征值例如是通过对模型图 像执行诸如使用差分滤波器的操作之类的操作而提取的，差分滤波器包括 Gabor滤波器和Gaussian差分滤波器。
另外，模型特征值提取器55将基点和每个支撑点之间的几何位置关 系以及针对每个模型图像的每个点由特征值提取区域提取的模型特征值提 供给(注册到)模型辞典56。
模型辞典56例如由诸如硬盘驱动器之类的存储设备以及诸如硬盘和 RAM (随机访问存储器)之类的存储介质形成。模型辞典56以这样的方 式存储基点和每个支撑点之间的几何位置关系以及从模型特征值提取器55 提供的每个点的模型特征值，该方式使得这些模型特征值与几何位置关系 相关。
如上所述，模型特征值注册单元31可以利用关注点(基点b)的特征 值、周围点(支撑点sl至s3)的特征值、以及关注点和周围点之间的位置关系(相对距离rl至r3和相对角度ei至63)来描述模型图像的局部区 域。
返回图l的描述，现在将描述目标图像识别单元32。目标图像识别单 元32通过将要识别的目标图像与包含在任何一个模型图像中的对象相比 较来由目标图像生成边缘图像，并提取出目标特征值，该值是所生成的边 缘图像上的每个边缘点处的局部特征值。目标图像识别单元32检查所提 取的目标特征值是否与注册在模型特征值注册单元31中的模型辞典56内 的任何一个模型特征值相匹配，以便获取模型图像和目标图像之间的匹配 对。目标图像识别单元32基于所获取的匹配对的数目来利用模型图像中 的对象识别目标图像中的对象。
与模型图像中一样，目标图像是原样的静止图像或者是运动图像的帧 图像。
目标图像识别单元32包括照相机61、帧存储器62、边缘强度图像生 成器63、边缘图像生成器64、目标特征值提取器65、匹配部件66和对象 识别器67。
照相机61、帧存储器62、边缘强度图像生成器63和边缘图像生成器 64的描述被省略，因为它们具有与上述模型特征值注册单元31中照相机 51、帧存储器52、边缘强度图像生成器53和边缘图像生成器54相同的配置。
基于目标图像的边缘强度图像和边缘图像，目标特征值提取器65提 取出与模型图像中的基点和支撑点相对应的目标图像中的每个边缘点处的 边缘强度作为目标特征值，该值是目标图像的特征值。目标特征值提取器 65将所提取的目标图像的目标特征值提供给匹配部件66。
所提取的目标特征值不是由根据边缘图像获得的二进制值0和1表示 的，而是对于边缘附近的每个像素具有连续值。目卩，目标特征值并不限于 边缘强度，而是可以是通过图像处理获得并且代表目标图像的边缘附近的 变化的任何东西。例如，目标特征值是随像素位置变化的亮度。更具体而 言，目标特征值例如是通过对目标图像执行诸如使用差分滤波器的操作之 类的操作而提取的，差分滤波器包括Gabor滤波器和Gaussian差分滤波
14器。
通过这样(即不使用由0和1的二进制值表示的边缘信息，而是使用 随像素位置变化的值来作为目标特征值和模型特征值)，可以减少在提取 特征值时产生的任何差错对目标特征值和模型特征值之间的比较的影响。
匹配部件66检査在目标特征值提取器65中提取出的目标图像的每个 目标特征值是否与注册在模型辞典56中的模型图像的任何一个模型特征 值相匹配，以便获取模型图像和目标图像之间的匹配对。更具体而言，匹 配部件66检查位于目标图像的边缘上并且与模型图像中的基点和支撑点 相对应的每个点处的在目标特征值提取器65中提取出的目标特征值是否 与模型图像中基点和支撑点处的多个模型特征值中的任何一个相匹配。
对象识别器67基于匹配部件66中获取的匹配对的数目来识别包含在 目标图像中的对象。更具体而言，当匹配对的数目(这是每个目标特征值 和多个模型特征值之间的匹配的结果)大于预定值时，对象识别器67利
用模型图像的被拍摄体来识别目标图像的被拍摄体。
利用上述配置(即，检查目标图像的特征值是否与模型图像的特征值 相匹配以便利用包含在模型图像中的对象来识别包含在目标图像中的对 象)，目标图像识别单元32可以识别图像中的对象。
下面将描述在对象识别装置11中执行的用于注册模型的特征值的过程。
例如，当照相机51对预定对象成像并且边缘强度图像生成器53和边 缘图像生成器54获取记录在帧存储器52中的图像时，模型特征值注册单 元31开始用于注册模型图像的特征值的过程。
图4是用于说明在对象识别装置11中的模型特征值注册单元31内执 行的用于注册模型图像的特征值的过程的流程图。
在步骤Sll中，从帧存储器52获取的模型图像在边缘强度图像生成 器53中经历用于生成边缘强度图像的过程。
图5是用于说明用于生成边缘强度图像的过程细节的流程图。
下面的描述示出了用于由灰度图像生成边缘图像的方法。在各种边缘 提取方法中，Canny边缘滤波器在稳定性和精度方面尤其是出名的，并且这里将用在边缘提取过程中。Canny边缘滤波器在非专利文献.T.R. Parker 的"Algorithms for Image Processing and Computer Vision" (John Wiley & Sons, Inc.)中有详细描述。
在步骤S31中，边缘强度图像生成器53执行平滑。§卩，边缘强度图 像生成器53对图像f(x, y)应用Gaussian滤波G(x, y)以减少图像中的噪声 和细微纹路。更具体而言，边缘强度图像生成器53执行Gaussian滤波器 G(x, y)和图像f(x, y)之间的巻积，以提供由方程(1)所表示的经平滑的图 像g(x，y)。 Gaussian滤波器G(x，y)由方程(2)表示。
g(x，力-G(x,力V(x，力 (1)
G(x，力=exp[—^f^] ( 2)
在步骤S32中，边缘强度图像生成器53计算x轴方向上的梯度gx(x， y)和y轴方向上的梯度gy(x, y)。更具体而言，边缘强度图像生成器53对 在步骤S31中获得的经平滑图像g(x， y)应用图6中所示的差分滤波，以创 建由x轴方向上的梯度和y轴方向上的梯度表示的梯度图像。即，应用图 6的左侧所示的x轴方向滤波以创建x轴方向上的梯度gx(x, y)，应用图6 的右侧所示的y轴方向滤波以创建y轴方向上的梯度gy(x，y)。
在步骤S33中，边缘强度图像生成器53计算边缘强度和边缘角度。 边缘强度图像生成器53使用在步骤S32中创建的梯度图像gx(x, y)和gy(x, y)来生成由方程(3)表示的边缘强度图像M(x, y)和由方程(4)表示的边 缘角度图像e(x, y)。
M(x,力-Jg义(x,力2 +gyO，y)2 (3)
) = tan-'[^4] (4)
因而，边缘强度图像生成器53生成了边缘强度图像。
返回对图4中的流程图的描述，在步骤S12中，从帧存储器52获取
的模型图像在边缘图像生成器54中经历用于生成边缘图像的过程。 图7是用于说明用于生成边缘图像的过程细节的流程图。 在图7的流程图中，由边缘图像生成器54执行的步骤S51至S53的
过程与图5的流程图中由边缘强度图像生成器53执行的步骤S31至S33的过程相同。因而，对步骤S51至S53的过程的描述被省略。
在步骤S54中，边缘图像生成器54执行边缘减薄(edge-thinning)。 即，在步骤S53中生成的边缘强度图像M(x, y)的边缘宽度范围从一个像素 到若干像素。边缘图像生成器54将这样的宽度减薄为一个像素的宽度。 更具体而言，当边缘强度图像M(x, y)在预定点(x, y)处不为0时，边缘图 像生成器54将该点处边缘强度图像M(x, y)的值与位于由点(x， y)的边缘角 度图像e(x， y)表示的边缘方向上的点(xl, yl)处的边缘强度图像M(x, y)的值 和位于与点(xl， yl)相反一侧的边缘方向上的点(x2, y2)处的边缘强度图像 M(x2, y2)的值相比较。当点(x, y)处的边缘强度图像M(x, y)小于边缘强度 图像M(xl, yl)或边缘强度图像M(x2, y2)时，边缘图像生成器54判断出点 (x， y)不是边缘点并且将边缘强度图像M(x, y)设置为0。
在步骤S55中，边缘图像生成器54检测边缘。即，在步骤S54中减 薄的边缘强度图像M(x， y)在边缘图像生成器54中经历门限过程
(thresholding process)从而生成边缘图像。当使用Canny边缘滤波器时， 在门限过程中使用了两个阈值TJiigh和T—low。更具体而言，当点(x，y)处 的边缘强度图像M(x， y)大于T一high时，边缘图像生成器54将该点设置为 起始点，接着搜索边缘强度图像M(x,y)大于或等于T—low处的点，并将该 点设置为边缘点。
上述Carmy边缘滤波器中的参数是在步骤S51 (或步骤S31)中使用 的平滑程度cj以及在步骤S55中用于边缘检测的两个阈值T—high和 T一low。预先将这些参数设置为适当的值能够实现更精确的边缘检测。
返回对图4中的流程图的描述，在步骤S13中，模型特征值提取器55
执行用于确定参考圆的过程。
对象的轮廓局部变化。为了使用由上述相对距离和相对角度限定的几 何约束，根据包含在每个局部区域中的对象(即，边缘图像)的轮廓设置 参考圆的大小(半径)。这里所用的几何约束是指保持上述基点和每个支 撑点之间的几何位置关系。可以认为，对于每个基点支撑点越多，几何约 束就越强。
更具体而言，例如如图8A所示，当每个参考圆的半径固定时，在参考圆R1的区域中几何约束将是不够的。另一方面，通过增大参考圆R1的
半径，如同图8B中所示的参考圆R1'的区域，可以获得足够的几何约束。 即，参考圆Rl'多提供了两个边缘点。取决于对象的轮廓，利用具有较小 半径的参考圆可以获得足够的几何约束。
因此，参考圆的半径是以这样一种方式确定的，该方式使得存在合适 数目的参考圆与边缘图像相交的边缘点。
为了确定这样的参考圆R，有必要确定变为参考圆R的中心的中心像 素和其半径。为了提取出围绕参考圆R的周长获得足够的几何约束的区 域，参考圆R的轮廓附近的边缘点跨参考圆R散布多宽的程度被用作评估 参数。
艮口，边缘点散布多宽的评估由方程(5)和(6)表示，方程(5)和 (6)使用了参考圆R的半径r、参考圆R的中心c、从中心c到每个边缘 点p的距离d、以及根据x轴测得的每个边缘点p的角度cp，如图9所示。
//(c,r)=》(A,c,r)l0gA(A:,c，r) (5)
维,c力=v j ] Z |叱-卡("告&) (6)
在这一评估中，参考圆R被划分为L个步进，并且值k范围从1到L。
在方程(6)中，K(x)表示平滑核心(kernel)，并且由方程(7)表
= exp(t) (7)
随着参考圆R的附近的边缘点跨参考圆R散布多宽的程度变大，熵值 H(c，r)也变大。§卩，大的熵值意味着参考圆R包含足够数目的边缘点。
更具体而言，模型特征值提取器55逐渐地围绕非边缘点增大参考圆R 的半径。每一次增大参考圆R的半径时，模型特征值提取器55都评估熵 值并且存储给出最大熵值的半径。模型特征值提取器55对于所有点确定 给出最大熵值的半径。这一过程确定了具有给出较大熵值的中心和半径的 参考圆，即，包含更多边缘点的参考圆。
图10是用于说明用于使用上述因子来确定其中心在模型图像上的任意点d处的参考圆的过程的流程图。
在步骤S71中，模型特征值提取器55将参考圆的半径r设置为预先设 置的参考圆的最小半径st—r，并将最大值H—max设置为0。最大值H—max 代表随着任意点ci处参考圆的半径变化而变化的最大熵值。
在步骤S72中，模型特征值提取器55使用方程(5)来计算在参考圆 的当前半径下其中心在任意点ci处的参考圆的熵值Hi=H(ci, r)。
在步骤S73中，模型特征值提取器55判断计算出的熵值Hi是否大于 最大值H—max。当模型特征值提取器55判断出熵值Hi大于最大值H—max 时，执行步骤S74中的下一过程。
在步骤S74中，模型特征值提取器55将最大值H一max设置为熵值 Hi,并且将半径r设置为给出最大熵值的参考圆的半径r—max。在步骤S74 之后，执行步骤S75中的过程。
另一方面，在步骤S73中，当模型特征值提取器55判断出熵值Hi小 于或等于最大熵值H—max时，跳过步骤S74并且执行步骤S75中的过 程。
在步骤S75中，模型特征值提取器55将半径r递增预先设置的半径更 新步长匸step。
在步骤S76中，模型特征值提取器55判断半径r是否大于预定阈值 r—thresh。当模型特征值提取器55判断出半径r大于阈值r—thresh时，该过 程终止。
另一方面，当模型特征值提取器55判断出半径r小于或等于阈值 r—thresh时，该过程返回步骤S72并且重复步骤S72和后续步骤中的过 程。
因而，模型特征值提取器55通过将半径连续地递增预先设置的半径 更新步长，计算出了其中心在任意点ci处的参考圆的半径和熵值，并且存 储了最大熵值H—max和给出最大熵值H_max的参考圆的半径r_max。
艮口，模型特征值提取器55对于模型图像上的所有点执行了上述过程 以获得图11中所示的熵图E一map，熵图E—map存储了每个像素的参考圆 的最大熵值H max和半径r—max。在这样确定了所有点的参考圆之后，模型特征值提取器55使用熵图
E—map中的熵值来执行非最大抑制(non-maximum suppression)作为用于 确定最终参考圆的过程。即，当关注像素不具有局部最大值时，模型特征 值提取器55将熵图E—map中保存的关注像素附近(八个邻居、十六个邻 居等)的熵值和半径值设置为O。
然后，模型特征值提取器55利用预先设置的最小熵值来执行二元化 (binarization)，以创建最终熵图E—map。熵图E—map具有与模型图像相 同的大小，并且每个像素保存与该像素相关联的圆的熵值和半径。因而确 定了参考圆Ri (i是从1到n的整数)，参考圆Ri的中心是具有非零熵值 的像素的位置。
返回对图4中的流程图的描述，在步骤S14中，模型特征值提取器55 确定基点和支撑点。
更具体而言，模型特征值提取器55使用参考圆Ri和边缘图像来确定 基点bi和支撑点sij (j是大于或等于1的整数)。参考圆的选择是在熵图 E—map中以熵值的降序进行的。
图12说明了如何对作为基点和支撑点的采样点进行采样。
在基点和支撑点的采样中，模型特征值提取器55将参考圆Ri在角向 方向上划分为m个部分，如图12所示。划分数m根据参考圆Ri的半径而 变化(例如，当参考圆Ri的半径较大时，划分数m较大，而当参考圆Ri 的半径较小时，划分数m较小)。
另外，模型特征值提取器55在每个划分区域中设置采样区域。更具 体而言，例如，模型特征值提取器55设置采样区域Asam，采样区域 Asam是其长边在弧的切向方向上的矩形区域，采样区域Asam的设置使得 其几乎包含划分弧的中心部分，如图12所示。在采样区域Asam中的点 内，离边缘图像111最近的点被指定为采样点mij (j是至少为1但是小于 或等于m的整数)。
然后，模型特征值提取器55确定多个采样点中的基点。例如，模型 特征值提取器55指定在多个采样点中具有最小x坐标的点为基点。在本 发明中，对象的形状由一组基点描述，从而基点最好沿边缘图像伸展。为此，通过参考已经确定为基点的位置作为历史来确定新的基点。g口，模型
特征值提取器55参考由在先基点的位置形成的历史，从采样点mij中选择
一个点(像素)(选择方式使得要选择的点在在先基点像素的附近的外 部)，并将该点(像素)指定为新的基点且将其他点(像素)指定为支撑 点。每当确定新的基点时，就更新基点的位置的历史。
在步骤S15中，模型特征值提取器55确定每个支撑点的相对角度的 和相对距离rij。更具体而言，模型特征值提取器55使用所确定的基点bi 和其参考轴方向(零度方向)来确定每个支撑点sij相对于基点bi的位 置。
图13A和13B示出了支撑点sij相对于基点bi的位置。 在图13A中，基点bi和其支撑点sil至si3被设置在边缘图像111 上。如图13A所示，模型特征值提取器55确定支撑点sil相对于基点bi 的距离ril、支撑点si2相对于基点bi的距离ri2以及支撑点si3相对于基点 bi的距离ri3。
如图13B所示，模型特征值提取器55确定支撑点sil相对于基点bi 的参考轴的角度eil、支撑点si2相对于基点bi的参考轴的角度ei2以及支 撑点si3相对于基点bi的参考轴的角度ei3。
在步骤S16中，模型特征值提取器55从基于参考圆Ri设置在基点bi 和支撑点sij的附近的多个特征值提取区域中的每一个提取出模型特征值。 此时，该过程完成。更具体而言，模型特征值提取器55相对于将参考圆 Ri的中心连接到每个采样点的线在采样点(基点和支撑点)的附近提供多 个特征值提取区域，以便提取出特征值提取区域中的模型特征值。
图14说明了如何设置参考圆Rl的特征值提取区域。如图14所示， 两个特征值提取区域131A和131B被设置在将参考圆Rl的中心连接到基 点bl的线上，基点bl是参考圆Rl上的采样点之一。特征值提取区域 131A和131B相对于基点bl在参考圆Rl的内部和外部。
以这种方式，模型特征值提取器55对于一个采样点(基点或任何一 个支撑点)可以提取出两个模型特征值。
要设置的特征值提取区域并不限于上述这两个参考圆Rl内部和外部的区域，而是可以在每个采样点的附近设置多个特征值提取区域。因而， 每个采样点可以具有多个特征值。一般而言，对于纹路较少的对象，在步骤S14中确定的基点和支撑点 通常位于对象的轮廓部分中。在这种情况下，当目标图像包含复杂背景 时，从围绕每个采样点的区域提取的特征值受到背景噪声的影响，因此难 以检査一个特征值是否与另一个相匹配。为了解决这一问题，通过如上所述给一个采样点指定多个特征值，这 多个模型特征值中的至少一个可能不受背景噪声的影响，从而即使当目标 图像包含复杂背景时在对象的轮廓部分中一个特征值也可能与另一个相匹 配。注意，在这样确定的特征值提取区域的每一个中的模型特征值不是通 过对边缘图像采样而获得的，而是通过对在步骤Sll中生成的具有例如从0到255的连续值的边缘强度图像M采样而获得的。图15说明了如何利 用边缘强度图像151提取特征值提取区域131A和131B中的特征值。如图15所示，在边缘强度图像151中，特征值提取区域131A和 131B被设置在与图14所示的边缘图像111中的特征值提取区域相对应的 位置处。图15中的特征值提取区域131A和131B由具有不同半径的多个 同心圆形成，这多个同心圆被最外层的圆包围。这些同心圆是沿径向分割 的，每个分割部分都具有预定角度。下文中，特征值提取区域131A和131B被简称为特征值提取区域 131，除非它们需要被区分。图16说明了如何划分图15中设置的特征值提取区域131。如图16所示，特征值提取区域131包括具有不同半径的三个同心 圆，并且被划分为24个更小区域，其中三个是沿距同心圆中心的距离方 向的(r0至r2)，八个是角向方向的(的至07)。图17说明了如图16所示划分的特征值提取区域131B中的边缘强度。如图17所示，对于通过划分特征值提取区域131B而获得的每个区域 的边缘强度图像151的边缘强度求和提供了距离和半径的两维柱状图。更具体而言，由于在位于距离r2和角度ei的区域、位于距离rl和角 度02的区域、位于距离rl和角度03的区域、以及位于距离r2和角度64的 区域(每个区域包含图17中的边缘强度图像151的轮廓的相对较大部 分)中边缘强度很高，因此两维柱状图中与具有高边缘强度的区域相对应 的部分被填充以高灰度。由于在位于距离rl和角度ei的区域以及位于距 离rl和角度04的区域(每个区域包含图17中的边缘强度图像151的轮廓 的一小部分)中边缘强度相对较高，因此两维柱状图中与具有相对较高边 缘强度的区域相对应的部分被填充以低灰度。由于在不包含图17中的边 缘强度图像151的轮廓的区域中边缘强度很低，因此两维柱状图中与具有 低边缘强度的区域相对应的部分是空的。这种柱状图代表边缘强度，边缘强度是通过划分特征值提取区域而获 得的每个区域中的模型特征值。除了上述24个更小区域(三个在距离方 向上，八个在角向方向上)以外，特征值提取区域还可以被划分为任何数 目的小区域。一般而言，由于用于提取边缘的过程包括二元化，因此对于作为输入 图像的目标图像和模型图像来说，很难获取彼此类似的边缘图像。当边缘 点处的边缘信息被直接用作特征值时，由二进制值0和1表示的特征值将 极大地受到边缘提取差错的影响，因而目标图像将与模型图像有极大的不 同。为了解决这一问题，通过使用具有从0到255的连续值的边缘强度信 息，而不是上述由0和1的二进制值表示的边缘点处的边缘信息，可以消 除由边缘提取差错引起的特征值的偏移。另外，通过粗略地划分已被设置的特征值提取区域并对每个划分区域 中的特征值求和，可以应对对象的外观随亮度等的变化而变化的情形和例 如当对象位于近距离或远距离处时比率变化的情形。因此，当对于每个基点来说支撑点的数目是N并且特征值的数目(特 征值提取区域的数目)是M时，从模型图像提供了下面的信息。艮口， 一个模型图像提供了基点(bx, by)的位置、特征值提取区域对基点 的相对位置(fbei, fbri)、以及基点的特征值bfi。在以上描述中，i是从l到M的整数。类似地， 一个模型图像提供了支撑点(6j， rj) (j是从1到N的整数)的相对位置、特征值提取区域对每个支撑点的相对位置(fsei，fsri)、以及每个支撑点的特征值sfi。针对这样提供的基点和支撑点中的每一个的每个特征值提取区域的位置和特征值被注册在模型辞典56中。接下来，将描述在对象识别装置11中如何识别目标对象。即，将描 述用于识别在包含在模型辞典56中注册的模型图像中的对象内，哪个模 型图像包括一个最类似包含在输入目标图像中的对象的对象的过程。存在各种用于评估相似性的方法。例如，根据其中一种方法，考虑作 为模型图像中的P个特征点的边缘点和目标图像中与P个特征点相对应的 点。计算彼此相对应的一对特征值之间的代价，并且当该对具有足够高的 代价时保存该对作为匹配对，并且对于所有特征值的对重复该过程。当这 样获得的匹配对的数目足够大时，利用模型图像中包含的对象识别了目标 图像中包含的对象。下面将描述用于在对象识别装置11中获取目标图像和模型图像之间 的匹配对的过程。例如，当照相机61对要识别的对象成像并且边缘强度图像生成器63 和边缘图像生成器64获取记录在帧存储器62中的目标图像时，目标图像 识别单元32开始用于获取匹配对的过程。图18是用于说明用于在对象识别装置11中的目标图像识别单元32内 获取目标图像和模型图像之间的匹配对的过程的流程图。对图18的流程图中由边缘强度图像生成器63执行的步骤S91的过程 的描述被省略，因为该过程与图4的流程图中由边缘强度图像生成器53 执行的步骤Sll的过程相同。另外，对图18的流程图中由边缘图像生成器64执行的步骤S92的过 程的描述被省略，因为该过程与图4的流程图中由边缘图像生成器54执 行的步骤S12的过程相同。在步骤S93中，目标特征值提取器65提取出围绕所有边缘点的特征值。更具体而言，目标特征值提取器65在从边缘图像生成器64提供的边 缘图像中设置围绕所有边缘点的特征值提取区域，每个特征值提取区域具有由模型特征值提取器55在图4的流程图中的步骤S16内设置的相同半 径。目标特征值提取器65以与参考图17所述相同的方式，基于从边缘强 度图像生成器63提供的边缘强度图像和已设置的特征值提取区域提取出 作为目标特征值的边缘强度。目标特征值提取器65将所提取的目标特征 值提供给匹配部件66。在步骤S94中，匹配部件66检查在位于目标图像的边缘上并且与模 型图像中的基点和支撑点相对应的点处的目标特征值是否与在模型图像中 的基点和支撑点处的多个相应模型特征值中的任何一个相匹配。图19说明了如何检查模型图像的边缘图像111中的基点bl处的模型 特征值是否与目标图像的边缘图像211中的点p'处的目标特征值相匹配。如图19所示，对于其位置与基点bl的位置相对应的点p'，匹配部件 66计算基点bl和点p'之间的特征值代价d(bl, p')。另外，对于支撑点 sll、 s12和s13，匹配部件66在图19的边缘图像211中的搜索区域内搜 索给出最大特征值代价d(slj, p，k)的点。经历搜索过程的点是搜索区域中 的边缘点。通过这样搜索搜索区域中的最匹配点，即使当目标图像失真或者大小 变化时，也可以执行匹配操作。如上所述，由于模型图像中基点和支撑点中的每一个都具有多个模型 特征值，因此匹配部件66采用从模型图像中的基点和支撑点处的模型特 征值获得的代价中的最高代价。图20示出了多个模型特征值和目标特征值之间的匹配操作的示例。如图20的左侧所示，特征值提取区域131A和131B被设置在模型图 像的边缘强度图像151中的基点bl处，而特征值提取区域231A和231B 被设置在支撑点sll处。类似地，特征值提取区域232A和232B被设置在 支撑点s12处，而特征值提取区域233A和233B被设置在支撑点s13处。如图20的中部所示，当匹配部件66检査在模型图像的边缘强度图像 151中设置的特征值提取区域中的模型特征值是否与目标图像的边缘强度图像251中的目标特征值相匹配时，特征值提取区域131B的特征值被选在目标图像中的点p'处，而特征值提取区域231A的特征值被选在目标图 像中的点p'l处，如图20的右侧所示。另外，特征值提取区域232B的特 征值被选在目标图像中的点p'2处，而特征值提取区域233B的特征值被 选在目标图像中的点p'3处。以这种方式，目标图像识别单元32对于每个采样点(基点和支撑 点)检査多个模型特征值是否与目标特征值相匹配，并且选择给出最高特 征值代价的特征值作为匹配对。因而，即使当存在复杂背景或者对象外观 变化时，也可以执行匹配操作。在这样对于所有基点和支撑点执行了匹配操作之后，所得到的特征值 代价的总和由方程(8)表示CoW(W， ； ') = ; ) +a/W(sl 乂， ' A:)( 8 )在方程(8)中，N代表支撑点的数目，a和p分别代表角度和距离的 亏损(penalty cost)，这两个值随着支撑点偏离模型图像中的局部约束而 变小。现在，令m为模型图像中的采样点，而t为目标图像中与其相对应的 点。指示局部特征值之间的距离的特征值代价函数d(m, t)由表示为方程 (9)的归一化相关函数表示咖，0= , 1關-兩W) (9)^(/m(/c) - /m ')2 Z (贞"—')2 在方程(9)中，fhl和ft分别代表模型图像和目标图像中的特征值向量，fm，和ft，代表各个特征值向量的平均值。匹配部件66对于模型图像中的每个基点，针对目标图像中的所有边缘点计算由方程(8)表示的特征值代价，并且将具有最高代价的点指定为与该基点相对应的点。当模型图像中基点的数目是q时，这样获得的信息包括以下项目。 艮P，提供了模型图像中的坐标(mxi， myi)和目标图像中的坐标(txi, tyi)(i是从l到q的整数)。返回对图18中的流程图的描述，在步骤S95中，对象识别器67去除不匹配对。艮口，在步骤S94中获取的模型图像和目标图像之间的匹配对包括许多局外点(不匹配对)，这是因为步骤S94中的过程是局部匹配过程。对象 识别器67去除这种局外点。当模型图像中包含的对象与目标图像中包含的对象相同时，在模型图 像中的采样点是(mx， my)且目标图像中与其相对应的点是(tx， ty)时，匹配 对需要满足以下约束条件。<formula>formula see original document page 27</formula>在方程(10)中，dx代表x轴方向上的偏移量，dy代表y轴方向上的 偏移量。图21示出了如何使用约束条件来去除局外点。在图21中，模型图像301中的采样点ml、 m2、 m3和m4对应于目 标图像302中的边缘点tl、 t2、 t3和t4。艮卩，在图21中，mi-ti (i是从1 到4的整数)表示匹配对。对象识别器67使用方程(10)来计算每个对 的偏移量dx和dy。对象识别器67将计算出的偏移量表决在预先准备的表 决空间303中。当模型图像中包含的对象与目标图像中包含的对象相同时，存在大量 的满足由方程(10)表示的约束条件的对，从而在所得到的最终表决空间 303中形成峰值304。由于峰值代表匹配对的数目，因此通过提取出针对 峰值表决的对(假定峰值足够大)去除了局外点。例如，在图21中，ml-tl、 m2-t2和m3-t3具有相同的偏移量，从而它 们被表决在同一表决空间中。但是，m4-t4被表决在不同的表决空间中并 且被检测为局外点。返回对图18中的流程图的描述，在步骤S96中，对象识别器67获取 最终的匹配对，并且该过程完成。以这种方式，例如，当所得到的匹配对 的数目充分大于预定值时，对象识别器67可以利用包含在关注的模型图 像中的对象来识别包含在输入的目标图像中的对象。因而，对象识别装置11可以检査模型图像是否与目标图像相匹配以 利用目标图像中的对象来识别模型图像中的对象。如上所述，通过使用由参考圆确定的局部特征值，即使当对象具有部 分隐藏的部分时也可以更可靠地识别对象。即，通过使用具有各种大小的 参考圆，即使当要识别的对象具有隐藏部分时，与未隐藏的部分相对应的 参考圆也可以用于利用模型图像中的对象来识别目标图像中的对象。另外，通过使用在关注点和其周围点(如同基点和支撑点)处的特征 值以及它们之间的位置关系作为约束条件，可以更精确地检测目标图像中 与这些点相对应的点。在本发明中，边缘点被用作高度可再现的点，并且用于边缘点的搜索 区域在匹配过程中是有限的，从而允许减少计算量并因而实现高效的匹 配。在以上描述中，尽管对于一个参考圆只建立了一个基点，但是在一个 参考圆中可以设置多个基点。在这种情况下，即使当与一个基点相对应的 边缘点位于目标图像中部分隐藏的部分内时，匹配也可以以合适的方式执 行。在以上描述中，基点和支撑点通过建立局部参考圆来确定。在这种情 况下，参考图的形状并不限于圆形，而是可以是任何其他形状，只要它是 局部闭合的曲线即可。注意，任何目标图像一般都可以通过对于一个模型图像生成不同比例 的模型图像和不同角度的模型图像来加以处理。另外，对象识别装置11可以被配置为获知在重复对象识别的过程中 在多个特征值提取区域中要使用哪一个特定的特征值提取区域。即，对于 例如设置在对象的轮廓内部和外部的特征值提取区域，设置在内部的特征 值提取区域将比设置在外部的特征值提取区域更频繁地用在匹配过程中， 其中设置在外部的特征值提取区域更接近背景。因此，对象识别装置11可以通过据此更新模型辞典56来获知这一事实。如上所述，可以通过检查模型图像的特征值是否与目标图像的特征值 相匹配来识别图像中的对象。另外，即使在包含部分隐藏的部分或复杂背景的典型图像中，也可以通过从每个特征点(每个特征点位于模型图像的 边缘上并且提供用于提取模型图像特征值)附近的多个特征值提取区域中 的每一个提取出作为模型图像的特征值的模型图像特征值，并检查在位于 输入图像的边缘上并且与特征点相对应的点处的作为输入图像的特征值的 输入图像特征值是否与特征点处的多个模型图像特征值中的任何一个相匹 配，来更加可靠地识别对象。另外，如上所述可以提供这样的有利效果，其中通过给参考圆中的一 个采样点(基点或支撑点)指定多个模型特征值，多个模型特征值中的至 少一个不太可能受到背景噪声的影响，从而即使当目标图像包含复杂背景 时，甚至在对象的轮廓部分中彼此相对应的一对特征值也更加有可能变为 匹配对。为了提供这样的有利效果，在上述示例中，对于一个采样点(基点或 支撑点)设置了两个特征值提取区域，并且从这两个特征值提取区域中的 每一个提取出 一类模型特征值。例如，在图14所示的示例中，在将参考圆Rl的中心连接到基点bl(基点bl是参考圆Rl上的采样点之一)的线上设置了两个特征值提取区 域131A和131B。然后，从特征值提取区域131A和131B中的每一个提取 出一类模型特征值。即，对于一个采样点(基点或任何一个支撑点)提取 出两个模型特征值。但是，图14中的"两个"模型特征值仅仅是示例，因为可提取的模型特征值的足够数目是两个或更多个。要设置的特征值提取区域并不限于如上所述的参考圆Rl内部和外部 的两个。通过在采样点的附近设置多个特征值提取区域，每个采样点可以 具有多个特征值，因而上述效果变得更加有利。另外，例如，从一个特征值提取区域提取出的模型特征值的类型数目 并不限于一类(这是上述情况)，而是可以是两类或更多类。在这种情况 下， 一个采样点(基点或支撑点)具有多个特征值提取区域，并且从每个 特征值提取区域提取出多种类型的模型特征值。结果，每个采样点可以具 有大量的特征值，因而上述效果进一步变得更加有利。具体而言，例如，如图22所示，模型特征值提取器55在将参考圆R1 的中心连接到基点bl (基点bl是参考圆Rl上的采样点之一)的线上设置 两个特征值提取区域131A和B1B。迄今为止的过程与图14所示的示例 中的过程基本相同。然后，在图14所示的示例中，模型特征值提取器55从特征值提取区 域131A提取出一种预定类型的模型特征值，并从特征值提取区域131B提 取出相同类型的模型特征值。作为对比，在图22所示的示例中，模型特征值提取器55从特征值提 取区域131A提取出第一类模型特征值(图22中标为特征值Al)和第二 类模型特征值(图22中标为特征值A2)。模型特征值提取器55还从特征 值提取区域131B提取出第一类模型特征值(图22中标为特征值Bl)和 第二类模型特征值(图22中标为特征值B2)。因而，从基点bl提取的模型特征值的数目在图14所示的示例中是 2，而在图22所示的示例中该数目是4。因此，尽管在图14所示的示例中己经描述了有利效果，但是这样的 有利效果在图22所示的示例中变得更加有利，在图14所示的示例中，通 过给一个采样点指定多个模型特征值，多个模型特征值中的至少一个不太 可能受到背景噪声的影响，从而即使当目标图像包含复杂背景时，甚至在 对象的轮廓部分中彼此相对应的一对特征值也更有可能变为匹配对，在图 22所示的示例中，这种有利效果变的更有利。用作模型特征值的类型并不限于特定种类，只要它们彼此不同即可。例如，可采用的多种类型中的一类可以是参考图17所述的类型， 即，通过划分特征值提取区域获得的每个区域中的边缘强度(下文中简称 为边缘强度)、在两维柱状图中表示的特征值提取区域中的边缘强度。另外，例如，由于RGB层中的每一个都具有从0到255的连续值， 因此可以以与用于边缘强度图像的方式相同的方式来处理每层中的图像。 模型特征值提取器55随后可以利用与用于边缘强度的过程相同的过程 (即，参考图16和17所述的过程)来为色彩R、 G和B中的每一种创建 两维柱状图，并提取出这样的一类值作为模型特征值。这样提取出的(一种或多种)类型(下文中称为色彩模板)可以用作多种类型中的一种或三 种。在以上陈述中类型数是一种或三种的原因在于RGB作为整体可以被当作一种类型，或者RGB层中的每一种可以被当作个别类型，总共是三种类型。用于创建色彩模板的信息并不限于RGB,而是可以采用与任何其他色 彩空间相关联的信息。另外，例如，如图23所示，模型特征值提取器55可以对在特征值提 取区域131中呈现的每个色彩值进行数字化并在预先设置的空间中对其进 行表决以便创建色彩柱状图。模型特征值提取器55随后可以提取出这样 的一类值作为模型特征值。这样提取出的(一种或多种)类型(下文中称 为色彩柱状图)可以用作多种类型中的一种或三种。在以上陈述中类型数 是一种或三种的原因与上述参考色彩模板所述的原因相同。尽管用于创建色彩柱状图的信息在图23所示的示例中是RGB，但是 该信息并不限于RGB，而是可以采用与任何其他色彩空间相关联的信息。在采用上述模型特征值的类型之一的任何一种情况下，可以通过采用 这样的提取过程来应对对象外观或比例改变的情形，在该提取过程中，特 征值提取区域131或值被粗略地划分并且使用划分后的区域或值的总和。如上所述，模型特征值提取器55可以针对一个采样点(基点或支撑 点)设置多个特征值提取区域131，并且从每个特征值提取区域131可以 提取出多种类型的特征值。结果，令N是每个基点的支撑点的数目，M是特征值提取区域131的 数目，而L是提取出的模型特征值类型的数目，则一个模型图像提供了以 下信息，该信息随后被注册在模型辞典56中。艮口， 一个模型图像提供了基点的位置(bx, by)、特征值提取区域对基点 的相对位置(fb0i， fbri)、以及基点的特征值bfik。字符i是从1到M的整 数，而字符k是从l到L的整数。类似地， 一个模型图像提供了支撑点的相对位置(ej, rj) (j是从1到N 的整数)、特征值提取区域对每个支撑点的相对位置(fsei, fsri)、以及每个 支撑点的特征值sfik (k是从l到L的整数)。现在将描述当这样从一个特征值提取区域131提取出多种类型的模型 特征值时在目标图像识别单元32中执行的过程。但是，该描述主要集中 于与上述当从一个特征值提取区域131提取出一种类型的特征值时在目标图像识别单元32中执行的过程之间的差别，并且对共同点的描述将适当地被省略。目标特征值提取器65针对提取出的多种类型的模型特征值中的每一 类提取出作为目标图像的特征值的目标特征值。目标特征值提取器65将 提取出的目标图像的多种类型的目标特征值提供给匹配部件66。匹配部件66针对每种类型检査在目标特征值提取器65中提取出的目 标图像的目标特征值是否与模型辞典56中注册的模型图像的模型特征值 相匹配，并且获取模型图像和目标图像之间的匹配对。艮口，匹配部件66针对每种类型的模型特征值执行图18的步骤S94中 的过程。例如，当针对上述图22中的边缘图像111执行匹配操作时，匹配部 件66针对每个采样点(基点和支撑点)检查第一类型的多个模型特征值 是否与第一类型的目标特征值相匹配，并且选择给出最高特征值代价的一 对特征值作为匹配对候选，如图24所示。类似地，匹配部件66针对每个采样点(基点和支撑点)检查第二类 型的多个模型特征值是否与第二类型的目标特征值相匹配，并且选择给出 最高特征值代价的一对特征值作为匹配对候选，如图25所示。在该操作中，对于每个采样点(基点和支撑点)设置了两个特征值提 取区域，并且从每个特征值提取区域提取出第一类型的特征值和第二类型 的特征值。因此，在图24和25所示的示例中，对于根据图22中的符号具 有字符A的特征值提取区域，第一类型的模型特征值被标记为特征值 Al，第二类型的模型特征值被标记为特征值A2。类似地，对于具有字符 B的特征值提取区域，第一类型的模型特征值被标记为特征值B1，第二类 型的模型特征值被标记为特征值B2。例如，如图24的中部所示，匹配部件66检查针对模型图像的边缘强 度图像151设置的特征值提取区域中的第一类型的模型特征值(特征值Al和Bl)是否与目标图像的边缘强度图像251中的第一类型的目标特征值相匹配。在这种情况下，如图24的右侧所示，特征值提取区域131B的 特征值Bl被选在目标图像中的点p'处，而特征值提取区域231A的特征值 Al被选在目标图像中的点p'l处。特征值提取区域232B的特征值Bl被 选在目标图像中的点p'2处，而特征值提取区域233B的特征值Bl被选在 目标图像中的点p'3处。另外，与上述利用第一类型的模型特征值(特征值A1和特征值B1) 的匹配相独立地，例如如图25的中部所示，匹配部件66检查针对模型图 像的边缘强度图像151设置的特征值提取区域中的第二类型的模型特征值 (特征值A2和B2)是否与目标图像的边缘强度图像251中的第二类型的 目标特征值相匹配。在这种情况下，如图25的右侧所示，特征值提取区 域131B的特征值B2被选在目标图像中的点p'处，而特征值提取区域 231A的特征值A2被选在目标图像中的点p'l处。特征值提取区域232B 的特征值B2被选在目标图像中的点p'2处，而特征值提取区域233B的特 征值B2被选在目标图像中的点p'3处。图24和25中所示的模型特征值的选择结果仅仅是示例。即，第一和 第二类型的特征值是彼此独立并因而是彼此分离的，并且匹配操作对于每 种类型是独立执行的，如上所述。因此，当然地，取决于目标图像，在点 p'、 p，l、 p'2或p'3处，对于第一类型可以选择特征值Al，而对于第二类 型可以选择特征值B2。或者，取决于目标图像，在点p'、 p'l、 p'2或p'3 处，对于第一类型可以选择特征值Bl，而对于第二类型可以选择特征值 A2。在以上描述中，为了便于理解本发明，模型特征值的类型数是2，即 第一和第二类型。但是，当然地，模型特征值的类型数并不限于2，而是 可以是L (L是等于或大于2的整数)。在这种情况下，令q是模型图像 中基点的数目，则针对L类特征值中的每一类的匹配过程对于q个基点中 的每一个是独立执行的。结果，最终获得了以下信息。艮口，获得了模型图像中的坐标(mxij， myij)、目标图像中的坐标(txij, tyij)、以及最大代价值cost—ij (i是从1到q的整数，j是从1到L的整数)。对于一个关注基点，将获取L类特征值的匹配对候选。在这种情况 下，L类特征值的所有匹配对候选都可以是最终匹配对。但是，在该实施例中，匹配部件66试图基于所存储的每个基点的代 价值来从L类特征值的匹配对候选中选择一个最终匹配对。注意，要选择的匹配对的数目并不限于l，这将在后面描述。当L类特征值包括与其他类型具有不同比例的一种类型时用于选择匹 配对的方法不同于当所有的L类特征值都具有相同比例时用于选择匹配对 的方法。下面将描述这两种情况下选择方法的示例。首先，将描述当L类特征值包括具有不同于其他类型的比例的一种类 型时选择方法的示例。例如，假定L二2并且第一类型的特征值是边缘强度，而第二类型的特 征值是色彩柱状图。在这种情况下，由于这两类特征值在特征空间中的比例是不同的，因 此它们的代价值不能简单地相互比较。在这种情况下，对于每一类特征值 的代价值，可以设置指示可靠性的阈值。例如，用于边缘强度(第一类型 的特征值)的阈值是threshl，而用于色彩柱状图(第二类型的特征值)的 阈值是thresh2。在这种情况下，匹配部件66针对每个基点判断边缘强度(第一类型 的特征值)的匹配对候选的代价值是否大于阈值threshl。当代价值大于阈 值threshl时，匹配部件66采用该匹配对候选作为匹配对。类似地，匹配部件66针对每个基点判断色彩柱状图(第二类型的特 征值)的匹配对候选的代价值是否大于阈值thresh2。当代价值大于阈值 thresh2时，匹配部件66采用该匹配对候选作为匹配对。因而，通过针对每一类特征值使用不同的阈值来执行比较，对于同一 基点来说，这两种类型的特征值代价都可以大于各自的阈值。在这种情况 下，匹配部件66判断出这两种类型的匹配对都具有足够高的可靠性，并 且即使当与同一基点相对应的点彼此不同时也采用这两者作为匹配对。接下来，将描述当L类特征值不包括具有不同于其他类型的比例的一种类型时(即，当所有类型的特征值都具有相同比例时)选择方法的示 例。例如，假定L=3并且色彩模板中的R、 G和B层分别是第一类型、第 二类型和第三类型的特征值。在这种情况下，三种类型的特征值R、 G和B可以当作具有相同比例 来应对。因此，匹配部件66可以从每个基点的匹配对候选中选择给出最 高代价值的匹配对。通过执行以上过程，可以获取每个基点的匹配对和最终模型中的相应 目标点。但是，如上所述，对于某些基点，在某些情况下获得了多个相应 点。艮口，通过执行以上过程，模型中的每个基点都具有从围绕该基点周围 提供的多个特征值提取区域提取出的特征值，并且在匹配过程中从这样提 取出的特征值中选择给出最高分数的特征值。因此，可以应对环境的改变 (其中，例如背景变复杂或场景改变)。另外，模型中的每个基点具有多种类型的特征值，并且通过利用代价 值对其进行縮窄来从所得到的匹配对候选中选择一个匹配对，这是针对多 种类型的特征值的匹配操作的结果。因此，这种匹配对选择相比于利用一 种类型的特征值进行的匹配对选择来说对于上述环境变化更加健壮。另外，由于在对每个基点的匹配时以自适应方式确定要使用的特征 值，因此没有必要预先选择一个特征值。当提供了这样的各种有利效果的图18的步骤S94中的过程完成时， 执行步骤S95中的过程。由于步骤S95和后续步骤中的过程基本与上述相 同，因此其描述将被省略。尽管己经描述了本发明被应用于对象识别装置的实施例，但是本发明 例如也可适用于通过比较过程识别图像中的对象的信息处理装置。上述过程序列可以由硬件或软件执行。当该过程序列通过软件执行 时，形成软件的程序被从程序记录介质安装到结合在专用硬件中的计算机 内，或者例如安装到其中安装有各种程序以执行各种功能的通用个人计算 机中。图26是示出用于执行程序形式的上述过程序列的个人计算机的示例性配置的框图。CPU (中央处理单元)401根据存储在ROM (只读存储 器)402或存储部件408中的程序来执行各种处理。RAM (随机访问存储 器)403存储由CPU 401执行的程序和适当地供CPU 401使用的关联数 据。CPU401、 ROM402和RAM403经由总线404彼此相连。CPU 401还经由总线404连接到输入/输出接口 405。输入/输出接口 405连接到包括键盘、鼠标和麦克风的输入部件406以及包括显示器和扬 声器的输出部件407。 CPU 401响应于从输入部件406输入的命令而执行 各种处理。CPU401随后将处理结果输出到输出部件407。连接到输入/输出接口 405的存储部件408包括硬盘驱动器，并且存储 由CPU 401执行的程序和供CPU 401使用的各种数据。通信部件409经由 诸如因特网和局域网之类的网络与外部设备通信。连接到输入/输出接口 405的驱动器410被载入有可移动介质411，例 如磁盘、光盘、磁光盘和半导体存储器，驱动器410驱动该介质并且获取 记录在其中的程序和数据。所获取的程序和数据根据需要被传送到存储部 件408并被存储在存储部件408中。存储被安装在计算机中并且变得可供计算机执行的程序的程序记录介 质的示例是作为封装介质的可移动介质411、以临时或永久方式存储程序 的ROM 402和形成存储部件408的硬盘驱动器，如图26所示，可移动介 质411例如是磁盘(包括柔性盘)、光盘(包括CD-ROM (致密盘-只读 存储器)和DVD (数字多功能盘))、磁光盘和半导体存储器。将程序 存储到程序记录介质上的操作是根据需要经由作为接口的通信部件409 (例如路由器和调制解调器)利用有线或无线通信介质(例如局域网、因 特网和数字卫星广播)执行的。在本说明书中，描述存储在记录介质上的程序的步骤不仅包括以时序 方式按指定顺序执行的过程，还包括不一定以时序方式执行而是并行或分 别执行的过程。本发明的实施例并不限于上述实施例，而是可以进行各种改变，改变 的程度使得这些改变不脱离本发明的精神。本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种 修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利 要求或其等同物的范围内即可。本发明包含与分别于2007年2月26日和2007年7月31日向日本专 利局提交的日本专利申请JP 2007-044996和JP 2007-199227有关的被拍摄 体，这些申请的全部内容通过引用结合于此。
权利要求
1.一种将输入图像与模型图像相比较，以利用所述模型图像的被拍摄体来识别所述输入图像的被拍摄体的信息处理装置，所述装置包括特征值提取装置，用于设置特征点，每个特征点在所述模型图像的边缘上并且提供用于提取出作为所述模型图像的特征值的模型图像特征值，并且还用于从每个特征点附近的多个特征值提取区域中的每一个提取出所述模型图像特征值；以及匹配装置，用于检查在所述输入图像的边缘上并且与所述特征点相对应的点处的作为所述输入图像的特征值的输入图像特征值是否与所述特征点处的多个模型图像特征值中的任何一个相匹配。
2. 如权利要求1所述的信息处理装置，其中所述特征值提取装置从所述多个特征值提取区域中的每一个提取 出多种类型的模型图像特征值，并且所述匹配装置针对所述多种类型中的每一种执行所述匹配操作。
3. 如权利要求1所述的信息处理装置，其中所述特征值提取装置从所述多个特征值提取区域中的每一个提取 出所述模型图像特征值，所述模型图像特征值对于所述模型图像的边缘附 近的每个像素具有连续值。
4. 如权利要求1所述的信息处理装置，其中所述特征值提取装置从所述多个特征值提取区域中的每一个提取 出边缘强度，所述边缘强度是在所述模型图像的边缘附近获得的。
5. 如权利要求1所述的信息处理装置，其中所述特征值提取装置从所述特征点附近的多个特征值提取区域中 的每一个提取出作为所述模型图像的特征值的模型图像特征值，所述特征 点被定义为参考圆与所述模型图像的边缘相交的点，所述参考圆是以其中 包含所述模型图像的相对大量边缘的方式确定的。
6. 如权利要求1所述的信息处理装置，其中所述特征值提取装置从通过对每个特征值提取区域进行径向分割而获得的每个小区域提取出所述特征值，所述特征值提取区域每个由具有 不同半径的多个同心圆形成，并且被最外层同心圆包围，每个分割区域具 有预定角度，所提取出的特征值由距所述同心圆的中心的距离和角度的两 维柱状图表示。
7. 如权利要求1所述的信息处理装置，还包括识别装置，用于当匹配对的数目大于预定值时利用所述模型图像的被 拍摄体来识别所述输入图像的被拍摄体，所述匹配对是用于检查所述输入 图像特征值是否与所述多个模型图像特征值中的任何一个相匹配的操作的 结果。
8. —种用在信息处理装置中的信息处理方法，所述信息处理装置将输 入图像与模型图像相比较，以利用所述模型图像的被拍摄体来识别所述输 入图像的被拍摄体，所述方法包括以下步骤设置特征点，每个特征点在所述模型图像的边缘上并且提供用于提取 出作为所述模型图像的特征值的模型图像特征值，并且从每个特征点附近的多个特征值提取区域中的每一个提取出所述模型图像特征值；以及检查在所述输入图像的边缘上并且与所述特征点相对应的点处的作为 所述输入图像的特征值的输入图像特征值是否与所述特征点处的多个模型 图像特征值中的任何一个相匹配。
9. 一种使得计算机执行用于将输入图像与模型图像相比较以利用所述模型图像的被拍摄体来识别所述输入图像的被拍摄体的过程的程序，所述过程包括以下步骤设置特征点，每个特征点在所述模型图像的边缘上并且提供用于提取 出作为所述模型图像的特征值的模型图像特征值，并且从每个特征点附近的多个特征值提取区域中的每一个提取出所述模型图像特征值；以及检查在所述输入图像的边缘上并且与所述特征点相对应的点处的作为 所述输入图像的特征值的输入图像特征值是否与所述特征点处的多个模型 图像特征值中的任何一个相匹配。
10. —种将输入图像与模型图像相比较，以利用所述模型图像的被拍摄体来识别所述输入图像的被拍摄体的信息处理装置，所述装置包括特征值提取器，用于设置特征点，每个特征点在所述模型图像的边缘 上并且提供用于提取出作为所述模型图像的特征值的模型图像特征值，并 且特征值提取器还用于从每个特征点附近的多个特征值提取区域中的每一 个提取出所述模型图像特征值；以及匹配部件，用于检査在所述输入图像的边缘上并且与所述特征点相对 应的点处的作为所述输入图像的特征值的输入图像特征值是否与所述特征 点处的多个模型图像特征值中的任何一个相匹配。
全文摘要
本发明公开了一种将输入图像与模型图像相比较以利用模型图像的被拍摄体来识别输入图像的被拍摄体的信息处理装置。该装置包括特征值提取装置和匹配装置，特征值提取装置用于设置特征点，每个特征点在模型图像的边缘上并且提供用于提取出作为模型图像的特征值的模型图像特征值，并且特征值提取装置还用于从每个特征点附近的多个特征值提取区域中的每一个提取出模型图像特征值，匹配装置用于检查在输入图像的边缘上并且与特征点相对应的点处的作为输入图像的特征值的输入图像特征值是否与特征点处的多个模型图像特征值中的任何一个相匹配。
文档编号G06K9/64GK101256632SQ20081000635
公开日2008年9月3日 申请日期2008年2月26日 优先权日2007年2月26日
发明者中村章, 岩井嘉昭, 芦原隆之 申请人:索尼株式会社