专利名称：图像识别设备、方法和机器人设备的制作方法
技术领域：
本发明涉及图像识别设备、其方法和具有这样的图像识别功能的机器人设备，用于从包含多个对象的对象图像中提取要检测的模型。
本申请要求以于2003年4月28日申请的日本专利申请No.2003-124225作为优先权基础，这里本申请进行了引用。
背景技术：
目前，许多在实践中使用的对象识别技术根据顺序相似性检测算法和互相关系数使用模板匹配技术。模板匹配技术在可以假设检测对象出现在输入图像中的特殊情况下是有效的。然而，在从不一致的视点或照明状态的普通图像中识别对象的环境中，该技术是无效的。
此外，还有人提出了形状匹配技术，该技术查找检测对象形状特征和通过图像分离技术提取的输入图像中的每一个区域的形状特征之间的匹配。在上文所提及的环境中识别普通对象的情况下，区域分离会产生不一致的结果，难以在输入图像中提供对象形状的高质量的表示。当检测对象部分地被另一个对象隐藏时，识别变得特别困难。
上文所提及的匹配技术使用了输入图像或其部分区域的总体特征。相比之下，有人提出了另一种技术。该技术从输入图像中提取特征点或边缘。该技术使用图表和图形来表示包括提取的特征点或边缘的线段集或边缘集之间的空间关系。该技术基于图表或图形之间的结构相似性执行匹配。此技术对特殊的对象非常有效。然而，变形的图像可能会阻止特征点之间的结构的稳定的提取。如上所述，这就使得识别部分地被另一个对象隐藏的对象尤其困难。
此外，还有其他匹配技术，用于从图像中提取特征点并使用从本地附近的特征点和图像信息中获取的特征量。例如，C.Schmid和R.Mohr将由Harris角检测器检测的角当作特征点，并提议一种技术以使用特征点附近的不可旋转的特征量(C.Schmid and R.Mohr；″Local grayvalue invariants for image retrieval，IEEE PAMI，Vol.19.No 5，pp.530-534，1997)。此文件在下文中被称为文件1。该技术使用特征点处的部分图像失真的恒定局部特征量。与上文所提及的各种技术相比，即使图像变形或者检测对象被部分地隐藏，此匹配技术也可以执行稳定的检测。然而，文件1中所使用的特征量对于放大或缩小图像没有恒定性。如果放大或缩小，则难以识别图像。
另一方面，D.Lowe提议使用在放大或缩小图像的情况下不变的特征点和特征量的匹配技术(D.Lowe，″Object recognition from localscale-invariant features″，Proc.of the International Conference onComputer Vision，Vol.2，pp.1150-1157，September 20-25，1999，Corfu，Greece)。此文件在下文中被称为文件2。下面参考图1描述了由D.Lowe提议的图像识别设备。
如图1所示，图像识别设备400包括特征点提取部分401a和401b。特征点提取部分401a和401b从用于提取特征点的图像(模型图像或对象图像)中获取以多分辨率表示的图像。多分辨率表示被称为规模-空间表示(参见Lindeberg T.，″Scale-spaceA frameworkfor handling image structures at multiple scales″，Journal of AppliedStatistics，Vol.21，No.2，pp.224-270，1999)。特征点提取部分401a和401b向具有不同分辨率的图像应用DoG(高斯差)滤波器。来自DoG滤波器的输出图像包含局部点(局部最大点和局部最小点)。这些局部点中的某些点不会由于指定范围内的分辨率变化而会产生位置变化，并作为特征点检测到。在此示例中，分辨率级别的数量是预先确定的。
特征量保留部分402a和402b提取并保留由特征点提取部分401a和401b提取的每一特征点的特征量。此时，特征点提取部分401a和401b使用特征点邻近区域的规范方向和方向平面。规范方向是提供累积高斯加权梯度强度的方向直方图的峰值的方向。特征量保留部分402a和402b保留规范方向作为特征量。特征量保留部分402a和402b规范化有关特征点邻近区域的梯度强度信息。也就是说，通过假设规范方向是0度来校正方向。有关邻近区域中的每一个点的梯度强度信息按梯度方向以及位置信息进行分类。例如，让我们考虑将有关邻近区域中的点的梯度强度信息总共分类为八个方向平面(每一个平面45度)的情况。假设梯度信息在邻近区域的局部坐标系上方向为93度，在点(x，y)的强度为m。此信息作为这样的信息来映射，在具有90度标记并与邻近区域具有相同局部坐标系的方向平面上的位置(x，y)的强度为m。此后，根据分辨率规模，每一个方向平面都被模糊，并重新取样。特征量保留部分402a和402b保留具有相当于如上面求出的(分辨率的数量)x(方向平面的数量)x(每一个方向平面的大小)的维的特征量矢量。
然后，特征量比较部分403使用k-d树查询(具有极好的检索效率的对特征空间的最近的相邻的查询)来检索其特征量最类似于每一个对象特征点的特征量的模型特征点。特征量比较部分403保留获取的候选关联的特征点对作为候选关联的特征点对组。
另一方面，模型姿态估计部分404使用通用霍夫变换，根据模型特征点和对象特征点之间的空间关系估计对象图像上的模型的姿态(旋转角、放大或缩小比以及线性位移的图像变换参数)。此时，期望使用每一个特征点的上文所提及的规范方向作为通用霍夫变换的参数参考表(R表)的索引。模型姿态估计部分404的输出是图像变换参数空间上的表决结果。获得最大表决分数的参数提供模型姿态的粗略估计。
候选关联的特征点对选择部分405只选择这样的候选关联的特征点对，以缩小候选关联的特征点对组的范围，所选择的候选关联的特征点对的对象特征点作为为该参数而表决的成员。
最后，模型姿态估计部分406基于对应的特征点对组的空间位置，使用最小平方估计来估计仿射变换参数。此操作基于这样的限制条件要检测的模型由图像畸变通过仿射变换处理为对象图像。模型姿态估计部分406使用仿射变换参数将候选关联的特征点对组的模型特征点转换为对象图像。模型姿态估计部分406从对应的对象特征点求出位置位移(空间距离)。模型姿态估计部分406排除具有过度的位移的对，以更新候选关联的特征点对组。如果有两个或更少候选关联的特征点对组，模型姿态估计部分406通过发出不能检测模型的通知来终止。否则，模型姿态估计部分406重复此操作，直到满足指定的终止条件。最后，模型姿态估计部分406以通过在满足终止条件时有效的仿射变换参数确定的模型姿态输出模型识别结果。
然而，在文件2中描述的D.Lowe的技术中存在多个问题。
首先，有关特征点中的规范方向的提取存在问题。如上所述，规范方向由方向确定，以提供方向直方图中的峰值，该峰值累积了从有关特征点邻近区域的局部梯度信息求出的高斯加权梯度强度。根据文件2的技术易于检测对象角部内部的特征点。由于两个峰值出现在方向直方图中的彼此正交的方向上，靠近这样的特征点，因此，存在检测多个竞争的规范方向的可能性。在稍后的阶段，特征量比较部分403并模型姿态估计部分404不是针对这样的情况的，并不能解决此问题。方向直方图形状随着高斯加权函数的参数而变化，从而阻止规范方向的稳定提取。另一方面，规范方向在稍后的阶段用于特征量比较部分403和模型姿态估计部分404。提取不适当的规范方向会严重地影响特征量匹配的结果。
其次，方向平面用于特征量比较，来根据本地区域中的每一个点中的密度梯度强度信息求出特征量之间的匹配。然而，一般来说，梯度强度不是针对亮度变化的一致特征量。如果在模型图像和对象图像之间存在亮度差，则不能确保稳定的匹配。
第三，具有非常短的，但不是最短的特征空间中的距离的多个模型特征点，即，具有对应于每一个对象特征点的非常类似的特征量。实际特征点对(内露层)可以包含在它们中。然而，在特征量比较部分403中，每一个对象特征点只与提供特征空间中的最短距离的模型特征点配对。相应地，上文所提及的内露层不被视为候选关联对。
第四，当模型姿态估计部分406估计仿射变换参数时，可能会发生问题。假的特征点对(外露层)包含在由候选关联的特征点对选择部分405缩窄的对应的特征点对组中。然而，许多外露层可以包含在候选关联的特征点对组中。可能有与真正的仿射变换参数偏离严重的外露层。在这样的情况下，仿射变换参数估计会受到外露层的影响。根据情况，重复操作可以逐渐地排除内露层，而留下外露层。可能会输出不正确的模型姿态。
发明内容
本发明是在考虑到前述的问题的情况下作出的。因此，本发明的目的是提供图像识别设备，其方法以及具有这样的图像识别功能的机器人设备，该设备能够从包含部分地彼此重叠的多个图像的图像中检测对象，并进一步能够稳定地检测对象，即使由于视点变化(图像变化包括线性位移、放大和缩小、旋转，伸展)、亮度变化和噪声而产生的图像信息的失真。
为了实现上文所提及的目的，根据本发明的图像识别设备以及其方法将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较并从对象图像中提取模型。该设备和方法包括特征点提取装置(步骤)，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留装置(步骤)，用于作为特征量提取和保留密度梯度方向直方图，所述密度梯度方向直方图至少从对象图像和模型图像二者的每一个中的特征点的邻近区域中的密度梯度信息获得；特征量比较装置(步骤)，用于将对象图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计装置(步骤)，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，特征量比较装置(步骤)在密度梯度方向巡回地移动要比较的特征点密度梯度方向直方图中的一个，以求出密度梯度方向直方图之间的距离，并通过假设最短距离是密度梯度方向直方图之间的距离来产生候选关联的特征点对。
当通过假设从特征点的邻近区域中的密度梯度信息中获取的密度梯度方向直方图作为特征量执行特征量匹配时，图像识别设备以及其方法通过在密度梯度方向巡回地移动要比较的特征点密度梯度方向直方图中的一个来求出密度梯度方向直方图之间的距离。假设最短距离为密度梯度方向直方图之间的距离。在具有类似距离的特征点之间产生候选关联的特征点对。
为了实现上文所提及的目的，根据本发明的图像识别设备以及其方法将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较并从对象图像中提取模型，该设备和方法包括特征点提取装置(步骤)，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留装置(步骤)，用于提取和保留每个对象图像和模型图像中的特征点的邻近区域中的特征量；特征量比较装置(步骤)，用于将对象图像的每一个特征点与模型图像的每一个特征量进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计装置(步骤)，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，模型姿态估计装置(步骤)步骤反复地将从三个随机选择的候选关联的特征点对确定的仿射变换参数投射到参数空间上，并基于属于这样一个簇的仿射变换参数，求出仿射变换参数以确定模型的位置和姿态，其中所述簇在参数空间上所形成的簇中具有最多的成员。
图像识别设备以及其方法使用基于特征量相似性产生的候选关联的特征点对检测对象图像上是否存在模型。当存在模型时，图像识别设备以及其方法估计模型的位置和姿态。此时，图像识别设备以及其方法反复地将从三个随机选择的候选关联的特征点对确定的仿射变换参数投射到参数空间上，并基于属于这样一个簇的仿射变换参数，求出仿射变换参数以确定模型的位置和姿态，其中所述簇在参数空间上所形成的簇中具有最多的成员。
根据本发明的机器人设备具有上文所提及的图像识别功能。
从下面的对优选实施例的描述中，本发明的其他目的、特点和优点将变得显而易见。
图1显示了常规图像识别设备的简要配置；图2显示了根据实施例的图像识别设备的简要配置；图3显示了如何在图像识别设备的特征点提取部分中建立图像的多分辨率金字塔形结构；图4是显示检测到第L级别其位置不随分辨率变化而改变的特征点的过程的流程图；图5显示了检测到第三级别其位置不随分辨率变化而改变的特征点的示例；图6A和6B显示了图像识别设备的特征量保留部分中的过程，其中，图6A显示了作为特征点的相邻结构的3.5像素的半径内靠近特征点的密度梯度信息的示例；图6B显示了从图6A中的密度梯度信息中获取的梯度方向直方图的示例；图7是详细显示图像识别设备中的特征量比较部分的过程的流程图；图8显示了计算密度梯度矢量Um和Uo之间的相似性的技术；图9是详细显示图像识别设备中的模型姿态估计的过程的流程图；图10显示具有候选关联的特征点对选择部分的图像识别设备的简要配置；图11A到11C显示了图像识别设备的候选关联的特征点对选择部分中的第一技术，其中，图11A示范了候选关联的特征点对组；图11B显示了指派给每一候选关联的特征点对的估计的旋转角；图11C显示了估计的旋转角直方图；图12是显示根据实施例的机器人设备的外部配置的透视图；图13概要显示了机器人设备的自由度配置模型；以及图14显示了机器人设备的系统配置。
具体实施例方式
下面将参考附图比较详细地描述本发明的实施例。该实施例是本发明在图像识别设备上的应用，该图像识别设备将对象图像作为包含多个对象的输入图像与包含要检测的模型的模型图像进行比较，并从对象图像中提取模型。
图2显示了根据实施例的图像识别设备的简要配置。在图2的图像识别设备1中，特征点提取部分10a和10b从模型图像和对象图像中提取模型特征点和对象特征点。特征量保留部分11a和11b提取每一个所提取的特征点的特征量并将它们与特征点的位置信息一起保留。特征量比较部分12将每一个模型特征点的特征量与每一个对象特征点的特征量进行比较，以计算相似性或相异性。使用此相似性标准，特征量比较部分12产生具有相似的特征量(即，具有比较高的对应可能性)的模型特征点和对象特征点的对(候选关联的特征点对)。
模型姿态估计部分13使用一组所产生的候选关联的特征点对以检测对象图像上是否存在模型。当检测结果显示模型可用时，模型姿态估计部分13重复将仿射变换参数投射到参数空间的操作。仿射变换参数是由从候选关联的特征点对组中随机选择的三对确定的，并基于这样的限制条件要检测的模型由图像畸变通过仿射变换处理为对象图像。在参数空间中形成的簇包括具有最多成员的簇。模型姿态估计部分13假设这样的簇中的每一个成员是真正的特征点对(内露层)。模型姿态估计部分13使用此内露层并根据最小平方估计求出仿射变换参数。由于仿射变换参数确定模型姿态，模型姿态估计部分13作为模型识别结果输出模型姿态。
下面将详细描述图像识别设备1的每一个部分。下面的描述假设图像的水平方向为X轴，垂直方向为Y轴。
特征点提取部分10a和10b反复地并交替地向从其中应该提取特征点的图像应用下列操作首先，平滑滤波，例如，使用下面的公式(1)所示的2维高斯函数的回旋(高斯滤波)，然后通过四次方线性内插重新取样，进行图像缩小。如此，特征点提取部分10a和10b建立图像的多分辨率金字塔形结构。这里要使用的重新取样因子是公式(1)中的用于高斯滤波器的σ。
g(x,y)=12πσ2e-(x2+y2)/2σ2···(1)]]>如图3所示，例如，对输入图像I应用其中σ＝√2的高斯滤波器g(x，y)产生第一级别的(最高分辨率)图像I1。此外，应用高斯滤波器将产生图像g*I1。对图像g*I1进行重新取样并对其应用高斯滤波器则产生第二级别的图像I2和g*I2。同样，对图像g*I2进行处理，以产生图像I3和g*I3。
然后，特征点提取部分10a和10b在相应的级别(分辨率)对图像应用DoG(高斯差)滤波器。DoG滤波器是一种用于对图像进行边缘增强的二阶差动滤波器。DoG常常作为来自视网膜的信息的过程的近似模型与LoG(高斯的拉普拉斯)滤波器一起使用，直到在人类视觉系统中的外侧膝状体中中继。来自DoG滤波器的输出可以轻松地通过求出两个高斯滤波器输出图像之间的差来轻松地获取。也就是说，如图3所示，图像DI1(＝I1-g*I1)是为第一级别的图像获得的。图像DI2(＝I2-g*I2)和DI3(＝I3-g*I3)是为第二级别和第三级别的图像获得的。
特征点提取部分10a和10b从相应的级别中的DoG滤波器输出图像DI1、DI2、DI3等等中的局部点(局部最大点和局部最小点)检测特征点。要被检测的局部点应该不会由于指定范围中的分辨率变化而产生位置变化。如此，可以对图像放大和缩小实现特征点之间的可靠的匹配。
参考图4中的流程图，下面描述了检测在多分辨率金字塔形结构的第L级别其位置不随分辨率变化而改变的特征点的过程，即，到将提高到(L-1)次幂的因子。
在步骤S1中，过程检测第一级别(最高分辨率)的DoG滤波器输出图像DI1中的局部点(局部最大点和局部最小点)。可用的局部邻近区域包括3x3直接邻近区域。
在步骤S2中，过程求出下一个较高级别(低一个分辨率的较低层)中的每一个检测到的局部点的对应点，并考虑到由于缩小的缩小率而造成的图像缩小。然后，过程判断对应点是否为局部点。如果对应点是局部点(是)，则过程进入步骤S3。如果对应点不是局部点(否)，则检索终止。
在步骤S3中，过程判断检索是否持续到第L级别。如果检索不能达到第L级别(否)，则过程返回到步骤S2，并在较高的级别执行检索。如果检索持续到第L级别(是)，过程保留位置信息作为步骤S4中的特征点。
让我们考虑检测到第三级别其位置不随分辨率变化而改变的特征点的情况。如图5所示，在第一级别的图像DI1中检测局部点FP1和FP2。假设FP1为特征点，因为对应点最多在第三级别可用。不假设FP2为特征点，因为对应点最多只在第二级别可用。
特征点提取部分10a和10b可以使用LoG滤波器，而不用DoG滤波器。优选情况下，可以使用用于对对象进行角检测的corner-ness功能的输出值来代替DoG滤波器输出(Harris C.andStephens M，″A combined corner and edge detector′，in Proc.AlveyVision Conf.，pp.147-151，1988)。
然后，特征量保留部分11a和11b(图2)提取和保留由特征点提取部分10a和10b提取的特征点的特征量。要使用的特征量是从有关多分辨率金字塔形结构中的每一个级别的图像(Ii，其中，i＝1，...，L)的图像信息派生出来的特征点的邻近区域中的每一个点的密度梯度信息(梯度强度和梯度方向)。下面的公式(2)和(3)提供了点(x，y)处的梯度强度Mx，y和梯度方向Rx，y。
Mxy=(Ix+1,j-Ix,y)2+(Ix,y+1-Ix,y)2···(2)]]>Rx,y=tan-1(Ix,y+1-Ix,y,Ix+1,y-Ix,y)···(3)]]>为了在此示例中计算特征量，最好选择其结构不随旋转变化而变化并且相对于特征点而对称的特征点邻近区域。这可以提供抵抗旋转变化的抵抗力。例如，可以使用(i)该技术来确定从特征点r起像素半径内的特征点邻近区域，(ii)该技术来将密度梯度乘以具有宽度σ的相对于特征点对称的2维高斯权重。
图6A显示了当假设邻近区域在从特征点FP起3.5像素的半径内时特征点邻近区域中的密度梯度信息的示例。在图6A中，箭头长度表示梯度强度。箭头方向表示梯度方向。
特征量保留部分11a和11b还保留涉及特征点附近的梯度方向的直方图(方向直方图)作为特征量。图6B显示了从图6A中的密度梯度信息中获取的梯度方向直方图的示例。在图6B中，类宽度Δθ为10度，类数量N为36(360度除以10度)。
然后，特征量比较部分12(图2)将每一个模型特征点的特征量与每一个对象特征点的特征量进行比较。特征量比较部分12产生具有相似的特征量的模型特征点和对象特征点的对(候选关联的特征点对)。
下面将参考图7中的流程图，详细描述特征量比较部分12中的过程。在步骤S10中，特征量比较部分12比较每一个模型特征点的方向直方图和每一个对象特征点的方向直方图，以计算直方图之间的距离(相异性)。此外，特征量比较部分12求出模型和对象之间的估计的旋转角。
现在，让我们假设有两个方向直方图，具有相同的类宽度Δθ和相同的类数量N，H1＝{h1(n)，n＝1，...，N}，H2＝{h2(n)，n＝1，...，N)，h1(n)和h2(n)表示类n处的频率。例如，下面的公式(4)提供了直方图H1和H2之间的距离d(H1，H2)。在公式(4)中，r一般可以由1、2和∞代替。
d(H1,H2)=(Σi||h1(i)-h2(i)||r)1/r···(4)]]>公式(4)用于计算每一个模型特征点和每一个对象特征点的方向直方图之间的相异性。(i)在匹配级别模型和对象之间的比例尺比率是未知的。因此，需要在模型特征点的相应的级别和对象特征点的相应的级别中的方向直方图之间执行匹配。(ii)涉及方向直方图之间的匹配时，需要考虑模型和对象之间的旋转转换量。
让我们考虑下列情况求出模型特征点m的级别LV处的方向直方图HmLV＝{hmLV(n)，n＝1，...，N}和对象特征点o的级别lv处的方向直方图Holv＝{holv(n)n＝1，...，N}之间的相异性。方向直方图巡回地随着旋转转换而变化。相应地，通过对于Holv一个接一个移动类来巡回地计算公式(4)。假设最小值为HmLV和Holv之间的相异性。此时，当给出最小相异性时，可以假设根据移动量(移动的类的数量)的对象特征点的旋转角。此技术被称为方向直方图交叉方法。
让我们假设对于k类移动Holv，以产生方向直方图Holv(k)。在此情况下，下面的公式(5)给出了根据方向直方图交叉方法的方向直方图之间的相异性(HmLV，Holv(k))。
dissimilar ity(HmLV,Holv)=mink=0N-1(d(HmLV,H0lv(k)))···(5)]]>让我们假设k’是k的替代，以给出最小d(HmLV，Holv(k))。然后，下面的公式(6)给出对象特征点o处的邻近区域中的估计的旋转角θ(m，LV，o，lv)。
θ(m，LV，o，lv)＝k′Δθ …(6)在考虑上述(i)的情况下，下面的公式(7)描述了模型特征点m和对象特征点o处的方向直方图之间的相异性(Hm，Ho)。
dissimilar ity(Hm,HO)=minLV,lv(dissimilar ity(HmLV,Holv))···(7)]]>
对应于模型特征点m和对象特征点o的每一对(m，n)，特征量比较部分12保留级别LV和lv(下文分别表示为LVm*和lvo*)，以提供方向直方图之间的最小相异性(Hm，Ho)和对应的估计旋转角θ(m，LVm*，o，lvo*)以及方向直方图之间的相异性(Hm，Ho)。
然后，在步骤S11(图7)中，特征量比较部分12按照方向直方图之间的相异性的递增顺序选择每一个模型特征点m的K个对象特征点om1，...和omk，以形成候选关联的特征点对。也就是说，对于每一个模型特征点m，形成了K个候选关联的特征点对(m，om1)，....，(m，omk)，(m，omk此外，每一个候选关联的特征点对(m，omk)都保留了有关对应的级别LVm*和lvomk*估计旋转角θ(m，LVm*，o，lvomk*)的信息。
如此，为所有模型特征点形成了候选关联的特征点对。所获得的对组变成候选关联的特征点对组。
如上所述，特征量比较部分12只关注梯度方向，而不关注直方图频率的累积梯度强度。不管亮度如何变化，都可以有可靠的特征量匹配。上文所提及的文件2中的技术基于诸如其提取是不稳定的规范方向之类的特征量执行匹配。相比之下，本发明的实施例可以在考虑到方向直方图形状的情况下执行比较稳定的匹配。此外，还可以获取稳定的特征量(估计的旋转角)。
尽管描述了在上面的步骤S11中为每一个模型特征点m选择K个候选关联的特征点对，但是，本发明不仅限于此。优选情况下，可以选择其方向直方图之间的相异性没有满足阈值的所有对。
由上文所提及的操作产生的候选关联的特征点对组还包含具有类似方向直方图但具有密度梯度的不同空间特征的对应点对。在步骤S12(图7)中，过程基于密度梯度矢量之间的相似性选择一对并更新候选关联的特征点对组。
具体来说，假设在模型特征点m的附近级别LVm*密度梯度矢量为Um。假设在对象特征点o的附近级别lvomk*的密度梯度矢量为Uo，以用模型特征点m形成对应点对。在此条件下，过程排除其Um和Uo之间的相似性低于阈值的对，以更新候选关联的特征点对组。
图8显示了计算密度梯度矢量Um和Uo之间的相似性的技术。首先，在空间上将Um分成四个区域Ri(i＝1到4)，以求出每一个区域的平均密度梯度矢量Vi(i＝1到4)。Um通过包含Vi的8维矢量V来表示。对于考虑到旋转转换的密度梯度信息的匹配，通过已经求出的估计旋转角θ(m，LVm*，o，lvomk*)来校正Uo的梯度方向，以获取Uo*。此时，使用四次方线性内插来求出中间位置的值。同样，将Uo*分成四个区域Ri(i＝1到4)，以求出每一个区域的平均密度梯度矢量Wi(i＝1到4)。Uo由包含Wi的8维矢量W来表示。此时，Um和Uo之间的相似性(Um，Uo)∈
被解释为平均密度梯度矢量V和W之间的相似性。例如，使用余弦相关值通过下面的公式(8)求出相似性。在公式(8)中，(V.W)表示V和W之间的内积。
similarity(Um,UO)=12((V·W)||V||||W||+1)···(8)]]>特征量比较部分12求出每一个候选关联的特征点对的在公式(8)中求出的平均密度梯度矢量之间的相似性。特征量比较部分12排除其相似性不满足阈值δ的对，以更新候选关联的特征点对组。
如此，特征量比较部分12使用部分区域中的平均密度梯度矢量来比较特征量。相应地，可以针对特征点位置或估计的旋转角中的轻微的差和由于亮度变化而产生的密度梯度信息中的变化提供强壮的匹配。此外，还可以减少计算量。
上文所提及的操作可以提取在特征点附近具有彼此类似的局部密度梯度信息的一组对(模型特征点和对象特征点)。然而，从宏观上来讲，所获得的对组包含“假特征点对(外露层)”，其中，对应的特征点之间的空间位置关系与对象图像上的模型的姿态(模型姿态)相矛盾。
如果有三个或更多候选关联的特征点对，则可以使用最小平方估计来估计近似的仿射变换参数。通过重复排除在估计的模型姿态和空间位置关系之间具有矛盾的操作并使用其余的对重新完成模型姿态估计，可以识别模型姿态。
然而，候选关联的特征点对组可以包含许多外露层。可能有与真正的仿射变换参数偏离严重的外露层。在这些情况下，已知，最小平方估计一般产生不能令人满意的估计结果(Hartley R.，Zisserman A.，″Multiple View Geometry in Computer Vision″，Chapter 3，pp.69-116，Cambridge University Press，2000)。根据实施例的模型姿态估计部分13(图2)，在仿射变换的限制下，从候选关联的特征点对组中的空间位置关系中提取“真正的特征点对(内露层)”。模型姿态估计部分13使用提取的内露层来估计模型姿态(仿射变换参数，以确定线性位移、旋转、放大和缩小，以及伸展)。
下文描述了模型姿态估计部分13中的过程。如上所述，仿射变换参数不能确定，除非有三个或更多候选关联的特征点对。如果有两个或更少的候选关联的特征点对，模型姿态估计部分13输出不可识别的结果，并终止过程，假设没有模型包含在对象图像中，或者模型姿态检测失败。如果有三个或更多候选关联的特征点对，则模型姿态估计部分13估计仿射变换参数，假设模型姿态可以检测。应该注意，模型姿态估计部分13基于特征点的空间位置估计模型姿态，例如，在模型图像和对象图像的第一级别(最高的分辨率)。
下面的公式(9)给出了从模型特征点[x y]T到对象特征点[uv]T。
uv=a1a2a3a4xy+b1b2···(9)]]>在公式(9)中，ai(i＝到4)表示用于确定旋转、放大、缩小和伸展的参数；[b1b2]T表示线性位移参数。必须确定六个仿射变换参数a1到a4，b1和b2。如果存在三个候选关联的特征点对，则仿射变换参数可以确定。
让我们假设对组P包括三个候选关联的特征点对，如([x1y1]T、[u1v1]T)、([x2y2]T[u2v2]T)和([x3y3]T[u3v3]T)。那么，对组P和仿射变换参数之间的关系可以用下面的公式(10)中的线性系统来表示。
x1y1001000x1y101x2y2001000x2y201x3y3001000x3y301a1a2a3a4b1b2=u1v1u2v2u3v3···(3)]]>当公式(10)被转换为Ax＝b时，下面的公式(11)给出仿射变换参数x的最小平方答案。
x＝A-1b…(11)当反复并随机选择对组P以便从候选关联的特征点对组混合一个或多个外露层时，仿射变换参数散乱地投射到参数空间上。另一方面，当反复并随机只包括内露层的对组P时，仿射变换参数无例外地非常类似于模型姿态的真正的仿射变换参数，即，在参数空间上彼此靠近。因此，随机从候选关联的特征点对组中随机选择对组P，以将仿射变换参数投射到参数空间上。当重复此操作时，内露层在参数空间上构成了高度密集的簇(具有许多成员)。外露层散乱地出现。基于此，在参数空间上执行簇化，以确定以具有最多成员的簇的元素的内露层。
下面将参考图9中的流程图详细描述模型姿态估计部分13中的过程。假设使用NN(最近邻域)方法作为模型姿态估计部分13的簇化技术。由于上文所描述的b1和b2可以依据要识别的图像取各种值，对于簇化阈值的选择，x空间上的簇化还取决于要识别的图像。要解决此，模型姿态估计部分13只在包含参数a1到a4(下文表示为a)的参数空间上执行簇化，假设几乎不存在对组P，以提供仿射变换参数a1到a4，类似于但b1和b2不同于真正的参数。在不满足上文所提及的假设的情况下，独立于a空间，在包含b1和b2的参数空间上执行簇化。在考虑到结果的情况下，可以轻松地避免该问题。
在图9中步骤S20中，过程被初始化。具体来说，对于重复的数量，过程将计数值cnt设置为1。过程随机从候选关联的特征点对组中选择对组P1，以求出仿射变换参数a1。此外，过程将簇的数量N设置为1，以在仿射变换参数空间a上围绕a1创建簇Ci。过程将簇c1的重心c1设置为a1，将成员的数量nci设置为1，并将计数值cnt更新为2。
在步骤S21中，模型姿态估计部分13从候选关联的特征点对组中随机选择对组Pcnt，以求出仿射变换参数acnt。
在步骤S22中，模型姿态估计部分13使用NN方法对仿射变换参数空间执行簇化。具体来说，模型姿态估计部分13根据下面的公式(12)从仿射变换参数acnt和每一个簇Ci的重心ci(i＝1到N)之间的距离d(acnt，ci)求出最短距离dmin。
dmin＝min1≤i≤N{d(acnt，ci)} …(12)在dmin＜τ条件下，其中，τ是指定的阈值，并被设置为0.1，例如，acnt被允许属于提供dmin的簇Ci。簇Ci的重心ci在包括acnt的所有成员中更新。此外，簇Ci的成员nci的数量被设置为nci+1。另一方面，在dmin≥τ的条件下，在仿射变换参数空间a创建新簇CN+1，acnt被设置为重心cN+1。成员ncN+1的数量被设置为1。簇N的数量被设置为N+1。
在步骤S23中，判断是否满足重复终止条件。例如，可以按如下方式配置重复终止条件。当成员的最大数量超过指定阈值(例如，15)并且成员的最大数量和第二大成员数量之间的差超过指定阈值(例如，3)；或者当重复计数器的计数值cnt超过指定阈值(例如，5000次)时，过程应该终止。如果在步骤S23中不满足重复终止条件(否)，则过程在步骤S24中将重复的计数值cnt设置为cnt+1，然后返回到步骤S21。另一方面，如果满足重复终止条件(是)，过程进入步骤S25。
最后，在步骤S25中，模型姿态估计部分13使用上面获取的内露层，估计基于最小平方方法确定模型姿态的仿射变换参数。
让我们假设内露层为([xIN1yIN1]T，[uIN1vIN1]T)，([xIN2yIn2]T，[uIN2vIN2]T)，等等。那么，内露层和仿射变换参数之间的关系可以用下面的公式(13)中的线性系统来表示。
xIN1yIN1001000xIN1yIN101xIN2yIN2001000xIN2yIN201······a1a2a3a4b1b2=uIN1vIN2uIN2vIN2·.....···(13)]]>当公式(13)被转换为AINXIN＝bIN时，下面的公式(14)给出仿射变换参数XIN的最小平方答案。
XIN=(AINTAIN)-1AINTbIN···(14)]]>在步骤S25中，过程以由仿射变换参数XIN确定的模型姿态输出模型识别结果。
尽管上文所提及的描述假设了阈值τ为恒定值，但是，也可以使用所谓的“模拟退火方法”。也就是说，可以为阈值τ使用相对较大的值，以从步骤S21到S24在重复过程的初始阶段粗略地提取内露层。随着重复次数的增大，阈值τ的值逐渐减小。如此，可以准确地提取内露层。
根据上文所提及的描述，重复执行从候选关联的特征点对组中随机选择对组P并将仿射变换参数投射到参数空间上的操作。过程判断以具有最多成员的簇的元素表示的内露层。使用最小平方方法来估计仿射变换参数以判断模型姿态。然而，本发明不仅限于此。例如，优选情况下，可以假设具有最多成员的簇的重心为仿射变换参数来判断模型姿态。
外露层包含在特征量比较部分12中产生的候选关联的特征点对组中。提高那些外露层的比率降低了模型姿态估计部分13选择内露层的的概率。模型姿态的估计要求许多重复，如此增大了计算时间。因此，需要从提供到模型姿态估计部分13的候选关联的特征点对组中尽可能多地排除外露层。为此，如图10所示，根据实施例的图像识别设备1可以允许在特征量比较部分12和模型姿态估计部分13之间有候选关联的特征点对选择部分14(稍后描述)。
作为第一种技术，候选关联的特征点对选择部分14创建估计的旋转角直方图，以选择候选关联的特征点对。下面的描述假设包含模型md的模型图像和包含对象ob1和ob2的对象图像，如图11A所示。特征量比较部分12在模型特征点m和对象特征点o之间产生候选关联的特征点对组P1到P6，如图11A所示。其中，假设P1、P2、P5和P6是内露层，P3和P4是外露层。
在特征量比较部分12中产生的每一个候选关联的特征点对都维护了有关模型的对象图像的估计的旋转角信息。如图11B所示，内露层的估计的旋转角表示诸如40度之类的类似值。另一方面，外露层的估计的旋转角表示诸如110和260度之类的不同的值。当如图11C所示的那样创建估计的旋转角直方图时，由指派给内露层对的估计的旋转角提供其峰值(或具有对应于内露层的估计的旋转角的非常少量的外露层)。
然后，候选关联的特征点对选择部分14从在特征量比较部分12中产生的候选关联的特征点对组中选择具有估计的旋转角的对，以提供估计的旋转角直方图中的峰值。然后，候选关联的特征点对选择部分14向模型姿态估计部分13提供选择的对。如此，可以为模型姿态稳定而准确地估计仿射变换参数。然而，如果模型受到显著的伸展变换，则图像中的点显示不稳定的旋转角。相应地，只有在没有假设任何显著的伸展变换的情况下，此第一种技术才有效。
候选关联的特征点对选择部分14使用通用霍夫变换作为第二种技术来粗略地估计模型姿态。具体来说，候选关联的特征点对选择部分14使用以诸如旋转、放大和缩小比以及线性位移(x和y方向)之类的四个图像变换参数为特征的特征空间(表决空间)，对在特征量比较部分12中产生的候选关联的特征点对组执行通用霍夫变换。最多被表决图像变换参数(最多被表决参数)确定模型的对象图像上的大致估计的模型姿态。另一方面，为最多被表决参数表决的候选关联的特征点对组构成了支持大致估计的模型姿态的内露层(和非常少量的外露层)。
候选关联的特征点对选择部分14给模型姿态估计部分13提供了为最多被表决参数表决的候选关联的特征点对组。如此，可以为模型姿态稳定而准确地估计仿射变换参数。
候选关联的特征点对选择部分14可以将上文所提及的第一和第二技术一起使用。
如上所述，根据实施例的图像识别设备1可以从包含部分地彼此重叠的多个对象的对象图像中检测模型。此外，图像识别设备1可以防止由于视点变化(图像变化包括线性位移、放大和缩小、旋转，伸展)、亮度变化和噪声而产生的图像信息的失真。
图像识别设备1可以安装在如图12所示的机器人设备上。图12中的双足行走机器人设备30是实用机器人，它可以帮助在居住条件下和日常生活中的其他各种情况下的人类活动。机器人设备30还可以娱乐机器人，可以根据内部状态(生气、忧愁、高兴、愉快等等)作出举动，并表示基本的人体运动。
如图12所示，机器人设备30包括头部单元32、左右臂单元33R/L，连接到躯干单元31的指定位置的左右腿单元34R/L。在这些参考符号中，字母R和L是分别表示右和左的下标。上述情况也适用于下面的描述。
图13概要显示了为机器人设备30提供的关节自由度的配置。支撑头部单元102的颈关节具有三个自由度颈关节偏航轴101、颈/关节俯仰轴102，以及颈关节滚动轴103。
构成上肢的每一个臂单元33R/L包括肩关节俯仰轴107；肩关节滚动轴108；上臂偏航轴109；肘关节俯仰轴110；下臂偏航轴111；腕关节俯仰轴112；腕关节滚动轴113；以及手部114。手部分114实际上是包括多个手指的多关节、多自由度的结构。然而，手部分114的操作对机器人设备1的姿态和行走控制具有很小的影响。为简单起见，本说明书假设手部分114具有零自由度。相应地，每一个臂单元具有七个自由度。
躯干单元2具有三个自由度躯干俯仰轴104、躯干滚动轴105以及躯干偏航轴106。
构成下肢的每一个腿单元34R/L包括髋关节偏航轴115、髋关节俯仰轴116、髋关节滚动轴117、膝关节俯仰轴118、踝关节俯仰轴119、踝关节滚动轴120和脚部121。此说明书将髋关节俯仰轴116和髋关节滚动轴117之间的交点定义为机器人设备30的髋关节位置。相当于人的脚部的脚部121是包括多关节、多自由度的脚底的结构。为简单起见，本说明书假设，机器人设备30的脚底具有零个自由度。相应地，每一个腿单元具有六个自由度。
总起来说，机器人设备30作为整体总共具有32个自由度(3+7×2+3+6×2)。然而，用于娱乐的机器人设备30不仅限于具有32个自由度。显然，可以根据设计或生产条件，请求的规范等等，增大或减小自由度，即，关节的数量。
实际上，使用传动器来实现为机器人设备30提供的每一个上文所提及的自由度。最好使用小而轻的传动器，主要是为了消除显然不必要的凸起，以近似于自然人的形状，并为不稳定的双足行走结构提供姿态控制。使用直接连接到齿轮的小的AC伺服传动器则更好，其中，单片伺服控制系统安装在电动机单元中。
图14概要显示了机器人设备30的控制系统配置。如图14所示，控制系统包括推理控制模块200和动态控制模块300。推理控制模块200控制对用户输入等等的动态响应中的感情判定和情绪表达。动态控制模块300控制机器人设备1的整个身体的协调运动，如传动器350的驱动。
推理控制模块200包括CPU(中央处理单元)211，以执行涉及感情判定和情绪表达的计算处理，RAM(随机存取存储器)212、ROM(只读存储器)213、外部存储设备(硬盘驱动器等等)214。推理控制模块200是能够在模块内进行自我完成处理的独立驱动的信息处理单元。
向推理控制模块200提供来自图像输入设备251的图像数据，提供音频输入设备252的音频数据等等。根据这些来自外部的刺激，推理控制模块200判断机器人设备30的当前的情绪或意图。图像输入设备251具有多个CCD(电荷耦合器件)照相机。音频输入设备252具有多个麦克风。
推理控制模块200向动态控制模块300发出指令，以便基于决策执行活动或操作序列，即，肢体的运动。
动态控制模块300包括CPU311，用于控制机器人设备30的整个身体的协调运动，RAM312、ROM313、外部存储设备(硬盘驱动器等等)314。动态控制模块300是能够在模块内进行自我完成处理的独立驱动的信息处理单元。外部存储设备314可以存储离线计算的行走模式、目标ZMP轨道，以及其他操作时间表。ZMP是在行走过程中由于地板反作用力而产生的零力矩的地板表面点。ZMP轨道表示一个轨道，ZMP在机器人设备30的行走操作过程中ZMP沿着该轨道移动。有关ZMP的概念和ZMP对有腿机器人的判断标准的应用，请参阅Miomir Vukobratovic“LE00ED LOCOMOTIONROBOTS”(被Ichiro Kato等人翻译成日语为“Hokou Robotto ToZinkou No Ashi”，The NIKKAN KOGYO SHIMIBUN，LTD)。
动态控制模块300与下列部件连接传动器350，以实现分配给图13所示的机器人设备30的整个身体的每一个自由度；姿态传感器351，以测量躯干单元2的姿态或倾斜；着地确认传感器352和353，以检测左右脚脚底是离开地板还是接触到地板；电源控制器354，以管理诸如电池之类的电源。这些设备通过总线接口(I/F)301连接到动态控制模块300。姿态传感器351包括加速度传感器和陀螺传感器和组合。着地确认传感器352和353包括接近传感器、微型开关等等。
推理控制模块200和动态控制模块300是在通用平台上建立的。两者通过总线接口201和301互相连接。
动态控制模块300通过每一个传动器350控制整个身体的协调运动，以实现从推理控制模块200指示的操作。响应由推理控制模块200指示的操作，CPU311从外部存储设备314检索对应的运动模式。或者，CPU311在内部产生运动模式。根据指定的运动模式，CPU311配置脚部运动、ZMP轨道、躯干运动、上肢运动、腰的水平位置和高度等等。然后，CPU311将命令值传输到传动器350。命令值指定对应于配置内容的运动。
CPU311使用来自姿态传感器351的输出信号，以检测机器人设备30的躯干单元31的姿态或倾斜。此外，CPU311使用来自着地确认传感器352和353的输出信号，以检测每一个腿单元5R/L是空闲还是站着。如此，CPU311可以自适应地控制机器人设备30的整个身体的协调运动。
此外，CPU311还控制机器人设备30的姿态或运动，以便ZMP位置始终面向ZMP稳定区域的中心。
动态控制模块300将处理状态通知给推理控制模块200，即，动态控制模块300根据推理控制模块200作出的决策完成操作达到什么程度。
如此，机器人设备30可以基于控制程序判断其以及周围的情况，并自主地采取行动。
在机器人设备30中，推理控制模块200的ROM213存储了程序(包括数据)，以实现上文所提及的图像识别功能。在此情况下，推理控制模块200的CPU211执行图像识别程序。
由于安装了上文所提及的图像识别功能，机器人设备30可以准确地从通过图像输入设备251提供的图像数据中提取以前存储的模型。当机器人设备30自主地行走时，可能会有这样的情况，其中，计划的模型需要从由图像输入设备251的CCD照像机拍摄的周围的图像检测。在此情况下，模型常常部分地被其他障碍物所隐藏。视点和亮度是可改变的。甚至在这样的情况下，上文所提及的图像识别技术也可以准确地提取模型。
本发明不仅限于上文参考附图所描述的实施例。那些精通本技术的人应该理解，在不偏离所附的权利要求的精神或范围的情况下，可以进行各种修改和替换。
工业实用性根据本发明的上文所提及的图像识别设备，通过只关注梯度方向，而不关注直方图频率的累积梯度强度，产生候选关联的特征点对。不管亮度如何变化，都可以有可靠的特征量匹配。此外，设备可以在考虑到方向直方图形状的情况下执行比较稳定的匹配。此外，还可以获取辅助稳定的特征量(估计的旋转角)。
根据本发明的图像识别设备使用基于特征量相似性产生的候选关联的特征点对检测对象图像上是否存在模型。当存在模型时，该设备估计模型的位置和姿态。此时，该设备不使用最小平方估计来求出确定模型的位置和姿态的仿射变换参数。相反，该设备基于属于这样的簇的仿射变换参数，求出仿射变换参数，其中所述簇在仿射变换参数被投射到其中的参数空间上具有最多的成员。即使候选关联的特征点对包含假的对应点对，也可以稳定地估计模型的位置和姿态。
相应地，其中安装了这样的图像识别设备的机器人设备，可以准确地从输入图像数据中提取已经存储的模型。
权利要求
1.一种图像识别设备，该设备将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较，并从对象图像中提取模型，该设备包括特征点提取装置，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留装置，用于作为特征量提取和保留密度梯度方向直方图，所述密度梯度方向直方图至少从对象图像和模型图像二者的每一个中的特征点的邻近区域中的密度梯度信息获得；特征量比较装置，用于将对象图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计装置，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，特征量比较装置在密度梯度方向巡回地移动要比较的特征点密度梯度方向直方图中的一个，以求出密度梯度方向直方图之间的距离，并通过假设最短距离是密度梯度方向直方图之间的距离来产生候选关联的特征点对。
2.根据权利要求1所述的图像识别设备，其中，特征量保留装置作为特征量提取和保留多个部分区域中的每一个区域的平均密度梯度矢量，其中邻近区域进一步被分为所述多个部分区域，以及特征量比较装置基于要比较的特征点的密度梯度方向直方图之间的距离，并基于在邻近区域中作为每一个部分区域中的平均密度梯度矢量收集的特征矢量之间的相似性，产生候选关联的特征点对。
3.根据权利要求2所述的图像识别设备，其中，特征量比较装置基于要比较的特征点的密度梯度方向直方图之间的距离，并基于特征矢量之间的相似性，产生临时的候选关联的特征点对，从临时的候选关联的特征点对选择候选关联的特征点对。
4.根据权利要求3所述的图像识别设备，其中，特征量比较装置使用相当于给出最短距离的移动量的旋转角，以校正邻近区域中的密度梯度矢量的密度梯度方向，并基于校正的邻近区域中的特征矢量之间的相似性从临时的候选关联的特征点对中选择候选关联的特征点对。
5.根据权利要求1所述的图像识别设备，其中，模型姿态估计装置反复地将从三个随机选择的候选关联的特征点对确定的仿射变换参数投射到参数空间上，并基于属于这样一个簇的仿射变换参数，求出仿射变换参数以确定模型的位置和姿态，其中所述簇在参数空间上所形成的簇中具有最多的成员。
6.根据权利要求5所述的图像识别设备，其中，模型姿态估计装置假设具有最多成员的簇的重心是仿射变换参数以确定模型的位置和姿态。
7.根据权利要求5所述的图像识别设备，其中，模型姿态估计装置假设给出属于具有最多成员的簇的仿射变换参数的候选关联的特征点对是真正的候选关联的特征点对，并使用真正的候选关联的特征点对进行最小平方估计以求出用于确定模型的位置和姿态的仿射变换参数。
8.根据权利要求1所述的图像识别设备，进一步包括候选关联的特征点对选择装置，用于关于相当于给出最短距离的移动量的旋转角创建旋转角直方图，并从由特征量比较装置所产生的候选关联的特征点对选择给出旋转角直方图中的峰值的旋转角的候选关联的特征点对，其中，模型姿态估计装置使用由候选关联的特征点对选择装置选择的候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态。
9.根据权利要求1所述的图像识别设备，进一步包括候选关联的特征点对选择装置，用于对由特征量比较装置产生的候选关联的特征点对执行通用霍夫变换，假设旋转角、放大和缩小比以及水平和垂直线性位移为参数空间，并从由特征量比较装置产生的候选关联的特征点对中选择为最多被表决参数而表决的候选关联的特征点对，其中，模型姿态估计装置使用由候选关联的特征点对选择装置选择的候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态。
10.根据权利要求1所述的图像识别设备，其中，特征点提取装置提取具有相应的分辨率的二阶差动滤波器输出图像中的局部最大点或局部最小点作为特征点，即，在通过对对象图像或模型图像反复地应用平滑滤波和缩小重新取样获取的多分辨率金字塔形结构中的指定范围内，不因分辨率的变化而产生位置变化的点。
11.一种图像识别设备，该设备将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较，并从对象图像中提取模型，该设备包括特征点提取装置，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留装置，用于提取和保留每个对象图像和模型图像中的特征点的邻近区域中特征量；特征量比较装置，用于将对象图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计装置，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，模型姿态估计装置反复地将从三个随机选择的候选关联的特征点对确定的仿射变换参数投射到参数空间上，并基于属于这样一个簇的仿射变换参数，求出仿射变换参数以确定模型的位置和姿态，其中所述簇在参数空间上所形成的簇中具有最多的成员。
12.根据权利要求11所述的图像识别设备，其中，模型姿态估计装置假设具有最多成员的簇的重心是仿射变换参数以确定模型的位置和姿态。
13.根据权利要求11所述的图像识别设备，其中，模型姿态估计装置假设给出属于具有最多成员的簇的仿射变换参数的候选关联的特征点对是真正的候选关联的特征点对，并使用真正的候选关联的特征点对进行最小平方估计以求出用于确定模型的位置和姿态的仿射变换参数。
14.根据权利要求11所述的图像识别设备，进一步包括候选关联的特征点对选择装置，用于对由特征量比较装置产生的候选关联的特征点对执行通用霍夫变换，假设旋转角、放大和缩小比以及水平和垂直线性位移为参数空间，并从由特征量比较装置产生的候选关联的特征点对中选择为最多被表决参数而表决的候选关联的特征点对，其中，模型姿态估计装置使用由候选关联的特征点对选择装置选择的候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态。
15.根据权利要求1所述的图像识别设备，其中，特征点提取装置提取具有相应的分辨率的二阶差动滤波器输出图像中的局部最大点或局部最小点作为特征点，即，在通过对对象图像或模型图像反复地应用平滑滤波和缩小重新取样获取的多分辨率金字塔形结构中的指定范围内，不因分辨率的变化而产生位置变化的点。
16.一种图像识别方法，该方法将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较，并从对象图像中提取模型，该方法包括特征点提取步骤，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留步骤，用于作为特征量提取和保留密度梯度方向直方图，所述密度梯度方向直方图至少从对象图像和模型图像二者的每一个中的特征点的邻近区域中的密度梯度信息获得；特征量比较步骤，用于将对象图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计步骤，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，特征量比较步骤在密度梯度方向巡回地移动要比较的特征点密度梯度方向直方图中的一个，以求出密度梯度方向直方图之间的距离，并通过假设最短距离是密度梯度方向直方图之间的距离来产生候选关联的特征点对。
17.一种图像识别方法，该方法将包含多个对象的对象图像与包含要检测的模型的模型图像进行比较，并从对象图像中提取模型，该方法包括特征点提取步骤，用于从对象图像和模型图像二者的每一个中提取特征点；特征量保留步骤，用于提取和保留每个对象图像和模型图像中的特征点的邻近区域中的特征量；特征量比较步骤，用于将对象图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计步骤，用于使用候选关联的特征点对检测对象图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，模型姿态估计步骤反复地将从三个随机选择的候选关联的特征点对确定的仿射变换参数投射到参数空间上，并基于属于这样一个簇的仿射变换参数，求出仿射变换参数以确定模型的位置和姿态，其中所述簇在参数空间上所形成的簇中具有最多的成员。
18.一种自控机器人设备，能够将输入图像与包含要检测的模型的模型图像进行比较，并从输入图像中提取模型，该设备包括图像输入装置，用于获取外部环境的图像，以产生输入图像；特征点提取装置，用于从输入图像和模型图像二者的每一个中提取特征点；特征量保留装置，用于作为特征量提取和保留密度梯度方向直方图，所述密度梯度方向直方图至少从每个输入图像和模型图像中的特征点的邻近区域中的密度梯度信息获得；特征量比较装置，用于将输入图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计装置，用于使用候选关联的特征点对检测输入图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，特征量比较装置在密度梯度方向巡回地移动要比较的特征点密度梯度方向直方图中的一个，以求出密度梯度方向直方图之间的距离，并通过假设最短距离是密度梯度方向直方图之间的距离来产生候选关联的特征点对。
19.一种自控机器人设备，能够将输入图像与包含要检测的模型的模型图像进行比较，并从输入图像中提取模型，该设备包括图像输入装置，用于获取外部环境的图像，以产生输入图像；特征点提取装置，用于从输入图像和模型图像二者的每一个中提取特征点；特征量保留装置，用于提取和保留每个输入图像和模型图像中的特征点的邻近区域中特征量；特征量比较装置，用于将输入图像的每一个特征点与模型图像的每一个特征点进行比较，并产生具有相似的特征量的候选关联的特征点对；以及模型姿态估计装置，用于使用候选关联的特征点对检测输入图像上是否存在模型，并且如果存在，则估计模型的位置和姿态，其中，模型姿态估计装置反复地将从三个随机选择的候选关联的特征点对确定的仿射变换参数投射到参数空间上，并基于属于这样一个簇的仿射变换参数，求出仿射变换参数以确定模型的位置和姿态，其中所述簇在参数空间上所形成的簇中具有最多的成员。
全文摘要
在图像识别设备(1)中，特征点提取部分(10a)和(10b)从模型图像和对象图像中提取特征点。特征量保留部分(11a)和(11b)提取每一个特征点的特征量并将它们与特征点的位置信息一起保留。特征量比较部分(12)将特征量彼此进行比较以计算相似性或相异性，并产生具有比较高的对应可能性的候选关联的特征点。模型姿态估计部分(13)重复将由从候选关联的特征点对组中随机选择的三对确定的仿射变换参数投射到参数空间上的操作。模型姿态估计部分(13)假设在参数空间中形成的具有最多成员的簇中的每一成员是内露层。模型姿态估计部分(13)使用内露层根据最小平方估计求出仿射变换参数，并输出由此仿射变换参数确定的模型姿态。
文档编号B25J5/00GK1698067SQ200480000409
公开日2005年11月16日 申请日期2004年4月22日 优先权日2003年4月28日
发明者铃木洋贵, 佐部浩太郎, 藤田雅博 申请人:索尼株式会社