用于模型调整的系统和方法与流程
本发明总体涉及机器视觉系统，以及更具体地涉及图像中的对象的视觉识别和图像序列中的对象的视觉跟踪。
背景技术
图像中的给定2d对象模版的快速的、鲁棒性的且准确的定位是对于多种计算机视觉且尤其是机器视觉应用的自然先决条件。例如，对于拾取和放置应用，对象识别方法必须确定成像的对象的位置。给出对象的位置连同成像设备的已知几何结构，可以通过在本领域中熟知的方法计算对象的姿态。给出该姿态，机器人可以从例如输送带抓取对象。在对象的视觉跟踪中，对象识别方法必须确定对象在一系列图像中的位置。例如，在基于图像的视觉伺服控制中，可以使用对象位置来控制机器人运动。在交通监测中，对象识别方法必须在视频流或图像序列中检测交通参与者，诸如汽车或行人。
在本领域中已提出了用于确定对象在图像中的位置的多个方法。大多数方法比较一组可能的匹配模型姿态和图像之间的相似性。超出阈值且相对于该相似性测量为局部极大值的位置被选为对象的位置。
根据所使用的相似性测量，实现了抵抗不利成像条件的特定不变性。例如，利用与相似性测量的归一化相关，实现了抵抗模型图像和搜索图像之间的线性灰度值变化的不变性。
本领域中的许多方法通过包括多个模型点的匹配模型表示2d对象模版，例如，基于倒角匹配的方法(borgefors，1988年)、基于豪斯道夫距离(hausdorffdistance)的方法(rucklidge，1997年；kwon等人，2001年)、或基于几何哈希法的方法(lamdan和schwartz，1990年)。模型点可以为一组稀疏的特征点(诸如边缘点或拐角点)、或覆盖2d对象模版的一组稠密的点。通过匹配模型点的子集和图像的相似性确定可能的匹配模型姿态和图像之间的相似性。其它方法使用模型点和方向将模型匹配到图像。方向可以例如用方向矢量或角度来表示。本领域中的使用方向的对象识别方法的常规示例为基于广义霍夫变换的方法(ballard，1981年；ulrich等人，2003年)或基于豪斯道夫距离(hausdorffdistance)的修改的方法(olson和huttenlocher，1997年)。此外，存在使用图像和模型特征的归一化方向的点积作为相似性测量的方法，该相似性测量相对于局部遮挡、混乱、和非线性对比度变化是不变的(ep1193642、ep2081133、ep1394727、ep2048599)。其它方法使用角度来进行匹配，其中，模型点还可以包括其它属性，诸如单独的每点权重(例如us6850646、us7190834、us7016539)。
通常，在所有的姿态参数上的穷举搜索对于大多数实时应用来说在计算方面是非常昂贵的且禁止的。大多数的现有技术方法通过从模型和搜索图像建立图像金字塔(例如参看tanimoto(1981年)或brown(1992年))克服了该速度限制。然后，仅在最高金字塔级别下，针对整个搜索范围评估相似性测量。在较低级别下，仅跟踪有前景的匹配候选者，直到达到最低的金字塔级别。
加速搜索的另一方式是限制模型在搜索图像中可经历的可能变换。将输入点(x,y)t映射到输出点(x′,y′)t的仿射变换可以在几何学上有意义的参数化中来描述
参数描述原始的x轴和y轴按不同比例因子sx和sy的缩放、y轴相对于x轴的斜交变形(即，y轴旋转了角度θ，而x轴保持固定)、两个轴旋转了角度
用于对象识别的最先进的方法假设用于对象定位的恒定模型。尽管一些方法允许模型点的特定变型(例如参看cootes(1995年))，但是在搜索图像中的对象定位之后不调整模型。当定位可改变其外形的对象时，这具有多个缺点。两个常见的计算机视觉和机器视觉应用是将贯穿一系列图像定位对象的视觉跟踪，和可变形对象的定位。在成功定位对象之后的模型的调整改善未来图像中的定位质量。
在视觉跟踪场景中，大多数对象是3d且这些对象贯穿3d世界的运动和旋转通常不是仿射变换，大多数2d对象识别方法假设该仿射变换。待决的问题是如何使基于点的、与局部对象匹配的模型适应比仿射变换或其子集更普通的变换。
技术实现要素：
本发明的目标是提供调整基于点的匹配模型以保证鲁棒的识别(即使对象改变其外观)的一般性方法。
在权利要求书中指定本发明。本发明针对用于调整可用于确定图像中的对象的姿态的匹配模型的方法和装置，其中，该调整基于该对象在图像中的外观。本发明可以还涉及执行和/或实现所描述方法的系统或装置。
本发明提供用于使用对象的匹配模型找到电子图像中的对象以及用于基于原始匹配模型与图像中的检测结果之间的差异调整匹配模型的系统和方法。这类方法例如可以用于在多帧视频序列上跟踪对象，其中，该对象的外观可以随着时间而改变。外观的这类改变可以具有许多原因，诸如对象的变形、照明变化、视点变化等。由于那些变化，尽管原始匹配模型可能为对象在第一帧中的良好表示，但是对于后续帧来说可能不是如此。由于对象的外观的变化并不总是提前知道的，因此该方法的用户可能无法提供表示目标在所有帧上的外观的匹配模型。而是仅可以给出在第一帧中的外观。本发明提供基于在先前帧中的观察动态调整匹配模型的方式。这允许该方法在后续帧中找到该对象，即使其外观已改变。
该方法优选地包括四个主要阶段：匹配阶段、变换阶段、对应搜索阶段、和调整阶段。
在匹配阶段中，给出对象的、包括多个点的匹配模型和包含该对象的电子图像，使用匹配模型确定该对象在电子图像中的姿态。在变换阶段中，使用确定的姿态变换匹配模型，产生变换的模型。在对应搜索阶段中，针对所述变换的模型的至少一个点，确定电子图像中的对应点。在调整阶段中，根据至少一个确定的对应点调整匹配模型。
根据第一方面，本发明提供一种用于调整对象的匹配模型的方法，所述方法包括如下步骤：a)提供所述对象的电子图像；b)提供所述对象的匹配模型，所述匹配模型包括多个点；c)通过使用匹配方法确定所述对象在所述电子图像中的姿态，所述匹配方法使用所述匹配模型；d)根据所述姿态变换所述匹配模型，产生变换的模型；e)针对所述变换的模型的至少一个点确定所述电子图像中的对应点；f)根据至少一个确定的所述对应点调整所述匹配模型。
优选地，在调整阶段中，调整匹配模型的多个点的位置。
优选地，在匹配阶段中，使用匹配模型的多个点确定对象的姿态。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面的特征组合，该匹配模型包括多个点和方向，以及在调整阶段中调整匹配模型包括调整匹配模型的多个点的位置和匹配模型的方向。在优选实施方式中，所述方向通过方向矢量表示。在另一优选实施方式中，方向通过角度表示。在替选实施方式中，方向可以通过离散化方向的位图或角度范围或通过其它手段来表示。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，在匹配阶段中，使用匹配模型的多个点和方向来确定对象的姿态，不管方向如何表示。
当通过方向矢量表示方向时，进一步优选的是，在匹配阶段中，使用匹配模型的多个点和方向矢量，以及计算所述方向矢量的点积以确定对象的姿态。
当在调整阶段中调整匹配模型的多个点的位置时，优选的是将匹配模型的多个模型点的位置设置到对应点的位置。在替选实施方式中，可以将匹配模型的多个模型点的位置设置到作为匹配模型的点的位置和对应点的位置的函数的位置。
当匹配模型包括多个点和方向且在调整阶段中调整匹配模型包括调整匹配模型的多个点的位置和匹配模型的方向时，进一步优选的是，当调整匹配模型的多个点的位置和匹配模型的方向时，将匹配模型的多个模型点的位置和方向设置到对应点的位置和方向。在替选实施方式中，将匹配模型的多个模型点的位置和方向设置到作为匹配模型的点的位置和方向以及对应点的位置和方向的函数的位置和方向。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，以具有至少两次迭代的迭代方式执行匹配阶段、变换阶段、对应搜索阶段和调整阶段，以及其中，从调整阶段形成的调整的匹配模型充当下次迭代的匹配模型。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，对象的匹配模型包括多个模型级且一个模型级包括多个点；在匹配阶段中，创建电子图像的图像金字塔，所述图像金字塔包括多个图像级；通过使用具有较低分辨率的金字塔级所对应的模型级，在该金字塔级上确定对象的姿态；通过使用具有较高分辨率的金字塔级所对应的模型级，在该金字塔级上改进对象的姿态；以及针对每个金字塔和模型级执行变换阶段、对应搜索阶段和调整阶段，在每级上产生调整的匹配模型。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，对象的匹配模型包括多个模型级且一个模型级包括多个点；在匹配阶段中，创建电子图像的图像金字塔，所述图像金字塔包括多个图像级；通过使用具有较低分辨率的金字塔级所对应的模型级，在该金字塔级上确定对象的姿态；通过使用具有较高分辨率的金字塔级所对应的模型级，在该金字塔级上改进对象的姿态；以及在具有较高分辨率的金字塔级上执行变换阶段、对应搜索阶段和调整阶段，在具有所述较高分辨率的模型级上产生调整，以及其中，执行如下附加步骤：将在具有所述较高分辨率的模型级上的调整扩散到具有较低分辨率的模型级，在每级上产生调整的匹配模型。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，基于上文所描述的实施方式中任一者，对应搜索阶段包括在变换的模型的至少一个点的邻域内搜索电子图像中的对应点。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，基于上文所描述的实施方式中任一者，对应搜索阶段包括在变换的模型的至少一个点的邻域内搜索电子图像中的对应点，其中，该邻域通过所述点的方向来确定。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，调整阶段包括根据确定的对应点的子集调整匹配模型。
在另一优选实施方式中，其特征可以可选地与上文提及的第一方面和上文提及的优选实施方式的特征组合，以具有至少两次迭代的迭代方式执行匹配阶段、变换阶段、对应搜索阶段和调整阶段，以及其中，在匹配阶段中，根据在至少一次先前或当前迭代中确定的至少一个对应点调整匹配模型，以及其中，从调整阶段形成的调整的匹配模型充当下次迭代中的输入匹配模型。
附图说明
从结合附图的如下详细描述将更全面地理解本发明，其中：
图1示出匹配模型的点；
图2示出对象的电子图像；
图3示出变换的模型的点；
图4示出在变换的模型的点的邻域内的电子图像中的对应点的确定；
图5示出针对变换的模型中的所有点的电子图像中的对应点；
图6示出在将匹配模型的模型点的位置设置到对应点的位置之后的调整的匹配模型；
图7示出在将匹配模型的模型点的位置设置到作为匹配模型的点的位置和对应点的位置的函数的位置之后的调整的匹配模型(在此，该函数描述线性插值)；
图8示出匹配模型的点和方向；
图9示出变换的模型的点和方向；
图10示出在变换的模型的点的邻域内的电子图像中的对应点的确定，其中通过所述点的方向确定该邻域；
图11示出针对变换的模型中的所有点的电子图像中的对应点和方向；
图12示出在将模型点的位置和方向设置到对应点的位置和方向之后的调整的匹配模型；
图13示出在将模型点的位置和方向设置到作为匹配模型的点的位置和方向以及对应点的位置和方向的函数的位置和方向之后的调整的匹配模型(在此，该函数描述线性插值)。
具体实施方式
所有的如下数据被假定为以电子形式可用的，优选地数字的。所描述的方法和算法被视为电子形式且计算机实现的。
本发明针对用于调整可用于确定图像中的对象的姿态的匹配模型的方法和装置，其中，该调整基于该对象在图像中的外观。
本发明假设提供匹配模型(参看图1)。该匹配模型必须允许通过使用多个可用匹配方法之一来确定电子图像中的对象的姿态。姿态例如可以为图像中的对象的位置(例如行坐标和列坐标)。如果对象可以出现在不同取向上，则姿态包括图像中的对象的取向(例如角度)。此外，如果图像中的对象的比例是未知的，则姿态包括对象比例(例如比例因子)。有时，如果允许对象的纵横比改变，则姿态包括两个不同的比例因子。最后，在一些应用中，姿态可以包含普通仿射变换的参数或者甚至最普通情况下的投影变换的参数。
在本发明的优选实施方式中，匹配模型包括多个模型点101。模型点例如可以描述对象的边界或对象上的纹理或结构的灰度值边缘或彩色边缘。通常从对象的模型图像计算边缘，其中提取灰度值边缘或彩色边缘。为此，可以使用不同的边缘提取方法(例如参看(steger等人，2007年，章节3.7))。在其它应用中，从对象的cad模型提取模型点。在图1中，示出了方形对象的模型点。
此外，本发明假设提供了对象的电子图像201。在本发明的优选实施方式中，利用照相机获取图像。图2示出对象出现在相比于匹配模型不同的取向上的图像。因此，在该具体图示示例中，姿态包含图像中的对象的位置(行、列)和取向(角度)。还注意到，相比于匹配模型，对象的形状在图像中已轻微改变。在本发明的第一步骤中，在图像中确定对象的姿态202。在本发明的优选实施方式中，为了该目的，应用匹配方法，该匹配方法使用模型点来匹配。存在多种可用的匹配方法，这些匹配方法能够基于包括点的匹配模型确定图像中的对象的姿态(steger等人，2007年，章节3.11.5)。一些所选示例为倒角匹配(borgefors，1988年)、豪斯道夫距离((rucklidge，1997年)或(kwon等人，2001年))、和几何哈希(lamdan，1990年)。如果匹配成功，则匹配方法返回图像中的对象的姿态。
在本发明的下一步骤中，根据由匹配方法返回的姿态变换匹配模型(参看图3)。在图示的示例性应用中，通过根据所述姿态将平移和旋转应用到模型点来变换的模型点101，产生变换的模型的点302。出于说明目的，在图3中以及在下面的图中，仅使图像中的对象的边界边缘可视化(301)。在本发明的其它应用中，例如通过应用缩放、仿射变换、或投影变换来变换的模型点，这取决于在图像中允许对象经受哪种变换。
在本发明的下一步骤中，针对变换的模型的点302，确定图像201中的对应点404。在图4中示出了本发明的优选实施方式：针对变换的模型的示例性所选点401，在变换的模型的点401的邻域内搜索图像中的对应点404。在一个优选实施方式中，通过中心处于点401的方形区域402描述该邻域。在替选实施方式中，通过中心处于该点的圆形区域描述该邻域。邻域范围的其它形状和位置是可能的，而不脱离本发明的范围。在本发明的优选实施方式中，在邻域范围内搜索对应点通过计算邻域范围内的图像中的边缘幅度且在邻域范围内选择具有最高边缘幅度的搜索图像中的点来执行。在替选实施方式中，执行非极大值抑制以抑制搜索图像中不具有边缘幅度的局部极大值的点。在替选实施方式中，选择邻域范围中最靠近变换的模型的点且具有超过特定阈值的边缘幅度的点。在另一替选实施方式中，选择邻域范围中示出与变换的模型的点的最高相似性的点，其中，该相似性可以例如通过使用不同的熟知相似性测量之一来测量，这些熟知相似性测量基于几何特征(如果在模型中无灰度值或颜色信息可用)、或基于灰度值或颜色特征(如果模型点包含附加的灰度值或颜色信息)。此外，可以组合不同的相似性测量和标准以确定对应点。
在优选实施方式中，针对变换的模型中的所有点，搜索图像中的对应点。在替选实施方式中，搜索被限制到变换的模型中的点的子集。作为该步骤的结果，多个对应点是可用的。对于变换的模型的一些点，可能无对应点可用，这是因为搜索被限制到变换的模型中的点的子集或因为在邻域范围中可能没有找到对应点，例如因为没有找到边缘幅度超过特定阈值的点或因为没有找到相似性超过特定阈值的点。在图5的图示示例性应用中，针对变换的模型的各个点(例如401、501和503)，显示在图像中找到的对应点(例如分别为404、502和504)。
在本发明的最后步骤中，根据确定的对应点调整匹配模型。为此，通过应用应用于匹配模型以获得变换的模型的变换的逆变换来将对应点变换回到匹配模型的坐标系统。在图6和图7中使变换回的对应点可视化(例如601、701)。为了调整匹配模型，在本发明的优选实施方式中，将模型中的点设置到其(变换回的)对应点的位置。在图6中使调整的匹配模型中形成的点可视化(例如602)。在本发明的另一优选实施方式中，将模型中的点设置到作为匹配模型的一个或多个点的位置和一个或多个(变换回的)对应点的位置的函数的位置。在图7中使调整的匹配模型中形成的点可视化(例如702)。在优选实施方式中，所述函数线性地插入模型点的位置和(变换回的)对应点的位置。利用插值因子(其为在0与1之间的浮动值)，可以控制模型调整的程度。对于为0的插值因子，不执行模型调整。对于为1的插值因子，将模型中的点设置到其(变换回的)对应点的位置。对于为0.5的插值因子，例如将模型中的点设置到原始模型点的位置与(变换回的)对应点的位置的中心。可以替选地应用其它插值函数而不脱离本发明的范围。
在本发明的替选实施方式中，仅使用匹配模型的点的子集和对应点的子集来计算点在调整的匹配模型中的位置。例如，可以使用匹配模型的点的子集和对应点的子集来计算翘曲函数的参数，其中，该翘曲函数的输入为匹配模型的点的位置且输出为该点在调整的匹配模型中的位置。可以使用翘曲函数来计算所有点或点的子集在调整的匹配模型中的位置。
在本发明的另一优选实施方式中，匹配模型包括多个模型点801和方向802。方向可以通过例如方向矢量、归一化方向矢量、或角度来表示。通常从对象的模型图像计算方向，其中提取灰度值边缘或彩色边缘。然后从提取的边缘的边缘或梯度方向获得该方向。为此，可以使用允许直接计算边缘或梯度方向的不同边缘提取方法(例如参看(steger等人，2007年，章节3.7))。可替选地，可以使用不允许这类计算的边缘提取方法。在该情况下，通过连接相邻边缘点，可以在后处理步骤中计算边缘或梯度方向。连接的边缘点限定边缘方向。在其它应用中，从对象的cad模型提取模型点。在该情况下，也可以从cad模型计算方向。为此，从存储在cad模型中的轮廓的方向获得该方向。在图8中示出的示例性应用中，方向通过归一化梯度矢量802表示。
在本发明的另一优选实施方式中，用于确定图像201中的对象301的姿态的匹配方法使用模型点和方向来匹配。存在多种可用的匹配方法，这些匹配方法能够基于包括点和方向的匹配模型确定图像中的对象的姿态(steger等人，2007年，章节3.11.5)。一些所选示例为广义霍夫变换(houghtransform)(ballard，1981年；ulrich，2003年)、允许将方向考虑在内的豪斯道夫距离(hausdorffdistance)的修改(olson和huttenlocher，1997年)、基于方向矢量的点积的方法(ep1193642、ep1394727、ep2081133、ep2048599)、以及如在us6850646、us7190834和us7016539中所描述的使用角度来匹配的方法。如果匹配成功，则匹配方法返回图像中的对象的姿态。
在本发明的下一步骤中，根据由匹配方法返回的姿态变换包含点和方向的匹配模型(参看图9)。在图示的示例性应用中，通过根据所述姿态将平移和旋转应用到匹配模型的点801和方向802来变换所述点和方向，产生变换的模型的点302和方向901。在本发明的其它应用中，通过应用缩放、仿射变换、或投影变换来变换点和方向，例如，这取决于在图像中允许对象执行哪种变换。
在本发明的下一步骤中，针对包含点和方向的变换的模型的点1001，确定图像201中的对应点。在本发明的一个实施方式中，如上所述且如图4所示，执行对应点的确定：针对变换的模型的示例性所选点401，在变换的模型的点401的邻域内搜索图像中的对应点。在一个优选实施方式中，通过中心处于该点的方形区域404描述该邻域。在替选实施方式中，通过中心处于该点的圆形区域描述该邻域。邻域范围的其它形状和位置是可能的，而不脱离本发明的范围。在本发明的优选实施方式中，在邻域范围内搜索对应点通过计算邻域范围内的图像中的边缘幅度且在邻域范围内选择具有最高边缘幅度的搜索图像中的点来执行。在替选实施方式中，执行非极大值抑制以抑制搜索图像中不具有边缘幅度的局部极大值的点。在替选实施方式中，选择邻域范围中最靠近变换的模型的点且具有超过特定阈值的边缘幅度的点。在另一替选实施方式中，选择邻域范围中示出与变换的模型的点的最高相似性的点，其中，该相似性可以通过使用不同的熟知相似性测量之一来测量，这些熟知相似性测量基于几何特征(如果在模型中无灰度值或颜色信息可用)、或基于灰度值或颜色特征(如果模型点包含附加的灰度值或颜色信息)。如果匹配模型包含方向，则可以通过使用在例如ep1193642、ep1394727、ep2081133、ep2048599中所描述的方法之一来使用方向计算相似性。为此，在搜索图像中的邻域范围中计算方向。此外，可以组合不同的相似性测量和标准以确定对应点。
在图10中所示的替选实施方式中，使用变换的模型中的点1001的位置和方向1002来计算邻域范围1003。在一个优选实施方式中，通过中心处于变换的模型中的点1001且具有由变换的模型中的方向1002确定的取向的矩形区域1003描述该邻域。在替选实施方式中，通过中心处于点1001且具有由变换的模型中的方向1002确定的取向的椭圆形区域描述该邻域。邻域范围的其它形状和位置是可能的，而不脱离本发明的范围。
通过使用上文所描述的方法之一来执行在邻域范围1003内搜索对应点1004。因此，针对变换的模型中的点1001，获得对应点1004。如果匹配模型包含点和方向，则针对点1001及其方向1002，获得对应点1004及其方向1005。
在另一优选实施方式中，针对变换的模型中的所有点和方向，搜索图像中的对应点和方向。在替选实施方式中，搜索被限制到变换的模型中的点的子集。作为该步骤的结果，多个对应点和方向是可用的。对于变换的模型的一些点，可能无对应点可用，这是因为搜索被限制到变换的模型中的点的子集或因为在邻域范围中可能没有找到对应点，例如因为没有找到边缘幅度超过特定阈值的点或因为没有找到相似性超过特定阈值的点。如果模型包含方向，则例如可以比较变换的模型点的方向和图像中的潜在对应点的方向。如果这两个方向相差太多，则该潜在对应点被拒绝且不被接收作为对应点。在图11的图示示例性应用中，针对变换的模型的各个点(例如1001和1106)和方向(例如1002和1107)，显示在图像中找到的对应点(例如分别为1004和1108)和对应方向(例如分别为1005和1109)。
在本发明的最后步骤中，根据确定的对应点和方向调整包含点和方向的匹配模型。为此，通过应用应用于匹配模型以获得变换的模型的变换的逆变换来将对应点和方向变换回到匹配模型的坐标系统。在图12和图13中使变换回的对应点(例如1004)和方向(例如1005)可视化。为了调整匹配模型，在本发明的优选实施方式中，将匹配模型的点设置到其(变换回的)对应点的位置以及将匹配模型的方向设置到对应点的(变换回的)方向。在图12中使调整的匹配模型中形成的点(例如1201)和方向(例如1202)可视化。
在本发明的另一优选实施方式中，将模型中的点设置到作为匹配模型的一个或多个点的位置和一个或多个(变换回的)对应点的位置的函数的位置。此外，将模型中的方向设置到作为匹配模型的一个或多个点的方向和一个或多个(变换回的)对应方向的方向的函数的方向。在图13中使调整的匹配模型中形成的点(例如1301)和方向(例如1302)可视化。在优选实施方式中，所述函数线性地插入模型点的位置和方向以及(变换回的)对应点的位置和方向。利用插值因子(其为在0与1之间的浮动值)，可以控制模型调整的程度。对于为0的插值因子，不执行模型调整。对于为1的插值因子，将模型中的点和方向设置到其(变换回的)对应点的位置和方向。对于为0.5的插值因子，例如将模型中的点设置到原始模型点的位置与(变换回的)对应点的位置的中心，同时将模型中的点设置到原始模型方向与(变换回的)对应点的方向的平均方向。可以替选地应用其它插值函数而不脱离本发明的范围。
在本发明的替选实施方式中，仅使用匹配模型的点和方向的子集以及对应点和方向的子集来计算点在调整的匹配模型中的位置和方向。例如，可以使用匹配模型的点和方向的子集以及对应点和方向的子集来计算两个翘曲函数的参数，一个翘曲函数用于位置，一个翘曲函数用于方向。第一翘曲函数的输入为匹配模型的点的位置且输出为该点在调整的匹配模型中的位置。第二翘曲函数的输入为匹配模型的点的方向且输出为该点在调整的匹配模型中的方向。可替选地，可以使用单个函数，其中，该函数的输入为匹配模型的点的位置和方向且输出为该点在调整的匹配模型中的位置和方向。可以使用翘曲函数来计算所有点或点的子集在调整的匹配模型中的位置和方向。
在本发明的优选实施方式中，使用调整的匹配模型来确定后续图像中的对象的姿态。调整的匹配模型也可以在模型调整的二次迭代中充当输入匹配模型。因此，在一个实施方式中，基于后续图像且通过使用上文所描述的方法之一来再次调整匹配模型。在替选实施方式中，不在确定了对象的姿态的每个图像中调整匹配模型，而是仅在每两个或三个图像中调整，诸如此类。在另一替选实施方式中，在经过了特定时间段之后调整模型。在另一替选实施方式中，如果满足特定标准，例如如果匹配方法返回对于匹配的质量测量且该质量测量落在特定阈值之下，则调整匹配模型。
在本发明的另一替选实施方式中，匹配方法使用多分辨率方法来加速对于图像中的对象的搜索。多分辨率方法的一个熟知实现为创建输入图像的图像金字塔，该图像金字塔包括多个图像级，在越高级上的图像分辨率越小。在该情况下，匹配模型包括多个模型级且每个模型级包括多个点或多个点和方向。较高模型级表示分辨率较低的对象。确定对象的姿态通常通过如下方式执行：通过使用较高图像级的分辨率所对应的模型级，在较高金字塔级上执行匹配，产生匹配候选者的姿态。然后，通过使用较低图像级的分辨率所对应的模型级，在较低金字塔级(具有较高分辨率)上改进匹配候选者的姿态。在本发明的一个实施方式中，在每个金字塔级上且因此单独针对每个模型级执行模型调整。因此，上文所描述的用于调整模型的方法被应用于每个模型级。在本发明的替选实施方式中，仅在最低金字塔级(具有最高分辨率)上执行如上所述的模型调整。因此，仅调整具有最高分辨率的模型级。因此，在后续步骤中将具有最高分辨率的模型级的调整扩展到具有较低分辨率的模型级。为了将模型调整扩展到不同分辨率级，例如可以使用如在ep2081133中所描述的插值函数。
在一些应用中，只有模型调整在多个后续图像上是一致的，才期望应用该模型调整。这增大了通信中对噪声和异常值的鲁棒性。因此，在本发明的替选实施方式中，调整的匹配模型在模型调整的多次后续迭代中充当输入匹配模型。然而，只有潜在调整在多个图像上一致时才调整匹配模型。例如，如果发现模型点的对应点在至少两个连续图像中向右偏移，则仅将模型点向右偏移。
尽管在附图和如上说明书中详细示出和描述了本发明，但是这类图示和描述将被视为说明性的或示例性的而非限制性的。将理解，普通技术人员可以在所附权利要求书的范围内进行改变和修改。特别地，本发明覆盖具有来自上文和下文所描述的不同实施方式的特征的任何组合的其它实施方式。换言之，尽管已经详细描述了本发明的多个特定实施方式，但是可以进行对优选实施方式的各种修改而不脱离本发明的精神和范围。因此，以上描述不意图限制本发明，除了如在所附权利要求书中所指示。
此外，在权利要求书中，词“包括”不排除其它元件或步骤，以及不定冠词“一”不排除复数。单一单元可以满足在权利要求书中所列的多个特征的功能。权利要求书中的任何参考标记不被理解为限制范围。
参考文献
在说明书中引用的专利文件
·ep1193642:systemandmethodforobjectrecognition
·ep1394727:hierarchicalcomponent-basedobjectrecognition
·ep2081133:systemandmethodfordeformableobjectrecognition
·ep2048599:systemandmethodfor3dobjectrecognition
·us6850646:fasthigh-accuracymulti-dimensionalpatterninspection
·us7190834:methodsforfindingandcharacterizingadeformedpatterninanimage
·us7016539:methodforfast,robust,multi-dimensionalpatternrecognition在说明书中引用的非专利文献
·d.h.ballard:generalizingthehoughtransformtodetectarbitraryshapes.patternrecognition,13(2):111-122,1981。
·g.borgefors:hierarchicalchamfermatching:aparametricedgematchingalgorithm.ieeetransactionsonpatternanalysisandmachineintelligence,10(6):849-865,1988年11月。
·brown,lisagottesfeld."asurveyofimageregistrationtechniques."acmcomputingsurveys(csur)24(4):325-376(1992)。
·cootes,timothyf.等人"activeshapemodels-theirtrainingandapplication."computervisionandimageunderstanding61.1(1995):38-59。
·o.-k.kwon,d.-g.sim,r.-h.park:robusthausdorffdistancematchingalgorithmsusingpyramidalstructures.patternrecognition,34:2005-2013,2001。
·y.lamdan,j.t.schwartz,h.j.wolfson:affineinvariantmodel-basedobjectrecognition.ieeetransactionsonroboticsandautomation,6(5):578-589,1990年10月。
·o.f.olson,d.p.huttenlocher:automatictargetrecognitionbymatchingorientededgepixels.ieeetransactionsonimageprocessing,6(1):103-113,1997年1月。
·w.j.rucklidge:efficientlylocatingobjectsusingthehausdorffdistance.internationaljournalofcomputervision,24(3):251-270,1997。
·tanimoto,stevenl."templatematchinginpyramids."computergraphicsandimageprocessing16.4(1981):356-369。
·m.ulrich,c.steger,anda.baumgartner:real-timeobjectrecognitionusingamodifiedgeneralizedhoughtransform,patternrecognition,36(11):2557-2570,2003。
·carstensteger,markusulrich,christianwiedemann:machinevisionalgorithmsandapplications.wiley-vch,weinheim,2007。
- 还没有人留言评论。精彩留言会获得点赞！