通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配的制作方法

专利名称：通过使查询图像和模型图像中的检测到的关键点成群集而进行特征匹配的制作方法
技术领域：
一个特征涉及计算机视觉，且更特定来说，涉及用于改善图像辨识技术的性能、效率且降低其计算复杂性的方法和技术。
背景技术：
各种应用可得益于具有能够识别视觉表示(例如，图像或图片)中的对象的机器或处理器。计算机视觉领域尝试提供准许识别图像中的对象或特征的技术和/或算法，其中对象或特征可通过识别一个或一个以上关键点的描述符来表征。这些技术和/或算法常常也适用于面部辨识、对象检测、图像匹配、3维结构构造、立体对应关系和/或运动跟踪，以及其它应用。大体上，对象或特征辨识可涉及识别图像中的关注点(也称为关键点)以用于特征识别、图像检索和/或对象辨识的目的。优选地，可选择关键点且处理其周围的小块，以使得所述关键点对图像尺度改变和/或旋转来说不变，且提供在一大范围上的失真、观看点改变和/或噪声和照度改变上的稳健匹配。此外，为了良好地适用于例如图像检索和对象辨识等任务，特征描述符可优选地在如下意义上有所不同可对照来自多个目标图像的特征的大数据库以高概率正确地匹配单个特征。在检测和定位图像中的关键点之后，可通过使用各种描述符来识别或描述所述关键点。举例来说，描述符可表示图像中的内容的视觉特征，例如形状、色彩、纹理和/或旋转，以及其它图像特性。随后将对应于关键点且由描述符表示的个别特征匹配于来自己知对象的特征的数据库。因此，可将对应关系搜索系统分离为三个模块关键点检测器、特征描述符和对应关系定位器。在这三个逻辑模块中，描述符的构造复杂性和维数对特征匹配系统的性能具有直接且显著的影响。此些特征描述符逐渐应用于实时对象辨识、3D重构、全景缝合、机器人绘图、视频跟踪和类似任务。取决于应用，特征描述符(或等效物)的传输和/或存储可限制对象检测的计算速度和/或图像数据库的大小。在移动装置(例如，相机电话、移动电话等)或分布式相机网络的情形中，在节点之间传输信息(例如，包含图像和/或图像描述符)的过程中可能花费大量的通信和电力资源。因此，特征描述符压缩对于存储、等待时间和传输的减少来说是重要的。计算机视觉和/或图像俘获实施方案往往是处理密集的。对象辨识常常受到不精确的特征匹配过程的妨碍，不精确的特征匹配过程因仿射变换和其它失真而加剧，从而导致减少的正确肯定(辨识)和增加的错误肯定(降低的精度)。在例如对象辨识系统的分类器级、宽基线立体匹配和姿势估计等计算机视觉领域中，重要的步骤是使用受污染数据对正确模型的拟合。基本假设是数据由“内围层(inlier)”和“外露层(outlier) ”组成，内围层即分布可通过模型参数的某个集合来解释的数据(或点)，外露层是不与模型拟合的数据。常常在对象辨识系统中的匹配过程之后强加几何一致性或验证来抑制外露层，但计算成本较高且常常阻碍对象辨识系统的实时操作。数据拟合模型的参数可能用于例如估计立体匹配或投影变换中的基本矩阵，以用于对象辨识中的外露层抑制和图像缝合中的外露层抑制。举例来说，随机样本一致性(RANSAC)是一种数据拟合模型，其广泛用以与受污染数据一起工作，且通过对来自数据的点集合随机取样以估计模型参数并迭代地验证所有数据以确定拟合来工作。然而，随着内围层与外露层的比率下降，RANSAC算法以指数方式变得较慢(即，较慢的收敛速率)。因此，需要改善几何验证技术的缓慢收敛速率和/或消除对几何验证的需要。

发明内容
下文呈现一个或一个以上实施例的简化概述，以便提供对一些实施例的基本理解。此概述不是所有预期实施例的广泛概览，且既定不识别所有实施例的关键或重要元件，也不勾勒出任一或所有实施例的范围。其唯一目的是以简化形式呈现一个或一个以上实施例的一些概念，作为稍后呈现的更详细描述的序言。提供各种特征以用于改善图像辨识系统中的特征匹配。根据第一方面，可通过将关键点在空间上约束到群集中来增加内围层与外露层关键点比率。针对查询图像的图像获得多个关键点。关键点可为查询图像的尺度空间中的局部最大值像素或局部最小值像素。举例来说，可在对应于查询图像的模糊版本的多个尺度空间上确认关键点。在一些实例中，可通过用于关键点匹配的描述符来表示关键点。随后基于(例如，所述多个关键点的)关键点分布来针对查询图像界定关键点群集集合。可基于以下各者中的至少一者来使关键点成群集(a)在查询图像的尺度空间上所述关键点的空间位置，或(b)所述尺度空间中检测所述关键点的尺度层级。随后可通过将查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配。锚匹配可为超过阈值与一个或一个以上目标图像中的关键点匹配的关键点匹配。可选择所述阈值以便排除外露层匹配，其中外露层匹配是错误肯定得关键点匹配。另外，可强加尺度层级优先级，使得锚匹配是针对查询图像中在所述查询图像的尺度空间层级的选定子集内出现的关键点的关键点匹配。锚匹配可指代至少部分地基于查询图像的关键点子集中的每一者周围的局部像素信息而匹配的那些关键点匹配。所述局部像素信息可包含像素梯度、像素色彩、群集形状或关键点分布中的至少一者。即使在锚匹配之后，也可在所述查询关键点群集中的关键点至少部分地匹配于所述目标关键点群集中的关键点的情况下保持所述关键点。然而，可在来自所述查询关键点群集的关键点未匹配或匹配于除所述目标关键点群集外的群集中的关键点的情况下从所述查询关键点群集排除所述关键点。
在一个实例中，建立锚匹配可包含(a)将所述查询图像中的关键点匹配于所述目标图像中的关键点；和/或(b)保持所述查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应关键点群集排除的后续二进制确定。随后，基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集。应注意，低于阈值的关键点匹配可视为部分匹配。对于这些部分匹配，在已将所述查询关键点群集匹配于所述目标关键点群集之后，可基于二进制决策来在群集中保持所述查询关键点群集中的关键点。针对所述查询关键点群集中的关键点的所述二进制决策可基于是否针对所述关键点已发现部分匹配且所述匹配是否在所述目标关键点群集内。根据第二特征，作为使用图像中的所有检测到的特征用于特征匹配的替代，可基于群集密度和/或检测关键点的尺度层级来精减所述关键点。举例来说，落在高密度群集内的关键点可优于落在较低密度群集内的特征来用于特征匹配的目的。在一个实例中，在多个图像尺度空间上获得查询图像的关键点。随后，可通过如下方式来减少所述查询图像的关键点数目(a)从所述关键点群集集合精减一个或一个以上较低密度群集，和/或(b) 从所述关键点群集集合中的所述群集中的至少一些群集精减在所述查询图像的尺度空间的较低层级处检测到的关键点。为此目的，可获得所述关键点群集集合中的群集中的每一者的关键点密度。随后，可针对查询图像产生所述减少数目的关键点的描述符。可在产生描述符之前丢弃所述经精减的关键点和/或群集。随后可将所述减少数目的关键点的描述符传输到特征匹配装置以将所述查询图像或所述查询图像中的对象匹配于目标图像。根据第三特征，可基于图像的尺度空间上的特征分布来执行图像缩放以估计图像大小/分辨率，其中使用在不同尺度下的关键点分布中的峰值来跟踪支配性图像尺度且大致跟踪对象大小。可在查询图像的多个尺度空间上获得关键点分布。随后可基于所述关键点分布来估计查询图像的尺度。可根据所述尺度空间上的关键点的所述分布来估计所述图像尺度，使得截止尺度保留直到所述截止尺度的所述空间尺度内的阈值百分比的关键点。随后可基于所述估计的查询图像尺度来选择用于使关键点成群集的核心大小。随后可利用所述查询图像在所述选定核心大小下的模糊版本来执行关键点成群集。类似地，提供一种特征匹配装置，其包括存储装置和处理电路。存储装置可存储多个目标图像的信息。处理电路可适于(a)获得查询图像的多个关键点，(b)基于关键点分布而界定所述查询图像的关键点群集集合，(C)通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配，和/或(d)基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集。


通过结合图式进行的下文陈述的详细描述，各种特征、性质和优点可变得显而易见，在图式中，相同的参考符号在全部图式中进行对应地识别。图I是说明用于对所查询图像执行对象辨识的功能阶段的方框图。图2说明示范性图像俘获阶段。图3说明示范性图像处理阶段中的尺度空间产生。图4说明示范性图像处理阶段中的特征检测。
图5说明示范性图像处理阶段中的特征描述符提取。图6说明示范性图像比较阶段中的特征匹配。图7说明所查询图像内的关键点群集。图8(包括图8A和SB)说明如何通过使用关键点群集来改善内围层与外露层比率。图9说明根据图8的方法的查询群集与目标群集之间的关键点匹配的实例。图10是说明用于使用成群集执行关键点匹配的方法的流程图。 图11(包括图IlA和11B)说明锚点匹配、群集对应关系和二进制关键点匹配的实例。图12是说明图11的结果的进一步细节的表。图13是说明逐群集匹配优于逐关键点匹配的改进的框图。图14说明高分辨率图像的关键点分布的实例。图15说明低分辨率图像的关键点分布的实例。图16说明用于图像的核心缩放的方法，其促进执行群集对应关系。图17说明基于关键点密度的群集精减。图18是用于通过基于关键点密度精减关键点群集来减少查询图像的关键点的方法。图19说明基于关键点尺度的关键点精减的方法。图20是用于通过基于关键点密度精减关键点群集来减少查询图像的关键点的方法。图21是说明图像匹配装置的实例的框图。图22是说明适于执行图像处理以用于图像或对象辨识的示范性移动装置的框图。图23 (包括图23A、23B和23C)是说明作为对象辨识过程的部分的用于图像缩放、特征精减和/或空间上受约束特征匹配的方法的流程图。
具体实施例方式现在参考图式描述各种实施例，其中相同的参考数字用于在全部图式中指代相同的元件。在以下描述中，出于解释的目的，阐述许多特定细节以便提供对一个或一个以上实施例的彻底理解。然而，可显而易见，可在无这些特定细节的情况下实践此类实施例。在其它例子中，以框图形式展示众所周知的结构和装置以便促进描述一个或一个以上实施例。概述本文中所描述的各种特征涉及改进图像辨识的速度和/或效率。根据第一方面，查询图像中的关键点被分组为群集。来自查询群集的关键点基于高对应关系阈值而匹配于目标群集。满足阈值(或更好)的查询关键点是全匹配且被视为锚点。满足阈值但却具有对应的目标关键点的查询关键点是部分匹配。查询群集与目标群集之间的对应关系随后基于锚点而建立。在对应目标群集内具有部分匹配的额外关键点被带入查询群集中。在查询群集中忽略所有其它查询关键点(未匹配的关键点或匹配于不同的目标群集)。因为部分匹配的关键点是作为二进制决策而被带入(不是如锚点匹配中的阈值/概率决策)，所以即使存在空间上重复的结构，也接受所有可能的内围层关键点。根据第二方面，基于在图像的尺度空间金字塔(例如，高斯尺度空间)的不同尺度下观测到的关键点分布来大致估计图像的分辨率。在不同尺度下的关键点分布中的峰值可用于跟踪支配性图像尺度并大致跟踪对象大小。此观测用于取得对对象大小的估计并使核心大小半径R与其成比例。具体来说，通过最小尺度层级来选择对象大小，所述最小尺度层级包含在此或更小(更低)的尺度下检测到的所有关键点的某一阈值百分比。如果大百分比的关键点位于尺度空间金字塔的较高尺度处或在各尺度上均匀地展开，则此指示图像具有高分辨率。否则，如果关键点集中于较低尺度，则此指示图像具有低分辨率。根据第三方面，关键点的数目可经精减以减少在特征匹配阶段期间的计算复杂性。精减/减少关键点的两种方法包含(a)基于群集密度精减关键点以及(b)基于检测尺度精减关键点。根据第一种方法，为了减少用于查询图像与目标图像之间的匹配的关键点群集，选择具有较高关键点密度的关键点群集，而在后续的特征匹配期间精减或忽略剩余的关键点群集(即，较低的关键点密度)。根据第二种方法，在较高尺度(较低的分辨率) 下检测到的关键点被保留且在较低尺度(较高的分辨率)下的关键点被精减或忽略以用于特征匹配的目的。示范性对象辨识过程图I是说明用于对所查询图像执行对象辨识的功能阶段的方框图。在图像俘获阶段102处，可俘获所关注的图像108 (即，所查询图像)。在图像处理阶段104中，随后通过产生对应的尺度空间110 (例如，高斯尺度空间)、执行特征检测112并执行特征描述符提取116来处理所俘获的图像108。特征检测112可识别所俘获图像108的高度不同的关键点和/或几何关注的关键点，其可随后用于特征描述符提取116中以获得多个描述符。在图像比较阶段106处，这些描述符用于与已知描述符的数据库执行特征匹配122(例如，通过比较关键点和/或关键点或围绕关键点的小块的其它特性)。随后对关键点匹配执行几何验证或一致性检查124以确认正确的特征匹配并提供匹配结果126。以此方式，可将所查询图像与目标图像的数据库进行比较，和/或从目标图像的数据库识别所查询图像。根据第一方面，图像缩放114可基于尺度空间上的特征密度或分布以估计图像大小/分辨率。在不同尺度下的关键点分布中的峰值用于跟踪支配性图像尺度并大致跟踪对象大小。如果大百分比的关键点位于尺度空间金字塔(例如，高斯尺度空间金字塔)的较高尺度或在各尺度上均匀地展开，则此指示图像具有高分辨率。否则，如果关键点集中于较低尺度，则此指示图像具有低分辨率。这允许选择与所述所估计的图像大小成比例的核心大小半径R。举例来说，通过最小尺度层级来选择对象大小，所述最小尺度层级包含在此或更小(更低)的尺度下检测到的所有关键点的某一阈值百分比。根据第二方面，可执行特征精减118以减小需要处理和/或匹配的特征的数目。作为使用所有检测到的特征来用于特征匹配的替代，基于群集密度和/或检测其的尺度来精减特征(即，关键点)。即，为了特征匹配的目的，落入高密度群集内的特征可优于落入较低密度群集内的特征。根据第三方面，可执行空间上受约束的特征匹配120。为了增加内围层与外露层关键点比率并减少或避免对查询图像的几何一致性检查，查询图像与目标图像之间的关键点匹配可基于关键点成群集。可通过将附近的关键点分组在一起来界定群集。随后，在查询图像与一个或一个以上目标图像之间执行关键点匹配(以高阈值)。发现全匹配(高于阈值的匹配)的关键点被视为锚点。查询图像群集和目标图像群集可基于所匹配的锚点而匹配。随后可执行二进制关键点匹配，其中(通过对应的锚点)先前在选定的目标图像群集内发现部分匹配(低于阈值的匹配)的关键点中的任一者被包含作为群集的部分。出于图像辨识的目的，从查询群集排除未匹配的关键点和/或错误匹配的关键点。图2说明示范性图像俘获阶段102。此处，可通过图像俘获装置202俘获图像108以获得数字的所俘获图像208，图像俘获装置202可包含一个或一个以上图像传感器204和/或模/数转换器。图像传感器204(例如，电荷耦合装置(CCD)、互补金属半导体(CMOS))可将光转换为电子。电子可形成模拟信号，所述模拟信号随后被模/数转换器206转换为数字值。以此方式，可以数字格式俘获图像108，其可例如将图像I (X，y)界定为具有对应的色彩、照度和/或其它特性的多个像素。图3说明示范性图像处理阶段104中的尺度空间产生。已开发出许多算法(例如，尺度不变特征变换(SIFT))来执行图像中的特征检测。针对图像中的特定对象的检测的第一步骤是基于其局部特征对所查询对象进行分类。目标是识别并选择对于例如照度、图像 噪声、旋转、缩放和/或观看点的小改变是不变和/或稳健的特征。即，不论两个图像之间在照度、图像噪声、旋转、尺度和/或观看点上的差异，也应找到查询图像与比较目标图像之间的匹配。这样做的一种方式是对图像的小块执行极值检测(例如，局部最大值或最小值)，以识别高度不同的特征(例如，图像中的不同点、像素和/或区)。SIFT是用于检测并提取局部特征的一种方法，所述局部特征对于照度、图像噪声、旋转、缩放上的改变和/或观看点中的小改变适度不变。用于SIFT的图像处理阶段104可包含(a)尺度空间极值检测，(b)关键点定位，(c)定向指派，和/或(d)关键点描述符的产生。应清楚，用于特征检测及后续的特征描述符产生的替代性算法(尤其包含加速稳健特征(SURF)、梯度位置和定向直方图(GLOH)、基于局部能量的形状直方图(LESH)、经压缩的梯度直方图(CHoG))也可受益于本文中所描述的特征。在尺度空间产生110中，数字图像I(x，y)208(图2)逐渐被模糊或平滑以构建尺度空间金字塔302。模糊(平滑)一般涉及在尺度C。下使原始图像I(x，y)与模糊/平滑函数G(x，y, co)进行卷积，使得被模糊/平滑的图像L(x，y, co)被界定为L(x，y，c σ )=G(x,y,c σ )*I (x,y)。此处,模糊/平滑函数G是空间滤波器核心(例如，高斯或高斯的拉普拉斯算子，及其它)，c σ表示用于模糊图像I (X，y)的模糊/平滑函数G的标准偏差。随着乘数c变化(Ctl < C1 < C2 < C3 < C4)，标准偏差c σ变化，且获得逐渐的模糊/平滑。西格玛σ是基础尺度变量(实质上是高斯核心的宽度)。当初始图像I(x，y)递增地与模糊/平滑函数G卷积以产生模糊的图像L时，模糊的图像L被尺度空间中的恒定因子c分离。随着模糊的(平滑的)图像L的数目增加且为尺度空间金字塔302提供的近似接近连续空间，所述两个尺度也接近一个尺度。在一个实例中，经卷积的图像L可通过八元组进行分组，其中八元组可对应于标准偏差σ的值的双倍。另外，乘数c的值(例如，Ctl < C1 < C2< C3 < C4)可经选择以使得每个八元组获得固定数目(例如，多个)的经卷积的图像L。缩放的每一八元组可对应于显式图像调整大小。因此，随着通过逐渐模糊/平滑函数G模糊/平滑原始图像I (X，y)，像素的数目逐渐减小。可通过计算尺度空间金字塔302中的任何两个连续模糊的图像的差来构建差分尺度空间(例如，高斯差(DoG))金字塔304。在差分尺度空间304中，D(x，y，a) = L(x,y,cno )-L (x, y, Clri σ )。差分图像D (x，y, σ )是在尺度cn σ和Ciri σ下的两个邻近的模糊/平滑的图像L之间的差。D(x，y，σ)的尺度位于cn。与Clri σ之间某处。可针对每个八元组从邻近的模糊图像L获得差分图像D。在每一八元组之后，可通过因子2对图像进行下取样，且随后重复过程。以此方式，可将图像变换为对于平移、旋转、尺度和/或其它图像参数和/或失真稳健或不变的局部特征。一旦产生，用于所查询图像的差分尺度空间304可用于极值检测以识别所关注的特征(例如，识别图像中的高度不同的点)。这些高度不同的点在本文中被称作关键点。可通过围绕每一关键点的小块或局部区的特性来 识别这些关键点。可针对每一关键点及其对应的小块而产生描述符，所述描述符可用于查询图像与所存储的目标图像之间的关键点的比较。“特征”可指描述符(即，关键点及其对应的小块)。特征(即，关键点及对应的小块)的群组可被称作群集。图4说明示范性图像处理阶段104中的特征检测。在特征检测112中，差分尺度空间304可用于识别图像I (X，y)的关键点。特征检测112设法确定图像中的特定样本点或像素周围的局部区或小块是否为潜在关注的小块(几何上而言)。一般来说，差分尺度空间304中的局部最大值和/或局部最小值经识别，且这些最大值和最小值的位置用作差分尺度空间304中的关键点位置。在图4中所说明的实例中，已用小块406识别关键点408。可通过将差分尺度空间304中的每一像素(例如，关键点408的像素)与相同尺度下的其八个相邻像素以及关键点408的两侧上的相邻尺度中的每一者中的九个相邻像素(在邻近的小块410和412中)进行比较(总共26个像素(9X2+8 =26))，而实现找出局部最大值和最小值(还称为局部极值检测)。此处，小块被界定为3X3像素区。如果关键点408的像素值是小块406、410和412中的所有二十六(26)个所比较像素中的最大者或最小者，则将其选择为关键点。可进一步处理关键点，使得更准确地识别其位置，且一些关键点(例如，低对比度关键点和边缘关键点)可丢弃。图5说明示范性图像处理阶段104中的特征描述符提取。一般来说，特征(例如，关键点及其对应的小块)可由描述符表示，其允许所述特征(来自查询图像)与目标图像的数据库中所存储的特征的有效比较。在特征描述符提取116的一个实例中，基于局部图像梯度的方向，每一关键点可被指派一个或一个以上定向或方向。通过基于局部图像特性将一致定向指派给每一关键点，关键点描述符可相对于此定向进行表示，且因此实现对图像旋转的不变性。可针对模糊图像L中和/或关键点尺度下的关键点408周围的相邻区中的每一像素来执行量值和方向计算。位于(X，y)处的关键点408的梯度的量值可表示为m(x, y),且位于(X, y)处的关键点的梯度的定向或方向可表示为Γ (x, y)。关键点的尺度用于选择具有最接近关键点408的尺度的尺度的模糊/平滑图像L，使得以尺度不变方式来执行所有计算。对于此尺度下的每一图像样本L(x，y)，使用像素差来计算梯度量值m(x，y)和定向Γ (X, y)。举例来说,可将量值m(x, y)计算为ηι{χ. v) = V(厂U + Lv)-L(.v -1, v})" + (L(.v，v - I)- L{x. y - I)).)(等式 I)可将方向定向Γ (χ，y)计算为
r I W 、(L(.V, V + I )L(a, V — I ) /χrU, )·) = arctan v .·、(等式 2)
JLU + 1, y)-LU-lvy)J
此处，L(x，y)为也是关键点的尺度的尺度σ下的模糊图像L(x，y，σ )的样本。可针对尺度空间金字塔中的位于比差分尺度空间中的关键点的平面高的尺度的平面或者尺度空间金字塔的位于比所述关键点低的尺度的平面一致地计算关键点408的梯度。任一方式对于每一关键点来说，梯度全部是在围绕关键点的矩形区域(例如，小块)中的一个相同尺度下计算出。另外，在模糊图像的尺度中反映图像信号的频率。但是，SIFT仅使用所述小块(例如，矩形区域)中的所有像素处的梯度值。在关键点周围界定小块；在块内界定子块；在子块内界定样本，且此结构对于所有关键点保持相同，甚至在关键点的尺度是不同时也如此。因此，虽然图像信号的频率随着同一八元组中的模糊/平滑滤波器的连续应用而改变，但在不同尺度下识别的关键点可以相同数目的样本进行取样，而不管图像信号的频率的改变，所述改变由尺度表示。为了表征关键点定向，可在关键点408的相邻区中产生(以SIFT)梯度定向的向量(例如，通过使用最接近关键点的尺度的尺度下的尺度空间图像)。然而，还可例如通过 使用经压缩的梯度直方图(CHoG)，由梯度定向直方图(参看图5)来表示关键点定向。每一相邻像素的贡献可由梯度量值和高斯窗口加权。直方图中的峰值对应于支配性定向。可相对于关键点定向来测量关键点的所有特性，这提供对旋转的不变性。在一个实例中，可针对每一块计算经高斯加权的梯度的分布，其中每一块是2个子块乘2个子块，总共4个子块。为计算高斯加权的梯度的分布，形成具有若干频段的定向直方图，其中每一频段覆盖关键点周围的区域的一部分。举例来说，定向直方图可具有36个频段，每一频段覆盖360度的定向范围中的10度。或者，所述直方图可具有8个频段，每一频段覆盖360度范围中的45度。应清楚，本文中所描述的直方图编码技术可适用于任何数目个频段的直方图。应注意，还可使用最终产生直方图的其它技术。可以各种方式获得梯度分布和定向直方图。举例来说，二维梯度分布(dx，dy)(例如，方框506)被转换为一维分布(例如，直方图514)。关键点408位于围绕关键点408的小块506 (还称为单元或区)的中心。针对金字塔的每一层级而预先计算的梯度被展示为每一样本位置508处的小箭头。如所示，4X4的样本区508形成子块510，且2X2的子块区形成块506。块506还可被称作描述符窗口。高斯加权函数用圆圈502展示且用于将权数指派给每一样本点408的量值。圆形窗口 502中的权数平滑下降。高斯窗口 502的目的是在窗口位置有小改变的情况下避免描述符的突发性改变，且给予远离描述符中心的梯度较少强调。从2X2的子块获得定向直方图512的2X2 = 4阵列，其中直方图的每一频段中的8个定向产生(2x2)x8 = 32维度特征描述符向量。举例来说，定向直方图513和515可对应于子块510的梯度分布。然而，使用每一直方图中具有8个定向(8频段直方图)的4X4直方图阵列(针对每一关键点产生(4x4) x8 = 128维度特征描述符向量)可产生更好的结果。应注意，其它类型的量化频段星座图(例如，具有不同的弗洛诺伊(VOTonoi)单元结构)也可用于获得梯度分布。如本文中所使用，直方图是映射匕，其对落入被称为频段的各种不相交类别中的观测、样本或出现(例如，梯度)的数目进行计数。直方图的图表仅是表示直方图的一种方式。因此，如果k是观测、样本或出现的总数目，且m是频段的总数目，则直方图Ici中的频率满足以下条件；m = (等式 3)
=Ι其中Σ是求和运算符。
权利要求
1.一种用于图像辨识中的特征匹配的方法，其包括 获得查询图像的多个关键点； 基于关键点分布而界定所述查询图像的关键点群集集合； 通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配；以及 基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集。
2.根据权利要求I所述的方法，其中锚匹配是超过阈值与一个或一个以上目标图像中的关键点匹配的关键点匹配。
3.根据权利要求2所述的方法，其中选择所述阈值以便排除外露层匹配，其中外露层匹配是错误肯定的关键点匹配。
4.根据权利要求2所述的方法，其中锚匹配是针对所述查询图像中在所述查询图像的尺度空间层级的选定子集内出现的关键点的关键点匹配。
5.根据权利要求2所述的方法，其中低于所述阈值的关键点匹配是部分匹配，且所述方法进一步包括 在已将所述查询关键点群集匹配于所述目标关键点群集之后基于二进制决策来保持所述查询关键点群集中的关键点，其中针对所述查询关键点群集中的关键点的所述二进制决策是基于是否已针对所述关键点发现部分匹配且所述匹配是否在所述目标关键点群集内。
6.根据权利要求I所述的方法，其中锚匹配是至少部分地基于所述查询图像的所述关键点子集中的每一者周围的局部像素信息而匹配的那些关键点匹配。
7.根据权利要求6所述的方法，其中所述局部像素信息包含像素梯度、像素色彩、群集形状或关键点分布中的至少一者。
8.根据权利要求I所述的方法，其中建立锚匹配包含 将所述查询图像中的关键点匹配于所述目标图像中的关键点；以及 保持所述查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应的关键点群集中排除的后续二进制确定。
9.根据权利要求I所述的方法，其进一步包括 在所述查询关键点群集中的关键点至少部分地匹配于所述目标关键点群集中的关键点的情况下保持所述关键点。
10.根据权利要求I所述的方法，其进一步包括 在关键点未匹配或匹配于除所述目标关键点群集外的群集中的关键点的情况下从所述查询关键点群集中排除所述关键点。
11.根据权利要求I所述的方法，其中关键点是所述查询图像的尺度空间中的局部最大值像素或局部最小值像素。
12.根据权利要求I所述的方法，其中在对应于所述查询图像的模糊版本的多个尺度空间上确认关键点。
13.根据权利要求I所述的方法，其中通过用于关键点匹配的描述符来表示关键点。
14.根据权利要求I所述的方法，其中基于以下各者中的至少一者来使关键点成群集 在所述查询图像的尺度空间上的所述关键点的空间位置，或所述尺度空间中检测所述关键点的尺度层级。
15.根据权利要求I所述的方法，其中在多个图像尺度空间上获得所述查询图像的所述关键点，且所述方法进一步包括 通过以下各者中的一者来减少所述查询图像的关键点的数目 从所述关键点群集集合精减一个或一个以上较低密度群集，或从所述关键点群集集合中的所述群集中的至少一些群集精减在所述查询图像的尺度空间的较低层级下检测到的关键点。
16.根据权利要求15所述的方法，其进一步包括 产生所述查询图像的所述减少数目个关键点的描述符。
17.根据权利要求16所述的方法，其进一步包括 在产生描述符之前丢弃所述经精减的关键点和群集。
18.根据权利要求16所述的方法，其进一步包括 将所述减少数目个关键点的所述描述符传输到特征匹配装置以将所述查询图像或所述查询图像中的对象匹配于目标图像。
19.根据权利要求15所述的方法，其进一步包括 获得所述关键点群集集合中的所述群集中的每一者的关键点密度。
20.根据权利要求I所述的方法，其进一步包括 获得所述查询图像的多个尺度空间上的关键点的分布；以及 基于关键点的所述分布来估计所述查询图像的尺度。
21.根据权利要求20所述的方法，其中根据所述尺度空间上的所述关键点的所述分布来估计所述图像尺度，使得截止尺度保留直到所述截止尺度的所述空间尺度内的阈值百分比的关键点。
22.根据权利要求20所述的方法，其进一步包括 基于所述估计的查询图像尺度来选择用于使关键点成群集的核心大小。
23.根据权利要求22所述的方法，其进一步包括 利用所述查询图像在所述选定核心大小下的模糊版本来执行关键点成群集。
24.—种特征匹配装置，其包括 存储装置，其存储多个目标图像的信息； 处理电路，其耦合到所述存储装置，所述处理电路适于 获得查询图像的多个关键点； 基于关键点分布而界定所述查询图像的关键点群集集合； 通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配；以及 基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集。
25.根据权利要求24所述的特征匹配装置，其中锚匹配是超过阈值与一个或一个以上目标图像中的关键点匹配的关键点匹配，且所述阈值经选择以便排除外露层匹配，其中外露层匹配是错误肯定的关键点匹配。
26.根据权利要求25所述的特征匹配装置，其中锚匹配是针对所述查询图像中在所述查询图像的尺度空间层级的选定子集内出现的关键点的关键点匹配。
27.根据权利要求25所述的特征匹配装置，其中低于所述阈值的关键点匹配是部分匹配，其中所述处理电路进一步适于 在已将所述查询关键点群集匹配于所述目标关键点群集之后基于二进制决策来保持所述查询关键点群集中的关键点，其中针对所述查询关键点群集中的关键点的所述二进制决策是基于是否已针对所述关键点发现部分匹配且所述匹配是否在所述目标关键点群集内。
28.根据权利要求24所述的特征匹配装置，其中所述处理电路进一步适于通过以下方式建立所述锚匹配 将所述查询图像中的关键点匹配于所述目标图像中的关键点；以及保持所述查询图像中的关键点的关键点匹配信息以用于关于是否应将关键点从其对应的关键点群集排除的后续二进制确定。
29.根据权利要求24所述的特征匹配装置，其进一步包括 图像俘获装置，其用于俘获所述查询图像。
30.根据权利要求24所述的特征匹配装置，其中所述查询图像的所述关键点是在多个图像尺度空间上获得，且所述处理电路进一步适于 通过以下各者中的一者来减少所述查询图像的关键点的数目 从所述关键点群集集合精减一个或一个以上较低密度群集，或从所述关键点群集集合中的所述群集中的至少一些群集精减在所述查询图像的较低尺度空间处检测到的关键点。
31.根据权利要求30所述的特征匹配装置，其中所述处理电路进一步适于 产生所述查询图像的所述减少数目个关键点的描述符。
32.根据权利要求30所述的特征匹配装置，其进一步包括 传输器，其适于将所述减少数目个关键点的所述描述符传输到特征匹配装置以将所述查询图像或所述查询图像中的对象匹配于目标图像。
33.根据权利要求24所述的特征匹配装置，其中所述处理电路进一步适于 获得所述查询图像的多个尺度空间上的关键点的分布；以及 基于关键点的所述分布来估计所述查询图像的尺度。
34.一种特征匹配装置，其包括 用于获得查询图像的多个关键点的装置； 用于基于关键点分布而界定所述查询图像的关键点群集集合的装置； 用于通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配的装置；以及 用于基于所述锚匹配的子集来将查询关键点群集匹配于目标关键点群集的装置。
35.一种处理器可读媒体，其包括在特征匹配装置上操作的一个或一个以上指令，所述指令在由处理电路执行时致使所述处理电路 获得查询图像的多个关键点； 基于关键点分布而界定所述查询图像的关键点群集集合； 通过将所述查询图像的关键点的至少一子集匹配于一个或一个以上目标图像的关键点来建立所述查询图像的锚匹配；以及基于所述锚匹 配的子集来将查询关键点群集匹配于目标关键点群集。
全文摘要
本发明提供一种用于图像辨识中的特征匹配的方法。首先，图像缩放可基于图像的尺度空间上的特征分布以估计图像大小/分辨率，其中使用在不同尺度下的关键点分布中的峰值来跟踪支配性图像尺度且大致跟踪对象大小。其次，替代将图像中的所有检测到的特征用于特征匹配，可基于群集密度和/或检测关键点的尺度层级来精减所述关键点。出于特征匹配的目的，落在高密度群集内的关键点可优于落在较低密度群集内的特征。第三，通过将关键点在空间上约束到群集中来增加内围层与外露层关键点比率，以便减少或避免对所述图像的几何一致性检查。
文档编号G06K9/64GK102763123SQ201080054072
公开日2012年10月31日 申请日期2010年12月2日 优先权日2009年12月2日
发明者奥努尔·C·哈姆西奇, 尤里娅·列兹尼克, 桑迪普·瓦达迪, 约翰·H·洪, 重·U·李 申请人:高通股份有限公司