专利名称：基于数据聚类的适应性图像sift特征匹配方法
技术领域：
本发明属于计算机增强现实技术领域，具体地说是对大数据量条件下的图像SIFT 特征集进行适应性匹配，提高特征匹配的鲁棒性。
背景技术：
最邻近(Nearest Neighbor)特征查询技术是图像SIFT特征匹配的重要组成部分，在运动恢复结构、目标识别、图像检索、以及场景理解等方面都得到了广泛的应用。作为最重要的空间剖分方法之一，k_d树被广泛用于最邻近特征匹配工作，但是随着特征维度的增加，由于需要遍历每一分支以精确定位匹配特征，该方法的匹配效率会迅速下降。Arya等人扩展了该方法以查找近似最邻近(Approximate Nearest Neighbor)特征。通过设置近似精度参数ε以提前终止k-d树匹配过程，该方法能够在仅损失极少精度前提下有效提高匹配速度，较好地适用于图像SIFT等高维特征的匹配问题。Beis等人进一步提出了一种使用优先队列的近似最邻近方法，称为BBF(Best Bin First)方法。通过控制优先队列长度作为终止条件，相比于Arya等人方法，该方法能够取得更好的图像SIFT 匹配性能。最近，Silpa-Anan等人提出了一种随机k-d树方法。通过为同一数据集建立多棵k-d树并对多k-d树同时进行优先遍历，该方法不但有效提高图像SIFT特征匹配效率， 而且能够极大改善图像SIFT特征匹配的鲁棒性。上述基于k-d树的方法都在不同程度上提高了图像SIFT匹配性能，但是由于k-d树剖分空间过程是刚性的，因此上述方法不能有效地在匹配效率与鲁棒性之间进行适应性调节。Nister等人提出了一种vocabulary空间剖分结构，通过使用该结构组织特征集并采用基于信息熵的投票策略，该方法能够实现大数据量条件下的场景目标识别。基于该数据结构，Schindler等人进一步提出了一种类似BBF的GNP (Greedy N-Best Paths)方法，用以实现基于vocabulary树的最邻近特征匹配。最近，Muja等人将优先队列应用于 vocabulary数据结构，给出了一种基于优先队列的近似最邻近图像SIFT匹配方法。从几何角度来说，vocabulary树构造过程等价于高维欧氏空间嵌套voronoi剖分过程。通过调节 vocabulary树控制参数进而构造不同嵌套voronoi空间剖分形式，上述方法可以达到调节特征匹配鲁棒性的目的。但对于khindler、MUja等人的方法来说，由于匹配过程受近似最邻近查询的约束，单纯地调节控制参数对其匹配效率影响不大。
发明内容
本发明要解决的技术问题克服现有技术的不足，提供一种具有提高适应性的图像SIFT特征匹配方法。本发明采用的技术方案基于数据聚类的适应性图像SIFT特征匹配方法，其特点在于步骤如下(1)提取参考图像序列SIFT特征集，扩展vocabulary数据结构为级联 vocabulary数据结构，将k-d数据结构空间剖分方式与vocabulary数据结构空间剖分方式有机结合，采用级联vocabulary数据结构组织图像SIFT特征集，不但可以进行特征聚类， 而且能够实现近似最邻近特征匹配。(2)两阶段特征聚类方法，第一阶段基于k_d树对全局重复特征集进行聚类。第二阶段利用vocabulary树组织聚类特征集并对vocabulary节点包含聚类特征进行提纯，确保聚类特征包含于节点表示的voronoi胞腔内。特征聚类过程能够降低噪声干扰，提高特征匹配鲁棒性。(3)基于比值提纯的BBF特征匹配方法。在基于级联vocabulary树自上而下的特征匹配过程中，当遍历到节点P时，通过计算孩子节点代表的相邻voronoi胞腔中心到匹配特征距离比值并与提纯比值因子相比较，达到控制放入优先队列节点数量的目的，有效地起到调节特征匹配鲁棒性与效率目的。(4)两阶段图像SIFT特征匹配方法。第一阶段利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，选择关键图像。第二阶段采用关键图像进行图像间特征匹配。最后合并两阶段特征匹配结果。采用RANSAC、基本矩阵等技术进行外点剔除。所述步骤(1)的级联vocabulary树构建方法为级联vocabulary树由参数集(b， d，f)与(b，，d，)控制生成。(b，，d，)控制的vocabulary树称为第一类vocabulary树， 其中b’与d’分别表示分支参数与深度参数；(b，d，f)控制的vocabulary树称为第二类 vocabulary树，其中(b，d)与(b’，d’ )表示相同含义，f表示特征阈值参数，用来确保第二类vocabulary树叶节点包含最大特征数不会超过该参数给定的最大上限。通过使用k_d 树组织这些叶节点包含特征集，有效实现了 k-d数据结构空间剖分方式与vocabulary数据结构空间剖分方式有机结合。所述步骤O)中两阶段特征聚类方法为首先将特征分为普通特征与聚类特征， 第一阶段基于k_d树通过特征匹配方法迭代合并全局重复普通特征集为聚类特征，聚类特征描述子由所有重复特征描述子的算术平均值构成。第二阶段对级联vocabulary树节点包含聚类特征进行提纯，将聚类特征中不属于节点表示voronoi胞腔的所有普通特征剔除并更新聚类特征描述子，确保聚类特征包含于节点表示的voronoi胞腔内。特征聚类过程能够降低噪声干扰，提高特征匹配鲁棒性。所述步骤(3)中基于比值提纯的BBF特征匹配方法为给定图像SIFT特征描述子P，当自上而下遍历vocabulary树到节点q时，BBF方法按如下步骤存储孩子节点q1; q2，· · ·，qb，其中b为分支数。首先计算ρ到各个孩子节点Qi的对应距离Clisti = I I p-q, I 12， 其中I I I I2表示欧氏距离。然后按照该距离由小到大对孩子节点进行排序，得到排序后节点 qkl，qk2，· · ·，qkb,除qkl节点外，所有后续节点只有满足条件dist (p, qkl) ( dist (ρ, qkJ) · ε， 才能将其放入优先队列。提纯因子ε的加入可以有效控制放入优先队列的节点数量，从而提高特征匹配的柔性。所述步骤中两阶段特征匹配方法为第一阶段利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，对于每一次匹配成功的图像特征，首先判断其特征类型，若为普通特征，则仅为其所属图像投票；若为聚类特征，则投票过程需要对其包含全部普通特征依次进行。完成全部匹配特征投票后，分别选择票数最多图像作为关键图像。第二阶段采用两关键图像进行图像间特征匹配。最后合并两阶段特征匹配结果并采用RANSAC、基本矩阵等技术进行外点剔除，匹配结果最优者即为所求输出结果。本发明与现有技术相比的优点在于(1)通过两类不同参数集的有效控制，级联vocabulary树有机地将两种不同vocabulary数据结构通过级联方式组织在一起，不但有效实现了 k-d数据结构与 vocabulary数据结构的结合，而且能够实现多模式的特征匹配过程，极大提高了特征匹配的适应性；(2)针对级联vocabulary树提出的两阶段特征聚类方法，有效实现了级联 vocabulary树节点包含聚类特征的提纯工作，确保了聚类特征包含全部重复普通特征分布 voronoi胞腔的唯一性以及聚类特征与重复普通特征分布voronoi胞腔的一致性；(3)通过设置比值提纯因子改进BBF特征匹配方法，通过调节比值提纯因子，基于比值提纯的BBF方法能够有效控制基于级联vocabulary树的匹配过程，达到匹配效率与匹配鲁棒性的平衡；(4)两阶段特征匹配方法的提出，基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配的关键图像选择方法不但能够正确选择关键图像，而且可以有效完成图像SIFT 特征匹配工作。通过将第一阶段匹配特征集传递给第二阶段匹配特征集，两阶段匹配特征集的级联合并能够在大数据量条件下有效提高特征匹配的鲁棒性。
图1为本发明级联vocabulary树示意图；图2为本发明基于级联Vocabulary树的两阶段特征聚类示意图；图3A，图;3B为本发明路政匹配鲁棒性直观示意图；图4A到图4D为本发明第一阶段特征匹配适应性示意图。
具体实施例方式表1给出了本发明的具体步骤基于数椐聚类的适应性图像SlFT特征匹配方法离线阶段
1:获取参考图像序列，提取图像SIFT特征集，釆用级联 vocabulary树组织全部参考图像SIFT特征集。 2釆用级联vocabulary树进行两阶段特征聚类工作。 在线阶段
3获取实时图像序列SIFT特征集，基于级联vocabulary树进行基于BBF与基于信息熵的双模式聚类特征匹配，选择关键图像，完成第一阶段特征匹配。
4:利用关键图像完成第二阶段特征匹配，合并两阶段匹配特征集。
5:釆用RANSAC、基本矩阵等技术进行外点剔除。表 1本发明流程包括离线阶段基于级联vocabulary树的两阶段特征聚类部分与在线阶段基于级联vocabulary树的两阶段特征匹配部分。其中级联vocabulary树按如下方法构建。1.级联Vocabulary树及其构建图1给出了级联Vocabulary树示意图。级联vocabulary树由参数集(b，d，f)与(b，，d，)控制生成。(b，，d，)控制的 vocabulary树称为第一类vocabulary树，其中b’与d’分别表示分支参数与深度参数； (b，d，f)控制的vocabulary树称为第二类vocabulary树，其中(b，d)与(b，，d，)表示相同含义，f表示特征阈值参数，用来确保第二类vocabulary树叶节点包含最大特征数不会超过该参数给定的最大上限。通过使用k-d树组织这些叶节点包含特征集，当匹配过程自上而下遍历到这些叶节点时，可以转换为诸如BBF的近似最邻近方法进行特征匹配。级联 vocabulary树每一个节点都拥有一个平均描述子meandescr，其值可计算如下
权利要求
1.一种基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于步骤如下(1)提取参考图像序列SIFT特征集，在vocabulary数据结构基础上扩展出级联 vocabulary数据结构，通过级联构造vocabulary数据结构与k_d数据结构于同一级联 vocabulary数据结构中，使得k_d数据结构空间剖分方式与vocabulary数据结构空间剖分方式相结合；(2)两阶段特征聚类，第一阶段基于k-d数据结构对全局重复特征集进行聚类；第二阶段利用vocabulary数据结构组织聚类特征集并对vocabulary数据结构全部节点包含的聚类特征进行提纯，确保聚类特征包含于节点表示的voronoi胞腔内；(3)基于比值提纯的BBF特征匹配，BBF即BestBin First，在基于级联vocabulary数据结构自上而下的特征匹配过程中，当遍历到某一节点时，通过计算该节点所有孩子节点代表的相邻voronoi胞腔中心到匹配特征距离比值并与预先设定的提纯比值因子相比较， 控制放入优先队列节点的数量；(4)两阶段图像SIFT特征匹配，第一阶段利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，选择关键图像；第二阶段采用第一阶段选择的关键图像进行图像间特征匹配；最后合并两阶段特征匹配结果并采用RANSAC或基本矩阵技术进行外点剔除。
2.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于 所述步骤(1)的扩展出级联vocabulary数据结构具体为首先采用参数集(b，d，f)与(b’， d’ )控制的两类不同vocabulary数据结构级联构建vocabulary树；其中b、b’表示分支数，d、d’表示深度，f为阈值节点，设定vocabulary数据结构叶节点包含最大特征数 ’然后使用k-d数据结构组织受参数集(b，d，f)控制的vocabulary数据结构叶节点包含图像 SIFT特征集。
3.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于 所述步骤O)中两阶段特征聚类方法为首先将图像SIFT特征分为普通特征与聚类特征， 第一阶段基于k-d数据结构合并全局重复普通特征集为聚类特征；第二阶段对vocabulary 数据结构中全部节点包含的聚类特征进行提纯，确保聚类特征包含于节点表示的voronoi 胞腔内；上述两阶段聚类特征描述子由所有重复特征描述子的算术平均值构成。
4.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于 所述步骤(3)中基于比值提纯的BBF特征匹配方法为给定图像SIFT特征描述子p，当自上而下遍历级联vocabulary数据结构到某一节点q时，对按照最近距离排序获得节点q2，. . .，qb，其中b为分支数；除最邻近qkl节点外，所有后续节点只有满足条件dist (p， qkl)彡dist (ρ, q kJ) · ε，才能将其放入优先队列，其中ε为提纯因子，dist为求两点欧氏距离的函数。
5.根据权利要求1所述基于数据聚类的适应性图像SIFT特征匹配方法，其特征在于 所述步骤中两阶段图像SIFT特征匹配方法为第一阶段进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，分别为匹配特征所属图像进行计数投票；完成全部特征匹配后，选择票数最多图像作为关键图像；第二阶段采用关键图像进行图像间特征匹配； 合并两阶段特征匹配结果；采用RANSAC或基本矩阵技术进行外点剔除。
全文摘要
基于数据聚类的适应性图像SIFT特征匹配方法，步骤如下(1)获取参考图像序列，提取图像SIFT特征集，采用k-d树对全部图像SIFT特征集进行聚类。(2)采用级联vocabulary树组织全部参考图像SIFT特征集，对vocabulary树节点包含特征集进行二次特征聚类。(3)利用级联vocabulary树进行基于比值提纯的BBF与基于信息熵的双模式聚类特征匹配，完成第一阶段特征匹配。(4)利用关键图像完成第二阶段特征匹配，合并两阶段特征匹配结果。最后采用RANSAC、基本矩阵等技术进行外点剔除。本匹配方法不但能够极大提高特征匹配的鲁棒性，而且能够有效增强特征匹配的适应性。
文档编号G06K9/64GK102194133SQ20111018589
公开日2011年9月21日 申请日期2011年7月5日 优先权日2011年7月5日
发明者沈旭昆, 范志强, 赵沁平 申请人:北京航空航天大学