位置。
[0091] 例如，在模板图中角点Q的匹配相似度大于阈值％的实时图角点中，取相似度前N 大的角点形成点集[Po, P1，…，PnJ，在对该点集中的角点使用线特征进行匹配，取线特征匹 配相似度最高的结果P i作为实时图中与模板图角点Q的匹配结果。
[0092] 对候选目标点集进行聚类，选择类中个数最多的作为最终的目标点位置。如果聚 类失败，则直接在候选目标点集中选取点特征匹配相似度最高的点作为最终的目标点位 置。
[0093] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种结合点特征和线特征描述子的图像匹配算法，其特征在于，所述方法包括如下 步骤： (1) 分别对模板图和实时图在多尺度下提取角点：保持图像大小不变，通过改变高斯 模糊尺寸和计算haar响应窗口的大小获得每一层不同尺度的图像；在每层金字塔图像中， 使用hessian矩阵计算每个像素的局部曲率P，将每个像素点与其尺度邻域上的a个点的 局部曲率P进行比较，如果该像素点的局部曲率P是这〇个点中的最大值或者最小值， 则保留下来，作为初步选择的角点；对初步选择的角点，根据其局部曲率P使用双阈值进 行筛选，获得最终选定的角点； (2) 获得实时图和模板图角点周围的边缘集合：遍历步骤（1)获得的最终选定的角点， 分别从实时图和模板图角点的0邻域开始提取边缘并进行生长，获得角点周围的边缘集 合； (3) 计算步骤（1)获得的最终选定的实时图与模板图角点的类ORB点特征描述子：选 择一定数量的图块对，计算每个图块内像素的灰度值之和，比较每个图块对的灰度值之和， 根据比较的结果进行编码，所有图块对比较结果的编码组成了该角点的类ORB点特征描述 子； (4) 边缘匹配计算：利用最小截平方Hausdorff距离描述步骤（2)获得的实时图和模 板图的边缘集合的匹配相似度； (5) 点特征匹配计算：计算步骤（3)中获得的实时图与模板图角点的类ORB点特征描 述子的匹配相似度； (6) 匹配结果综合：对步骤（4)和步骤（5)中获得的点特征匹配相似度和线特征匹配 相似度进行综合，要求点特征匹配相似度大于阈值tp，线特征匹配相似度大于阈值&，取点 特征匹配相似度前N大的角点组成候选匹配点集，然后使用线特征对这些候选匹配点进行 评价，取线特征匹配相似度最高的结果作为最终匹配角点。2. 如权利要求1所述的方法，其特征在于，所述步骤（1)中对初步选择的角点，根据其 局部曲率p使用双阈值进行筛选，获得最终选定的角点，具体包括： 所述双阈值为tl，t2,且tl〈t2;局部曲率P小于阈值tl的角点则直接舍去，局部曲 率P大于阈值t2的角点则直接保留，局部曲率P大于阈值tl但小于t2的角点，如果在 其邻域能提取出较多的长边缘，则保留该角点，否则将其舍去。3. 如权利要求1或2所述的方法，其特征在于，所述步骤（2)中获得边缘集合过程中， 将属于某边缘的像素点标记为n，n表示该像素属于被找到的第n条边缘曲线，将处理过但 被认为不属于边缘的像素标记为NotEdge;如果某角点邻域包含已被标记为n的像素点，则 直接将第n条边缘曲线并入该角点的边缘集合，不再从该像素开始生长；处理过的像素点 不再被处理。4. 如权利要求1或2所述的方法，其特征在于，所述步骤⑶中每个图块对的编码方式 如下公式所示：其中t为根据对实时图对比度要求选择的阈值，p(x)和p(y)表示选择的图块内像素 的灰度值之和； 对于只考虑材质反差的图像，将编码01和10合并为1，即公式为：每个图块对i计算出一个ti，K个图块对比较结果的编码组成了该角点的点特征描述 子[T 〇，T 1，…，TK-1]。5. 如权利要求1或2所述的方法，其特征在于，所述步骤（4)中计算最小截平方 Hausdorff距离，具体为： 计算点集A中所有点与点集B内的点的最小坐标距离，并从小到大进行排序，得到有 序集合X;其中，点集A为实时图某角点周围边缘集合内像素点组成的集合，点集B为模板 图某角点周围边缘集合内像素点组成的集合，其像素点数量分别为NdPNb;dB(ai)w表示点 集A中的点％到点集B内的点的最小距离在所有点集A中其他点的最小距离中排序为第i 位；同理计算点集B中所有点与点集A内的点的最小坐标距离，并从小到大进行排序，得 到有序集合Y;其中，djbi)w表示点集B中的点b濟点集A内的点的最小距离在所有点集 A中其他点的最小距离中排序为第i位；设K=f\XNA，L=f2XNB，f^Pf2分别为点集像素数量N，Nb对应的比例系数，且满 足0〈4〈1，0〈&〈1 ;定义A和B之间的单向距离hus(A，B)和hus(B，A)为：最小截平方Hausdorff距离定义为： H(A,B) =max[hLTS (A,B)，hLTS (B，A)]。6. 如权利要求1或2所述的方法，其特征在于，所述步骤（5)中计算点特征描述子的匹 配相似度，具体为： 设实时图点特征描述子为[%，&1，…，aK_J，模板图点特征描述子为，…，bK_J，如 果ai=bi(i= 0, 1，…，K-1)，则认为点特征描述子第i维匹配结果一致； 统计匹配结果一致的维数总数m;使用匹配结果一致的维数m占点特征描述子总维数K的比例描述点特征的匹配相似度PM:7. 如权利要求1或2所述的方法，其特征在于，所述步骤（6)具体为： 对于点特征的匹配相似度大于阈值％的角点对，按照模板图角点周围包含的边缘集合 查看实时图相应位置，如果该位置未被提取边缘，则在实时图中相应位置邻域提取边缘，并 将这部分边缘用于计算线特征匹配相似度； 根据最终匹配角点与目标点的空间位置关系获得推测的目标点位置，将推测的目标点 位置添加到候选目标点集； 使用同样方法处理所有最终匹配角点，将推测的目标点位置添加到候选目标点集中； 对候选目标点集进行最近邻聚类，选择类中个数最多的作为最终的目标点位置；如果聚类 失败，则直接在候选目标点集中选取点特征匹配相似度最高的点作为最终的目标点位置。8. 如权利要求7所述的方法，其特征在于，所述最近邻聚类算法具体为：首先随机从数 据集中选取K个点作为初始聚类中心，然后计算各个样本到聚类中心的距离，把样本归到 离它最近的那个聚类中心所在的类；计算新形成的每一个聚类的数据对象的平均值来得到 新的聚类中心，如果相邻两次的聚类中心没有任何变化，说明样本调整结束，聚类准则函数 已经收敛；在每次迭代中都要考察每个样本的分类是否正确；若不正确，就要调整，在全部 样本调整完后，再修改聚类中心，进入下一次迭代。9. 如权利要求1或2所述的方法，其特征在于，所述步骤（2)中采用canny算子、Sobel 算子、Prewitt算子、Roberts算子、Laplacian算子提取边缘并进行生长。10. 如权利要求2所述的方法，其特征在于，所述步骤（1)中的a取值为26。
【专利摘要】本发明公开了一种结合点特征和线特征描述子的图像匹配算法，包括：(1)分别对模板图和实时图在多尺度下提取角点；(2)获得实时图和模板图角点周围的边缘集合；(3)计算步骤(1)获得的最终选定的实时图与模板图角点的类ORB点特征描述子；(4)利用最小截平方Hausdorff距离描述步骤(2)获得的实时图和模板图的边缘集合的匹配相似度；(5)计算步骤(3)中获得的实时图与模板图角点的类ORB点特征描述子的匹配相似度；(6)匹配结果综合。本发明方法先使用稳定的点特征对角点进行初选获得候选点集，保证将正确的位置包括进来，然后使用较为全局的线特征对候选点集进行筛选，可以降低重复模式，提高正确率。
【IPC分类】G06T7/00
【公开号】CN104915949
【申请号】CN201510162935
【发明人】王岳环, 王康裕, 吴明强, 张天序, 范蓉
【申请人】华中科技大学
【公开日】2015年9月16日
【申请日】2015年4月8日