一种大规模图像特征点匹配方法
【专利摘要】本发明涉及电子【技术领域】，具体涉及一种大规模图像特征点匹配方法，其特征在于包括如下步骤：（1）训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到一个大规模的特征点集合，从而得到一组聚类中心和一组投影向量；（2）索引阶段：将欲索引的图像特征点通过聚类中心和投影向量进行量化和投影，建立索引结构；（3）匹配阶段：将查询图像特征通聚类中心和投影向量进行量化和投影，并在索引结构中查找其匹配对象。本发明可以应用到大规模图像检索中，在图像特征点数据库很大的情况，依然可以在很短的时间内得到较高的识别率。
【专利说明】一种大规模图像特征点匹配方法
【技术领域】
[0001] 本发明涉及电子【技术领域】，特别涉及一种大规模图像特征点匹配方法。
【背景技术】
[0002] 图像特征点匹配，是指在一个图像特征点的集合中，找出与查询图像特征点相匹 配的候选特征点。图像特征点匹配是图像识别，图像理解中的一种基础技术，是很多图像相 关应用的重要构成部分。
[0003] 经典的图像特征点匹配算法包括穷举检索、基于kd-tree的检索、基于随即森林 的方法等。穷举检索是指将查询特征点与数据库中的图像特征点逐一做比较，选取最接近 的特征点。基于kd-tree的方法是指将数据库中的特征点通过kd-tree建立索引，匹配时 候将查询特征点带入kd-tree进行匹配。基于随即森林的方法是指通过随即森林将数据库 中的特征点进行建模，匹配时候利用随即森林对查询特征点进行分类。
[0004] 以上方法在特定的应用场景中能得到一定的识别率，但是随着图像特征点数据库 的增大，传统方法的匹配率会迅速下降，匹配时间会大幅度增加，从而变得难以应用。
【发明内容】
[0005] 本发明的目的是提供一种大规模图像特征点匹配方法，在图像特征点数据库很大 的情况，依然可以在很短的时间内得到较高的识别率。
[0006] 为解决上述技术问题，本发明采用的技术方案是： 一种大规模图像特征点匹配方法，包括如下步骤： (1) 训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到 一个大规模的特征点集合，在这个集合上训练得到一组聚类中心Mi，i=l…N和一组投影向 量PROJj，j=l…D ; (2) 索引阶段：将欲索引的图像特征点通过所述训练阶段得到的聚类中心和投影向量 进行量化和投影，并通过倒排表将量化和投影结果组织起来，建立索引结构； (3) 匹配阶段：将查询图像特征通过所述训练阶段得到的聚类中心和投影向量进行量 化和投影，并在所述索引阶段中建立的索引结构中查找其匹配对象。
[0007] 进一步地，所述步骤（1)包括如下具体步骤： 1) 准备大量的、与识别图像无关的自然图像； 2) 对上述图像提取图像特征点，并提取图像不变特征，图像不变特征可以是sift，surf 等统计不变特征，或其组合，由此得到一组图像不变特征集合； 3) 对上步得到的图像不变特征集合进行kmeans聚类，得到N个聚类中心，记为Mi， i=l…N，N可以取10k到100k不等； 4) 将上述N个聚类中心，使用kd-tree进行索引，记为KDT ; 5) 随即选取D个单位正交向量，记为PROJj，j=l…D。
[0008] 进一步地，所述步骤（2)包括如下具体步骤： 1) 首先建立N个链表，链表项包含图像特征二进制串和其他元数据； 2) 对于欲索引的每一个图像特征点做以下处理： a. 对每一个图像特征点提取与训练期间相同种类的图像不变特征，记为Fi ; b. 对Fi使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻； c. 使用Fi减去Mi得到残差DIFFi ; d. 对DIFFi使用PROJ j，j=l…D进行投影，得到一个长度为D的投影向量Pi，对这个投 影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串Bi ; e. 将Bi和其它元数据加入到序号为k的链表中。
[0009] 进一步地，所述步骤（3)包括如下具体步骤： 1) 对图像特征点提取与训练期间相同种类的图像不变特征，记为F ; 2) 对F使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻； 3) 使用F减去Mi得到残差DIFF ; 4) 对DIFF使用PROJj，j=l?D进行投影，得到一个长度为D的投影向量P，对这个投影 向量的各个分量进行阈值化处理，得到一个长度为D的二进制串B ; 5) 遍历序号为k的链表中，逐一计算B与链表项中的二进制串中的汉明距离，如果距离 小于一定的阈值Thresh，则认为找到一个与查询特征点匹配的图像特征点。
[0010] 本发明可以应用到大规模图像检索中，在图像特征点数据库很大的情况，依然可 以在很短的时间内得到较高的识别率。
【专利附图】
【附图说明】
[0011] 下面结合附图和实施例对本发明进一步说明。
[0012] 图1是本发明的匹配阶段的处理过程示意图。
【具体实施方式】
[0013] 下面结合附图和实施例对本发明进一步说明。
[0014] 实施例，见图1所示： 一种大规模图像特征点匹配方法，包括如下步骤： (1) 训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到 一个大规模的特征点集合，在这个集合上训练得到一组聚类中心Mi，i=l…N和一组投影向 量PROJj，j=l…D ;包括如下具体步骤： 1) 准备大量的、与识别图像无关的自然图像； 2) 对上述图像提取图像特征点，并提取图像不变特征，图像不变特征可以是sift，surf 等统计不变特征，或其组合，由此得到一组图像不变特征集合； 3) 对上步得到的图像不变特征集合进行kmeans聚类，得到N个聚类中心，记为Mi， i=l…N，N可以取10k到100k不等； 4) 将上述N个聚类中心，使用kd-tree进行索引，记为KDT ; 5) 随即选取D个单位正交向量，记为PROJj，j=l…D ; (2) 索引阶段：将欲索引的图像特征点通过所述训练阶段得到的聚类中心和投影向量 进行量化和投影，并通过倒排表将量化和投影结果组织起来，建立索引结构；包括如下具体 步骤： 1) 首先建立N个链表，链表项包含图像特征二进制串和其他元数据； 2) 对于欲索引的每一个图像特征点做以下处理： a. 对每一个图像特征点提取与训练期间相同种类的图像不变特征，记为Fi ; b. 对Fi使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻； c. 使用Fi减去Mi得到残差DIFFi ; d. 对DIFFi使用PROJ j，j=l…D进行投影，得到一个长度为D的投影向量Pi，对这个投 影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串Bi ; e. 将Bi和其它元数据加入到序号为k的链表中； (3)匹配阶段：将查询图像特征通过所述训练阶段得到的聚类中心和投影向量进行量 化和投影，并在所述索引阶段中建立的索引结构中查找其匹配对象；包括如下具体步骤： 1) 对图像特征点提取与训练期间相同种类的图像不变特征，记为F ; 2) 对F使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻； 3) 使用F减去Mi得到残差DIFF ; 4) 对DIFF使用PROJj，j=l…D进行投影，得到一个长度为D的投影向量P，对这个投影 向量的各个分量进行阈值化处理，得到一个长度为D的二进制串B ; 5) 遍历序号为k的链表中，逐一计算B与链表项中的二进制串中的汉明距离，如果距离 小于一定的阈值Thresh，则认为找到一个与查询特征点匹配的图像特征点。
[0015] 本发明的匹配方法可以应用到大规模图像检索中，具体过程为：将索引图像提取 特征点，对特征点提取图像不变特征；建立索引结构；将上述索引结构部署到服务器上；用 户通过桌面电脑上传或者通过移动设备拍照上传查询图像；服务器对查询图像提取特征 点，对特征点提取图像不变特征，使用本发明的匹配方法进行匹配；对匹配上的特征点进行 后处理得到匹配的图像。
[0016] 以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的基本原 理所做的等效变化或修改，均包括于本发明专利申请范围内。
【权利要求】
1. 一种大规模图像特征点匹配方法，其特征在于包括如下步骤： (1) 训练阶段：通过实现准备大量的、与识别图像无关的自然图像，提取其特征点，得到 一个大规模的特征点集合，在这个集合上训练得到一组聚类中心Mi，i=l…N和一组投影向 量PROJj，j=l…D ; (2) 索引阶段：将欲索引的图像特征点通过所述训练阶段得到的聚类中心和投影向量 进行量化和投影，并通过倒排表将量化和投影结果组织起来，建立索引结构； (3) 匹配阶段：将查询图像特征通过所述训练阶段得到的聚类中心和投影向量进行量 化和投影，并在所述索引阶段中建立的索引结构中查找其匹配对象。
2. 根据权利要求1所述的大规模图像特征点匹配方法，其特征在于，所述步骤（1)包括 如下具体步骤： 1) 准备大量的、与识别图像无关的自然图像； 2) 对上述图像提取图像特征点，并提取图像不变特征，图像不变特征可以是sift，surf 等统计不变特征，或其组合，由此得到一组图像不变特征集合； 3) 对上步得到的图像不变特征集合进行kmeans聚类，得到N个聚类中心，记为Mi， i=l…N，N可以取10k到100k不等； 4) 将上述N个聚类中心，使用kd-tree进行索引，记为KDT ; 5) 随即选取D个单位正交向量，记为PROJj，j=l…D。
3. 根据权利要求1所述的大规模图像特征点匹配方法，其特征在于，所述步骤（2)包括 如下具体步骤： 1) 首先建立N个链表，链表项包含图像特征二进制串和其他元数据； 2) 对于欲索引的每一个图像特征点做以下处理： a. 对每一个图像特征点提取与训练期间相同种类的图像不变特征，记为Fi ; b. 对Fi使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻； c. 使用Fi减去Mi得到残差DIFFi ; d. 对DIFFi使用PROJ j，j=l…D进行投影，得到一个长度为D的投影向量Pi，对这个投 影向量的各个分量进行阈值化处理，得到一个长度为D的二进制串Bi ; e. 将Bi和其它元数据加入到序号为k的链表中。
4. 根据权利要求1所述的大规模图像特征点匹配方法，其特征在于，所述步骤（3)包括 如下具体步骤： 1) 对图像特征点提取与训练期间相同种类的图像不变特征，记为F ; 2) 对F使用KDT进行最近邻检索，得到序号为k，其值为Mk的最近邻； 3) 使用F减去Mi得到残差DIFF ; 4) 对DIFF使用PROJj，j=l…D进行投影，得到一个长度为D的投影向量P，对这个投影 向量的各个分量进行阈值化处理，得到一个长度为D的二进制串B ; 5) 遍历序号为k的链表中，逐一计算B与链表项中的二进制串中的汉明距离，如果距离 小于一定的阈值Thresh，则认为找到一个与查询特征点匹配的图像特征点。
【文档编号】G06K9/64GK104156362SQ201310175932
【公开日】2014年11月19日 申请日期:2013年5月14日 优先权日:2013年5月14日
【发明者】张小军 申请人:视辰信息科技(上海)有限公司