基于词汇树分块聚类的无人机航拍图像匹配的方法

基于词汇树分块聚类的无人机航拍图像匹配的方法
【专利摘要】本发明涉及一种基于词汇树分块聚类的无人机航拍图像匹配的方法，本发明首先以词汇树量化场景中的图像，将图像集中的海量特征建立层次聚类，实现快速的带匹配图像与海量图像集相似性的筛选。实现了快速的场景分类过程，避免了传统方法中逐帧匹配挑选带匹配图像集运算量。其次，该方法对于已经得到具有相似性的两帧图像，建立图像的缩略图并在缩略图下对图像进行粗匹配。随后利用聚类的方法将图像分块，是对由粗到细匹配思想的一次有效的尝试。此外，该发明针对无人机图像数据量大，图像分辨率高和图像重叠率低等数据特性，第一次提出适合无人机海量图像匹配的方法。从而，使得无人机图像匹配的精度和效率有效的提升。通过在PAMView:ProvidenceAerialMultiViewDataset数据库中航拍图像进行测试，验证了发明方法的有效性。
【专利说明】基于词汇树分块聚类的无人机航拍图像匹配的方法

【技术领域】
[0001] 本发明涉及海量航拍图像的匹配方法，具体为一种基于词汇树分块聚类的无人机 航拍图像匹配的方法。

【背景技术】
[0002] 图像匹配是计算机视觉和场景分析领域一个重要的问题，其在图像拼接和三维 重建等领域具有广泛的应用。现有的图像匹配算法主要有：基于kd-tree的最近邻匹配 方法，基于图像块近似匹配方法以及基于哈希表的临近元素检索方法。文献"Computing Nearest-Neighbor Fields via Propagation-Assisted KD-Trees，2012 CVPR" 提出了一 种基于传播方法KD-Trees匹配方法计算两个视角间稠密的匹配关系，旨在两张图像中通 过一张图像恢复出另一张图像的信息。传统的基于树形结构的匹配方法，通常利用KD-Tree 计算特征点之间的最近邻关系，该方法能够通过树形结构统计图像中带匹配特征的分布信 息，然而该方法常常独立的考虑每一组匹配关系，并没有充分利用多个匹配特征对之间的 相互依赖关系。图像块近似匹配方法（PatchMatch)是基于图像的局部一致性假设设计的 图像匹配方法，即若图像1中的区域A与图像2中的区域B已验证具有匹配关系，则在相当 的概率上A的临近区域与B的临近区域也具有相似的匹配关系。这是一个高效且自动的算 法，巧妙的结合了基于树形结构与图像块的两种匹配思想。同时有效的避免了针对树形结 构检索时具有的大量的回溯现象，而有能够提前对图像数据进行整理，回避了图像块匹配 中需要随机采样的算法不稳定性。然而，在无人机航拍领域需要的进行的是特征点之间的 稀疏匹配，且图像间存在大量的旋转与缩放。常常无需完全的得到从一个视角到另一个视 角的完美恢复，而是需要准确的计算同名特征点。因此该算法不能直接应用的无人机航拍 图像匹配的问题中。


【发明内容】

[0003] 要解决的技术问题
[0004] 为了解决该类图像的匹配时存在匹配的速度较慢且匹配的误差较大等的缺点，本 发明提出一种基于词汇树分块聚类的无人机航拍图像匹配的方法。
[0005] 技术方案
[0006] -种基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征在于步骤如下：
[0007] 步骤1 :对航拍图像建立训练集，给每一张图像建立一个独立的IDp提取图像的 SIFT特征集合，将所有图像的特征构建特征集合Feat = {FeatJ ;
[0008] 步骤2 :利用K-Means聚类方法对特征集合Feat = {FeatJ建立有层次的L层聚 类的聚类树，每一层的特征分为k类，节点数为

【权利要求】
1. 一种基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征在于步骤如下： 步骤1 :对航拍图像建立训练集，给每一张图像建立一个独立的IDi，提取图像的SIFT 特征集合，将所有图像的特征构建特征集合Feat = {FeatJ ; 步骤2 :利用K-Means聚类方法对特征集合Feat = {FeatJ建立有层次的L层聚类的 聚类树，每一层的特征分为k类，节点数为
步骤3 :计算每个IDi图像与聚类树中的每一个聚类中心节点匕的权值矩阵：
其中，
为聚类中心节点匕出现在图像IDi中的频数，N为训练集 图像总数，r^_表示节点包含图像总数，矩阵的每一行表示第i张图像对从1到t个聚类中心 节点的相关度权值； 步骤4:将无人机采集到的新的图像作为匹配图像ID，提取匹配图像ID的SIFT特征集 合，计算匹配图像在聚类树中的权值向量
为匹配图 像特征在聚类中心节点匕中出现的频数； 对匹配图像的q逐行计算与训练集图像的IDi的2-范数，用快速排序算法得到距离排 名前20的图像形成待匹配图像集合{IDJ ; 步骤5 :对待匹配图像和匹配图像进行水平与坚直方向上降采样得到缩略图，在待匹 配图像集{IDJ与匹配图像ID的缩略图尺度下，利用SIFT特征构建KD-Tree，采用下式计 算匹配图像与待匹配图像集合中的每个图像IDi的FLANN最近邻特征：
当图像对的特征的最近邻距离与次近邻的距离小于固定阈值时，匹配图像能够与待匹 配图像匹配，对匹配缩略图像的已匹配的特征分别进行k-means聚类，根据聚类类别对图 像特征进行分块，利用下述规则得到匹配缩略图像上第i个聚类的图像块的四个方向的边 界：
其中，X，y分别为第i个特征点的像素的位置，同时对待匹配缩略图像集合中的IDi进 行分块，并映射到原始图像的尺度下； 步骤6 :对能够匹配的图像块在原始图像下构建KD-Tree子树，按照步骤5的方法计算 匹配图像ID与待匹配集合{IDJ每个元素间的特征匹配关系。
2.根据权利要求1所述的基于词汇树分块聚类的无人机航拍图像匹配的方法，其特征 在所述的固定阈值为0.7。
【文档编号】G06F17/30GK104216974SQ201410432326
【公开日】2014年12月17日 申请日期:2014年8月28日 优先权日:2014年8月28日
【发明者】张艳宁, 杨涛, 宋征玺 申请人:西北工业大学