一种基于图像的快速定位方法
【专利摘要】本发明公开了一种基于图像的快速定位方法，该方法包括以下步骤：对于拍摄场景进行三维重建，得到拍摄场景中的三维点及与三维点相对应的二进制描述子；对二进制描述子建立索引；根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。本发明借助三维点云实现基于图像的快速定位，在保持与现有的基于图像的定位方法相当的定位精度的情况下，定位速度比现有定位方法快接近10倍。
【专利说明】一种基于图像的快速定位方法
【技术领域】
[0001]本发明属于图像定位【技术领域】，尤其是一种基于图像的快速定位方法。
【背景技术】
[0002]基于图像的定位在基于位置的服务如:交通导航、广告投放、旅游指南中有着重要的应用。目前基于图像的定位方法主要分为两类:
[0003]第一类是借助图像检索的方法，它要求对场景拍摄一系列图像构成数据库，并为每一幅数据库图像标记地理位置信息。对于一副查询图像，首先从数据库中检索出与之相似的图像，然后利用这些数据库图像的位置信息推断该查询图像的拍摄位置。
[0004]第二类是借助三维点云的方法，它要求预先对场景进行基于图像的三维重建，得到场景的三维点云。对于一副查询图像，首先寻找该图像中二维特征点与三维点云的对应关系，再根据得到的二维三维关系利用Perspective-n-Point (PnP)算法估计拍摄该查询图像的相机的位置和姿态。
[0005]第一类方法借助于现有的图像检索技术已经可以实现大规模(城市级)场景中的定位，但只能得到拍摄查询图像相机的大致位置。而第二类方法利用了三维点与二维点之间严格的几何关系，可以得到拍摄查询图像相机的精确位置，并且能够得到相机的姿态。相机的位置和姿态的精确获取使得基于图像的定位有着更多的应用，比如:增强现实和3D的互动。随着三维重建技术的进步，实现大规模场景(城市级)的三维重建已经成为可能，使得第二类定位方法更加受到欢迎，本发明中的定位方法也属于这一类。
[0006]在第二类方法中，核心的技术是寻找三维点和查询图像中二维特征点的对应关系。这一般被当成一个描述子匹配的问题来处理。具体地，在用图像对场景进行重建的过程中每一个三维点都对应有一系列的二维特征点及其描述子，这些特征点和它们的描述子以及它们与三维点的对应关系被保存于数据库中，在查询时首先提取查询图像中的特征点及其描述子，然后与数据库中的描述子做匹配，找到了匹配的数据库描述子也就找到了对应的三维点。在现有的方法中，特征描述一般采用鲁棒的具有高区分度的SIFT，然而SIFT的提取速度较慢，一副图像往往需要花费上秒的时间，这使得这种定位方法无法满足一些时间要求较苛刻的应用如实时导航等。尤其是这些应用大部分要在计算力较弱的移动平台上实现，更限制了这种方法的使用。
【发明内容】
[0007]为了解决现有方法因采用SIFT特征而速度较慢的问题，本发明提供了一种采用二进制特征的快速定位方法，借助三维点云实现基于图像的定位。
[0008]本发明提出的一种基于图像的定位方法包括以下步骤:
[0009]步骤1，对于拍摄场景进行三维重建，得到所述拍摄场景中的三维点及与三维点相对应的二进制描述子；
[0010]步骤2，对所述二进制描述子建立索引；[0011]步骤3，根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。
[0012]从上述技术方案上看，本发明具有以下有益效果:
[0013]本发明在保持与现有的基于图像的定位方法相当的定位精度的情况下，定位速度比现有定位方法快接近10倍。
【专利附图】
【附图说明】
[0014]图1是本发明基于图像的定位方法的流程图。
[0015]图2是根据本发明一实施例的用单棵随机树为二进制描述子建立索引的示意图。
[0016]图3是根据本发明一实施例的为查询特征点寻找对应三维点的示意图。
【具体实施方式】
[0017]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0018]需要说明的是， 在附图或说明书描述中，相似或相同的部分都使用相同的附图标记。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属【技术领域】中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
[0019]为了使本领域普通技术人员更好的理解本发明，首先对其中的一些概念进行解释性说明:
[0020](I)利用图像进行定位是指计算拍摄该图像的相机的位置和姿态，即计算相机6自由度的外参数，包括一个3X3的旋转矩阵R和一个3维平移向量T。
[0021](2) 二进制特征描述子是对特征点周围一个小像素块的描述，它由一个比特串构成，每一个比特位的值通常由特征点周围一个像素对的亮度大小关系获得。记某一个比特
位的值为V，则
【权利要求】
1.一种基于图像的定位方法，其特征在于，该方法包括以下步骤: 步骤I，对于拍摄场景进行三维重建，得到所述拍摄场景中的三维点及与三维点相对应的二进制描述子； 步骤2，对所述二进制描述子建立索引； 步骤3，根据重建得到的场景的三维点及与三维点相应的二进制描述子和二进制描述子的索引，对于输入的查询图像进行定位。
2.根据权利要求1所述的方法，其特征在于，所述二进制特征描述子是对特征点周围一个小像素块的描述，它由一个比特串构成，每一个比特位的值由特征点周围一个像素对的亮度大小关系获得。
3.根据权利要求1所述的方法，其特征在于，所述步骤I进一步包括以下步骤: 步骤11，拍摄得到覆盖场景的图像序列，提取图像序列中每一幅图像的特征点及描述子; 步骤12，基于提取得到的特征点及描述子，对于图像序列中的每两幅图像进行特征匹配，得到一系列的匹配串，每一个匹配串由多个相互匹配的特征点组成，这些特征点来自于不同的图像但都对应着空间中的同一个三维点； 步骤13，对于所述图像序列进行标定，并估计出每一个匹配串对应的三维点的坐标； 步骤14，对于每一个有效的三维点，为匹配串中与之对应的每一个特征点提取二进制描述子。
4.根据权利要求3所 述的方法，其特征在于，所述步骤11中提取每一幅图像的特征点及描述子的步骤具体为:通过多次下采样得到多幅具有不同分辨率即不同尺度的子图像，提取每一幅子图像上的特征点及其描述子。
5.根据权利要求3所述的方法，其特征在于，所述步骤11提取得到的描述子不限于二进制描述子。
6.根据权利要求1所述的方法，其特征在于，所述步骤2中，通过随机树对所述二进制描述子建立索引。
7.根据权利要求6所述的方法，其特征在于，所述步骤2进一步包括以下步骤: 步骤21，从随机树的根节点出发，对所述二进制描述子进行节点测试，根据测试结果将所述二进制描述子划分到左子节点或右子节点； 步骤22，判断所述二进制描述子所在的节点是否是叶子节点，如果不是则执行步骤21将所述二进制描述子划分至相应的子节点，否则将该二进制描述子存储在该叶子节点中，该叶子节点的序号就是这个二进制描述子的索引值。
8.根据权利要求6所述的方法，其特征在于，所述随机树的结构通过确定非叶子节点上的节点测试来确定，所述非叶子节点的节点测试过程包括以下步骤: 步骤211，从步骤I得到的三维点中随机挑选一组三维点及其所有二进制描述子作为训练样本，所有二进制描述子都位于树的根节点，从根节点出发，进行节点测试，其中，属于同一个三维点的所有描述子既是彼此的最近邻同时又充当彼此的查询描述子； 步骤212，产生一组随机的测试T = {τ}; 步骤213，将每一个测试τ应用到位于当前节点的二进制描述子上，根据测试结果将它们划分在^和^两个集合中，同时将测试τ应用到这些二进制描述子的查询描述子上，并统计查询描述子中与最近邻描述子具有相同测试结果的查询描述子所占的比例r。； 步骤2H，计算损失函数:
9.根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤: 步骤31，提取该查询图像上的查询特征点及其二进制查询描述子； 步骤32，利用所述步骤2得到的二进制描述子的索引将步骤31提取出的二进制查询描述子与所述步骤I得到的二进制描述子进行匹配，得到查询图像上的查询特征点与所述步骤I得到的三维点之间的对应关系； 步骤33，基于查询特征点与所述步骤I得到的三维点之间的对应关系，计算得到查询图像的相机位姿，完成对查询图像的定位。
10.根据权利要求9所述的方法，其特征在于，所述步骤32进一步包括以下步骤: 步骤321，利用随机树得到所述二进制查询描述子的索引值； 步骤322，对于所述步骤321得到的每一个索引值，将它所对应的叶子节点中存储的二进制描述子作为用于匹配的候选描述子； 步骤323，计算所述二进制查询描述子与所有候选描述子之间的距离，找出与之距离最近的候选描述子作为其最近邻描述子，然后在与这个最近邻描述子对应着不同三维点的候选描述子中再找一个距离查询描述子最近的描述子作为次近邻描述子； 步骤324，计算查询描述子与最近邻和次近邻描述子之间的距离的比值，如果该比值大于一定阈值，则认为该查询描述子无对应的匹配，否则认为该查询描述子的匹配就是所述最近邻描述子； 步骤325，将所述最近邻描述子对应的三维点视为与查询特征点对应的三维点。
【文档编号】G06T19/00GK103745498SQ201410019325
【公开日】2014年4月23日 申请日期:2014年1月16日 优先权日:2014年1月16日
【发明者】冯友计, 吴毅红 申请人:中国科学院自动化研究所