专利名称：一种基于视觉定位的虚拟向导构建方法
技术领域：
本发明涉及计算机视觉、计算机图像学和地理信息等领域，尤其涉及ー种基于视觉定位的虚拟向导构建方法。
背景技术：
基于位置服务(Location Based Service,简称LBS)的应用通常使用电信运营商的无线通讯网络或外部定位方式(如全球卫星定位系统，英文简称GPS)获取移动终端的位置信息(地理坐标或大地坐标)，进而在地理信息系统的支持下，为用户提供增值服务。随着移动互联网行业的兴起，基于位置服务的应用得到了飞速发展。LBS能够广泛支持需要动态地理空间信息的应用，包括寻找目的地、急救服务和导航等。在我国，目前电信运营商还无法准确地定位用户的位置，大部分LBS应用使用GPS等外部传感器进行位置定位。但当 前民用GPS精度非常有限(最好情况是30m左右)，同时受限于其本身的固有缺陷，如GPS信号容易被高大建筑物遮挡，室内空间信号微弱等。因此迫切需要新的方法进行精确的空间定位。导航技术是ー种基于位置服务的应用，在民用领域发展迅速，井随着GPS等传感器设备的普及，越来越广泛地应用于我们的生活之中，如基于地图的车载导航定位系统。虽然基于传统地图的导航方式能够使用户获得地理方位的指示，但是这种方式没有将导航信息融入到客观存在的真实世界中，对于用户来说不够清晰与直观，这在一定程度上影响了基于地图导航系统的发展和应用。近年来，利用计算机视觉的方法对图像进行定位成为研究热点，视觉定位平均定位偏差能小于当前民用GPS，同时也不存在信号遮挡等问题，这为解决精确定位问题提供了一种新的思路。许多知名大学和研究机构正在积极开展增强现实场景虚拟向导构建方法的研究，其中精确的空间定位是进行虚拟向导的关键。格拉茨技术大学在手机上实现了视频的自动标注，该系统使用的GPS对用户进行定位，将服务器上对应于该位置的地理信息下载到用户手机上，通过视觉特征匹配将地理信息标注到视频的合适位置之上。奥地利维也纳技术大学实现了一个增强现实场景的虚拟导航系统，该系统需要场景的地理模型，并通过用户交互的方法将该地理模型覆盖到真实世界物体之上，以此来获得虚拟信息和真实世界之间的对应关系，然后根据模型的地理信息映射，在视频上标出相关的地理信息，并进行虚拟向导。华盛顿大学提出了ー种使用空间推理进行地标导航的方法，该方法使用GPS对用户进行定位，使用地理信息系统进行路径规划，并以地标图像、文本指令和路径标示等形式来显示导航結果。通过分析和总结国内外现状可知，目前涉及的虚拟向导方法，经常利用GPS等传感器获得位置信息，但由于其固有的缺陷，限制了方法的精度和应用。
发明内容
针对上述技术问题，本发明提供了ー种基于视觉定位的虚拟向导构建方法。本发明通过对基于现实场景的多个图像进行分析，获得了现实场景的三维点云模型，利用输入图像的特征点与现实场景的结构点进行匹配，判断出输入图像在三维点云模型中的当前位置，从而计算得到从输入图像的当前位置到达目标位置的路径。本发明不需要利用GPS定位，可以实现对输入图像的精确定位。
本发明提供的技术方案为ー种基于视觉定位的虚拟向导构建方法，包括以下步骤步骤一、获取基于现实场景的多个图像，从所述多个图像中的每ー个图像均提取若干特征点；步骤ニ、将所述每ー个图像的每ー个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，由此得到多个彼此之间相互匹配的特征点集，每个特征点集被识别为现实场景的ー个结构点，并将每个特征点集所包含的特征点的视觉特征量计算结构点的视觉特征显，由此得到多个结构点，并以所述多个结构点构建三维点云模型；步骤三、从输入图像上提取若干特征点，逐个选择所述步骤ニ得到的多个结构点，且每ー个被选择的结构点与所述输入图像的若干特征点逐个进行视觉特征量的匹配，由此得到η个匹配的结构点，根据所述η个匹配的结构点计算所述输入图像在所述三维点云模型中的当前位置。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤ニ中的得到多个彼此之间相互匹配的特征点集是通过以下方式实现的当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为ー个特征点集，并将特征点集识别为现实场景的ー个结构点，其中，α >2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量；继续匹配直到得到所有的彼此之间相互匹配的特征点集。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述任ー个图像具有至少ー个标注区域，所述标注区域对应有标注信息，则将所述图像内的标注区域的标注信息作为位于该标注区域的特征点的标注信息；所述步骤ニ中，当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为ー个特征点集，并将特征点集识别为现实场景的ー个结构点，其中，α >2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量，还将上述α个特征点的标注信息作为与上述α个特征点对应的结构点的标注信息；继续匹配直到得到所有的彼此之间相互匹配的特征点集，由此得到多个结构点，再将所述多个结构点中，具有相同标注信息的结构点构成ー个结构点集合，且将各结构点集合内的结构点再拟合成β个结构平面，由此得到多个结构平面；所述步骤三是通过以下过程实现的，从输入图像上提取若干特征点，逐个选择每ー个结构平面进行匹配，在对第一个结构平面进行匹配吋，逐个选择所述当前结构平面内的结构点，且每ー个结构点与所述输入图像内的若干特征点逐个进行视觉特征量的匹配，由此得到在当前结构平面上的m个匹配的结构点，继续选择下ー个结构平面进行匹配。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，对任ー个结构平面进行匹配，是通过以下过程实现的，(a)依照优先级从高到低的顺序选择当前结构平面内的k个结构点，每ー个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，当所述k个结构点中匹配的结构点的个数满足第二阈值，则进行步骤(b)，否则停止对当前结构平面的匹配，继续选择下一个结构平面进行匹配，(b)依照优先级从高到低的顺序选择当前结构平面内的结构点，每ー个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，由此得到m个匹配的结构点。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤三中，在所述输入图像内的与当前结构平面的m个结构点相匹配的特征点构成ー识别区域，将所述当前结构平面的标注信息作为该识别区域的标注信息。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤三之后还包括有步骤四、在所述三维点云模型中以所述多个图像构建路径网络；
步骤五、向所述三维点云模型中输入目标位置，以所述输入图像在所述三维点云模型中的当前位置计算在所述路径网络内由所述输入图像的当前位置到所述目标位置的路径。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，在所述三维点云模型中以所述多个图像构建路径网络是通过以下方式实现的，计算每两个图像之间具有匹配的视觉特征量的特征点的个数，当两个图像之间具有匹配的视觉特征量的特征点的个数满足第一阈值时，则两个图像在所述三维点云模型中的位置之间连通有路径，其中，所述图像在所述三维点云模型中的位置为拍摄所述图像的相机在所述三维点云模型中的位置；所述步骤三中，所述输入图像在所述三维点云模型中的当前位置为根据η个匹配的结构点计算的拍摄所述输入图像的相机在所述三维点云模型中的当前位置。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，根据所述η个匹配的结构点的视觉特征量计算拍摄所述输入图像的相机的姿态信息。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述步骤五之后还包括有步骤六、根据拍摄所述输入图像的相机的姿态信息，在所述输入图像上绘制所述输入图像由当前位置到目标位置的路径的行进方向。优选的是，所述的基于视觉定位的虚拟向导构建方法中，所述目标位置通过所述标注区域的标注信息识别。本发明所述的基于视觉定位的虚拟向导构建方法通过对基于现实场景的多个图像进行分析，获得了现实场景的三维点云模型，利用将输入图像的特征点与现实场景的结构点进行匹配，判断出输入图像在三维点云模型中的当前位置，从而计算得到从输入图像的当前位置到达目标位置的路径。本发明不需要利用GPS定位，可以实现对输入图像的精确定位，且定位速度快，从定位到给出路径的处理时间少于I秒。本发明将被识别的建筑物的标注信息绘制于输入图像上，并在输入图像上绘制出用于指示行进路径的箭头，对于导航结果的展示更加直观。
图I为本发明的总体系统结构示意图；图2为本发明所述的基于标注信息的结构平面拟合的流程图；图3为本发明所述的场景压缩的流程图；图4为本发明所述的基于结构平面的输入图像定位算法的流程图；
图5为本发明所述的系统多线程流程和数据关系图；图6为本发明所述的在输入图像内的场景地理信息自动标注的流程图；图7为本发明所述的场景路径网络稀疏化算法的流程图。
具体实施例方式下面结合附图对本发明做进ー步的详细说明，以令本领域技术人员參照说明书文字能够据以实施。本发明提供ー种基于视觉定位的虚拟向导构建方法，包括以下步骤步骤一、获取基于现实场景的多个图像，从所述多个图像中的每ー个图像均提取若干特征点；步骤ニ、将所述每ー个图像的每ー个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，由此得到多个彼此之间相互匹配的特征点集，每个特征点集被识别为现实场景的ー个结构点，并将每个特征点集所包含的特征点的视觉特征量计算结构点的视觉特征量，由此得到多个结构点，并以所述多个结构点构建三维点云模型；步骤三、从输入图像上提取若干特征点，逐个选择所述步骤ニ得到的多个结构点，且每ー个被选择的结构点与所述输入图像的若干特征点逐个进行视觉特征量的匹配，由此得到η个匹配的结构点，根据所述η个匹配的结构点计算所述输入图像在所述三维点云模型中的当前位置。所述的基于视觉定位的虚拟向导构建方法中，所述步骤ニ中的得到多个彼此之间相互匹配的特征点集是通过以下方式实现的当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为ー个特征点集，并将特征点集识别为现实场景的ー个结构点，其中，α >2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量；继续匹配直到得到所有的彼此之间相互匹配的特征点集。所述的基于视觉定位的虚拟向导构建方法中，所述任ー个图像具有至少ー个标注区域，所述标注区域对应有标注信息，则将所述图像内的标注区域的标注信息作为位于该标注区域的特征点的标注信息；所述步骤ニ中，当位于α个图像上的α个特征点彼此相互匹配时，则将上述α个特征点作为ー个特征点集，并将特征点集识别为现实场景的ー个结构点，其中，α >2，将上述α个特征点的视觉特征量的平均值作为与上述α个特征点对应的结构点的视觉特征量，还将上述α个特征点的标注信息作为与上述α个特征点对应的结构点的标注信息；继续匹配直到得到所有的彼此之间相互匹配的特征点集，由此得到多个结构点，再将所述多个结构点中，具有相同标注信息的结构点构成ー个结构点集合，且将各结构点集合内的结构点再拟合成β个结构平面，由此得到多个结构平面；所述步骤三是通过以下过程实现的，从输入图像上提取若干特征点，逐个选择每ー个结构平面进行匹配，在对第一个结构平面进行匹配吋，逐个选择所述当前结构平面内的结构点，且每ー个结构点与所述输入图像内的若干特征点逐个进行视觉特征量的匹配，由此得到在当前结构平面上的m个匹配的结构点，继续选择下ー个结构平面进行匹配。所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，对任ー个结构平面进行匹配，是通过以下过程实现的，(a)依照优先级从高到低的顺序选择当前结构平面内的k个结构点，每ー个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，当所述k个结构点中匹配的结构点的个数满足第二阈值，则进行步骤(b)，否则停止对当前结构平面的匹配，继续选择下ー个结构平面进行匹配，(b)依照优先级从高到低的顺序选择当前结构平面内的结构点，每ー个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，由此得到m个匹配的结构点。所述的基于视觉定位的虚拟向导构建方法中，所述步骤三中，在所述输入图像内的与当前结构平面的m个结构点相匹配的特征点构成ー识别区域，将所述当前结构平面的标注信息作为该识别区域的标注信息。所述的基于视觉定位的虚拟向导构建方法中，所述步骤三之后还包括有 步骤四、在所述三维点云模型中以所述多个图像构建路径网络；步骤五、向所述三维点云模型中输入目标位置，以所述输入图像在所述三维点云模型中的当前位置计算在所述路径网络内由所述输入图像的当前位置到所述目标位置的路径。所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，在所述三维点云模型中以所述多个图像构建路径网络是通过以下方式实现的，计算每两个图像之间具有匹配的视觉特征量的特征点的个数，当两个图像之间具有匹配的视觉特征量的特征点的个数满足第一阈值时，则两个图像在所述三维点云模型中的位置之间连通有路径，其中，所述图像在所述三维点云模型中的位置为拍摄所述图像的相机在所述三维点云模型中的位置；所述步骤三中，所述输入图像在所述三维点云模型中的当前位置为根据η个匹配的结构点计算的拍摄所述输入图像的相机在所述三维点云模型中的当前位置。所述的基于视觉定位的虚拟向导构建方法中，所述步骤四中，根据所述η个匹配的结构点的视觉特征量计算拍摄所述输入图像的相机的姿态信息。所述的基于视觉定位的虚拟向导构建方法中，所述步骤五之后还包括有步骤六、根据拍摄所述输入图像的相机的姿态信息，在所述输入图像上绘制所述输入图像由当前位置到目标位置的路径的行进方向。所述的基于视觉定位的虚拟向导构建方法中，所述目标位置通过所述标注区域的标注信息识别。本发明提供ー种基于视觉定位的虚拟向导构建方法，參阅图I为本发明的总体系统结构示意图，本发明提出的方法总体上包括两个部分数据预处理部分和实时处理部分。数据预处理部分主要是用来建立地理信息库。在拥有300张图像的场景中，使用普通桌面计算机构建地理信息库的时间开销大概在2天左右。该部分包括以下几个步骤基于现实场景的无序图像进行三维重建，得到现实场景的三维点云模型；通过对图像进行交互式地标注，得到图像特征的ニ维标注信息，井根据结构点和图像特征的对应关系，将该标注信息由ニ维映射到三维之上，得到带有标注信息的三维点云模型；在标注信息对应的结构点集合中进行迭代的平面拟合，得到场景模型的主要的结构平面，基于结构平面对结构点的标注信息进行优化，构建现实场景的地理信息模型。
实时处理部分主要是针对输入图像的导航请求，快速地给出输入图像的地理标注信息和虚拟向导，该部分的平均处理时间能小于I秒。该部分包括以下儿个步骤在接收到用户的输入图像请求之后，通过提取输入图像的特征点以及视觉特征量，将视觉特征量建成ー棵查找树；基于现实场景的结构平面，将现实场景的地理模型在输入图像的视觉特征空间中进行查找匹配，然后使用这些满足匹配条件的特征点计算得到输入图像的相机參数，获得用户的当前位置；将现实场景的地理模型投影到输入图像的相机的视景体之内，映射得到输入图像的地理标注信息；基于图像素材库图像之间的匹配关系得到图像之间的路径连通图，通过稀疏化之后得到场景模型的路径网络图；基于用户的当前位置、目标位置采用最短路径算法进行路径规划，得到一条最优路径；最后使用全局导航视角的方式或者增强显示视角的方式显示路径导航結果。在数据预处理部分，首先基于现实场景的图像构建三维点云模型，即对图像素材库内的图像进行三维重建。本发明的图像素材库内包括有300个图像，但本发明的方法并不仅限于300个图像。其中，现实场景的三维点云模型简称为场景模型。本发明采用的三维重建方法主要包括三个阶段第一阶段是视觉特征提取，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度变化无关视觉特征量=SIFT ;第二个阶段是SIFT特征匹配，通过对库中图像两两之间的匹配，将相似的视觉特征量组织成一系列匹配轨道，其中，一个匹配轨道对应于现实场景中的一个实际的三维点(以下称为结构点)；第三个阶段使用运动结构(Structure From Motion)的方法,计算得到结构点的三维空间坐标和图像素材库中各图像的相机參数，所有的结构点的集合构成现实场景的三维点云模型。在三维重建过程中，本发明优选的是以SIFT视觉特征量作为图像的视觉特征，实际上，也可以采用其他的图像特征提取方法。三维重建的具体实施过程为，将300个图像的每ー个图像的每ー个特征点与位于其他图像上的特征点进行匹配，当位于α个图像上的α个特征点具有匹配的视觉特征量吋，则将上述α个特征点识别为现实场景的ー个结构点，其中，α >2，得到多个结构点。图像素材库内的300个图像中任一图像与其他图像中至少ー个图像之间具有重合的标注区域。由于本发明中是通过运动结构的方法确定结构点的三维空间坐标的，因此，对于同一标注区域至少要同时出现在两个图像内，才可以对该标注区域实现结构点的识别与计算。本发明的图像素材库内的图像是由用户自己拍摄并上传至网站的。因此本发明设计并提供了ー个交互式的地理信息标注工具，用户可以使用这个工具自由地在图像中勾勒出特定的区域，并标注出该区域的地理信息，同时也可以指定与其相关的其它属性信息，最终，在图像素材库的每一个图像上均具有至少ー个标注区域，每ー个标注区域对应有标注信息。在多数情况下，标注区域一般对应着在现实场景中容易识别的建筑物，对于用户而言，也倾向于标注在图像上出现的建筑物。在图像标注过程中，用户可以标出图像中的任意对象而无需苛求对象的精确轮廓，并给予被标出对象标注信息，而用户提供的这些信息也就成为了图像素材库地理信息的来源，通过对上述标注信息的挖掘、统计和优化，就可以得到该图像素材库相对应的地理信息。具体而言，用户使用标注工具进行交互式标注的步骤如下(I)打开图像序列用户打开一段视频序列，序列中的ー帧就会显示到主窗口中，用户就可以对这ー帧图片进行结构分析标注，或者选择拖动滚动条或输入图像序号跳到其他图像进行结构分析标注。(2)勾勒对象轮廓本发明所设计的交互式的标注工具提供了画笔功能，用户能通过画笔在图像中勾勒出建筑的轮廓。在勾勒时，用户用鼠标左键点击图片作为勾勒的起点，然后依次用鼠标左键围绕对象画点，最后用鼠标右键结束勾勒，图片上就会自动形成一个封闭的多边形轮廓。(3)指定对象名称在勾勒完对象的轮廓后，会自动弹出对象名称指定窗ロ，用户输入该轮廓对象所对应的名称即可。(4)填充其它信息标注与该对象相关的其它信息，比如备注信息，超链接等。(5)保存标注結果用户可以不断选择所关注的对象进行标注，直到图像序列中所有对象都标注完成，在标注完成后可以选择保存标注信息，该图像标注信息所对应的工程文件会以XML形式保存，方便下次继续对该图像序列进行标注。用户对图像进行交互式标注之后，将会得到ー个“.label”标注文件，该文件存放该图像中每个标注信息的索引及其标注区域的点序列，即每ー个图像都存在有ー个label”标注文件。为确定结构点的视觉特征量和标注信息，则需要确定图像的特征点的视觉特征量和标注信息。判断图像的特征点的标注信息的过程为，“.label”标注文件内保存有标注区域的 点序列，在读取图像的标注文件时，判断当前图像的某ー特征点是否位于某ー标注区域内，如果是，则将该特征点的标注信息记为该标注区域的标注信息的索引。对所有的图像重复上述过程，可以获得图像素材库内所有图像的特征点的标注信息。如前文所述，一个匹配轨道对应于现实场景中的一个结构点，一个结构点可以看成是匹配轨道上所有特征点的聚类，因此，可以通过匹配轨道上所有的特征点的信息来描述其对应的结构点的信息。判断结构点的标注信息和视觉特征量的过程为，结构点Pi对应于匹配轨道上的η个特征点，该结构点的视觉特征量deSCriptorp和标注信息Iabelp可以分别由这η个特征点计算获得。值得指出的是，对于同一个结构点而言，不同的特征点一定是位于不同的图像上。对于结构点Pi的视觉特征量，本发明采用匹配轨道上特征点的视觉特征量的离散期望值来描述
I 其中，desciptori为特征点的视觉特征量。对于结构点Pi的标注信息，采用匹配轨道上投票的方法来计算结构点的标注信息。设得票数最多的标注信息为Iabelk,且票数为Numk,若Numk大于ー个设定的阈值threshholdm,则将Iabelk记为该结构点的标注信息的计算过程为
IaDelk，if Nnmk > threshholdm, Numk = max I Num(label,_) }IabeJp = <'Α·=1 …n
-I , otherwise对于同一匹配轨道上的不同图像的特征点，可能会出现所对应的标注信息不一致的情况；尤其是位于标注区域的边缘位置的特征点，更容易出现上述情況。因此，将出现次数最多的标注信息作为结构点的标注信息。地理信息库的现实场景对象大部分为建筑物，且建筑物具有容易识别和标记的特点。在将标注信息映射到到三维点云模型之后，可以通过统计获得每个标注信息的结构点集合，即将具有相同的标注信息的结构点构成ー个结构点集合，该结构点集合就是某个建筑物的结构点集合。本发明中主要以建筑物作为输入图像的识别依据。由于ー个建筑物可以看作是由若干个平面组合而成，因此只须将与某一建筑物对应的结构点集合的结构点中拟合出主要的结构平面即可。由于建筑物前方物体遮挡、误匹配等原因会造成异常结构点数据，异常结构点数据通常具有随机性，表现为局部极值跳跃，常用的平面拟合方法如最小二乗法、特征值法虽然考虑了数据的误差因素，但是无法剔除上述异常结构点数据。
參阅图2本发明中基于标注信息的结构平面拟合的流程图，本发明采用随机抽样一致化(RASAC)方法来拟合结构平面，井能同时去除异常数据。结构平面拟合步骤如下(1)从某标注Iabeli的结构点集合S ^中随机抽取3个结构点，计算其构成的平面方程Planei ； (2)计算Si其它点到Planei的距离も，给定ー个阈值threshhold,若d j< threshhold,则认为该点在Planei上,统计得出Planei上的所有点集合Plane_Seti及该集合点的数目Cnti ; (3)通过设定一个迭代次数num，反复迭代运行步骤(I)和步骤(2)，在毎次计算的Cnti得到ー个最大点数目cntm，设其对应的平面方程为Planem，其平面点集合为Plaru^Seti,若cntm小于ー个阈值，该拟合出来的平面点的数目过少，说明该平面Planem的点云属于遮挡物，则平面拟合算法结束，退出；否则Planem即为该建筑物的一个拟合平面，同时求出该平面点集的包围盒Bounding-boxm ； (4)在现实场景的三维点云模型中，若结构点在平面Planem内，即结构点到平面距离小于threshhold,且该结构点位于包围盒Bounding_boxm之内，则将该结构点的标注设置为Iabeli ； (5) Si+1 = Seti-Plane-Seti,运行步骤(I)，即将不在拟合平面PlamSeti内的点集合迭代地重新进行平面拟合。在图像素材库中，要能快速定位出输入图像在场景模型中的位置，应该选择该输入图像中较为独特的图像特征，因为这些图像特征的信息量较大、区分度较强，能以较少的匹配特征判断出图像的位置。通过给每个结构点定义ー个优先级，来表达某ー图像特征对于场景模型位置的重要性。优先级越高的图像特征，表示该图像特征越重要，在输入图像定位时能优先匹配。上述的图像特征也就是SIFT视觉特征量。通过计算每个结构点的TF-IDF值作为其优先级，以此来寻找场景模型中最有代表性的图像特征，优先使用这些图像特征进行匹配，以达到快速定位的目的。结构点Pi的IDF值为结构点Pi的图像特征在整个图像素材库中出现的次数freq(Pi)(也就是与结构点Pi对应的特征点在整个图像素材库中出现的次数)，包括真实匹配和伪匹配。在三维重建方法中，在图像两两匹配之后，直接将相似的视觉特征显组织成匹配轨道，设Pi对应的匹配轨道中的图像特征的个数为full_traCk(Pi)，图像素材库中图像的总数为|D|，则
权利要求
1.ー种基于视觉定位的虚拟向导构建方法，其特征在于，包括以下步骤 步骤一、获取基于现实场景的多个图像，从所述多个图像中的每ー个图像均提取若干特征点； 步骤ニ、将所述每ー个图像的每ー个特征点与位于其他图像上的所有特征点进行视觉特征量的匹配，由此得到多个彼此之间相互匹配的特征点集，每个特征点集被识别为现实场景的一个结构点，并将每个特征点集所包含的特征点的视觉特征量计算结构点的视觉特征量，由此得到多个结构点，并以所述多个结构点构建三维点云模型； 步骤三、从输入图像上提取若干特征点，逐个选择所述步骤ニ得到的多个结构点，且每一个被选择的结构点与所述输入图像的若干特征点逐个进行视觉特征量的匹配，由此得到n个匹配的结构点，根据所述n个匹配的结构点计算所述输入图像在所述三维点云模型中的当前位置。
2.如权利要求I所述的基于视觉定位的虚拟向导构建方法，其特征在干， 所述步骤ニ中的得到多个彼此之间相互匹配的特征点集是通过以下方式实现的当位于a个图像上的a个特征点彼此相互匹配时，则将上述a个特征点作为ー个特征点集，并将特征点集识别为现实场景的ー个结构点，其中，a >2，将上述a个特征点的视觉特征量的平均值作为与上述a个特征点对应的结构点的视觉特征量；继续匹配直到得到所有的彼此之间相互匹配的特征点集。
3.如权利要求2所述的基于视觉定位的虚拟向导构建方法，其特征在干， 所述任ー个图像具有至少ー个标注区域，所述标注区域对应有标注信息，则将所述图像内的标注区域的标注信息作为位于该标注区域的特征点的标注信息； 所述步骤ニ中，当位于a个图像上的a个特征点彼此相互匹配时，则将上述a个特征点作为ー个特征点集，并将特征点集识别为现实场景的ー个结构点，其中，a >2，将上述a个特征点的视觉特征量的平均值作为与上述a个特征点对应的结构点的视觉特征量,还将上述a个特征点的标注信息作为与上述a个特征点对应的结构点的标注信息；继续匹配直到得到所有的彼此之间相互匹配的特征点集，由此得到多个结构点，再将所述多个结构点中，具有相同标注信息的结构点构成ー个结构点集合，且将各结构点集合内的结构点再拟合成P个结构平面，由此得到多个结构平面； 所述步骤三是通过以下过程实现的， 从输入图像上提取若干特征点，逐个选择每ー个结构平面进行匹配，在对第一个结构平面进行匹配吋，逐个选择所述当前结构平面内的结构点，且每ー个结构点与所述输入图像内的若干特征点逐个进行视觉特征量的匹配，由此得到在当前结构平面上的m个匹配的结构点，继续选择下ー个结构平面进行匹配。
4.如权利要求3所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤四中，对任ー个结构平面进行匹配，是通过以下过程实现的， (a)依照优先级从高到低的顺序选择当前结构平面内的k个结构点，每ー个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，当所述k个结构点中匹配的结构点的个数满足第二阈值，则进行步骤(b)，否则停止对当前结构平面的匹配，继续选择下ー个结构平面进行匹配， (b)依照优先级从高到低的顺序选择当前结构平面内的结构点，每ー个被选择的结构点与所述输入图像内的若干特征点逐个进行匹配，由此得到m个匹配的结构点。
5.如权利要求4所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤三中，在所述输入图像内的与当前结构平面的m个结构点相匹配的特征点构成ー识别区域，将所述当前结构平面的标注信息作为该识别区域的标注信息。
6.如权利要求3所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤三之后还包括有 步骤四、在所述三维点云模型中以所述多个图像构建路径网络； 步骤五、向所述三维点云模型中输入目标位置，以所述输入图像在所述三维点云模型中的当前位置计算在所述路径网络内由所述输入图像的当前位置到所述目标位置的路径。
7.如权利要求6所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤四中，在所述三维点云模型中以所述多个图像构建路径网络是通过以下方式实现的， 计算每两个图像之间具有匹配的视觉特征量的特征点的个数，当两个图像之间具有匹配的视觉特征量的特征点的个数满足第一阈值时，则两个图像在所述三维点云模型中的位置之间连通有路径，其中，所述图像在所述三维点云模型中的位置为拍摄所述图像的相机在所述三维点云模型中的位置； 所述步骤三中，所述输入图像在所述三维点云模型中的当前位置为根据n个匹配的结构点计算的拍摄所述输入图像的相机在所述三维点云模型中的当前位置。
8.如权利要求7所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤四中，根据所述n个匹配的结构点的视觉特征量计算拍摄所述输入图像的相机的姿态信息。
9.如权利要求8所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述步骤五之后还包括有 步骤六、根据拍摄所述输入图像的相机的姿态信息，在所述输入图像上绘制所述输入图像由当前位置到目标位置的路径的行进方向。
10.如权利要求6 9中任一项所述的基于视觉定位的虚拟向导构建方法，其特征在于，所述目标位置通过所述标注区域的标注信息识别。
全文摘要
本发明公开了一种视觉定位的虚拟向导构建方法。本发明所述的基于视觉定位的虚拟向导构建方法通过对基于现实场景的多个图像进行分析，获得了现实场景的三维点云模型，利用输入图像的特征点与现实场景三维点云模型中的结构点进行匹配，判断出输入图像在三维点云模型中的当前位置，从而计算得到从输入图像的当前位置到达目标位置的路径。本发明不需要利用GPS定位，可以实现对输入图像的精确定位，且定位速度快，从定位到给出路径的处理时间少于1秒。本发明将被识别的建筑物的标注信息绘制于输入图像上，并在输入图像上绘制出用于指示行进路径的箭头，对于导航结果的展示更加直观。
文档编号G06F17/30GK102867057SQ20121034548
公开日2013年1月9日 申请日期2012年9月17日 优先权日2012年9月17日
发明者陈小武, 赵沁平, 宋亚斐, 颜勇, 穆珺 申请人:北京航空航天大学