智能移动终端的室内定位方法、装置与电子设备与流程

本发明涉及智能定位技术领域，更具体地，涉及一种智能移动终端的室内定位方法、装置与电子设备。

背景技术：

当前室外gnss定位已经足以提供成熟的服务，但室内定位技术仍处于起步阶段，尚没有一种技术占据绝对的优势。智能手机导航和位置服务已经成为最常用的智能手机应用之一，但是室内空间未能无缝覆盖成为智能手机应用的最大痛点。目前基于智能手机的室内定位技术的种类众多，主要利用射频信号和内置传感器实现，包括惯性pdr、射频信号(wifi、蓝牙)指纹/测距定位、视觉定位等。

惯性pdr利用行人跨步的生理特性，通过加速度计数据对行人进行步态检测和步长估计，并通过融合加速度计、陀螺仪和磁力计数据进行航向角解算，最终实现行人的位置推算。也即，主要利用加速度计来探测步数，再结合步长估计与航向估计，进行位置估计。

基于射频信号的定位，主要是利用可与智能手机兼容的wifi、蓝牙等信号进行定位，一般可分为指纹匹配定位和测距交会定位两种。指纹匹配定位通过建立与位置相关的可测量参数数据库，将测量值与数据库进行匹配，从而获取位置信息。测距定位则通过测量射频信号接收机和基站之间的距离，利用几何交会的方法确定智能手机的位置。

基于视觉的室内定位主要分为两个方向，一是借助视觉标志物进行室内定位，如二维码、机器视觉识别路标等；另一种主要基于图像检索的室内定位，通过精确检索后，将问询图像最佳匹配的图像所指向的场景确定为用户所在场景。

然而，基于射频信号的定位方式，容易受到复杂室内环境的干扰和非视距误差的影响等，稳定性能差，而且往往需要架设基站或建立指纹数据库，限制了应用场景。惯性pdr通过内置传感器实现自主导航，关键在于航向估计，但由于室内环境磁干扰相当严重，很难准确估计航向，同时pdr是相对定位，航向误差会导致整条航迹的旋转。

基于视觉的定位方法定位精度高且能够提供丰富的场景信息，因此避免了无线信号受非视距误差的影响，且能够与智能手机更好的兼容，成为众多室内定位方式中消费级应用较为新颖的一种模式。但是，其定位需要提前布设标志物和获取标志物的地理位置信息，必须在室内各个场景张贴路标，其实是一种标识识别，并不能利用丰富的图像信息。同时，基于图像检索的室内定位通过将图片信息与场景位置数据库关联，并对图像和位置进行标注，位置信息数据库同样需要人工采集，工作方式费时费力，且无法得到准确的位置和姿态信息。

技术实现要素：

为了克服上述问题或者至少部分地解决上述问题，本发明实施例提供一种智能移动终端的室内定位方法、装置与电子设备，用以更准确的实现目标定位，并有效扩展适用范围。

第一方面，本发明实施例提供一种智能移动终端的室内定位方法，包括：

获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对所述室内图像进行目标检测，获取包含目标物体的图像；

获取所述包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取所述包含目标物体的图像对应的位姿信息；

基于所述位姿信息，对所述智能移动终端进行室内定位；

其中，所述目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，所述特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。

进一步的，在所述进行图像特征点匹配的步骤之前，本发明实施例的方法还包括：

构建所述移动测量系统，搭载多线激光、全景相机、惯性导航设备和同步控制器，并利用所述移动测量系统，采集室内场景的三维点云数据和影像数据；

基于所述三维点云数据和影像数据，利用多传感器融合的slam算法，计算所述影像数据对应的绝对位姿；

基于所述影像数据对应的绝对位姿和相机内参信息，计算约定描述子的视觉特征点，并基于所述约定描述子的视觉特征点，依次进行特征点匹配、特征点三角化和光束平差运算，获取所述视觉特征点的三维坐标；

基于所述三维坐标，得到已知三维坐标的视觉特征点，并基于所述已知三维坐标的视觉特征点，构建所述特征点数据库。

进一步的，在所述对所述室内图像进行目标检测的步骤之前，本发明实施例的方法还包括：

采集室内场景中给定量的可识别目标的图像数据，并对所述可识别目标的图像数据进行目标图像标注，构成训练样本；

初始化构建目标检测初始模型，并利用所述训练样本，对初始化的目标检测初始模型进行循环迭代训练，获取所述目标检测模型。

其中可选的，所述目标检测模型具体为mask-rcnn实例分割模型、特征匹配算法模型、词典模型或者深度信念网络模型。

其中可选的，具体采用pnp算法进行所述包含目标物体的图像的位姿解算，相应的，所述获取所述包含目标物体的图像对应的位姿信息的步骤具体包括：

将所述包含目标物体的图像的特征点信息与所述特征点数据库中各特征点进行sift特征匹配，获取匹配的2d-3d关键点对和描述子数组；

随机选取至少六组2d-3d关键点对，利用pnp算法中的dlt算法，根据选取的2d-3d关键点对和所述描述子数组，求解投影矩阵，并利用所述投影矩阵，计算其余未被选取的3d点相对应的2d点坐标，并求取计算出的2d点与所述未被选取的3d点对应的原始2d点间的位置误差，以通过判断所述位置误差是否在设定阈值范围内，求取选取的2d-3d关键点对的内点个数；

循环执行所述随机选取至少六组2d-3d关键点对至所述求取选取的2d-3d关键点对的内点个数的步骤，直至循环次数达到设定总次数，获取内点个数最多的一组2d-3d关键点对，并根据内点个数最多的一组2d-3d关键点对，生成所述智能移动终端的位置结果矩阵。

其中可选的，当采用mask-rcnn实例分割模型时，所述对所述室内图像进行目标检测的步骤具体包括：

利用mask-rcnn网络中的卷积网络层和区域建议网络层，处理所述室内图像，获取初始特征图；

利用mask-rcnn网络中的roi-align网络层，对所述初始特征图进行区域特征聚类分析，并对聚类结果分别进行卷积操作、全连接操作及分类处理，获取所述目标物体在所述室内图像中的位置及对所述目标物体的分类结果；

基于所述分类结果和所述在所述室内图像中的位置，利用mask-rcnn网络中的全连接层，输出所述目标物体的掩码图像。

其中可选的，所述对所述智能移动终端进行室内定位的步骤具体包括：

利用dlt-ransac算法，根据多个特征点数据库生成多个位置结果，组成3*n的所述位置结果矩阵，并删除所述位置结果矩阵中全为0的行；

根据删除全0行后的位置结果矩阵，利用kmeans聚类算法将所述位置结果矩阵中的数据聚类成两类，并对元素较多的一个分类中的各元素取平均值，作为所述智能移动终端的定位位置。

第二方面，本发明实施例提供一种智能移动终端的室内定位装置，包括：

目标检测模块，用于获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对所述室内图像进行目标检测，获取包含目标物体的图像；

特征匹配模块，用于获取所述包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取所述包含目标物体的图像对应的位姿信息；

定位输出模块，用于基于所述位姿信息，对所述智能移动终端进行室内定位；

其中，所述目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，所述特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上第一方面所述的智能移动终端的室内定位方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机指令，所述计算机指令被计算机执行时，实现如上第一方面所述的智能移动终端的室内定位方法的步骤。

本发明实施例提供的智能移动终端的室内定位方法、装置与电子设备，通过利用事先建立的目标检测模型，先对智能移动终端拍摄的图像进行目标检测，再根据检测出的包含目标物体的图像，利用事先构建好的特征点数据库，进行特征点匹配，得到智能移动终端的位姿信息，并据此进一步确定智能移动终端的室内定位，能够更准确的对目标物体进行识别，实现智能移动终端的准确定位，并能有效扩展适用范围。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的智能移动终端的室内定位方法的流程示意图；

图2为根据本发明实施例提供的智能移动终端的室内定位方法中mask-rcnn网络的结构示意图；

图3为根据本发明实施例提供的智能移动终端的室内定位方法中sift特征匹配算法的流程示意图；

图4为根据本发明实施例提供的智能移动终端的室内定位方法中dlt-ransac算法的流程示意图；

图5为根据本发明实施例提供的智能移动终端的室内定位方法中利用多个特征文件进行定位的流程示意图；

图6为本发明另一实施例提供的智能移动终端的室内定位方法的流程示意图；

图7为本发明实施例提供的智能移动终端的室内定位装置的结构示意图；

图8为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例的一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本发明实施例针对现有技术定位不准确、定位过程复杂以及适用性不够广的问题，通过利用事先建立的目标检测模型，先对智能移动终端拍摄的图像进行目标检测，再根据检测出的包含目标物体的图像，利用事先构建好的特征点数据库，进行特征点匹配，得到智能移动终端的位姿信息，并据此进一步确定智能移动终端的室内定位，能够更准确的对目标物体进行识别，实现智能移动终端的准确定位，并能有效扩展适用范围。以下将具体通过多个实施例对本发明实施例进行展开说明和介绍。

图1为本发明一实施例提供的智能移动终端的室内定位方法的流程示意图，如图1所示，该方法包括：

s101，获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对室内图像进行目标检测，获取包含目标物体的图像。其中，目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的。

可以理解为，本发明实施例在室内环境下，采用智能移动终端对周围环境进行图像拍摄，得到室内图像。其中的智能移动终端可以是智能手机、智能摄像机等。之后，通过与智能移动终端之间的通信连接，获取该室内图像，并将其输入到预先建立的目标检测模型中，利用目标检测模型的内部运算过程，对其中的目标物体进行检测，得到图像中目标物体所在区域，也即包含目标物体的图像。

其中，在预先建立目标检测模型时，可先采集一定数量的室内场景中可识别目标的图像数据，并对这些图像数据进行目标标注，再利用经标注的图像数据对初始建立的目标检测初始模型进行迭代循环训练，最终得到精度满足一定要求的模型，作为最终的目标检测模型。

其中可选的，目标检测模型具体可以为mask-rcnn实例分割模型、特征匹配算法模型、词典模型或者其他的神经网络模型如深度信念网络模型等。

s102，获取包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取包含目标物体的图像对应的位姿信息。其中，特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。

可以理解为，在得到包含目标物体的图像的基础上，可对该包含目标物体的图像进行特征点提取，得到图像的特征点信息。之后，将该特征点信息与预先构建的特征点数据库中的特征点数据进行图像特征点匹配。由于特征点数据库是根据带有位姿信息的图像建立的，其中包含图像对应的位姿信息，因此经过特征点匹配后，可相应获得待处理的包含目标物体的图像对应的位姿信息。

其中，在预先构建特征点数据库时，可先利用搭建的移动测量系统采集大量的带有位姿信息的图像，并对这些图像进行特征点提取，再根据提取的特征点信息构建最终的特征点数据库。

其中可选的，进行包含目标物体的图像的位姿解算可以采用pnp算法、视觉sfm/slam算法或者其他传感器位姿标定法等。

s103，基于位姿信息，对智能移动终端进行室内定位。

可以理解为，在根据上述步骤获取包含目标物体的图像对应的位姿信息之后，该位姿信息实际上反应的是对包含目标物体的图像进行采集的智能移动终端的位姿，结合图像中的目标物体的位置信息，可实现对智能移动终端进行室内定位。

在完成对智能移动终端进行室内定位的基础上，本发明实施例还可以将图像的位置信息在底图上渲染后返回或者根据起点/终点信息进行路径规划，并将路径规划结果在底图上渲染后返回。

本发明实施例提供的智能移动终端的室内定位方法，通过利用事先建立的目标检测模型，先对智能移动终端拍摄的图像进行目标检测，再根据检测出的包含目标物体的图像，利用事先构建好的特征点数据库，进行特征点匹配，得到智能移动终端的位姿信息，并据此进一步确定智能移动终端的室内定位，能够更准确的对目标物体进行识别，实现智能移动终端的准确定位，并能有效扩展适用范围。

可以理解的是，在对目标检测模型进行应用之前，需要先获取该目标检测模型。因此，在对室内图像进行目标检测的步骤之前，本发明实施例的方法还可以包括：采集室内场景中给定量的可识别目标的图像数据，并对可识别目标的图像数据进行目标图像标注，构成训练样本；初始化构建目标检测初始模型，并利用训练样本，对初始化的目标检测初始模型进行循环迭代训练，获取目标检测模型。

具体而言，先利用图像采集设备采集室内场景中一定量的可识别目标物体的图像数据，该一定量以能够训练出精度满足一定要求的模型为准。之后，对这些图像数据中的可识别目标进行标注，并以经过标注的图像作为训练样本。再之后，根据应用需求初始化构建一个目标检测初始模型，并利用生成的训练样本对目标检测初始模型进行循环迭代训练，得到精度满足一定标准的模型作为最终的目标检测模型。

同样的，在对特征点数据库进行应用之前，需要先对该特征点数据库进行构建。因此，在进行图像特征点匹配的步骤之前，本发明实施例的方法还可以包括：构建移动测量系统，搭载多线激光、全景相机、惯性导航设备和同步控制器，并利用移动测量系统，采集室内场景的三维点云数据和影像数据；基于三维点云数据和影像数据，利用多传感器融合的slam算法，计算影像数据对应的绝对位姿；基于影像数据对应的绝对位姿和相机内参信息，计算约定描述子的视觉特征点，并基于约定描述子的视觉特征点，依次进行特征点匹配、特征点三角化和光束平差运算，获取视觉特征点的三维坐标；基于该三维坐标，得到已知三维坐标的视觉特征点，并基于已知三维坐标的视觉特征点，构建特征点数据库。

具体而言，目前室内特征点数据库的构建主要采用slam技术，包括视觉slam和激光slam，但由于视觉slam技术在室内环境应用尚不成熟，所以本发明实施例采用激光slam来获得特征点数据库。

首先，搭建移动测量系统，使其搭载多线激光、全景相机、惯性导航设备及同步控制器等多传感器于一体，并利用其完成室内场景高精度三维激光全景数据采集，也即目标物体的三维点云数据和影像数据的采集。

之后，利用多传感器融合的slam算法，根据目标物体的三维点云数据和影像数据进行计算，得到影像数据对应的绝对位姿。

再之后，通过包含绝对位姿和内参信息的影像数据，计算约定描述子的视觉特征点，并通过特征点匹配、特征点三角化及光束平差等运算，获取这些视觉特征点的三维坐标。

最后，根据计算得到的各视觉特征点的三维坐标，可以得到各个已知坐标的特征点，即已知三维坐标的视觉特征点，并以这些已知三维坐标的视觉特征点为基础，进行特征点数据库的构建，得到所需的特征点数据库。

其中，根据上述各实施例可选的，当采用mask-rcnn实例分割模型时，对室内图像进行目标检测的步骤具体包括：利用mask-rcnn网络中的卷积网络层和区域建议网络层，处理室内图像，获取初始特征图；利用mask-rcnn网络中的roi-align网络层，对初始特征图进行区域特征聚类分析，并对聚类结果分别进行卷积操作、全连接操作及分类处理，获取目标物体在室内图像中的位置及对目标物体的分类结果；基于分类结果和在室内图像中的位置，利用mask-rcnn网络中的全连接层，输出目标物体的掩码图像。

具体而言，本发明实施例以mask-rcnn网络模型作为目标检测模型，在线阶段输入待处理的图像，用训练完成的该参数模型进行目标检测，得到检测结果。如图2所示，为根据本发明实施例提供的智能移动终端的室内定位方法中mask-rcnn网络的结构示意图，在利用该网络模型进行图像的目标检测时，首先获取目标的图像，即室内图像，并利用mask-rcnn网络中的卷积网络层和区域建议网络(rpn)处理该室内图像，得到图像的初始特征图。再利用mask-rcnn网络中的roi-align网络层对初始特征图进行区域特征聚类，并对区域特征聚类后的初始特征图进行卷积操作和全连接操作，对初始特征图进行分类处理，得到目标在室内图像中的位置以及分类结果。最后利用mask-rcnn网络中的全连接层对特征图进行处理，输出目标物体的掩码图像。

可以理解的是，为提高目标检测的成功率，只有目标检测成功率高于85％的目标才会进行定位。

其中，根据上述各实施例可选的，当采用pnp算法进行包含目标物体的图像的位姿解算时，获取包含目标物体的图像对应的位姿信息的步骤具体包括：将包含目标物体的图像的特征点信息与特征点数据库中各特征点进行sift特征匹配，获取匹配的2d-3d关键点对和描述子数组；随机选取至少六组2d-3d关键点对，利用pnp算法中的dlt算法，根据选取的2d-3d关键点对和描述子数组，求解投影矩阵，并利用投影矩阵，计算其余未被选取的3d点相对应的2d点坐标，并求取计算出的2d点与未被选取的3d点对应的原始2d点间的位置误差，以通过判断位置误差是否在设定阈值范围内，求取选取的2d-3d关键点对的内点个数；循环执行随机选取至少六组2d-3d关键点对至求取选取的2d-3d关键点对的内点个数的步骤，直至循环次数达到设定总次数，获取内点个数最多的一组2d-3d关键点对，并根据内点个数最多的一组2d-3d关键点对，生成智能移动终端的位置结果矩阵。

具体而言，本发明实施例采用pnp算法作为进行包含目标物体的图像的位姿解算的具体算法，当根据目标检测模型检测到室内图像中含有目标信息时，通过调用该目标的特征点信息，利用该算法得到待求图像的准确的位姿信息。

可以理解的是，特征点数据库最终以目标类型的形式存储，针对不同的目标存储n个不同的特征文件，各特征文件的结构如下所示：

num_sift

sift_1_pos<xyz>(double)

sift_1_keypoint<c_xc_yscaleoritention>

sift_1_descriptor<128维向量>

sift_2_pos<xyz>(double)

sift_2_keypoint<c_xc_yscaleoritention>

sift_2_descriptor<128维向量>

......

本发明实施例利用这n个特征文件，来得到待求图像的准确的位姿信息。

首先，进行sift特征匹配。如图3所示，为根据本发明实施例提供的智能移动终端的室内定位方法中sift特征匹配算法的流程示意图，取一幅图像中的一个sift关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率少于某个阈值，则接受这一对匹配点，即为2d-3d点对。比率取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点。

之后，使用dlt-ransac算法估计相机位姿。

可以理解的是，dlt(directlineartransform)算法是建立像素坐标和相应物点的空间坐标直接的线性关系的解法。通过匹配的2d-3d点对，构建方程a2n×12p12×1＝0，并利用该方程生成2n×12的投影矩阵。

投影模型为：

将第三行代入前两行中，得：

利用超过6对2d-3d点对，可生成方程如下：

利用svd分解，对超定方程求解，得到p矩阵：

a^ta12×12＝v(σ^tσ)v^t,p＝vn(o(n))

p＝k[r|t]＝[kr|-krc]＝[m|-mc]。

摄像机矩阵p的分解：

m＝kr,m^-1＝r^-1k^-1(qr分解)，t＝k^-1[-mc]。

可以理解的是，在特征匹配过程中，无可避免的会存在误匹配的情况。为提高匹配的准确性，在之前的dlt算法中加入ransac随机一致性采样流程。具体如图4所示，为根据本发明实施例提供的智能移动终端的室内定位方法中dlt-ransac算法的流程示意图，包括：

设置循环迭代总次数，并执行如下处理流程，直至循环次数达到设定总次数：

随机选取固定组数，如6组2d-3d关键点对，利用pnp算法中的dlt算法，根据选取的2d-3d关键点对和描述子数组，求解投影矩阵，并利用投影矩阵，将匹配出的其他未被选中的3d点生成2d点，求取生成的2d点与这些3d点对应的原始2d点的位置误差。之后判断位置误差是否在设定阈值范围内，并求取选取的2d-3d关键点对的内点个数。

也就是说，随机选取至少6组2d-3d关键点对，根据选取的2d-3d关键点对和所述描述子数组，求解投影矩阵，将其余的3d点带入投影矩阵模型中，求出相应的2d点坐标，然后与原始的2d点求位置误差(坐标的标准差)，判断误差是否在设定阈值范围内，在阈值内称为内点，不在阈值内称为外点，得到该模型对应的内点个数。

根据求取的每个2d-3d关键点对的内点个数，获取内点个数最多的一组2d-3d关键点对，并根据内点个数最多的一组2d-3d关键点对，进行dlt求解，生成智能移动终端的位置结果矩阵。

其中，根据上述各实施例可选的，对智能移动终端进行室内定位的步骤具体包括：利用dlt-ransac算法，根据多个特征点数据库生成多个位置结果，组成3*n的位置结果矩阵，并删除位置结果矩阵中全为0的行；根据删除全0行后的位置结果矩阵，利用kmeans聚类算法将位置结果矩阵中的数据聚类成两类，并对元素较多的一个分类中的各元素取平均值，作为智能移动终端的定位位置。

可以理解为，利用单个特征文件跟上传图像匹配，因为误匹配的存在，容易出现匹配点数过少而无法解算的问题，上传图像跟特征文件对应的位姿差别越大，该情况越明显。因此，本发明实施例利用n个特征文件，来提高定位结果鲁棒性。具体如图5所示，为根据本发明实施例提供的智能移动终端的室内定位方法中利用多个特征文件进行定位的流程示意图，包括：

利用dlt-ransac算法，根据多个特征点数据库生成多个位置结果，组成3*n的位置结果矩阵，并删除位置结果矩阵中全为0的行，得到：

[x1，y1，z1

x2，y2，z2

x3，y3，z3

..............]。

之后，根据删除全0行后的位置结果矩阵，利用kmeans聚类算法将所述位置结果矩阵中的数据聚类成两类，并对元素较多的一个分类中的各元素取平均值，作为智能移动终端的定位位置。

也就是说，首先得到的3*n的矩阵，表示n个样本，每个样本为3维，之后根据两个中心将数据集按到中心值距离分簇，将已分的数据集，根据平均向量再确定中心值，再之后重复执行上述两个处理步骤，直至中心值不再移动(每次的差值与上次相同)。

其中，如果图片包含多个目标，则取各目标结算出的位置均值为智能手机的位置。另外，可根据pnp算法获取待求图像准确的位姿信息，对目标检测的正确性进行检验，并将检验正确的图片输入到图像数据库中，作为新的约束信息，优化图像数据库。

为进一步说明本发明实施例的技术方案，本发明实施例根据上述各实施例提供如下具体的处理流程，但不对本发明实施例的保护范围进行限制。

本发明实施例针对传统的视觉定位易受噪声干扰、目标检测准确率低且无法获取终端准确位置信息的问题，提出基于深度学习和pnp结合的智能手机室内定位方法。首先，通过mask-rcnn进行目标检测。mask-rcnn网络可以筛选出目标，为后续的特征点匹配约束范围，提高匹配的准确性和速度。然后，通过pnp算法求解相机的准确的位置信息。针对传统方法无法得到图片准确位姿信息，利用移动测量系统获得带有位姿信息的图片，并利用这些图片进行三维重建，得到特征点数据库，将查询图像进行特征提取，并与特征点库的特征进行匹配，然后利用pnp算法得到图片的真实位姿。

概括起来说，本实施例的室内定位方法分为前期目标数据库的构建和后期目标检测及手机定位两个阶段。前期通过采集含有各种目标的视频或图像信息，得到满足要求的神经网络参数模型，同时利用移动测量系统采集含有目标图像的位姿信息，并构建特征点数据库，用于后期的pnp的算法。后期借助前期得到的参数模型，对待定位图像进行目标检测，如果确认图像含有某个目标信息，则通过调用该目标的局部特征点信息，利用pnp算法得到待求图像的准确的位姿信息。

如图6所示，为本发明另一实施例提供的智能移动终端的室内定位方法的流程示意图，主要包括如下处理步骤：

第一步：利用移动测量系统采集带有位姿的图像，并生成特征点数据库。

目前室内特征点数据库的构建主要采用slam技术，包括视觉slam和激光slam，但由于视觉slam技术在室内环境应用尚不成熟，所以本专利采用激光slam来获得特征点数据库。首先，搭建移动测量系统，搭载多线激光、全景相机、惯性导航设备、同步控制器等多传感器于一体，完成室内、室外或地下场景高精度三维激光全景数据采集，即通过设备采集点云和影像原始数据。然后通过多传感器融合的slam算法，计算点云和影像的绝对位姿。最后通过包含绝对位姿和内参信息的影像数据，计算约定描述子的视觉特征点，通过特征点匹配、特征点三角化及光束平差等运算，获取视觉特征点的三维坐标。

第二步：通过视觉传感器采集室内场景内可识别目标的图像数据，用mask-rcnn模型对采集得到的图片数据进行训练，生成神经网络的参数模型。

第三步：在线阶段输入待定位图像，用前期训练的参数模型进行目标检测，得到检测结果。

首先，获取目标的图像，并利用mask-rcnn网络中的卷积网络层和区域建议网络(rpn)处理图像，得到图像的初始特征图。再利用mask-rcnn网络中的roi-align网络层对初始特征图进行区域特征聚类，并对区域特征聚类后的初始特征图进行卷积操作和全连接操作，对初始特征图进行分类处理，得到目标在图像中的位置以及分类结果。最后，利用mask-rcnn网络中的全连接层对特征图进行处理，输出目标的掩码图像。另外，为提高目标检测的成功率，只有目标检测成功率高于85％的目标才会进行定位。

第四步：当根据目标检测模型检测到包含目标物体的图像中含有目标信息时，通过调用该目标局部的特征点信息，利用pnp算法得到待求图像的准确的位姿信息。本发明实施例利用这n个特征文件，来得到待求图像的准确的位姿信息。

首先，进行sift特征匹配。取一幅图像中的一个sift关键点，并找出其与另一幅图像中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离得到的比率少于某个阈值，则接受这一对匹配点，即为2d-3d点对。比率取值在0.4～0.6之间最佳，小于0.4的很少有匹配点，大于0.6的则存在大量错误匹配点。

之后，使用dlt-ransac算法估计相机位姿。

可以理解的是，dlt(directlineartransform)算法是建立像素坐标和相应物点的空间坐标直接的线性关系的解法。通过匹配的2d-3d点对，构建方程a2n×12p12×1＝0，并利用该方程生成2n×12的投影矩阵。

投影模型为：

将第三行代入前两行中，得：

利用超过6对2d-3d点对，可生成方程如下：

利用svd分解，对超定方程求解，得到p矩阵：

a^ta12×12＝v(σ^tσ)v^t,p＝vn(o(n))

p＝k[r|t]＝[kr|-krc]＝[m|-mc]。

摄像机矩阵p的分解：

m＝kr,m^-1＝r^-1k^-1(qr分解)，t＝k^-1[-mc]。

可以理解的是，在特征匹配过程中，无可避免的会存在误匹配的情况。为提高匹配的准确性，在之前的dlt算法中加入ransac随机一致性采样流程，包括：首先，设置循环迭代总次数，并执行如下处理流程，直至循环次数达到设定总次数：随机选取固定组数，如6组2d-3d关键点对，利用pnp算法中的dlt算法，根据选取的2d-3d关键点对和描述子数组，求解投影矩阵，并利用投影矩阵，将其他3d点生成2d点，求取生成的2d点与原始2d点的位置误差。之后判断位置误差是否在设定阈值范围内，并求取选取的2d-3d关键点对的内点个数。之后，根据求取的每个2d-3d关键点对的内点个数，获取内点个数最多的一组2d-3d关键点对，并根据内点个数最多的一组2d-3d关键点对，进行dlt求解，生成智能移动终端的位置结果矩阵。

第五步：进行智能移动终端的定位。

利用单个特征文件跟上传图像匹配，因为误匹配的存在，容易出现匹配点数过少而无法解算的问题，上传图像跟特征文件对应的位姿差别越大，该情况越明显。因此，本发明实施例利用n个特征文件，来提高定位结果鲁棒性，包括：利用dlt-ransac算法，根据多个特征点文件生成多个位置结果，组成3*n的位置结果矩阵，并删除位置结果矩阵中全为0的行。之后，根据删除全0行后的位置结果矩阵，利用kmeans聚类算法将位置结果矩阵中的数据聚类成两类，并对元素较多的一个分类中的各元素取平均值，作为智能移动终端的定位位置。

其中，如果图片包含多个目标，则取各目标结算出的位置均值为智能手机的位置。另外，可根据pnp算法获取待求图像准确的位姿信息，对目标检测的正确性进行检验，并将检验正确的图片输入到图像数据库中，作为新的约束信息，优化图像数据库。

第六步：将图像的位置信息在底图上渲染后返回或者根据起点/终点信息进行路径规划，并将路径规划结果在底图上渲染后返回。

本发明实施例通过移动测量系统获得带有位姿信息的图像，进而利用已知位姿图像得到特征点数据库，使用mask-rcnn的深度学习算法提高了目标检测的成功率，利用多特征文件的dlt-ransac算法能够得到图片准确的位姿信息，同时为特征数据库提供约束信息，是一种高效并能够自我优化的室内定位方法。

基于相同的发明构思，本发明实施例根据上述各实施例提供一种智能移动终端的室内定位装置，该装置用于在上述各实施例中实现智能移动终端的室内定位。因此，在上述各实施例的智能移动终端的室内定位方法中的描述和定义，可以用于本发明实施例中各个执行模块的理解，具体可参考上述实施例，此处不在赘述。

根据本发明实施例的一个实施例，智能移动终端的室内定位装置的结构如图7所示，为本发明实施例提供的智能移动终端的室内定位装置的结构示意图，该装置可以用于实现上述各方法实施例中智能移动终端的室内定位，该装置包括：目标检测模块701、特征匹配模块702和定位输出模块703。其中：

目标检测模块701用于获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对室内图像进行目标检测，获取包含目标物体的图像；特征匹配模块702用于获取包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取包含目标物体的图像对应的位姿信息；定位输出模块703用于基于位姿信息，对智能移动终端进行室内定位；其中，目标检测模型为预先利用采集的室内场景中可识别目标的图像数据进行训练获取的，特征点数据库为预先通过对移动测量系统采集的带有位姿信息的图像进行特征点提取构建而成的。

具体而言，在室内环境下，目标检测模块701采用智能移动终端对周围环境进行图像拍摄，得到室内图像。之后，目标检测模块701通过与智能移动终端之间的通信连接，获取该室内图像，并将其输入到预先建立的目标检测模型中，利用目标检测模型的内部运算过程，对其中的目标物体进行检测，得到图像中目标物体所在区域，也即包含目标物体的图像。

其中，本发明实施例的装置还需包括模型建立模块，用于在预先建立目标检测模型时，先采集一定数量的室内场景中可识别目标的图像数据，并对这些图像数据进行目标标注，再利用经标注的图像数据对初始建立的目标检测初始模型进行迭代循环训练，最终得到精度满足一定要求的模型，作为最终的目标检测模型。

之后，特征匹配模块702对上述得到的包含目标物体的图像进行特征点提取，得到该图像的特征点信息。再之后，特征匹配模块702将该特征点信息与预先构建的特征点数据库中的特征点数据进行图像特征点匹配。由于特征点数据库是根据带有位姿信息的图像建立的，其中包含图像对应的位姿信息，因此经过特征点匹配后，可相应获得待处理的包含目标物体的图像对应的位姿信息。

其中，本发明实施例的装置还需包括特征数据库构建模块，用于在预先构建特征点数据库时，先利用搭建的移动测量系统采集大量的带有位姿信息的图像，并对这些图像进行特征点提取，再根据提取的特征点信息构建最终的特征点数据库。

最后，定位输出模块703获取包含目标物体的图像对应的位姿信息，并将其结合图像中的目标物体的位置信息，实现对智能移动终端进行室内定位。

本发明实施例提供的智能移动终端的室内定位装置，通过设置相应的执行模块，利用事先建立的目标检测模型，先对智能移动终端拍摄的图像进行目标检测，再根据检测出的包含目标物体的图像，利用事先构建好的特征点数据库，进行特征点匹配，得到智能移动终端的位姿信息，并据此进一步确定智能移动终端的室内定位，能够更准确的对目标物体进行识别，实现智能移动终端的准确定位，并能有效扩展适用范围。

可以理解的是，本发明实施例中可以通过硬件处理器(hardwareprocessor)来实现上述各实施例的装置中的各相关程序模块。并且，本发明实施例的智能移动终端的室内定位装置利用上述各程序模块，能够实现上述各方法实施例的智能移动终端的室内定位流程，在用于实现上述各方法实施例中智能移动终端的室内定位时，本发明实施例的装置产生的有益效果与对应的上述各方法实施例相同，可以参考上述各方法实施例，此处不再赘述。

作为本发明实施例的又一个方面，本实施例根据上述各实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在该存储器上并可在该处理器上运行的计算机程序，该处理器执行该计算机程序时，实现如上述各实施例所述的智能移动终端的室内定位方法的步骤。

进一步的，本发明实施例的电子设备还可以包括通信接口和总线。参考图8，为本发明实施例提供的电子设备的实体结构示意图，包括：至少一个存储器801、至少一个处理器802、通信接口803和总线804。

其中，存储器801、处理器802和通信接口803通过总线804完成相互间的通信，通信接口803用于该电子设备与智能移动终端设备之间的信息传输；存储器801中存储有可在处理器802上运行的计算机程序，处理器802执行该计算机程序时，实现如上述各实施例所述的智能移动终端的室内定位方法的步骤。

可以理解为，该电子设备中至少包含存储器801、处理器802、通信接口803和总线804，且存储器801、处理器802和通信接口803通过总线804形成相互间的通信连接，并可完成相互间的通信，如处理器802从存储器801中读取智能移动终端的室内定位方法的程序指令等。另外，通信接口803还可以实现该电子设备与智能移动终端设备之间的通信连接，并可完成相互间信息传输，如通过通信接口803实现包含目标物体的图像的读取等。

电子设备运行时，处理器802调用存储器801中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对该室内图像进行目标检测，获取包含目标物体的图像；获取包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取包含目标物体的图像对应的位姿信息；基于位姿信息，对智能移动终端进行室内定位等。

上述的存储器801中的程序指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。或者，实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还根据上述各实施例提供一种非暂态计算机可读存储介质，其上存储有计算机指令，该计算机指令被计算机执行时，实现如上述各实施例所述的智能移动终端的室内定位方法的步骤，例如包括：获取通过智能移动终端拍摄的室内图像，并利用预先建立的目标检测模型，对该室内图像进行目标检测，获取包含目标物体的图像；获取包含目标物体的图像的特征点信息，并根据预先构建的特征点数据库，进行图像特征点匹配，获取包含目标物体的图像对应的位姿信息；基于位姿信息，对智能移动终端进行室内定位等。

本发明实施例提供的电子设备和非暂态计算机可读存储介质，通过执行上述各实施例所述的智能移动终端的室内定位方法的步骤，利用事先建立的目标检测模型，先对智能移动终端拍摄的图像进行目标检测，再根据检测出的包含目标物体的图像，利用事先构建好的特征点数据库，进行特征点匹配，得到智能移动终端的位姿信息，并据此进一步确定智能移动终端的室内定位，能够更准确的对目标物体进行识别，实现智能移动终端的准确定位，并能有效扩展适用范围。

可以理解的是，以上所描述的装置、电子设备及存储介质的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，既可以位于一个地方，或者也可以分布到不同网络单元上。可以根据实际需要选择其中的部分或全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上实施方式的描述，本领域的技术人员可以清楚地了解，各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令，用以使得一台计算机设备(如个人计算机，服务器，或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。

另外，本领域内的技术人员应当理解的是，在本发明实施例的申请文件中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例的说明书中，说明了大量具体细节。然而应当理解的是，本发明实施例的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。类似地，应当理解，为了精简本发明实施例公开并帮助理解各个发明方面中的一个或多个，在上面对本发明实施例的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明实施例进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。