一种基于融合信息的定位方法、装置及终端设备与流程
本发明涉及电子技术领域，尤其涉及一种基于融合信息的定位方法、装置及终端设备。
背景技术：
随着科学的进步与技术的发展，诸如智能手机等终端设备的应用场景也越来越广泛。在终端设备的众多应用场景中，基于位置的服务旨在提供准确和便捷的室内定位服务，可以显著改善我们的日常生活。诸如商场、停车场、大型办公楼和医院的医疗保健等多个场景中，室内定位导航技术的重要性越来越凸显出来，例如在商场搜索感兴趣的商店的位置，在不熟悉的办公楼中寻找会议室的具体位置，在地下停车场找到停车位等基于室内位置的服务。
目前，常用的室内定位技术是基于wifi信号强度进行定位，基于wifi信号强度定位的过程为：智能设备采集wifi信号强度，将该wifi信号强度与后台服务器里的wifi指纹数据库匹配，从而获取用户当前的位置。可见，目前只有通过wifi信号确定确定定位信息，导致定位方式单一。
技术实现要素：
本申请实施例提出了一种基于融合信息的定位方法、装置、终端设备以及存储介质。可以丰富定位方式，以及提升定位精度。
本申请实施例一方面提供一种基于融合信息的定位方法，该方法具体包括：
获取目标用户在第一时刻的第一定位信息，并获取在第一时刻目标用户的第一环境图像；
获取所述目标用户在第二时刻的测量定位信息，所述测量定位信息是对在所述第二时刻采集到的信号强度分析确定的；
获取在第二时刻目标用户的第二环境图像，根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量；
根据所述第一定位信息和所述定位增量，确定第二时刻的预测定位信息；
基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，输出所述第二定位信息。
本申请实施例一方面提供了一种基于融合信息的定位装置，该装置具有实现上述的基于融合信息的定位方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括：
获取单元，用于获取目标用户在第一时刻的第一定位信息，并获取在第一时刻目标用户的第一环境图像；
获取单元，还用于获取所述目标用户在第二时刻的测量定位信息，所述测量定位信息是对在所述第二时刻采集到的信号强度分析确定的；
处理单元，用于获取在第二时刻目标用户的第二环境图像，根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量；
确定单元，用于根据所述第一定位信息和所述定位增量，确定第二时刻的预测定位信息；
处理单元，还用于基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，输出所述第二定位信息。
本申请实施例一方面提供了一种终端设备，该设备包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，用于执行上述基于融合信息的定位方法所涉及到的操作。
本申请实施例一方面提供了一种计算机可读存储介质，用于储存为终端设备所用的计算机程序指令，其包含用于执行上述基于融合信息的定位方法所涉及的程序。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机指令被计算机设备的处理器执行时，执行上述各实施例中的方法。
通过本申请实施例，终端设备根据采集到的图像信息以及信号强度共同确定用户的定位信息，不仅可以丰富定位方式，更进一步地，由于融合了wifi信息、地磁信息以及终端设备采集到的图像信息，相比根据单一的wifi信息或者单一的地磁信息确定定位信息，更丰富的信息来源可以有效提升定位的精度。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于融合信息的定位系统的架构示意图；
图2是本申请实施例提供的一种基于融合信息的定位方法的流程图；
图3是本申请实施例提供的一种图像信息处理的流程的示意图；
图4a是本申请实施例提供的一种图像特征点匹配的图像示意图；
图4b是本申请实施例提供的一种图像优化处理的流程示意图；
图5是本申请实施例提供的另一种基于融合信息的定位方法的流程图；
图6是本申请实施例提供的一种基于融合信息的定位装置的结构示意图；
图7是本发明实施例提供的一种终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。
目前，随着无线通信技术的日益发展和成熟，智能手机技术的进步与普及，各种基于智能手机的需求层出不穷。其中，基于位置的服务(location-basedservice，lbs)旨在提供准确和便捷的室内定位服务，可以显著改善我们的日常生活。例如在商场搜索感兴趣的商店的位置，在不熟悉的办公楼中寻找会议室的具体位置，在地下停车场找到停车位等基于室内位置的服务。
现有技术中，一般通过使用无线网wifi的接收信号强度(receivedsignalstrength，rss)进行定位的研究很多。但是在只使用现有无线设备的情况下，由于室内环境复杂，墙壁、楼板、门窗和人员的流动等对wifi信号的传播产生影响，导致单一的wifi信号不稳定且易形成多径传播效应，并且这种定位导航技术只提供三维位置坐标，现有的基于wifi信号强度的定位方法在不额外部署设备的情况下定位精度较差，室内定位的体验较差。
现有技术中，地磁信号不需要依赖任何设施就可以进行室内定位。现有的基于地磁的定位方法多是基于地磁信号强度序列匹配算法，有些依赖于自制实验设备采集精确的地磁信号强度。虽然在局部可以达到厘米级的定位精度，但由于地磁数据本身不具有标签性，在大范围物理空间内位置区分度较低，导致整体定位精度较低。而且，这些方法都采用了一维地磁信息，即地磁强度。地磁强度综合了地磁在三维空间中各个维度的信息，因此信息粒度较粗，是影响定位精度的一个重要因素。
基于以上分析，本申请实施例提供一种基于融合信息的定位方法、装置及终端设备。其中，基于融合信息的定位方法具体是：获取目标用户在第一时刻的第一定位信息，并获取在第一时刻目标用户的第一环境图像；获取所述目标用户在第二时刻的测量定位信息，所述测量定位信息是对在所述第二时刻采集到的信号强度分析确定的；获取在第二时刻目标用户的第二环境图像，根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量；根据所述第一定位信息和所述定位增量，确定第二时刻的预测定位信息；基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，输出所述第二定位信息。根据采集到的图像信息以及信号强度确定用户的定位信息，不仅可以丰富定位方式，更进一步地，由于融合了wifi信息、地磁信息以及终端设备采集到的图像信息，相比根据单一的wifi信息或者单一的地磁信息确定定位信息，更丰富的信息来源可以有效提升定位的精度。
需要说明的是，本申请可应用于定位软件，用于丰富定位方式以及提升定位精度，具体应用场景可以为：当用户想知道自己的当前定位信息时，用户可以启动定位软件，定位软件可以采用本申请的方案根据历史定位信息确定用户在当前时刻的定位信息，并输出该定位信息。
本申请实施例中涉及的终端设备，是一种用于接收或发射信号的实体。常见的终端设备例如包括：手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobileinternetdevice，mid)、车辆、路边设备、飞行器、可穿戴设备，例如智能手表、智能手环、计步器等具有信号强度分析功能和图像处理功能的智能设备，但本申请实施例不限于此。
为了更好地理解本申请实施例所提供的基于融合信息的定位方法，下面先对本申请实施例所适用的系统架构图进行说明。
请参见图1，图1是本申请实施例提供的一种基于融合信息的定位系统的架构示意图。如图1所示，该系统架构图包括：终端设备110、至少一个无线交换机120以及互联网云平台130。
在一种可能的实现方式中，终端设备110可以包括：wifi模块111、地磁传感器112以及图像拍摄装置113。其中，wifi模块111可以在预设周期内能接收到来自多个无线交换机120发射的信号，或者固定的多个无线交换机120都能感知到同一个wifi模块111，那么可以使用来自多个发射源或者多个接收器的rss组成一个rss向量，作为和位置相联系的指纹，即wifi位置指纹。其中，wifi模块111可以测得来自多个访问点接入(accesspoint，ap)，即图1中的无线交换机120的rss，其测量方式可以为wifi模块111一次测量来自多个ap的rss。其中，基于建筑物的平面图，地磁传感器112可以采集建筑物内各个位置的地磁信息，地磁信息可以为磁场强度。其中，图像拍摄装置113可以为摄像头或相机，进一步地，摄像头可以为单目摄像头、双目摄像头等，例如手机的后置摄像头。
在一种可能的实现方式中，互联网云平台130中存储有wifi指纹数据库以及地磁信息数据库，其中wifi指纹数据库包括：无线信号强度、以太网地址(mediaaccesscontroladdress，mac)、楼层位置等信息；地磁信息数据库包括：地磁信号强度、方向坐标等信息。
在一种可能的实现方式中，终端设备110可以通过互联网接口从互联网云平台130中获取wifi指纹数据库或者地磁信息数据库中的数据，终端设备110将获取到的数据与终端设备110自身采集到的数据进行匹配，得到匹配结果；终端设备110根据匹配结果确定终端设备110所在的具体位置以及方向坐标等位置参数。
可以理解的是，本申请实施例描述的系统架构示意图是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
请参见图2，图2是本申请实施例提供的一种基于融合信息的定位方法的流程图。所述方法应用于终端设备，如图2所示，该基于融合信息的定位方法可包括步骤s210～s250。其中：
步骤s210：终端设备获取目标用户在第一时刻的第一定位信息，并获取在第一时刻目标用户的第一环境图像。
本申请中，用户在ti时刻的定位信息是根据用户在ti-1时刻的定位信息确定的，用户在ti+1时刻的定位信息是根据用户在ti时刻的定位信息确定的，以此类推，不断地迭代以确定用户在多个时刻的定位信息。下述以多个时刻中的任意两个时刻(称为第一时刻和第二时刻，其中第一时刻在前，第二时刻在后)为例，说明如何确定目标用户在第二时刻的定位信息。
在一种可能的实现方式中，第一时刻是起始时刻。终端设备获取在第一时刻目标用户周围环境的无线信号强度，根据无线信号强度，确定目标用户在第一时刻对应的第一单位定位信息。需要说明的是，本申请实施例所提到的目标用户周围环境可以是目标用户所处的位置，也可以是目标物体所处的位置，本发明对此不作限定，本发明以目标用户周围环境为目标用户所处的位置进行举例说明。
在一种可能的实现方式中，第一单位定位信息包括第一位置坐标以及第一位置方差，无线信号强度的数量为n个，n是正整数。终端设备获取wifi指纹数据库，所述wifi指纹数据库包括多个指纹特征，任一wifi指纹特征包括待匹配无线信号强度向量和一个参考位置坐标；将n个无线信号强度组合为无线信号强度向量，从所述多个wifi指纹特征中查找与所述无线信号强度向量匹配的目标wifi指纹特征；根据所述目标wifi指纹特征的参考位置坐标生成所述第一位置坐标，根据所述目标wifi指纹特征的参考位置坐标与所述第一位置坐标确定所述第一位置方差。需要说明的是，第一位置坐标的表现形式包括但不限于：二维坐标、三维坐标以及经纬度。
在一种可能的实现方式中，构建wifi指纹数据库的具体过程如下：目标用户周围环境处于wifi信号覆盖范围内，在某一些参考位置点采集各个wifi节点的无线信号强度值，将采集到的无线信号强度值称为待匹配无线信号强度值。将n个待匹配无线信号强度值组合为待匹配无线信号强度向量。将待匹配无线信号强度向量与参考位置点的位置坐标(称为参考位置坐标)组合为wifi指纹特征。按照上述方式，可以生成多个wifi指纹特征，这多个wifi指纹特征组合为wifi指纹数据库。
在一种可能的实现方式中，当wifi指纹数据库构建完成之后，在在线定位阶段，由终端设备收集周围可见wifi节点的无线信号强度值，形成一组相关联的信号观察值。最后使用nn算法与wifi指纹数据库中的数据进行匹配，选出最匹配的估计位置，即为第一单位定位信息。
目前，应用于基于无线信号强度的wifi位置指纹室内定位的算法主要有最近邻(nearestneighbor，nn)和k近邻(k-nearestneighbor，knn)算法。它们的定位过程都是先在离线阶段进行采样参考节点的wifi无线信号强度和建立wifi指纹数据库，然后在在线阶段时进行位置匹配。nn算法在匹配结果中选择欧式距离最小的作为定位结果，而knn算法是选择前k个欧式距离最小的k个匹配结果，然后利用质心算法求这k个结果的质心作为最终定位结果。其中，采用knn算法可以得到k个目标wifi指纹特征，将k个目标wifi指纹特征中的k个参考位置坐标加权平均得到第一位置坐标，根据k个参考位置坐标与第一位置坐标，得到第一位置方差；采用nn算法可以得到一个目标wifi指纹特征，将这个目标wifi指纹特征中的参考位置坐标作为第一位置坐标。
具体来说，假设终端设备为智能手机，智能手机用户在第一时刻获取周围环境wifi热点的无线信号强度rss，假设一共有n个wifi热点，则智能手机共获取到n个信号强度rss的测量值：rss1，rss2，...,rssn；然后，智能手机将这n个rss测量值构建成指纹特征
在一种可能的实现方式中，第一时刻是起始时刻。终端设备获取在第一时刻目标用户周围环境的地磁信息，根据地磁信息，终端设备确定目标用户在第一时刻对应的第二单位定位信息。
在一种可能的实现方式中，第二单位定位信息包括第二位置坐标、第二位置方差、方向坐标，地磁信息包括m个磁场强度，m是正整数。终端设备获取地磁指纹数据库，所述地磁指纹数据库包括多个地磁指纹特征，任一地磁指纹特征包括待匹配磁场强度向量、一个参考位置坐标以及一个参考方向坐标；将m个磁场强度组合为磁场强度向量，从所述多个地磁指纹特征中查找与所述磁场强度向量匹配的目标磁场指纹特征；根据所述目标磁场指纹特征的参考位置坐标生成所述第二位置坐标，根据所述目标磁场指纹特征的参考方向坐标生成所述方向坐标，根据所述目标磁场指纹特征的参考位置坐标与所述第二位置坐标确定所述第二位置方差。
在一种可能的实现方式中，构建地磁指纹数据库的具体过程如下：首先将目标用户周围环境中不重要的杂物删掉，确定最能体现目标用户地理位置特征的点，对这些关键点进行地磁数据采样得到各个关键点的磁场强度值，将采集到的磁场强度值称为待匹配磁场强度值。将m个待匹配磁场强度值组合为待匹配磁场强度向量。将待匹配磁场强度向量与关键点的位置坐标(称为参考位置坐标)以及方向坐标(成为参考方向坐标)组合为地磁指纹特征。按照上述方式，可以生成多个地磁指纹特征，这多个地磁指纹特征组合为地磁指纹数据库。
具体来说，假设终端设备为智能手机，智能手机用户在第一时刻获取周围环境的地磁信息，假设获取到的地磁信息一共包括m个磁场强度，则智能手机共获取到m个磁场强度的测量值：h1，h2，...,hm；然后，智能手机将这m个磁场强度测量值与互联网云平台(例如后台服务器)的地磁数据库进行匹配，根据匹配结果输出用户在第一时刻的pmag以及方位bmag。例如，位置pmag的表现形式可以为(x2，y2，z2)或者(n500，s600)。最后，根据m个磁场强度的测量值与pmag，计算得到位置和方位的方差分别为
在一种可能的实现方式中，终端设备根据第一单位定位信息以及第二单位定位信息，确定目标用户在第一时刻的第一定位信息。
在一种可能的实现方式中，第一单位定位信息包括第一位置坐标以及第一位置方差，第二单位定位信息包括第二位置坐标、第二位置方差、方向坐标。终端设备根据第一位置方差以及第二位置方差确定加权系数；根据加权系数对第一位置坐标以及第二位置坐标进行加权运算，得到目标用户在第一时刻的第一位置；将方向坐标确定为目标用户在第一时刻的第一方向；将第一位置以及第一方向组合为第一定位信息。
举例来说，当第一时刻为起始时刻，可以利用卡尔曼滤波的方法进行解算。则卡尔曼滤波的初始状态用pwifi和pmag加权平均得到，即
在一种可能的实现方式中，图像拍摄装置可以在第一时刻对目标用户进行图像拍摄，得到第一环境图像。示例性的，图像拍摄装置可以为相机或者摄像头等，具体来说，图像拍摄装置可以为手机的后置摄像头。
步骤s220：终端设备获取目标用户在第二时刻的测量定位信息，测量定位信息是对在第二时刻采集到的信号强度分析确定的。
在一种可能的实现方式中，信号强度包括无线信号强度或者磁场强度。终端设备获取在第二时刻目标用户周围环境的信号强度，根据信号强度，确定目标用户在第二时刻对应的测量定位信息。
举例来说，假设终端设备为智能手机，智能手机用户在第二时刻获取周围环境wifi热点的无线信号强度rss，假设一共有k个wifi热点，则智能手机共获取到k个信号强度rss的测量值：rss1，rss2，...,rssk；然后，智能手机将这k个rss测量值构建成指纹特征
步骤s230：终端设备获取在第二时刻目标用户的第二环境图像，根据第一环境图像和第二环境图像，确定目标用户从第一时刻至第二时刻的定位增量。
在一种可能的实现方式中，图像拍摄装置可以在第一时刻对目标用户进行图像拍摄，得到第一环境图像，图像拍摄装置可以在第二时刻对目标用户进行图像拍摄，得到第二环境图像。示例性的，图像拍摄装置可以为相机或者摄像头等，具体来说，图像拍摄装置可以为手机的后置摄像头。
终端设备获取到由图像拍摄装置拍摄的第一环境图像之后，可以使用预设特征点检测算法对第一环境图像进行特征提取，得到第一特征点集合，第一特征点集合可以包括至少两个特征点。终端设备获取到由图像拍摄装置拍摄的第二环境图像之后，可以使用预设特征点检测算法对第二环境图像进行特征提取，得到第二特征点集合，第二特征点集合可以包括至少两个特征点。
需要说明的是，在图像处理中，特征点指的是图像灰度值发生剧烈变化的像素点或者在图像边缘上曲率较大的像素点(即两个边缘的交点)。特征点能够反映图像本质特征，能够标识图像中的目标物体，通过特征点的匹配能够完成图像匹配。可以通过预设特征点检测算法对图像进行特征提取，得到特征点集合。预设特征点检测算法可以包括但不限于harris，fast(featuresfromacceleratedsegmenttest)，dog(differenceofgaussian)，或者surf(speededuprobustfeatures)等算法。
举例来说，终端设备设置有图像拍摄装置，终端设备通过图像拍摄装置采集到第一环境图像和第二环境图像之后，可以将第一环境图像和第二环境图像发送给终端设备。终端设备可以对第一环境图像进行特征提取，得到第一特征点集合，并对第二环境图像进行特征提取，得到第二特征点集合。
在一种可能的实现方式中，终端设备对第一环境图像以及第二环境图像进行匹配，得到第三特征点集合，第三特征点集合是由第一特征点集合以及第二特征点集合之间的共同特征点组成。
在一种可能的实现方式中，终端设备获取图像拍摄装置拍摄的第一环境图像和第二环境图像时的的定位信息和姿态信息，将第一特征点集合划分为多个子集，并将第二特征点集合划分为多个子集。需要说明的是，子集的排列方式不受本申请实施例的限定，划分得到的子集的排列方式可以为横向排列，划分得到的子集的排列方式可以为纵向排列，划分得到的子集的排列方式可以为发散排列。
在一种可能的实现方式中，图像拍摄装置在采集第一环境图像和第二环境图像时姿态信息包括云台角信息，终端设备根据图像拍摄装置在采集第一环境图像和第二环境图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集的具体方式可以为：终端设备根据图像拍摄装置在采集第一环境图像和第二环境图像时的定位信息和云台角信息，确定基准极平面，然后根据每个极平面和基准极平面之间的夹角，将第一特征点集合和第二特征点集合分别划分为多个子集。
在一种可能的实现方式中，终端设备根据图像拍摄装置在采集第一环境图像和第二环境图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集之前，可以获取图像拍摄装置的畸变参数和内参数，根据畸变参数和内参数，对第一环境图像和第二环境图像的所包含的特征点进行畸变校正。
具体实现中，终端设备可先获取第一环境图像所包含的每个像素点的坐标，并根据每个像素点的坐标，图像拍摄装置的畸变参数和内参数对第一环境图像的特征点进行畸变校正。终端设备可先获取第二环境图像所包含的每个像素点的坐标，并根据每个像素点的坐标，图像拍摄装置的畸变参数和内参数对第二环境图像的特征点进行畸变校正。其中，畸变参数可以包括径向畸变参数和切向畸变参数中的至少一种，内参数可以包括像主点坐标和焦距中的至少一种。
在本申请实施例中，获取图像拍摄装置的畸变参数和内参数，根据畸变参数和内参数，对第一环境图像和第二环境图像的所包含的特征点进行畸变校正，可以提高图像匹配的精度。
在一种可能的实现方式中，终端设备将第一特征点集合和第二特征点集合分别划分为多个子集之后，可以将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果。其中，第一子集为第一特征点集合中的任一子集，第二子集包括第二特征点集合中与第一子集对应的目标子集。
举例来说，终端设备可以基于knn算法对第一特征点集合的第一子集所包含的特征点与第二特征点集合的第二子集所包含的特征点进行匹配，得到第三特征点集合，第三特征点集合是由第一特征点集合与第二特征点集合之间的共同特征点组成。
在本申请实施例中，将第一特征点集合和第二特征点集合分别划分为多个子集，可确保匹配精度。另外，终端设备将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，减少了特征点的匹配数量，可有效提高匹配速度。
在一种可能的实现方式中，定位增量包括位置增量以及方向增量。终端设备对所述第三特征点集合、所述第一环境图像以及所述第二环境图像进行优化估计处理，得到所述位置增量以及所述方向增量。
举例来说，终端设备利用第三特征点集合通过光束法平差(bundleadjustment，ba)解算第一环境图像以及第二环境图像之间的位置变化量以及方位变化量。其中，该方法主要是通过对场景中任意三维点p，由从每个视图所对应的的摄像机的光心发射出来并经过图像中p对应的像素后的光线，都将交于p这一点，对于所有三维点，则形成相当多的光束(bundle)；实际过程中由于噪声等存在，每条光线几乎不可能汇聚与一点，因此在求解过程中，需要不断对待求信息进行调整(adjustment)，来使得最终光线能交于点p。即终端设备通过对第三特征点集合中的目标特征点，所述目标特征点可以为第三特征点集合中的任意特征点。由第三特征点从每个视图所对应的的摄像机的光心发射出来并经过第一环境图像中p对应的像素后的第一光线以及经过第一环境图像中p对应的像素后的第二光线都相交于该目标特征点，由于噪声等不可抗因素的存在，需要通过光束法平差对待求信息进行调整(adjustment)，来使得最终光线能交于目标特征点。其中，调整的参数即为第一环境图像以及第二环境图像之间的位置增量以及方位增量。
在一种可能的实现方式中，终端设备在通过光束法平差算法求解第一环境图像与第二环境图像之间的位置增量以及方位增量之后，终端设备根据位置增量以及方位增量，获取第一图像与第二图像之间的位置增量方差以及方位增量方差。
举例来说，假设终端设备为智能手机，终端设备包含的图像拍摄装置为后置摄像头。智能手机的后置摄像头在实时采集图像数据，假设在时刻k和时刻k+1采集到两帧环境图像f1和f2，首先通过fast特征点提取算法提取f1和f2的图像特征点：t1和t2。需要说明的是，t1与t2是点集，即t1中包含至少两个特征点，t2中至少包含两个特征点。然后，基于k最近邻法匹配得到f1和f2的共同特征点t3，同理，t3也是点集，t3中包含至少两个特征点，并且t3中的特征点为t1与t2之间的共同特征点。最后，利用t3和光束法平差的方法解算出图像f1和图像f2之间的位置变化
如图3所示，图3为本申请实施例所提供的一种图像处理的流程示意图。该流程图至少包括：特征模块310、处理模块320以及优化模块330。其中，特征模块310包括特征检测311以及特征匹配312，处理模块320主要用于图像之间的位姿态估计，即图像之间的位置与姿态(方向)的估计，优化模块330包括减少漂移331，主要可以通过滤波器法或者非线性优化法达到减少漂移的目的。
在一种可能的实现方式中，特征模块310通过使用预测特征点提取算法对待处理图像序列(可以对应本申请中的第一环境图像和第二环境图像)进行特征检测，还可以通过预设图像匹配算法对待处理图像序列进行特征匹配，得到图像匹配结果，如图4a，第一环境图像中的特征点x1与第二环境图像中的特征点y1进行匹配，第一环境图像中的特征点x2与第二环境图像中的特征点y2进行匹配；处理模块320接收来自特征模块310输出的图像匹配结果，并根据图像匹配结果对图像的外点进行排除以及运动估计，得到运动估计结果，如图4b，将第一环境图像划分为多个子图像块，将第二环境图像划分为多个子图像块，通过将第一环境图像的各个子图像块以及第二环境图像的各个子图像块之间进行运动估计(具体可以为旋转平移估计)，可以输出第一环境图像与第二环境图像之间的运动估计结果；最后，优化模块330根据处理模块320输出的运动估计结果，对图像做出优化处理，具体可以为减少漂移等，最终优化模块330输出位姿(可以对应本申请中的位置坐标和方向坐标)。
步骤s240：终端设备根据第一定位信息和定位增量，确定第二时刻的预测定位信息。
在一种可能的实现方式中，第一定位信息包括第一位置以及第一方向，定位增量包括位置增量以及方向增量。终端设备根据第一定位信息和定位增量，确定第二时刻的预测定位信息，具体可以是：终端设备将第一位置与位置增量进行相加，得到预测位置；终端设备将第一方向与方向增量进行相加，得到预测方向；终端设备将预测位置与预测方向组合为预测定位信息。
举例来说，假设第一时刻用户的第一位置为
步骤s250：终端设备基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到目标用户在第二时刻的第二定位信息，输出第二定位信息。
在一种可能的实现方式中，终端设备基于第二时刻的测量定位信息，通过卡尔曼滤波对第二时刻的预测定位信息进行修正，得到目标用户在第二时刻的第二定位信息，输出第二定位信息。
通过本申请实施例所提供的基于融合信息的定位方法，可以融合wifi定位结果、地磁匹配结果确定当前时刻的测量定位信息。对采集到的图像进行图像处理得到定位增量，基于卡尔曼滤波法可以根据上一时刻的定位信息和定位增量预测当前时刻的定位信息，并结合当前时刻的测量信息，输出当前时刻实际的定位信息，相比测量信息，本申请输出的最终定位信息具有更高的精确度。进一步地，由于图像处理过程中将第一特征点集合以及第二特征点集合划分为多个子集进行特征点匹配得到第三特征点集合，提高了匹配速度和精度，进一步提高了定位的精度以及保证了定位效率。
请参见图5，图5为本申请实施例所提供的另一种基于融合信息的定位方法的流程图。所述方法应用于终端设备，如图5所示，基于卡尔曼滤波确定第二时刻的第二定位信息包括下述步骤s510～步骤s530，步骤s510～步骤s530是上述图2对应实施例中的步骤s250的一个具体实施例。
步骤s510：获取在第一时刻的滤波增益。
在一种可能的实现方式中，终端设备在不同时刻获取到的滤波增益不相同。具体的，终端设备在第一时刻获取到的滤波增益与终端设备在第二时刻获取到的滤波增益不同，并且终端设备在第二时刻获取到的滤波增益可由终端设备在第一时刻获取到的滤波增益进行解算，具体可根据第一时刻与第二时刻之间的位置增量方差以及方向方差进行更新。
步骤s520：通过滤波增益以及测量定位信息对预测定位信息进行修正，得到待确定定位信息。
举例来说，若在k+1时刻，用户获取到的测量定位信息信息为：wifi指纹的定位结果
步骤s530：根据待确定定位信息以及测量定位信息，确定目标用户在第二时刻的第二定位信息。
在一种可能的实现方式中，若待确定定位信息与测量定位信息之间的误差小于误差阈值，则说明滤波器未发散，终端设备将待确定定位信息作为第二定位信息。
举例来说，终端设备判断待确定定位信息
在一种可能的实现方式中，若待确定定位信息与测量定位信息之间的误差大于或者等于误差阈值，则说明滤波器发散，此时不能将待确定信息作为该时刻的定位信息，并且需要将测量定位信息作为第二定位信息，重新初始化卡尔曼滤波器的初始值。
举例来说，当待确定信息与测量定位信息之间的误差大于或者等于误差阈值，则说明滤波器发散，即第二定位信息为：wifi指纹的定位
通过本申请实施例所提供的基于融合信息的定位方法，在基于卡尔曼滤波法对目标位置进行定位的基础之上，考虑到随着时间的推移卡尔曼滤波器的发散情况，若卡尔曼滤波器发散，则重新初始化卡尔曼滤波，可以使得定位结果较为可靠，进一步提高定位的精准度，优化用户体验。
请参见图6，图6是本申请实施例所提供的一种基于融合信息的定位装置的结构示意图。该基于融合信息的定位装置用于执行图2～图5对应的方法实施例中终端设备所执行的步骤，该基于融合信息的定位装置可包括：
获取单元610，用于获取目标用户在第一时刻的第一定位信息，并获取所述第一时刻的第一环境图像；
获取单元610，还用于获取所述目标用户在第二时刻的测量定位信息，所述测量定位信息是终端设备在所述第二时刻采集到的信号强度确定的；
处理单元620，用于获取在第二时刻目标用户的第二环境图像，根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量；
确定单元630，用于根据所述第一定位信息和所述定位增量，确定第二时刻的预测定位信息；
处理单元620，还用于基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，输出所述第二定位信息。
在一种可能的实现方式中，第一时刻是起始时刻，获取单元610获取目标用户在第一时刻的第一定位信息，包括：
获取在所述第一时刻目标用户周围环境的无线信号强度，根据所述无线信号强度，确定所述目标用户在所述第一时刻对应的第一单位定位信息；
获取在所述第一时刻目标用户周围环境的地磁信息，根据所述地磁信息，确定所述目标用户在所述第一时刻对应的第二单位定位信息；
根据所述第一单位定位信息以及所述第二单位定位信息，确定所述目标用户在第一时刻的第一定位信息。
在一种可能的实现方式中，第一单位定位信息包括第一位置坐标以及第一位置方差，所述无线信号强度的数量为n个，n是正整数；
获取单元610获取在所述第一时刻所述目标用户周围环境的无线信号强度，根据所述无线信号强度，确定所述目标用户在所述第一时刻对应的第一单位定位信息，包括：
获取wifi指纹数据库，所述wifi指纹数据库包括多个wifi指纹特征，任一wifi指纹特征包括待匹配无线信号强度向量和一个参考位置坐标；
将n个无线信号强度组合为无线信号强度向量，从所述多个wifi指纹特征中查找与所述无线信号强度向量匹配的目标wifi指纹特征；
根据所述目标wifi指纹特征的参考位置坐标生成所述第一位置坐标，根据所述目标wifi指纹特征的参考位置坐标与所述第一位置坐标确定所述第一位置方差。
在一种可能的实现方式中，第二单位定位信息包括第二位置坐标、第二位置方差和方向坐标，所述地磁信息包括m个磁场强度，m是正整数；
获取单元610获取在所述第一时刻所述目标用户周围环境的地磁信息，根据所述地磁信息，确定所述目标用户在所述第一时刻对应的第二单位定位信息，包括：
获取地磁指纹数据库，所述地磁指纹数据库包括多个地磁指纹特征，任一地磁指纹特征包括待匹配磁场强度向量、一个参考位置坐标以及一个参考方向坐标；
将m个磁场强度组合为磁场强度向量，从所述多个地磁指纹特征中查找与所述磁场强度向量匹配的目标磁场指纹特征；
根据所述目标磁场指纹特征的参考位置坐标生成所述第二位置坐标，根据所述目标磁场指纹特征的参考方向坐标生成所述方向坐标，根据所述目标磁场指纹特征的参考位置坐标与所述第二位置坐标确定所述第二位置方差。
在一种可能的实现方式中，第一单位定位信息包括第一位置坐标以及第一位置方差，所述第二单位定位信息包括第二位置坐标、第二位置方差和方向坐标；
确定单元630根据所述第一单位定位信息以及所述第二单位定位信息，确定所述目标用户在第一时刻的第一定位信息，包括：
根据所述第一位置方差以及所述第二位置方差确定加权系数；
根据所述加权系数对所述第一位置坐标以及所述第二位置坐标进行加权运算，得到所述目标用户在第一时刻的第一位置；
将所述方向坐标确定为所述目标用户在第一时刻的第一方向；
将所述第一位置以及所述第一方向组合为所述第一定位信息。
在一种可能的实现方式中，定位增量包括位置增量以及方向增量；
处理单元620根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量，包括：
提取所述第一环境图像中的第一特征点集合以及所述第二环境图像中的第二特征点集合；
对所述第一环境图像以及所述第二环境图像进行匹配，得到第三特征点集合，所述第三特征点集合是由所述第一特征点集合以及所述第二特征点集合之间的共同特征点组成；
对所述第三特征点集合、所述第一环境图像以及所述第二环境图像进行优化估计处理，得到所述位置增量以及所述方向增量。
在一种可能的实现方式中，处理单元620基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，包括：
获取在所述第一时刻的滤波增益；
通过所述滤波增益以及所述测量定位信息对所述预测定位信息进行修正，得到待确定定位信息；
根据所述待确定定位信息以及所述测量定位信息，确定所述目标用户在第二时刻的第二定位信息。
在一种可能的实现方式中，处理单元620根据所述待确定定位信息以及所述测量定位信息，确定所述目标用户在第二时刻的第二定位信息，包括：
若所述待确定定位信息与所述测量定位信息之间的误差大于或者等于误差阈值，则将所述测量定位信息作为所述第二定位信息；
若所述待确定定位信息与所述测量定位信息之间的误差小于所述误差阈值，则将所述待确定定位信息作为所述第二定位信息。
通过本申请实施例所提供的基于融合信息的定位装置，可以融合wifi定位结果、地磁匹配结果确定当前时刻的测量定位信息。对采集到的图像进行图像处理得到定位增量，基于卡尔曼滤波法可以根据上一时刻的定位信息和定位增量预测当前时刻的定位信息，并结合当前时刻的测量信息，输出当前时刻实际的定位信息，相比测量信息，本申请输出的最终定位信息具有更高的精确度。进一步地，由于图像处理过程中将第一特征点集合以及第二特征点集合划分为多个子集进行特征点匹配得到第三特征点集合，提高了匹配速度和精度，进一步提高了定位的精度以及保证了定位效率。
请参见图7，图7是本申请实施例提供的一种终端设备的结构示意图，该终端设备用于执行图2～图5对应的方法实施例中终端设备所执行的步骤，该终端设备包括：一个或多个处理器710；一个或多个输入设备720，一个或多个输出设备730和存储器740。上述处理器710、输入设备720、输出设备730和存储器740通过总线750连接。存储器720用于存储计算机程序，所述计算机程序包括程序指令，处理器710用于执行存储器740存储的程序指令，执行以下操作：
获取目标用户在第一时刻的第一定位信息，并获取在第一时刻目标用户的第一环境图像；
获取所述目标用户在第二时刻的测量定位信息，所述测量定位信息是对在所述第二时刻采集到的信号强度分析确定的；
获取在第二时刻目标用户的第二环境图像，根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量；
根据所述第一定位信息和所述定位增量，确定第二时刻的预测定位信息；
基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，输出所述第二定位信息。
在一种可能的实现方式中，第一时刻是起始时刻；
处理器710获取目标用户在第一时刻的第一定位信息，包括：
获取在所述第一时刻目标用户周围环境的无线信号强度，根据所述无线信号强度，确定所述目标用户在所述第一时刻对应的第一单位定位信息；
获取在所述第一时刻目标用户周围环境的地磁信息，根据所述地磁信息，确定所述目标用户在所述第一时刻对应的第二单位定位信息；
根据所述第一单位定位信息以及所述第二单位定位信息，确定所述目标用户在第一时刻的第一定位信息。
在一种可能的实现方式中，第一单位定位信息包括第一位置坐标以及第一位置方差，所述无线信号强度的数量为n个，n是正整数；
处理器710获取在所述第一时刻所述目标用户周围环境的无线信号强度，根据所述无线信号强度，确定所述目标用户在所述第一时刻对应的第一单位定位信息，包括：
获取wifi指纹数据库，所述wifi指纹数据库包括多个wifi指纹特征，任一wifi指纹特征包括待匹配无线信号强度向量和一个参考位置坐标；
将n个无线信号强度组合为无线信号强度向量，从所述多个wifi指纹特征中查找与所述无线信号强度向量匹配的目标wifi指纹特征；
根据所述目标wifi指纹特征的参考位置坐标生成所述第一位置坐标，根据所述目标wifi指纹特征的参考位置坐标与所述第一位置坐标确定所述第一位置方差。
在一种可能的实现方式中，第二单位定位信息包括第二位置坐标、第二位置方差和方向坐标，所述地磁信息包括m个磁场强度，m是正整数；
处理器710获取在所述第一时刻所述目标用户周围环境的地磁信息，根据所述地磁信息，确定所述目标用户在所述第一时刻对应的第二单位定位信息，包括：
获取地磁指纹数据库，所述地磁指纹数据库包括多个地磁指纹特征，任一地磁指纹特征包括待匹配磁场强度向量、一个参考位置坐标以及一个参考方向坐标；
将m个磁场强度组合为磁场强度向量，从所述多个地磁指纹特征中查找与所述磁场强度向量匹配的目标磁场指纹特征；
根据所述目标磁场指纹特征的参考位置坐标生成所述第二位置坐标，根据所述目标磁场指纹特征的参考方向坐标生成所述方向坐标，根据所述目标磁场指纹特征的参考位置坐标与所述第二位置坐标确定所述第二位置方差。
在一种可能的实现方式中，第一单位定位信息包括第一位置坐标以及第一位置方差，所述第二单位定位信息包括第二位置坐标、第二位置方差和方向坐标；
处理器710根据所述第一单位定位信息以及所述第二单位定位信息，确定所述目标用户在第一时刻的第一定位信息，包括：
根据所述第一位置方差以及所述第二位置方差确定加权系数；
根据所述加权系数对所述第一位置坐标以及所述第二位置坐标进行加权运算，得到所述目标用户在第一时刻的第一位置；
将所述方向坐标确定为所述目标用户在第一时刻的第一方向；
将所述第一位置以及所述第一方向组合为所述第一定位信息。
在一种可能的实现方式中，定位增量包括位置增量以及方向增量；
处理器710根据所述第一环境图像和所述第二环境图像，确定所述目标用户从第一时刻至第二时刻的定位增量，包括：
提取所述第一环境图像中的第一特征点集合以及所述第二环境图像中的第二特征点集合；
对所述第一环境图像以及所述第二环境图像进行匹配，得到第三特征点集合，所述第三特征点集合是由所述第一特征点集合以及所述第二特征点集合之间的共同特征点组成；
对所述第三特征点集合、所述第一环境图像以及所述第二环境图像进行优化估计处理，得到所述位置增量以及所述方向增量。
在一种可能的实现方式中，处理器710基于第二时刻的测量定位信息，对第二时刻的预测定位信息进行更新，得到所述目标用户在第二时刻的第二定位信息，包括：
获取在所述第一时刻的滤波增益；
通过所述滤波增益以及所述测量定位信息对所述预测定位信息进行修正，得到待确定定位信息；
根据所述待确定定位信息以及所述测量定位信息，确定所述目标用户在第二时刻的第二定位信息。
在一种可能的实现方式中，处理器710根据所述待确定定位信息以及所述测量定位信息，确定所述目标用户在第二时刻的第二定位信息，包括：
若所述待确定定位信息与所述测量定位信息之间的误差大于或者等于误差阈值，则将所述测量定位信息作为所述第二定位信息；
若所述待确定定位信息与所述测量定位信息之间的误差小于所述误差阈值，则将所述待确定定位信息作为所述第二定位信息。
通过本申请实施例所提供的终端设备，可以融合wifi定位结果、地磁匹配结果确定当前时刻的测量定位信息。对采集到的图像进行图像处理得到定位增量，基于卡尔曼滤波法可以根据上一时刻的定位信息和定位增量预测当前时刻的定位信息，并结合当前时刻的测量信息，输出当前时刻实际的定位信息，相比测量信息，本申请输出的最终定位信息具有更高的精确度。进一步地，由于图像处理过程中将第一特征点集合以及第二特征点集合划分为多个子集进行特征点匹配得到第三特征点集合，提高了匹配速度和精度，进一步提高了定位的精度以及保证了定位效率。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述基于融合信息的定位方法所涉及的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述信息处理方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。
- 还没有人留言评论。精彩留言会获得点赞！