基于无线信号感知的室内增强现实实现方法

基于无线信号感知的室内增强现实实现方法
【专利摘要】本发明公开了一种基于无线信号感知的室内增强现实实现方法，该方法采用无线指纹作为系统位置判断的基础，通过kd树与BBF查询的方法降低系统运算量，基于姿态估计对扫描间隔进行优化，基于前一位置距离与方位的权值KNN计算方法，基于POI距离与方位的显示方法进行显示。该方法可以在室内大场景下实现增强现实服务，弥补了目前在室内通过标签实现增强现实而产生的局限性。
【专利说明】基于无线信号感知的室内增强现实实现方法
【技术领域】
[0001]本发明涉及无线通信领域与虚拟现实领域，具体涉及一种室内增强现实实现方法。
【背景技术】
[0002]随着移动互联网的飞速发展，增强现实已不仅仅只用于工业、军事等专业领域，而将会更多地服务于普通人的生活。基于用户位置的增强现实系统是目前比较主流的一种形式。
[0003]其相关的技术包括增强现实技术与无线指纹定位技术。现有的基于位置的增强现实技术主要依靠GPS、电子罗盘、陀螺仪等作为信息支撑，然而GPS在室内封闭环境下无法正常工作，且GPS在10米左右的精度亦不能满足室内环境下增强现实服务的准确性，从而导致技术遇到瓶颈。目前，室内的主要定位方案仍以无线定位为主。其中无线指纹定位技术具有抗多径传播效应、适用于复杂地理环境等优势，但是在定位精度上相比于TOA、TDOA等距离方法相对较低，在高维度下存在运算量较大的问题。

【发明内容】

[0004]针对现有增强现实技术在室内环境下，由于无法通过GPS准确感知用户位置，增强现实服务往往受到限制；此外，使用增强现实技术的终端为用户手机，其电量在一定程度上受到限制；本发明所要解决的技术问题是提供一种室内环境下基于无线信号感知技术的增强现实技术，以克服现有增强现实技术所存在的缺陷。
[0005]为了解决上述技术问题，本发明采用如下的技术方案:
[0006]基于无线信号感知的室内增强现实实现方法，该方法采用无线指纹数据作为位置判断的基础，同时基于前一位置距离与方位的权值KNN计算方法确定最终位置，最后基于POI距离与方位的显示方法进行显示。
[0007]在本方案的优选方案中，所述方法具体括如下步骤:
[0008](I)根据室内地图选取参考点，同时对相应地图选取需要的POI (Pointofinterest 信息点)；
[0009](2)获取每个参考点的无线指纹数据；
[0010](3)将步骤(2)获得无线指纹数据与实际地理位置相互绑定，在全地图内完成采集，并构成相应的无线地图；
[0011](4)通过KD树(k-dimensional树的简称)的方法对无线地图进行结构化的处理，将信号域划分成不同的区域。
[0012](5)进入实时扫描阶段，对步骤(4)形成的kd树采用BBF查询(优先队列查询)的方法进行查询，寻找到当前无线指纹的K个最临近参考点；
[0013](6)对步骤(5)产生的K个最临近参考点，通过分析其与前一时刻位置的距离与方位角计算对应的权值，最终进行权值KNN (K个最临近点)的计算，得到当前位置的估计值；[0014](7)结合步骤(6)得到的最终位置与步骤(I)中录入的POI的位置，计算出POI与当前位置的距离与方位角；
[0015](8)将POI实际位置坐标，转换为屏幕上的位置坐标，并根据用户终端摄像头的视角范围，最终将筛选后的POI显示在用户终端屏幕上。
[0016]进一步的，所述步骤(I)中选取的参考点之间的间距为3-5米。
[0017]进一步的，所步骤(2)在获取每个参考点的无线指纹数据时，通过在每个参考点采集若干组无线信号数据，并生成概率分布图，再选取概率最大的数据作为最终的无线指纹数据。
[0018]进一步的，所述步骤(5)中在进行扫描时，通过对用户终端的姿态判断(增强现实服务中同样需要)，以此来判断用户终端的使用状况，并以此来调节信号扫描间隔。
[0019]进一步的，所述步骤(I)至(4)为离线处理阶段，由服务提供方进行；所述步骤(5)至(9)运行于用户终端。
[0020]本发明提供的方案基于室内环境下的无线信号作为位置判断依据，可以在室内大场景下实现增强现实服务，弥补了目前在室内通过标签实现增强现实而产生的局限性。
[0021]同时，本方案能够极大的降低用户终端的运算量，有效的延长终端的使用时间，并使得用户终端的性能与效率大大提升。
【专利附图】

【附图说明】
[0022]以下结合附图和【具体实施方式】来进一步说明本发明。
[0023]图1本发明的实现框图；
[0024]图2本发明参考点选择与无线指纹数据采集；
[0025]图3本发明中用户终端处于正常使用状态时，最终实现效果示意图；
[0026]图4本发明用户终端处于水平使用状态时，最终实现效果示意图。
【具体实施方式】
[0027]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0028]由于在室内环境下，无法通过GPS准确感知用户位置，使得增强现实服务往往受到限制；除此之外，由于终端为用户手机，其电量在一定程度上受到限制。对此，本发明结合增强现实的特性与无线定位技术，并在考虑移动终端自身局限的条件下提出解决方案，该方案具体内容包括:采用无线指纹作为系统位置判断的基础，并通过kd树与BBF查询的方法降低系统运算量，基于姿态估计对扫描间隔进行优化，同时基于前一位置距离与方位的权值KNN计算方法，最后基于POI距离与方位的显示方法进行结果显示。
[0029]基于上述原理，本发明提供的基于无线信号感知的室内增强现实实现方法的实现过程如下(参见图1):
[0030]步骤1，根据实际室内地图，在室内选取若干参考点，参考点采用等间距选取，它们之间间距一般为3?5米左右。同时对相应地图(即室内地图)选取需要的POI (Point ofinterest信息点)，用于增强现实的显示。具体实现时，在选取POI时，可采用现有地理信息系统中常用的技术，将相应的POI数据事先录入。[0031]步骤2，获取每个参考点的无线指纹数据。
[0032]对于无线指纹定位技术而言，稳定的无线指纹数据非常重要，而在实际的情况中，由于室内环境复杂而产生的多径效应，导致同一个位置上接收到同一个无线接入点的信号强度会不断发生变化。为此本发明在每一个参考点，为保证实施过程的稳定性，采集若干组无线信号数据，并生成概率分布图，最终选取概率最大的数据作为最终的无线指纹数据。
[0033]本步骤中在采集无线信号数据时，通过无线终端扫描程序实时获取无线信号的MAC地址、SSID、RSSI等数据；由于在同一位置，无线信号的RSS值一直处于波动状态，则通过采集大量RSS数值绘出基本的概率分布图。
[0034]步骤3，通过地址映射的方法，将步骤(2)获得的无线指纹数据与实际地理位置(即该数据采集时的位置)相互绑定，在全地图内完成采集，构成最终的无线地图。
[0035]该步骤中通过编号绑定的方法将获得的无线指纹数据与实际地理位置进行绑定，使得绑定的无线指纹数据与实际地理位置具有相同的编号；
[0036]据此对全地图(即室内地图)内的所有参考点完成数据的采集和对应实际地理位置的绑定。
[0037]最后，根据所有参考点获得的无线指纹数据进行映射形成相应的无线地图。在具体实现时，可将将地图的每一个参考点均由一个无线指纹数据表示，由此来实现映射，再由相应的无线指纹数据在地图上构成相应的无线地图。但具体的方案并不限于此，也可采用其它方式。
[0038]步骤4,对步骤3得到的无线地图进行结构化的处理,通过kd树(k-dimensional树的简称)的方法将信号域划分成不同的区域，以便提高用户客户端的搜索效率。
[0039]步骤5，用户终端在进入该室内后，将进入实时扫描阶段，即实时扫描当前位置的无线信号数据，与已有的无线指纹数据库进行特征值匹配，从而判断用户终端当前位置。
[0040]在实时扫描过程中通过对用户终端的姿态判断(增强现实服务中同样需要)，根据用户终端的姿态来估计用户终端的使用状况，再根据用户终端的使用状态适当的调节信号扫描间隔，降低运算量。
[0041]当用户终端的倾斜角在-90到90度间，则判断用户终端正常使用时刻或状态，适当降低用户终端信号扫面间隔；
[0042]当用户终端的倾斜角在-180到-90度与90到180度间，则判断用户终端处于非正常使用时刻或状态，适当提高用户终端信号扫面间隔。
[0043]步骤6，考虑到高维度的无线环境，在扫描过程中对步骤4形成的kd树采用BBF(Best Bin First)查询(优先队列查询)的方法取代传统的kd树查询查方法进行查询，并根据设定的查询阈值，寻找到当前无线指纹的K个最临近参考点(即寻找到与当前无线指纹欧式距离最近的K个参考点)。这里所述的无线指纹为实时检测到的各个无线信号数据的集合。
[0044]步骤7，对步骤6产生的K个最临近参考点，通过分析它们与前一时刻位置的距离与方位角计算它们的权值，最终进行权值KNN (K-NearestNeighbors)的计算,得到当前位置的估计值。该步骤中在分析K个最临近参考点的权值时，可通过相应的函数来进行，在判断时距离越近权值越高，方位角越小权值越高。对于该函数可根据实际环境而设定。
[0045]步骤8，结合步骤7得到的最终位置(即当前位置的估计值)与步骤I中选取的POI的实际位置，计算出POI与当前位置的距离与方位角。该距离与方位角具体可通过欧式空间内的相关计算求得。
[0046]步骤9，将POI实际位置坐标，转换为屏幕上的位置坐标，并根据用户终端摄像头的视角范围，最终将筛选后的POI显示在用户终端屏幕上。
[0047]该步骤中，根据步骤8中计算得到的POI与当前位置的距离与方位角，通过计算将POI实际位置坐标转换为屏幕上的位置坐标，再通过设备陀螺仪获取设备的姿态，调节屏幕上显示的位置。具体可采用程序算法来实现，首先通过算法计算判断POI是否在当前手机摄像头方位角内，若存在，则根据具体角度显示在屏幕上。但是具体的实现方法并不限于此。
[0048]再根据用户终端摄像头的视角范围进行筛选，只将在视角范围内POI显示在用户终端屏幕上，即仅显示视角内的POI信息显示在用户屏幕上。
[0049]上述方案在具体实现时，其中的步骤I到步骤4为离线处理阶段，这一部分的操作由服务提供方进行，并不存在于用户终端上，通过这一部分实现大量的前期信息处理，从而使得用户终端的性能与效率大大提升；同时步骤5至步骤9在用户终端执行，这样不仅能够在室内大场景下实现增强现实服务，还能够极大的降低用户终端的运算量，有效的延长终端的使用时间，并使得用户终端的性能与效率大大提升。
[0050]以下通过一具体实例对本发明提供的方案进行具体说明。
[0051]本实施案例在服务提供方与用户端两端均采用android智能手机作为运行设备，由此配合形成增强现实服务系统。
[0052]作为服务提供方的android智能手机，其内运行有预处理系统，主要用于对于室内无线数据的采集，并构建成无线地图，且对该地图进行结构化的处理。
[0053]作为用户端的android智能手机，其内运行有增强现实计算系统，主要用于对服务提供方构建的无线地图进行扫描和计算，以得到并显示相应的POI。
[0054]本实例针对某栋大楼内的某一楼层，并在其内实现增强现实服务。针对该室内环境，本实例实现增强现实服务的过程如下(参见图1):
[0055]步骤1，根据实际室内地图选取参考点。
[0056]参见图2，本实例根据其实际室内地图，共计选择了 57个地理位置作为位置参考点，这57个位置参考点之间的间距一般为3?5米左右；同时对相应地图选取需要的Ρ0Ι，用于增强现实的显示。
[0057]步骤2，由作为服务提供方的android智能手机在每一个参考点，采集100组无线数据，并生成概率分布图，最终选取概率最大的数据作为最终的无线指纹数据。
[0058]步骤3，作为服务提供方的android智能手机通过地址映射的方法，将步骤2获得的无线指纹数据与实际地理位置相互绑定，在全地图内完成采集，构成最终的无线地图。
[0059]步骤4，为了提高用户端的搜索效率，作为服务提供方的android智能手机对步骤3得到的无线地图进行结构化的处理，通过kd树的方法将室内的信号域划分成不同的区域。
[0060]在本实例中，通过kd树进行结构化处理时，kd树中的k表示室内环境中的有效无线接入点(AP)数量。首先选择一个方差最大AP作为分割点，对所有的参考点(RP)根据此AP的信号强度值进行排序，根据中间值将所有参考点(RP)分为左子树与右子树，然后依次在左右子树中重复上述操作，直到最终完成kd树。
[0061]步骤5，在作为服务提供方的android智能手机完成离线处理后，用户终端在进入到该室内环境后，将进入实时扫描阶段，为了满足服务的实时性，运行于用户终端的系统的扫描间隔被设置为500ms，也就是说每一秒钟，该系统将对用户终端定位两次。但是如果长时间处于一秒两次定位的频率会相当耗电，而且在很多情况下，用户并没有非常关注自己的位置信息。本系统通过判断用户终端的姿态，来适当调节扫描间隔。如:当终端的倾斜角在-90到90度间时，判断用户终端为正常使用状态，采用500ms的扫描间隔，而在-180到-90度与90到180度等，则用户终端为非正常使用状态，则采用2s的扫描间隔。在一定程度上可降低运算量，延长终端的使用时间。
[0062]步骤6，考虑到高维度的无线环境，用户终端在扫描过程中对步骤4形成的kd树采用BBF查询的方法取代传统的kd树查询。具体的，在运行于用户终端的系统中加入一个优先级队列，用于存储更可能获得临近点的分界点(即获取临近点的概率更大的分界点)。在回溯查找的过程中，系统将设定一个阈值，并从优先级队列里依次回溯各个优先分界点(即存储在优先级队列中中的分界点)，从而进行最临近点的查询。当查询数量达到阈值时，查询结束，最终获取K个最临近参考点。
[0063]步骤7，用户终端对步骤6产生的K个最临近参考点，通过分析它们与前一时刻位置的距离与方位角(该距离与方位角具体可根据此时位置与前一刻位置计算所得)计算它们的权值，最终进行权值KNN的计算，得到用户终端当前位置的估计值。
[0064]此外，由于这里的权值KNN考虑了前一时刻位置，使得首次位置精确程度对整个过程有较大影响，故本实例在首次定位时，预先用3秒钟获取6组用户终端采集的无线指纹数据，通过对这6组数据分析处理，获取相对精确的首次定位位置。
[0065]步骤8，用户终端结合步骤7得到的最终位置(即用户终端当前位置的估计值)与步骤I中事先录入POI的位置，计算出POI与当前位置的距离与方位角。
[0066]步骤9，用户终端将POI实际位置坐标，转换为屏幕上的位置坐标，并根据用户终端摄像头的视角范围，最终将筛选后的POI显示在用户终端屏幕上。
[0067]参见图3和4，其所示为本实例中用户终端(手机)进入到该栋大楼内相应楼层内，基于上述的增强现实服务方案，得到的最终实现示意图，其中图3所示为用户终端处于垂直状态时，其得到的增强现实内容，即在终端的显示屏中显示了卫生间的方位与距离。当用户平握终端(手机)时，系统判断出终端姿态，自动转为地图模式，并显示当前位置，如图4所
/Jn ο
[0068]通过上述实例可知，本实例提供的增强现实技术使得用户终端不接入任何W1-Fi的情况下，能够实现在复杂室内环境下，很好的引导用户到达目的地，比普通的地图导航更为直观。
[0069]以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
【权利要求】
1.基于无线信号感知的室内增强现实实现方法，其特征在于，所述方法采用无线指纹数据作为位置判断的基础，同时基于前一位置距离与方位的权值KNN计算方法确定最终位置，最后基于POI距离与方位的显示方法进行显示。
2.根据权利要求1所述的基于无线信号感知的室内增强现实实现方法，其特征在于，所述方法具体包括如下步骤: (1)根据室内地图选取参考点，同时对相应地图选取需要的POI； (2)获取每个参考点的无线指纹数据； (3)将步骤(2)获得无线指纹数据与实际地理位置相互绑定，在全地图内完成采集，并构成相应的无线地图； (4)通过KD树的方法对无线地图进行结构化的处理，将信号域划分成不同的区域。 (5)进入实时扫描阶段，对步骤(4)形成的kd树采用BBF查询的方法进行查询，寻找到当前无线指纹的K个最临近参考点； (6)对步骤(5)产生的K个最临近参考点，通过分析其与前一时刻位置的距离与方位角计算对应的权值，最终进行权值KNN的计算，得到当前位置的估计值； (7)结合步骤(6)得到的最终位置与步骤(I)中录入的POI的位置，计算出POI与当前位置的距离与方位角； (8)将POI实际位置坐标，转换为屏幕上的位置坐标，并根据用户终端摄像头的视角范围，最终将筛选后的POI显示在用户终端屏幕上。
3.根据权利要求2所述的基于无线信号感知的室内增强现实实现方法，其特征在于，所述步骤(I)中选取的参考点之间的间距为3-5米。
4.根据权利要求2所述的基于无线信号感知的室内增强现实实现方法，其特征在于，所步骤(2)在获取每个参考点的无线指纹数据时，通过在每个参考点采集若干组无线信号数据，并生成概率分布图，再选取概率最大的数据作为最终的无线指纹数据。
5.根据权利要求2所述的基于无线信号感知的室内增强现实实现方法，其特征在于，所述步骤(5)中在进行扫描时，通过对用户终端的姿态判断，以此来判断用户终端的使用状况，并以此来调节信号扫描间隔。
6.根据权利要求2至5中任一项所述的基于无线信号感知的室内增强现实实现方法，其特征在于，所述步骤(I)至(4)为离线处理阶段，由服务提供方进行；所述步骤(5)至(9)运行于用户终端。
【文档编号】H04W64/00GK103826299SQ201410078767
【公开日】2014年5月28日 申请日期:2014年3月5日 优先权日:2014年3月5日
【发明者】史丹青, 王闻彦, 雨田秋浩, 李雪蕾 申请人:上海永畅信息科技有限公司