基于定位的AR导览方法及AR头戴式显示装置与流程

本发明涉及ar导览软件领域，尤其涉及一种基于定位的ar导览方法及ar头戴式显示装置。

背景技术：

在目前的ar导览方案，通常是采用图像识别或扫描二维码的方式，向用户展示对应的ar信息。这种方法受限于场景的限制，通常只能使用在室内。对于室外的ar导览，由于地理环境比较复杂，基于cv的ar导览方式的训练难度高、误识别率高，因此现有的ar导览方案并无法给用户带来很好的体验。

技术实现要素：

本发明的目的基于定位的ar导览方法及ar头戴式显示装置，可以在复杂的地理环境下，辅助用户准确定位兴趣点，并提供关于兴趣点的ar信息，为用户进行ar导览。

根据本发明的一个方面，本发明的一个或多个实施例提供了一种通过基于定位的ar导览的方法，包括，通过ar头戴式显示装置的定位系统，确定用户的空间三维坐标；根据所述用户的空间三维坐标，获取和所述用户的空间三维坐标关联的兴趣点地图，所述兴趣点地图包含至少一个兴趣点和所述至少一个兴趣点的空间三维坐标；通过ar头戴式显示装置的fov取向检测系统，获取ar头戴式显示装置的fov取向，所述fov取向为所述ar头戴式显示装置的显示界面所对应的fov范围的中心的取向；根据所述用户的空间三维坐标、fov取向，以及所述兴趣点的空间三维坐标，在ar头戴式显示装置上显示关于所述兴趣点的ar信息，使得所述ar信息和所述兴趣点对应；基于所述兴趣点和用户之间的位置关系，差异化显示所述ar信息。

根据本发明的另一个方面，本发明的一个或多个实施例还提供了一种ar头戴式显示装置，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述ar头戴式显示装置执行上述的方法。

本发明的一个或多个实施例的有益效果在于：不依赖于传统ar导览需要使用图像识别、扫码等方式确定兴趣点，可以实现在复杂场景、特别是大型景区内的导览，为用户提供高效的导览交互方式。

附图说明

图1示出了基于本发明一个或多个实施例的基于定位的ar导览方法的流程图；

图2示出了基于本发明的一个或多个实施例的ar头戴式显示装置；

图3示出了基于本发明的一个或多个实施例的景区导览的示意图；

图4示出了基于本发明的一个或多个实施例的fov取向的示意图；

图5示出了基于本发明的一个或多个实施例的ar信息的显示方式；

图6示出了基于本发明的一个或多个实施例的ar信息的显示方式。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于定位的ar导览方法及ar头戴式显示装置的具体实施方式、结构、特征及其功效，详细说明如后。

如图1所示基于本发明一个实施例的基于定位的ar导览方法的流程图，包括步骤s1-s4，具体为：

s1、通过ar头戴式显示装置的定位系统，确定用户的空间三维坐标；

s2、根据所述用户的空间三维坐标，获取和所述用户的空间三维坐标关联的兴趣点地图，所述兴趣点地图包含至少一个兴趣点和所述至少一个兴趣点的空间三维坐标；

s3、通过ar头戴式显示装置的fov取向检测系统，获取ar头戴式显示装置的fov取向，所述fov取向为所述ar头戴式显示装置的显示界面所对应的fov范围的中心的取向；

s4、根据所述用户的空间三维坐标、fov取向，以及所述兴趣点的空间三维坐标，在ar头戴式显示装置上显示关于所述兴趣点的ar信息，使得所述ar信息和所述兴趣点对应。

在步骤s1中，通过ar头戴式显示装置的定位系统，确定用户的空间三维坐标。具体地，ar头戴式显示装置能够将虚拟的信息叠加到真实世界，使佩戴者可以在看到真实世界画面的情况下，同时看到虚拟信息，实现两种信息的相互补充。在一个或多个实施例中，ar头戴式显示装置包括ar/mr眼镜、ar/mr头环、ar/mr头盔等不同类型的头戴式设备，mr(mixedreality)和ar(augmentedreality)的区别在于mr技术更加突出虚拟信息，而ar技术更加突出真实信息，两者的技术方案上并无本质区别，因此在本发明中，以ar统称包含ar、mr等现实扩增的技术。ar头戴式显示装置相比于智能手机的ar功能来说，ar头戴式显示装置直接将显示模组置于人眼之前，可以解放用户双手，且ar头戴式显示装置的显示模组的fov(fieldofview)中心和用户的fov中心重合，可以为用户提供沉浸式的ar体验。显示模组的fov即显示模组的可显示区域。

如图2所示，在一个或多个实施例中，ar头戴式显示装置为ar眼镜100，ar眼镜100可以包括一个或两个显示装置10，对应于适配用户的一只或两只眼睛。显示装置可以采用以棱镜、lcd、光波导、birdbath、自由曲面反射镜等可以实现半透半反的显示方案。此外，ar眼镜100还可以包括镜架20，在一些实施方式中，可以将ar眼镜的传感器、定位系统、处理单元、存储器和电池放到镜架20内部，在另一些实施方式中，也可以将传感器、定位系统、处理单元、存储器和电池的一个或多个部件集成在另一个独立的配件(未示出)，通过数据线和ar眼镜100进行连接。

ar眼镜100中包含定位系统，可以用来获取用户的空间三维坐标。在其中一个实施例中，空间三维坐标可以由定位信息和海拔信息确定。可以理解用户的空间三维坐标是用户基于某一参考系的三维坐标。在其中一个实施方式中，空间三维坐标可以用经度、纬度、海拔高度来表示，其中经度和纬度合称为定位信息。在一个或多个实施方式中，所述定位系统包括卫星定位装置和气压传感器。卫星定位装置可以是gps、北斗等利用卫星进行定位的装置，其可以获取当前准确的定位信息，即经纬度信息。在另一些实施例中，可以采用其他坐标系来确定用户的地理位置，可以理解不同的坐标系均可以转换为经度、纬度、海拔高度。所述气压传感器获取气压值，并通过气压值计算得到所述海拔信息。一般来说海拔越高，气压越低，两者的物理关系如下所示：

其中p0为标准大气压，p为当前测量的气压，a为海拔高度。气压传感器获取当前测量的气压值之后，即可以通过上述公式，计算出海拔高度a的值。

此外，海拔信息也可以从卫星定位装置获取，可以用来和气压传感器获取的海拔信息进行互相校准。例如，可以通过android系统提供的locationmanagr服务，使用gps全球定位系统返回海拔高度值。

在步骤s2中，根据所述用户的空间三维坐标，获取和所述用户的空间三维坐标关联的兴趣点地图，所述兴趣点地图包含至少一个兴趣点和所述至少一个兴趣点的空间三维坐标。具体地，与所述用户的空间三维坐标关联的兴趣点地图可以是用户所处的景区的导览地图、星体分布图、无人机导航图等。在其中一个实施例中，对于固定位置的兴趣点，其空间三维坐标通常是预设的。在另一个实施例中，对于可移动的兴趣点，可以根据其其移动轨迹提供空间三维坐标的时间序列图；或者可以根据兴趣点上的定位装置提供空间三维坐标，在其中一个实施例中，兴趣点的定位方法可以和在步骤s1中所述的用户的定位方法一致。在其中一个实施例中，如图3所示，以景区导览地图为例，用户位于景区的某一座山峰顶部，用户的空间三维坐标为(a0,b0,c0)，兴趣点则为一个或多个景点，在图3中具有3个兴趣点，其分别具有已知的三维坐标(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)。例如其中一个兴趣点为一座古塔，则该古塔的三维坐标信息可以以古塔的最高点或中心点进行确定。在另一个实施例中，以星体分布图为例，兴趣点为具体的星座或者星体，由于星座或星体默认位于无限远的地点，则星座或星体的三维坐标可以由星体的方位角和高度角确认。

在其中一些实施例中，可以判定用户的空间三维坐标是否落入一预设的电子围栏内达到一阈值时间，而获取与所述电子围栏关联的兴趣点地图。电子围栏可以是预设在游览场地的一个虚拟区域。由于定位信号的精度问题，当用户处于电子围栏的边缘附近时，会出现被判定为用户交替进入和退出电子围栏的情况，从而影响用户的体验，因此通过设定一阈值时间，例如为1s、2s、5s等，可以确保用户不会因为定位精度的问题而提供错误的兴趣点地图。例如，可以在景点中设置收费区域和免费区域，并采用电子围栏的方式的隔开，针对收费区域和免费区域可以具有不同的兴趣点，或者相同的兴趣点显示不同的ar信息，从而提供多样化的ar体验。

在步骤s3中，通过ar头戴式显示装置的fov取向检测系统，获取ar头戴式显示装置的fov取向，所述fov取向为所述ar头戴式显示装置的显示界面所对应的fov范围的中心的取向。具体地，fov取向是指ar头戴式显示装置的显示界面的朝向数据，由于ar头戴式显示装置直接佩戴在人眼面前，即可以认为和用户的视野方向一致。如图4所示，用户通过ar头戴式显示装置10，在望向远处的铁塔200，此时，用户的视野方向和ar头戴式显示装置的fov的中心线的取向重合，均为虚线11所示。在其中一个实施例中，fov的朝向包括fov的水平方向以及fov和水平方向的夹角，因此fov取向可以同样由方位角和高度角确定。在其中一些实施例中，ar头戴式显示装置的fov取向检测系统包括磁力传感器和imu传感器。imu(惯性测量单元)传感器通常指由3个加速度计和3个陀螺仪组成的组合单元，加速度计和陀螺仪安装在互相垂直的测量轴上，其可以测量6个自由度(6dof)的运动。当用户佩戴ar头戴式显示装置的时候，由于ar头戴式显示装置的显示界面和人的视野重合，可以通过ar头戴式显示装置的磁力传感器通过检测地球磁场的强度，确定所述ar头戴式显示装置的fov在水平面上的朝向，用户视野所观察的水平方位；还可以通过ar头戴式显示装置的imu传感器检测用户的头部运动，确定用户视野与水平面的夹角，即用户的抬头/低头的角度。由此，可以确定用户视野所观测的水平和垂直的方向。

在步骤s4中，根据所述用户的空间三维坐标、fov取向，以及所述兴趣点的空间三维坐标，在ar头戴式显示装置上显示关于所述兴趣点的ar信息，使得所述ar信息和所述兴趣点对应。具体地，在空间三维坐标中，若已知两个点的三维坐标，则可以确定两个点之间的几何位置关系(例如距离、方位等)，可以通过计算所述用户和所述兴趣点的连线和所述fov取向的空间角，由于ar头戴式显示装置的显示区域大小固定、ar头戴式显示装置和用户眼睛之间的距离已知，可以根据fov取向计算出显示区域所在的平面的位置，由此可以近似计算出用户眼睛和兴趣点之间的连线是否通过显示区域所在的平面，从而可以确定兴趣点在所述ar头戴式显示装置上的显示区域。由于ar头戴式显示装置可以使得用户实现半透半反的显示效果，因此可以在ar头戴式显示装置上显示该兴趣点对应的ar信息，从而使得用户可以可以同时观察到该兴趣点的真实信息和ar信息。在一个或多个实施例中，ar信息的显示方式如图5所示，在图5中，铁塔200为用户可以通过显示装置10可以看到的真实的建筑物，铁塔200为兴趣点的一个示例，ar信息包括一段文字201、一段视频202，并通过指示线的方式和铁塔200相连，使得用户可以将这些ar信息和铁塔200对应，从而增强用户在游览景点时的体验。在一个或多个实施例中，ar信息可以在识别到兴趣点的时候直接播放，或者用户可以通过语音交互等方式触发ar信息的播放。

此外，可以根据兴趣点是否落入fov而对ar信息进行差异化显示。在一些实施例中，若所述兴趣点落入fov，则在所述ar头戴式显示装置的显示界面显示与所述兴趣点对应的ar信息。在另一些实施例中，若所述兴趣点在所述fov之外，则在所述ar头戴式显示装置的显示界面上提示用户所述兴趣点的方位。由此，若兴趣点未在fov内，可以提示用转动视角，找到兴趣点。如图5所示，在其中一个实施例中，铁塔200并未落入fov中，可以在显示装置10的靠近铁塔200的一侧显示标识，提示用户继续向左移动视野，则可以观测到铁塔。在另一些实施例中，可以根据兴趣点和fov的空间位置，可以在显示装置10中提示用户执行抬头、低头、向左移动、向右移动等动作以观测兴趣点。

在一个或多个实施例中，本发明公开的基于定位的ar导览方法还包括步骤s5：基于所述兴趣点和用户之间的位置关系，差异化显示所述ar信息。在基于ar眼镜的导览中，由于ar信息是直接叠加在真实场景上，因此ar信息是否和真实场景产生匹配的效果，对于用户理解ar信息和真实场景的关系至关重要。而传统的基于手持智能设备的ar导览方式需要通过摄像头获取真实场景的图像，并在摄像头获得的图像叠加ar信息。受限于摄像头取景后的图像和真实场景在用户视野中的大小变化，用户实际上无法获得虚实结合的体验。此外因为定位误差、fov取向测量误差的存在，对于多个相邻的兴趣点，可能会错误标记ar信息和真实场景的关系。因此，可以基于所述兴趣点和用户之间的位置关系，差异化显示所述ar信息，使得用户可以清楚的理解因为兴趣点的位置变化，而导致的ar信息的显示状态的变化，也可以避免因为视野中兴趣点之间距离较近而产生的的误差，导致用户无法理解兴趣点和ar信息的匹配关系。

在其中一些实施例中，可以根据所述兴趣点和用户的距离，调整所述ar信息的颜色、大小、透明度、图层位置中的一个或多个，从而差异化显示所述ar信息。例如，可以使得离用户较远的兴趣点的ar信息位于显示图层的下方，和/或按照近大远小的原则对ar信息进行比例缩放。在另一些实施例中，可以根据所述ar信息和显示界面中心的距离，调整所述ar信息的颜色、大小、透明度、图层位置中的一个或多个。

例如，若fov内存在两个或以上的兴趣点，可以按近大远小的方式显示ar信息，使得用户可以将ar信息和兴趣点相对应；也可以按照ar信息的颜色进行差异化现实，例如可以对距离用户较近的信息点的ar信息采用较深的颜色进行显示，或者对距离用户较远的信息点的ar信息采用更高的透明度进行显示。还例如，可以使距离用户较近的ar信息的图层位于最上层，避免其他ar信息的遮挡。又例如，由于ar头戴式显示装置的显示模块的中心对于用户来说视野更容易集中，因此对于距离显示界面中心较近的ar信息，可以将其ar信息进行放大、突出显示，从而使得用户可以获取更好的ar体验。

具体地，以图5为例，若实际检测到用户里铁塔的距离为1km的情况下，文字201和视频202的大小显示如图5大小所示。若用户因为移动，而移动到距离500m的位置，则文字201和视频202的大小进行一定比例的放大。若假设在图5的场景中还存在另一个兴趣点(未示出)，而同时用户和另一个兴趣点的距离一直保持不变，则另一个兴趣点对应的ar信息的大小则保持不变，由于用户视野中的铁塔200必然随着距离变小而变大，而ar信息的同步变大，可以使得用户感受到ar信息和实际物体的关联，从而提升用户的体验。

在一个或多个实施例中，兴趣点的位置可能随着时间而不停的变换。例如，以星体作为兴趣点的实施例下，由于地球的自传或行星的运动，导致星体和用户的相对位置和时间有关。因此，在一些实施例中，还可以获取时间参数，由于星体的运动轨迹和时间存在对应的关系，则进一步获取和所述时间参数关联的兴趣点地图。此外，例如以无人机作为兴趣点的实施例下，由于无人机在飞行过程中的位置实时变化，因此可以通过通讯连接从无人机中获取无人机的定位信息和海拔信息的更新信息，并且根据所述更新信息，调整所述ar信息的显示位置。

在一些优选的实施例中，由于定位系统的误差，用户的三维空间信息的获取可能不准确，在步骤s4后，可以使用图像识别算法识别当前场景，判断ar信息显示的位置是否和兴趣点匹配。例如，在图5中，当用户观测到铁塔200的时候，可以将图像识别得到的铁塔位置和使用定位识别到的铁塔位置进行比对，从而确定当前的ar信息显示的位置是否和图像识别到的铁塔位置一致。当兴趣点的特征比较明确的时候，可以使用图像识别进行矫正。

在另一些优选的实施例中，由于定位系统的误差，用户的三维空间信息的获取可能不准确，在步骤s4后，可以根据用户的反馈结果进行误差校正。例如，对于一个具有多个兴趣点的地图，可以优先推荐用户观察具有明显特征的兴趣点，通过向用户发送判定提示，让用户确认是否当前的ar信息和兴趣点是否匹配，若用户反馈匹配成功，则证明当前用户的空间三维坐标准确。若用户确认存在偏差，则可以让用户移动头部，使得ar信息和真实的兴趣点进行矫正。用户矫正完成后，可以为其他兴趣点的匹配施加同样的矫正参数。

根据本发明的一个或多个实施例，还公开了一种ar头戴式显示装置，包括处理器和存储器，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述ar头戴式显示装置执行上文所描述的s1-s4的步骤。ar头戴式显示装置的其中一个实施例如图2所示的ar眼镜100，其具体的执行的步骤在此不再赘述。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。