一种高精度室外增强现实空间信息显示系统及方法与流程

本发明涉及增强现实空间信息领域，尤其涉及在室外环境下进行高精度增强现实定位和精确空间信息显示技术。

背景技术：

空间地理信息是人们从现实世界中提取出于位置和空间有关的抽象信息，传统的空间地理信息的载体主要是纸质或电子地图，通过地图的形式来记录这些现实世界中的空间信息。随着人类活动范围不断扩大，城市空间结构越来越复杂，传统地图的空间信息展示方式依托于纸张或电脑手机显示器，不能与实际的现实世界场景进行叠加，抽象的空间地理信息符号使用不便，已经越来越不能满足人们生活和生产的需要。

同时，现有的增强现实技术要么只能进行米级的粗略定位，要么只能够使用标志点或者特定图案纹理来进行局部定位，定位范围有限，并且定位坐标容易受到标志点或场景文理的变化而失去连续性，不具有绝对的空间地理坐标意义，无法为室外大场景的增强现实空间信息展示提供高精度连续性的定位支撑，空间地理信息也无法准确地叠加到现实世界场景中。

技术实现要素：

为了解决上面的问题，本发明提供了一种增强现实高精度室外定位方法与空间地理信息精确显示技术。应用该技术能够在室外广域范围内为增强现实显示设备提供高精度的、实时的、连续的绝对地理坐标定位，同时能够将空间地理信息通过与现实世界准确地叠加显示出来中。

本发明的技术方案提供一种高精度室外增强现实空间信息显示系统，包括高精度定位定姿子系统、空间信息数据库、坐标转换子系统和增强现实显示设备，

所述高精度定位定姿子系统，用于获取室外连续的地理坐标定位信息和设备空间姿态信息，包括gnss定位模块、slam定位模块和定姿模块；

gnss定位模块，用于基于gnss获取高精度的地理坐标；

slam定位模块，用于利用双目视觉相机或深度相机，对周围环境进行快速扫描，实现局部的高频率连续坐标定位；

定姿模块，用于利用陀螺仪获取增强现实显示设备在局部坐标空间中的三轴旋转角度信息，所得三轴旋转角度记为εx1,εy1,εz1；

所述空间信息数据库，用于存储管理预先采集的具有空间地理坐标的空间信息数据；

所述坐标转换子系统，用于计算不同坐标之间的转换，包括以下处理，

计算出gnss定位模块的绝对坐标系与slam定位模块的局部坐标系的转换关系，进行gnss定位模块坐标与slam定位模块坐标的整合，得到整合坐标；

将空间信息数据库中的数据坐标转换到gnss定位模块的绝对坐标系中；

根据定姿模块所得三轴旋转角度εx1,εy1,εz1，将处在绝对坐标系中的空间信息数据库中的数据转换到增强现实显示设备的显示坐标系中；

所述增强现实显示设备，用于提取空间信息数据库中的空间信息数据，并根据高精度定位定姿子系统获取到的坐标和姿态信息，通过坐标转换子系统，将空间信息数据增强现实地叠加显示到真实世界场景中。

而且，通过在空间中获取于3个以上点的绝对坐标和局部坐标，绝对坐标由gnss定位模块获取，局部坐标由slam定位模块获取，计算出绝对坐标系与局部坐标系的转换关系。

而且，每隔预定时间重新计算出gnss定位模块的绝对坐标系与slam定位模块的局部坐标系的转换关系。

而且，在slam定位模块重置坐标系时，重新计算出gnss定位模块的绝对坐标系与slam定位模块的局部坐标系的转换关系。

而且，设slam定位模块的局部坐标系为o-xyz，gnss定位模块的绝对坐标系为o1-x1y1z1，设o-xyz系中任意一点坐标为(x,y,z)，o1-x1y1z1系中与之相对应的坐标为(x1,y1,z1)，按下式得出gnss定位模块的绝对坐标系与slam定位模块的局部坐标系的转换关系，

其中，δx,δy,δz为平移量，εx,εy,εz为旋转角，k为尺度参数，r(εx,εy,εz)为转换关系。

而且，设增强现实显示设备的显示坐标系为o3-x3y3z3，高精度定位定姿子系统坐标系为gnss定位模块的绝对坐标系o1-x1y1z1，设高精度定位定姿子系统获取到的增强现实显示设备坐标为(x1,y1,z1)，设o1-x1y1z1系中任意一点坐标为(x1,y1,z1)，计算其在o3-x3y3z3系中与之相对应的坐标为(x3,y3,z3)如下，

其中，r(εx1,εy1,εz1)为转换关系，εx1,εy1,εz1为定姿模块所得三轴旋转角度。

而且，定姿模块利用陀螺仪获取增强现实显示设备在局部坐标空间中的三轴旋转角度信息。

而且，具有空间地理坐标的空间信息数据包括地图poi数据、模型、图片和多媒体数据。

本发明还相应提供一种高精度室外增强现实空间信息显示方法，包括高精度定位定姿过程、空间信息数据存储过程、坐标转换过程和增强现实显示过程，

所述高精度定位定姿过程，用于获取室外连续的地理坐标定位信息和设备空间姿态信息，包括基于gnss获取高精度的地理坐标，利用双目视觉相机或深度相机，对周围环境进行快速扫描，实现局部的高频率连续坐标定位，利用陀螺仪获取增强现实显示设备在局部坐标空间中的三轴旋转角度信息，所得三轴旋转角度记为εx1,εy1,εz1；

所述空间信息数据存储过程，包括存储管理预先采集的具有空间地理坐标的空间信息数据；

所述坐标转换子系统，用于计算不同坐标之间的转换，包括以下处理，

计算出gnss定位的绝对坐标系与slam定位的局部坐标系的转换关系，进行gnss定位坐标与slam定位坐标的整合，得到整合坐标；

将空间信息数据坐标转换到gnss定位的绝对坐标系中；

根据陀螺仪所得三轴旋转角度εx1,εy1,εz1，将处在绝对坐标系中的空间信息数据转换到增强现实显示设备的显示坐标系中；

所述增强现实显示过程，包括提取空间信息数据库中的空间信息数据，并根据高精度定位定姿过程获取到的坐标和姿态信息，通过坐标转换过程，将空间信息数据增强现实地叠加显示到真实世界场景中。

本发明通过多种定位方式相结合在室外进行高精度定位，能够达到厘米级定位，实现了通过增强现实显示设备将虚拟的空间地理信息叠加显示在现实世界场景中的目的。本发明具有多种使用方式，市场前景可观。一个使用场景是，使用者通过该系统能够实时地查看到周边的地名信息，以及在商场外查看商场每一层的购物信息，购物信息增强现实地叠加到商场建筑物上。另一个使用场景是，地下管道维修人员不必再通过地图来寻找维修点，通过该系统可以增强现实地精确地看到街道下方的城市地下管网，可视化地快速地找到维修点。

附图说明

图1为本发明提供的高精度室外增强现实空间信息显示系统的结构示意图。

图2为本发明提供的高精度定位定姿子系统的结构示意图。

图3为本发明提供的坐标转换子系统的功能示意图。

具体实施方式

以下结合附图和实施例详细说明本发明的技术方案。

图1是本发明提供的高精度室外增强现实空间信息显示系统的结构示意图。如图1所示，高精度室外增强现实空间信息显示系统由s1高精度定位定姿子系统、s2空间信息数据库、s3坐标转换子系统和s4增强现实显示设备组成。各个系统集成到一起发挥作用。

所述高精度定位定姿子系统，用于获取室外连续的地理坐标定位信息和设备空间姿态信息，包括：gnss定位模块、slam定位模块和定姿模块。

gnss定位模块，采用gnss多系统融合定位，利用rtk/rtd定位方法获取高精度的地理坐标。

lam定位模块，利用双目视觉相机或深度相机，对周围环境进行快速扫描，实现局部的高频率连续坐标定位。

定姿模块，利用陀螺仪获取增强现实显示设备在局部坐标空间中的三轴旋转角度信息。

实施例中，高精度定位定姿子系统s1通过组合定位的方法，实时地高频率地获取设备精确的位置和姿态信息。

参见图2：

s11为高精度定位定姿子系统s1中的gnss定位模块，该模块采用gnss多系统融合定位，利用rtk/rtd定位方法获取高精度(厘米级)的地理坐标，该坐标是城市平面直角坐标系。该模块获取到的定位坐标是绝对坐标，能够唯一的标记出用户的位置，但是坐标获取的频率较低，例如1hz。具体实施时可以利用现有gnss定位设备实现，例如采用诺瓦泰oem615板卡。

s12为高精度定位定姿子系统s1中的slam定位模块，该模块利用双目视觉相机或深度相机，对周围环境进行快速扫描，可以获得基于环境的局部坐标定，该定位坐标只能在小范围内建立并维持，如果遇到环境急剧变化或者快速移动导致场景变换，坐标系将不能维持，会重新生成新的坐标系。由于双目视觉相机或深度相机可以进行高频率的数据采集，例如30-90hz，利用视觉跟踪定位原理就获取高频率的局部坐标，可以实现局部范围内流畅的定位结果。具体实施时可以利用现有slam定位设备实现，例如采用微软kinect。

s13为高精度定位定姿子系统s1中的定姿模块，该模块使用陀螺仪获取设备在局部平面直角坐标系中的三轴旋转角度信息，该局部平面空间坐标系的坐标轴与s11的gnss定位模块获取到的城市平面直角坐标系的坐标轴平行。所得三轴旋转角度记为εx1,εy1,εz1。

s2为空间信息数据库，存储管理预先采集的具有空间地理坐标的地图poi数据信息、模型、图片、多媒体等空间信息数据。简单的文本式地图poi数据可以通过抓取互联网地图来获取，其他的数据需要预先量测数据的空间坐标。空间信息数据库s2中的数据坐标需要能够唯一定位该数据在空间中的位置。空间信息数据库可以存储在本地，也可以通过网络访问云端数据库。

坐标系转换子系统，用于计算不同坐标之间的转换，包括：

计算出gnss定位模块的绝对坐标系与slam定位模块的局部坐标系的转换关系，进行gnss定位模块坐标与slam定位模块坐标的整合，得到整合坐标；

将空间信息数据库中的数据坐标转换到gnss定位模块的绝对坐标系中；

根据定姿模块所得三轴旋转角度εx1,εy1,εz1，将处在绝对坐标系中的空间信息数据库中的数据转换到增强现实显示设备的显示坐标系中。

如图2，高精度定位定姿子系统s1将获取到的原始定位定姿信息发送给坐标转换子系统s3。参见图3，实施例的坐标转换子系统s3执行以下三种处理：

s31表示坐标转换子系统在接收到高精度定位定姿子系统s1发送的原始定位定姿信息后，进行坐标的融合，得到融合坐标。该整合坐标的坐标系是高精度gnss确定的绝对坐标系，同时具有高频率。具体方法为，分别在空间中获取大于等于3个点的绝对坐标和局部坐标，绝对坐标由gnss定位模块s11获取，局部坐标由slam定位模块s12获取。通过超过3个空间点(标定点/公共点)的两套坐标，计算出绝对坐标系与局部坐标系的转换关系。数学模型如下：

slam定位模块获取到的位置坐标系(局部坐标系)为o-xyz，gnss定位模块获取到的绝对坐标系为o1-x1y1z1，转换是通过坐标原点的平移，依次围绕三个坐标轴的旋转，以及一个尺度放缩来完成的，即三个平移量δx,δy,δz、三个旋转角εx,εy,εz和尺度参数k。

设o-xyz系中任意一点坐标为(x,y,z)，o1-x1y1z1系中与之相对应的坐标为(x1,y1,z1)，则可用以下关系式表示二者之间的关系：

在右手系直角坐标中，若围绕z轴旋转εz角度，则新坐标可通过左乘一个矩阵获得：

同理可知，

由矩阵变换：

r(εx,εy,εz)＝r(εz)·r(εy)·r(εx)

其中，r(εz)、r(εy)、r(εx)分别为绕x、y、z轴旋转的旋转矩阵。

代入可得转换关系r(εx,εy,εz)：

获取到转换关系后，slam定位模块s12获取的高频率坐标都换算到gnss定位模块s11的绝对坐标系中，因此后续步骤中高精度定位定姿子系统坐标系为gnss定位模块获取到的绝对坐标系o1-x1y1z1。

对s31进行进一步的说明，将gnss定位模块s11的绝对坐标与slam定位模块s12的局部坐标统一后，可以在室外实现高精度的连续的定位结果。但是由于slam定位模块s12的坐标会因为环境剧烈变化而失去跟踪，当失去跟踪时slam定位模块s12会重新建立新的局部坐标系，需要重新计算转换关系。同时，slam定位模块s12的定位误差会随着时间的推移而逐渐累积，为了减小定位误差，每隔一段时间就需要重新计算转换关系。综上，坐标转换关系的计算策略为：系统初始化时进行首次坐标转换；当slam定位模块s12由于场景剧烈变化重置定位坐标系时重新计算转换关系，具体实施时slam定位模块重置坐标系时会给出一个信号，可利用该信号触发重新计算转换关系；设定时间阈值，例如10分钟，当超过阈值时重新计算转换关系。

s32用于将空间信息数据库中的数据坐标转换到gnss定位模块s11的绝对坐标系中，这样就在空间信息数据库与高精度定位定姿子系统之间统一了坐标系统。通常情况下，空间数据库中的数据坐标系与高精度定位定姿子系统的gnss定位模块s11绝对坐标系相同，则可以省略进行转换，或为常用地理坐标系，可按照常用地理坐标系坐标转换方法进行坐标转换。

s33用于将处在高精度定位定姿子系统坐标系(即gnss定位模块s11的绝对坐标系)中的空间信息数据库中的数据转换到增强现实显示设备的显示坐标系中。

高精度定位定姿子系统坐标系为gnss定位模块的绝对坐标系，建立高精度定位定姿子系统坐标系转换到增强现实显示坐标系的数学模型，空间信息数据库数据与高精度定位定姿子系统定位坐标都可统一到增强现实显示坐标系。实施例的数学模型如下：

增强现实显示设备的显示坐标系为o3-x3y3z3，高精度定位定姿子系统坐标系为o1-x1y1z1，高精度定位定姿子系统获取到的增强现实显示设备坐标为(x1,y1,z1)，三轴旋转角度为定姿模块所得εx1,εy1,εz1，转换是通过坐标原点的平移，依次围绕三个坐标轴的旋转来完成的。

设o1-x1y1z1系中任意一点坐标为(x1,y1,z1)，计算其在o3-x3y3z3系中与之相对应的坐标为(x3,y3,z3)，则可用以下关系式表示二者之间的关系：

在右手系直角坐标中，若围绕z轴旋转εz角度，则新坐标可通过左乘一个矩阵获得：

同理可知，

由矩阵变换：

代入可得转换关系：

当空间信息数据库数据与高精度定位定姿子系统定位坐标都统一到增强现实显示坐标系后，增强现实显示设备就可以正确显示出周围的空间信息数据，并且这些空间信息数据可以正确地放置在现实场景中，达到增强现实地显示空间信息的目的。

增强现实显示设备，用于提取空间信息数据库中的空间信息数据，并根据高精度定位定姿子系统获取到的坐标和姿态信息，通过坐标转换子系统，将空间信息数据增强现实地叠加显示到真实世界场景中。

如图1中，s4为增强现实显示设备。用于在现实中特定的位置正确地叠加显示空间信息数据。增强现实显示设备的显示坐标系固定于增强现实显示设备，其为硬件局部坐标系。具体实施时，增强现实显示设备的显示器件可采用市场售卖的硬件，可以采用增强现实头盔或增强现实眼镜。例如微软hololens。

综上所述，使用本发明提供的高精度室外增强现实空间信息显示系统，用户可以在室外大范围环境中实现高精度的连续的定位，通过增强现实显示设备，可以将空间信息数据(包括地图poi数据、模型、图片、多媒体等数据)准确地叠加到现实场景中，辅助人们在室外的生产生活。

本发明实施例还提供一种高精度室外增强现实空间信息显示方法，包括包括高精度定位定姿过程、空间信息数据存储过程、坐标转换过程和增强现实显示过程，

所述高精度定位定姿过程，用于获取室外连续的地理坐标定位信息和设备空间姿态信息，包括基于gnss获取高精度的地理坐标，利用双目视觉相机或深度相机，对周围环境进行快速扫描，实现局部的高频率连续坐标定位，利用陀螺仪获取增强现实显示设备在局部坐标空间中的三轴旋转角度信息，所得三轴旋转角度记为εx1,εy1,εz1；

所述空间信息数据存储过程，包括存储管理预先采集的具有空间地理坐标的空间信息数据；

所述坐标转换子系统，用于计算不同坐标之间的转换，包括以下处理，

计算出gnss定位的绝对坐标系与slam定位的局部坐标系的转换关系，进行gnss定位坐标与slam定位坐标的整合，得到整合坐标；

将空间信息数据坐标转换到gnss定位的绝对坐标系中；

根据陀螺仪所得三轴旋转角度εx1,εy1,εz1，将处在绝对坐标系中的空间信息数据转换到增强现实显示设备的显示坐标系中；

所述增强现实显示过程，包括提取空间信息数据库中的空间信息数据，并根据高精度定位定姿过程获取到的坐标和姿态信息，通过坐标转换过程，将空间信息数据增强现实地叠加显示到真实世界场景中。

具体实施时可采用软件技术实现自动运行，可参见系统中相应实现，本发明不予赘述。

以上所述的实施例仅表达了本发明的某种实施方式，其描述较为具体和详细，对于本领域的普通技术人员来说，通读本说明书后，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。