基于定位系统和AR/MR的探测系统及探测方法与流程

本发明涉及探测领域，更具体地本发明涉及基于定位系统和AR/MR技术的探测系统及探测方法。

背景技术：

探测技术是一门非常传统的技术。测绘、勘探、勘察管路均属于探测。根据具体的探测目的，常规的方法包括使用声纳、雷达、红外等方法通过接收反射波确定不可见物体的位置。一般人需要相当长的时间才能掌握这些常规的方法，而且这些设备相对笨重复杂，亟待一种更加简洁的、符合现代人使用习惯的探测系统。

技术实现要素：

有鉴于此，本发明人希望把最新的MR/AR技术应用于该领域。

根据本发明的第一方面，本发明提供一种基于定位系统和AR/MR的探测系统，其包括：

AR/MR显示装置，用于显示AR/MR影像；

地理定位系统，用于确定所述AR/MR显示装置的地理位置；

红外激光定位系统，用于确定所述AR/MR显示装置在确定区域内的3D坐标和姿态；

AR/MR探测系统，包括数据库和处理单元，所述数据库存储待测区域中待测物的数据及待测物的虚拟影像，所述处理单元根据AR/VR显示装置的地理位置、3D坐标和姿态将待测物的虚拟影像叠加在AR/MR显示装置所显示的现实影像。

优选地，所述地理定位系统包括GPS、GMS、LTE定位系统中的一种或多种。

在本发明的一些实施方式中，所述地理定位系统包括地面基站和/或地面信号增强点。

优选地，所述AR/MR探测系统的一部分可以位于云端。

所述AR/MR显示装置包括头戴式显示设备、智能手机、或平板电脑。

在本发明的一些实施方式中，所述系统还包括探测装置。所述探测装置包括但不限于传感器。

在本发明的一些实施方式中，所述探测装置包括捕捉设备，所述捕捉设备用于采集场景信息。所述捕捉设备包括但不限于深度照相机。

优选地，所述AR/MR显示装置可接收使用者的互动信息。

根据本发明的第二方面，本发明提供一种基于定位系统和AR/MR的探测方法，其包括：

基于地理定位系统和红外激光定位系统的定位，在AR/MR显示装置中显示预设虚拟影像。

优选地，所述虚拟影像具有预设的定位坐标。

优选地，所述虚拟影像的预设定位坐标包括地理坐标。

优选地，所述虚拟影像的预设定位坐标包括相对位置坐标。所述相对位置坐标包括相对地理坐标和/或相对3D坐标。

优选地，通过图像识别确认AR/MR显示装置中显示的现实影像中的特征点，在与特性点的预设相对位置显示虚拟影像。

优选地，根据地理定位系统确定AR/MR显示装置所在的地理位置，当所述AR/MR显示装置位于预设地理坐标范围时，在预设相对位置显示虚拟影像。

本发明的一些实施方式中，所述红外激光定位系统用于确定AR/MR显示装置在现场区域内的3D坐标和姿态。在一些情况下，一个确定的区域范围内，可以利用相对位置对AR/MR显示装置进行定位，同理也可以用相对位置预设虚拟影像的显示坐标。当AR/MR显示装置进入到该确定区域范围时，在相对位置显示预设虚拟影像。或者通过图像识别确认现实影像中的特征点，在与特性点的预设相对位置显示虚拟影像。在一些情况中，根据地理定位系统确定AR/MR显示装置所在的地理位置，当所述AR/MR显示装置位于预设地理坐标范围时，在预设相对位置显示虚拟影像。

根据本发明的第三方面，本发明提供一种存储程序指令的非暂态计算机可读介质，所述程序指令当由处理设备执行时使得所述设备：

基于地理定位系统和红外激光定位系统的定位，在AR/MR显示装置中显示预设虚拟影像。

优选地，所述虚拟影像具有预设的定位坐标。

优选地，所述虚拟影像的预设定位坐标包括地理坐标。

优选地，所述虚拟影像的预设定位坐标包括相对位置坐标。所述相对位置坐标包括相对地理坐标和/或相对3D坐标。

本发明的一些实施方式中，所述红外激光定位系统用于确定AR/MR显示装置在现场区域内的3D坐标和姿态。在一些情况下，一个确定的区域范围内，可以利用相对位置对AR/MR显示装置进行定位，同理也可以用相对位置预设虚拟影像的显示坐标。当AR/MR显示装置进入到该确定区域范围时，在相对位置显示预设虚拟影像。或者通过图像识别确认现实影像中的特征点，在与特性点的预设相对位置显示虚拟影像。在一些情况中，根据地理定位系统确定AR/MR显示装置所在的地理位置，当所述AR/MR显示装置位于预设地理坐标范围时，在预设相对位置显示虚拟影像。

附图说明

下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：

图1示出基于定位系统和AR/MR的探测系统的示例；

图2示出本发明所用的全球定位系统的示例；

图3示出AR/MR显示装置的一个实施例；

图4示出AR/MR显示装置相关的处理单元的一个实施例；

图5示出实现本发明的探测系统的计算机系统的一个实施例；

图6示出AR/MR探测系统、红外激光定位/扫描系统与显示装置相互协作的流程图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

在本发明中，使用GPS或移动通讯信号作为全球定位系统。当使用移动通讯信号时，可以用以下方法增强信号：设置在待探测位置附近的多个定位器，用于周期性的向周围发送定位信号，定位器的定位信号覆盖范围作为该定位器的定位区域。本实施例中，定位器周期性向周围发送球形低频电磁场(覆盖半径由对应环境及发射功率决定)。

附在探测者上的定位标签，当定位标签进入某定位器的定位区域时，接收该定位器发出的定位信号，从中解析出该定位器的ID号；并将该定位器的ID号和该定位标签的ID号发送给定位通信基站。定位标签主要用于被定位对象的定位，其功能是接收定位器发出的低频磁场信号以及从中解析出该定位器的ID号。

一个或多个定位通信基站，用于实现对所有定位器的定位区域的无线信号覆盖，并把定位通信基站的ID号、接收到的定位器的ID号和定位标签的ID号以及定位时间(定位通信基站把接收到定位标签发送信号时的时间作为定位时间)发送给定位引擎服务器。

定位引擎服务器，通过以太网与定位通信基站连接，接收上述定位通信基站的ID号、定位器的ID号和定位标签的ID号以及定位时间，进行处理后获得定位标签的移动轨迹(也就是该定位标签携带者的移动轨迹)。

本发明中用于实现混合现实环境的系统可包括与中枢计算系统通信的移动显示设备。移动显示设备可包括耦合到头戴式显示设备(或其他合适的装置)的移动处理单元。

头戴式显示设备可包括显示元件。该显示元件在一定程度上透明，使得用户可透过该显示元件看到该用户的视野(FOV)内的现实世界物体。该显示元件还提供将虚拟图像投影到该用户的FOV中以使得所述虚拟图像也可出现在现实世界物体旁边的能力。该系统自动地跟踪用户所看之处，从而该系统可确定将虚拟图像插入到该用户的FOV中的何处。一旦该系统知晓要将该虚拟图像投影至何处，就使用该显示元件投影该图像。

在实施例中，中枢计算系统和一个或多个处理单元可以协作以构建包括房间或其他环境中的所有用户、现实世界物体和虚拟三维物体的x、y、z笛卡尔位置的环境的模型。由该环境中的用户佩戴的每个头戴式显示设备的位置可以被校准到该环境的所述模型并且被彼此校准。这允许该系统确定每个用户的视线以及该环境的FOV。从而，可向每个用户显示虚拟图像，但是该系统从每个用户的视角确定该虚拟图像的显示，从而针对来自或由于该环境中的其他物体的任何视差以及遮挡来调整该虚拟图像。该环境的所述模型(在本文中被称为场景图)以及对用户的FOV以及该环境中的物体的跟踪可由协力或独立工作的中枢和移动处理单元来生成。

如下文所阐述的，一个或多个用户可选择与出现在用户的FOV内的共享的或私有的虚拟物体交互。如本文所使用的，术语“交互”涵盖用户与虚拟物体的身体交互和语言交互两者。

如本文所使用的，用户简单地看向虚拟物体(诸如查看共享虚拟物体中的内容)是用户与虚拟物体的身体交互的另一示例。

如在图3和4中看到的，头戴式显示设备2可包括集成处理单元4。在其他实施例中，处理单元4可以与头戴式显示设备2分开，且可经由有线或无线通信来与头戴式显示设备2通信。

在一个实施例中为眼镜形状的头戴式显示设备2被佩戴在用户的头上，使得用户可以透过显示器进行查看，并且从而具有该用户前方的空间的实际直接视图。使用术语“实际直接视图”来指代直接用人眼看见现实世界物体的能力，而不是看见物体的被创建的图像表示。例如，通过眼镜看房间允许用户得到该房间的实际直接视图，而在电视机上观看房间的视频不是该房间的实际直接视图。下面提供头戴式显示设备2的更多细节。

处理单元4可包括用于操作头戴式显示设备2的计算能力中的许多能力。在一些实施例中，处理单元4与一个或多个中枢计算系统12无线地(例如，WiFi、蓝牙、红外、或其他无线通信手段)通信。如此后解释的，中枢计算系统12可以在处理单元4的远程提供，使得中枢计算系统12和处理单元4经由诸如LAN或WAN等无线网络来通信。在进一步实施例中，中枢计算系统12可被省略以使用头戴式显示设备2和处理单元4来提供移动混合现实体验。

中枢计算系统12可以是计算机、游戏系统或控制台等等。根据一示例实施例，中枢计算系统12可以包括硬件组件和/或软件组件，使得中枢计算系统12可被用于执行诸如游戏应用、非游戏应用等等之类的应用。在一个实施例中，中枢计算系统可包括诸如标准化处理器、专用处理器、微处理器等等之类的处理器，这些处理器可以执行存储在处理器可读存储设备上的指令来执行本文所述的过程。

中枢计算系统12进一步包括捕捉设备，该捕捉设备用于从其FOV内的场景的一些部分中捕捉图像数据。如本文所使用的，场景是用户在其中到处移动的环境，这一环境在捕捉设备的FOV内和/或每一头戴式显示设备2的FOV内被捕捉。可以存在多个捕捉设备，这些捕捉设备彼此协作以从所述多个捕捉设备20的合成FOV内的场景中集体地捕捉图像数据。捕捉设备20可包括一个或多个相机，相机在视觉上监视用户18和周围空间，使得可以捕捉、分析并跟踪该用户所执行的姿势和/或移动以及周围空间的结构，以在应用内执行一个或多个控制或动作和/或使化身或屏上人物动画化。

中枢计算系统12可被连接到诸如电视机、监视器、高清电视机(HDTV)等可提供游戏或应用视觉的视听设备16。在一个示例中，视听设备16包括内置扬声器。在其他实施例中，视听设备16和中枢计算系统12可被连接到外部扬声器22。

中枢计算系统12与头戴式显示设备2和处理单元4一起可以提供混合现实体验，其中一个或多个虚拟图像(如图1中的虚拟物体21)可与场景中的现实世界物体混合在一起。图1例示出作为出现在用户的FOV内的现实世界物体的植物23或用户的手23的示例。

控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图4提供。处于镜腿102内部或安装到镜腿102的是耳机130、惯性测量单元132、以及温度传感器138。在图4中所示的一个实施例中，惯性测量单元132(或IMU132)包括惯性传感器，诸如三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C。惯性测量单元132感测头戴式显示设备2的位置、定向和突然加速度(俯仰、滚转和偏航)。除了磁力计132A、陀螺仪132B和加速度计132C之外或者取代磁力计132A、陀螺仪132B和加速度计132C，IMU132还可包括其他惯性传感器。

微显示器120通过透镜122来投影图像。存在着可被用于实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常是使用具有强大背光和高光能量密度的LCD类型的显示器来实现的。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。取决于该技术，照明是由白光源或RGB源来向前点亮的。数字光处理(DLP)、硅上液晶(LCOS)、以及来自高通公司的显示技术都是高效的反射技术的示例(因为大多数能量从已调制结构反射离开)并且可被用在本系统中。附加地，微显示器120可以使用发射技术来实现，其中光由该显示器生成。例如，来自Microvision有限公司的PicoP^TM显示引擎使用微型镜面舵来将激光信号发射到担当透射元件的小型屏幕上或直接将光束(例如，激光)发射到眼睛。

图3是描绘了头戴式显示设备2的各个组件的框图。图4是描述处理单元4的各种组件的框图。头戴式显示设备2(其组件在图4中被描绘)被用于通过将一个或多个虚拟图像与用户对现实世界的视图的无缝融合来向用户提供混合现实体验。另外，图4的头戴式显示设备组件包括跟踪各种状况的许多传感器。头戴式显示设备2将从处理单元4接收关于虚拟图像的指令，并且将把传感器信息提供回给处理单元4。处理单元4(其组件在图4中被描绘)将从头戴式显示设备2接收传感信息，并且将与中枢计算设备12交换信息和数据。基于该信息和数据的交换，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给图5的头戴式显示设备。

在一个实施例中，控制电路200的所有组件都通过专用线路或一个或多个总线彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。相机接口216提供到两个朝向房间的相机112的接口，并且将从朝向房间的相机所接收到的图像存储在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222向控制不透明滤光器114的不透明度控制电路224提供关于微显示器120上所正显示的虚拟图像的信息。定时发生器226被用于向该系统提供定时数据。显示输出接口228是用于将图像从朝向房间的相机112提供给处理单元4的缓冲器。显示输入接口230是用于接收诸如要在微显示器120上显示的虚拟图像之类的图像的缓冲器。显示输出接口228和显示输入接口230与作为到处理单元4的接口的带接口232通信。

电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC240、温度传感器接口242、以及时钟发生器244。电压调节器234通过带接口232从处理单元4接收电能，并将该电能提供给头戴式显示设备2的其他组件。每个眼睛跟踪照明驱动器236都如上面所述的那样为眼睛跟踪照明134A提供IR光源。音频DAC和放大器238向耳机130输出音频信息。话筒前置放大器和音频ADC240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。电源管理电路202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电能并从其接收回数据。

图4是描述处理单元4的各种组件的框图。图4示出与电源管理电路306通信的控制电路304。控制电路304包括：中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM326、与存储器330(例如D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输出缓冲器336、通过带接口302和带接口232与头戴式显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCIexpress接口、以及(一个或多个)USB端口348。在一个实施例中，无线通信设备346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备等。USB端口可被用于将处理单元4对接到中枢计算系统12，以便将数据或软件加载到处理单元4上以及对处理单元4进行充电。在一个实施例中，CPU320和GPU322是用于确定在何处、何时以及如何向用户的视野内插入虚拟三维物体的主要力量。以下提供更多细节。

电源管理电路306包括时钟发生器360、模数转换器362、电池充电器364、电压调节器366、头戴式显示器电源376、以及与温度传感器374进行通信的温度传感器接口372(其可能位于处理单元4的腕带上)。模数转换器362被用于监视电池电压、温度传感器，以及控制电池充电功能。电压调节器366与用于向该系统提供电能的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电能之际(通过电压调节器366)对电池368进行充电。HMD电源376向头戴式显示设备2提供电力。

相机组件423可包括可被用于捕捉场景的深度图像的红外(IR)光组件425、三维(3D)相机426、以及RGB(视觉图像)相机428。例如，在飞行时间分析中，捕捉设备20的IR光组件425可将红外光发射到场景上，并且然后可使用传感器(在一些实施例中包括未示出的传感器)、例如使用3-D相机426和/或RGB相机428来检测从场景中的一个或多个目标和物体的表面后向散射的光。

在一示例实施例中，捕捉设备20可进一步包括可与图像相机组件423进行通信的处理器432。处理器432可包括可执行指令的标准处理器、专用处理器、微处理器等，这些指令例如包括用于接收深度图像、生成合适的数据格式(例如，帧)以及将数据传送给中枢计算系统12的指令。

捕捉设备20可进一步包括存储器434，存储器434可存储由处理器432执行的指令、由3-D相机和/或RGB相机所捕捉的图像或图像帧、或任何其他合适的信息、图像等等。根据一示例实施例，存储器434可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、硬盘或任何其他合适的存储组件。如图6中所示，在一个实施例中，存储器434可以是与图像相机组件423和处理器432通信的单独组件。根据另一实施例，存储器434可被集成到处理器432和/或图像捕捉组件423中。

捕捉设备20通过通信链路436与中枢计算系统12通信。通信链路436可以是包括例如USB连接、火线连接、以太网电缆连接等有线连接和/或诸如无线802.11b、802.11g、802.11a或802.11n连接等的无线连接。根据一个实施例，中枢计算系统12可经由通信链路436向捕捉设备20提供可被用于确定何时捕捉例如场景的时钟。附加地，捕捉设备20经由通信链路436将由例如3-D相机426和/或RGB相机428捕捉的深度信息和视觉(例如RGB)图像提供给中枢计算系统12。在一个实施例中，深度图像和视觉图像以每秒30帧的速率被传送；但是可以使用其他帧速率。中枢计算系统12然后可以创建模型并使用模型、深度信息、以及所捕捉的图像来例如控制诸如游戏或文字处理程序等的应用和/或使化身或屏上人物动画化。

上述中枢计算系统12与头戴式显示设备2和处理单元4一起能够将虚拟三维物体插入到一个或多个用户的FOV中，使得该虚拟三维物体扩充和/或替换现实世界的视图。在一个实施例中，头戴式显示设备2、处理单元4以及中枢计算系统12一起工作，因为这些设备中的每一个都包括被用来获得用以确定何处、何时以及如何插入虚拟三维物体的数据的传感器子集。在一个实施例中，确定何处、何时以及如何插入虚拟三维物体的计算由彼此合作地工作的中枢计算系统12和处理单元4执行。然而，在又一些实施例中，所有计算都可由单独工作的中枢计算系统12或单独工作的(一个或多个)处理单元4执行。在其他实施例中，计算中的至少一些可由头戴式显示设备2执行。

中枢12可进一步包括用于识别和跟踪另一用户的FOV内的用户的骨架跟踪模块450。枢12可进一步包括用于识别用户执行的姿势的姿势识别引擎454。

在一个示例实施例中，中枢计算设备12和处理单元4一起工作以创建所述一个或多个用户所在的环境的场景图或模型，以及跟踪该环境中各种移动的物体。此外，中枢计算系统12和/或处理单元4通过跟踪用户18佩戴的头戴式显示设备2的位置和定向来跟踪头戴式显示设备2的FOV。头戴式显示设备2所获得的传感器信息被传送给处理单元4。在一个实施例中，该信息被传送给中枢计算系统12，该中枢计算系统12更新场景模型并且将其传送回处理单元。处理单元4随后使用它从头戴式显示设备2接收的附加传感器信息来细化用户的FOV并且向头戴式显示设备2提供关于在何处、何时以及如何插入虚拟物体的指令。基于来自捕捉设备20和(一个或多个)头戴式显示设备2中的相机的传感器信息，可在一闭环反馈系统中在中枢计算系统12和处理单元4之间周期性地更新场景模型和跟踪信息，如下面所解释的那样。

图5例示出可被用于实现中枢计算系统12的计算系统的示例实施例。如图5中所示，多媒体控制台500具有含有一级高速缓存502、二级高速缓存504和闪存ROM(只读存储器)506的中央处理单元(CPU)501。一级高速缓存502和二级高速缓存504临时存储数据，并且因此减少存储器访问周期的数量，由此改进处理速度和吞吐量。CPU501可被配备为具有一个以上的内核，并且由此具有附加的一级和二级高速缓存502和504。闪存ROM506可存储在多媒体控制台500通电时在引导过程的初始化阶段加载的可执行代码。

图形处理单元(GPU)508和视频编码器/视频编解码器(编码器/解码器)514形成用于高速和高分辨率图形处理的视频处理流水线。经由总线从图形处理单元508向视频编码器/视频编解码器514运送数据。视频处理流水线向A/V(音频/视频)端口540输出数据，用于传输至电视或其他显示器。存储器控制器510连接到GPU508以方便处理器访问各种类型的存储器512，诸如但不局限于RAM(随机存取存储器)。

多媒体控制台500包括优选地在模块518上实现的I/O控制器520、系统管理控制器522、音频处理单元523、网络接口524、第一USB主控制器526、第二USB控制器528以及前面板I/O子部件530。USB控制器526和528用作外围控制器542(1)-542(2)、无线适配器548、以及外置存储器设备546(例如，闪存、外置CD/DVDROM驱动器、可移动介质等)的主机。网络接口524和/或无线适配器548提供对网络(例如，因特网、家庭网络等)的访问，并且可以是包括以太网卡、调制解调器、蓝牙模块、电缆调制解调器等的各种不同的有线或无线适配器组件中的任何一种。

系统存储器543被提供来存储在引导过程期间加载的应用数据。提供媒体驱动器544，且其可包括DVD/CD驱动器、蓝光驱动器、硬盘驱动器、或其他可移动媒体驱动器等。媒体驱动器544可位于多媒体控制台500的内部或外部。应用数据可经由介质驱动器544访问，以供多媒体控制台500执行、回放等。介质驱动器544经由诸如串行ATA总线或其他高速连接(例如IEEE1394)等总线连接到I/O控制器520。

系统管理控制器522提供与确保多媒体控制台500的可用性相关的各种服务功能。音频处理单元523和音频编解码器532形成具有高保真度和立体声处理的相应音频处理流水线。音频数据经由通信链路在音频处理单元523与音频编解码器532之间传输。音频处理流水线将数据输出到A/V端口540，以供外置音频用户或具有音频能力的设备再现。

前面板I/O子部件530支持暴露在多媒体控制台500的外表面上的电源按钮550和弹出按钮552、以及任何LED(发光二极管)或其他指示器的功能。系统供电模块536向多媒体控制台500的组件供电。风扇538冷却多媒体控制台500内的电路。

多媒体控制台500内的CPU501、GPU508、存储器控制器510、以及各种其他组件经由一条或多条总线互连，总线包括串行和并行总线、存储器总线、外围总线、以及使用各种总线架构中的任一种的处理器或局部总线。作为示例，这些架构可以包括外围部件互连(PCI)总线、PCI-Express总线等。

当多媒体控制台500通电时，应用数据可从系统存储器543被加载到存储器512和/或高速缓存502、504中并在CPU501上执行。应用可在导航到多媒体控制台500上可用的不同媒体类型时呈现提供一致用户体验的图形用户界面。在操作中，介质驱动器544中所包含的应用和/或其他媒体可从介质驱动器544启动或播放，以将附加功能提供给多媒体控制台500。

多媒体控制台500可通过简单地将该系统连接到电视机或其他显示器而作为独立系统来操作。

捕捉设备20可经由USB控制器526或其他接口来定义控制台500的附加输入设备。在其他实施例中，中枢计算系统12可以使用其他硬件架构来实现。没有一个硬件架构是必需的。

头戴式显示设备2和处理单元4(有时一起被称为移动显示设备)与一个中枢计算系统12(亦称中枢12)通信。移动显示设备中的每一个可如上述那样使用无线通信与中枢通信。在这样的实施例中所构思的是，有用于移动显示设备的信息中的许多信息都将在中枢处被计算和存储并且被传送给每个移动显示设备。例如，中枢将生成环境的模型并且将该模型提供给与该中枢通信的所有移动显示设备。附加地，中枢可以跟踪移动显示设备以及房间中的移动物体的位置和定向，并且然后将该信息传输给每个移动显示设备。

在另一实施例中，系统可以包括多个中枢12，其中每个中枢都包括一个或多个移动显示设备。中枢可彼此直接通信或经由因特网(或其他网络)通信。

此外，在另外的实施例中，中枢12可以被完全省略。这样的实施例的一个优点是，本系统的混合现实体验变为完全移动的，并且可以被用在室内和室外设定二者中。在这样的一实施例中，下面的描述中由中枢12执行的所有功能都可以可替代地由处理单元4之一、合作地工作的一些处理单元4、或者合作地工作的所有处理单元4来执行。在这样的一实施例中，相应的移动显示设备2执行系统10的所有功能，包括生成和更新状态数据、场景图、每个用户对场景图的视图、所有纹理和渲染信息、视频和音频数据、以及为了执行本文所述的操作的其他信息。

中枢12和处理单元4从场景收集数据。对于中枢12，这可以是由捕捉设备20的深度相机426和RGB相机428感测到的图像和音频数据。对于处理单元4，这可以是由头戴式显示设备2在步骤656感测到的图像数据，且具体而言，是由相机112、眼睛跟踪组件134和IMU132感测到的图像数据。在步骤656，由头戴式显示设备2收集的数据被发送给处理单元4。处理单元4在步骤630中处理这一数据，以及将它发送给中枢12。

中枢12执行允许中枢12协调其捕捉设备20和一个或多个处理单元4的图像数据的各种设置步骤。具体而言，即使捕捉设备20相对于场景的位置是已知的(情况可能不一定如此)，头戴式显示设备2上的相机也在场景中四处移动。因此，在一些实施例中，成像相机中的每一个的位置和时间捕捉需要被校准到该场景、彼此校准、以及校准到中枢12。

首先确定系统10中的各种成像设备的时钟偏移。具体而言，为了协调来自该系统中的相机中的每一个相机的图像数据，可确认被协调的图像数据来自同一时间。一般而言，来自捕捉设备20的图像数据和从一个或多个处理单元4传入的图像数据用中枢12中的单个主时钟打上时间戳。对于一给定帧的所有此类数据使用时间戳，以及使用相机中的每一个相机的已知分辨率，中枢12确定该系统中的成像相机中的每一个成像相机的时间偏移。据此，中枢12可确定从每个相机接收到的图像之间的差异以及对这些图像的调整。

中枢12可从相机之一接收到的帧中选择一基准时间戳。然后，中枢12可向从所有其他相机接收到的图像数据加上时间或从该图像数据减去时间以与基准时间戳同步。理解到，针对校准过程，可以使用各种其他操作来确定时间偏移和/或将不同相机同步在一起。时间偏移的确定可以在初始接收到来自所有相机的图像数据之际被执行一次。替代地，它可被周期性地执行，诸如举例来说每一帧或某一数量的帧。

然后，在场景的x、y、z笛卡尔空间中校准所有相机相对于彼此的位置的操作。一旦知晓此信息，中枢12和/或一个或多个处理单元4就能够形成场景图或模型，标识该场景的几何形状和该场景内的物体(包括用户)的几何形状和位置。在将所有相机的图像数据彼此校准时，可使用深度和/或RGB数据。

接着，中枢12可将由每个相机捕捉的经失真校正的图像数据点从相机视图转换成正交3D世界视图。此正交3D世界视图是由捕捉设备20和头戴式显示设备相机所捕捉的所有图像数据在正交x,y,z笛卡尔坐标系中的点云图。用于将相机视图转换成正交3D世界视图的矩阵变换公式是已知的。

在本发明中，基于地理定位系统和红外激光定位系统的定位，在AR/MR显示装置中显示预设虚拟影像。

所述虚拟影像具有预设的定位坐标，包括但不限于地理坐标、3D坐标、或相对坐标。所述相对坐标包括相对地理坐标和/或相对3D坐标。

虚拟影像使使用者在AR/MR显示装置中看到待探测或待施工物。例如深埋地下的管线或待打孔的位置等。因而虚拟影像坐标的设定与定位系统紧密联系。例如可以设定虚拟影像的地理坐标，当AR/MR显示装置位于预设的地理坐标范围内时，根据AR/MR显示装置的3D坐标和姿态，出现在视野中相应的位置。考虑到处理器的效率和操作的便利性，也可以设定相对坐标，例如在某确定的区域探测或施工，可以以某标志物作为特征点，预设待探测或待施工物相对于该特征点的相对坐标，例如距离某井盖向正东2米，深1米；或在某木牌正中部分，距上下边缘20cm处，等。

可以采用多个标志物作为特征点进行定位，其准确度会更高。当AR/MR显示装置中出现标志物的现实影像时，通过图像识别确认特征点，在现实影像上叠加预设的虚拟影像。虚拟影像的位置随着AR/MR显示装置的位置和姿态实时调整，使用者可以看到与现实影像相对应的虚拟影像。

利用地理坐标预设虚拟影像的情况相对简单，然而其准确度取决于所采用的地理定位系统的精度，和周围的环境条件。优选采用地理坐标和相对位置补充的方式预设虚拟影像的位置。本领域技术人员可以根据实际应用的需要和预算任意选择。

在本发明的一些实施方式中，可以通过云端远程添加虚拟影像。根据捕捉设备(例如红外激光扫描系统)获取使用者(默认和AR/MR显示装置的位置一致)所在环境的场景信息，由远程根据新获取的信息，添加预设虚拟影像在该场景下的坐标。例如探测未知洞穴，通过捕捉设备获取洞穴外貌特征和地理坐标，在远程将其转化为已知场景，设定虚拟影像的坐标。在该处的使用者在符合设定的位置可以通过AR/MR显示装置看到由远程新添加的虚拟影像。

实施例1

使用Microsoft Hololens作为AR/MR显示设备，

在探测者附近的几个固定地点设置红外定位器，接收红外激光信号。利用Trimble(天宝)公司提供的GPS定位技术和Google Project Tango的3D建模技术与数据库中管线的GIS数据叠加形成AR/MR探测系统的数据库。

根据AR/MR显示设备的GPS数据以及FOV数据，在显示屏上显示出虚拟的管线图像。虚拟的管线图像在显示屏中的位置需与FOV对应的GIS数据相吻合。

探测者通过Microsoft Hololens可以轻易地识别隐藏的管线的位置，并在相应的位置进行施工或探测。

实施例2

使用智能手机作为AR/MR显示设备，

在待测区域附近设置地理定位器，接收移动通信信号进行定位。利用Google Project Tango技术的3D建模技术、移动通信基站数据与数据库中管线的GIS数据叠加形成AR/MR探测系统的数据库。

根据AR/MR显示设备的GPS数据以及智能手机的位置传感器的数据，在显示屏上显示出虚拟的管线图像。虚拟的管线图像在显示屏中的位置需与智能手机的位置对应的GIS数据相吻合。

实施例3

使用Microsoft Hololens作为AR/MR显示设备，

在施工者附近的几个固定地点设置红外定位器，接收红外激光信号。利用Trimble(天宝)公司提供的GPS定位技术和Google Project Tango的3D建模技术对待施工现场进行建模，并在相应位置设置待施工目标的虚拟图像，叠加形成AR/MR施工系统的数据库。

根据AR/MR显示设备的GPS数据以及FOV数据，在显示屏上显示出待施工目标的虚拟图像。该图像在FOV中的位置需与实际需要施工的位置吻合。

探测者通过Microsoft Hololens可以看到待施工位置，例如打孔位置、放置物品的位置等。从而省去了丈量的麻烦，适用于不能由机器完全替代人类的施工现场。

此外，本公开的实施例可以用硬件、固件、软件或其任何组合来实现。本公开的实施例还可以被实现为存储在机器可读介质上的指令，其可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以机器(例如，计算设备)可读的形式存储或发送信息的任何机制。例如，机器可读介质可以包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；电、光、声或其它形式的传播信号(例如载波、红外信号、数字信号等)以及其它。此外，固件、软件、例程、指令在本文中可以被描述为执行某些动作。但是，应当认识到的是，这样的描述仅仅是为了方便起见，并且这些动作实际上起因于计算设备、处理器、控制器或其它设备执行固件、软件、例程、指令等。

应当认识到的是，具体实施方式部分而不是发明内容和摘要部分旨在用于解释权利要求。发明内容和摘要部分可以阐述由(一个或多个)发明人所构想的本发明的一个或多个但不是全部的示例性实施例，并且因此不旨在以任何方式限制本发明或所附权利要求。

虽然本文已经参考用于示例性领域和应用的示例性实施例描述了本发明，但是应当理解的是，本发明不限于此。其它实施例和对其的修改是可能的，并且在本发明的范围和精神内。例如，并且在不限制本段落的一般性的情况下，实施例不限于图中所示和/或本文所述的软件、硬件、固件和/或实体。此外，实施例(无论是否本文明确描述的)对本文所述示例之外的其它领域和应用具有显著的效用。

本文已经借助于示出具体功能及其关系的实现的功能构建块描述了实施例。为了方便描述，这些功能构建块的边界在本文已被任意定义。只要适当地执行具体功能和关系(或其等同物)，就可以定义替代边界。此外，替代实施例可以利用与本文所描述的不同的顺序来执行功能块、步骤、操作、方法等。

本文中对“一种实施例”、“实施例”、“示例实施例”或类似短语的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括特定特征、结构或特性。另外，这些短语不一定指代相同的实施例。此外，无论本文是否明确提及或描述，当结合实施例描述特定特征、结构或特性时，将这些特征、结构或特性结合到其它实施例中将在相关领域的技术人员的知识范围之内。

本发明的广度和范围不应当受到任何上述示例性实施例的限制，而是应当仅根据所附权利要求及其等同物来限定。