多VR/AR设备协同系统及协同方法与流程

本发明涉及虚拟现实/增强现实领域，特别是一种多vr/ar设备协同系统及协同方法。

背景技术：

虚拟现实(virtualreality，vr)技术是近年来出现的图形图像领域的高新技术。虚拟现实是利用电脑等信息处理设备模拟产生一个三维空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身历其境一般，可以及时、没有限制地观察三维空间内的事物。

随着360度摄像机的兴起，开发vr在交互体验中的应用的门槛越来越低。但是，vr应用的开发目前仍集中在高利润的游戏及娱乐上，且基本为单机作业。本发明人不满足于这种仅仅应用于个人的开发方向，希望将vr/ar技术应用于更广泛的领域。

技术实现要素：

有鉴于此，本发明人提供一种多vr/ar设备协同系统，突破了单机的局限性。而且，由于实现了多vr/ar设备协同，增加了系统的社交属性和协同工作的属性，因而可以满足更广泛的需求。

根据本发明的第一方面，提供一种多vr/ar设备协同系统，其包括：服务器和多个vr/ar终端系统，所述vr/ar终端系统包括：

vr/ar显示装置和定位装置，用于显示vr或ar图像，并且接收和/或发送信息，所述vr/ar显示装置和定位装置可以集成在一起或是由多个部件配合而成；

通信接口；

处理硬件，其耦合到所述通信接口，所述处理硬件配置为：

接收所述vr定位装置发送的位置和动作信息，并上传至服务器；

从服务器下载其他vr/ar终端系统的位置和动作信息以及图像内容，并发送给所述vr/ar显示装置。

优选的，其中所述vr/ar终端系统还包括采集装置，所述采集装置包括音频采集装置和/或视频采集装置。

优选的，其中处理硬件配置为接收所述采集装置采集信息，并上传至服务器；

从服务器下载其他vr/ar终端系统的上传的采集信息，并发送给所述vr显示装置。

根据本发明的第二方面，提供一种多vr/ar设备协同系统，其包括：服务器、至少一个vr/ar终端系统、和至少一种采集设备，

所述vr/ar终端系统包括：

vr/ar显示装置和定位装置，用于显示vr或ar图像，并且接收和/或发送信息，所述vr/ar显示装置和定位装置可以集成在一起或是由多个部件配合而成；

通信接口；

处理硬件，其耦合到所述通信接口，所述处理硬件配置为：

从服务器下载所述采集设备传送的信息及图像内容，并发送给所述vr显示装置，

接收所述vr定位装置发送的位置和动作信息，并上传至服务器。

优选的，其中所述采集设备包括三维扫描设备、视频采集设备、音频采集设备、位置采集设备中的一种或多种。

优选的，其中所述系统还包括操作装置，其可以接收vr终端系统的指令。

优选的，其中所述操作装置和采集设备与vr/ar定位装置同步。

根据本发明的第三方面，提供一种多vr/ar设备协同方法，其包括：

s110验证各个vr/ar终端系统发送的身份信息；

s120确定各个vr/ar终端系统的同步频道；

s130接收同一同步频道的各个vr/ar终端系统发送的定位和动作信息；

s140向同一同步频道的各个vr/ar终端系统发送该频道内其他vr终端系统的定位和动作信息。

优选的，其中所述方法还包括验证其他登录设备的身份信息，确定各设备的同步频道，将该设备的定位和动作信息发送给该频道内其他vr终端系统，并将其他vr/ar终端系统的指令发送给该设备。

优选的，其中所述方法还包括传送音频、视频、图片、空间结构信息中的一种或多种。

根据本发明的第四方面，提供一种多vr/ar设备协同系统，其包括：服务器、第一vr/ar终端、第二vr/ar终端和至少一种采集设备，

所述第一vr/ar终端将其位置信息、动作信息实时上传到服务器，

所述第二vr/ar终端将其位置信息、动作信息实时上传到服务器，

所述服务器整合第一vr/ar终端和第二vr/ar终端的数据，并将整合后的第一vr/ar终端的数据传输给所述第二vr/ar终端。

在本发明的一些实施方式中，所述采集设备与第一vr/ar终端在同一空间内，所述第二vr/ar终端在另一空间内。

优选地，所述第一vr/ar终端、第二vr/ar终端和至少一种采集设备通过无线通讯元件与服务器实现数据传输。

优选地，所述无线通讯元件包括但不限于3g、4g、5g、wifi、wlan、zigbee、蓝牙、红外、wpan、uwb、等。

优选地，所述采集设备包括但不限于图像采集设备、音频采集设备、温度传感器、湿度传感器、压力传感器、红外传感器、气体传感器等。

在本发明的一些实施方式中，所述服务器还将整合后的第二vr/ar终端的数据传输给所述第一vr/ar终端。

在本发明的一些实施方式中，所述第二vr/ar终端可将指令上传到服务器中，通过服务器，将指令显示在第一vr/ar终端上。

在本发明的一些实施方式中，所述第二vr/ar终端可将指令上传到服务器中，通过服务器，将指令传递到采集设备上。

优选地，所述采集设备将采集的数据上传至服务器，与第一vr/ar终端和/或第二vr/ar终端共享。

所述vr/ar终端选自头戴式显示设备、智能手机、或平板电脑中的一种或多种。

在本发明的一些实施方式中，所述系统还包括操作装置，所述操作装置与所述至少一种采集设备在同一空间，所述操作装置的定位和动作信息数据也上传至服务器。

优选地，所述服务器将所述操作装置的数据与所述至少一种采集设备整合，并将整合后的操作装置的数据传输给所述第二vr/ar终端。

所述操作装置为可远程控制的执行一定功能的装置，例如无人机、机器人、机械手等。

根据本发明的第五方面，提供一种多vr/ar设备协同系统，其包括：服务器、vr/ar终端、至少一种采集设备，和操作装置，其中所述至少一种采集设备和操作装置在同一空间内，所述vr/ar终端在另一空间内；

所述vr/ar终端将其位置信息、动作信息实时上传到服务器，

所述至少一种采集设备和操作装置将其位置信息、动作信息实时上传到服务器，

所述服务器整合所述vr/ar终端和所述至少一种采集设备和操作装置的数据，并将整合后的所述至少一种采集设备和操作装置的数据传输给所述vr/ar终端。

所述操作装置为可远程控制的执行一定功能的装置，例如无人机、机器人、机械手等。

优选地，所述vr/ar终端、至少一种采集设备和所述操作装置通过无线通讯元件与服务器实现数据传输。

优选地，所述无线通讯元件包括但不限于3g、4g、5g、wifi、wlan、zigbee、蓝牙、红外、wpan、uwb、等。

优选地，所述采集设备包括但不限于图像采集设备、音频采集设备、温度传感器、湿度传感器、压力传感器、红外传感器、气体传感器等。

在本发明的一些实施方式中，所述vr/ar终端可将指令上传到服务器中，通过服务器，将指令传达给所述操作装置和/或所述至少一种采集设备。

优选地，所述采集设备将采集的数据上传至服务器，与所述操作装置和/或所述操作装置共享。

所述vr/ar终端包括头戴式显示设备、智能手机、或平板电脑。

优选地，所述服务器将所述操作装置的数据与所述至少一种采集设备整合，并将整合后的操作装置的数据传输给所述vr/ar终端。

根据本发明的第六方面，本发明提供一种多vr/ar设备协同方法，其包括：

s210验证第一vr/ar终端和第二系统vr/ar终端向服务器发送的身份信息；

s220将第一vr/ar终端和第二系统vr/ar终端分配于同一同步频道；

s230接收第一vr/ar终端和第二系统vr/ar终端发送的定位和动作信息数据；

s240将第一vr/ar终端和第二系统vr/ar终端发送的定位和动作信息数据整合，并将整合后的第一vr/ar终端的数据传输给所述第二vr/ar终端。

在本发明的一些实施方式中，还将整合后的第二vr/ar终端的数据传输给所述第一vr/ar终端。

优选地，所述方法还包括将至少一种采集设备与第一vr/ar终端和第二系统vr/ar终端分配到同一同步频道。

优选地，所述方法还包括将操作装置与第一vr/ar终端和第二系统vr/ar终端分配到同一同步频道。

优选的，其中所述方法还包括传送音频、视频、图片、空间结构信息中的一种或多种。

优选地，在本方法中，通过vr/ar控制所述至少一种采集设备和/或所述操作装置。

所述采集设备用于图像采集、温度数据采集、湿度数据采集、泄漏检测、烟雾检测、红外检测中的一种或多种。

优选地，通过vr/ar终端控制摄像头的采集方向。

优选地，通过检测vr/ar终端的显示设备的转动，控制摄像头的采集方向。

在本发明的一些实施方式中，所述至少一种采集设备可搭载在可移动载体上。

优选地，所述可移动的载体为无人机、滑车、可移动机器人、遥控汽车中的一种或多种。

优选地，通过vr/ar终端控制所述可移动的载体，所述可移动载体的定位和动作信息数据经过服务器整合，发送到vr/ar终端，vr/ar终端发出的指令通过服务器发送到可移动载体。

在本发明的一些实施方式中，所述至少一种采集设备采集的数据实时传送到服务器。

在本发明的一些实施方式中，所述至少一种采集设备采集的数据在设备端进行处理。

可选地，所述服务器为云端服务器。

附图说明

下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：

图1是根据本发明的一些实施方式的多vr/ar设备协同系统示意图。

图2是根据本发明的另一些实施方式的多vr/ar设备协同系统示意图。

图3是根据本发明的又一些实施方式的多vr/ar设备协同系统示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

vr终端系统可以是各种类型的可以独立完成vr或ar或者mr功能的设备，服务器可以是用于通过网络提供各种资源的服务器。

vr终端系统和服务器可被称为各种其它名称，诸如本地装置、远程装置、计算机机器、计算机系统等。在下文中，装置通常被称为vr终端系统和服务器。

vr终端系统包括虚拟现实头戴式显示设备，简称vr头显，是一种利用头戴式显示设备将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。其显示原理是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。目前可采购oculus、htcvive、sony等公司提供的头显设备。

理论上，vr终端系统也可以作为ar终端系统使用，区别仅在于显示的内容是全部由人工虚拟的，还是在现实场景上叠加的。这个问题，本领域技术人员很容易理解而无需纠结任何具体的概念。ar终端系统可以采购microsoft出品的hololens。本文中的ar也包括mr，因为目前在技术上并没有严格的区分。

在本发明的一些实施方式中，vr终端系统还可包括用户接口、装置管理器、连接管理器、虚拟总线驱动器、虚拟装置驱动器、一个或更多应用等。

虚拟装置驱动器可包括例如虚拟图形驱动器、虚拟声音驱动器、虚拟相机驱动器等。前述构成元件中的至少一个可被包括在vr终端系统中所包括的通信模块和用于控制通信模块的处理器中。

服务器可包括用户接口、装置管理器、连接管理器、总线驱动器、装置驱动器、虚拟装置驱动器配置信息等。

装置驱动器可包括例如图形驱动器、声音驱动器、相机驱动器等。前述构成元件中的至少一个可被包括在服务器中所包括的通信模块和用于控制通信模块的处理器中。

装置驱动器可被称为真实装置驱动器以与虚拟装置驱动器区分开。图形驱动器、声音驱动器和相机驱动器可被类似地称为真实图形驱动器、真实声音驱动器和真实相机驱动器以与虚拟图形驱动器、虚拟声音驱动器和虚拟相机驱动器区分开。

服务器可被称为用于支持由通过网络连接的vr终端系统对各种类型的输入/输出(i/o)资源进行共享的主机计算机、主机程序等。

vr终端系统可被称为能够共享通过网络连接的服务器的各种类型的i/o资源的客户端计算机、客户端程序等。

可以以物理硬件或逻辑软件将用户接口和实现为被实现用于临时或永久连接以允许用户与计算机系统之间的通信的物理或虚拟媒介。装置管理器和可被包括在计算机系统的操作系统(os)中，并且可以是用于装置管理的软件构成元件。

连接管理器和可发挥以下作用：例如通过网络连接虚拟装置驱动器和真实装置驱动器，控制通信模块的管理和注册、通信信道的建立和终止等，广播vr终端系统的信息，以及发现服务器的通信信道。

连接管理器和可控制vr终端系统与服务器之间的数据通信，并且可通过使用服务器的真实装置驱动器同时将各种资源的数据传送到多个vr终端系统。

真实装置驱动器可被包括在服务器内，或者可以是通过有线/无线方式连接而被使用的外部装置驱动器。虚拟装置驱动器可以是模拟硬件装置的软件构成元件。例如，在windowsos中，虚拟装置驱动器可以是用于不处理硬件中断而是处理在os上发生的软件中断的虚拟装置驱动器。

虚拟总线驱动器是用于在虚拟装置驱动器与装置管理器之间传送数据的构成元件。虚拟装置驱动配置信息可以以查看表形式等被存储和管理以在真实装置驱动器和虚拟装置驱动器被连接到网络时确定最佳通信机制，并且可以是用于数据通信的网络连接信息以及用于确定如何传送数据的通信设置信息。

vr终端系统和服务器可包括例如用户模式和内核模式。

vr终端系统的用户接口提供与用户的交互。例如，用户接口获取显示信息、用户请求等，并将获取的结果传送给装置管理器。装置管理器发挥用户接口与连接管理器之间的中介作用，并且当从用户接口接收到控制请求时，将控制请求传送到连接管理器。

管理vr终端系统的操作可包括以下所有操作：物理或远程装置的发现和注册、装置的即插即用等，并且还可包括以下所有操作：广播本地装置信息，管理不同计算机装置之间的连接等。

可通过连接管理器来提供管理不同计算机系统之间的连接的功能。例如，连接管理器可通过控制计算机系统之间的网络通信来发挥发送/接收数据的作用。

作为本公开的实施例，连接管理器可允许计算机系统之间的各种类型的连接，并且可控制各种连接功能。例如，连接管理器可控制以下功能：管理和注册通信模块，建立和终止通信信道，广播vr终端系统信息，发现服务器的通信信道，以及在计算机系统之间发送和接收数据。

连接管理器可被设置在用户模式中，或者内核模式中。内核模式可与对所有系统存储器和中央处理器(cpu)指令的访问被允许的处理的执行模式相应。

连接管理器可包括诸如以下项的构成元件：主机管理模块、信道管理模块、网络抽象层(套接口(socket))、局域网(lan)/无线lan(wlan)、自组织(ad-hoc)网络等。

主机管理模块可包括主机发现。信道管理模块可包括虚拟信道服务、信道实例管理器、数据传输、异常处理等。

虚拟信道服务可管理至少一个虚拟信道，从而看起来它好像是至少一个客户端所连接到的主机(例如，服务器)。信道实例管理器可通过连接虚拟信道与套接口来执行管理。数据传输可控制通过虚拟信道对数据的发送和接收。

虚拟信道服务可对每个虚拟信道配置唯一名称。例如，任意一个虚拟信道的名称可以是“//servername/channel/channelname”。在下文中，“servername”可以是远程计算机系统(例如，服务器)的名称，并且连接应用程序接口(api)可通过对名称进行枚举来一起显示与计算机系统关联的虚拟信道名称以及名称。

主机管理模块是用于发现和管理可在网络上被使用的主机的构成元件。连接管理器可提供中继功能，使得服务器(例如，服务器)的资源可被一个或更多个不同vr终端系统的电子装置共享。

使用虚拟装置驱动器的应用将应用标识符(id)作为唯一标识符。应用id可以是基于相应应用的名称、通用唯一id(uuid)、序列号等来产生的。

虚拟装置驱动器将虚拟装置驱动器id作为唯一标识符。虚拟装置驱动器的id可以是在vr终端系统的os内核中进行操作的虚拟装置的id等。

在本发明的一些实施例中，本发明的多vr/ar设备协同系统还包括一个或多个采集设备，所述采集设备配置有运动传感器或定位设备。运动传感器或位置设备可以包括以下中的一个或多个：陀螺仪；加速度计；罗盘、gps或其他卫星接收器；glonass罗盘；或者任何其他位置、定位或方向传感器。运动传感器或定位设备可以使得能够追踪采集设备本身的位置和/或方位以及继而追踪用户头部的位置或定位。这可以允许采集设备计及头部运动并且基于关于头部运动的信息来调节凝视方向数据以提供对凝视方向的更好估计。基于用户眼睛的方位所确定的凝视方向可以是相对于用户头部的方位。关于基于用户眼睛的凝视方向的信息可以因此扩增有关于用户头部的方位的信息。对于短暂时刻而言，该扩增可以使用加速度计或陀螺仪执行。然而，这些设备的不准确性可能引起漂移，如果它们用于随时间确定方位的话。在一些实施例中，关于基于用户眼睛的凝视方向的信息和/或关于用户头部的方位的信息可以使用来自罗盘的信息进一步扩增，所述罗盘提供相对于绝对参考点的方位信息。另外，当进行凝视数据的固定滤波时，关于设备方位的改变的信息可能是有帮助的。假定周围的对象保持相对静止，则确定佩戴设备的用户固定在静止对象处而同时运动其头部可能容易得多，如果设备方位数据可用的话。

在其他实施例中，运动传感器或定位设备可以嵌入在与采集设备或采集设备的任何部分连接的装置中。例如，运动传感器或定位设备可以与采集设备或采集设备的任何部分无线连接或者利用线缆连接。在一些实施例中，这样的运动传感器或定位设备可以携带在由用户所佩戴的背包中，或者以其他方式由用户携带，所述用户包括人类、动物或可移动的机械装置。当运动传感器或定位设备嵌入在采集设备中时，其可能能够提供关于用户的凝视位置的更准确信息。数个不同的系统可以提供或计及所要求的延迟和精度。特别地，陀螺仪和罗盘可以提供更准确的信息，如果嵌入在采集设备本身中的话。

此外，来自运动传感器或定位设备的信息可以用于稳定来自(多个)采集设备的信息，例如场景摄像机的图像数据。例如，场景摄像机可以捕获接近由用户所看到的视野的图像数据。来自运动传感器或定位设备的信息可以用于稳定该图像数据。关于用户的凝视的信息可以进一步用于裁剪或以其他方式调节该图像数据以更准确地表示用户的凝视方向。图像稳定或补偿可以包括视频数据的线位移(line-shifting)。存在涉及使用陀螺仪或加速度计的数个公知的图像稳定方法，并且本领域技术人员将领会到，这些方法可以如何与本发明的实施例组合。此外，基于时间的补偿可以应用于图像数据以计及场景摄像机中所固有的图像捕获延迟。特别地，由视频摄像机、滚动快门摄像机以及ccd类型摄像机所捕获的图像可能由于图像捕获延迟而未示出针对获得凝视点时的正确视野。时间补偿可以取决于场景摄像机的类型和/或凝视点定位在图像中何处而不同。

图像处理和稳定在一些实施例中可以在捕获数据时实时地在采集设备上或外部设备上执行。在其他实施例中，图像数据可以仅存储在采集设备上或者传输给外部设备，并且图像稳定或其他处理可以基于所捕获的数据而随后执行。所采取的方法可以取决于采集设备中可用的处理能力，以及从机载或以其他方式连接的(多个)电源可用的能量。特别地，某些类型的处理可能要求大量计算能力，其继而消耗很多电池容量。在一些实施例中，采集设备可以是可配置的以优化电池容量或者针对实时处理进行优化。

此外，可以分析来自场景摄像机的所捕获的图像或视频中的元素以确定用户头部的方位以及用户头部的运动速度。通过分析接连图像或视频中的元素的相对位置，可以做出对凝视方向的计算的调节以补偿运动。在另外的实施例中，图像传感器和/或场景摄像机可以利用滚动快门来进一步改进确定用户头部的方位的精度。通过与图像传感器和场景摄像机的行的读出信息组合地确定用户头部的方位和运动，所确定的凝视方向可以以使得凝视方向可以被校正成反映在计算凝视方向时存在于用户视场中的实际场景的这样的方式重叠在由场景摄像机所捕获的图像上。

例如，采集设备可以利用从传感器导出的凝视数据来校准来自场景摄像机的所捕获数据以便更正确地反映在与来自场景摄像机的所捕获数据有关的特定时间用户看向何处以及何时看向。在本发明的实施例中，该方法可以在以下情况下采用：由场景摄像机捕获的图像数据已经由于例如滚动快门失真或振动而失真。另外的实施例包括考虑设备的瞬时运动数据并且相应地通过利用运动传感器和/或其他传感器进行校准。

可以分析来自场景摄像机的视频以标识用户视场中的对象。通过标识对象以及对象离用户的距离，可以确定关于凝视方向和目标的更准确信息。可以使用计算机视觉算法来从图像数据检测对象。在一些实施例中，多个场景摄像机可以用于提供立体视觉以及更准确的计算机视觉算法。如同图像稳定和其他处理那样，对象标识可以取决于采集设备上可用的计算能力和功率容量而实时地或者作为后处理完成。可替换地或者附加地，场景摄像机可以是测量到佩戴采集设备的人的视场内的对象的距离的深度摄像机。深度摄像机还可以确定对象的强度水平，因而也提供灰度等级图像。

此外，图像分析可以用于基于在用户的视场内所检测的对象的标识来确定用户的位置。换言之，用户的视场内的对象(例如已知为与给定地点或地点类型相关联的地标或对象)可以揭示用户的位置。例如，对象或其他标记(诸如标志、产品类型、定价标签产品等等)可以指示用户存在于特定零售商店或者至少某一类型零售商店内。作为另一示例，场景摄像机或连接到采集设备的另一扫描设备可以配置成扫描出现在用户的视场内的条形码，其可以揭示用户存在于零售商店或者其他已知位置或已知类型的位置内。这样的位置信息可以与来自位置传感器和运动传感器的信息复合，以确定用户到达他/她的存在位置所采取的路径和/或在该位置周围导航。在用户处于电视或显示器(例如显示计算机游戏)附近的情况下，游戏可能能够处理由采集设备提供的眼睛追踪输入；可以使用图像分析来确定相对于电视或显示器的用户凝视的方向。

此外，来自场景摄像机的图像分析可以用于同时定位和映射(slam)。slam是构建位置地图而同时在该地图内映射设备的位置的过程。slam由机器人及类似器械频繁使用并且可以包括用于捕获机器人的环境的图像以用于映射的图像传感器。根据本发明的实施例的设备也可以与slam一起使用。

在运动传感器被用于检测运动的情况下，当在较长的时间段内依赖于它们时，可能存在数据内的显著漂移。来自这些运动传感器的信息因此可以通过基于从(多个)场景摄像机所检测的对象而确定的位置信息来校正。使用(多个)场景摄像机所检测的对象可以包括特性结构或对象以及条形码。在其他实施例中，经由麦克风所检测的声音信息可以用于确定位置。例如，超声发射器可以放置在遍及特定位置(诸如零售商店)的各点处，并且麦克风可以用于确定最靠近的发射器。可替换地，超声源可以安装在采集设备上并且麦克风被用于确定在超声源的方向上到最靠近的对象的距离。另外或者可替换地，麦克风可以被用于检测其他环境声音，并且这样的信息可以至少部分地用于确定其中存在用户的位置或位置类型。在一些实施例中，rfid标签读取器可以包括在采集设备中使得rfid标签可以被用于确定用户的位置。作为附加示例，wi-fi信号和/或其他通信信号可以通过适当的收发器和采集设备上所机载的逻辑来接收并进行三角测量，以确定用户的位置。本领域技术人员将领会到，本发明不限于上文所记载的示例并且可以使用数个位置标识装置来聚合或确定关于佩戴者的位置信息。

在一些实施例中，一个或多个附加的设备可以嵌入在采集设备中或者与采集设备耦合。例如，场景摄像机可以被用于记录用户可能在其中运动和/或观看的区域中的图像。陀螺仪可以被用于罗盘类特征以标识采集设备指向哪个方向以及因而用户看向哪个方向。设备中的图像传感器然后可以基于头部所指向的地方的方向来标识用户的凝视点的角度和距离。来自这些多个传感器的信息组合起来可以用于计算表示佩戴者的凝视的向量。该向量可以变换和可视化在场景摄像机的视野中。向量可以在一些实施例中用于基于关于用户的凝视聚焦在哪里的信息而提供热图。提供在采集设备上的显示器可以允许用户观看由采集设备所提供的该视觉数据或其他视觉数据。仅仅作为示例，这样的显示器可以包括lcd屏幕、led屏幕、棱镜投影仪和/或其他显示技术。

在一个示例实施例中，移动装置在于移动装置的一个或多个计算装置处接收到指示环境的激光数据的同时可进行导航。例如，移动装置包括被配置为捕捉传感器数据的lidar模块，所述传感器数据诸如是由与环境中的一个或多个物体相关联的数据点组成的激光数据。类似地，移动装置还可包括被配置为提供可用于物体检测的传感器数据的其它类型的传感器，诸如深度相机。例如，计算装置可接收在结构化三维(3d)点云和/或非结构化3d点云中的指示环境的数据点。在一些情况下，计算装置可接收在像栅格那样的点云内的数据点。激光数据可包括含有指示相对于移动装置的环境中的物体的位置的信息的数据点。在其它示例中，激光数据可包括关于移动装置的环境的其它信息。

在操作期间，计算装置可使用激光数据点来生成包括指示环境中的物体的位置的像素的二维(2d)距离图像。作为示例，计算装置可将激光数据点投影到位于移动装置周围或在虚拟渲染中虚拟地位于移动装置周围的概念性2d圆柱表面，以使得像素对应于激光数据点内的数据。作为结果的生成的2d距离图像可包括具有指示环境中的信息的值的像素，并且还可包括可不具有来自激光数据点的值的一些像素。缺失值的像素可对应于计算装置未接收到指示性的激光数据的物体的部分。在一些示例实施例中，计算装置可在完成接收整个点云之前开始生成2d距离图像的部分。例如，当从lidar模块接收到点时，计算装置可形成2d距离图像的部分。

此外，移动装置的计算装置可修正2d距离图像来填充由没有值的像素造成的空白。例如，计算装置可使用2d距离图像中位于一个或多个空白附近的各个邻近元素来确定要分配给原本没有值的空白中的像素的平均值。计算装置可使用经修正的2d距离图像来确定可与移动装置的环境中的一个或多个物体的相应表面相对应的像素组的一个或多个法向量。

在一些示例中，计算装置可使用表面法线和平面分割过程来对所获取的传感器数据中的平面进行分类(例如，将像素组与环境中的表面关联)，这可帮助移动装置进行物体识别和避障。当移动装置导航时，计算装置可形成对环境内的物体的虚拟地图绘制。另外，计算装置可使用像素组的法向量以及平面分割来将关于环境的物体识别信息提供给移动装置系统，移动装置可在操作期间使用所述物体识别信息来确定合适的导航策略。

耦合到移动装置或包括在移动装置中的组件可包括推进系统、传感器系统、控制系统、外围采集设备、电源、计算装置以及用户接口。计算装置可包括处理器和存储器。计算装置可以是移动装控制器或控制器的一部分。存储器可包括处理器可运行的指令，并且还可存储地图数据。移动装置的组件可被配置为以与彼此互连和/或与耦合到各系统的其它组件互连的方式工作。例如，电源可向移动装置的所有组件提供电力。计算装置可被配置为从推进系统、传感器系统、控制系统和外围采集设备接收数据并对它们进行控制。计算装置可被配置为在用户接口上生成图像的显示并从用户接口接收输入。

在其它示例中，移动装置可包括更多、更少或不同的系统，并且每个系统可包括更多、更少或不同的组件。此外，示出的系统和组件可以按任意种的方式进行组合或划分。

推进系统可被配置为移动装置提供动力运动。推进系统包括引擎/发动机、能量源、传动装置和车轮/轮胎。

推进系统可以额外地或可替换地包括除了所示出的那些以外的组件。

传感器系统可包括被配置为感测关于移动装置所位于的环境的信息的若干个传感器。如图所示，传感器系统的传感器包括全球定位系统(globalpositioningsystem，gps)、惯性测量单元(inertialmeasurementunit，imu)、无线电检测和测距(radar)单元、激光测距仪和/或光检测和测距(lidar)单元、相机以及被配置为修改传感器的位置和/或朝向的致动器。传感器系统也可包括额外的传感器，包括例如监视移动装置的内部系统的传感器(例如，o2监视器、燃油量表、机油温度，等等)。其它传感器也是可能的。

gps模块可以是被配置为估计移动装置的地理位置的任何传感器。为此，gps模块可包括被配置为基于星基定位数据估计移动装置相对于地球的位置的收发器。计算装置可被配置为结合地图数据地使用gps模块来估计移动装置可在其上行驶的道路上的车道边界的位置。gps模块也可采取其它形式。

imu可以是被配置为基于惯性加速度来感测移动装置的位置和朝向变化的传感器的任意组合。在一些示例中，传感器的组合可包括例如加速度计和陀螺仪。传感器的其它组合也是可能的。

radar单元可以被看作物体检测系统，其可被配置为使用无线电波来检测物体的特性，诸如物体的距离、高度、方向或速度。radar单元可被配置为传送无线电波或微波脉冲，其可从波的路线中的任何物体反弹。物体可将波的一部分能量返回至接收器(例如，碟形天线或天线)，该接收器也可以是radar单元的一部分。radar单元还可被配置为对接收到的信号(从物体反弹)执行数字信号处理，并且可被配置为识别物体。

其它类似于radar的系统已用在电磁波谱的其它部分上。一个示例是lidar(光检测和测距)，其可被配置为使用来自激光的可见光，而非无线电波。

lidar单元可包括传感器，该传感器被配置为使用光来感测或检测移动装置所位于的环境中的物体。通常，lidar是可通过利用光照射目标来测量到目标的距离或目标的其它属性的光学遥感技术。作为示例，lidar单元可包括被配置为发射激光脉冲的激光源和/或激光扫描仪，和被配置为接收激光脉冲的反射的检测器。例如，lidar单元可包括由转镜反射的激光测距仪，并且以一维或二维围绕数字化场景扫描激光，从而以指定角度间隔采集距离测量值。在示例中，lidar单元可包括诸如光(例如，激光)源、扫描仪和光学系统、光检测器和接收器电子器件之类的组件，以及位置和导航系统。

在示例中，lidar单元可被配置为使用紫外光(uv)、可见光或红外光对物体成像，并且可用于广泛的目标，包括非金属物体。在一个示例中，窄激光波束可用于以高分辨率对物体的物理特征进行地图绘制。

不同类型的散射被用于不同的lidar应用，诸如瑞利散射、米氏散射和拉曼散射以及荧光。基于不同种类的后向散射，作为示例，lidar可因此被称为瑞利激光radar、米氏lidar、拉曼lidar以及钠/铁/钾荧光lidar。波长的适当组合可允许例如通过寻找反射信号的强度的依赖波长的变化对物体进行远程地图绘制。

使用扫描lidar系统和非扫描lidar系统两者可实现三维(3d)成像。“3d选通观测激光radar(3dgatedviewinglaserradar)”是非扫描激光测距系统的示例，其应用脉冲激光和快速选通相机。成像lidar也可使用通常使用cmos(互补金属氧化物半导体)和混合cmos/ccd(电荷耦合器件)制造技术在单个芯片上构建的高速检测器阵列和调制敏感检测器阵列来执行。在这些装置中，每个像素可通过以高速解调或选通来被局部地处理，以使得阵列可被处理成表示来自相机的图像。使用此技术，可同时获取上千个像素以创建表示lidar单元检测到的物体或场景的3d点云。

点云可包括3d坐标系统中的一组顶点。这些顶点例如可由x、y、z坐标定义，并且可表示物体的外表面。lidar单元可被配置为通过测量物体表面上的大量点来创建点云，并可将点云作为数据文件输出。作为通过lidar单元的对物体的3d扫描过程的结果，点云可用于识别并可视化物体。

在一个示例中，点云可被直接渲染以可视化物体。在另一示例中，点云可通过可被称为表面重建的过程被转换为多边形或三角形网格模型。用于将点云转换为3d表面的示例技术可包括德洛内三角剖分、阿尔法形状和旋转球。这些技术包括在点云的现有顶点上构建三角形的网络。其它示例技术可包括将点云转换为体积距离场，以及通过移动立方体算法重建这样定义的隐式表面。

采集设备可以是被配置为捕捉移动装置所位于的环境的图像的任意相机(例如，静态相机、视频相机等)。为此，相机可被配置为检测可见光，或可被配置为检测来自光谱的其它部分(诸如红外光或紫外光)的光。其它类型的相机也是可能的。相机可以是二维检测器，或可具有三维空间范围。在一些示例中，相机例如可以是距离检测器，其被配置为生成指示从相机到环境中的若干点的距离的二维距离图像。为此，相机可使用一种或多种距离检测技术。例如，相机可被配置为使用结构光技术，其中移动装置利用预定光图案，诸如栅格或棋盘格图案，对环境中的物体进行照射，并且使用相机检测从物体的预定光图案的反射。基于反射的光图案中的畸变，移动装置可被配置为检测到物体上的点的距离。预定光图案可包括红外光或其它波长的光。

致动器例如可被配置为修改传感器的位置和/或朝向。

传感器系统可额外地或可替换地包括除了所示出的那些以外的组件。

控制系统可被配置为控制移动装置及其组件的操作。

传感器融合算法可以包括例如计算装置可运行的算法(或者存储算法的计算机程序产品)。传感器融合算法可被配置为接受来自传感器的数据作为输入。所述数据可包括例如表示在传感器系统的传感器处感测到的信息的数据。传感器融合算法可包括例如卡尔曼滤波器、贝叶斯网络或者另外的算法。传感器融合算法还可被配置为基于来自传感器系统的数据来提供各种评价，包括例如对移动装置所位于的环境中的个体物体和/或特征的评估、对具体情形的评估和/或基于特定情形的可能影响的评估。其它评价也是可能的。

计算机视觉系统可以是被配置为处理和分析由相机捕捉的图像以便识别移动装置所位于的环境中的物体和/或特征的任何系统，所述物体和/或特征包括例如隧道形状、故障区域和障碍物。为此，计算机视觉系统可使用物体识别算法、从运动中恢复结构(structurefrommotion，sfm)算法、视频跟踪或其它计算机视觉技术。在一些示例中，计算机视觉系统可以额外地被配置为地图绘制环境、跟随物体、估计物体的速度，等等。

导航和路线控制系统可以是被配置为确定移动装置的驾驶路线的任何系统。导航和路线控制系统可以额外地被配置为在移动装置处于操作中的同时动态地更新驾驶路线。在一些示例中，导航和路线控制系统可被配置为结合来自传感器融合算法、gps模块和一个或多个预定地图的数据以便为移动装置确定驾驶路线。

外围采集设备可被配置为允许移动装置与外部传感器、其它用户交互。为此，外围采集设备可包括例如无线通信系统、触摸屏、麦克风和/或扬声器。

无线通信系统可以是被配置为直接地或经由通信网络无线耦合至一个或多个其它移动装置、传感器或其它实体的任何系统。为此，无线通信系统可包括用于直接或通过空中接口与其它移动装置、传感器或其它实体通信的天线和芯片集。芯片集或整个无线通信系统可被布置为根据一个或多个其它类型的无线通信(例如，协议)来通信，所述无线通信诸如蓝牙、ieee802.11(包括任何ieee802.11修订版)中描述的通信协议、蜂窝技术(诸如gsm、cdma、umts、ev-do、wimax或lte)、紫蜂、专用短程通信(dedicatedshortrangecommunications，dsrc)以及射频识别(radiofrequencyidentification，rfid)通信，等等。无线通信系统也可采取其它形式。

触摸屏可被用户用来向移动装置输入命令。为此，触摸屏可被配置为经由电容感测、电阻感测或者表面声波过程等等来感测用户的手指的位置和移动中的至少一者。触摸屏可能够感测在与触摸屏表面平行或与触摸屏表面在同一平面内的方向上、在与触摸屏表面垂直的方向上或者在这两个方向上的手指移动，并且还可能够感测施加到触摸屏表面的压力的水平。触摸屏可由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏也可采取其它形式。

麦克风可被配置为从移动装置的用户接收音频(例如，声音命令或其它音频输入)。类似地，扬声器可被配置为向移动装置的用户输出音频。

外围采集设备可以额外地或可替换地包括除了所示出的那些以外的组件。

电源可被配置为向移动装置的一些或全部组件提供电力。为此，电源可包括例如可再充电锂离子或铅酸电池。在一些示例中，一个或多个电池组可被配置为提供电力。其它电源材料和配置也是可能的。在一些示例中，电源和能量源可一起实现，如一些全电动车中那样。

处理硬件可包括一个或多个通用处理器和/或一个或多个专用处理器(例如，图像处理器、数字信号处理器等)。就处理硬件包括多于一个处理器而言，这种处理硬件可单独工作或组合工作。计算装置可被配置为例如基于通过用户接口112接收的输入控制移动装置的功能。

存储器进而可包括一个或多个易失性存储组件和/或一个或多个非易失性存储组件，诸如光、磁和/或有机存储装置，并且存储器114可全部或部分与处理器集成。存储器可包含可由处理硬件运行的指令(例如，程序逻辑)，包括本文中描述的功能或方法中的任何一个。

移动装置的组件可被配置为以与在其各自的系统内部和/或外部的其它组件互连的方式工作。为此，移动装置的组件和系统可通过系统总线、网络和/或其它连接机制通信地链接在一起。

另外，尽管组件和系统的每一个被示出为集成到移动装置中，但是在一些示例中，一个或多个组件或系统可使用有线或无线连接来被可移除地安装在移动装置上或以其它方式连接(机械地或电气地)至移动装置。

移动装置可包括除了所示出的那些或代替所示出的那些的一个或多个元件。例如，移动装置可包括一个或多个额外的接口和/或电源。其它额外的组件也是可能的。在这些示例中，存储器还包括指令，其可被处理器113运行来控制额外的组件和/或与额外的组件通信。

在本发明的另一些实施方式中，移动装置包括第一传感器单元、第二传感器单元、第三传感器单元、无线通信系统和相机。

第一、第二和第三传感器单元中的每一者可包括全球定位系统传感器、惯性测量单元、radar单元、lidar单元、相机、车道检测传感器和声学传感器的任意组合。其它类型的传感器也是可能的。

尽管第一、第二和第三传感器单元被示为安装在移动装置上的特定位置中，但在一些示例中，传感器单元可安装在移动装置上的别处，在移动装置内部或外部。另外，尽管只示出了三个传感器单元，但在一些示例中，移动装置中可包括更多或更少的传感器单元。

在一些示例中，第一、第二和第三传感器单元中的一个或多个可包括一个或多个可移动底座，传感器可以可移动地安装在这些底座上。可移动底座可包括例如旋转平台。安装在旋转平台上的传感器可被旋转以使得传感器可获得来自移动装置周围的每个方向的信息。可替换地或额外地，可移动底座可包括倾斜平台。安装在倾斜平台上的传感器可在特定的角度和/或方位范围内被倾斜以使得传感器可获得来自各种角度的信息。可移动底座也可采取其它形式。

另外，在一些示例中，第一、第二和第三传感器单元中的一个或多个可包括一个或多个致动器，这些致动器被配置为通过移动传感器和/或可移动底座来调整传感器单元中的传感器的位置和/或朝向。示例致动器包括马达(motor)、气动致动器、液压活塞、继电器、螺线管和压电致动器。其它致动器也是可能的。

移动装置的控制系统可被配置为依据来自多个可能的控制策略中的一控制策略控制移动装置。控制系统可被配置为从耦合到移动装置(在移动装置上或移动装置外)的传感器接收信息，基于该信息修改控制策略(以及相关联的驾驶行为)，并且依据经修改的控制策略控制移动装置。控制系统还可被配置为监视从传感器接收到的信息，并且持续评估移动环境；并且也可被配置为基于移动状况的变化修改控制策略和运行行为。

具体地，计算装置可使用传感器相对于环境中的物体的已知位置以及3d激光数据点来按合适的顺序将点投影到概念性圆柱形2d表面上以反映移动装置的环境。结果，计算装置可使用激光数据点形成作为360度全景存在的图像，其中组成距离图像的每个像素的值反映原始3d激光数据点内的数据。在一些情况下，2d距离图像可包括可由没有分配值的像素组成的一个或多个空白。此外，计算装置可使用激光数据形成其它图像，诸如180度图像或其它形式。在示例实现方式中，计算装置可形成多个2d距离图像或者确定指示从传感器接收到的数据的3d格式结构。

将激光数据配置到概念性圆柱形2d表面上可使得计算装置能够将激光数据定位到可准确反映移动装置的环境的2d距离图像内的像素中。不同的像素可提供关于环境的信息，包括关于物体相对于移动装置的位置的信息。全景中的每个像素的值可对应于传感器数据中接收到的原始点。2d距离图像内的一些像素没有被分配值，这可导致2d距离图像总体上的空白。在其它示例实施例中，计算装置可将传感器数据格式化为其它配置以供分析。

实施例1

如图1所示，使用多个市售htcvivevr眼镜作为vr终端系统，其包括头戴显示器、手持控制器以及基站。基站提供360度移动追踪；手持控制器内置感应器，实现移动追踪，同时可通过按键等实现对内容的控制；头戴显示器内置陀螺仪、加速度计及激光定位传感器，在提供显示功能之外，可以追踪头部的移动。

将多个vr终端系统与服务器相连，服务器验证各个vr终端系统的身份信息。

服务器中事先设置有频道htcaa，本实施例的多个vr终端系统通过身份验证后，进入该频道。

各个vr终端系统在各自的空间内进行定位校准，确定头显和手持控制器在各自空间内的位置，包括xyz坐标及角度，将数据实时上传到服务器。

服务器在频道htcaa形成的虚拟空间内，将各个vr终端系统上传的数据转化为该系统的头显和手持控制器在该虚拟空间内的位置和形态；再向各个vr终端系统发送该虚拟空间内其他vr终端系统的位置和形态的影像。

从视觉上来讲，即一个vr终端系统的使用者可以在头显中看到空间内自己的手持控制器和其他vr终端使用者的头显和手持控制器，从而打破了时空的限制。

实施例2

如图2所示，使用市售htcvivevr眼镜作为vr终端系统，其包括头戴显示器、手持控制器以及基站。使用microsoft出品的hololens作为ar终端系统。

使用三星projectbeyond360度3d全景相机作为采集设备，将其架设在现场采集现场实时视频，并与前端现场的ar终端系统耦合以便定位。

将vr终端、ar终端以及采集设备与服务器相连，服务器验证各个vr终端系统及采集设备的身份信息。

服务器中事先设置有频道htcbb，本实施例的多个vr终端系统及采集设备通过身份验证后，进入该频道。

vr终端系统和ar终端系统及采集设备在各自的空间内进行定位校准，确定头显和手持控制器在各自空间内的位置，包括xyz坐标及角度，将数据实时上传到服务器。采集设备置于作为前端现场的vr终端系统内进行定位。

服务器在频道htcbb形成以采集设备传输回的全景视频作为场景的虚拟空间，将vr终端系统和ar终端系统上传的数据转化为该系统的头显和手持控制器在该虚拟空间内的位置和形态；再向各个vr/ar终端系统发送该虚拟空间内其他vr/ar终端系统的位置和形态的影像。

在本实施例的一个变型中，采集设备可以有一套独立的定位系统，则无需与前端现场ar终端系统耦合。

后端vr终端系统可以通过服务器向前端的ar终端系统发送指令和数据，有利于支持前端操作人员的工作。

实施例3

如图3所示，使用至少一个市售htcvivevr眼镜作为vr终端系统，其包括头戴显示器、手持控制器以及基站。使用三星projectbeyond360度3d全景相机和车载3d激光扫描仪作为采集设备，将其架设在现场采集现场实时视频和现场三维信息。

将vr终端系统以及采集设备与服务器相连，服务器验证vr终端系统及采集设备的身份信息。

服务器中事先设置有频道htccc，本实施例的vr终端系统及采集设备通过身份验证后，进入该频道。

vr终端系统及采集设备在各自的空间内进行定位校准，确定头显和手持控制器在各自空间内的位置，包括xyz坐标及角度，将数据实时上传到服务器。

服务器在频道htccc形成以采集设备传输回的全景视频和现场三维信息作为场景的虚拟空间，将vr终端系统上传的数据转化为该系统的头显和手持控制器在该虚拟空间内的位置和形态。

在现场还可设置可远程控制的机械装置，该机械装置在现场的位置可由现场定位系统确定，从而vr终端系统可在虚拟空间内了解机械装置在现场的操作形态和位置，并给予指令。

从而实现更加逼真精准的远程操作和控制。

所述三星projectbeyond360度3d全景相机和车载3d激光扫描仪作为采集设备也可以架设在可移动的载体上，该可移动载体同时搭载微处理器和无线通讯元件，可由后端vr终端系统控制。

额外的考虑因素

下面的额外考虑因素适用于前述讨论。在整个这个说明书中，多个实例可实现被描述为单个实例的部件、操作或结构。虽然一个或多个方法的单独操作被示出和描述为单独的操作，但是单独操作中的一个或多个可被同时执行，且没有事物要求操作以所示顺序执行。在示例配置中被呈现为单独的部件的结构和功能可被实现为组合的结构或部件。类似地，被呈现为单个部件的结构和功能可被实现为单独的部件。这些和其它变形、修改、添加和改进落在本公开的主题的范围内。

此外，某些实施方案在本文被描述为包括逻辑或多个部件、单元或机构。单元可构成软件模块(例如存储在机器可读介质上的代码)或硬件模块。硬件模块是能够执行某些操作并可以以某种方式配置或布置的有形单元。在示例实施方案中，一个或多个计算机系统(例如独立计算机、客户端或服务器计算机系统)或计算机系统(例如处理器或一组处理器)的一个或多个硬件模块可由软件(例如应用或应用部分)配置为操作来执行如在本文描述的某些操作的硬件模块。

在各种实施方案中，可机械或电子地执行硬件模块。例如，硬件模块可包括永久配置(例如作为专用处理器，例如现场可编程门阵列(fpga)或专用集成电路(asic))成执行某些操作的专用电路或逻辑。硬件模块还可包括临时由软件配置成执行某些操作的可编程逻辑或电路(例如，如包括在通用处理器或其它可编程处理器内的)。将认识到，在专用和永久配置的电路中或在临时配置的电路(例如由软件配置)中机械地实现硬件模块的决定可由成本和时间考虑因素推动。

因此，术语“硬件”应被理解为包括有形实体，是被物理地构造、永久地配置(例如硬连线)或临时配置(例如编程)成以某种方式操作或执行本文描述的某些操作的实体。考虑到硬件模块被临时配置(例如编程)的实施方案，每个硬件模块不需要在任一个时刻被配置或例示。例如，在硬件模块包括使用软件而配置的通用处理器的场合，通用处理器可在不同的时间被配置为相应的不同硬件模块。软件可相应地配置处理器，例如以构成在一个时刻的特定硬件模块并构成在不同的时刻的不同硬件模块。

硬件和软件模块可向其它硬件和/或软件模块提供信息并从其它硬件和/或软件模接收信息。因此，所描述的硬件模块可被视为被通信地耦合。在多个这样的硬件或软件模块同时存在的场合，可通过信号传输(例如在适当的电路和总线上)来实现通信，其连接硬件或软件模块。在多个硬件模块或软件在不同的时间被配置或例示的实施方案中，可例如通过在多个硬件或软件模块访问的存储器结构中的信息的存储和取回来实现在这样的硬件或软件模块之间的通信。例如，一个硬件或软件模块可执行操作并将该操作的输出存储在它通信地耦合到的存储器设备。另一硬件或软件模块可接着在稍后的时间访问存储器设备以取回并处理所存储的输出。硬件和软件模块也可发起与输入或输出设备的通信，并可对资源(例如信息的集合)操作。

本文描述的示例方法的各种操作可至少部分地由临时配置(例如通过软件)或永久配置成执行相关操作的一个或多个处理器执行。不管是临时还是永久地被配置，这样的处理器都可构成操作来执行一个或多个操作或功能的处理器实现的模块。在本文提到的模块可在一些示例实施方案中包括处理器实现的模块。

类似地，本文描述的方法或例程可至少部分地是处理器实现的。例如，方法的至少一些操作可由一个或多个处理器或处理器实现的硬件模块执行。某些操作的执行可分布在一个或多个处理器当中，不仅存在于单个机器内，而且部署在多个机器当中。在一些示例实施方案中，一个或多个处理器可位于单个位置上(例如在家庭环境、办公室环境内或作为服务器农场)，而在其它环境中，处理器可分布在多个位置当中。

一个或多个处理器也可操作来支持在“云计算”环境中的相关操作的执行或作为saas。例如，如上面指示的，至少一些操作可由一组计算机(作为包括处理器的机器的例子)执行，这些操作是经由网络(例如互联网)和经由一个或多个适当的接口(例如api)可访问的。

某些操作的执行可分布在一个或多个处理器当中，不仅存在于单个机器内，而且部署在多个机器当中。在一些示例实施方案中，一个或多个处理器或处理器实现的模块可位于单个地理位置中(例如在家庭环境、办公室环境内或作为服务器农场)。在其它示例实施方案中，一个或多个处理器或处理器实现的模块可分布在多个地理位置当中。

从算法或对数据的操作的符号表示方面介绍了这个说明书的一些部分，数据被存储为在机器存储器(例如计算机存储器)内的位或二进制数字信号。这些算法或符号表示是由在数据处理领域中的普通技术人员使用来将他们的工作的实质传达给本领域中的其他技术人员的技术的例子。如在本文使用的，“算法”或“例程”是导致期望结果的操作或类似处理的前后一致的序列。在这个上下文中，算法、例程和操作涉及物理量的物理操纵。一般但不是必须，这样的量可采取能够由机器存储、访问、传输、组合、比较或否则操纵的电、磁或光信号的形式。主要为了普通使用的原因，使用词例如“数据”、“内容”、“位”、“值”、“元件”、“符号”、“字符”、“项”、“号码”、“数字”等表示这样的信号有时是方便的。然而，这些词仅仅是方便标签且应与适当的物理量相关。

除非另外特别规定，否则使用词例如“处理”、“计算”、“确定”、“显现”、“显示”等的本文的讨论可以指操纵或转换被表示为在一个或多个存储器(例如易失性存储器、非易失性存储器或其组合)、寄存器或接收、存储、传输或显示信息的其它机器部件内的物理(例如电、磁或光)量的机器(例如计算机)的行动或过程。

本文中，流程图示出了当前实施例的一个可能实现方式的功能和操作。就这一点而言，每个方框可代表程序代码的模块、片段或部分，其包括用于实现过程中的特定逻辑功能或步骤的处理器可运行的一个或多个指令。程序代码可被存储在任意类型的计算机可读介质或存储器中，诸如例如包括盘或硬盘驱动器的存储装置。计算机可读介质可包括非暂态计算机可读介质，诸如例如像寄存器存储器、处理器缓存和随机访问存储器(randomaccessmemory，ram)那样短时间存储数据的计算机可读介质。计算机可读介质还可包括诸如次级或永久长期存储装置之类的非暂态介质或存储器，例如像只读存储器(readonlymemory，rom)、光盘或磁盘、致密盘只读存储器(compact-discreadonlymemory，cd-rom)。计算机可读介质也可以是任何其它易失性或非易失性存储系统。计算机可读介质可被看作例如计算机可读存储介质、有形存储装置或者其它制品。

非暂态计算机可读介质也可分布在多个数据存储元件之间，这些数据存储元件的位置可彼此远离。

如在本文使用的，对“一个实施方式”或“实施方式”的任何提及意指关于该实施方式描述的特定的元件、特征、结构或特性包括在至少一个实施方式中。短语“在一个实施方式中”在说明书中的不同地方的出现并不一定都指同一实施方式。

可使用措辞“耦合”和“连接”连同其衍生词一起描述一些实施方案。例如，可使用术语“耦合”描述一些实施方案以指示两个或多个元件处于直接物理或电接触中。然而，术语“耦合”也可意指两个或多个元件彼此不直接接触，但然而仍然彼此协作或交互作用。实施方案并不被限制在这个上下文中。

如在本文使用的，术语“包括”、“具有”或其任何其它变形被预期涵盖非排他的包括。例如，包括元件的列表的过程、方法、物件或装置不一定只限于那些元件，而是可包括未明确列出或这样的过程、方法、物件或装置固有的其它元件。此外，除非相反明确地规定，否则“或”指包括端点的而不是排他的或。例如，条件a或b由下列项中的任一个满足：a为真(或存在)且b为假(或不存在)、a为假(或不存在)且b为真(或存在)以及a和b都为真(或存在)。

当阅读本说明书时，本领域中的技术人员将认识到还有额外的可选结构和功能设计，其用于鉴于对企业的相关访问通过本文公开的原理有效地产生内容用于显示在便携式设备处。因此，虽然示出和描述了特定的实施方案和应用，但是应理解，所公开的实施方案不限于本文公开的精确构造和部件。可在本文公开的方法和装置的布置、操作和细节中做出对本领域中的技术人员明显的各种修改、改变和变更，而不偏离在所附权利要求中规定的精神和范围。