息和拓扑结构没有很好的体现出来。在一个实施例中，系统可被用来使用相对高精度确定所有用户的位置，并且因此网格网络配置可被用于高的性能。
[0141]在一个实施例中，系统可被用于查询。例如，用户将使用增强现实生产和丢弃与物理世界的许多方面相关的内容。许多这样的内容为非文本的，因此很难通过传统方法查询得到。系统可被配置以提供保持个人和社会网络内容的追踪的设备以用于查询和参考的目的。
[0142]在一个实施例中，如果显示设备通过连续帧追踪2D点，随后使矢量值函数(vector-valued funct1n)适应那些点的时间演进，那么在时间上的任何点处(例如帧之间)或在不久的将来的一些点处(通过在时间上向前投影矢量值函数)来采样矢量值函数是可能的。该操作允许创建高分辨率的后处理的创建，以及在下一幅图像被真实地捕捉到之前预测将来的姿态(例如可以加倍记录速度而无需加倍摄像机帧速率)。
[0143]对于固定的身体的渲染(与固定的头部或固定的世界的渲染相反)，身体的精确视野是被期望的。在一个实施例中，通过用户头部的平均位置推导其位置而不测量身体是可能的。如果用户面部在大部分时间都朝向前方，那么头部位置的多天平均值将表露出该方向。与重力矢量相结合，这为固定的身体渲染提供了合理的稳定的坐标系。使用相对于该长期坐标系的头部位置的当前测量允许用户身体上/周围的始终如一的渲染一一而无需多余的仪器。为了该实施例的实施，头部方向矢量的平均值的单个记录可被启动，并且数据的运行和(running sum)除以时间增量(delta_t)将给出当前的平均头部位置。保持从n_5天、n-4天、n-3天、n_2天和n_l天开始的五天或者左右的记录允许使用仅过去的“η”天的移动平均值。
[0144]在一个实施例中，场景可被缩小并且在小于实际的空间中呈现给用户。例如，在场景必须在巨大的空间(即，例如足球场)中渲染的情况下，可能没有相等同的巨大空间，或这样的大的空间对于用户来说是不方便的。在一个实施例中，系统可被配置以减小场景的规模，以使得用户可以以小规模的观看。例如，一个人可能以具有上帝视角玩视频游戏或者世界足球锦标赛，在无缩放场景内播放一一或按比例缩小并且在起居室地板上呈现。系统可被配置以简单地移动渲染视角、缩放，以及相关的适应距离。
[0145]系统还可被配置以在呈现的场景中通过操作虚拟或增强现实对象的焦点、通过高亮它们、改变对比度、亮度、规模等抓住用户的注意力以指明特定的对象。
[0146]优选地，系统可被配置以完成下面的模式:
[0147]在开放空间清染(open-space-rendering)模式中，系统被配置以从结构化环境中抓取关键点，并且在渲染之间的空间中填充。该模式可被使用以创建潜在的场景，像舞台、输出空间、大的室内空间，等等。
[0148]在对象封装模式中，系统被配置以识别真实世界中的3D对象，然后增强它。“识别”在该上下文中可指以足够高的精度识别该3D对象以对3D对象锚定影像。应指出该识别，在该上下文中，还可指分类对象的类型(例如，人脸)，和/或分类对象的特定实例(例如，一个叫Joe的人)。在使用这些原则，识别软件可被用来识别多种事物，像墙壁、天花板、地板、面部、公路、天空、摩天大楼、低矮的房屋、桌子、椅子、车辆、公路标识、广告牌、门、窗、书架等。一些识别软件程序可为类型I，并且具有通用的功能(例如，“把我的视频放置于那个墙壁上”、“那是只狗”等等)，而另一些识别软件程序可为类型II，并且具有特定的功能(“我的电视在我的起居室墙壁上(on_my_living room wall)，距离天花板3.2英尺处”、“那是Fido”等等)。
[0149]在以身体为中心的渲染中，被渲染的任何虚拟对象均被固定至用户的身体。例如，一些对象可在用户身体周围飘动(例如，用户的腰带)。完成该操作需要知道身体的位置，而不仅是头部位置。然而，身体位置可由头部位置估计出来。例如，头部通常平行于地面面向前方。还有，通过使用由头部位置的长时间平均获得的数据，随着时间推移身体的位置会变得更加准确。
[0150]对于I被类型I识别的对象(特定功能)，对象的割除(cut-away)被典型地示出。此外，I被类型I识别的对象可被链接至不同3D模型的在线数据库。当开始识别过程时，理想的是从具有公共可用的3D模型的对象开始，例如车辆或公共设施。
[0151]系统还可被用于虚拟呈现，S卩，使用户能够将远程人的形象绘制到特定的开放空间中。这可以被认为是如上讨论的“开放空间渲染”的一个子集。用户可创建本地环境的粗略几何结构并且迭代地将几何结构和纹理贴图发送至(其他用户)。不过，用户需允许其他用户进入他们的环境。微妙的声音提示、手势跟踪和头部运动可被发送至远程形象。基于上述信息，形象可被动画化。应指出创建虚拟存在最小化了带宽并且可被保守地使用。
[0152]系统还可被配置用于制作到另一房间的对象“入口”。换句话说，不是在本地房间中显示形象，而是将被识别的对象(例如，墙壁)作为到另一用户的环境的入口使用。因此，多个用户可以坐在他们自己的房间中，“透过”墙壁察看到其他用户的环境。
[0153]系统还可被配置用于在当一组摄像机(人)从不同视角察看场景时，创建区域的密集的数字模型(dense digital model)。只要通过至少一个摄像机察看该区域，就可以从任何有利点(vantage point)清染该模型。例如，可通过多个用户的有利点清染一个婚礼场景。应指出识别器可区分并贴图与移动对象不同的静止对象(例如，墙壁具有稳定的纹理贴图，而人具有更高频率的移动的纹理贴图)。
[0154]随着实时地更新充足的数字模型，可从任何视角渲染场景。回到婚礼示例中，在后方的出席者可在空中飞至更好视野的前排。或如果组织者允许，场地外的出席者也可使用形象或不可见地找到“座位”。出席者可展示出他们的移动形象，或将其隐藏。应指出该方面可能需要非常高的带宽。高频率数据可通过拥挤的本地无线连接流送，而低频率数据可来自MLC云。在上述示例中，因为婚礼的所有出席者具有高精度的位置信息，做出用于本地网络的最佳路由路径可能是不重要的。
[0155]对于至系统或用户之间的通信，常常期望简单的无声消息传送。例如，可使用手指拨弦的键盘。在可选的实施例中，触觉手套方案可提供增强的性能。
[0156]为了给予用户完全的虚拟现实体验，视觉系统被暗化，并且向用户示出并非叠加于真实世界上的视图。即使在该模型中，仍然需要记录系统以追踪用户的头部位置。可使用被用于体验完全虚拟现实的多个模型。例如，在“沙发”模型中，用户可能能够飞行。在“步行”模型中，真实世界的对象可被作为虚拟对象被重新渲染以使得用户不与真实世界冲关O
[0157]作为一般规则，渲染人体部位对于终止通过虚拟世界进行浏览的用户的怀疑是必不可少的。这需要一种方法来在用户的视野(FOV)内追踪并渲染人体的部位。例如，不透明的遮板(opaque visor)可以是一种具有许多图像增强可能性的虚拟现实的形式。在另一示例中，宽视野可给予用户后视视图。而在另一示例中，系统可包括多种形式的“超级视野”，如电视视野、透明视野、红外视野、上帝视野等。
[0158]在一个实施例中，用于虚拟和/或增强用户体验的系统被配置以使得与用户相关的远程形象可至少部分地基于具有由相关的软件模块管理的源作为输入的可穿戴设备上的数据动画化，所述源例如声音变化分析和面部识别分析。例如，重新参考图12，基于用户脸上的笑容的面部识别或基于友善的声音或讲话语调，蜂蜜形象(2)可被动画化以具有友善的笑容，所述声音或语调由被配置以分析由捕捉来自用户本地的声音样本的麦克风的输入的声音的软件确定。进一步地，形象特性可以以有可能使形象表达特定情感的方式被动画化。例如，在形象为狗的实施例中，由用户本地的系统检测出的愉快笑容或语调可在形象中被表示为摇尾巴的狗的形象。
[0159]参考图17-22，复杂的游戏实施例的不同方面在间谍类型的游戏的背景中被示出，游戏的主题可以源自涉及“James Bond 007”(RTM)品牌下出品的角色增强的一些间谍主题。参考图17描述了一个家庭的图解，家庭(85)的一个成员通过操作输入设备(88)，例如游戏操纵杆或者控制器，驾驭游戏中的一个角色，游戏操纵杆或控制杆可操作地耦合至游戏计算机或操作台(86)，例如那些个人计算机或专用的游戏系统，例如在“PlayStat1n”(RTM)的品牌下销售的那些专用的游戏系统。游戏操作台(86)可操作地耦合至被配置以将用户接口视图(92)显示给飞行员/操作员(85)或其他附近的人的显示器(92)。图18示出了这样一个用户接口视图(92)的示例，其中主题游戏正在英国的伦敦市中的一座桥上或附近进行。用于该特定玩家的用户接口视图(92)为纯粹的虚拟现实，其中用户接口显示的所有元素均不是真实存在于玩家(85)的起居室中一一它们是使用监视器或显示器(图17中的元素90)显示的虚拟元素。再次参考图18，被描述的虚拟现实视图
(92)包括了具有桥和多种建筑(98)和其他架构特征的伦敦市的视图，以及由如在图18中的用户接口视图(92)中示出的透视图的主题玩家(85)操作的游戏角色(118-在该说明性示例中还被称为“特工009”)的描述。从玩家(85)还显示了通信显示器(96)、罗盘指示器(94)、角色状态指示器(114)、新闻工具用户接口(104)、社交网络工具用户接口(132)，和消息传送用户接口(112)。在游戏中进一步示出了典型的另一角色(122—一在该说明性示例中还被称为“特工006”)。如用户接口视图(92)中所示，系统可被配置以呈现被认为与被呈现的场景相关的信息，例如通过消息传送接口(112)的特工006正在靠近的消息，伴随着特工006角色周围虚拟呈现的高亮。系统可被配置以使得操作员(85)可在任何时间改变他或她正在利用的透视图；例如，不是图18中示出的类似于直升飞机的随着玩家自己的角色(118)向前和向下显示的透视图，而是由玩家决定以选择从该角色的眼睛的视角的视野，或可被计算并呈现的许多其他可能的视野中的一个。
[0160]参考图19，另一说明性视图(144)示出了穿着头戴式显示系统(300)操作角色“特工006”(140)的真实人类玩家以及相关的本地处理系统(308)，此时他参与到由家中她起居室中的操作员(例如图17中的玩家85)进行的相同的游戏时，并且他正以混合或增强的现实体验在实际上走过真实的伦敦市。在所描述的实施例中，当玩家(140)穿着他的增强现实头戴式显示器(300)沿着桥散步时，他本地的处理系统(308)将所描述的多种虚拟现实元素馈送给他的显示器，覆盖他真实的现实视野(即，例如伦敦138的现实地平线和结构)。他在手中拿着一个或多个实际的文件(142)，在一个实施例中，该文件被提前电子地通信至他用于在游戏场景中打印和使用。图20示出了从玩家(140)眼睛的视角(146)察看他实际的文件(142)以观看实际的伦敦地平线(138)的视野的视图，同时还通过其头戴式显示器(300)呈现用于增强现实视野的多种虚拟元素。所述虚拟元素可包括，例如，通信显示器(126)、新闻显示器(128)、一个或多个电子通信或社交网络工具显示器(132)、一个或多个玩家状态指示器(134)、消息传送接口(136)、罗盘朝向指示器(124)，和一个或多个内容显示器(148)，例如文本、语音或视频内容，可依照其他被显示或被捕捉的信息来被检索或呈现，所述信息例如玩家(140)携带的现实文件中的文本或图片。仅存在在虚拟现实中的“特工009”附近的其他角色被呈现在作为角色“特工006”操作的玩家(140)的增强现实视野(146)中，并且可被在用户接口中标记以用于简单的识别，如图20中所示。
[0161]参考图21，也真实出现在伦敦(140)并且步行穿过相同的桥走向“特工006”玩家
(140)但是没有增强现实头戴式显示器(例如，图19的元素300)的另一玩家(150)的玩家眼睛视野被呈现。该玩家(150)可能没有头戴式增强现实显示器，但是他携带着移动通信设备(154)，例如平板电脑或智能手机，在该实施例中，所述移动通信设备可被无线连接至更大的系统，并被用作到主题游戏的增强现实世界中的“窗口 ”，并且被配置以在设备的有限的用户接口(156)中呈现关于一个或多个其他附近玩家的增强现实信息，以及例如警告或角色信息等其他增强现实显示信息(162)，所述其他玩家可为现实存在在哪里(158)或是虚拟的。
[0162]参考图22，“鸟的眼睛”或有人或无人驾驶的飞行器(或“UAV”)视野被呈现(164)。在一个实施例中，视野(164)可基于由另一玩家或上述提及的玩家之一操作的虚拟UAV。被描述的视野(164)可以以完全虚拟的模式呈现给玩家，例如，坐着家中的沙发上，具有大的计算机显示器(90)或头戴式显示器(300)的玩家；备选地，这样的视野可被作为增强现实视野呈现给在飞机或其他飞行器上的玩家(即由于人在该位置，“增强”或混合的视野，其中至少部分视野是真实现实的)。被示出的视野(164)包含用于标出相关信息的信息控制面板的接口区域，所述相关信息例如关于在视野中发现的被识别的对手。被示出的视野(164)标出虚拟高亮信息，例如感兴趣信息的网站(168)、其他玩家或角色的位置和/或状态(166)，和/或其他信息的呈现(167)。
[0163]参考图23，为了说明的目的，另一增强现实场景以视野(172)呈现为，所述视野突出了特定真实现实元素，例如:房间的结构(174)、咖啡桌(180)、DJ桌(178)和五个真实的人(175、188、182、184和186)，五个真实的人中的每一个都穿着头戴式增强现实接口硬件(300)以使得他们能体验他们自己拥有的他们周围事物的增强现实视野，例如虚拟现实卡通角色(198)、虚拟现实西班牙舞者角色(196)、突击队员角色(194)和用于真实人类(188)之一的globe-rabbit-eared盖头(192)。没有增强现实接口硬件，在五个现实中的人看来所述房间就是一个配有家具、DJ桌子的房间，没有什么特别的东西；使用增强现实接口硬件，系统被配置以使得参加的玩家或参与者可体验决定以突击队员身份出现的人、决定以西班牙舞者身份出现的人、决定以卡通角色出现的人，以及决定穿着正常服装出现，但是决定希望自己的头部被可视化为globe-rabbit-eared盖头(192)。系统还可被配置以显示与现实的DJ桌子(178)相关的特定虚拟特性，例如通过DJ(176)的增强现实接口硬件(300)仅对他可见的虚拟音乐文件页(190)，或者DJ桌子灯光特性，其可对周围使用他们的增强现实接口硬件(300)的任何人可见。
[0164]参考图24A和24B，例如平板电脑或智能手机的移动通信设备的适配可被用来体验作为进入主题游戏的增强现实世界的改进的“窗口”的增强现实或体验使用该主题系统的创作。参考图24A，典型的智能手机或平板电脑系统移动设备(154)以相对简单的视觉用户接口(156)为特性，并且典型地拥有一个或两个简单的摄像机。参考图24B，移动计算设备已经是可移除的并且操作地耦合至增强控制台(218)，所述增强控制台(218)被配置以增强移动计算设备的增强现实参与能力的。例如，被描述实施例有如下特性:可被用于眼睛跟踪的两个朝向玩家的摄像机(202);可用于简单的高质量音频和/或定向声修正的四个扬声器(200);用于机器视觉、记录和/或定位的两个前向摄像机(204);附加的电池或电力提供能力(212);被放置以易于抓着耦合系统的玩家利用的一个或多个输入接口(214、216);向抓着耦合系统的用户提供反馈的触觉反馈设备(222)(在一个实施例中，触觉反馈设备科被配置以提供两个轴的反馈，在每个轴的+方向或-方向提供方向性的反馈；这样的配置可被用于例如辅助操作员保持系统对着特定感兴趣的目标等);一个或多个GPS或定位传感器(206);和/或一个或多个加速计、惯性测量装置和/或陀螺仪(208)。
[0165]参考图25，在一个实施例中，例如在图24B中描述的系统可被用来使用GPS传感器和/或无线三角测量(232)来在X和Y (类似于经度和玮度的大地坐标系)Cartesian方向粗略定位参与者。使用罗盘和/或无线朝向技术(234)达到粗略定向。由于确定了粗略定位和定向，分布式系统可被配置以下载(即，经由无线通信)本地特征贴图信息至本地设备(即，例如内部耦合的移动通信系统154和增强控制台218)。这样的信息可包括例如几何信息，如地平线几何结构、建筑的几何结构、航道/平面元素几何结构、地形几何结构等
(236)。本地和分布式系统可利用粗略定位、粗略定向和本地特征贴图信息的组合以确定精细的定位和定向特性(例如X、Y和Z{类似于高度}坐标系和3D定向)(238)，其可被用来使得分布式系统下载精细程度的本地特征贴图信息至本地系统(即，例如内部耦合的移动通信系统154和增强控制台128)以增强用户的体验和操作。利用粗略定位和定向工具以及本地部署的设备例如惯性测量装置、陀螺仪和加速计一一其可被耦合至例如可由参与者
(242)携带的平板电脑或移动手机的移动计算设备，至不同方向和位置的移动可被追踪。
[0166]在多种上述的实施例中，头戴式显示组件部分可包括单眼或双眼显示技术、透明的视频配置。此外，这样的组件部分可包括以单眼或双眼形式的可穿戴或头戴式光场显示系统，包括激光投影系统，其中图像被投影至用户的视网膜上并且焦点深度信息被逐立体像素(voxel)和/或逐帧提供。深度平面的数量优选地从2到无限或非常大的数变动；在一个实施例中，4到36之间的深度平面可被呈现以用于3D效果。
[0167]例如在图23中标出的DJ桌子(178)的现实的对象可被扩展到虚拟现实表面、曲面和/或功能。例如，在一个实施例中，这样的设备上的真实的按钮可被配置以打开虚拟面板，其被配置以与现实的设备和/或其他设备、人或对象交互。
[0168]例如在图23中描述的聚会房间(174)的房间可被推断为任何的房间或空间。系统可拥有来自一些已知数据(例如现有的关于房间其他相关的结构或事物的二维或三维数据)的任意位置一一或者可能拥有几乎为O的数据，并利用比如那些安装于图24B中的控制台上的那些(204)摄像机的机器视觉配置，所述摄像机可被用来捕捉附加数据；进一步地，系统可被配置以使得人群可众包可用的二维或三维贴图信息。
[0169]在现有的贴图信息为可用的配置中，所述信息例如伦敦市的三维贴图数据，穿戴着头戴式显示器或“感应器”配置(300)的用户可使用GPS、罗盘和/或其他装置(例如，附加的被安装的追踪摄像机、耦合至其他玩家的设备等)被粗略地定位。然后使用物理位置的已知的几何结构作为用于该记录的基准点，从用户的传感器完成精细的记录。例如，在伦敦特定的建筑内，当被在远处X察看时，当系统已经从GPS信息中定位用户在Y英尺高内并且从罗盘和贴图M定位方向C时，系统可被配置以实现记录算法(类似在机器人或计算机辅助的外科手术中被利用的技术)来在一些误差E范围内“锁定”用户的三维位置。
[0170]固定的摄像机还可结合头戴式或感应器装置来利用。例如，在图23中所描述的聚会房间里，安装至房间(174)特定方面的固定摄像机可被配置以提供房间和移动的人的现场的、不间断的视图，向远程的参与者给予整个房间的“现场的”数字的远程现场视图，以使得他们与该房间内的虚拟的和物理的人们的社交互动更加丰富。在这样的实施例中，少数房间可被贴图至彼此:物理的房间和虚拟的房间的几何结构被贴图至彼此；附加的扩展或外观改装可等同于、小于或大于物理房间的贴图而被创建，同时对象穿过物理的和虚拟的“元”房间移动，并且随后在视觉上被个性化，或“换肤”，对每个用户或参与者来说房间的版本是可用的(即，当他们在完全相同的物理或虚拟房间中时，系统可允许用户自定义视图；