且虚拟对象数据以相似于虚拟模式的方式被呈现在显示器303上。然而，在该示例性自定义接口模式中，虚拟对象可以是完全虚拟的(即，它们不存在于本地、物理环境中)或它们可以是真实的、本地的、物理对象，其在接口 302中被渲染为虚拟对象而不是物理对象。因此，在该特殊的自定义模式(此处被称为混合虚拟接口模式)中，现场和/或已存的视觉和音频感觉可通过接口 302被呈现给用户，并且用户可体验包括彻底的虚拟对象和被渲染的物理对象的数字世界并与之交互。
[0093]图6示出了根据混合虚拟接口模式运行的用户接口的示例性实施例。如图6中所示，用户接口呈现由彻底的虚拟对象610和被渲染的物理对象620(对象的渲染，否则物理地呈现在场景中)组成的虚拟世界600。依据图6中示出的示例，被渲染物理对象620包括建筑物620A、地面620B和平台620C，并且使用粗体的轮廓630示出以向用户表明对象被渲染。附加地，彻底的虚拟对象610包括附加的用户610A、云610B、太阳610C和平台620C上的火焰61OD。应指出完整的虚拟对象610可包括，例如，大气、天气、地形、建筑物、人、植物、车辆、动物、生物、机器、人工智能、位置信息和任何定义虚拟世界600并且未从存在于本地、物理环境的对象渲染的其他对象或信息。相反地，被渲染物理对象620是真实的、本地的、物理的对象，在接口 302中被渲染为虚拟对象。粗体轮廓630表示用于向用户表明被渲染物理对象的一个示例。同样地，可使用不同于本文公开的哪些方法的方法来表明被渲染物理对象。
[0094]在一些实施例中，可使用环境感知系统306的传感器312(或使用其他设备，例如移动或图像捕捉系统)来检测被渲染物理对象620，并且其被存储在例如处理电路308中的软件和/或固件转换为数字对象数据。因此，当用户以混合虚拟接口模式与系统100连接时，多种物理对象可作为被渲染的物理对象显示给用户。这对允许用户与系统100连接，同时仍能安全地通过(navigate)本地物理环境来说尤其有用。在一些实施例中，用户可能选择性地移除或添加被渲染物理对象至接口显示器303.
[0095]在另一示例自定义接口模式中，接口显示器303可以是实质上透明的，从而在多种本地的、物理对象被作为被渲染物理对象显示给用户时，允许用户察看本地的、物理的环境。该示例自定义接口模式与所述增强模式类似，除了相对于先前的示例，一个或多个虚拟对象可以是被渲染的物理对象之外。
[0096]上述示例自定义接口模式代表能够由混合模式的头戴式系统300提供的多种自定义接口模式的几个示例实施例。据此，多种其他自定义接口模式可根据由头戴式系统300的组件提供的多种特性和功能的组合以及上述讨论的多种模式来创建而不背离本公开范围。
[0097]本文所讨论的实施例仅描述了用于以关、增强、虚拟或混合模式下提供接口操作的几个示例，并非旨在限制各个接口模式的内容与范围或者头戴式系统300的组件的功能。例如，在一些实施例中，虚拟对象可包括显示给用户的数据(时间、温度、海拔等)、由系统100创建和/或选择的对象、由用户创建和/或选择的对象，或甚至代表连接至系统100的其他用户的对象。此外，虚拟对象可包括物理对象的扩展(例如，从物理平台生长出的虚拟雕塑)并且可被可视化地连接至物理对象或从物理对象分离。
[0098]虚拟对象可以是动态的并且随着时间变化，根据用户或其他用户、物理对象和其他虚拟对象之间的关系(例如位置、距离等)变化，和/或依据在头戴式系统300、网关组件140或服务器110的软件和/或固件中指定的其他变量变化。例如，在特定实施例中，虚拟对象可响应用户设备或其组件(例如，当触觉设备被紧挨虚拟球放置时，虚拟球移动)，物理的或口头的用户交互(例如，当用户靠近虚拟生物时虚拟生物逃跑，或当用户向其说话时，虚拟对象说话)，椅子被扔向虚拟生物并且虚拟生物躲避椅子、其他虚拟对象(例如，当第一虚拟对象看到第二虚拟生物时，会有反应)、物理变量，例如位置、距离、温度、时间等，或用户环境中的其他物理对象(例如当物理车辆经过时，被显示站在物理街道上的虚拟生物被压扁)。
[0099]除了头戴式系统300之外，本文讨论的多种模式均可被应用于用户设备。例如，增强现实接口可经由移动电话或平板设备提供。在此类实施例中，手机或平板可使用摄像机捕捉用户周围的物理环境，并且虚拟对象可被覆盖在手机/平板的显示屏幕上。附加地，可通过在手机/平板的显示屏幕上显示数字世界来提供虚拟模式。这样，这些模式可被混合以使用本文讨论的手机/平板的组件，以及被连接至用户设备或与用户设备结合使用的其他组件来创建上述多种自定义接口模式。例如，可由计算机显示器、电视屏幕，或其他缺少摄像机的设备与运动或图像捕捉系统结合操作来提供混合虚拟接口模式。在该示例实施例中，可从显示器/屏幕察看虚拟世界并且对象检测和渲染可由运动或图像捕捉系统执行。
[0100]图7示出了本公开的示例实施例，其中位于不同地理位置的两个用户彼此通过其各自的用户设备与对方以及公共虚拟世界交互。在该实施例中，两个用户701和702来回投掷703 ( —种类型的虚拟对象)，其中每个用户能观察另一用户对虚拟世界的影响(例如每个用户观察虚拟球变化方向、被另一用户捕捉等)。因为虚拟对象(即虚拟球703)的运动和位置由计算网络105中的服务器110来追踪，在一些实施例中，系统100可向用户701和702传递球703相对每个用户到达的准确位置和时间。例如，如果第一用户701位于伦敦，用户701可向位于洛杉矶的第二用户702以由系统100计算出的速度投掷球703。因此，系统100可向第二用户702传递球到达的准确的时间和位置(例如通过电子邮件、文字讯息、实时讯息等)。同样地，第二用户702可使用其设备看见球703在特定的时间和位置到达。一个或多个用户还可用地理定位图软件(或类似物)来追踪一个或多个虚拟对象，仿佛他们实际上走遍了整个地球。该示例可以是穿戴3D头戴式显示器的用户，仰望天空并看到飞过头顶、叠加在真实世界上的虚拟飞机。该虚拟飞机可由用户、智能软件代理(运行于用户设备或网关的软件)、本地和/或远程的其他用户，和/或任何这些的组合来驾驶。
[0101]如前所述，用户设备可包括触觉接口设备，其中当系统100确定触觉设备相对于虚拟对象位于一个物理的、空间的位置时，触觉接口设备向用户提供反馈(例如，阻力、震动、光照、声音等)。例如，如上述关于图7中所描述的实施例可扩展到包括使用触觉设备802，如图8中所示。
[0102]在该示例实施例中，触觉设备802可在虚拟世界中被显示为棒球棒。当球703到达时，用户702可在虚拟球703处挥动触觉设备802。如果系统100确定由触觉设备802提供的虚拟棒与球703接触，则触觉设备802可震动或向用户702提供其他反馈，并且虚拟球703可依据被检测的速度、方向和球与棒接触的时间由系统100计算出的方向从虚拟棒跳飞。
[0103]在一些实施例中，本公开的系统100可有助于混合模式连接，其中多个用户可使用不同的连接模式(例如增强、虚拟、混合等)连接至共同的虚拟世界(以及其包含的虚拟对象)。例如，以虚拟模式连接特定虚拟世界的第一用户可与以增强现实模式连接同一虚拟世界的第二用户交互。
[0104]图9A示出了示例，其中第一用户901 (以混合的虚拟接口模式连接至系统100的数字世界)与第一对象902对于以完全虚拟现实模式连接至系统100的同一的数字世界的第二用户922作为虚拟对象出现。如上所述，当经由混合的虚拟接口模式连接至数字世界时，本地的、物理的对象(如第一用户901和第二用户902)可被扫描和渲染作为虚拟世界中的虚拟对象。例如，第一用户901可被运动捕捉系统或类似的设备扫描，并且在虚拟世界中被渲染(由存储于运动捕捉系统、网关组件140、用户设备120、系统服务器110或其他设备中的软件/固件)作为第一被渲染物理对象931。类似地，第一对象902可被例如由头戴式接口 300的环境感知系统306扫描，并且在虚拟世界中被渲染(由存储于处理器308、网关组件140、系统服务器110或其他设备中的软件/固件)作为第二被渲染物理对象932。在图9A的第一部分910中展示的第一用户901和第二用户902被作为物理世界的物理对象。在图9A的第二部分920，第一用户901和第一对象902被作为第一被渲染物理对象931和第二被渲染对象932，展示给连接至系统100的同一的数字世界的第二用户922。
[0105]图9B示出了混合模式接口的另一示例性实施例，其中如上面所讨论的，第一用户901以混合虚拟接口模式连接至数字世界，并且第二用户922以增强现实模式连接至同一的数字世界(以及第二用户的物理的、本地的环境925)。在图9B的实施例中，第一用户901和第一对象902位于第一物理位置915，并且第二用户922位于不同的，与第一位置915分开一些距离的第二物理位置925。在该实施例中，虚拟对象931和932可被实时(或近似实时)地转移至虚拟世界中与第二位置925对应的某个位置。因此，第二用户922可在第二用户的物理的、本地的环境925分别观察和与代表第一用户901和第一对象902的被渲染物理对象931和932交互。
[0106]图10示出了当以增强现实模式连接至系统100时的用户视野的示例性插图。如图10中所示，用户看见本地的、物理的环境(即拥有多个建筑物的城市)以及虚拟角色1010(即虚拟对象)。虚拟角色1010的位置可由2D可视目标(例如广告牌、明信片或杂志)和/或例如建筑物、汽车、人、动物、飞机、建筑物的一部分的一个或多个3D参考帧(reference frame)和/或任何3D物理对象、虚拟对象，和/或其组合来触发。在图10中示出的示例中，城市中建筑物的已知的位置可提供记录基准和/或用于渲染虚拟角色1010的信息和关键特征。此外，用户地理位置(例如，由GPS、姿态/位置传感器等等所提供)或相对于建筑物的移动位置，可包括由计算网络105使用的数据以触发用于显示虚拟角色1010的数据的传送。在一些实施例中，用于显示虚拟角色1010的数据可包括被渲染的角色1010和/或用于渲染虚拟角色1010或其部分的指令(其被网关组件140和/或用户设备120所执行)。在一些实施例中，如果用户的地理位置是难以获得的或未知的，服务器110、网关组件140，和/或用户设备120仍可使用估计算法来显示虚拟对象1010，估计算法依据时间和/或其他参数使用用户最后的已知位置来估计特殊的虚拟对象和/或物理对象可能位于何处。该方法还在用户传感器被堵塞和/或经历其他故障时用于确定任何虚拟对象的位置。
[0107]在一些实施例中，虚拟角色或虚拟对象可包括虚拟雕像，其中虚拟雕像的渲染由物理对象触发。例如，现在参考图11，虚拟雕塑1110可由真实的、物理的平台1120来触发。雕塑1110的触发可响应于由用户设备或系统100的其他组件检测的可视对象或特征(例如，基准、设计特征、几何结构、图案、物理位置、高度等等)。当用户在没有用户设备的情况下察看平台1120时，用户看到没有雕塑1110的平台1120。然而，当用户通过用户设备察看平台1120时，如图11中所示，用户可看到的平台1120上的雕塑1110。雕塑1110是虚拟对象并且，因此是静止的、动画的、随时间或对应用户的察看位置而变化，或者甚至依据哪个特定用户在察看雕塑1110而变化。例如，如果用户为小孩，雕塑可以是狗；而如果察看者为成年男性时，雕塑可为如图11中所示的大机器人。这些是用户依赖和/或状态依赖体验的示例。这将使得一个或多个用户能感觉到一个或多个单独的和/或与物理对象结合的虚拟对象，并且体验虚拟对象的自定义和个性化版本。雕塑1110(或其部分)可由包括例如安装在用户设备上的软件/固件的系统的多个组件来渲染。使用表明用户设备的位置和姿态的数据结合虚拟对象(即雕塑1110)的记录特征，虚拟对象(即雕塑1110)与物理对象(即平台1120)形成关系。例如，一个或多个虚拟对象与一个或多个物理对象之间的关系可以取决于到一个或多个其他虚拟对象的距离、位置、时间、地理定位、接近度，和/或包括任何类型的虚拟和/或物理数据的任何其他函数关系。在一些实施例中，用户设备中的图像识别软件可进一步加强数字至物理(digital-to-physical)对象关系。
[0108]由被公开的系统和方法提供的交互接口可被实现以促进多个活动，例如，与一个或多个虚拟环境和对象交互、与其他用户交互，以及体验多种形式的媒体内容，包括广告、音乐会和电影。因此，被公开的系统有助于用户交互，使得用户不仅察看或聆听媒体内容，更确切地说，能够积极地参与并体验媒体内容。在一些实施例中，所述用户参与可包括变更现有内容或创建新内容，所述现有内容或新内容将在一个或多个虚拟世界中被渲染。在一些实施例中，媒体内容和/或创建内容的用户，可以围绕一个或多个虚拟世界的神话创造为主题。
[0109]在一个示例中，音乐家(或其他用户)可创建音乐内容，其将被渲染至与特定虚拟世界交互的用户。音乐内容可包括例如多个歌曲、EP、专辑、视频、短片和音乐会演出。在一个示例中，大量的用户可连接至系统100以同时体验虚拟的由音乐家表演的音乐会。
[0110]在一些实施例中，被生产的媒体可包括与特定的实体(例如，一个组合、艺术家、用户等)相关联的唯一的识别码。该码可以是以一组字母数字字符、UPC码、QR码、2D图像触发器、3D物理对象特征触发器，或其他数字标志，以及声音、图像，和/或两者均有等的形式。在一些实施例中，所述码还可被嵌入到可使用系统100连接至的数字媒体中。用户可获得所述码(例如通过支付费用)并且兑换码以访问由与该标识码相关的实体生产的媒体内容。该媒体内容可被添加至用户接口或从用户接口删除。
[0111]在一个实施例中，为避免从一个计算系统向另一计算系统低延时地传送实时或近似实时的视频数据时的计算和带宽限制，例如从云计算系统至与耦合至用户的本地处理器，关于不同形状和几何结构的参数信息可被传递并被用来定义表面，同时传递纹理并将其添加至这些表面以带来静态的或动态的细节，例如根据参数重现面部几何结构贴图的人的面部的基于位图的视频细节。如另一示例，如果系统被配置以识别人的面部，并且已知人的形象位于增强世界中，系统可被配置以在相对大的设立传输中传送相关的世界信息和人的形象信息，在此之后仍然至例如图1中描述的308的本地计算系统用于本地渲染的传输可被限制至参数和纹理更新，例如人的骨骼结构的运动参数和人的面部运动位图一一相对于初始设立传输或实时视频的传送来说，这些均以以数量级减少的带宽传输。因此，基于云的和本地的计算资产可以以整合的方式使用一一云处理计算不需要相对地的延时，而本地处理资产优先(at a premium)处理低延时的任务，并且在该情况下，由于形成的这样的数据(即，参数信息、纹理等，相对每个事物的实时视频)的总量，被传递至本地系统的数据形式优选地以相对的低带宽被传送。
[0112]参考当前的图15，原理图示出了云计算资产(46)与本地处理资产(308、120)之间的协调关系。在一个实施例中，云资产(46)被操作性的直接耦合至一一例如经由有线或无线网络(对于移动性来说，无线是优选的；对于可能期望的高宽带或高数据量传输来说，有线是优选的)一一本地计算资产(120、308)中的一个或两者，所述本地计算资产例如是可被放置于被配置以耦合至用户的头部(120)或腰部(308)的结构中的处理器和存储器配置。这些对用户来说本地的计算资产也可以经由有线和/或无线连接性配置(44)彼此操作性的耦合。在一个实施例中，为了维护低惯性和小体积的头戴式子系统(120)，用户和云
(46)之间的主要的传输可经由基于腰部的子系统(308)和云之间的链路，同时头戴式子系统(120)主要被使用无线连接性来将数据连线至基于腰部的子系统(308)，所述无线连接性例如当前采用的、个人计算外围连接性应用中的超带宽(“UWB”)连接。
[0113]随着有效的本地和远程处理协调，以及用于用户的适当的显示设备，例如用户接口 302或图3中描绘的用户“显示设备”、下面参考图14描述的显示设备14，或其变形，与用户当前的真实或虚拟位置相关的一个世界的方面可被传输或“传递”至该用户，并以有效的形式被更新。事实上，在一个实施例中，一个人以增强现实模式使用虚拟现实系统(“VRS”)，并且另一人以完全虚拟的模式使用VRS以探究与第一人相同的世界，二人可以多种形式在那个世界体验到彼此。例如，参考图12，类似于图11中描述的场景被描述，并且添加了第二用户的可视化形象2，所述第二用户从完全虚拟现实场景描绘的增强现实世界飞过。换句话说，图12中描绘的场景可被体验并且以增强现实形式被显示以用于第一用户一一同时除了场景中本地世界周围真实的物理元素一一例如地面、背景中的建筑物、雕塑平台1120—一之外，还有两个增强现实元素(雕塑1110和第二人的飞舞的大黄蜂形象2)被显示。动态更新可用于允许第一用户将第二用户形象2的进展可视化为形象2飞过第一用户本地的世界。
[0114]再次，以上述配置，其中一个世界模型可以驻留在云计算资源上，并且从那里开始分发，这样的世界可以以相对低带宽的形式优选地试图传递实时视频数据或类似物至一个或多个用户。站在雕塑(即如图12中所示)边上的人的增强体验可由基于云的世界模型来通知，所述世界模型的子集可被传递至他们和他们的本地显示设备以完成察看。站在远程显示设备处的人可从云有效率地下载相同部分的信息，并且将所述信息在他们的显示器上渲染，所述远程显示设备可能简单地是放置于桌子上的个人电脑。事实上，真实出现在雕塑附近的公园内的人可带领位于远程的朋友在该公园内散步一一该朋友通过虚拟和增强现实来参与。系统将需要知道街道在何处、树木在何处、雕塑在何处但是因为ig息在75:上，参与的朋友可从云上下载场景的各个方面，然后相对于真正在公园中的人以增强现实的本地开始散步。
[0115]参考图13，基于一段时间和/或其他偶然参数的实施例被描述，其中人正沉浸在虚拟和/或增强现实接口一一例如用户接口 302或在图3中描绘的用户显示设备、参考图14在下边描述的显示设备14，或其变形一一使用系统(4)并且进入咖啡公司以订购一杯咖啡(6)。VRS可被配置以使用本地和/或远程地感知和数据收集能力，以为人提供增强和/或虚拟现实的形式的显示增强，例如高亮咖啡公司的大门的位置或相关咖啡菜单的泡泡视图(8)。当该人接到其订购的咖啡时，或根据系统检测的一些其他相关参数，系统可被配置以在本地环境中用显示设备显示(10) —个或多个基于时间的增强或虚拟现实图像、视频，和/或声音，例如从墙壁和天花板上静态或动态的显示具有或不具有森林声音和其他效果的Madagascar的森林场景。对用户的此类呈现可基于定时参数(即，在满杯咖啡被识别出并提供给用户之后5分钟；系统已经识别出用户走过公司正门10分组之后，等等)或其他参数被终止，例如系统识别出用户已经喝完咖啡，所述识别通过系统注意到随着用户从杯子中摄入了最后一口咖啡咖啡杯的朝向被倒置一一或者系统识别出用户已经离开咖啡公司的正门(12) ο
[0116]参考图14展示了适当的用户显示设备(14)的一个实施例被示出，包括可通过外壳或框架安装于用户头部或眼部的显示透镜(82)。该显示透镜(82)可包括一个或多个透明的镜子，所述镜子由所述框架安装于用户眼部(20)之前并且被配置以将投影光(38)反射入眼(20)中，并且有助于光束成形，同时在增强显示配置中允许来自本地环境的至少一些光的传送(在虚拟现实配置中，可能期望显示系统114在实质上阻塞来自本地环境的所有光线，例如通过黑遮光板、遮挡帘、全黑色LCD面板模式等等)。在所描述的实施例中，两个宽视野机器视觉摄像机(16)被耦合至外壳(84)上以将用户周围的环境成像；在一个实施例中，这些摄像机(16)可为双捕获可见光/红外光的摄像机。所描述的实施例还包括一对激光扫描