用于增强和虚拟现实的系统与方法
【技术领域】
[0001]本发明一般地涉及被配置以有助于用于一个或多个用户的交互式虚拟或增强现实环境的系统与方法。
【背景技术】
[0002]虚拟和增强现实环境由计算机在部分地使用描述环境的数据生成。该数据可描述，例如，用户可感知并与之交互的多种对象。这些对象的示例包括被渲染和展示以使用户可看见的对象、被播放以让用户可听到的声音、以及让用户感觉到的触觉(或触感)的反馈。通过各种虚拟的、听觉的和触觉的方法，用户可感知虚拟和增强现实环境并与之交互。
【发明内容】
[0003]本发明的实施例针对有助于用于一个或多个用户的虚拟现实和/或增强现实交互的设备、系统和方法。
[0004]—个实施例针对用户显示设备，所述用户显示设备包括安装于用户头上的外壳框架、耦合至所述外壳框架以追踪所述用户眼睛运动并基于所述被追踪的眼睛运动估计焦点的深度的第一对摄像机、具有光线生成机制的投影模块，其基于被估计的焦点的深度生成和修改与显示对象相关的映射光线以使得该显示对象在焦点出现、安装在所述外壳框架上的透镜，以及通信地耦合至所述投影模块以将与显示图像相关的数据传递至投影模块的处理器。所述透镜可包括被放置于用户眼睛前方以将被投影的光反射至用户眼睛中的至少一个透镜。所述至少一个透镜可选择性地允许来自本地环境的光的透射。
[0005]用户显示设备可进一步包括安装在外壳框架上以捕捉与第二对摄像机中的每一个摄像机对应的眼睛的视野图像的第二对摄像机。基于被捕捉的视野图像，所述处理器可计算用户的头部姿态。
[0006]投影模块可包括激光扫描装置以基于被估计的焦点的深度修改与所述显示对象相关的投影光束。所述投影光束的直径可小于0.7毫米。
[0007]在一个实施例中，第一对摄像机可包括与红外光源配对的红外摄像机以追踪用户的眼睛中的每一个眼睛的运动。用户显示设备可进一步包括传感器组件，所述传感器组件包括至少一个传感器以感知用户的运动、位置、方向和朝向中的至少一个。所述至少一个传感器可为加速计、罗盘或陀螺仪。基于所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的至少一个，所述处理器可估计用户的头部姿态。所述用户显示设备可包括GPS系统。所述用户显示设备可进一步包括通信地耦合至所述投影模块以提供触觉反馈的触觉接口设备。20.所述用户显示设备可进一步包括环境感知系统以数字化地重构所述用户的环境。
[0008]所述处理器可通信地耦合至计算机网络以传输虚拟世界数据的至少一部分，并且接收所述虚拟世界数据的另一部分。
[0009]所述用户显示设备可包括安装在头部框架的扬声器模块以输出声音。所述用户显示设备可进一步包括安装在外壳框架上的麦克风以捕捉用户本地的声音。
[0010]所述投影模块可修改与另一对象相关的另一投影光线以使得该其他对象出现模糊，其中所述另一对象不是所述显示对象。所述处理器可以以每秒至少60帧的速率渲染所述显示对象的帧。
[0011]所述显示对象可为虚拟对象、已渲染物理对象、图像和视频中的至少一个。
[0012]在另一实施例中，所述方法包括追踪用户眼睛的运动，基于被追踪的眼睛运动估计所述用户眼睛的焦点的深度，基于被估计焦点的深度修改与显示对象相关的光束以使得所述显示对象出现在焦点，以及将被修改的光束投影至所述用户眼睛中。被投影至用户眼睛的投影光束的直径可小于0.7毫米。
[0013]所述方法可进一步包括基于所述显示对象的可视化模式，选择性地允许来自用户的本地环境的光线透射。所述可视化模式可以是增强现实模式、虚拟现实模式以及增强和虚拟现实模式的组合中的一个。
[0014]所述方法可进一步包括捕捉所述用户的每个眼睛的视野图像。所述被捕捉的视野图像可被用以估计所述用户的头部姿态。被捕捉的视野图像可被用于将至少一个物理对象转换为物理清染(physically rendered)的虚拟对象，并且向所述用户显示该物理清染的虚拟对象。
[0015]所述方法可进一步包括从被捕捉的视野图像中提取点集，并且基于被提取的点集为所述被捕捉的视野图像中的至少一个物理对象创建基准(fiducial)。所述方法可进一步包括传送被提取的点集和被创建的基准中的至少一个至云计算机，以及将被提取的点集和被创建的基准中的至少一个标记为一种对象类型。所述方法可进一步包括基于与所述对象类型相关的被标记点集和与所述对象类型相关的被标记的被创建基准中的至少一个，识别不同的物理对象属于该对象类型。
[0016]所述方法可进一步包括感知所述用户的运动、所述用户的位置、所述用户的方向和所述用户的朝向中的一个，以及基于被感知的运动、被感知的位置、被感知的方向和被感知的朝向中的至少一个计算所述用户的姿态。所述传感器可为加速计、罗盘和陀螺仪中的至少一个。
[0017]所述方法可进一步包括处理与所述显示对象相关的虚拟世界数据至云网络，以及传送与该显示对象相关的虚拟世界数据的至少一部分至位于第二位置的第二用户以使得第二用户可在第二位置体验与该显示对象相关的虚拟世界数据的至少一部分。
[0018]所述方法可进一步包括感知物理对象，以及基于与被感知的物理对象的预先确定的关系，修改与所述显示对象相关的虚拟世界数据的至少一部分。所述方法进一步包括向第二用户呈现被修改的虚拟世界数据。
[0019]所述方法可进一步包括修改与另一对象相关的另一光线以使得该其他对象出现模糊，其中所述另一对象不是所述显示对象。
[0020]所述方法可进一步包括通过用户接口接收用户输入，以及基于接收的用户输入修改所述显示对象。所述用户接口可为触觉接口设备、键盘、鼠标、控制杆、运动捕捉控制器、光学追踪设备和音频输入设备中的至少一个。所述显示对象可为虚拟对象、被渲染物理对象、图像和视频中的至少一个。
[0021]在另一实施例中，方法包括通过头戴式用户显示设备与包括虚拟世界数据的虚拟世界交互，其中所述头戴式用户显示设备基于被估计的用户眼睛的焦点的深度向用户渲染与所述虚拟世界数据的至少一部分相关的显示图像，创建源自所述头戴式用户设备与所述虚拟世界的交互和与所述用户的物理环境的交互中的至少一个的附加虚拟世界数据，以及传送所述附加虚拟世界数据至计算机网络。所述虚拟世界可被以二维的形式或三维的形式呈现。
[0022]所述方法可进一步包括为了展示，传送所述附加虚拟世界数据至位于第二位置的第二用户以使得第二用户可从第二位置体验所述附加虚拟世界数据。所述附加虚拟世界数据可与通过头戴式用户显示设备捕捉的视野图像相关。所述附加虚拟世界数据可与用户的被感知运动、用户的被感知位置、用户被感知的方向和用户被感知朝向中的至少一个相关。所述附加虚拟世界数据可与被所述头戴式用户显示设备感知的物理对象相关。所述附加虚拟世界数据可与与所述被感知的物理对象具有预先确定的关系的显示对象相关。
[0023]所述方法可进一步包括基于用户输入，选择用于使所述用户和所述头戴式用户显示设备之间能够交互的接口，以及基于被选择的接口，渲染与所述虚拟世界数据的至少一部分相关的显示对象。所述被选择的接口可以是虚拟现实模式、增强现实模式、混合现实模式和虚拟现实和增强现实模式的组合中的一个。
[0024]在另一实施例中，使两个或更多用户能与包括虚拟世界数据的虚拟世界交互的方法包括通过第一用户显示设备以第一用户的第一可视化模式显示所述虚拟世界，通过计算机网络传送所述虚拟世界数据的至少一部分至第二用户显示器，以及在第二用户的第二用户显示设备中以第二可视化模式显示与所述虚拟世界数据的被传送部分相关的虚拟世界。第一可视化模式可以不同于第二可视化模式。第一可视化模式可以是增强现实模式、虚拟现实模式、混合现实模式以及虚拟现实和增强现实模式的组合中的至少一个。
[0025]在另一实施例中，方法包括基于用户的选择处理与现实物理对象的图像相关的被渲染物理图像数据和与虚拟显示对象相关的虚拟图像数据中的至少一个，以及选择性地向用户显示用户实时可见的现实物理对象、基于用户实时可见的现实物理对象渲染的被渲染物理-虚拟对象，以及虚拟显示对象的选择的组合。所述现实物理对象、被渲染的物理-虚拟对象和虚拟显示对象的至少一个基于用户输入的可视化模式来被选择性地显示。所述可视化模式可为增强现实模式、虚拟现实模式、混合现实模式以及虚拟和增强现实模式的组合中的至少一个。
[0026]所述方法进一步包括通过计算机网络接收与另一显示对象相关的图像数据以及将所述图像数据转换为与所选择的可视化模式兼容的数据格式以使得所述用户可以以被选择的可视化模式察看另其他显示对象。
[0027]所述方法进一步包括基于所述被选择的可视化模式，选择性地允许来自外界环境的光线的透射以使得所述用户可察看现实物理对象。
[0028]在另一实施例中，方法包括通过头戴式用户显示设备的透镜选择性地允许来自外界环境的光线的透射，其中所述头戴式用户显示设备被配置用于显示彻底的虚拟对象、彻底的物理对象或虚拟对象和物理对象的组合。
[0029]基于所期望的可视化模式选择性的允许光线的透射，其中所期望的可视化模式是增强现实模式、虚拟现实模式、混合现实模式以及增强和虚拟现实模式的组合中的一个。
[0030]所述方法可进一步包括当头戴式用户设备被关闭时，允许来自所述外界环境的光线的完全透射，以使得所述用户仅察看彻底的物理对象。
[0031]所述方法可进一步包括将与具有特定形状的至少一个显示对象相关的光束投影至用户的眼中，以及基于所述至少一个显示对象的特殊的形状，选择性地允许来自外界环境的光线的透射以使得用户察看显示对象连同所述外界环境中的物理对象。所述方法可进一步包括阻止来自所述外界环境的光线的透射以使得所述用户仅察看彻底的虚拟对象。
[0032]在另一实施例中，使两个或更多用户能够在包括虚拟世界数据的虚拟世界之内交互的方法包括为通过在第一位置的第一用户设备访问所述虚拟世界的第一用户创建远程形象，将第一用户的远程形象放置于现实的地理位置，以使得第一用户可通过在第一位置的第一用户设备体验现实的地理位置，以及通过放置于现实的地理位置的远程形象与通过在现实的地理位置的第二用户设备访问虚拟世界的第二用户交互。第一位置可不同于现实的地理位置，或第一位置可实质上与所述现实的地理位置相同。
[0033]所述远程形象可与在现实地理位置的物理对象具有预先确定的的关系。所述远程形象可在所述现实地理位置响应环境提示。所述远程形象的运动可由第一用户控制。所述远程形象可与在所述现实地理位置的第二用户交互。
[0034]在另一实施例中，方法包括通过头戴式用户显示设备捕捉所述用户的每个眼睛的视野图像，在被捕捉视野图像中提取点集，将提取的点集与特殊的对象相关联，以及基于与所述特殊对象相关联的点集识别不同的对象。
[0035]另一实施例针对用于使两个或更多用户能在包括虚拟世界数据的虚拟世界中交互的系统，所述系统包括计算机网络，所述计算机网络包括一个或多个计算设备，所述一个或多个计算设备包括存储器、处理电路和至少存储于所述存储器的部分上并可由所述处理电路执行以处理所述虚拟世界数据的至少一部分的软件；其中所述虚拟世界数据的至少第一部分源自第一用户本地的第一用户虚拟世界，并且其中所述计算机网络可操作以传送所述第一部分至用户设备以用于对第二用户展示，以使得第二用户可从第二用户位置体验所述第一部分，以使得第一用户虚拟世界多个方面被有效地传至第二用户。第一和第二用户可位于不同的物理位置或位于实质上相同的物理位置。所述虚拟世界的至少一部分可被配置以响应于虚拟世界数据中的变化而变化。所述虚拟世界的至少一部分可被配置以响应由所述用户设备感知的物理对象而变化。虚拟世界数据的变化可描绘与所述物理对象具有预先确定的关系的虚拟对象。依据所述预先确定的关系，虚拟世界数据的变化可被呈现至第二用户设备以用于展示给第二用户。所述虚拟世界可操作以由所述计算机服务器或用户设备中的至少一个渲染。所述虚拟世界可以以二维的形式呈现。所述虚拟世界可以以三维的形式呈现。所述用户设备可操作以提供用于使用户和处于增强现实模式中的所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于虚拟现实模式中的所述虚拟世界之间能够交互的接口。所述用户设备可被操作以提供用于使用户和处于增强和虚拟现实模式的组合模式中的所述虚拟世界之间能够交互的接口。所述虚拟世界数据可在数据网络上传送。所述计算机网络可被操作以从用户设备接收所述虚拟世界数据的至少一部分。被传送至所述用户设备的所述虚拟世界数据的至少一部分可包括用于生成所述虚拟世界的至少一部分的指令。所述虚拟世界数据的至少一部分可被传送至网关用于处理或分发中的至少一个。一个或多个计算机服务器中的至少一个可被操作以处理由所述网关分发的虚拟世界数据。
[0036]另一实施例针对用于虚拟和/或则增强用户体验的系统，其中可至少部分基于具有可选地来自音调变化和面部识别软件的输入的可穿戴设备上的数据来绘制(animate)远程形象。
[0037]另一实施例针对用于虚拟和/或增强用户体验的系统，其中摄像机姿态或视点位置及矢量可被放置在世界扇区(world sector)的任何位置。
[0038]另一实施例针对用于虚拟和/或增强用户体验的系统，其中世界或其部分可被渲染以用于以多种和可选的尺寸来观察用户。
[0039]另一实施例针对用于虚拟和/或增强用户体验的系统，其中特征除了姿态被标记的图像之外还有例如点和参数曲线，所述特征可被作为用于世界模型的基本数据来利用，从中可利用软件机器人或对象识别器以创建真实世界对象的参数表示，为被分割的对象和世界模型中的相互包含物(mutual inclus1n)标记源特征(source feature)。
[0040]本发明的附加的和其他目标、特性和优点在详细说明、图表和权利要求中被描述。
【附图说明】
[0041]图1示出了被公开的有助于用于多用户的交互式虚拟或增强现实环境的系统的代表性实施例。
[0042]图2示出了用于与图1中示出的系统交互的用户设备的示例。
[0043]图3示出了移动的、可穿戴用户设备的示例性实施例。
[0044]图4示出了当图3中的移动的、可穿戴用户设备正以增强模式运作时，由用户察看的对象的示例。
[0045]图5示出了当图3中的移动的、可穿戴用户设备正以虚拟模式运作时，由用户察看的对象的示例。
[0046]图6示出了当图3中的移动的、可穿戴用户设备正以混合虚拟接口模式运作时，由用户察看的对象的示例。
[0047]图7示出了一个实施例，其中位于不同的地理位置的两个用户中的每个用户均通过他们各自的用户设备与另一个用户以及共同的虚拟世界交互。
[0048]图8示出了一个实施例，其中图7中的实施例被扩展以包括触觉设备的使用。
[0049]图9A示出了混合模式接口连接(interfacing)的示例，其中第一用户以混合虚拟接口模式连接数字世界，并且二用户以虚拟现实模式连接相同的数字世界。
[0050]图9B示出了混合模式接口连接的另一示例，其中第一用户以混合虚拟接口模式连接数字世界，并且第二用户以增强现实模式连接相同的数字世界。
[0051]图10示出了当以增强现实模型连接所述系统时，用户视野的示例性说明。
[0052]图11示出了当用户以增强现实模式连接所述系统时，由物理对象触发显示虚拟对象的用户视野示例性说明。
[0053]图12示出了增强和虚拟现实整合配置的一个实施例，其中处于增强现实体验中的一个用户可视化处于虚拟现实体验中的另一用户的存在。
[0054]图13示出了基于增强现实体验配置的一段时间和/或偶然事件的一个实施例。
[0055]图14示出了适用于虚拟和/或增强现实体验的用户显示配置的一个实施例。
[0056]图15示出了本地的和基于云的计算坐标的一个实施例。
[0057]图16示出了记录(registrat1n)配置的多种方面。
【具体实施方式】
[0058]参考图1，系统100为用于实施下述处理的典型性硬件。该典型性系统包括由通过一个或多个高宽带接口 115连接的一个或多个计算机服务器组成的计算网络105。所述计算网络中的服务器不需要被放置于一起。所述一个或多个服务器110中的每一个都包括用于执行程序指令的一个或多个处理器。所述服务器还包括用于存储所述程序指令和由处理所生成和/或使用的数据的存储器，所述数据被在所述程序指令的指导下的所述服务器所携带。
[0059]所述计算网络105在一个或多个数据网络连接130上在所述服务器110之间和所述服务器与一个或多个用户设备120之间通信数据。这样的数据网络的示例包括，但不限于，任何和所有类型的移动以及有线的公共和私有数据网络，包括例如许多通常被称为因特网的此类网络的互连。所述图表没有暗示特殊的媒介、拓扑或协议。
[0060]用户设备被配置以用于与计算网络105或任意服务器110直接地通信。备选地，用户设备120与所述远程服务器110通信，并且可选地，通过被特定地编程与其他用户本地设备通信，本地网关140用于处理数据和/或用于在网络105和一个或多个用户本地服务器120之间传送数据。
[0061]如图所示，网关140被作为单独的硬件部分实施，其包括用于执行软件指令的处理器和用于存储软件指令和数据的存储器。所述网关具有自己的至数据网络的有线和/或无线连接，用于与包括计算网络105的服务器110通信。备选地，网络140可与由用户穿戴或携带的用户设备120整合。例如，所述网关140可作为安装并运行在处理器上的可下载的应用软件来实施，所述处理器包括在所述用户设备120内。在一个实施例中，所述网关140提供经由所述数据网络130对所述计算网络105的一个或多个用户接入。
[0062]每个服务器110都包括，例如，用以存储数据和软件程序的工作存储器和贮存器、用以执行程序指令的微处理器、用以渲染和生成图形、图像、视频、音频和多媒体文件的图形处理器和其他特殊的处理器。计算网络105还可包括用以存储由所述服务器110访问、使用或创建的数据的设备。
[0063]运行在所述服务器以及可选地在用户设备120和网关140上的软件程序被用于生成数字世界(此处还被称为虚拟世界)，用户使用用户设备120与之交互。数字世界由数据和过程来表示，所述数据和过程描述和/或定义通过用户设备120呈现给用户以用于体验并与之交互的虚拟的、不存在的实体、环境和条件。例如，当在用户察看或体验的场景中的实例化包括对其外观、行为、用户如何被允许与之交互，和其他特征的描述时，一些类型的对象、实体或物品将会显得在物理上存在。被使用以创建虚拟世界的环境(包括虚拟对象)的数据可包括，例如大气数据、地形数据、天气数据、温度数据、位置数据和其他被使用以定义和/或描述虚拟环境的数据。此外，定义管理虚拟世界的操作的多种条件的数据可包括，例如物理定律、时间、空间关系和其他可被用来定义和/或创建多种条件的数据，所述各种条件管理虚拟世界(包括虚拟对象)的运行。
[0064]除非上下文表明相反，否则数字世界的实体、对象、条件、特征、行为或其他特性在本文被统称为对象(例如，数字对象、虚拟对象、被渲染物理对象等等)。对象可为任何类型的动画或非动画对象，包括但不限于，建筑物、植物、车辆、人、动物、生物、机器、数据、视频、文本、图片和其他用户。对象还可在虚拟世界中被定义，用于存储关于实际存在于物理世界的对象、行为或条件的信息。描述或定义所述实体、对象或物品，或存储其当前状态的数据，在本文通常被称为对象数据。该数据由所述服务器110处理，或根据所述实施由网关1