头戴式显示器资源管理的制作方法
【专利说明】
【背景技术】
[0001]诸如头戴式显示设备等增强现实设备可包括生成各种形式的输入数据的多个传感器。这些传感器中的每一个传感器在捕捉并处理输入数据时都消耗功率。这样的传感器可包括例如话筒、图像传感器、深度相机、眼睛跟踪传感器，以及位置传感器。这些传感器的连续操作可消耗大量功率并且可能降低头戴式显示设备的电池寿命。另外，在一些示例中，来自一个或多个传感器的数据可通过网络传送。这样的输入数据的连续传输也可消耗大量功率以及网络资源。
[0002]除了可接受的电池寿命之外，增强现实设备的用户还需要一贯高质量的增强现实体验。尽管关闭或降低递送给一个或多个传感器的功率可以降低功耗和/或网络需求，但这样的功率波动也可能使增强现实设备所提供的增强现实体验降级。
【发明内容】
[0003]为解决以上问题，提供了一种包括头戴式显示设备的资源管理系统和相关方法。在一个示例中，头戴式显示设备被配置成由用户佩戴且起作用地连接到计算设备。头戴式显示设备还包括多个传感器和用于呈现全息对象的显示系统。
[0004]资源管理系统进一步包括由计算设备的处理器执行的资源管理程序。资源管理程序被配置成按默认功率模式来操作多个传感器中的所选传感器以达到所选的传感器保真度水平。资源管理程序还被配置成接收来自传感器中的一个或多个传感器的用户相关信息，其中用户相关信息选自包括以下各项的组:音频信息、用户注视信息、用户位置信息、用户移动信息、用户图像信息，以及用户生理信息。
[0005]资源管理程序进一步被配置成确定是否在用户相关信息中检测到目标信息。在检测到目标信息的情况下，资源管理程序被配置成调整所选传感器以按降低的功率模式来操作，该降低的功率模式比默认功率模式使用更少的功率，从而达到降低的传感器保真度水平。
[0006]提供本
【发明内容】
以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本
【发明内容】
并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。
【附图说明】
[0007]图1是根据本公开的一实施例的资源管理系统的示意图。
[0008]图2示出根据本公开的一实施例的示例头戴式显示设备。
[0009]图3是根据本公开的一实施例的在使用图2的头戴式显示设备以及图1的资源管理系统的物理环境中的两个用户的示意图。
[0010]图4A、4B和4C是根据本公开的一实施例的用于管理头戴式显示设备中的资源的方法的流程图。
[0011]图5是计算系统的一实施例的简化示意图解。
[0012]详细描沐
[0013]图1示出用于管理头戴式显示(HMD)设备中的资源的资源管理系统10的一个实施例的示意图。资源管理系统10包括可被存储在计算设备22的大容量存储18中的资源管理程序14。资源管理程序14可被加载到存储器26中并由计算设备22的处理器30执行以执行下文更为详细地描述的方法和过程中的一个或多个。计算设备22还可包括用于对计算设备的各组件供电的电源32，如电池。
[0014]在一个示例中，资源管理系统10可包括可被存储在计算设备22的大容量存储18中的增强现实显示程序28。增强现实显示程序28可以生成用于显示在显示设备(如第一HMD设备34)上的虚拟环境36。虚拟环境36可包括一个或多个虚拟对象表示，如全息对象。在一些示例中，虚拟环境36可被生成以提供交互式视频游戏形式的增强现实体验、运动图片体验或其他合适的电子游戏或体验。在另一示例中，增强现实显示程序28和/或资源管理程序14可被远程存储且可由计算设备22通过该计算设备起作用地连接到的网络(如网络38)来访问。
[0015]计算设备22可采用以下形式:台式计算机，诸如智能电话、膝上型计算机、笔记本或平板计算机之类的移动计算设备，网络计算机，家庭娱乐计算机，交互式电视，游戏系统，或其他合适类型的计算设备。关于计算设备22的组件和计算方面的附加细节在下文中参考图5所示的计算系统被更详细地描述。
[0016]计算设备22可使用有线连接来与第一 HMD设备34起作用地连接，或可采用通过WiF1、蓝牙或任何其他合适的无线通信协议的无线连接。另外，图1中示出的示例将计算设备22示为与第一 HMD设备34分开的组件。将理解，在其他示例中，计算设备22可被集成到第一 HMD设备34中。
[0017]计算设备22还可经由网络38与一个或多个附加设备起作用地连接。在一个示例中，计算设备22可以经由网络38与第二 HMD设备通信。网络38可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网或其组合的形式，并可包括因特网。
[0018]现在还参考图2，提供了一副具有透明显示器50的可配戴眼镜形式的HMD设备200的示例。将明白，在其他示例中，HMD设备200可以采取其他合适的形式，其中透明、半透明或不透明显示器被支撑在查看者的一只或两只眼睛前方。还将明白，图1中所示的HMD设备34可以采取HMD设备200的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。另外，还可使用具有各种形状因子的许多其他类型和配置的显示设备。例如，还可使用提供增强现实体验的手持式显示设备。
[0019]参考图1和2，在这一示例中，第一 HMD设备34包括显示系统46和使图像能够被递送到用户的眼睛的透明显示器50。透明显示器50可被配置成向透过该透明显示器查看物理环境的用户在视觉上增强该物理环境的外观。例如，物理环境的外观可以由经由透明显示器50呈现的图形内容(例如，一个或多个像素，每一像素具有相应色彩和亮度)来增强。
[0020]透明显示器50还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理现实世界对象。在一个示例中，透明显示器50可包括位于透镜204内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器50可包括在透镜204边缘上的光调制器。在这一示例中，透镜204可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可以使用户能够感觉3D虚拟图像位于用户正在查看的物理环境内，这还允许用户查看物理环境中的物理对象。
[0021 ] 在其他示例中，透明显示器50可以支持在从物理环境接收到的光在到达佩戴HMD设备200的用户的眼睛之前对该光进行选择性过滤。这样的过滤可以在逐像素地或按像素群的基础上来执行。在一个示例中，透明显示器50可包括添加一个或多个被照亮像素形式的光的第一显示层，以及过滤从物理环境接收到的环境光的第二显示层。这些层可具有不同显示分辨率、像素密度，和/或显示能力。
[0022]第二显示层可包括其中可生成阻挡图像的一个或多个不透明层52。一个或多个不透明层52可集成在透明显示器50内。在其他示例中，一个或多个不透明层52可以分开安装或附连到透明显示器50附近，如以单独遮罩的形式。
[0023]第一 HMD设备34还可包括各种系统和传感器。例如，第一 HMD设备34可包括利用至少一个面向内的传感器208 (参见图2)的眼睛跟踪传感器系统54。该面向内的传感器208可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户已同意获取和使用这一信息，眼睛跟踪传感器系统54可以使用这一信息来跟踪用户的眼睛的位置和/或移动。眼睛跟踪传感器系统54随后可以确定用户正在注视何处和/或什么物理对象或虚拟对象。该面向内的传感器208还可包括捕捉可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可被用于例如确定用户的脸与HMD设备34的邻近度。
[0024]第一 HMD设备34还可包括利用至少一个面向外的传感器212 (如光学传感器)的光学传感器系统58。面向外的传感器212可以检测其视野内的移动，如视野内的用户或人或物理对象所执行的基于姿势的输入或其他移动。面向外的传感器212还可从物理环境和该环境内的物理对象捕捉图像信息和深度信息。例如，面向外的传感器212可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。在一些示例中，面向外的传感器212可包括用于观察来自物理环境中的真实世界光照条件的可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可包括例如可检测RGB环境光和/或黑及白环境光的电荷耦合器件图像传感器。
[0025]如上所述，第一 HMD设备34可包括经由一个或多个深度相机的深度感测。每一深度相机可包括例如立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
[0026]在一些实施例中，深度相机可以采取结构化光深度相机的形式，该结构化光深度相机被配置成投影包括多个离散的特征(例如，线或点)的结构化红外照明。深度相机可被配置成对从结构化照明被投影到其之上的场景中反射的结构化照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。
[0027]在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上。该深度相机可被配置成对从场景反射的脉冲照明进行检测。这些深度相机中的两个或更多个可包括与该脉冲照明同步的电子快门。两个或更多个深度相机的积分时间可能不同，使得从源到场景并随后到深度相机的、脉冲照明的像素分辨的飞行时间不能根据在这两个深度相机的对应像素中接收到的光的相对量来辨别出。第一HMD设备34还可包括用于辅助结构化光和/或飞行时间深度分析的红外投影仪。
[0028]在其他示例中，来自所述用户和/或物理环境中的人的基于姿势的输入和其他运动输入也可经由一个或多个深度相机来检测。例如，面向外的传感器212可包括用于创建深度图像的具有已知相对位置的两个或更多个光学传感器。使用来自具有已知相对位置的这些光学传感器的