混合现实显示调节的制作方法
【专利说明】
【背景技术】
[0001]诸如头戴式显示设备那样的增强现实或混合现实设备可以用在各种各样的真实世界环境和情境中。这样的设备提供了通过全息对象和/或其他虚拟现实信息而扩增(augment)的物理环境的视图。这些设备可以接收由已知开发者和未知开发者开发的全息对象以及由已知源和未知源公布或分发的全息对象，以用于显示。
[0002]由混合现实设备显示的全息对象可以改变用户对于物理环境的观察。在一些示例中，一个全息对象还可以与另一个全息对象交互。全息对象还可以按照变化的真实感等级被显示，比如变化的透明度/不透明度、锐度/模糊、现实对想象行为等等。取决于全息对象的真实感等级和大体外观，显示全息对象可以改变用户对物理环境的感知和/或使用户的注意力从物理环境的某些方面转移开。此外，取决于在其中正使用混合现实设备的真实世界环境和/或情境，在一些情况下，这样的改变的感知和/或转移的注意力可减少用户对于物理环境中安全相关问题的警觉性。
【发明内容】
[0003]本文公开了各种实施例，所述实施例涉及显示全息对象以便调节(accommodate)包括物理环境的混合现实环境。在一个示例中，一种方法可以包括:提供头戴式显示设备，所述头戴式显示设备被配置成由用户穿戴并且可操作地连接到计算设备。头戴式显示设备可以包括多个传感器和显示系统。该方法可以包括经由传感器中的一个或多个从物理环境接收物理环境数据。可以从源接收全息对象，其中所述全息对象与内容提供商ID相关联。该方法可以包括基于内容提供商ID向全息对象指派信任等级。
[0004]如果信任等级小于信任等级阈值，则该方法可以包括:对全息对象施加提供保护性显示限制等级的第一组安全规则。该方法然后可以包括:根据第一组安全规则经由显示系统来显示全息对象。如果信任等级大于或等于信任等级阈值，则该方法可以包括:对全息对象施加提供许可性显示限制等级的第二组安全规则，其中所述许可性限制等级小于所述保护性限制等级。该方法然后可以包括:根据第二组安全规则经由显示系统来显示全息对象。
[0005]本概要被提供来以简化的形式介绍概念的选择，这些概念还将在下面的详细说明中进行描述。本概要既不打算标识所要求保护的主题的关键特征或必要特征，也不打算被用来限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决了在本公开内容的任何部分中提到的任何或全部缺点的那些实现。
【附图说明】
[0006]图1是根据本公开内容的实施例的混合现实调节系统的示意图。
[0007]图2示出了根据本公开内容的实施例的示例性头戴式显示设备。
[0008]图3是示例性物理环境的示意图，所述示例性物理环境包括两个用户，他们穿戴有图2的头戴式显示设备并且使用图1的混合现实调节系统。
[0009]图4A、4B和4C是根据本公开内容的实施例的、用于显示全息对象的方法的流程图。
[0010]图5是计算系统的实施例的简化示意说明图。
【具体实施方式】
[0011]图1示出了混合现实调节系统10的一个实施例的示意图。混合现实调节系统10包括混合现实安全程序14，所述混合现实安全程序14可以被存储于计算设备22的海量存储装置18中。混合现实安全程序14可以被加载到存储器26中，并由计算系统22的处理器30执行来完成以下更详细描述的方法和过程中的一个或多个。
[0012]在一个示例中，混合现实调节系统10可以包括混合现实显示程序34，所述混合现实显示程序34可以被存储于计算设备22的海量存储装置18中。混合现实显示程序34可以产生虚拟环境38以用于在诸如头戴式显示(HMD)设备42那样的显示设备上显示，从而创建混合现实环境40。虚拟环境38可以包括一个或多个虚拟对象表示，比如全息对象44。在一些示例中，可以产生虚拟环境38来以交互式视频游戏、运动画面体验、广告、商业或其他合适体验的形式在混合现实环境40中提供混合现实体验。
[0013]在另一示例中，混合现实显示程序34和/或混合现实安全程序14可被远程存储，并且可由计算设备22通过与计算设备可操作地连接的网络(比如网络46)来访问。
[0014]计算设备22可以采取以下形式:台式计算设备、移动计算设备(比如智能电话、膝上型计算机、笔记本计算机或平板计算机)、网络计算机、家庭娱乐计算机、交互式电视、游戏系统或其他合适类型的计算设备。以下参考图5来更详细地描述与计算设备22的组件和计算方面有关的附加细节。
[0015]计算设备22可以使用有线连接与HMD设备42可操作地连接，或者可以采用经由WiF1、蓝牙或任何其他合适无线通信协议的无线连接。此外，图1所例示的示例将计算设备22示为与HMD设备42分离的组件。将意识到，在其他示例中，计算设备22还可以被集成到HMD设备42中。
[0016]计算设备22还可以经由网络46与一个或多个附加设备可操作地连接。网络46可以采取局域网(LAN)、广域网(WAN)、有线网络、无线网络、个人区域网或其组合的形式，并且可以包括互联网。
[0017]现在还参考图2，提供了 HMD设备200的一个示例，HMD设备200采取具有透明显示器50的一副可穿戴眼镜的形式。将意识到，在其他示例中，HMD设备200可以采取在观看者的一只或者两只眼前支持透明、半透明或不透明显示的其他合适形式。还将意识到，图1所示的HMD设备42可以采取如以下更详细地描述的HMD设备200的形式，或者采取任何其他合适的HMD设备的形式。此外，在本公开内容的范围内，还可以使用具有各种形状因子的许多其他类型和配置的显示设备。
[0018]参考图1和图2，在该示例中，HMD设备42包括显示系统48以及使图像能够被传递到用户眼睛的透明显示器50。透明显示器50可以被配置成:对于通过透明显示器观看物理环境的用户在视觉上扩增物理环境52的景象。例如，可以通过经由透明显示器50呈现的图形内容(例如，各自具有相应的颜色和亮度的一个或多个像素)来扩增物理环境的景象，以创建混合现实环境40。
[0019]透明显示器50还可以被配置成使得用户能够通过正在显示虚拟对象表示的一个或多个部分地透明的像素来观看物理环境52中的物理的真实世界对象。在一个示例中，透明显示器50可以包括位于透镜204 (例如像透明有机发光二极管(OLED)显示器)内的图像生成元件。作为另一示例，透明显示器50可以包括在透镜204边缘上的光调制器。在这个示例中，透镜204可以充当用于从光调制器向用户眼睛传递光的光导。这样的光导可以使用户能够感知位于用户正在观看的物理环境中的3D虚拟图像，同时还允许用户观看物理环境中的物理对象。
[0020]在其他示例中，透明显示器50可以支持在从物理环境接收的光到达穿戴HMD设备200的用户的眼睛之前对所述光进行选择性过滤。可以逐个像素地或者按照像素组来执行这种过滤。在一个示例中，透明显示器50可以包括以一个或多个被照亮的像素的形式来增加光的第一显示层、以及对于从物理环境接收到的环境光进行过滤的第二显示层。这些层可以具有不同的显示分辨率、像素密度和/或显示能力。
[0021]在一些示例中，第二显示层可以包括一个或多个不透明层，在其中可以生成阻挡图像。一个或多个不透明层可以整体地形成在透明显示器50内。在其他示例中，一个或多个不透明层可以例如以单独的挡板的形式被单独安装或附着到透明显示器50附近。
[0022]HMD设备42还可以包括各种系统和传感器。例如，HMD设备42可以包括利用至少一个面向内的传感器212 (参见图2)的眼睛跟踪传感器系统54。面向内的传感器212可以是被配置成从用户的眼睛获取眼睛跟踪信息形式的图像数据的图像传感器。假定用户同意获取和使用此信息，则眼睛跟踪传感器系统54可以使用此信息来跟踪用户眼睛的瞳孔反应、位置和/或移动。眼睛跟踪传感器系统54然后可以确定用户正在盯着哪里和/或用户正在盯着什么物理对象或虚拟对象。
[0023]HMD设备42还可以包括利用至少一个面向外的传感器216 (比如光学传感器)的光学传感器系统58。面向外的传感器216可以检测其视场内的移动，比如由用户或者由视场内的人或物理对象执行的基于姿势的输入或其他移动。面向外的传感器216还可以从物理环境以及环境中的物理对象捕获图像信息和深度信息。例如，面向外的传感器216可以包括深度摄像机、可见光摄像机、红外光摄像机和/或位置跟踪摄像机。在一些示例中，面向外的传感器216可以包括用于从物理环境中的真实世界照明情况观测可见光谱和/或红外光的一个或多个光学传感器。这样的传感器可以包括例如电荷耦合器件图像传感器。
[0024]如上所述，HMD设备42可以包括经由一个或多个深度摄像机进行的深度感测。例如，每个深度摄像机可以包括立体视觉系统的左摄像机和右摄像机。来自这些深度摄像机中的一个或多个深度摄像机的时间分辨(time-resolved)图像可以被彼此配准，和/或配准到来自另一光学传感器(比如可见光谱摄像机)的图像，并且可以被组合以产生深度分辨(depth-resolved)视频。
[0025]在一些示例中，深度摄像机可以采取结构光深度摄像机的形式，所述结构光深度摄像机被配置成投影包括多个离散特征(例如，线或点)的结构化红外照明。深度摄像机可以被配置成:对于从结构化照明被投影到的场景反射的结构化照明进行成像。可以基于被成像场景的各个区域中的相邻特征之间的间隔来构造场景的深度图。
[0026]在其他示例中，深度摄像机可以采取飞行时间(time-of-flight)深度摄像机的形式，所述飞行时间深度摄像机被配置成将脉冲式红外照明投影到场景上。这种深度摄像机可以被配置来检测从场景反射的脉冲式照明。这些深度摄像机中的两个或更多个可以包括与脉冲式照明同步的电子快门。对于两个或更多个深度摄像机的积分时间可以不同，以使得从源到场景然后到深度摄像机的脉冲式照明的像素分辨(pixel-resolved)飞行时间是根据在两个深度摄像机的对应像素中接收到的相对光量而可辨别的。HMD设备42还可以包括红外投影仪，以帮助结构光和/或飞行时间深度分析。
[0027]在其他示例中，还可以经由一个或多个深度摄像机来检测来自物理环境中的用户和/或人的基于姿势的输入和其他运动输入。例如，面向外的传感器216可以包括具有已知相对位置的两个或更多个光学传感器，以用于创建深度图。通过使用来自这些具有已知相对位置的光学传感器的运动结果，可以生成