具有像素阵列的透视显示器中的重影图像减轻的制作方法

具有像素阵列的透视显示器中的重影图像减轻
1.相关申请的交叉引用
2.本技术要求于2019年8月15日提交的名称为“ghost image mitigation in see-through displays with pixel arrays(具有像素阵列的透视显示器中的重影图像减轻)”的临时申请no.62/887，639的优先权益，其全部内容通过引用并入本文。


背景技术：

3.现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展，其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“vr”)场景通常涉及数字或虚拟图像信息的呈现，而对于其他实际的真实世界的视觉输入不透明；增强现实(或者“ar”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。
4.尽管在这些显示技术上取得了进步，但是在本领域中需要与增强现实系统，特别是显示系统，有关的改善的方法、系统和装置。


技术实现要素：

5.使用偏振tft-lcd面板的分段衰减可以极大地提高内容的可见性和稳固性，而不会使整个世界视场调暗(dimming)。衍射波导式透视ar显示器的显示光在两个方向上发送光：一个朝向用户，一个朝向世界。朝向世界的光的背反射(例如，离开例如金属迹线、导体、层折射率不匹配和tft的调暗组件中的反射部件)可能会在主显示图像旁边显示为“重影”图像。这种重影会影响虚拟内容的有效对比度和观看保真度，并因此影响沉浸式质量。减轻(mitigate)由于金属迹线、tft、层折射率不匹配、调光器之外的元件/对象等引起的重影和杂散光路径是一个难题。
6.本文公开的系统和技术利用调光器的偏振膜作为系统光学隔离器和调光器内光学隔离器来有效地抑制这种“重影”图像。在目镜盖玻璃和调光器之间添加折射率匹配的流体/凝胶(其中折射率接近调光器的第一层)可以减轻来自第一调光器表面的重影现象。
7.使用具有特别地选择的消色差特性的四分之一波片(qwp)可以允许液晶调光器(例如使用电控双折射(ecb)基元(cell)的液晶调光器)具有更少的偏振泄漏、更好的色度性能并且在相对广的范围的操作条件内是更加颜色中性的。
8.本公开一般地涉及用于在变化的环境光条件下改善光学系统的技术。更具体地，本公开的实施例提供了用于操作包括调暗元件的增强现实(ar)装置的系统和方法。尽管参考ar装置描述了本发明，但是本公开适用于计算机视觉和图像显示系统中的各种应用。
9.一般地，在第一方面，本发明的特征在于头戴式设备，其包括：目镜，其包括可变调暗组件；以及框架，其用于安装所述目镜，以使得在所述头戴式设备的使用期间，所述目镜的用户侧面向所述头戴式设备的用户，并且所述目镜的与所述第一侧相对的世界侧背离所述用户。所述动态调暗组件被配置为在所述头戴式设备的操作期间选择性地对与光轴平行地从所述目镜的所述世界侧传输到所述目镜的所述用户侧的光的强度进行调制。所述动态
调暗组件包括：可变双折射基元，其具有多个像素，每个像素具有独立可变的双折射；第一线性偏振器，其被布置在所述可变双折射基元的所述用户侧，所述第一线性偏振器被配置为传输与所述光轴平行传播的光，所述光沿着与所述光轴正交的所述第一线性偏振器的穿过轴被线性偏振；四分之一波片，其被布置在所述可变双折射基元与所述第一线性偏振器之间，所述四分之一波片的快轴相对于所述第一线性偏振器的所述穿过轴来布置，以将被所述第一线性偏振器传输的线性偏振光转换成圆偏振光；以及第二线性偏振器，其位于所述可变双折射基元的所述世界侧。
10.头戴式设备的实施方式可以包括以下特征和/或其他方面的特征中的一个或多个。例如，所述动态调暗组件还包括：光学延迟器，其被布置在所述可变双折射基元与所述第二线性偏振器之间。所述光学延迟器可以是第二四分之一波片。所述光学延迟器是具有比所述四分之一波片的延迟大的延迟的a板。所述光学延迟器的延迟与所述四分之一波片的延迟之间的差可以对应于所述可变双折射基元在最小双折射状态下的残余延迟。
11.所述可变双折射基元可以包括液晶的层。所述液晶可以以电控双折射模式来配置。在一些实施例中，所述液晶的所述层是垂直配向的液晶层。所述液晶可以是向列相液晶。
12.所述可变双折射基元的所述像素可以是有源寻址像素。
13.所述目镜可以还包括：透视显示器，其被安装在所述可变调暗组件的所述用户侧的所述框架中。所述透视显示器可以包括：一个或多个波导层，其被布置成在所述头戴式设备的操作期间接收来自光投射器的光，并且将所述光导向所述用户。所述头戴式设备可以包括：一个或多个折射率匹配层，其被布置在所述透视显示器与所述可变调暗组件之间。
14.在一些实施例中，所述动态调暗组件包括一个或多个抗反射层。
15.在另一方面，本发明的特征在于一种包括头戴式设备的增强现实系统。
16.一般地，在另一方面，本发明的特征在于头戴式设备，其包括：目镜，其具有可变调暗组件；以及框架，其用于安装所述目镜，以使得在所述头戴式设备的使用期间，所述目镜的用户侧面向所述头戴式设备的用户，并且所述目镜的与所述第一侧相对的世界侧背离所述用户。所述动态调暗组件被配置为在所述头戴式设备的操作期间选择性地对与光轴平行地从所述目镜的所述世界侧传输到所述目镜的所述用户侧的光的强度进行调制。所述动态调暗组件包括：液晶的层；圆偏振器，其被布置在所述液晶层的所述用户侧；以及线性偏振器，其位于所述液晶层的所述世界侧。
17.头戴式设备的实施例可以包括以下特征和/或其他方面的特征中的一个或多个。例如，所述圆偏振器可以包括线性偏振器和四分之一波片。所述头戴式设备可以包括：a板，其被布置在位于所述液晶层的所述世界侧的所述线性偏振器之间。
18.所述头戴式设备可以包括：像素化基元，其包括所述液晶的所述层，所述像素化基元是有源寻址像素化基元。
19.一般地，在另一方面，本发明的特征在于一种操作光学系统的方法。所述方法可以包括：在所述光学系统处接收与世界对象相关联的光。所述方法可以还包括：将虚拟图像投射到目镜上。所述方法可以进一步包括：基于检测到的信息来确定所述光学系统的系统视场中要被至少部分地调暗的部分。所述方法可以进一步包括：调整调光器以减小所述系统视场的所述部分中与所述世界对象相关联的光的强度。
20.在一些实施例中，光学系统包括光传感器，光传感器被配置为检测对应于与世界对象相关联的光的光信息。在一些实施例中，所检测到的信息包括光信息。在一些实施例中，光信息包括多个空间分辨的光值。在一些实施例中，光信息包括全局光值。在一些实施例中，光学系统包括眼睛跟踪器，眼睛跟踪器被配置为检测与光学系统的用户的眼睛对应的凝视信息。在一些实施例中，所检测到的信息包括凝视信息。在一些实施例中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。在一些实施例中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。在一些实施例中，该方法进一步包括：检测与虚拟图像对应的图像信息。在一些实施例中，检测到的信息包括图像信息。在一些实施例中，图像信息包括多个空间分辨的图像亮度值。在一些实施例中，图像信息包括全局图像亮度值。
21.在一些实施例中，该方法还包括：基于所检测到的信息来确定用于系统视场的部分的多个空间分辨的调暗值。在一些实施例中，根据多个调暗值来调整调光器。在一些实施例中，调光器包括多个像素。在一些实施例中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。在一些实施例中，该方法还包括：调整与虚拟图像相关联的亮度。在一些实施例中，虚拟图像的特征在于图像视场。在一些实施例中，图像视场等于系统视场。在一些实施例中，图像视场是系统视场的子集。
22.一般地，在另一方面，本发明的特征在于一种光学系统。该光学系统可以包括：投射器，其被配置为将虚拟图像投射到目镜上。该光学系统可以还包括：调光器，其被配置为将与世界对象相关联的光调暗。该光学系统可以进一步包括：处理器，其与投射器和调光器通信地耦接。在一些实施例中，处理器被配置为执行操作，该操作包括：基于检测到的信息来确定光学系统的系统视场中要被至少部分地调暗的部分。在一些实施例中，操作可以还包括：调整调光器以减小在系统视场的部分中与世界对象相关联的光的强度。
23.在一些实施例中，光学系统进一步包括光传感器，光传感器被配置为检测对应于与世界对象相关联的光的光信息。在一些实施例中，所检测到的信息包括光信息。在一些实施例中，光信息包括多个空间分辨的光值。在一些实施例中，光信息包括全局光值。在一些实施例中，光学系统进一步包括眼睛跟踪器，眼睛跟踪器被配置为检测与光学系统的用户的眼睛对应的凝视信息。在一些实施例中，所检测到的信息包括凝视信息。在一些实施例中，凝视信息包括与用户眼睛的凝视矢量相交的像素位置。在一些实施例中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。在一些实施例中，操作进一步包括：检测与虚拟图像对应的图像信息。在一些实施例中，检测到的信息包括图像信息。在一些实施例中，图像信息包括多个空间分辨的图像亮度值。在一些实施例中，图像信息包括全局图像亮度值。
24.在一些实施例中，操作进一步包括：基于所检测到的信息来确定用于系统视场的部分的多个空间分辨的调暗值。在一些实施例中，根据多个调暗值来调整调光器。在一些实施例中，调光器包括多个像素。在一些实施例中，调光器被调整为在所有系统视场中完全阻挡与世界对象相关联的光的强度。在一些实施例中，操作进一步包括：调整与虚拟图像相关联的亮度。在一些实施例中，虚拟图像的特征在于图像视场。在一些实施例中，图像视场等于系统视场。在一些实施例中，图像视场是系统视场的子集。
25.通过本公开借助于常规技术能够实现许多益处。例如，本文中所描述ar装置可通过全局调暗及/或选择性地调暗到达用户眼睛的环境光，来以变化的光水平(从暗的室内到明亮的室外)使用。本发明的实施例通过使用像素化的调光器(dimmer)以使世界光衰减大于99％来允许单个装置中的ar和虚拟现实(vr)能力。本发明的实施例还使用具有离散或连续的可变深度平面切换技术的可变聚焦元件来减轻聚散(vergence)适应(accommodation)冲突。本发明的实施例通过基于检测到的环境光量优化投射器亮度来改善ar装置的电池寿命。其他益处对于本领域技术人员将是显而易见的。
附图说明
26.图1示出了根据本文描述的一些实施例的通过可穿戴ar装置观看的增强现实(ar)场景。
27.图2a示出了根据本发明的ar装置的一个或多个一般特征。
28.图2b示出了ar装置的示例，其中，基于检测到的光信息来确定被调暗的区域。
29.图2c示出了ar装置的示例，其中，基于虚拟图像来确定被调暗的区域。
30.图2d示出了ar装置的示例，其中，基于凝视信息来确定被调暗的区域。
31.图3示出了根据本发明的可穿戴ar装置的示意图。
32.图4示出了用于操作光学系统的方法。
33.图5示出了具有目镜和像素化的调暗元件的ar装置。
34.图6a是根据本公开的一些实施例的用于透视显示系统的示例光学透射空间光调制器(“slm”)或显示组件的正视图。
35.图6b是图6a的示例slm或显示组件的示意性侧视图。
36.图7a示出了处于第一状态的透视显示系统的示例。
37.图7b示出了处于不同于第一状态的第二状态的图7a的透视显示系统的示例。
38.图8a示出了处于第一状态的另一透视显示系统的示例。
39.图8b示出了处于不同于第一状态的第二状态的图8a的透视显示系统的示例。
40.图9示出了根据本公开的一些实施例的透视显示系统的示例。
41.图10示出了根据本公开的其他实施例的透视显示系统的示例。
42.图11示出了根据本公开的又一些实施例的透视显示系统的示例。
43.图12是与透视显示系统一起使用的示例计算机系统的图。
具体实施方式
44.光学透视(ost)增强现实(ar)装置的正在进行的技术挑战是在变化的环境光条件下虚拟内容的不透明度和/或可见度的变化。该问题在诸如完全暗的房间或在全亮阳光的室外的极端照明条件下恶化。本文公开的实施例通过调暗ar装置的视场内的不同空间位置处的世界光来减少(例如，解决)这些和其他问题。在这样的可变调暗布置中，ar装置能够基于ar装置检测到的各种信息来确定视场的要调暗的部分和对每个部分应用的调暗量。该信息可以包括检测到的环境光、检测到的凝视信息和/或检测到的被投射的虚拟内容的亮度。例如能够通过检测空间分辨的光强度值来通过检测与环境光相关联的方向，来进一步改善ar装置的功能性。这能够通过仅调暗视场的这些部分来改善ar装置的电池寿命，其中需要
调暗和/或增加视场的某些部分中的投射器亮度。因此，本文公开的实施例能够使得ar装置能够以比传统上可能的更宽的各种环境光照条件来使用。
45.图1示出了根据本文描述的一些实施例的通过可穿戴ar装置观看到的ar场景。描绘了ar场景100，其中ar技术的用户看到以人、树木、背景中的建筑物和混凝土平台120为特征的真实世界公园状设置106。除了这些项目之外，ar技术的用户同样感知到他“看到”站在真实世界混凝土平台120上的机器人雕像110、以及飞过的卡通式化身角色102，该化身角色看起来是大黄蜂的化身，即使这些元素(角色102和雕像110)在真实世界中不存在。由于人类的视觉感知和神经系统是极其复杂的，产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现的虚拟现实(vr)或ar技术是具有挑战性的。
46.图2a示出了根据本发明的示例ar装置200的一个或多个一般特征。ar装置200包括目镜202和动态调光器203，该目镜202和动态调光器203被配置为当ar装置200处于非活动模式或关闭模式时是透明的或半透明的，使得用户可以在通过目镜202和动态调光器203观看时看到一个或多个世界对象230。如所示出的，目镜202和动态调光器203以并排配置来布置，并且形成用户在观看目镜202和动态调光器203时看到的系统视场。在一些实施例中，系统视场被定义为由目镜202和动态调光器203中的一个或两个占据的整个二维区域。尽管图2a示出了单个目镜202和单个动态调光器203(出于示例的原因)，但是一般地，ar装置200包括两个目镜和两个动态调光器，一个用于用户的每只眼睛。
47.在操作期间，可以调整动态调光器203以改变被投射给目镜202和用户的来自世界对象230的世界光232的强度，从而在系统视场内产生被调暗的区域236，其投射比动态调光器203的其他区域更少的世界光。被调暗的区域236可以是系统视场的一部分或子集，并且可以部分地或完全地被调暗。被部分地调暗的区域将透射一小部分入射世界光，而被完全调暗的区域将基本上阻挡所有入射世界光。可以根据用于被调暗的区域236的多个空间分辨的调暗值来调整动态调光器203。
48.此外，在ar装置200的操作期间，投射器214可将虚拟图像222投射到目镜202上，该虚拟图像222和世界光232一起被用户观察到。将虚拟图像222投射到目镜202上使光场223(即，虚拟内容的角度表示)投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为位于用户环境内的某个位置处。应该注意的是，出于说明目的，虚拟内容(角色102和雕像110)在图2a-2d中被描绘为被显示在目镜202处。虚拟内容实际上可以被用户感知为处于目镜202之外的各种深度处。例如，用户可以将雕像110感知为位于与世界对象230(即，平台120)大致相同的距离处，并将角色102感知为更靠近用户。在一些实施例中，动态调光器203可以被定位成比目镜202更靠近用户并且可以相应地降低与虚拟图像222(即，光场223)相关联的光的强度。在一些实施例中，可以使用两个动态调光器，在目镜202的每一侧具有一个动态调光器。
49.如所描绘的，ar装置200包括被配置为检测世界光232的环境光传感器234。环境光传感器234可经定位以使得由环境光传感器234检测到的世界光232类似于和/或表示入射在动态调光器203和/或目镜202上的世界光232。在一些实施例中，环境光传感器234可被配置为检测与动态调光器203的不同像素对应的多个空间分辨的光值。在一些实施例中，或在相同实施例中，环境光传感器234可被配置为检测与世界光232的平均光强度或单个光强度对应的全局光值。构想了其他可能性。
50.图2b示出了处于一种状态下的ar装置200，在该状态下，基于检测到的与世界光232对应的光信息来确定被调暗的区域236。具体地，在该示例中，环境光传感器234检测来自太阳233的世界光232，并且可以进一步检测在系统视场中与太阳相关联的世界光232穿过ar装置200的方向和/或部分。作为响应，调整动态调光器203以将被调暗的区域236设置为覆盖系统视场中与检测到的世界光对应的部分，从而降低从太阳233到目镜202和用户的世界光的强度。如图所示，动态调光器203被调整，以便以比被调暗的区域236的末端更大的量来降低在被调暗的区域236的中心处的世界光232的透射强度。
51.图2c示出了处于一种状态下的ar装置200，在该状态下，基于视场中的虚拟图像222的位置来确定被调暗的区域236。具体地，基于由用户观察到虚拟图像222而导致的由用户感知到的虚拟内容来确定被调暗的区域236。在一些实施例中，ar装置200可检测包括虚拟图像222的位置(例如，用户感知到虚拟内容的动态调光器203的对应位置和/或系统视场内的位置)和/或虚拟图像222的亮度(例如，所感知到的虚拟内容的亮度)、以及其他可能性的图像信息。如图所示，动态调光器203可经调整以将被调暗的区域236设置为覆盖系统视场中与虚拟图像222对应的部分，或替代地，在一些实施例中，被调暗的区域236可覆盖系统视场中未与虚拟图像222对准的部分。在一些实施例中，被调暗的区域236的调暗值可基于由环境光传感器234检测到的世界光232和/或虚拟图像222的亮度来确定。
52.图2d示出了处于一种状态下ar装置200，在该状态下，基于与用户的眼睛对应的凝视信息来确定被调暗的区域236。在一些实施例中，凝视信息包括用户的凝视矢量238和/或动态调光器203中的与凝视矢量238相交处的像素位置。如图所示，动态调光器203可经调整以将被调暗的区域236设置为覆盖系统视场中与凝视矢量238和动态调光器203之间的交点(或交叉区域)对应的部分，或者替代地，在一些实施例中，被调暗的区域236可以覆盖系统视场中未与凝视矢量238和动态调光器203之间的交点(或交叉区域)对应的部分。在一些实施例中，可基于由环境光传感器234检测到的世界光232和/或虚拟图像222的亮度来确定被调暗的区域236的调暗值。在一些实施例中，可由安装到ar装置200的眼睛跟踪器240来检测凝视信息。
53.图3示出了另外的示例性可穿戴ar装置300的示意图。ar装置300包括以并排配置布置的左目镜302a和左动态调光器303a，以及也以并排配置布置的右目镜302b和右动态调光器303b。如所描绘的，ar装置300包括一个或多个传感器，其包括但不限于：左面向前世界相机306a，其直接附接到左目镜302a或靠近左目镜302a；右面向前世界相机306b，其直接附接到右目镜302b或靠近右目镜302b；左面向侧的世界相机306c，其直接附接到左目镜302a或靠近左目镜302a；右面向侧的世界相机306d，其直接附接到右目镜302b或靠近右目镜302b；左眼睛跟踪器340a，其被定位为观察用户的左眼；右眼睛跟踪器340b，其被定位为观察用户的右眼；以及环境光传感器334。ar装置300还包括一个或多个图像投射装置，诸如光学链接到左目镜302a的左投射器314a和光学链接到右目镜302b的右投射器314b。
54.ar装置300的一些或所有组件可以被头戴，使得投射图像可以被用户观看到。在一些实施方式中，图3中所示的ar装置300的全部组件都被安装到用户可穿戴的单个装置(例如，单个头戴耳机)上。在某些实施方式中，处理模块350通过一个或多个有线和/或无线连接与ar装置300的其他组件物理上分离并且被通信耦接到ar装置300的其他组件。例如，处理模块350可以以各种配置安装，诸如固定地附接到框架、固定地附接到用户佩戴的头盔或
帽子、嵌入耳机中或以其他方式可移除地附接到用户(例如，以背包式配置、以皮带耦接式配置等)。
55.处理模块350可以包括处理器352以及相关联的数字存储器356，诸如非易失性存储器(例如，闪存)，两者均可以用于辅助数据的处理、缓存和存储。数据可以包括从传感器(例如，其可以被可操作地耦接到ar装置300、或以其他方式附接到用户)捕获的数据，该传感器诸如相机306、环境光传感器334、眼睛跟踪器340、麦克风、惯性测量单元、加速度计、指南针、gps单元、无线电装置和/或陀螺仪。例如，处理模块350可以从相机306接收图像320。具体地，处理模块350可以从左面向前世界相机306a接收左前方图像320a，从右面向前世界相机306b接收右前方图像320b，从左面向侧世界相机306c接收左侧图像320c，以及从右面向侧世界相机306d接收右侧图像320d。在一些实施例中，图像320可以包括单个图像、一对图像、包括图像流的视频、包括成对图像流的视频等。图像320可以在ar装置300通电时被周期性地生成并发送到处理模块350，或者可以响应于由处理模块350发送给一个或多个相机的指令而生成。作为另一示例，处理模块350可以从环境光传感器334接收光信息。作为另一示例，处理模块350可以从眼睛跟踪器340中的一个或两个眼睛跟踪器接收凝视信息。作为另一示例，处理模块350可以从投射器314中的一个或两个投射器接收图像信息(例如，图像亮度值)。
56.目镜302a和302b可以包括被配置为分别引导来自投射器314a和314b的光的透明或半透明的波导。具体地，处理模块350可以使左投射器314a将左虚拟图像322a输出到左目镜302a上(从而导致与左虚拟图像322a相关联的对应光场将被投射到用户的视网膜上)，并且可以使右投射器314b将右虚拟图像322b输出到右目镜302b上(从而导致与右虚拟图像322b相关联的对应光场将被投射到用户的视网膜上)。在一些实施例中，目镜302中的每一个目镜包括与不同颜色和/或不同深度平面对应的多个波导。在一些实施例中，动态调光器303可被耦接到目镜302和/或与目镜302集成。例如，动态调光器303中的一个动态调光器可被合并到多层目镜中并且可形成构成目镜302中的一个目镜的一个或多个层。
57.相机306a和306b可被定位成捕获分别与用户的左眼和右眼的视场基本上重叠的图像。因此，相机306的放置可在用户的眼睛附近，但不能如此近以至于遮挡用户的视场。可替代地或另外地，相机306a和306b可以被定位成分别与虚拟图像322a和322b的耦入位置对准。相机306c和306d可以被定位成例如在用户的外围视觉中或在用户的外围视觉之外将图像捕获到用户的侧面。使用相机306c和306d捕获的图像320c和320d不一定需要与使用相机306a和306b捕获的图像320a和320b重叠。
58.ar装置300的一个或多个组件可类似于参考图2a-2d所描述的一个或多个组件。例如，在一些实施例中，目镜302、动态调光器303、投射器314、环境光传感器334及眼睛跟踪器340的功能性可分别类似于目镜202、动态调光器203、投射器214、环境光传感器234及眼睛跟踪器240。在一些实施例中，处理模块350的功能可以由单独地容纳但通信地耦接的两组或更多组电子硬件组件来实现。例如，处理模块350的功能可以由被容纳在耳机内的电子硬件组件结合被容纳在物理地系留(tether)到耳机的计算装置内的电子硬件组件、耳机环境内的一个或多个电子装置(例如，智能电话、计算机、外围装置、智能电器等)、一个或多个远程定位的计算装置(例如，服务器、云计算装置等)或其组合来执行。下文参考图12进一步详细描述此配置的一个示例。
59.图4示出了用于操作光学系统(例如，ar装置200或300)的示例方法400。一般地，光学系统的操作包括如图4所示或以不同的顺序执行方法400的步骤，并且不需要执行所有步骤。例如，在一些实施例中，步骤406、408和410中的一个或多个可以在方法400的执行期间被省略，方法400的一个或多个步骤可以由处理器(例如，处理器352)或者由光学系统内的一些其他组件来执行。
60.在步骤402处，在光学系统处接收与对象(例如，世界对象230)相关联的光(例如，世界光232)。对象可以是由光学系统的用户观看到的真实世界对象，诸如树、人、房屋、建筑物、太阳等。在一些实施例中，与对象相关联的光首先由动态调光器(例如，动态调光器203或303)或由光学系统的外部装饰(cosmetic)透镜接收。在一些实施例中，当光到达光学系统的一个或多个组件(例如，当光到达动态调光器时)，与对象相关联的光被认为在光学系统处被接收。
61.在步骤404处，将虚拟图像(例如，虚拟图像222或322)投射到目镜(例如，目镜202或302)上。虚拟图像可以通过光学系统的投射器(例如，投射器214或314)投射到目镜上。虚拟图像可以是单个图像、一对图像、包括图像流的视频、包括成对的图像流的视频等。在一些实施例中，当与虚拟图像相关联的任何光到达目镜时，虚拟图像被认为被投射到目镜上。在一些实施例中，将虚拟图像投射到目镜上使得光场(即，虚拟内容的角度表示)被投射到用户的视网膜上，以使得用户将对应的虚拟内容感知为定位在用户的环境内的某个位置处。
62.在步骤406、408和410期间，可以由光学系统使用例如光学系统的一个或多个传感器来检测信息。在步骤406处，检测对应于与对象相关联的光的光信息。可以使用安装到光学系统的光传感器(例如，环境光传感器234或334)来检测光信息。在一些实施例中，光信息包括多个空间分辨的光值。多个空间分辨的光值中的每一个空间分辨的光值可对应于系统视场内的二维位置。例如，每个光值可以与动态调光器的像素相关联。在其他实施例中，或者在相同的实施例中，光信息可以包括全局光值。全局光值可以与整个系统视场(例如，入射在动态调光器的所有像素上的光的平均光值)相关联。
63.在步骤408处，检测与光学系统的用户的眼睛对应的凝视信息。可使用安装到光学系统的眼睛跟踪器(例如，眼睛跟踪器240或340)来检测凝视信息。在一些实施例中，凝视信息包括用户眼睛的凝视矢量(例如，凝视矢量238)。在一些实施例中，凝视信息包括用户眼睛的瞳孔位置、用户眼睛的旋转中心、用户眼睛的瞳孔尺寸、用户眼睛的瞳孔直径、以及用户眼睛的视锥和视杆位置中的一个或多个。凝视矢量可以基于凝视信息的一个或多个分量来确定，诸如瞳孔位置、眼睛的旋转中心、瞳孔尺寸、瞳孔直径和/或视锥和视杆位置。当基于视锥和视杆位置来确定凝视矢量时，还可以基于光信息(例如，全局光值)来确定凝视矢量，以便确定包含视锥和视杆位置的凝视矢量在眼睛的视网膜层内的原点。在一些实施例中，凝视信息包括动态调光器的像素或像素集合，在该像素或像素集合处，凝视矢量与动态调光器相交。
64.在步骤410处，检测与由投射器投射到目镜上的虚拟图像(例如，虚拟图像222或322)对应的图像信息。图像信息可由投射器、由处理器(例如，处理器352)或由单独的光传感器检测。在一些实施例中，图像信息包括动态调光器内的一个或多个位置，其中在用户观察虚拟图像时，用户通过动态调光器感知虚拟内容。在一些实施例中，图像信息包括多个空
间分辨的图像亮度值(例如，感知到的虚拟内容的亮度)。例如，图像亮度值中的每一个图像亮度值可与目镜或动态调光器的像素相关联。在一个特定实施方式中，当处理器将指令发送到投射器以将虚拟图像投射到目镜上时，处理器可基于指令来确定空间分辨的图像亮度值。在另一特定实施方式中，当投射器从处理器接收到指令以将虚拟图像投射到目镜上时，投射器将空间分辨的图像亮度值发送到处理器。在另一特定实施方式中，定位在目镜上或附近的光传感器检测空间分辨的图像亮度值并其将发送到处理器。在其他实施例中，或者在相同的实施例中，图像信息包括全局图像亮度值。全局图像亮度值可以与整个系统视场(例如，整个虚拟图像的平均图像亮度值)相关联。
65.在步骤412处，基于所检测到的信息来确定系统视场中要被至少部分地调暗的部分。所检测到的信息可以包括在步骤406期间检测到的光信息、在步骤408期间检测到的凝视信息、和/或在步骤410期间检测到的图像信息。在一些实施例中，系统视场的该部分等于整个系统视场。在各种实施例中，系统视场的该部分可等于系统视场的1％、5％、10％、25％、50％或75％等。在一些实施例中，不同类型的信息可以在确定要被至少部分地调暗的部分时被不同地加权。例如，凝视信息在可用时可以在确定要被至少部分地调暗的部分时比光信息和图像信息被更大地加权。在一个特定实施方式中，每个类型的信息可独立地用于确定系统视场中要被至少部分地调暗的不同部分，并且随后可使用and或or操作将该不同的部分组合成单个部分。
66.在步骤414处，基于检测到的信息来确定用于系统视场的该部分的多个空间分辨的调暗值。在一些实施例中，使用基于虚拟内容的期望不透明度或可见度的公式方法来确定调暗值。在一个特定实施方式中，可使用以下等式来计算虚拟内容的可见度：
[0067][0068]
其中v是可见度，i
max
是如由图像信息指示的虚拟图像的亮度，i
back
与如由光信息指示的与世界对象相关联的光值(其可以由所确定的调暗值来修改)相关，以及c是期望的对比度(例如，100:1)。例如，可在调光器的每个像素位置处使用可见度等式，以使用特定像素位置处的虚拟图像的亮度和与特定像素位置处的世界对象相关联的光值来计算特定像素位置的调暗值。
[0069]
在步骤416处，调整调光器以减小系统视场的部分中与对象相关联的光的强度。例如，调光器可以被调整，以使得根据针对该特定像素位置确定的调暗值来减小入射在调光器的每个像素位置上的与对象相关联的光的强度。如本公开中所使用的，调整调光器可以包括初始化调光器、激活调光器、对调光器上电、修改或改变先前初始化的、激活的和/或上电的调光器等。在一些实施例中，处理器可以向调光器发送指示系统视场的部分和多个空间分辨的调暗值两者的数据。
[0070]
在步骤418处，调整投射器以调整与虚拟图像相关联的亮度。例如，在一些实施例中，难以实现虚拟内容的期望的不透明度或可见度，而不增加或降低虚拟对象的亮度。在这样的实施例中，可以在调整调光器之前、之后、同步或同时地调整虚拟图像的亮度。
[0071]
图5示出了具有目镜502和像素化的调暗元件503的ar装置500，该像素化的调暗元
件503由可具有彼此独立的(即，独立可变的)各种调暗水平的调暗区域(即，像素)的空间网格构成。每个调暗区域可具有相关联的尺寸(例如，宽度和高度)和相关联的间隔(例如，节距)。如图所示，调暗区域的空间网格可以包括提供入射光的完全调暗的一个或多个暗像素506和提供入射光的完全透射的一个或多个清晰(clear)像素508。像素化的调暗元件503内的相邻像素可以是邻接的(例如，当节距等于宽度时)或者可以由间隙或通道分开(例如，当节距大于宽度时)。
[0072]
在各种实施例中，像素化的调暗元件503使用液晶技术。这种技术通常包括相对于一个或多个电极层对准的液晶材料层(例如，具有向列相)，使得液晶材料可以根据施加到像素的电场强度(例如，通过使用液晶层的相反侧上的电极在液晶层上施加电位差)而被重定向。液晶模式的示例包括扭曲向列(“tn”)或垂直配向(vertically aligned)(“va”)液晶。也可以使用电控双折射(“ecb”)液晶模式。可以使用除向列相以外的液晶相，例如铁电液晶。在一些实施例中，可以使用染料掺杂的或宾主(guest-host)液晶材料。
[0073]
图6a描绘了用于透视显示系统的示例光学透射空间光调制器(“slm”)或显示组件603的前视图。类似地，图6b描绘了图6a的示例slm或显示组件的示意性截面图。在一些示例中，光学透射slm或显示组件603可以形成增强现实系统的外部盖的全部或部分。例如，组件603可以对应于与本文描述的调暗组件、光学透射lcd、光学透射oled显示器等中的一个或多个类似或等效的光学透射可控调暗组件。在一些实施方式中，图6a-6b的组件603可以对应于如上文分别参见图2a-2c、3和5所描述的部件203、303a、303b和503中的一个或多个。在序列号为62/725,993的美国临时专利申请、序列号为62/731,755的美国临时专利申请、序列号为62/858,252的美国临时专利申请和序列号为62/870,896的美国临时专利申请中进一步详细描述了可控调暗组件架构和控制方案的其他示例，所有申请都通过引用整体并入本文。
[0074]
在图6a-6b的示例中，组件603包括夹在外电极层616a和内电极层616b之间的液晶层618，外电极层616a和内电极层616b进而被夹在外偏振器612a和内偏振器612b之间。外偏振器612a和内偏振器612b可以被配置为线性偏振穿过其中的非偏振光。组件603包括位于外偏振器612a和外电极层616a之间的外衬底层620a、位于内偏振器612b和内电极层616b之间的内衬底层620b。衬底层620a和620b支撑电极层616a和616b并且通常由例如玻璃或塑料的光学透明材料形成。组件603还包括位于外偏振器612a和外电极层616a之间的外光学延迟器614a(例如，a板)、位于内偏振器612b和内电极层616b之间的内光学延迟器614b(例如，a板)。
[0075]
如上所述，在一些实施方式中，组件803可以包括或对应于ecb基元。有利地，ecb基元可以被配置为调制圆偏振光，例如改变圆偏振光的椭圆率。
[0076]
在操作中，外偏振器612a将第一偏振状态(例如，沿图6a的垂直方向的线性偏振)赋予通过其中向用户眼睛传播的环境光。接下来，根据它们的取向，液晶层618内包含的液晶分子在偏振环境光横穿液晶层618时进一步旋转/延迟该偏振环境光。例如，液晶层618可以旋转线性偏振光，使得偏振平面不同于第一偏振状态的偏振平面。替代地，或附加地，液晶层可延迟偏振，例如将线性偏振光转换成椭圆或圆偏振光。通常，旋转/延迟量取决于液晶材料的双折射、其取向和液晶层618的厚度。旋转/延迟量还取决于例如通过在外电极层616a和内电极层616b之间施加电位差而施加到液晶层618的电场。因此，由一对电极层
616a、616b和液晶层618赋予的偏振旋转量可以根据施加到各个像素处的电极层的电压而逐像素地变化。
[0077]
偏振光的延迟还受到外光学延迟器614a和内光学延迟器614b的影响。例如，使用四分之一波片作为外光学延迟器614a将用于延迟由偏振器612a透射的线性偏振光以将线性偏振光转换为圆偏振光，其中四分之一波片的快轴大约相对于到线性偏振器的穿过轴而定向(例如，45
°
)。
[0078]
最后，与外偏振器612a相比，内偏振器612b可以透射具有第二不同偏振状态(例如，水平偏振)的光。第二偏振状态可以与由外偏振器612a赋予环境光的偏振状态正交。在这样的情况下，在液晶层618以及外光学延迟器614a和/或内光学延迟器614b的累积效应旋转由外偏振器612a透射的偏振光的情况下，内偏振器612b将透射由外偏振器612a透射的光，尽管旋转了90度。替代地，在液晶层618和光学延迟器614a和614b的累积效应使来自偏振器612a的光的偏振状态保持不变的情况下，该光将被内偏振器612b阻挡。因此，内偏振器612b可以允许处于第二偏振状态的环境光的部分不受影响地从中通过，并且可以衰减处于不同于第二偏振状态的偏振状态的环境光的部分。通过在每个像素处施加到液晶层的电场强度可以逐像素地控制偏振旋转量，从而允许逐像素地控制装置603的光透射。
[0079]
通常，电极层的像素结构可以根据例如液晶层的性质、像素尺寸等而变化。在一些实施例中，外电极层616a和内电极层616b之一可以对应于以二维阵列布置的一层可单独寻址的电极(即，像素)。例如，在一些示例中，内电极层616b可以对应于像素电极阵列，每个像素电极可以由组件603选择性地控制以生成与外电极层616a串联的相应电场/电压，这可以对应于到单个平面电极。在一些示例中，外电极层616a和内电极层616b之一或两者的电极可以由诸如氧化铟锡(“ito”)的光学透射导电材料制成。
[0080]
如图6a-6b所示，组件603还包括金属线迹线或导体617a-n。组件603的像素电极阵列中的每个像素电极被电耦接到对应的薄膜晶体管(“tft”)，进而被电耦接到多个金属线迹线或导体617a-n中的对应的一对金属线迹线或导体。这种金属线迹线或导体位于像素(例如，内电极层616b的像素电极)之间的“透射间隙”区域中，并且进一步电耦接到用于驱动或以其他方式控制每个像素的状态的一个或多个电路。在一些示例中，这样的一个或多个电路可以包括玻璃上芯片(“cog”)部件622。cog部件622可以设置在组件603中的例如内玻璃层620b的玻璃层上。在一些实施方式中，cog部件622可以从像素阵列(例如，内电极层616b的像素电极阵列)横向偏移。以此方式，组件603的cog部件622可以定位在用户的视场(“fov”)之外，被透视显示系统的外壳或其他部件或它们的组合遮挡。使用诸如tft之类的有源切换元件的像素被称为有源寻址。
[0081]
图7a示出了处于第一状态(状态“a”)的透视显示系统700的示例。类似地，图7b示出了处于不同于第一状态(状态“a”)的第二状态(状态“b”)的透视显示系统700。如图7a-7b所示，系统700包括目镜702和光学透射slm或显示组件703。在一些示例中，图7a-7b中的目镜702对应于如上文分别参见图2a-2c、3和5所描述的部件202、302a、302b和502中的一个或多个。在一些实施方式中，图7a-7b中的组件703可对应于如上文分别参见图2a-2c、3、5和6a-6b所描述的部件203、303a、303b和603中的一个或多个。
[0082]
系统700的目镜702包括三个波导1210、1220和1230。三个波导1210、1220和1230中的每一个可以例如对应于不同颜色的光和/或虚拟内容的深度。如图7a-7b所示，目镜702还
包括分别设置在波导1210、1220和1230上的耦入光学元件1212、1222和1232。耦入光学元件1212、1222和1232可以被配置为将光分别耦合到波导1210、1220和1230中，用于通过全内反射(tir)传播。此外，目镜702还包括分别设置在波导1210、1220和1230上的耦出衍射光学元件1214、1224和1234。耦出衍射光学元件1214、1224和1234可以被配置为分别将光从波导1210、1220和1230耦出朝向系统700的观看者的一只或两只眼睛。如可以从图7a看到的，在第一状态(状态“a”)下，没有光被耦合到目镜702中或从目镜702耦出。
[0083]
在图7b的示例中，系统700处于第二不同的状态(状态“b”)，其中光(i)通过耦入光学元件1212、1222和1232被耦合到波导1210、1220和1230中，(ii)通过全内反射(tir)传播通过波导1210、1220和1230，以及(iii)通过耦出衍射光学元件1214、1224和1234从波导1210、1220和1230耦出。当分别在位置1212、1222和1232处耦入的每个光路1240、1242和1244撞击设置在波导1210、1220和1230上的相应的耦出衍射光学元件1214、1224或1234(来自路径1222和1232的耦出光未被描绘)，相应的耦出衍射光学元件1214、1224或1234将光朝向观看者和远离观看者的方向衍射，朝向装置的世界一侧。这种光传播被描绘为多个子光束，每个子光束在两个相反方向上传播：一个朝向观看者由光束3010表示，一个在远离观看者的方向上由光束3020表示。
[0084]
远离观看者传播的光束3020如果在其路径中反射离开系统的元件，则可能导致不期望的影响，因为这些反射可以作为杂散光到达观看者。例如，来自后续波导1220的这种光的反射会干扰光束3010，从而增加系统700投射的图像的模糊度和/或降低对比度。此外，在某些情况下，光束3020可能会反射离开组件703的一个或多个部件，例如组件703的一个或多个金属线迹线或导体，其等同于或相似于如上文参考图6a-6b描述的组件603的金属线迹线或导体617a-n，这可能会产生“重影”图像和其他不期望的伪影。采用光瞳扩展器技术的波导光学系统会进一步加剧这些问题。
[0085]
图8a和8b分别示出了处于第一状态(状态“a”)和不同于第一状态(状态“a”)的第二状态(状态“b”)的透视显示系统800的示例。如图8a-8b所示，系统800包括目镜702和光学透射slm 803。在一些示例中，图8a-8b的目镜702可以对应于图7a-7b的目镜702，但可以进一步包括位于波导堆叠的任一侧的外玻璃盖1250a和内玻璃盖1250b。
[0086]
在一些实施方式中，图8a-8b的组件803可对应于如上文分别参照图6a-6b和7a-7b所描述的组件603和703中的一个或多个，但其中内光学延迟器614a和外光学延迟器614b分别是四分之一波片(qwp)624a和624b。外qwp 624a和内qwp 624b用于将穿过其中的线性偏振光转换成圆偏振光。例如，从观看者的环境朝向观看者传播的光可以在穿过外偏振器612a时被线性偏振，并且随后在穿过外qwp 624a时变成圆偏振。类似地，远离观看者并朝向组件803传播的光，例如光束3020的一个或多个部分，在穿过内偏振器612b时可能变成线性偏振，并且随后在穿过内qwp 624b时变成圆偏振。如从8a可以看到的，在第一状态(状态“a”)下，没有光被耦入到目镜702中或从目镜702耦出。
[0087]
在图8b的示例中，系统800处于第二不同的状态(状态“b”)，其中光在两个方向上从目镜702耦出：一个朝向观看者由光线3011表示，一个在远离观看者的方向上由光线3021表示。光线3011和3021可以表示与上文参考图7b描述的光束3010和3020类似的光束的一部分。如图8b所示，当光线3021远离目镜702并朝向组件803传播时，光线3021在穿过内偏振器612b时被线性偏振，并且随后在穿过内qwp 624b时变为圆偏振。在到达组件803的一个或多
个金属线迹线或导体时，光线3021可以朝向目镜702反射回来，这可以有效地反转光线3021的圆偏振(即，左旋圆偏振光变成右旋圆偏振光向上反射，反之亦然)。在返回朝向目镜702的途中穿过内qwp 624b，圆偏振光被转换回线性偏振光，但偏振正交于偏振器612b的穿过状态。因此，反射光被偏振器612b衰减(例如，阻挡)。以这种方式，系统800减少了由于来自目镜702的光反射离开组件803的部件并返回朝向观看者而可能产生的“重影”图像的影响。
[0088]
在一些实施例中，内光学延迟器614a是四分之一波片，外光学延迟器614b是a板(例如，具有板的平面内的快轴的单轴双折射膜)，其延迟与四分之一波延迟略有不同。例如，在一些实施方式中，液晶即使在其最低双折射状态下也可以保留一些残余双折射。例如，这可能是由于液晶分子的取向接近液晶层内的配向层而发生的。在配向层处和附近，即使存在由电极结构施加的最大电场强度，液晶分子也可以保持其配向。可以通过将外光学延迟器614b的延迟增加到四分之一波长延迟以上来补偿液晶材料的这种残余延迟。例如，外光学延迟器614b可以是具有5nm或大于四分之一波长延迟(例如，10nm或更大、15nm或更大、20nm或更大、25nm或更大、30nm或更大、35nm或更大、40nm或更大、45nm或更大，例如高达50nm)的延迟的a板。补偿液晶层的残余延迟可以减少通过动态调光器的光泄漏。
[0089]
内光学延迟器和外光学延迟器的快轴通常相对于液晶层的配向方向以及内偏振器和外偏振器的穿过轴来布置，使得动态调光器提供在处于最黑状态下具有良好消光的大动态范围。在一些实施例中，内光学延迟器和外光学延迟器的快轴相对于它们的相邻偏振器的穿过轴以45
°
定向。内光学延迟器和外光学延迟器的快轴可以相对于彼此以90
°
定向。在某些实施例中，外光学延迟器的快轴在液晶层的世界侧边界处相对于液晶层的配向方向以90
°
定向。
[0090]
通常，动态调光器的性能针对至少一个波长至少一个光传播方向进行优化。例如，动态调光器的性能可以针对“轴上(on-axis)”光(即，垂直于形成动态调光器的堆叠层入射的光)进行优化。在某些实施例中，动态调光器的性能针对绿光(例如波长为550nm的光)优化。此外，虽然动态调光器的性能对于沿一个光传播方向的一个波长可能是最佳的，但通常，调光器将被配置为在一定角度范围和一定波长范围内提供足够的性能。例如，动态调光器可以被配置为在与显示器的视场相同大小或比其大的光传播角范围(例如，高于最小性能阈值的动态范围)内提供足够的性能。此外，在一定工作波长的范围(例如，跨越显示器的色彩饱和度)内，性能可能是足够的。为了在一定波长范围内实现足够的性能，在一些实施方式中，可以使用消色差光学部件，例如消色差光学延迟器。例如，可以通过使用具有不同色散的两种或更多种不同的双折射材料来提供消色差a片(例如，消色差四分之一波片)。
[0091]
图9示出了透视显示系统900的另一示例。图9的系统900可以对应于图8a-8b的系统800，但还可包括外抗反射层626a和内抗反射层626b。外抗反射层626a可与外偏振器612a相邻地定位，而内抗反射层626b可与内偏振器612b相邻地定位。外抗反射层626a和内抗反射层626b可用于通过限制从目镜702耦出的光的反射来进一步减少不期望的影响，例如“重影”图像的存在。在一些情况下，至少一些这样的反射可能是显示系统900的不同层之间或空气与显示系统900的层之间的折射率失配的结果(即，菲涅耳反射)。抗反射层可以减少这种反射。可以使用多种不同的合适的抗反射层，包括单层或多层抗反射膜。这样的层可以针对轴上光或某些其他非垂直入射角的光进行优化。这样的层可以针对一种或多种可见波长进行优化。在一些实施例中，抗反射层针对具有可见光谱的绿色部分中的波长的光(例如，
处于或接近人眼的最大光敏度)进行优化。在目镜中使用的抗反射层的示例在2018年12月10日提交的、2019年6月13日以美国公开no.2019/0179057公开的序列号为16/214,575的美国专利申请中进行了描述，该专利通过引用的方式被明确地整体并入本文。
[0092]
图10示出了透视显示系统1000的又一示例。图10的系统1000可以对应于图9的系统900，但还可包括第二外qwp 634a和第二内qwp 634b。第二外qwp 634a与外偏振器612a相邻地定位，而第二内qwp 634b与内偏振器612b相邻地定位。第二qwp 634a可用于通过调制远离观看者行进并已穿过外偏振器612a(使得在光反射离开系统1000附近(例如，在组件803之外)中的一个或多个对象的情况下所述光被外偏振器612a衰减)的光的偏振状态来进一步减少不期望的影响，例如“重影”图像的存在。类似地，内qwp 634b可用于通过调制朝向观看者行进并已穿过内偏振器612b(使得在光反射离开位于内偏振器612b和观看者之间的系统1000的一个或多个部件的情况下所述光被内偏振器612a衰减)的光的偏振状态来进一步减少不期望的影响，例如“重影”图像的存在。
[0093]
图11示出了透视显示系统1100的另一示例。图11的系统1100可对应于图10的系统1000，但可以包括代替部件626b的折射率匹配层628。折射率匹配层628可以是具有与第二内qwp 634b的折射率相等或相似的折射率的材料层(例如凝胶或光学粘合剂)或组件803中最接近目镜702的任何层。包括折射率匹配层可用于通过减少来自目镜702的入射到组件803上的光的菲涅耳反射来进一步减少不期望的影响，例如“重影”图像的存在。
[0094]
在一些实施方式中，透视显示系统可以包括来自图8a-11中的一个或多个中的每一个的一些或所有部件。其他配置，包括具有来自图8a-11中的一个或多个中的每一个的部件的不同组合的透视显示系统，也是可能的。尽管主要在光学透射空间光调制器和显示器的背景下进行了描述，但应理解，本文描述的一种或多种配置和技术可以在具有透视像素阵列的其他系统中使用。
[0095]
本说明书中描述的一些实现方式可以作为数字电子电路、计算机软件、固件或硬件的一个或多个组或模块或者它们中的一者或多者的组合实现。尽管可以使用不同的模块，但是每一个模块不必是不同的，并且可以在相同的数字电子电路、计算机软件、固件或硬件或其组合上实现多个模块。
[0096]
本说明书中描述的一些实现方式可以被实施为一个或多个计算机程序，即计算机程序指令的一个或多个模块，其被编码在计算机存储介质上，以用于由数据处理装置执行或控制数据处理装置的操作。计算机存储介质可以是或可以包括在计算机可读存储装置、计算机可读存储基板、随机或串行存取存储器阵列或装置、或者它们中的一者或多者的组合。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的来源或目的地。计算机存储介质也可以是或包括在一个或多个单独的物理部件或介质(例如，多个cd、磁盘或其他存储装置)中。
[0097]
术语“数据处理设备”涵盖用于处理数据的所有类型的设备、装置和机器，包括例如可编程处理器、计算机、片上系统，或前述中的多个或组合。该设备可以包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件之外，该设备还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中一个或多个的组合的代码。设备和执行环境可以实现各种不同的计算模型基础结构，例如web服务、分布式计算和网格计算基
础结构。
[0098]
计算机程序(也称为程序、软件、软件应用程序、脚本或代码)可以用任何形式的编程语言编写，包括汇编或解释语言、声明或过程语言。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在文件的保存其他程序或数据的部分(例如，存储在标记语言文档中的一个或多个脚本)中，存储在专用于所讨论的程序的单个文件中，或存储在多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署为在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互相连接的多个计算机上执行。
[0099]
本说明书中描述的一些过程和逻辑流程可以通过一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作而执行。过程和逻辑流程也可以由专用逻辑电路执行，并且设备也可以被实施为专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。
[0100]
举例来说，适合于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何类型的数字计算机的处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机包括用于根据指令执行动作的处理器以及用于存储指令和数据的一个或多个存储装置。计算机还可包括一个或多个用于存储数据的大容量存储装置(例如，磁盘、磁光盘或光盘)或可操作地联接到一个或多个用于存储数据的大容量存储装置(例如，磁盘、磁光盘或光盘)以从其接收数据或将数据传输到一个或多个大容量存储设备，或两者。但是，计算机不必具有这样的装置。适合于存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储装置，例如包括半导体存储器装置(例如，eprom、eeprom、闪存装置等)、磁盘(例如，内部硬盘、可移动磁盘等)、磁光盘以及cd rom和dvd-rom磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
[0101]
为了提供与用户的交互，可以在计算机上实施操作，该计算机具有用于向用户显示信息的显示装置(例如，监视器或其他类型的显示装置)以及用户可用以向计算机提供输入的键盘和定点装置(例如，鼠标、轨迹球、平板电脑、触敏屏幕或其他类型的定点装置)。其他类型的装置也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声学、语音或触觉输入。另外，计算机可以通过向用户使用的装置发送文档和该装置接收文档来与用户交互；例如，通过响应于从web浏览器接收的请求将网页发送到用户的客户端装置上的web浏览器。
[0102]
计算机系统可以包括单个计算装置，或者彼此靠近或通常远离地操作并且典型地通过通信网络进行交互的多个计算机。通信网络的示例包括局域网(“lan”)和广域网(“wan”)、互联网(例如，因特网)、包括卫星链路的网络和对等网络(例如，ad hoc点对点网络)。客户端和服务器的关系可以借助于在各个计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
[0103]
图12示出了示例性计算机系统1200，其包括处理器1210、存储器1220、存储装置1230和输入/输出装置1240。部件1210、1220、1230和1240中的每一个可以例如通过系统总线1250互相连接。处理器1210能够处理在系统1200内执行的指令。在一些实现方式中，处理器1210是单线程处理器、多线程处理器或另一类型的处理器。处理器1210能够处理存储在
存储器1220中或存储装置1230上的指令。存储器1220和存储装置1230可以将信息存储在系统1200内。
[0104]
输入/输出装置1240为系统1200提供输入/输出操作。在一些实现方式中，输入/输出装置1240可以包括网络接口设备例如以太网卡、串行通信装置例如rs-232端口、和/或无线接口装置例如802.11卡、3g无线调制解调器、4g无线调制解调器等中的一个或多个。在一些实现方式中，输入/输出装置可以包括驱动设备，其被配置为接收数据并将输出数据发送到其他输入/输出装置，例如，可穿戴显示系统1260。在一些实现方式中，可以使用移动计算装置、移动通信装置和其他装置。
[0105]
上面讨论的方法、系统和装置是示例。各种配置可以适当地省略、替代或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行该方法，和/或可以添加、省略和/或组合各个阶段。此外，关于某些配置描述的特征可以在各种其他配置中组合。可以以类似方式组合配置的不同方面和元素。此外，技术在发展，并且因此，许多元素是示例，并不限制本公开或权利要求的范围。
[0106]
在说明书中给出了具体细节以提供对包括实施方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了公知的电路、过程、算法、结构和技术，而没有不必要的细节，以便避免使配置模糊。该描述仅提供示例配置，并不限制权利要求的范围、适用性或配置。相反，配置的先前描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元素的功能和布置进行各种改变。
[0107]
已经描述了几种示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同形式。例如，以上元素可以是较大系统的组件，其中其他规则可以优先于或以其他方式修改技术的应用。同样，在考虑以上元素之前、之中或之后可以采取许多步骤。因此，以上描述不限制权利要求的范围。
[0108]
如在此和所附权利要求书中所使用的，单数形式“一”、“一个”和“该”包括复数引用，除非上下文另外明确指出。因此，例如，对“用户”的引用包括多个此类用户，而对“处理器”的引用包括对一个或多个处理器及其本领域技术人员已知的等同形式的引用，等等。
[0109]
此外，当在本说明书和所附权利要求书中使用时，词语“包括了”、“包括”、“包括了”、“包括”、“已包括”和“正包括”旨在指定所陈述的特征、整数、组件或步骤的存在，但它们并不排除一个或多个其他特征、整数、组件、步骤、动作或组的存在或添加。
[0110]
还应理解，在此所述的示例和实施例仅用于说明目的，并且根据其各种修改或改变将被本领域技术人员建议，并且将被包括在本技术的精神和范围以及所附权利要求的范围之内。