增强现实视野对象跟随器的制作方法

背景

立体显示器可同时向查看者的左眼和右眼呈现图像。通过将同一对象的不同视图呈现在右眼和左眼视野中的不同位置处，对该对象的三维感知可被实现。而且，所感知到的对象的现实世界位置可以随着立体显示器的用户在环境中到处移动而被调整。

概述

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。

呈现了以用户的视野为函数定位增强现实对象的各示例。在一个示例中，一种可穿戴、头戴式显示系统包括近眼显示器和控制器，近眼显示器显示由头戴式显示系统的佩戴者在外观现实世界深度和外观现实世界位置处可感知到的增强现实对象，而控制器以佩戴者的视野(fov)为函数调整增强现实对象的外观现实世界位置，所述函数基于增强现实对象的边界区域以及在增强现实对象的边界区域和佩戴者的fov之间的一个或多个重叠参数。

附图简述

图1示出包括佩戴近眼、透视显示设备的用户的示例环境。

图2a-2c示出了可以被应用到增强现实对象的经修改的身体锁定函数的示例方面。

图3是示出用于显示增强现实对象的方法的流程图。

图4是示出根据虚拟弹簧函数的增强现实对象的示例移动的图示。

图5-8是示出以用户的视野为函数对增强现实对象的各种示例调整的图示。

图9示出示例计算系统。

图10a和10b示出示例头戴式显示设备。

详细描述

近眼显示设备可以被配置为显示增强现实图像以提供增强现实对象存在于围绕近眼显示设备的现实世界环境中的幻影(有时称为全息图)。在一些示例中，增强现实对象可以是“世界锁定”的，在其中即使当显示设备的佩戴者在现实世界物理环境中到处移动，增强现实对象仍然维持固定的感知到的现实世界位置。由于设备的佩戴者可能难以记住这样的世界锁定的对象位于现实世界空间中的哪里，因此所述对象对于佩戴者来说是难以交互的。这个问题在当增强现实对象是用户界面元素(例如菜单、控制按键等)时尤为具有挑战性，因为可能发生与所述对象的频繁交互。

根据在此所公开的实施例，感知到的所选增强现实对象的现实世界位置可以随近眼显示设备的佩戴者的视野(fov)的改变而被调整。所选择的增强现实对象可以具有相关联的函数以及重叠参数，所述函数定义了要显示的增强现实对象的感兴趣的目标区域，所述重叠参数定义了当佩戴者的fov正在移动以及当fov相对稳定时感兴趣的目标区域中有多少要被显示。当fov改变时增强现实对象的移动可以由虚拟弹簧来控制，所述虚拟弹簧允许当fov少量改变时增强现实对象停留在相对稳定的位置，并且随后当fov移动达更大量时沿fov快速拉动所述增强现实对象。这样，即使设备的佩戴者在现实世界空间中到处移动，增强现实对象的至少一部分还是可以很容易地被佩戴者访问。

图1示出在其中用户102佩戴近眼、透视显示设备(在此实现为头戴式显示器(hmd)104)的示例环境100。hmd为用户102提供了环境100的透视视图。hmd还将增强现实图像显示给用户。在一个示例中，hmd是立体显示设备，在其中两个分开的增强现实图像中的每个被显示在hmd的相应的左眼和右眼显示器上。当由hmd的佩戴者(例如用户102)观看时，这两个增强现实图像共同形成可作为环境100的一部分由佩戴者感知的一个增强现实对象。图1描述了示例增强现实对象106，在此描述为包括虚拟显示器和控制按键的视频会议界面。可以理解所描述的增强现实对象对于环境100中的其它人是不可见的，并且该增强现实对象可以仅由用户102通过hmd104看见。

hmd104可以显示增强现实图像，以便所感知的增强现实对象是身体锁定和/或世界锁定的。身体锁定的增强现实对象随着hmd104的6自由度姿态(即6dof：x、y、z、俯仰、偏航、滚转)的改变而移动。这样，即使用户移动、转向等，身体锁定的增强现实对象看起来占据了用户102的视野的相同部分，并且看起来在距离用户102的相同距离处。

另一方面，世界锁定的增强现实对象看起来相对于周围环境保持在固定位置中。即使当用户移动并且用户的视角改变，世界锁定的增强现实对象将看起来相对于周围环境处于相同的位置/朝向。作为一个示例，无论用户从哪个有利视点观看国际象棋棋盘，增强现实的棋子可以看起来在现实世界棋盘上的相同的方格中。为了支持世界锁定的增强现实对象，hmd可以跟踪hmd的6dof姿态以及周围环境的各表面方面的几何映射/建模

如在图1中所示，用户102当前正与增强现实对象106完全交互，并且这样，增强现实对象以针对该增强现实对象的函数优化了的大小和位置被显示在所示的示例中，增强现实对象是视频会议界面，并且这样，增强现实对象被定位在用户的fov的中心附近且以允许用户很容易地可视化虚拟显示和控制按键的大小被定位

然而，如果用户想要在环境100中四处走动，那么维持所述增强现实对象在视野的中心和/或这样的相对大的大小可能遮蔽所述环境中存在的现实世界对象，分散了用户对他或她可能期望执行的其它任务的注意力，或引起其它问题。如果增强现实对象还是保持被锁定到其当前感知到的现实世界位置，那么如果用户离开该环境则该用户可能难以在稍后时间访问该增强现实对象。

根据本公开，增强现实对象106可以根据经修改的身体锁定函数被移动，这样，增强现实对象的至少一部分保持被系链到用户的fov内的给定位置。如此处所用的，术语“用户的fov”可以意指用户的实际视野，或其可以意指用户通过显示器的视野，即显示器的视野。在一些示例中，fov可以意指用户的fov和显示器的fov中的较小的一个。

可以根据虚拟弹簧函数来控制系链以允许当用户的fov正改变达相对小的量时将对象保持在相同的外观现实世界位置中，并且随后当fov改变达更大的量时移动该对象。当用户的fov改变达相对大的量时，该对象的移动可被控制以便该对象的大部分或全部保留在fov中，仅一部分保留在fov中或没有对象保留在fov中。当fov停止改变(例如用户的头变得静止时)，对象可以被放置回fov中，但是是以更小的大小、更小的比例和/或在fov外围中的位置处。当对象在用户的fov之外时，该对象可以仍然被系链到该fov，这样，即使该对象目前不被显示但该对象的外观现实世界位置仍然被更新。

尽管上述示例是关于近眼、透视显示系统来描述的，应该理解在此所述的示例不局限于透视显示系统，因为其它配置是可能的。例如，将虚拟或增强现实对象系链到用户的fov可以通过从附连的数码相机到合成有虚拟数字内容的封闭屏幕的二次投影在非透视显示器上被执行。在另一个示例中，所述系链可以在完全的虚拟现实系统上被执行，在其中虚拟现实对象与现实世界或虚拟环境的视频馈源一起被呈现。

如上所解释地，增强现实对象的外观现实世界的位置可以以显示设备的佩戴者的fov为函数而被调整。该函数可以基于各种参数，包括增强现实对象的边界区域以及在fov和增强现实对象之间的一个或多个重叠参数。图2a-2c示出了示例边界区域和两个重叠参数，它们可以被应用到图1的增强现实对象106，以便在用户的fov改变和fov保持相对稳定这两种情况下显示增强现实对象的期望部分。

首先参考图2a，增强现实对象106包括相关联的边界区域202。边界区域202定义了增强现实对象的感兴趣的目标区域，fov包括计算可以基于该区域。例如，fov包括可以被设定成使得当用户没有主动与增强现实对象交互时边界区域的全部将被显示，但在边界区域之外的区域则可以被允许移动到fov之外。在所示的示例中，边界区域202包括虚拟显示器的一部分，在该部分中显示了视频会议的远程用户。

在一些示例中，边界区域可以是与增强现实对象相同的大小和形状。就是说，边界区域可以包括增强现实对象的全部，这样在边界区域中并没有忽略增强现实对象的任何方面。在其它示例中，边界区域可以包括在面积或体积方面小于增强现实对象的空间，如所示。在再一些示例中，边界区域可以包括在面积或体积方面大于增强现实对象的空间。

可以为每个增强现实对象或为增强现实对象的各个类个别定义边界区域。边界区域可以被显式地定义为固定的面积/体积，或边界区域可以被定义为相对于增强现实对象成比例的大小。

除了边界区域，一个或多个重叠参数可以规定增强现实对象在fov内的放置。图2b示出移动最小重叠参数204，其定义了当fov改变达相对大的量时在边界区域和fov之间的重叠。在一些示例中，可以在仅当所显示的增强现实对象开始退出fov时才应用最小重叠参数。最小重叠参数可以被定义为边界区域沿一个或多个轴的百分比。最小重叠参数可以是比边界区域更小的(沿一个或多个轴小于100％)，更大的(沿一个或多个轴大于100％)或相同的大小(沿一个或多个轴为100％)。

最小重叠参数可以是正值或负值。当最小重叠参数是正值时，增强现实对象的边界区域的至少一部分在fov改变时仍保留在fov中。然而，当最小重叠参数是负值时，边界区域不保留在fov中，并且因此，在一些示例中，这可以包括没有增强现实对象被显示给用户。例如，x轴的最小重叠参数负100％将允许边界区域移动到视野之外达边界区域的x轴维度的100％。

如在图2b中所示，最小重叠参数204在x轴中设定为边界区域的50％，且在y轴中设定为边界区域的100％。因此，当用户的fov改变并且增强现实对象开始退出fov时，在x轴中边界区域的至少50％被显示，而在y轴中边界区域的100％被显示。在x轴中被显示的边界区域的50％依赖于fov改变的方式。例如，当用户向右看时，fov的左边缘将看起来推动增强现实对象并将边界区域的宽度的右边50％保持在fov中。该场景在图2b中示出。然而，如果用户向左看，fov的右边缘将看起来推动增强现实对象并将边界区域的宽度的左边50％保持在fov中。在图2b中所示的最小重叠参数在本质上是示例性的，并且其它最小重叠参数值是可能的。

图2c示出静止目标重叠参数208，其定义了当fov没有改变或改变达相对小的量时(例如，当用户的头变得静止时或当fov改变但不足以引起边界区域移动到fov之外时)在边界区域和fov之间的重叠。在所示的示例中，目标重叠参数208大于最小重叠参数204，且在x轴中为边界区域的120％，且在y轴中为边界区域的120％。当根据目标重叠参数208被显示在fov206中时，边界区域202的全部都被显示。而且，超出边界区域的尺寸的附加重叠提供了围绕边界区域的增强现实对象的附加空间的显示。类似于最小重叠参数，目标重叠参数可以是正值(如所示)或负值，这样，边界区域被显示在fov内或不被显示在fov内。

在图2b和2c所示出的示例中，当用户将他的头部向右转时，边界区域的x轴的50％可以被显示。当用户的头部停止转动时，增强现实设备可以从使用移动最小重叠参数204切换至使用目标重叠参数208。这样，即使在fov停止改变之后，增强现实对象还将继续移动。

增强现实对象可以根据虚拟弹簧函数的一个或多个弹簧参数来移动。弹簧参数的非限制性示例包括弹簧常数和阻尼因子。例如，弹簧常数可以规定增强现实对象相对于fov移动有多刚性。低弹簧常数将允许在fov快速改变时增强现实对象伸展到fov之外更远处。高弹簧常数将使得增强现实对象保持得更接近于由边界区域和重叠参数所确定的位置。高阻尼因子将防止在快速改变的fov停止改变时的增强现实对象的振荡。高阻尼因子还将减少增强现实在fov变得静止时在非移动的fov中进行稳定化所花费的时间量。低阻尼因子将允许振荡并且不会使得增强现实对象在fov中快速稳定化。

现在转向图3，示出了用于显示增强现实对象的方法300。方法300可以在可穿戴、头戴式显示系统中实现，例如如上所述的图1的hmd104或如下所述的图10a中的头戴式显示系统1000。

在302，方法300包括获得要在显示系统上显示的增强现实对象。增强现实对象可以包括任何合适的增强现实内容并且可以被显示为图形用户界面、游戏、向导或辅助系统或任何合适的增强或沉浸式环境的一部分。增强现实对象可以响应于用户输入、执行游戏或其它内容的预定顺序或其它合适的动作从远程服务、从显示系统的存储器、或其它合适的源获得。增强现实对象可以包括几何参数(例如定义增强现实对象的形状的三维顶点)、纹理和/或其它方面。增强现实对象可以被保存为合适的数据结构的任意组合。在一些示例中，增强现实对象可以被用于呈现右眼和左眼增强现实图像，每个图像被配置为被显示在显示系统的相应的右眼和左眼显示器上。

在304，该方法包括确定增强现实对象的边界区域、一个或多个重叠参数和/或虚拟弹簧函数。如上关于图2a-2c所解释地，边界区域和重叠参数协作定义了增强现实对象的要被显示的空间(2d面积或3d体积)。虚拟弹簧函数可以定义边界区域相对于fov的移动。边界区域、重叠参数和/或虚拟弹簧函数可以以任何合适的方式与增强现实对象相关联。作为一个示例，这些参数可以被保存为可以被访问的变量，同时呈现增强现实场景。

在306处，增强现实对象被显示在默认外观现实世界位置处。例如，增强现实对象可以包括相对于用户或相对于现实世界的默认位置，在该处可以显示该增强现实对象以供用户交互。这可以包括默认外观现实世界深度。而且，增强现实对象可以以默认大小被显示。另外，在一些示例中，增强现实对象将以外观现实世界位置、外观现实世界深度和根据用户输入的大小中的一个或多个被显示。

在308，方法300包括以用户的fov为函数来调整增强现实对象的外观现实世界位置。所述调整可以包括以fov为函数来调整外观现实世界位置，其中所述函数基于边界区域和一个或多个重叠参数，如在310处所示。而且，所述调整可以包括进一步基于虚拟弹簧函数调整所述对象的外观现实世界位置，如在312处所示。

为了以用户的fov为函数来调整增强现实对象的外观现实世界位置，显示系统可以首先基于来自显示系统的一个或多个图像传感器和/或位置传感器的反馈确定用户的fov。显示系统可以随后确定fov是否已经移动达至少一个阈值量。在一个示例中，所述阈值可以为零，这样显示系统可以确定fov是否发生了丝毫改变。在其它示例中，阈值可以是大于零的预定量，例如5或10％。在又一些示例中，阈值可以基于增强现实对象相对于fov的一个或多个边界的初始位置。例如，显示系统可以只有当增强现实对象开始退出fov时才指示fov已经移动了至少所述阈值量。其他阈值是可能的。如果fov已经移动了至少阈值量，显示系统可以根据与增强现实对象相关联的边界区域以及所述一个或多个重叠参数来显示所述增强现实对象，如上参考图2b所解释的。而且，根据一个或多个弹簧参数，增强现实对象可以变得就好像被系链到弹簧那样移动。在一些实现中，弹簧参数不被允许违背由边界区域和重叠参数所建立的条件。换句话说，最小重叠是不能被违背的硬性最小值(hardminimum)。在其它实现中，弹簧参数被允许使得重叠被违背(例如当fov快速改变时增强现实对象伸展到fov之外更远处)。一旦fov停止改变(例如用户的头部变得静止)，可以根据虚拟弹簧函数和目标重叠参数中的一个或多个将边界区域显示在外观现实世界位置处。然而，取决于虚拟弹簧函数的阻尼因子，在稳定在所指定的位置处之前边界区域可以临时地“超调”(over-shoot)由目标重叠参数所指定的外观现实世界位置。在目标重叠参数定义了一旦增强现实对象被显示在稳定位置处则少于全部的增强现实对象被显示的一些示例中，响应于用户输入(例如用户盯着增强现实对象)，增强现实对象的全部可以被显示。

尽管在上述示例中边界区域被定义为包括增强现实对象的空间，但在一些示例中边界区域可能不包括增强现实对象的一些或全部的精确版本，而是代之以可包括突出了增强现实对象的内容以便用户能够标识增强现实对象的增强现实对象的表示，例如图像、图标、菜单栏等。

图4是示出根据虚拟弹簧函数的增强现实对象的示例移动序列的图示400。图示400包括显示一系列时间点(例如t0-t4)的时间线402和示出在环境中的用户(例如图1的环境100中的用户102)的视野406(由虚线标定)的相关联的俯视图404。根据虚拟弹簧函数，增强现实对象的边界区域408被显示在fov406内。尽管在图4中的俯视图示出了可见的弹簧，但应该理解所述弹簧仅是出于说明性目的而可见，并且显示系统不需要显示弹簧。

在时间t0，弹簧在其停止位置中，在那没有力作用在该弹簧上。弹簧被锚定到相对于fov的一位置处，在此被描述为沿着fov的左边界。因此，边界区域408被定位成与锚位置间隔开第一距离d1。在时间t1，fov开始向左移动，并且因此锚开始移动。然而，弹簧伸展，导致边界区域保留在相同的外观现实世界位置处。边界区域现在被定位成与锚位置间隔开大于第一距离的第二距离d2。弹簧的伸展量可以由弹簧常数，fov改变的速率以及被分配给该增强现实对象的虚拟惯性来确定。

如在时间t2处所示，fov保持向左移动，弹簧达到更大的伸展程度，并且边界区域沿fov移动。这样，边界区域与锚位置间隔开相同的距离d2，但边界区域被定位在比在时间t0和t1时更加靠左的外观现实世界位置处。例如，在时间t0和t1，边界区域被定位成相对靠近环境中的墙壁；在时间t2，其平移离开墙壁。

在时间t3，fov停止移动。然而，弹簧继续压缩，使得边界区域保持向左移动。锚位置和边界区域间隔开第三距离d3，该距离小于第一和第二距离。到时间t4，弹簧恢复到其松弛状态，并且边界区域距离锚位置的距离与在时间t0时的距离相同(d1)。

图5示出说明了在时间t0、t1,、t2和t3处从用户的视角通过hmd(例如图1的hmd104)的包括增强现实对象504的示例视图502的时间线的另一图示500。增强现实对象504可以在时间t0处是针对墙壁506世界锁定的。图5还示出了显示在环境514中的用户512的视野510的俯视图508。在时间t1和t2，用户512向右转动他的头，并且可以不再看见在其原始世界锁定位置中的增强现实对象504。然而，如在俯视图508中所示，在时间t1和t2，由于增强现实对象具有负最小重叠参数值，增强现实对象的位置516被动态更新为正好停留在视野510之外。在时间t3，用户512将其头部向左转回，这样视野510包括经更新的位置516。而且，如在时间t3处的视图502中所示，在经更新的位置516处显示增强现实图像。

当用户向着经动态定位的增强现实对象回瞥时，该动态定位的增强现实对象可以被动态地放置在合适的深度以供方便使用。例如，基于当前上下文(例如应用场景)增强现实对象可以被推回到最近的现实世界物理表面或上拉到可配置的深度。图5示出在其中增强现实对象504被推回到最近的物理表面(在此情形中为墙壁518)的示例。

图6示出通过hmd的示例视图602和对应的俯视图604的时间线的另一个图示600。图示600包括在图5中所示的相同的增强现实对象504和相同的环境514以及相同的用户512移动的视图。然而，在图6中，增强现实对象504具有正最小重叠参数值。因此，如在时间t1和t2处所见，增强现实对象部分停留在用户512的fov510内。

如先前所述，增强现实对象可以被放置在期望的外观现实世界深度处，例如在图5和6中所示的时间线中，增强现实对象的外观现实世界深度被调整以便其看起来被抵靠墙壁放置。当深度被自动调整时，增强现实对象或增强现实对象的各方面可以根据固定的角度大小被动态缩放，以便无论增强现实对象在其处被显示的外观现实世界距离如何，该增强现实对象或其各方面看起来都占据了用户的视野的相同比例。作为示例，在垂直表面上距离用户5英尺画出的水平线可以占据0.95度垂直角展度并且水平线在世界空间坐标中可以看上去为1英寸高；当相同的线被画在垂直表面距离用户十英尺处时，线可以仍然占据0.95度垂直角展度但在世界空间坐标中看上去为2英寸高。以此方式，增强现实对象可以贯穿增强现实对象的外观现实世界深度的范围以用户的fov的固定比例被维持。

当用户回瞥并观看在新的经动态调整的位置中的增强现实对象时，该动态定位的增强现实对象可以被动态地缩放以看起来更小。作为示例，图7示出当用户回瞥经更新位置516时具有经减小的大小的增强现实对象504′。

如果增强现实对象被缩放，可以响应于用户触发(例如注视增强现实对象达阈值持续时间)将该增强现实对象缩放回原始大小。图8示出在其中用户512注视增强现实对象504′达阈值持续时间(例如t2–t1)的示例。注视触发被减小的增强现实对象504′放大为全尺寸增强现实对象504。这样的放大可以在达到阈值持续时间之后的一个离散步骤中发生或者放大可以在如所示的两个或更多个步骤中发生。

无论动态缩放是否被使用，如果用户触发没有在阈值持续时间内执行则经动态移动的增强现实对象可以自动返回到先前的位置。例如，如果用户没有在阈值持续时间内注视经动态移动的增强现实对象，增强现实对象可以自动离开用户的视野并返回到原始位置。

除了上述缩放功能之外，增强现实对象可选地可用“告示牌”效果来显示，在其中增强现实对象被动态旋转以面对用户使得该增强现实对象可以被容易地交互和观看。例如，边界区域可以定义增强现实对象的平面，并且这样增强现实对象可以被旋转以将该增强现实对象的平面维持在fov内。在一些示例中，响应于用户请求增强现实对象可以被钉在固定的外观现实世界位置，否则所述增强现实对象将以用户的fov为函数被调整。

在更多的示例中，增强现实对象可以动画化(例如响应于如上所述的被虚拟弹簧函数拉动而沿由其移动方向所定义的轴旋转)以给予用户对弹簧机制的物理性质和其控制的增强现实对象的更强感观。

在一些实施例中，本文中描述的方法和过程可以与一个或多个计算设备的计算系统绑定。具体而言，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(api)、库和/或其他计算机程序产品。

图9示意性地示出了可执行上述方法和过程中的一个或多个的计算系统900的非限制性实施例。图1的hmd104和/或如下所述的图10a的显示系统1000是计算系统900的非限制性示例。以简化形式示出了计算系统900。计算系统900可采取以下形式：一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备。

计算系统900包括逻辑机902和存储机904。计算系统900可任选地包括显示子系统906、输入子系统908、通信子系统910和/或在图9中未示出的其他组件。

逻辑机902包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个组件的状态、实现技术效果、或以其他方式得到期望结果。

逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。

存储机904包括被配置成保持可由逻辑机执行以实现此处所述的方法和过程的指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机904的状态(例如，保存不同的数据)。

存储机904可以包括可移动和/或内置设备。存储机904可包括光学存储器(例如，cd、dvd、hd-dvd、蓝光盘等)、半导体存储器(例如，ram、eprom、eeprom等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、mram等)等等。存储机904可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。

可以理解，存储机904包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。

逻辑机902和存储机904的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(fpga)、程序和应用专用的集成电路(pasic/asic)、程序和应用专用的标准产品(pssp/assp)、片上系统(soc)以及复杂可编程逻辑器件(cpld)。

术语“模块”、“程序”和“引擎”可用于描述被实现为执行一个特定功能的计算系统900的一方面。在某些情况下，可以通过执行由存储机902所保持的指令的逻辑机904来实例化模块、程序或引擎。将理解，不同的模块、程序、和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、api、函数等实例化。类似地，相同的模块、程序和/或引擎可由不同的应用、服务、代码块、对象、例程、api、功能等来实例化。术语“模块”、“程序”和“引擎”意在涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。

应当理解，如此处所使用的“服务”可以是跨越多个用户会话可执行的应用程序。服务可对一个或更多系统组件、程序、和/或其他服务可用。在某些实现中，服务可以在一个或多个服务器计算设备上运行。

在被包括时，显示子系统906可用于呈现由存储机904保持的数据的视觉表示。此视觉表示可采取图形用户界面(gui)的形式。由于本文所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统906的状态以视觉地表示底层数据的改变。显示子系统906可包括使用实质上任何类型的技术的一个或多个显示设备。可将此类显示设备与逻辑机902和/或存储器机904组合在共享封装中，或者此类显示设备可以是外围显示设备。

当被包括时，输入子系统908可包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或者与这些用户输入设备对接。在一些实施例中，输入子系统可以包括或相接于所选择的自然用户输入(nui)部件。这样的部件可以是集成式的或者是外设，并且输入动作的转换和/或处理可以在板上或板下处理。示例nui部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测部件。

当包括通信子系统910时，通信子系统910可被配置成将计算系统900与一个或多个其他计算设备通信地耦合。通信子系统910可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统900经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。

图10a示出了要由佩戴者佩戴并使用的示例头戴式显示系统1000的各方面。显示系统1000是图1的hmd104和/或图9的计算系统900的非限制性示例。显示系统可以采取任何其他合适的形式，其中透明、半透明和/或不透明显示器被支撑在观察者的一只或两只眼睛前方。此外，本文所描述的各实施例可以与任何其它合适的计算系统联用，包括但不限于移动计算设备、膝上型计算机、台式计算机、平板计算机、其它可穿戴计算机等。例如，增强现实图像可以与由移动电话相机所捕捉的现实世界图像一起被显示在移动电话显示器上。

所示出的显示系统包括框架1002。框架支持被定位成接近佩戴者的眼睛的立体、透视显示部件。显示系统1000可被用于增强现实应用，其中现实世界图像与虚拟显示图像混合。

显示系统1000包括分开的右和左显示面板，1004r和1004l，从佩戴者的角度看其是全部或部分透明的，以便给予佩戴者他或她的周围环境的清晰视图。控制器1006被操作地耦合到显示面板和其它显示系统部件。控制器包括逻辑和相关联的计算机存储器，其被配置为向显示面板提供图像信号、接收传感器信号以及执行在此所述的各种控制过程。

显示系统1000可以使得图像(诸如增强现实图像(也称为全息对象))被递送到显示系统的佩戴者的眼睛。显示面板可被配置成为透过该透明显示器查看物理环境的佩戴者在视觉上增强现实世界、物理环境的外观。在一个示例中，该显示器可被配置成显示图形用户界面的一个或多个ui对象。在一些实施例中，在图形用户界面上呈现的ui对象可以是覆盖在现实世界环境前方的虚拟对象。同样地，在一些实施例中，在图形用户界面上呈现的ui对象可以纳入通过显示器被看到的现实世界环境的现实世界对象的元素。在其他示例中，显示器可被配置成显示一个或多个其他图形对象，诸如与游戏、视频、或其他视觉内容相关联的虚拟对象。

任何合适的机制可被用于经由显示面板(统称为显示器1004)显示图像。例如，显示器1004可包括位于透镜内的图像生成元件(诸如例如透视有机发光二极管(oled)显示器)。作为另一示例，显示器1004可包括位于显示系统1000的框架1002内的显示设备(诸如例如硅上液晶(lcos)设备或oled微显示器)。在该示例中，透镜可用作或以其它方式包括用于将光从显示设备递送到佩戴者的眼睛的光导。这样的光导可使得佩戴者能够感知佩戴者正在查看的位于物理环境内的3d全息图像，同时还允许佩戴者直接查看物理环境中的物理对象，由此创建了混合现实环境。另外地或替换地，显示器1004可以通过相应的左眼和右眼显示器呈现左眼和右眼增强现实图像。

显示系统1000还可包括向控制器1006提供信息的各种传感器和相关系统。此类传感器可包括但不限于，一个或多个面向内的图像传感器1012a和1012b、一个或多个面向外的图像传感器1005、惯性测量单元(imu)1007、以及一个或多个话筒1011。一个或多个面向内的图像传感器1012a和1012b可被配置成从佩戴者的眼睛获取注视跟踪数据形式的图像数据(例如，传感器1012a可获取佩戴者的一只眼睛的图像数据，而传感器1012b可获取佩戴者的另一只眼睛的图像数据)。

显示系统可被配置成基于接收自图像传感器1012a和1012b的信息用任何合适的方式来确定佩戴者眼睛中的每一只眼睛的注视方向。例如，一个或多个光源1014(诸如红外光源)可被配置成使得从佩戴者的每一只眼睛的角膜反射闪光。一个或多个图像传感器1012a、1012b然后可被配置成捕捉佩戴者眼睛的图像。如从收集自图像传感器1012a、1012b的图像数据确定的闪烁和瞳孔的图像可被控制器1006用于确定每一只眼睛的光轴。使用这一信息，控制器1006可被配置成确定佩戴者的注视方向。控制器1006可被配置成通过将用户注视向量投影在周围环境的3d模型上来附加地确定佩戴者正注视的物理和/或虚拟对象的身份。

一个或多个面向外的图像传感器1005可被配置成测量显示系统被定位在其中的物理环境的物理环境属性(例如光强度)。来自面向外的图像传感器1005的数据可被用于检测显示器1004视野内的移动，诸如视野内的佩戴者或人或物理对象所执行的基于姿势的输入或其他移动。在一个示例中，来自面向外的图像传感器1005的数据可被用于检测由显示系统的的佩戴者执行的指示对在显示设备上显示的ui对象的选择的选择输入，诸如姿势(例如，捏合手指、握紧拳头等)。来自面向外的传感器的数据还可被用于确定能实现对显示系统1000在现实世界环境中的位置/运动跟踪的(例如，来自成像环境特征的)方向/位置和取向数据。来自面向外的相机的数据也可以被用于从显示系统1000的视角构造周围环境的静止图像和/或视频图像。

imu1007可被配置成将显示系统1000的定位和/或取向数据提供给控制器1006。在一个实施例中，imu1007可被配置为三轴或三自由度(3dof)定位传感器系统。这一示例定位传感器系统可以例如包括用于指示或测量显示系统1000在3d空间内绕三个正交轴(例如，滚转、俯仰、偏航)的取向变化的三个陀螺仪。从imu的传感器信号导出的取向可被用于经由透视显示器以实际且稳定的定位和取向显示一个或多个ar图像。

在另一示例中，imu1007可被配置为六轴或六自由度(6dof)定位传感器系统。这一配置可以包括三个加速度计和三个陀螺仪以指示或测量显示系统1000沿三个正交空间轴(例如x、y和z)的位置变化和绕三个正交旋转轴(例如滚转、俯仰、偏航)的设备取向变化。在一些实施例中，来自面向外的图像传感器1005和imu1007的定位和取向数据可以被结合使用以确定显示系统1000的定位和取向。

显示系统1000还可以支持其他合适的定位技术，如gps或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将理解，任何其他合适的位置传感器系统可被使用。例如，头部姿势和/或移动数据可基于来自戴在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来被确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元、gps设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机等)、通信设备(例如，wifi天线/接口)等。

继续图10a，控制器1006可被配置成基于由一个或多个面向内的图像传感器1012a、1012b检测到的信息记录随着时间的多个眼睛注视样本。对于每一眼睛注视样本，眼睛跟踪信息以及在一些实施例中的头部跟踪信息(来自图像传感器1005和/或imu1007)可被用于估计该眼睛注视样本的原点和方向向量以产生眼睛注视与透视显示器相交的估计位置。用于确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的示例可包括眼睛注视方向、头部取向、眼睛注视速度、眼睛注视加速度、眼睛注视方向角改变、和/或任何其它合适的跟踪信息。在一些实施例中，眼睛注视跟踪可以独立于显示系统1000佩戴者的两只眼睛来记录。

控制器1006可以被配置为使用来自面向外的图像传感器1005的信息生成或更新周围环境的三维模型。另外地或替换地，来自面向外的图像传感器1005的信息可以被传递给负责生成和/或更新周围环境的模型的远程计算机。在任一情况下，显示系统相对于周围环境的相对位置和/或取向可以被评估，这样增强现实图像可以以期望的取向在期望的现实世界位置中被准确地显示。而且，控制器1006可以确定周围环境的哪些部分目前在fov中。

如上所述，显示系统1000还可包括捕捉音频数据的一个或多个话筒，诸如话筒1011。在一些示例中，该一个或多个话筒1011可包括包含两个或更多个话筒的话筒阵列。例如，话筒阵列可包括四个话筒，两个话筒被定位在hmd的右透镜上方，而另两个话筒被定位在hmd的左透镜上方。此外，音频输出可以经由一个或多个扬声器(诸如扬声器1009)被呈现给佩戴者。

控制器1006可包括可与显示系统的显示器和各个传感器进行通信的逻辑机和存储机，如上文参考图9更详细地讨论的。

图10b示出在一个非限制性实施例中的右或左显示面板1004(1004r、1004l)的各方面。显示面板包括背光1008和液晶显示器(lcd)类型的微显示器1010。背光可包括发光二极管(led)的整体——例如，白led或红、绿和蓝led的某种分布。背光可被配置以便引导其发射穿过lcd微显示器，该lcd微显示器基于来自控制器1006的控制信号形成显示图像。lcd微显示器可包括布置于矩形网格或其它几何形状上的众多可单独寻址的像素。在一些实施例中，发射红光的像素可与发射绿和蓝光的像素并置，使得lcd微显示器形成彩色图像。在其它实施例中，反射硅上液晶(lcos)微显示器或数字微镜阵列可被用于代替图10b的lcd微显示器。替换地，有源led、全息或扫描束的微显示器可被用于形成右和左显示图像。尽管图示出了分开的右和左显示面板，跨双眼延伸的单个显示面板可被替代使用。

图10b的显示面板1004包括眼睛成像相机1012(例如面向外的成像传感器1012a和1012b)、轴上照明源(也称为光源1014)以及轴下照明源1014’。每个照明源发射眼睛成像相机的高灵敏度波长段的红外(ir)或近红外(nir)照明。每个照明源可包括发光二极管(led)、二极管激光器、放电照明源等。通过任何合适的物镜系统，眼睛成像相机1012跨一范围的视场角度检测光，将这样的角度映射到传感像素阵列的对应的像素。控制器1006可被配置来使用来自眼睛成像相机的输出来跟踪佩戴者的注视轴v，如下进一步详细描述的。

相对于注视跟踪而言，轴上和轴下照明服务于不同的目的。如图10b所示，轴下照明可创建从佩戴者的眼睛的角膜1018反射的镜面闪光1016。轴下照明也可被用于照亮眼睛以用于“暗瞳”效果，其中瞳孔1020显得比周围的虹膜1022更暗。相反，来自ir或nir源的轴上照明可被用于创建“亮瞳”效果，其中瞳孔显得比周围的虹膜更亮。更具体地，来自轴上照明源1014的ir或nir照明照亮眼睛的视网膜1024的回射组织，该回射组织将光通过瞳孔反射回去，形成瞳孔的亮图像1026。显示面板1004的光束转向光学器件1028允许眼睛成像相机和轴上照明源共享公共光轴a，而不管它们在显示面板的外围上的安排。

来自眼睛成像相机1012的数字图像数据可被传达到控制器1006中或控制器可通过网络访问的远程计算机系统中的相关联的逻辑。在那里，可处理图像数据以便解析如瞳孔中心、瞳孔轮廓、和/或来自角膜的一个或多个镜面闪光1016之类的特征。图像数据中这些特征的位置可被用作把特征位置与注视轴v联系起来的模型(例如多项式模型)中的输入参数。在其中针对右眼和左眼来确定注视轴的各实施例中，控制器还可被配置来计算佩戴者的焦点作为右和左注视轴的交叉点。

一个示例的可穿戴、头戴式显示系统包括近眼显示器和控制器，近眼显示器显示由头戴式显示系统的佩戴者在外观现实世界深度和外观现实世界位置处可感知到的增强现实对象，而控制器以佩戴者的视野(fov)为函数调整增强现实对象的外观现实世界位置，所述函数基于增强现实对象的边界区域以及在增强现实对象的边界区域和佩戴者的fov之间的一个或多个重叠参数。这样的示例附加地或替换地包括其中边界区域定义增强现实对象的空间。这样的示例附加地或替换地包括其中该空间包括全部的增强现实对象。这样的示例附加地或替换地包括其中该空间包括少于全部的增强现实对象。这样的示例附加地或替换地包括其中该空间包括其中所有的增强现实对象以及围绕增强现实对象的附加空间。这样的示例附加地或替换地包括其中一个或多个重叠参数定义了控制器要在fov中保持的边界区域的量。这样的示例附加地或替换地包括其中一个或多个重叠参数包括当fov改变达少于阈值量时在边界区域和佩戴者的fov之间的停止目标重叠值。这样的示例附加地或替换地包括其中一个或多个重叠参数包括当fov改变达大于阈值量时在边界区域和佩戴者的fov之间的移动最小重叠值。这样的示例附加地或替换地包括其中停止目标重叠值大于移动最小重叠值，并且其中与当fov改变达大于阈值量时相比当fov改变达少于阈值量时控制器显示更大比例的边界区域。这样的示例附加地或替换地包括其中移动最小重叠值小于阈值重叠值，并且其中当fov改变达大于阈值量时控制器不显示增强现实对象。这样的示例附加地或替换地包括其中控制器基于佩戴者的fov进一步调整增强现实对象的旋转。这样的示例附加地或替换地包括其中控制器根据虚拟弹簧函数的一个或多个弹簧参数调整增强现实对象的外观现实世界位置。这样的示例附加地或替换地包括其中当增强现实对象在fov之外时控制器调整增强现实对象的外观现实世界位置。这样的示例附加地或替换地包括其中响应于来自佩戴者的请求控制器将增强现实对象维持在固定的外观现实世界位置。这样的示例附加地或替换地包括其中当所述佩戴者的fov改变达大于阈值量时，控制器以较小的、第一外观现实世界大小显示增强现实对象，并且当所述佩戴者的fov改变达小于阈值量时，控制器以较大的、第二外观现实世界大小显示增强现实对象。这样的示例附加地或替换地包括其中贯穿增强现实对象的外观现实世界深度的范围，控制器以fov的固定比例维持增强现实对象。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

一种用于近眼显示器的示例方法，包括定义增强现实对象的边界区域，定义在所述边界区域和所述近眼显示器的佩戴者的视野(fov)之间的目标重叠量，定义在所述边界区域和所述fov之间的最小重叠量，并且当fov改变时，根据所述边界区域、目标重叠量和最小重叠量在所述近眼显示器上显示所述增强现实对象。这样的示例附加地或替换地进一步包括根据虚拟弹簧函数的一个或多个弹簧参数显示增强现实对象。这样的示例附加地或替换地进一步包括基于佩戴者的fov调整增强现实对象的旋转。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

一个可穿戴、头戴式显示系统的进一步的示例包括近眼显示器和控制器，近眼显示器显示由头戴式显示系统的佩戴者在外观现实世界深度和外观现实世界位置处可感知到的增强现实对象，而控制器以佩戴者的视野(fov)为函数调整增强现实对象的外观现实世界位置，所述函数基于增强现实对象的边界区域、当fov改变达少于阈值量时在边界区域和佩戴者的fov之间的目标重叠值以及当fov改变达大于阈值量时在边界区域和佩戴者的fov之间的最小重叠值。以上描述的示例中的任何一个或全部可按任何合适的方式被组合在各实现中。

将会理解，本文描述的配置和/或方式本质是示例性的，这些具体实施例或本文示例不应被视为限制性的，因为许多变体是可能的。本文描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。

本公开的主题包括本文公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。