多焦点显示系统和方法与流程

现代计算技术和显示技术已经促进了用于所谓“虚拟现实”体验或者“增强现实”体验的系统的发展，其中，数字再现的图像或者其部分以看起来是真实或者可感知为真实的方式呈现给用户。虚拟现实“VR”场景通常涉及数字或虚拟图像信息的呈现，而对于其它实际的真实世界视觉输入并不透明；增强现实“AR”场景通常涉及数字或虚拟图像信息的呈现，作为对用户周围的实际世界的可视化的增强。

当向AR系统的用户呈现3D虚拟内容时存在诸多挑战。向用户呈现3D内容的中心前提包括创建多个深度的感知。如一些虚拟内容看起来更靠近用户，而其它虚拟内容可能看起来正从远方而来。因此，为了实现3D感受，AR系统被配置成在相对用户不同的焦平面上传递虚拟内容。

美国临时专利申请列出了上面当前的系统和技术以在AR系统的环境中生成各种焦平面。这些虚拟现实和/或增强现实系统的设计存在诸多挑战，包括系统在传递虚拟内容时的速度、虚拟内容的质量、用户的出瞳距离、系统的大小和可移植性、以及其它系统和光学挑战。

在此所述的系统和技术被配置成与典型的人的视觉结构一起工作以应对这些挑战。

技术实现要素：

本发明的实施例提供用于促进对于一个或多个用户的虚拟现实和/或增强现实交互的装置、系统和方法。在一个方面，公开了用于显示虚拟内容的系统。

在一个或多个实施例中，增强现实系统包括：光投影显示器，其可操作地耦合到用于生成一帧或多帧图像数据的图像源；以及复合变焦元件(VFE)系统，其具有与第二VFE串联设置的第一VFE，第一VFE用于产生与一帧或多帧图像数据对应的至少两个深度平面，第二VFE用于以距离用户的眼睛的不同距离可变地位移至少两个深度平面。

在一个或多个实施例中，增强现实显示器还包括用于跟踪用户的眼睛的调节的调节跟踪模块，其中，第二VFE至少部分地基于所跟踪的用户的眼睛的调节来聚焦一帧或多帧图像数据。在一个或多个实施例中，光投影显示器是高刷新率显示器。在一个或多个实施例中，光投影显示器是DLP显示器。

在一个或多个实施例中，第一VFE在两个深度平面之间切换。在一个或多个实施例中，第一VFE逐帧地切换焦点。在一个或多个实施例中，一帧或多帧图像数据以时序方式提供。在一个或多个实施例中，光投影显示器具有高刷新率，以使得用户同时感知至少两个深度平面。在一个或多个实施例中，一帧或多帧图像数据包括三维场景的切片。

在另一个方面，显示增强现实的方法包括：提供将要向用户呈现的一帧或多帧图像数据，发送与一帧或多帧图像数据相关联的光，在第一焦平面上聚焦第一帧图像数据，在第二焦平面上聚焦第二帧图像数据，以及在距离范围上可变地位移第一焦平面和第二焦平面。

在一个或多个实施例中，一帧或多帧图像数据以时序方式提供。在一个或多个实施例中，一帧或多帧图像数据包括三维场景的切片。

在一个或多个实施例中，该方法还包括跟踪用户的眼睛的调节，其中，第一焦平面和第二焦平面至少部分地基于所跟踪的用户的眼睛的调节可变地位移。第一VFE可在第一焦平面和第二焦平面之间切换焦点。

在一个或多个实施例中，第一VFE逐帧地切换焦点。在一个或多个实施例中，第二VFE可变地位移第一和第二焦平面。在一个或多个实施例中，第一VFE具有第一速度，第二VFE具有第二速度，第一速度大于第二速度。在一个或多个实施例中，在第一焦平面上的第一帧图像数据和在第二焦平面上的第二帧图像数据以快速连续的方式呈现，以使得用户同时观看两个焦平面。

本发明的附加和其它目的、特征和优点在详细的描述、附图和权利要求中进行描述。

附图说明

附图示出本发明的各种实施例的设计和应用。应当注意的是，附图未按照比例绘制，并且在全部附图中相似结构或功能的元件用相同的参考标号表示。为了更好地了解如何获得本发明的各种实施例的上述和其它优点和目的，将通过参考在附图中示出的本发明的特定实施例来提供以上简要描述的本发明的更具体的描述。应当理解，这些附图仅仅描绘了本发明的典型实施例，并不因此而认为是限制其范围，本发明将通过使用附图补充详细地进行描述和解释，其中：

图1示出根据一个示例实施例的长距变焦元件(VFE)和具有其它光学元件的两态VFE的平面图；

图2示出根据一个示例实施例的可变状态焦点系统和混合焦点系统；

图3示出根据一个示例实施例的使用混合焦点系统改变焦平面的示例实施例。

具体实施方式

本发明的各种实施例提供了用于在一个实施例或一些实施例中实现电子电路设计的多场景物理感知的设计的方法、系统和制品。本发明的其它目的、特征和优点在具体描述、附图和权利要求中进行描述。

现在将参考附图详细地描述各种实施例，这些实施例作为本发明的示例性实例提供，以使本领域的技术人员能够实施本发明。特别地，以下附图和示例不意味着限制本发明的范围。如果本发明的某些元件可使用已知的组件(或者方法、过程)部分或全部实现，则将只描述理解本发明所需的这些已知组件(或者方法、过程)的部分，并将省略这些已知组件(或者方法、过程)的其它部分的细节描述，以免模糊本发明。进一步地，各种实施例包括在此通过示例所参考的组件的当前和未来的已知等同物。

如在美国临时专利申请序列号61/909,774(现在为美国专利申请序列号14/555,585)、美国专利6,046,720、7,555,333、7,784,697和美国专利申请序列号11/573,118和12/468,832中所讨论的，上述的每一个的全部内容在此通过引用而被包含，变焦元件(以下为VFE)可用于以动态的方式调节图像的波阵面(例如，焦点)，并可用于生成多焦点的3D图像。VFE能够进行模拟聚焦调制，或者可在离散的聚焦状态之间切换。

本公开的主题是协作使用多个VFE以调制图像的焦点。使用多个VFE可以使能波阵面调制特性，该波阵面调制特性单独用单个现有的VFE难以实现。例如，产生同时实现大有效孔径、大聚焦范围、低功耗和高速聚焦调制的单个VFE是具有挑战的。使用多个VFE能够使得每一个VFE的优点能够结合以创建实现这些标准的复合VFE系统。

通过设置基本上与光学系统中的出射瞳(诸如近眼显示器中的观看光学器件)共轭的VFE和/或基本上在远心透镜结构内设置VFE，VFE可调制图像的焦点，同时维持稳定的图像放大。

图1示出了一个这种实施例的一部分的示例，其中，VFE被基本上设置在远心透镜结构内，以使得VFE的调制在入射光的焦点上产生变化，而在图像放大上产生一点或不产生变化。在该实施例中，示出了两个VFE。例如，VFE 102可以是相对大的聚焦范围，诸如0-3屈光度。为了说明的目的，这种VFE A 102可在其瞬态响应时间上有限。如果单独使用，则这种VFE A 102可在多个显示帧的过程上调节距可操作地耦合的图像源的焦点，但可能不足够快地以可操作地耦合的显示器的刷新率逐帧地在期望的聚焦状态之间进行调制；例如，它可响应于人的调节或聚合的变化或者响应于显示体积场景内的元件的移动来调整显示焦点。标注为B(104)的VFE可包括可在聚焦状态之间比VFE A更快切换的VFE，但可被限制在它的总焦点范围内(例如，0至3屈光度)和/或它可产生的聚焦状态的数量(例如，两个聚焦状态)。通过串联地设置VFE A 102和VFE B 104，它们的总光功率被结合，以使得每一个VFE的聚焦状态影响可操作地耦合的显示器的焦点。可通过以下的示例方程来表征该关系。

$\mathrm{\φ}={\mathrm{\φ}}_A+{\mathrm{\φ}}_B-\frac{t}{n}{\mathrm{\φ}}_A{\mathrm{\φ}}_B$

图2的上半部分202是示例的“可变焦点”系统，其示出包括单个VFE的多焦点显示系统。如图2所示，观看者感知虚拟图像的光学观看距离(即焦点距离)或者焦平面可改变。例如，如果单个VFE是大聚焦范围，但在响应时间上有限，则它能够响应于观看者的调节或注视距离在范围230内的变化来调制图像的焦点，但可能不能够逐帧地进行切换。图2的下半部分204被标注为“混合聚焦系统”，并示出了可例如通过图1所示并在上面描述的VFE A和VFE B的操作来产生的观看条件。通过在两个聚焦状态(两个焦平面210)之间快速地切换VFE B，并在范围230内调制焦点，人视觉的持续给观看者造成他/她正在同时观看两个图像平面的印象。

通过驱动与VFE B同步的可操作耦合的显示器，并在偶数帧中显示一层图像以及在奇数帧中显示第二层图像，观看者感知具有相对小的层间分离的多焦点显示。VFE A可用于在较长的时间尺度上在较大的焦点范围内位移紧密相间的层——例如，响应于观看者的调节或注视距离的变化。通过响应于观看者的调节或注视距离的变化而更新所显示的图像内容，例如，通过重新渲染所模拟的屈光模糊，观看者可具有他/她正在观看多焦点立体图像的感知，其中该多焦点立体图像延伸在由VFE A和VFE B的组合光功率支持的整个全焦点范围上。由VFE B的快速调制生成的两个复用聚焦状态允许观看者的调节在需要调节VFE A之前在小的范围内变化，并对用于测量观看者的眼睛的调节或注视距离的可操作耦合的调节跟踪或眼睛跟踪系统中的精度误差和延迟提供更多的容忍度。

图3示出更具体的实施例的细节，其中，VFE A和VFE B与高刷新率显示器可操作地耦合，诸如具有240Hz刷新率的数字光投影(DLP)显示器。VFE B以240Hz并与DLP刷新同相位地在两个聚焦状态(0屈光度和0.3屈光度)之间切换，以使得所有偶数DLP帧在一个光学观看距离处显示，而所有奇数帧在不同的光学观看距离处显示。通过驱动具有与在奇数帧期间显示的内容不同的图像内容的偶数帧，在一个观看距离处定位一层内容，并在第二观看距离处定位另一层内容，观看者感知两个层是具有120Hz的总有效刷新率(240Hz DLP刷新率除以2个VFE聚焦状态)的同一多焦点场景的部分。例如，偶数DLP帧可显示强烈渲染的咖啡杯的图像，奇数DLP帧可显示强烈渲染的酒杯的图像。

观看者220将感知包含咖啡杯和在它之后短距离的酒杯的的连贯场景。当观看者看咖啡杯时，酒杯将看起来稍微模糊，当他/她将眼睛注视和调节位移到酒杯时，酒杯将正聚焦，而咖啡杯变得稍微模糊。图3的上半部分302示出位于-3屈光度和-2.7屈光度观看距离的两个显示层210。在该示例中，咖啡杯被光学定位在-3屈光度(即，0.333米的距离)，酒杯被定位在-2.7屈光度(即，0.370米的距离)。偶数DLP帧和奇数DLP帧可每个另外包括花瓶的有点模糊的渲染，以使得当观看者注视咖啡杯或者酒杯时，他/她将感知在3D场景的背景中(例如，在0.5米的视距处)的花瓶，而模糊量是如果花瓶是在当时未被聚焦的真实物体时预料的。

如果观看者220将注视移到花瓶，则可操作耦合的调节跟踪和/或眼睛跟踪系统检测焦点的变化，并触发在DLP帧中显示的图像的重新渲染，以使得花瓶以正聚焦渲染，而咖啡杯和酒杯稍微模糊地渲染。跟踪系统还触发VFE A以将由VFE B产生的两个紧密相间的聚焦层210位移到花瓶应当驻留的区域。图3的下半部304示出了VFE A具有位移了的聚焦状态，以使得由VFE B产生的两个焦平面现在在-2屈光度和-1.7屈光度(0.500米和0.588米)。现在，观看者将具有他/她正在看花瓶的感知，其中，花瓶是正聚焦，咖啡杯和酒杯每一个稍微模糊。

尽管所示出的示例主要针对2VFE系统，但是可使用任何数量的VFE。例如，3VFE系统可用于达到更长总聚焦范围或者更大数量的离散聚焦状态。另外，尽管图1示出了极近距离的VFE，但是，可替换地，VFE可以分布在光学系统上。例如，VFE可设置在光学共轭位置，以使得每一个VFE的聚焦状态可在不改变可操作耦合的显示器的图像放大的情况下进行调制。

在此描述了本发明的各种示例性实施例。在非限制性的意义上参考这些示例。提供这些示例是为了示出本发明的更广泛的应用方面。在不脱离本发明的实际精神和范围的情况下，可对所描述的本发明进行各种改变并可用等同物来替换。此外，可以进行很多修改以适应针对本发明的目的、精神或范围的特定情况、材料、物质的组合物、过程、的过程动作或步骤。进一步地，如本领域的技术人员所知道的，在不脱离本发明的范围和精神的情况下，在此描述和示出的每个单独的变形具有独立的组件和特征，其可容易地与其他若干实施例的任意一个的特征分离或组合。所有这些修改意在处于与本公开相关的权利要求的范围之内。

本发明包括可使用主体装置执行的方法。该方法可包括提供这种合适的装置的动作。这种提供可由终端用户执行。换言之，“提供”动作仅需要终端用户的获得、访问、处理、定位、设置、激活、通电或其它动作，以在该方法中提供必要的装置。在此所述的方法可按逻辑上可能的所述事件的任何顺序以及以所述的事件顺序来执行。

以上已经描述了本发明的示例性方面以及关于材料选择和制造的细节。对于本发明的其它细节，可结合以上参考的专利和出版物以及本领域的技术人员通常知道或理解的来理解。这在关于如通常或逻辑上采用的附加动作的方面，关于本发明的基于方法的方面同样成立。

此外，虽然已经参考可选地包括各种特征的若干示例描述了本发明，但是本发明并不限于被描述或表示为针对本发明的每个变形所预期的。在不脱离本发明的实际精神和范围的情况下，可以对所描述的本发明进行各种变化，并且可用等同(无论是本文所陈述的还是为了简洁的目的而未被包括的)来代替。此外，如果提供值的范围，则应当理解，在该范围的上限和下限之间的每个中间值和或者在该说明的范围中的任何其它中间值被包括在本发明之内。

此外，可预期的是，所描述的发明变形的任何可选特征可独立或结合在此描述的任何一个或多个特征来陈述和要求权利。引用单数项包括可能存在相同项的复数。更具体地，如在此和在相关的权利要求中所使用的，只要不具体说明，单数形式“一”、“所述”和“该”包括复数对象。换言之，在以上描述以及与本公开相关的权利要求中，冠词的使用允许“至少一个”目标项。还需要注意的是，可起草这种权利要求以排除任何可选元件。因此，该声明意在结合权利要求要素的表述而用作使用如“单独”、“仅”等这种排他性术语的先行基础，或者使用“否定”限制。

在不使用这种排他性术语的情况下，在与本公开相关的权利要求中的术语“包括”应允许包括任何其它要素，而不考虑给定数量的要素是否列举在这种权利要求中，或者添加特征可被视为变换在权利要求中所述的要素的性质。除了在此特别定义之外，在此所使用的全部科技术语应在维持权利要求有效的同时被提供尽可能款的通常理解的含义。

本发明并不限于所提供的示例和/或本说明书，而仅由与本公开相关的权利要求语言的范围限定。