从全息图重建图像的方法与流程

1.本公开涉及图像投影和投影图像的方法。本公开涉及图像重建和从诸如 全息图或相息图的衍射结构重建图像的方法。实施例涉及通过瞳孔扩展器比 如波导瞳孔扩展器投影图像。本公开还涉及一种优化数据处理资源比如全息 计算资源的分配的方法。一些实施例涉及光引擎，比如图像投影仪或全息投 影仪或图片生成单元。一些实施例涉及平视显示器或容纳平视显示器的车辆。


背景技术：

2.从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在 例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或
ꢀ“
全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的 二维或三维全息重建或重放图像。
3.计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变 换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的 全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。 傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。 例如，还可以通过相干光线跟踪或点云技术来计算计算机生成的全息图。
4.可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机 生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或 微镜来实现光调制。
5.空间光调制器通常包括多个单独可寻址像素，其也可被称为单元或元素。 光调制方案可以是二进制、多级或连续的。可替代地，该设备可以是连续的 (即不包括像素)，因此光调制可以在设备上是连续的。空间光调制器可以 是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性 的，这意味着调制光以透射输出。
6.使用这里描述的系统可以提供全息投影仪。例如，这种投影仪已经在平 视显示器“hud”以及光探测和测距“lidar”中得到应用。


技术实现要素：

7.为了便于解释和说明，本公开和附图通常示出一维情况。然而，光学领 域的技术人员将理解，所描述和示出的概念可以二维扩展，以从二维全息图 提供二维图像。例如，虽然仅描述和示出了一维瞳孔扩展，但读者应该理解， 本公开延伸到二维瞳孔扩展—例如使用串联的两个一维瞳孔扩展器。
8.概括地说，本公开涉及图像投影。它涉及图像投影的方法和包括显示设 备的图像投影仪。本公开还涉及包括图像投影仪和观察系统的投影系统。本 公开同样适用于单目和双目观察系统。观察系统可以包括观察者的一只或多 只眼睛。观察系统包括具有光焦度的光学元件(例如人眼的晶状体)和观察平 面(例如人眼的视网膜)。投影仪可被称为“光引擎”。显示设备和使用显示设 备形成(或感知)的图像在空间上彼此分离。观察者在显示平面上形成或感知 图像。在一些实施例中，图像是虚拟图像，并且显示平面可被称为虚拟图
像 /显示平面。通过照射显示在显示设备上的衍射图案(例如全息图)来形成图像。
9.显示设备包括像素。显示设备的像素衍射光。根据众所周知的光学原理， 最大衍射角的幅度取决于像素的大小(以及其他因素，比如光的波长)。
10.在实施例中，显示设备是空间光调制器，例如硅上液晶(“lcos”)空间光 调制器(slm)。光在衍射角范围内(例如从零到最大衍射角)从lcos向观察 实体/系统比如相机或眼睛传播。在一些实施例中，可以使用放大技术来增加 可用衍射角的范围，使其超过lcos的传统最大衍射角。
11.在实施例中，图像是真实图像。在其他实施例中，图像是由人眼(或多 只眼睛)感知的虚拟图像。投影系统或光引擎因此可以配置成使得观察者直 接看着显示设备。在这样的实施例中，用全息图编码的光直接传播到眼睛， 并且在显示设备和观察者之间的自由空间或屏幕或其他光接收表面上没有 形成中间全息重建。在这样的实施例中，眼睛的瞳孔可被认为是观察系统的 入射孔径，眼睛的视网膜可被认为是观察系统的观察平面。有时据说，在这 种配置中，眼睛的晶状体执行全息图到图像的转换或变换。
12.根据众所周知的光学原理，眼睛或其他观察实体/系统可以观察到的从显 示设备传播的光的角度范围随着显示设备和观察实体之间的距离而变化。例 如，在1米的观察距离，来自lcos的仅小范围角度可以传播通过眼睛的瞳 孔，以在给定眼睛位置的视网膜上形成图像。从显示设备传播的光线的角度 范围决定了观察者“可见”的图像部分，该光线可以成功地传播通过眼睛的瞳 孔以在给定眼睛位置的视网膜上形成图像。换句话说，不是图像的所有部分 从观察平面上的任何一点都是可见的(例如诸如眼动盒的观察窗口内的任何 一个眼睛位置)。
13.在一些实施例中，观察者感知的图像是出现在显示设备上游的虚拟图像， 也就是说，观察者感知图像比显示设备离他们更远。因此，从概念上讲，可 以认为观察者正在通过“显示设备大小的窗口”观察虚拟图像，该窗口可以非 常小，例如直径为1cm，处于相对较大的距离，例如1米。并且用户将通过 他们眼睛的瞳孔观察显示设备大小的窗口，瞳孔也可以非常小。因此，在任 何给定时间，视场变小，并且能够看到的特定角度范围严重依赖于眼睛位置。
14.瞳孔扩展器解决了如何增加视场的问题—即如何增加从显示设备传播 的光线的角度范围，并且该光线可以成功地传播通过眼睛的瞳孔以形成图像。 显示设备(相对而言)小，投影距离(相对而言)大。在一些实施例中，投影距 离比显示设备的入瞳和/或孔径的直径或宽度(即像素阵列的尺寸)大至少一 个(比如至少两个)数量级。本公开涉及所谓的直视全息术，其中图像的全息 图而不是图像本身被传播到人眼。换句话说，观察者接收的光根据图像的全 息图进行调制。
15.瞳孔扩展器增加了视场，因此增加了显示设备的全衍射角可以使用的最 大传播距离。瞳孔扩展器的使用还可以横向增大用户的眼盒，从而使得眼睛 能够发生一些运动，同时仍使得用户能够看到图像。在实施例中，瞳孔扩展 器是波导瞳孔扩展器。本公开总体涉及非无限虚像距离，即近场虚像。
16.本文公开了一种计算图像的全息图的方法，该方法包括至少一个步骤， 该步骤包括根据观察系统的入射瞳孔进行裁剪以形成全息图，该全息图在被 照射时形成空间调制光，其中空间调制光的连续光通道对应于图像的连续区 域。连续的光通道可以由空间调制
光的光线角度的连续范围来定义。空间调 制光的所有连续光通道对应于图像的连续区域。空间调制光可被分成任意数 量的连续光通道。换句话说，本文公开的方法确定衍射结构，其布置成将可 由观察系统变换的光空间调制成图像，其中衍射结构配置成将光路由到多个 全息图通道中，每个全息图通道对应于图像的不同部分。
17.在一些情况下，这种用于包括波导瞳孔扩展器的光学系统的全息计算方 法可以利用眼睛跟踪来确定眼睛瞳孔的位置。当从眼睛的瞳孔位置观察时， 全息图被计算以提供跨越视场的良好图像。眼睛跟踪工具确定眼睛瞳孔的位 置，并且还可以估计眼睛的注视方向(即眼睛指向的方向)。一些视网膜中央 凹成像概念为视网膜中央凹区域提供了比视场的其余部分更高的图像质量。 然而，本公开涉及的远不止这些。在一般意义上，本公开涉及使用视网膜中 央凹成像概念来管理全息图计算资源。更具体地，根据注视跟踪输入选择专 用于视场中不同区域的全息图计算资源，并且全息图通过瞳孔扩展器传播， 其中视场的不同区域对应于通过瞳孔扩展器的不同光路，这些光路实际上是 不同的子全息图。
18.在所附的独立权利要求中定义了本公开的各个方面。
19.本公开的第一方面是一种从全息图重建图像的方法。该方法包括第一至 第五步骤。可以依次执行第一至第五步骤。第一步骤包括接收用于在显示系 统(例如平视显示器)的显示区域内显示的图像。显示区域从与其空间分离的 观察区域是可见的或可视的。也就是说，观察区域在空间上与显示区域分开， 例如1-2米。在一些示例中，显示区域可以是显示设备的有源显示区域，例 如从观察区域可见的空间光调制器。在其他示例中，显示区域可以包括从观 察区域可见的由一个或多个虚拟图像/显示平面形成的虚拟显示区域。观察区 域可以是观察窗，例如平视显示器的眼盒。第二步骤包括确定图像的第一图 像分量。第三步骤包括确定或计算图像的全息图。全息图配置成根据图像内 的位置成角度地分布光，使得成角度分布的光的角通道对应于图像的相应连 续区域。第四步骤包括在显示设备上显示全息图，并根据显示的全息图对光 进行空间调制。第五步骤包括将每个空间调制光传播通过瞳孔扩展器，其布 置成为空间调制光提供从显示设备到观察区域的多个不同的光传播路径。由 于来自全息图的光的角度分布，每个光传播路径对应于图像的相应连续区域。 第五步骤可以通过布置瞳孔扩展器以接收来自显示设备的空间调制光来实 现。值得注意的是，该方法(例如第三步骤)包括相对于图像的第一图像分量 比第二图像分量分配更多的数据处理资源来计算全息图。
20.读者将熟悉这样的思想，在现实世界的全息显示设备中，无限的时间和 无限的处理能力不能被分配给全息图的计算。例如，如果要求全息显示设备 以视频速率工作，则有必要以比输入图像流的帧/显示/视频速率更快的速率 从每个相应的图像帧计算每个全息图。同样，如果要求全息显示设备满足最 大尺寸或最大成本限制，可能需要使用较低规格的电子元件，例如处理器或 存储器。因此，在现实世界的设备中，有限数量或量的数据处理资源可用于 计算每个全息图。术语“数据处理资源”包括仅作为示例的处理时间和处理能 力，但读者将熟悉这样的思想，即最大数量或量的数据处理可用于(即分配) 全息图计算。这些数据处理资源—无论采取何种形式—通常在全息图计算过 程中平均分配。事实上，通常不可能以任何其他方式分配全息图计算资源， 因为全息图的每个部分都对重建的每个部分有贡献。也就是说，全息图和重 建图像之间没有一对一的像素关联。在实施例中，全息图对其表示的图像的 质量或忠实度取决于分配给计算的数据处理资源的量。也就是说，如
果更多 的数据处理资源被分配给全息图的计算，全息图将产生更高质量的图像重建。 换句话说，源/目标图像和全息重建图像之间的差异减小了。通常希望将尽可 能多的数据处理资源分配给每个全息图的计算，但根据本公开，由于全息图 的性质和波导瞳孔扩展器的使用，数据处理资源被不均匀地分配给每个图像。 例如，每个图像的一些方面或分量(例如子区域或颜色分量)被分配或指派或 分派比同一图像的其他方面或分量更多的全息计算资源。这将从下面的详细 描述中得到进一步的理解。
21.总的来说，根据本公开的方法导致用户感知到高图像质量，但具有较低 的全息计算资源需求。此外，与用于所述光学系统的全息计算方法非常匹配， 并且使用已经将眼睛跟踪集成到全息计算中的系统。
22.重要的是，全息图被传播到观察系统，而不是从全息图形成的全息重建 (即图像)。可以说由观察系统接收的空间调制光是在全息域中，而不是在空 间或图像域中。也可以说观察系统执行全息图到图像的转换。更具体地，诸 如每个观察系统的透镜的光学元件执行转换。在实施例中，在显示设备和观 察系统之间不形成全息重建或图像。在一些实施例中，可选地，使用交错方 案，计算不同的全息图并将其传播到观察者的每只眼睛。
23.显示设备具有有源/像素显示区域，该有效或显示区域具有小于10厘米 的第一维度，例如小于5厘米或小于2厘米。显示设备和观察系统之间的传 播距离可以大于1m，例如大于1.5m或大于2m。波导内的光学传播距离可 以高达2m，例如高达1.5m或高达1m。该方法能够在小于20ms比如小于 15ms或小于10ms内接收图像并确定足够质量的相应全息图。
24.本文公开的方法形成全息图，该全息图配置成将光路由到多个通道中， 每个通道对应于图像的不同部分(即子区域)。全息图可以在诸如空间光调制 器的显示设备上展示比如显示。当显示在适当的显示设备上时，全息图可以 对可由观察系统转换成图像的光进行空间调制。由衍射结构形成的通道在这 里被称为“全息图通道”,仅仅是为了反映它们是由具有图像信息的全息图编 码的光通道。可以说每个通道的光是在全息域中，而不是在图像或空间域中。 在一些实施例中，全息图是傅立叶或傅立叶变换全息图，因此全息图域是傅 立叶或频域。全息图同样可以是菲涅耳或菲涅耳变换全息图。全息图在本文 中被描述为将光路由到多个全息图通道中，仅仅是为了反映可由全息图重建 的图像具有有限的大小，并且可被任意划分成多个图像子区域，其中每个全 息图通道对应于每个图像子区域。重要的是，本公开的全息图的特征在于它 在被照射时如何分布图像内容。具体来说，全息图通过角度来划分图像内容。 也就是说，图像上的每个点都与照射时全息图形成的空间调制光中的唯一光 线角度相关—至少是唯一的一对角度，因为全息图是二维的。为了避免疑问， 这种全息图行为不是常规的。当被照射时，由这种特殊类型的全息图形成的 空间调制光可被任意分成多个全息图通道，其中每个全息图通道由一系列光 线角度(二维)限定。从上文可以理解，在空间调制光中可以考虑的任何全息 图通道(即光线角度的子范围)将与图像的相应部分或子区域相关。也就是说， 重建图像的该部分或子区域所需的所有信息都包含在由图像的全息图形成 的空间调制光的角度子范围内。当作为整体观察空间调制光时，不一定存在 多个离散光通道的任何证据。然而，在一些实施例中，通过有意地将计算全 息图的目标图像的区域留为空白或空的(即不存在图像内容)来形成多个空间 分离的全息图通道。在一些实施例中，光通道是非重叠的。在其他实施例中 —例如，在波导和观察者之间另外包括具有光焦度的光组合器(例如车辆挡 风玻璃)的实施例—一些光通道可以至少
部分重叠。
25.然而，全息图仍可被识别。例如，如果只有由全息图形成的空间调制光 的子区域的连续部分被重建，则只有图像的子区域应该是可见的。如果重建 空间调制光的不同的连续部分或子区域，图像的不同子区域应该是可见的。 这种类型的全息图的另一个识别特征是，任何全息图通道的横截面区域的形 状基本对应于入射瞳孔的形状(即基本相同)，尽管尺寸可以不同。每个光全 息图通道以不同的角度或角度范围从全息图传播。虽然这些是表征或识别这 种类型全息图的示例方式，但也可以使用其他方式。总之，本文公开的全息 图通过图像内容如何分布在全息图编码的光内来表征和识别，并且相应地陈 述了所附权利要求。
26.不同的传播路径可以不同的角度穿过观察系统的入射孔径。瞳孔扩展器 可以布置成使得所有的全息图通道在观察平面上的任何观察位置被路由通 过观察系统的入射孔径。对于每个允许的观察位置，瞳孔扩展器仅经由一个 传播路径将每个全息图通道路由到观察系统。多个全息图通道中的至少两个 全息图通道可以在观察系统的入射孔径处部分重叠。
27.该图像包括多个图像分量。换句话说，图像可被分解成多个图像分量。 术语“图像分量”用于包含本文公开的许多不同的概念。图像分量可以采取不 同的形式。每个图像分量可以是图像的子区域。即图像的区域或部分，其中 图像的不同区域或部分共同构成完整的图像。仅作为示例，第一图像分量可 以包括图像的一半，而第二图像分量可以包括另一半。多个图像分量可以是 不重叠的。在一些实施例中，第一图像分量可以对应于图像的第一子区域， 第二图像分量可以对应于图像的第二子区域，其中第一子区域不同于第二子 区域，并且可选地，第一子区域和第二子区域不重叠。在一些实施例中，第 一子区域对应于图像的第一连续图像像素组，第二子区域对应于图像的第二 连续图像像素组。在一些实施例中，第二连续图像像素组部分或完全包围第 一连续图像像素组。在一些实施例中，第一连续图像像素组比第二连续图像 像素组包括更少的图像像素。在一些其他实施例中，第一组和第二组之间的 图像像素的分布基于输入重复地或连续地改变。该输入可以指示观察者的瞳 孔位置。可替代地，该输入可以指示图像的属性或特征。
28.全息图的计算可以包括计算多个子全息图。每个子全息图可以对应于图 像的不同区域。相对于第一图像分量比第二图像分量分配更多的数据处理资 源可以包括相对于对应于第一子区域的第一子全息图的计算分配比对应于 第二子区域的第二子全息图更多的数据处理资源。
29.值得注意的是，发明人已经确定了这里描述的特征全息图和瞳孔扩展器 之间的协同作用，以及使得与全息图的计算相关的计算资源能够被优化的用 户跟踪(例如眼睛跟踪)。因为每个子全息图对应于图像的不同部分，并且每 个子全息图至少半独立地计算，所以发明人认识到，基于图像的对应区域(即 子区域)的视觉重要性，他们可以在一些子全息图上花费相对于其他子全息 图更多或更少的时间。也就是说，低质量的全息图可能适用于图像的不重要 区域，但其他区域中的高质量全息图将导致重建图像的感知“质量”的整体改 善。这里涉及用于全息图计算的“数据处理资源”的数量或量的公开可以指处 理能力或时间等。例如，低质量的全息图可以非常快速地计算，而高质量(或 更精确)的全息图可能需要更多的处理时间。事实上，根据本公开，每个子 全息图可被计算到不同的精度水平。在
一些实施例中，有限量的时间或有限 数量的数据处理资源可用于全息图计算，并且确定或计算至少一个子全息图 比确定或计算至少一个其他子全息图花费更多的时间。因此，读者将理解， 一些实施例涉及在由现实世界应用或系统设置的一些边界(例如时间或处理 能力)内的处理资源的分配或例如连续的重新分配/分布。在一些实施例中， 连续评估子全息图之间的处理资源的分布，例如图像帧的视频速率序列的每 帧至少评估一次。此外，发明人已经确定了所公开的全息系统的不同方面之 间的独特协同作用，其使得与全息图的计算相关的宝贵资源能够被优化(例 如实时地)，从而为用户提供改善的视觉体验。
30.全息图可以是点云全息图，并且相对于第一子区域比第二子区域分配更 多的数据处理资源可以包括相对于第一子区域使用比第二子区域更高密度 的点云数据点。
31.计算全息图可以包括执行迭代算法，并且相对于第一子区域分配更多的 数据处理资源可以包括相对于图像的第二子区域执行更多的算法迭代。
32.发明人通过使用迭代相位恢复算法，例如这里参考图7和图8描述的算 法，发现了更有利的协同作用。在所描述的算法中，每个子全息图是独立计 算的—至少在某种程度上—因此每个子全息图的迭代次数可以独立确定。虽 然在实践中发现了一定程度的收敛，但使用的迭代次数越多，相位恢复/子全 息图应该越精确，因此重建图像的质量越高。因此，在一个示例中，使用该 算法的x迭代来确定与具有相对较低视觉影响/重要性的图像区域相关的第 一子全息图，并且使用y迭代来确定与具有相对较高视觉影响/重要性的图像 区域相关的第二子全息图，其中y》x.在一些示例中，与观察者的中央凹视 觉区域相关的区域比观察者的外围视区被分配更多的处理资源(例如算法迭 代)。同样，发明人已经识别并利用了与本文公开的特定类型全息图的独特 协同作用，即，在全息图域中对应于图像位置引导光的全息图。
33.该方法可以包括第一至第五阶段。第一阶段包括确定观察系统的入射瞳 孔处的第一复合光场。第一复合光场由来自显示设备的显示平面的光沿着瞳 孔扩展器的至少一个光传播路径的传播产生。第一阶段还包括根据观察系统 的入射瞳孔进行裁剪。第二阶段包括确定观察系统的传感器的传感器平面处 的第二复合光场。第二复合光场由第一复合光场的光从入射瞳孔通过观察系 统的透镜的传播产生。第二阶段还包括根据图像修改振幅分量。第三阶段包 括确定入射瞳孔处的第三复合光场。第三复合光场由第二复合光场的光从传 感器平面反向传播通过透镜而产生。第三阶段还包括根据入射瞳孔进行裁剪。 第四阶段包括确定显示平面上的第四复合光场。第四复合光场由第三复合光 场的光沿着瞳孔扩展器的至少一个光传播返回的传播产生。第四阶段还包括 根据显示设备进行裁剪。全息图是从第四复合光场中提取的。第一至第四步 骤可以反复重复。随着每次迭代，全息图会收敛，可能会改善，但会趋于平 稳。例如，当可从第四阶段提取的全息图被认为具有可接受的质量或者每次 迭代的变化率低于阈值或者分配的时间已经到期时，该方法可以停止。为了 避免疑问，提取的全息图是用于在显示设备上显示的全息图。
34.术语“反向传播”仅用于反映第三和第四阶段中的光传播方向与第一和 第二阶段中的不同或基本相反。在这方面，第一和第二阶段中的光传播可称 为“正向传播”。在一些实施例中，“正向传播”和“反向传播”是彼此的数学逆。
35.这里使用的术语“裁剪”指的是选择性地丢弃感兴趣的区域或范围之外 (例如光孔径之外)的信息(例如光场信息)的过程。在一些实施例中，“裁剪
”ꢀ
是一个数据处理步骤，
包括丢弃孔径之外的数据点，或置零数据点，或简单 地忽略数据点。
36.这里提到了“复合光场”。术语“光场”仅仅表示在至少两个正交空间方向 (x和y)上具有有限尺寸的光图案。这里使用的“复数”一词仅仅表示光场中每 个点处的光可以由振幅值和相位值来定义，因此可以由复数或一对值来表示。 出于全息图计算的目的，复合光场可以是复数的二维阵列，其中复数定义光 场内多个离散位置处的光强和相位。根据本文公开的方法，复合光场在全息 平面(在全息图/频率/傅立叶域)和图像平面(在图像/空间域)之间沿+z和-z方 向向前和向后传播。可以使用波动光学领域的技术人员熟悉的多种不同方法 或数学变换中的任何一种来模拟或建模光传播。
37.至少一个光传播路径可以仅仅是由瞳孔扩展器提供的多个光传播路径 中的一个。可以对多个光传播路径中的每个光传播路径执行第一至第四阶段， 以便为每个光传播路径提取子全息图。对应于多个光传播路径的多个子全息 图被组合，以便形成用于在显示设备上显示的全息图。
38.在从最终迭代中提取子全息图的步骤之前，可以针对每个光传播路径迭 代地重复第一至第四阶段。
39.对应于第一子区域的第一子全息图可以通过点云方法/算法来计算。另外 或可替代地，对应于第二子区域的第二子全息图可以使用诸如相位恢复方法 /算法的迭代方法/算法来计算。
40.如果确定了第一子区域的图像内的尺寸和/或位置的变化，则可以重复该 方法。
41.该方法还可以包括如果确定了关于第一子区域的图像内的尺寸和/或位 置的变化，则相对于第一图像分量而不是第二图像分量重新计算全息图。在 这些实施例中，不总是需要重新计算第二子区域，除非图像内容已经显著改 变，这可以节省逐帧的全息图重新计算。
42.图像的第一子区域可以通过(首先)确定显示区域的相应第一子区域来确 定。图像显示的第一子区域可以对应于观察区域处的观察系统的视网膜中央 凹视觉区域。观察者可以是相机。观察者可以是人类观察者，在这种情况下， 观察系统可以是一只眼睛或一双眼睛。图像的第二子区域可以通过(首先)确 定显示区域的相应第二子区域来确定。显示区域的第二子区域可以对应于观 察系统的非视网膜中央凹或周边视觉区域。
43.图像的第一子区域可以延伸不超过相应的视网膜中央凹视觉区域。可替 代地，图像的第一子区域可以延伸超过相应的视网膜中央凹视觉区域。第一 子区域可以延伸到包括部分包含在视网膜中央凹视觉区域中的图像的整个 图像特征。因此，该方法可以进一步包括识别至少一个图像特征，其中该图 像特征是图像的可识别对象或显示元素。
44.值得注意的是，该方法可以进一步包括确定观察者/观察系统在观察窗中 的位置，以确定显示区域的第一子区域。例如，这种方法可以包括眼睛、头 部或注视跟踪观察系统。
45.该方法可以包括基于眼睛、头部或注视跟踪来确定与观察者的盲点相对 应的图像区域。该方法还可以包括在计算全息图之前处理图像，以便去除与 观察者的盲点相对应的图像内容。这可以节省处理资源。例如，眼睛的盲点 可以通过注视跟踪来确定。
46.该方法还可以包括确定眼睛或头部位置或注视方向的变化率，并且如果 眼睛或头部位置或注视方向的变化率大于存储值，则减少分配用于计算全息 图的数据处理资源。
人眼每秒可以移动约1000
°
。如果头部快速移动，可能 没有必要使用高质量的图像，因此在这种情况下可以节省全息计算的时间。
47.显示设备可以具有可变的显示/帧速率。该方法还可以包括如果眼睛或头 部位置或注视方向的变化率大于存储值，则更快地更新显示设备。这利用了 使用更快、低质量全息计算的潜力。例如，平滑但低质量的更新可以在头部 移动期间使用，而不是跳动的，并且可能是不必要的高质量更新。
48.该方法还可以包括基于存储的与之相关的数据来预测未来的眼睛或头 部位置或注视方向。因此，可以分配更多的数据处理资源来计算全息图。
49.该方法还可以包括在计算图像的全息图之前，相对于第二子区域增加图 像的第一子区域的强度。例如，可以应用增加强度调整来使得视网膜中央凹 视觉区域中的图像也更亮(从而节省图像显示的其余部分中使用的能量)。
50.根据本公开，图像分量可以采取不同的形式。也就是说，它们可能涉及 图像的不同方面或部分。图像可以是多色图像。第一图像分量可以是图像的 第一单色图像分量，第二图像分量可以是图像的第二单色图像分量。对于图 像的每个单色图像分量，可以至少部分独立地执行计算、显示和传播的步骤。
51.例如，与用于同一图像的第二单色分量的相同步骤相比，与图像的第一 单色分量相关的计算、显示和传播步骤可被分配更多的数据处理资源。图像 分量可以是例如彩色图像的红色、绿色和蓝色分量。在这些实施例中，每个 图像分量本身实际上是单色图像，但为了(复合颜色)图像和(单色)图像分量 之间区别的一致性和清晰性，它们在这里被称为图像分量。在这些实施例中 —不同于与图像的子区域相关的其他实施例—每个图像分量可以包括彼此 相同数量的像素，并且图像作为整体。针对每个单色图像分量的计算、显示 和传播步骤可以并行或串行执行。为每个单色图像分量计算(单色)全息图。 每个(单色)全息图在显示区域内重建相应的单色图像分量。多个单色重建可 以在显示区域上彼此重叠，以重建全色图像。在这些实施例中，因此可以说 该方法包括从图像计算多个全息图或者计算每个图像分量的全息图。然而， 可以清楚地理解，在这些情况下，相对于图像分量的全息图是指该图像分量 的全息图。
52.所描述的关于将图像划分成子区域和将图像划分成单色分量的方法可 以组合。例如，在一些实施例中，第一单色分量的第一子区域可被分配第一 数量/量的数据处理资源，第一单色分量的第二子区域可被分配第二数量/量 的数据处理资源，并且第二单色分量可被分配第三数量/量的数据处理资源 (跨越其整个区域)，其中第一、第二和第三数量/量的数据处理资源彼此都不 同。例如，第二数据处理量/数量可以大于第三数据处理量/数量，第三数据 处理量/数量又可以大于第一数据处理量/数量。读者将理解，根据本公开， 可以实现这两个概念的任何组合或排列或混合。
53.布置在观察区域内以接收空间调制光的观察系统的光传感器对对应于 第一单色图像分量的光比对对应于第二单色图像分量的光更敏感。
54.该方法还可以包括确定第一单色图像分量在图像中比第二单色图像分 量在视觉上更占优势。
55.该方法还可以包括确定图像背景的参数，比如颜色，并且基于确定的图 像参数，确定第一单色图像分量比第二单色图像分量更可能在背景上可见。
56.因此，本公开包括将全息图计算资源优先化为不同的原色(红色、绿色 和蓝色)。例如，将更多的计算分配给眼睛最敏感的绿色，或者分配给主导 视场区域的原色，或者分配给在背景场景中可能更可见的颜色。
57.该方法还可以包括观察系统的眼睛、头部或注视跟踪，以确定显示区域 的视网膜中央凹视觉区域，并且在对应于显示区域的非视网膜中央凹视觉区 域的图像区域中改变重建多色图像的色彩平衡。
58.该方法还可以包括改变非视网膜中央凹视觉区域中的重建多色图像的 色彩平衡，包括将色彩平衡朝向500nm移动和/或降低波长大于600nm的任 何图像光的强度。
59.一些实施例使非视网膜中央凹色彩平衡不同，以使整体显示更有效(利 用周边视觉(视杆)具有较低的色彩敏感度，例如使用眼睛最敏感检测到的更 多颜色和/或具有更高的电光转化效率)。人眼的视杆在500nm波长处最敏感 (因此优选使用绿色)，而对大于640nm的波长不敏感(因此在外围区域使用红 色的点很少)。
60.本文公开了一种光引擎(例如图像投影仪，比如全息投影仪),其布置成从 全息图重建图像。光引擎包括图像处理器，其布置为接收用于在显示区域内 显示的图像，并确定该图像的第一图像分量。显示区域从与其空间分离的观 察区域是可见的。光引擎还可以包括全息引擎，其布置为计算图像的全息图， 其中全息图配置为根据图像内的位置成角度地分布光。因此，成角度分布的 光的角度通道对应于图像的相应连续区域。光引擎还包括显示设备，其布置 为显示全息图并根据所显示的全息图对光进行空间调制。该光引擎还可以包 括瞳孔扩展器，其布置成传播空间调制光，从而为从显示设备到观察区域的 空间调制光提供多个不同的光传播路径。由于来自全息图的光的角度分布， 每个光传播路径对应于图像的相应连续区域。光引擎布置成相对于图像的第 一图像分量比第二图像分量分配更多的数据处理资源来计算全息图。
61.这里还公开了一种全息引擎，其布置为确定图像的全息图，以使用平视 显示器进行观察。平视显示器包括显示设备和瞳孔扩展器。平视显示器配置 成与至少一个观察系统一起操作。每个观察系统包括入射瞳孔平面上的入射 瞳孔、透镜平面上的透镜和传感器平面上的传感器。平视显示器可以配置成 与一对观察系统比如一双眼睛一起操作。显示设备(例如空间光调制器)布置 成显示全息图。瞳孔扩展器布置成接收根据全息图进行空间调制的光。例如， 显示的全息图可以用来自光源的至少部分相干光照射。显示设备根据显示的 全息图对接收的光进行空间调制。
62.全息引擎可以体现在显示驱动器中，比如现场可编程门阵列“fpga”或 专用集成电路“asic”。显示驱动器可以是用于平视显示器“hud”的图像生成 单元“pgu”的一部分。
63.术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种 组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学 重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像 并且与全息图在空间上分离。术语“重放场”用于指代在其内形成全息重建并 完全聚焦的2d区域。如果将全息图显示在包括像素的空间光调制器上，则 重放场将以多个衍射级的形式重复，其中每个衍射级是零级重放场的副本。 零级重放场通常对应于优选或主重放场，因为它是最亮重放场。除非另有明 确说明，术语“重放场”应被认为是指零级重放场。术语“重放平面”用于指代 包含所有重放场的空间中的平面。术语“图像”、“重放图像”和“图像区域”指 通过全息重建的光照射的重
放场的区域。在一些实施例中，“图像”可包括离 散点，其可被称为“图像点”，或仅出于方便起见而被称为“图像像素”。
64.术语“编码”、“写入”和“寻址”用于描述向slm的多个像素提供分别确定 每个像素的调制水平的相应多个控制值的过程。可以说，slm的像素配置 为响应于接收到多个控制值而“显示”光调制分布。因此，可以说slm“显示
”ꢀ
全息图，并且全息图可被认为是光调制值或水平的阵列。
65.已经发现，可接受质量的全息重建可以由仅包含与原始物体的傅立叶变 换相关的相位信息的“全息图”形成。这样的全息记录可被称为仅相位全息 图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息术。
66.本公开也同样适用于使用与原始物体的傅立叶变换相关的振幅和相位 信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关 的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全 息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被 称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和 相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。
67.可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分 量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的 任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2π 范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的 相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可 能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个 可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制 器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。 为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调 制水平。
68.因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复 数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上 显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引 起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的 衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在重放平 面上平移重放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重 建聚焦在近场中的重放平面上。
69.尽管可以在下面的详细描述中分别公开不同的实施例和实施例组，但任 何实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他 特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的 组合和置换。
附图说明
70.仅参考以下附图以示例的方式描述特定实施例：
71.图1是示出在屏幕上产生全息重建的反射型slm的示意图；
72.图2a示出了示例gerchberg-saxton类型算法的第一迭代；
73.图2b示出了示例gerchberg-saxton类型算法的第二及后续迭代；
74.图2c示出了示例gerchberg-saxton类型算法的替代第二及后续迭代；
75.图3是反射型lcos slm的示意图；
76.图4示出了从显示设备向孔径有效传播的虚拟图像的角度内容；
77.图5a示出了具有相对较小传播距离的观察系统；
78.图5b示出了具有相对较大传播距离的观察系统；
79.图6a示出了具有相对较大传播距离的观察系统，其包括波导，用于在 无穷远处形成虚拟图像；
80.图6b示出了图6a的光路的放大图；
81.图7示出了根据实施例的光学系统；
82.图8是示出根据实施例的方法的步骤的流程图；
83.图9a示出了包括多个图像区域的图像(底部)和包括多个全息图分量的 相应全息图(顶部)；
84.图9b示出了根据本公开的全息图，其特征在于将全息编码的光路由或 引导到多个离散的全息图通道中；
85.图10示出了优化的系统，其布置成通过不同的光路将每个全息图通道 的光内容传送到眼睛；
86.图11示出了第一注视方向的显示区域和示例图像；以及
87.图12示出了第二注视方向的显示区域和示例图像。
88.在所有附图中，相同的附图标记将用于指代相同或相似的部分。
具体实施方式
89.本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。 即，本发明可以不同的形式实施且不应被解释为限于所描述的实施例，实施 例出于说明的目的而阐述。
90.除非另有说明，单数形式的术语可以包括复数形式。
91.描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应 被解释为包括结构彼此接触的情况，此外，还包括在它们之间设置第三结构 的情况。
92.在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下 一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有说 明。例如，除非使用诸如“刚好”、“紧邻”或“直接”等措辞，否则描述应被视 为包括不连续的情况。
93.尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件 不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附 权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件 可被称为第一元件。
94.不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不 同地互操作。一些实施例可以彼此独立地执行，或者可以相互依存的关系一 起执行。
95.光学配置
96.图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实 施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此，可以说 全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制 器是反射型硅上液晶“lcos”器件。全息图在空间光调制器上编码，并且在 重放场例如光接收表面比如屏幕或漫射器处形成全
息重建。
97.光源110例如激光或激光二极管设置成经由准直透镜111照射slm140。 准直透镜使光的大致平面波前入射在slm上。在图1中，波前的方向是偏 离法线的(例如与真正正交于透明层的平面相距两度或三度)。然而，在其 他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入 和输出光学路径。在图1所示的实施例中，布置使得来自光源的光从slm 的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112 被施加到包括傅立叶变换透镜120的光学器件，傅立叶变换透镜120的焦点 位于屏幕125处。更具体地，傅立叶变换透镜120接收来自slm140的调制 光束，并执行频率-空间变换以在屏幕125处产生全息重建。
98.值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整 个重建。重放场上的特定点(或图像像素)与特定的光调制元件(或全息图 像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在 整个重放场上。
99.在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度 (聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即， 傅立叶变换透镜是光学傅立叶变换透镜，并且在光学上执行傅立叶变换。任 何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变 换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。
100.传统全息图计算
101.在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单 地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变 换特性在远场中重建图像。通过将重放平面中的所需光场傅立叶变换回透镜 平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶 全息图。
102.可以使用算法比如gerchberg-saxton算法来计算傅立叶变换全息图。此 外，gerchberg-saxton算法可用于根据空间域(比如照片)中的仅振幅信息 来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅 信息中有效地“检索”与物体有关的相位信息。在一些实施例中，使用 gerchberg-saxton算法或其变型从仅振幅信息计算计算机生成的全息图。
103.gerchberg-saxton算法考虑了当已知分别在平面a和b中的光束的强度 截面ia(x,y)和ib(x,y)并且ia(x,y)和ib(x,y)通过单个傅立叶变换关联时的情 况。对于给定的强度横截面，分别求出了平面a和b中的相位分布近似ψa(x, y)和ψb(x,y)。gerchberg-saxton算法通过遵循迭代过程求出该问题的解。更 具体地，gerchberg-saxton算法迭代地应用空间和频谱约束，同时在空间域 和傅立叶(频谱或频率)域之间重复传输代表ia(x,y)和ib(x,y)的数据集(振 幅和相位)。通过算法的至少一次迭代获得频谱域中的相应计算机生成的全 息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以 是仅振幅全息图、仅相位全息图或全复数全息图。
104.在一些实施例中，仅相位全息图是使用基于gerchberg-saxton算法的算 法来计算的，比如在英国专利2498170或2501112中描述的算法，所述专利 的全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式 描述计算仅相位全息图。在这些实施例中，gerchberg-saxton算法检索数据 集的傅立叶变换的相位信息ψ[u,v]，其产生已知
的振幅信息t[x,y]，其中振 幅信息t[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中 本质上是结合的，因此变换后的幅度和相位包含有关计算数据集的准确性的 有用信息。因此，算法可以与振幅和相位信息的反馈一起迭代使用。然而， 在这些实施例中，仅相位信息ψ[u,v]用作全息图，以在图像平面处形成目标 图像的全息表示。全息图是相位值的数据集(例如2d阵列)。
[0105]
在其他实施例中，基于gerchberg-saxton算法的算法用于计算全复数全 息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复 数数据值阵列的数据集(例如2d阵列)，其中每个复数数据值包括幅度分量 和相位分量。
[0106]
在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变 换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量 和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不 同地处理。
[0107]
图2a示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭 代。算法的输入是包括像素或数据值的2d阵列的输入图像210，其中每个 像素或数据值是幅度或振幅值。也就是说，输入图像210的每个像素或数据 值不具有相位分量。因此，输入图像210可被视为仅幅度或仅振幅或仅强度 分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。 算法的第一迭代从数据形成步骤202a开始，该步骤包括使用随机相位分布 (或随机相位种子)230将随机相位值分配给输入图像的每个像素，以形成 起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起 始复数数据集代表了空间域中的输入图像。
[0108]
第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立 叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出 全息图280a。在一些实施例中，全息图280a是仅相位全息图。在这些实施 例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成 全息图280a。根据可以在空间光调制器的将用于“显示”仅相位全息图的像 素上表示的相位水平来量化每个相位值。例如，如果空间光调制器的每个像 素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能 相位水平中的一个相位水平。全息图280a是代表输入图像的仅相位傅立叶 全息图。在其他实施例中，全息图280a是全复数全息图，其包括从接收的 傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量) 阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允 许复数调制水平之一以形成全息图280a。约束步骤可以包括将每个复数数 据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280a 代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停 止。
[0109]
然而，在其他实施例中，算法继续，如图2a中的虚线箭头所示。换句 话说，遵循图2a中的虚线箭头的步骤是可选的(即并非对所有实施例都是 必不可少的)。
[0110]
第三处理块256从第二处理块253接收修改的复数数据集，并执行逆傅 立叶变换以形成逆傅立叶变换的复数数据集。可以说逆傅立叶变换的复数数 据集代表空间域中的输入图像。
[0111]
第四处理块259接收逆傅立叶变换的复数数据集，并提取幅度值211a 的分布和相位值213a的分布。可选地，第四处理块259评估幅度值211a 的分布。具体地，第四处理块259可以将逆傅立叶变换的复数数据集的幅度 值211a的分布与输入图像510进行比较，输入图
像510本身当然是幅度值 的分布。如果幅度值211a的分布与输入图像210之间的差足够小，则第四 处理块259可以确定全息图280a是可接受的。也就是说，如果幅度值211a 的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图 280a是输入图像210的足够准确表示。在一些实施例中，为了比较的目的， 忽略了逆傅立叶变换的复数数据集的相位值213a的分布。将理解的是，可 以采用任何数量的不同方法来比较幅度值211a的分布和输入图像210，并 且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均 方差小于阈值，则认为全息图280a是可接受的。如果第四处理块259确定 全息图280a是不可接受的，则可以执行算法的进一步迭代。然而，该比较 步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或 预设的或用户定义的。
[0112]
图2b表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处 理块来反馈先前迭代的相位值213a的分布。拒绝幅度值211a的分布，有 利于输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202a通 过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复 数数据集。然而，在第二和后续迭代中，数据形成步骤202b包括通过将(i) 来自算法的先前迭代的相位值213a的分布与(ii)输入图像210的幅度值的 分布相结合来形成复数数据集。
[0113]
然后，以参照图2a描述的相同方式处理由图2b的数据形成步骤202b 形成的复数数据集，以形成第二迭代全息图280b。因此，此处不重复对该 过程的说明。当已经计算了第二迭代全息图280b时，算法可以停止。然而， 可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理 块259或需要进一步迭代时才需要第三处理块256。输出全息图280b通常 随着每次迭代而变得更好。然而，实际上，通常会达到无法观察到可测量的 改进的点，或者执行进一步迭代的正面好处被额外处理时间所带来的负面影 响抵消。因此，该算法被描述为迭代和收敛的。
[0114]
图2c表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先 前迭代的相位值213a的分布。拒绝幅度值211a的分布，有利于幅度值的 替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211 的分布中导出的。具体地，处理块258从先前迭代的幅度值211的分布中减 去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像 210中减去经缩放的差。这在数学上通过以下等式来表述，其中下标文本和 数字表示迭代次数：
[0115]rn+1
[x,y]＝f'{exp(iψn[u,v])}
[0116]
ψn[u,v]＝∠f{η
·
exp(i∠rn[x,y])}
[0117]
η＝t[x,y]-α(|rn[x,y]|-t[x,y])
[0118]
其中：
[0119]
f'是逆傅立叶变换；
[0120]
f是正向傅立叶变换；
[0121]
r[x,y]是第三处理块256输出的复数数据集；
[0122]
t[x,y]是输入或目标图像；
[0123]
∠是相位分量；
[0124]
ψ是仅相位全息图280b；
[0125]
η是幅度值211b的新分布；以及
[0126]
α是增益因子。
[0127]
增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图 像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决 于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。
[0128]
在所有其他方面，图2c的实施例与图2a和图2b的实施例相同。可以 说，仅相位全息图ψ(u,v)包括频率或傅立叶域中的相位分布。
[0129]
在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图 数据与提供光焦度的第二数据组合。也就是说，写入空间光调制的数据包括 表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并 用光照射时，透镜数据会模拟物理透镜—即它以与相应物理光学元件相同的 方式将光聚焦。因此，透镜数据提供了光焦度或聚焦功率。在这些实施例中， 可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。 代表透镜的数据可以称为软件透镜。例如，仅相位透镜可以通过计算由透镜 的每个点由于其折射率和空间变化的光学路径长度而引起的相位延迟来形 成。例如，在凸透镜的中心的光学路径长度大于透镜边缘处的光学路径长度。 仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已 知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透 镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比 如简单的矢量加法将透镜化数据与全息图结合。在一些实施例中，物理透镜 与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全 省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中， 全息图可以相同的方式与光栅数据—即布置成执行光栅函数比如图像转向 的数据结合。同样，在本领域中已知如何计算这样的数据。例如，可以通过 对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光 栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。 提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案，以与可 被称为图像形成函数或图像形成图案的全息图数据区分开。
[0130]
在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执 行。也就是说，由软件透镜提供有助于傅立叶变换的一些光焦度，而由一个 或多个物理光学器件提供有助于傅立叶变换的其余光焦度。
[0131]
在一些实施例中，提供了一种实时引擎，其布置为使用算法接收图像数 据并实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。 在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要 被调出以在slm上显示。也就是说，在一些实施例中，提供了预定全息图 的储存库。
[0132]
实施例仅通过示例的方式涉及傅立叶全息术和gerchberg-saxton类型算 法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。 本公开还可适用于通过其他技术比如基于点云方法的技术计算的全息图。
[0133]
光调制
[0134]
可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如 果全息图是仅相位全息图，则需要调制相位的空间光调制器。如果全息图是 全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用 调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
[0135]
在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的 单元。也就是说，在一些实施例中，空间光调制器是其中光学活性成分是液 晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。也就是 说，每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个 光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同 的光调制水平。在一些实施例中，空间光调制器是反射型硅上液晶(lcos) 空间光调制器，但本公开不限于这种类型的空间光调制器。
[0136]
lcos器件在小孔径(例如几厘米宽)内提供密集的光调制元件或像素 阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系 统可以紧凑。充分照射lcos slm的小孔径比其他液晶装置的大孔径要容 易得多。lcos器件通常是反射性的，这意味着驱动lcos slm像素的电路 可以埋在反射表面下。这导致更高的孔径比。换句话说，像素密集填充，意 味着像素之间几乎没有死区。这是有利的，因为它减少了重放场中的光学噪 声。lcos slm使用硅底板，其优点是像素是光学平坦的。这对于相位调制 装置特别重要。
[0137]
下面仅以举例的方式，参考图3来描述合适的lcos slm。使用单晶硅 基板302形成lcos器件。它具有方形平面铝电极301的2d阵列，由间隙 301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路 302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303 设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置 在例如由玻璃制成的平面透明层306上。例如由ito制成的单个透明电极 307设置在透明层306和第二取向层305之间。
[0138]
每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定 可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有 效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透 明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶 材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供仅相 位调制，即不出现振幅效应。
[0139]
所描述的lcos slm以反射方式输出空间调制光。反射型lcos slm 具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致高填充因 子(通常大于90％)和高分辨率。使用反射型lcos空间光调制器的另一 优势在于，液晶层的厚度可以是使用透射型器件时所需厚度的一半。这大大 提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，本公开的 教导同样可以使用透射型lcos slm来实现。
[0140]
使用小显示设备和长观察距离的图像投影
[0141]
本公开涉及图像投影，其中显示设备和观察者之间的间隔远大于显示设 备的尺寸。观察距离(即观察者和显示设备之间的距离)可以至少比显示设备 的尺寸大一个数量级。观察距离可以比显示设备的尺寸大至少两个数量级。 例如，显示设备的像素区域可以是10mm
×
10mm，观察距离可以是1m。由 系统投影的图像形成在与显示设备空间分离的显示平面上。
[0142]
根据本公开，图像由全息投影形成。全息图显示在显示设备上。全息图 由光源(未示出)照射，并且在与全息图空间分离的显示平面上感知到图像。 图像可以是真实的或虚拟的。出于以下解释的目的，考虑在显示设备上游形 成的虚拟图像是有帮助的。也就是说，出现在显示设备的后面。然而，图像 是虚拟图像并不重要，并且本公开同样适用于在显示设备和观察系统之间形 成的真实图像。
[0143]
显示设备包括显示全息图的像素。显示设备的像素结构是衍射的。因此， 全息图像的大小是由衍射规则决定的。下面参照图4解释显示设备的衍射特 性的结果。
[0144]
图4示出了像素化显示设备402，其布置为显示在显示设备402的上游 形成虚拟图像401的全息图。显示设备的衍射角q决定了虚拟图像401的大 小。虚拟图像401、显示设备402和观察系统405布置在光轴ax上。
[0145]
观察系统405具有入口孔404和观察平面406。观察系统405可以是人 眼。因此，入射孔径404可以是眼睛的瞳孔，而观察平面406可以是眼睛的 视网膜。
[0146]
在显示设备402和观察系统405之间传播的光被图像的全息图(不是图 像本身)调制。然而，图4示出了全息图如何通过角度划分虚拟图像内容。 每个图示的光线束涉及虚拟图像401的不同部分。更具体地，每个光线束中 的光由全息图用关于虚拟图像的一部分的信息编码。图4示出了五个示例光 线束，每个光线束的特征在于相对于光轴ax的相应角度，并且每个光线束 表示虚拟图像的相应部分。在该示例中，光束之一穿过瞳孔404，而其他四 个光束被瞳孔404阻挡。同样，五个不同的光线束对应于虚拟图像401的五 个不同部分。虚拟图像的完整图像内容被有效地按角度划分。沿着光轴ax 传播的光束携带图像信息的中心部分，即与图像中心相关的信息。其他光束 携带图像信息的其他部分。显示在光锥末端的两个光束携带图像信息的边缘 部分。图像信息按角度划分的结果是，不是所有的图像内容都能在给定的观 察位置通过观察系统的入射孔径404。换句话说，不是所有的图像内容都被 眼睛接收到。在图4的示例中，所示的五个光束中只有一个在任何观察位置 穿过瞳孔404。读者将理解，仅以示例的方式示出了五个光束，并且所描述 的过程不限于将虚拟图像的图像信息划分成仅仅五个光束。
[0147]
在这个示例中，图像信息的中心部分由眼睛接收。图像信息的边缘部分 被眼睛的瞳孔阻挡。读者将理解，如果观察者向上或向下移动，眼睛可能会 接收到不同的光束，例如，图像信息的中心部分可能会被阻挡。因此，观察 者只能看到整个图像的一部分。其余的图像信息被入射瞳孔阻挡。观察者的 视野受到严重限制，因为他们实际上是通过显示设备本身的小孔径观察图像。
[0148]
总之，光从显示设备在衍射角范围内传播。在1m观察距离下，对于给 定的眼睛位置，只有来自显示设备的小范围的角度可以通过眼睛的瞳孔传播 以在视网膜上形成图像。虚拟图像中可见的部分仅是那些落入图4所示的穿 过入射孔径的小角度范围内的部分。因此，视场非常小，并且具体的角度范 围严重依赖于眼睛位置。
[0149]
参考图4解释的小视场和对眼睛位置的敏感性的问题是显示设备的大观 察距离和小孔径的结果。参照图5至7进一步解释观察距离的重要性。
[0150]
图5a示出了显示设备502，其布置为显示全息图并将根据全息图调制 的光传播到包括入射孔径504和观察平面506的观察系统。虚拟图像501在 无穷远处，因此在虚拟图像和显示设备之间跟踪的光线是准直的。图5a的 下部显示了观察系统的放大图。该图是示意性的，因此没有示出眼睛的生理 细节。实际上，当然存在布置成照射显示设备502的光源(图5a中未示出)。
[0151]
图5a仅示出了那些可以通过孔径504传播的光线；不能穿过孔径504 的任何其他光线被省略。然而，将理解，在实践中，那些其他光线也将从显 示设备502传播。在图5a中，显示设备和观察平面之间的距离足够小，使 得来自显示设备的全衍射角可以在视网膜上
形成图像。从虚拟图像显示的所 有光传播路径都穿过入射孔径。因此，虚拟图像上的所有点都映射到视网膜 上，并且所有图像内容都被传递到观察平面。因此，感知图像的视野是最大 的。在最佳位置，视场等于显示设备的衍射角。有趣的是，视网膜上的不同 图像点是由从显示设备502上的不同区域传播的光形成的，例如，最靠近图 5a顶部的图像点仅由从显示设备的下部传播的光形成。从显示设备的其他 区域传播的光对该图像点没有贡献。
[0152]
图5b示出了当观察距离增加时出现的情况。
[0153]
更详细地，图5b示出了显示设备502’,其布置成显示全息图并将根据全 息图调制的光传播到包括入射孔径504’和观察平面506’的观察系统。虚拟图 像501’在无穷远处，因此虚拟图像和显示设备之间的光线是准直的。图5b 的下部显示了观察系统的放大图。该图是示意性的，因此没有示出眼睛的生 理细节。实际上，当然具有布置成照射显示设备502’的光源(图5b中未示出)。
[0154]
图5b仅示出了那些可以通过孔径504’传播的光线。在图5b的较大观 察距离处，一些光束被入射孔径504’阻挡。具体地，与虚拟图像的边缘部分 相关的光线束被入射瞳孔504’阻挡。因此，整个虚拟图像是不可见的，并且 虚拟图像的可见部分严重依赖于眼睛位置。因此，由于显示设备的小尺寸， 显示设备和观察系统之间的大距离是有问题的。
[0155]
图6a示出了包括显示设备602的改进系统，向包括入射孔径604和观 察平面606的观察系统传播已经用显示设备602上显示的全息图编码的光。 实际上，当然存在布置成照射显示设备602的光源(未示出)。改进系统还包 括位于显示设备602和入口孔604之间的波导608。图6a的下部示出了入 射瞳孔604和观察平面606的放大视图。该图是示意性的，因此没有示出眼 睛的生理细节。
[0156]
图6的观察距离与图5b的相同。然而，在图5b中被阻挡的光束被波 导608有效地恢复，使得观察系统接收到完整的图像信息—尽管观察距离更 长。
[0157]
波导608的存在使得来自显示设备602的所有角度内容能够被眼睛接收， 即使在这个相对大的投影距离上。这是因为波导608以众所周知的方式充当 瞳孔扩展器，因此在此仅简要描述。
[0158]
简而言之，波导608包括基本细长的结构。在这个示例中，它包括折射 材料的光学板，但其他类型的波导也是众所周知的并且可被使用。波导608 被定位成与从显示设备602投影的光锥相交，例如以斜角相交。波导608的 大小、位置和定位配置成确保来自光锥内的五个光束中的每个的光进入波导 608。来自光锥的光经由波导608的第一平面表面610(位置最靠近显示设备 602)进入波导608，并且在经由波导608的第二平面表面612发射之前，至 少部分地沿着波导608的长度被引导，第二平面表面612基本与第一表面610 相对(位置最靠近眼睛)。很容易理解，第二平面表面612是部分反射、部分 透射的。换句话说，当每条光线在波导608内从波导608的第一平面表面610 传播到第二平面表面612时，一些光将透射出波导608，一些光将被第二平 面表面612反射回第一平面表面610。第一平面表面610是反射性的，使得 从波导608内撞击它的所有光将被反射回第二平面表面612。因此，一些光 在被透射之前可以简单地在波导608的两个平面表面610、612之间折射， 而其他光可被反射，因此在被透射之前可以在波导608的平面表面610、612 之间经历一次或多次反射(或“反弹”)。因此，波导608的净效应是光的透射 有效地扩展到波导608的第二平面表面612上的多个位置。因此，与没有波 导608的情况相比，显示设备602输出的所有角度内容可以出
现在显示平面 上更多数量的位置处(并且在孔径平面上更多数量的位置处)。这意味着来自 每个光线束的光可以进入入射孔径604，并有助于由观察平面606形成的图 像，尽管投影距离相对较大。换句话说，眼睛可以接收来自显示设备602的 所有角度内容。因此，显示设备602的全衍射角被利用，并且对于用户来说 观察窗被最大化。反过来，这意味着所有光线都对感知的虚拟图像601有贡 献。
[0159]
图6b示出了对虚拟图像601内的五个相应图像点有贡献的五个光线束 中的每个的单独光路，虚拟图像601在图6a中形成，从上到下分别标记为 r1到r5。如在其中可以看到，r1和r2中的每个的光被简单地折射，然后 被波导608透射。另一方面，r4的光在透射之前会遇到单次反弹。r3的光 包括来自显示设备602的相应第一部分的一些光，其在被透射之前被波导 608简单地折射，以及来自显示设备602的不同的第二相应部分的一些光， 其在被透射之前遇到单次反弹。类似地，r5的光包括来自显示设备602的 对应的第一部分的在被透射之前遇到单次反弹的一些光，以及来自显示设备 602的不同的第二对应部分的在被透射之前遇到两次反弹的一些光。对于r3 和r5中的每个，lcos的两个不同部分传播对应于虚拟图像部分的光。
[0160]
本发明人已经认识到，至少在一些应用中，与在无穷远处形成虚拟图像 相反，虚拟图像距离(即从观察者到虚拟图像的距离)优选是有限的。在某些 应用中，将存在优选的虚拟图像距离，在该距离处，虚拟图像内容出现是期 望的或必要的。例如，这可以是平视显示器中的情况，例如在汽车设定中， 例如如果虚拟图像内容要被叠加到观察者通过车辆挡风玻璃观察的真实内 容上。例如，期望的虚拟图像距离可以包括在观察者的车辆或挡风玻璃前方 几米处形成的虚拟图像内容，例如3米或5米。
[0161]
小显示设备、长视距和瞳孔扩展器的全息图计算
[0162]
发明人设计了一种计算图7所示光学系统的全息图的方法。重要地，显 示设备相对较小，投影距离相对较长。全息图被直接投影到观察系统，并且 该方法能够实时实施。显示设备的相对小的尺寸和相对长的投影距离需要瞳 孔扩展器。该方法通过瞳孔扩展器处理不同的路径。该方法允许图像内容出 现在离观察系统不同的距离和/或多个距离处，可选地同时出现，例如使用一 个全息图。该方法允许图像内容出现在显示设备的下游和显示设备的上游， 可选地同时出现，例如使用一个全息图。
[0163]
图7示出了可用于显示图像全息图的空间光调制器701。在该实施例中， 空间光调制器701是硅上液晶器件，其布置成对接收到的光的相位进行模块 化。空间光调制器701由来自光源(未示出)的至少部分相干光照射。光源可 以是激光二极管。空间光调制器701输出根据显示全息图进行空间调制的光。 图7示出了空间调制光的一条光线702。瞳孔扩展器703接收空间调制光。 瞳孔扩展器703相对于显示设备701的平面倾斜。瞳孔扩展器703因此接收 非垂直入射的光。入射角(光轴与瞳孔扩展器形成的角度)可以小于25度，例 如10到20度。瞳孔扩展器包括接收空间调制光的输入表面703a和输出表 面703b。输入表面703a和输出表面703b基本平行，并在瞳孔扩展的方向上 伸长。输入表面703a包括基本全反射的至少一部分(例如r＝1)。输出表面 703b包括高反射但部分透射的至少一部分(例如r＝0.9和t＝0.1)。反射表 面布置成使得空间调制光在它们之间来回反射，并且光在沿着输出表面703b 的多个点发射，如上面参考图6的波导608所述。在这个实施例中，瞳孔扩 展器基本是细长的。瞳孔扩展器提供在一个方向上的瞳孔扩展—即伸长方向， 但本公开可以扩展到包
括布置成在正交方向上扩展瞳孔的第二瞳孔扩展器 的存在。
[0164]
图7示出了光线702如何被有效地复制两次以形成三个传播路径705， 每个路径与不同的距离z0,z1和z2相关。最短的传播路径对应于z0，并且在 这个示例中，光已经穿过波导而没有任何内部反射。所示的三个中的中距离 传播路径对应于z1和瞳孔扩展器中的两个内部反射(每个表面一个)。所示的 最长传播路径对应于z2和瞳孔扩展器中的四次内部反射(每个表面两次)。平 面x0,x1和x2分别示出了与三个传播路径z0,z1和z2中的每个相关的光场的 空间范围。更具体地说，图7示出了x0,x1和x2这三个平面在x方向上是如何 相互偏移的。
[0165]
图7还示出了观察系统713，其包括入射瞳孔707、透镜709和光传感 器711。在实施例中，观察系统713是人眼，光传感器711是眼睛的视网膜。 图7示出了只有一些与每个传播路径相关的光场通过入口707。图7示出了 与穿过入射瞳孔707中心的中距离传播路径的中心相关的光线。但是例如， 与最短传播路径的光场的中心相关的光线被孔径707的顶部阻挡。然而，与 最短传播路径的光场相关的其他光线可以穿过孔径707。与最长传播路径的 光场中心相关的光线被孔径707的下部阻挡。然而，与最长传播路径的光场 相关的其他光线也可以穿过孔径707。
[0166]
穿过孔径707的光被透镜709聚焦到光传感器711上。光传感器711的 平面基本平行于显示设备701的平面，因此也相对于瞳孔扩展器703的细长 维度倾斜。
[0167]
图7仅以举例的方式示出了三种可能的光传播路径。本公开不受传播路 径数量的限制。也就是说，本领域技术人员将从以下描述中理解，该方法可 以扩展到考虑任何数量的光传播路径。同样，瞳孔扩展器相对于显示平面和 传感器平面倾斜也不是必须的。
[0168]
图8是示出该方法步骤的流程图。该方法类似于gerchberg-saxton类型 的算法，该算法使用在图像平面和全息图之间来回的数学变换来会聚在对应 于图像的相位全息图上。在每次传播到图像平面或全息平面之后，光场的振 幅分量被修改或约束，但相位分量被保留。
[0169]
该方法的第零阶段包括步骤802和804。第零阶段包括形成第零复合光 场。步骤802提供随机相位种子，形成第零复合光场的相位分量。步骤804 提供第零复合光场的振幅分量。振幅分量可以是代表将用于从全息图重建图 像的光源光的单位或振幅分布。
[0170]
在步骤806中，第零复合光场从空间光调制器701(即从全息平面)菲涅 耳传播到观察系统713的入射瞳孔707(更具体地，传播到包含观察系统713 的入射瞳孔707的平面)。此外，该实施例将菲涅耳传播称为可以使用的多 种不同数学变换的一个示例，而不脱离本公开的精神或范围。对由瞳孔扩展 器703提供的每个数量的反弹或内部反射执行步骤806，以形成关于每个光 传播路径的复合光场。步骤806包括考虑入射瞳孔707的平面处在x方向上 的复合光场的横向位置，以及瞳孔扩展器703内每次反射的相移。不同的复 合光场可以例如通过相加来组合。第一阶段还包括步骤808，根据入射瞳孔 707的尺寸和形状裁剪组合的复合光场，以在入射瞳孔707处形成第一复合 光场。
[0171]
该方法的第二阶段包括步骤810和812。在步骤810中，通过将第一复 合光场从入射瞳孔穿过透镜709传播到光传感器711的平面来确定第二复合 光场。步骤812包括修改到达光传感器711的复合光场的振幅分量。更具体 地，步骤812包括用目标图像的振幅分量或者基于目标图像的振幅分量的振 幅分量(例如目标图像的振幅分量的加权版本)来替换复
合光场的振幅分量。 传播中使用的透镜709的位置决定了图像距离，即图像内容将出现的空间。 在一些实施例中，图像是虚拟图像，并且该距离可被称为虚拟图像距离
ꢀ“
vid”。
[0172]
有利地，这里公开的方法允许使用相同的全息图在多个不同的图像距离 (例如多个vid)形成图像内容。发明人认识到，这可以通过考虑透镜709在 z方向上的不同位置，对每个图像距离重复第二阶段来实现。例如，根据这 种方法为每个不同图像距离确定的复合光场可以通过相加来组合。
[0173]
该方法的第三阶段包括步骤814，其中第二复合光场经由透镜709传播 回入射瞳孔707。这可被称为反向传播，仅仅是为了反映光在相反的z方向上 行进。在一些实施例中，反向传播是对应的“正向”传播的数学逆。第三阶段 还包括根据入射瞳孔707的尺寸和形状裁剪传播的光场，以形成第三复合光 场。
[0174]
第四阶段包括步骤816和818。在步骤816中，光经由瞳孔扩展器的多 个光传播路径传播回空间光调制器702的平面，以上面关于第一阶段描述的 方式—但当然是在相反的光方向上(即“反向”传播)。步骤818包括根据显示 设备的有效/像素区域的大小和位置裁剪传播的光场。每个复合光场的复数值 的数量可以等于或小于显示设备的像素数量。
[0175]
步骤820包括从第四复合光场中提取全息图。全息图可以包括第四复合 光场的相位值，在这种情况下，全息图可被称为相息图。如本公开中前面所 解释的，该方法同样可以从图像平面开始(即第三阶段)。根据本公开，每个 阶段需要至少一次迭代。图9和10描述了用这种方法形成的全息图。
[0176]
光通道
[0177]
图9a示出了用于投影的图像1552，包括八个图像区域/分量v1到v8。 图9a仅作为示例示出了八个图像分量，并且图像1552可被分成任意数量的 分量。图9a还示出了编码光图案1554(即全息图),其可以重建图像1552—例 如，当被合适的观察系统的透镜转换时。编码光图案1554包括第一至第八 子全息图或分量h1至h8，对应于第一至第八图像分量/区域v1至v8。图 9a进一步示出了根据本公开计算出的全息图如何通过角度有效地分解图像 内容。因此，全息图的特征在于它对光的引导。这在图9b中示出。具体来 说，根据本公开的全息图将光引导到多个离散区域。在所示的示例中，离散 区域是盘，但也可以设想其他形状。在通过波导传播之后，最佳盘的尺寸和 形状可以与观察系统的入射瞳孔的尺寸和形状相关。这种光通道的出现仅仅 是由于在此公开的确定全息图的特定方法。
[0178]
图10示出了根据图9a和9b所示认识的改进的观察系统1500。
[0179]
观察系统1500包括显示设备，该显示设备在该布置中包括lcos1502。 lcos1502布置成显示包括全息图的调制图案(或“衍射图案”)，并将已经全 息编码的光投射到眼睛1505，眼睛1505包括充当孔径1504的瞳孔、晶状体1509和充当观察平面的视网膜(未示出)。具有布置成照射lcos1502的光源 (未示出)。眼睛1505的晶状体1509执行全息图到图像的转换。
[0180]
观察系统1500还包括位于lcos1502和眼睛1505之间的波导1508。 图10中的投影距离可能相对较大。然而，如关于前面的附图所描述，波导 1508的存在使得来自lcos1502的所有角度内容能够被眼睛1505接收，即 使在这个相对大的投影距离处。这是因为波导1508以上面已经描述的方式 充当瞳孔扩展器。
[0181]
此外，在该布置中，当lcos1502已经根据这里描述的方法被编码时， 波导1508可
相对于lcos1502以一定角度定向，以便在来自lcos1502的 光和观察者将感知的虚像之间建立独特的关系。波导1508的尺寸、位置和 定位配置成确保来自虚像的每个部分的光进入波导1508，并沿着其细长轴被 引导，在波导1508的基本平坦的表面之间反弹。每当光到达第二平面表面(最 靠近眼睛1505)时，一些光被透射，一些光被反射。
[0182]
图10示出了沿着波导1502长度的总共九个“反弹”点b0到b8。读者会 注意到图像1552的中心保持空白。图10示出了波导内第0到第9个光“反 弹”或反射点b0到b8。尽管与图像(v1-v8)所有点相关的光在从波导1508 的第二平面表面的每次“反弹”时被传输出波导，但只有来自图像的一个角部 分的光(例如v1到v8之一的光)具有使其能够从每个相应的“反弹”点b0到 b8到达眼睛1505的轨迹。此外，来自图像v1到v8的不同角度部分的光 从每个相应的“反弹”点到达眼睛1505。图10示出了在每个“反弹”点发射的 来自所有不同角度内容的光(由每个传输点处的多个短箭头表示)，但随后仅 示出了各个角度内容的到眼睛1505的光路，该光路将实际从波导的相应部 分到达眼睛1505—因此将有助于观察者将感知的虚像的相应部分。例如，对 于第零次反弹b0，由波导1508传输的光被简单地折射，并且在其中不经历 任何反射。第八个子全息图h8的光从第零次反弹b0到达眼睛。对于下一 次反弹b1，由波导1502传输的光在传输之前在其中经历一次反弹。来自第 七个全息图h7的光从下一次反弹b1到达眼睛。这按顺序继续，直到由波 导1508在最后一次反弹b8处透射的光在被透射并到达眼睛1505之前已经 经历了八次反射，并且包括根据第一全息图h1编码的光。
[0183]
在图10所示的示例中，只有一个图像区域的光从每个反弹点到达眼睛。 因此，当如本文所述确定全息图时，在虚像的区域和它们在波导上的相关反 弹点之间建立了空间相关性。在一些其他示例中，可能存在相对小的重叠， 使得图像的一个区域来自两个相邻的传输点，并且因此包含在从波导向观察 平面传播的两个相邻的光盘中。
[0184]
因此，发明人的认识以及这里描述的方法和装置能够产生包括全息图的 衍射图案(或光调制图案),当在lcos或其他合适的显示设备上显示时，该衍 射图案能够使光以多个“盘”或光束的形式从其中有效地发射，每个盘或光束 对应于(更具体地，编码)相应虚像的不同的相应部分。
[0185]
总的来说，本公开涉及根据图像内的位置成角度地分布光(在全息图域 中)的全息图的计算，以及所述光通过提供多个光传播路径的瞳孔扩展器的 传播，其中每个光传播路径对应于图像的相应连续区域。本公开的特征还在 于，确定图像的第一图像分量，并且相对于图像的第一图像分量比第二图像 分量分配更多的数据处理资源来计算全息图。
[0186]
第一组实施例：图像的子区域
[0187]
总之，图11和12示出了如何计算观察者的视网膜中央凹区域以获得高 图像质量，而计算图像的其余部分以获得较低质量(但足以满足周边视觉)。
[0188]
更详细地说，图11示出了显示图像的显示区域1101。例如，显示区域 1101可以是显示系统比如平视显示器的显示区域。根据本公开，图像变化(例 如随时间)。图像可能会实时变化，例如以视频速率变化。每个图像可以是 图像帧序列中的一个图像帧。每个图像可以包括图像内容。每个图像可以包 括多个不同的图像元素。仅作为示例，图11示出了包括三个图像元素的图 像。第一图像元素代表速度计。第二图像元素代表车辆前照灯指示器。第三 图像元素代表警告指示器。第一、第二和第三图像元素在显示区域内是分开 的。
更具体地说，图11和12的图像是同一目标图像的重建。第一全息图和第二 全息图是从同一目标图像独立计算的。然而，根据本公开，用于计算第一全 息图的处理资源的分配不同于用于计算第二全息图的处理资源的分配。针对 视网膜中央凹视觉区域分配更多的处理资源，以便提高与视网膜中央凹视觉 区域对准的全息重建的图像质量。这并不像看起来那么简单，因为全息图的 每一部分都对图像的每一部分有贡献。然而，这里描述的全息图和瞳孔扩展 器的配置提供了多个不同的光传播路径，其中每个光传播路径对应于图像的 相应连续区域。发明人认识到，他们的全息图计算方法有效地允许将不同的 处理资源分配给不同的光传播路径，使得重建质量可以是图像内位置的函数。 这是用其他全息方法无法实现的，并且带来了显著的优点，特别是当观察系 统对光的响应不均匀时。
[0194]
图12示出了可选的进一步改进，其中被分配了提升的处理资源的图像 的子区域延伸超过视网膜中央凹视觉区域。图12示出了子区域如何延伸以 包括部分包含在视网膜中央凹视觉区域中的图像的整个图像特征，即第三图 像元素。有效地扩展了高图像质量的区域。在与图11一致的其他实施例中， 子区域延伸不超过相应的视网膜中央凹视觉区域。
[0195]
在此公开的全息图计算方法有效地计算每个图像的多个子全息图，并组 合这些子全息图以形成用于显示的全息图。在一些实施例中，相对于第一图 像分量比第二图像分量分配更多的数据处理资源包括相对于对应于第一子 区域的第一子全息图的计算分配比对应于第二子区域的第二子全息图更多 的数据处理资源。
[0196]
在全息图是点云全息图的一些实施例中，相对于第一子区域比第二子区 域分配更多的数据处理资源包括使用相对于第一子区域比第二子区域更高 密度的点云数据点。
[0197]
在使用迭代算法计算全息图的其他实施例中，相对于第一子区域分配更 多的数据处理资源包括相对于图像的第二子区域执行更多的算法迭代。
[0198]
在另外实施例中，通过点云方法计算对应于第一子区域的第一子全息图， 并且通过迭代算法计算对应于第二子区域的第二子全息图。
[0199]
在上面的概述中阐述了可选的但实现更多优点的附加特征。这里不再重 复这些特征，因为它们是不言自明的，因此不需要具体的示例或附图来完全 理解。
[0200]
在参考图11和12描述的实施例中，可以说图像包括第一图像分量和第 二图像分量，其中每个图像分量是图像的不同子区或子区域。也就是说，图 像分量是图像的空间分量，例如图像像素的连续和/或持续块，它们共同构成 完整的图像。然而，根据本公开，图像可被不同地分解。也就是说，“图像 分量”可以是图像的不同方面或构成元素。
[0201]
第二组实施例：单色分量
[0202]
在一些实施例中，用于重建的图像是包括多个单色图像分量(例如红色、 绿色和蓝色分量)的彩色图像，这些分量例如通过叠加在显示平面上而共同 形成彩色图像。例如，彩色图像可以包括多个图像像素，其中每个图像像素 包括红色像素值、绿色像素值和蓝色像素值。读者将非常熟悉这个概念。在 这些实施例中，第一图像分量是图像的第一单色图像分量。在这些实施例中， 第二图像分量是图像的第二单色图像分量。可能存在图像的第三单色图像分 量，其中第一图像分量对应于红色，第二图像分量对应于绿色，第三图像分 量对应于蓝色。每个单色图像分量包括多个像素。
[0203]
在这些实施例中，每个单色图像分量被独立处理。每个单色图像分量都 可被认为是独立的“图像”。计算每个单色图像分量的全息图。因此，每个图 像可以产生至少第一全
息图和第二全息图。可以适当地照射第一全息图(例 如用提供红光的激光二极管)以形成第一(红色)图像分量。可以适当地照射第 二全息图(例如用提供绿光的激光二极管)以形成第二(绿色)图像分量。每种 颜色的空间调制光通过瞳孔扩展器传播到观察系统。仅作为示例，可以使用 诸如这里称为帧顺序颜色和空间分离颜色的方案来重建单色图像分量以形 成全色图像。
[0204]
读者将理解，可能存在这样的情况，其中相对于图像的一个单色分量分 配比另一个单色分量更多的全息图计算资源是有益的。
[0205]
例如，在一些实施例中，观察系统或观察者对对应于第一单色图像分量 的光比对第二单色图像分量更敏感。也就是说，与具有对应于第二单色图像 分量的波长的光相比，观察系统对具有对应于第一单色图像分量的波长的光 更敏感(例如提供更大的输出)。优先计算全息图可能是有利的，这将引起观 察系统的最大响应。例如，当观察系统是人类观察者时，在计算将产生绿色 图像而不是红色或蓝色图像的全息图时，花费更多时间或处理更多数据点是 有利的。这些实施例实现了提高由观察系统感知的图像质量的技术进步。
[0206]
在其他实施例中，确定第一单色图像分量在视觉上比第二单色图像分量 在图像中更占优势。由于这种确定，与第二单色图像分量相比，优先计算第 一单色图像分量的全息图是有利的。这些实施例还实现了提高由观察系统感 知的图像质量的技术进步。
[0207]
在另外实施例中，识别图像的背景区域(例如，通过已知的图像处理/分 析技术),并且识别图像的背景区域的参数，例如颜色或通常的主色，例如最 常见的颜色或平均颜色。在这些实施例中，确定一个单色图像分量比另一个 单色图像分量更可能可见(例如在背景上)。该确定可以基于图像背景的识别 参数。该确定可以包括背景参数(例如颜色)和单色图像分量的相应参数之间 的对比度的测量。根据本公开，更多的数据处理资源被分配给对应于多个单 色图像分量中被认为或被确定为在背景上更可见的单色图像分量的全息图 的计算。
[0208]
在其他实施例中，重建多色图像的色彩平衡在对应于由例如眼睛、头部 或视线跟踪观察者识别的非视网膜中央凹视觉区域的图像区域中变化。例如， 这可以包括将色彩平衡朝向500nm移动和/或降低任何波长大于600nm的图 像光的强度。
[0209]
这里描述的改进的方法和装置可以在各种不同的应用和观察系统中实 现。例如，它们可以在平视显示器(hud)中实现。虽然这里已经总体描述了 虚像，虚像需要眼睛转换接收的调制光以形成感知的图像，但这里描述的改 进的方法和装置可以应用于实像。
[0210]
附加特征
[0211]
实施例仅通过示例的方式涉及电激活的lcos空间光调制器。本公开的 教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间 光调制器上实现，例如任何电激活的slm、光学激活的slm、数字微镜设 备或微机电设备。
[0212]
在一些实施例中，光源是激光器，比如激光二极管。本公开的全息投影 系统可以用于提供改进的平视显示器。在一些实施例中，提供了一种车辆， 其包括安装在车辆中的全息投影系统，以提供hud。车辆可以是机动车辆， 比如汽车、卡车、货车、卡车、摩托车、火车、飞机、船只或轮船。
[0213]
在公开的第二组实施例中，全息重建是彩色的。在一些实施例中，被称 为空间分离颜色“ssc”的方法被用于提供彩色全息重建。在其他实施例中， 使用了被称为帧顺序彩
色“fsc”的方法。
[0214]
ssc方法将三个空间分离的光调制像素阵列用于三个单色全息图。ssc 方法的优点是图像可以非常明亮，因为所有三个全息重建可以同时形成。然 而，如果由于空间限制，在公共slm上提供三个空间分离的光调制像素阵 列，则每个单色图像的质量是次优的，因为只有可用光调制像素的子集用于 每种颜色。因此，提供了相对低分辨率的彩色图像。
[0215]
fsc方法可以使用公共空间光调制器的所有像素来依次显示三个单色 全息图。循环单色重建(例如红色、绿色、蓝色、红色、绿色、蓝色等)足够 快，使得人类观察者从三个单色图像的合成中感知到多色图像。fsc的优点 是整个slm用于每种颜色。这意味着所产生的三个彩色图像的质量是最佳 的，因为slm的所有像素都用于每个彩色图像。然而，fsc方法的缺点是 合成彩色图像的亮度比ssc方法低大约3倍，因为每个单色照射事件只能在 三分之一的帧时间内发生。这个缺点可以通过过激励激光器或者通过使用更 大功率的激光器来解决，但这需要更大的功率，导致更高的成本和系统尺寸 的增加。
[0216]
示例描述了用可见光照射slm，但本领域技术人员将理解，例如，光 源和slm同样可以用于引导红外或紫外光，如本文公开。例如，为了向用 户提供信息，本领域技术人员将知道用于将红外和紫外光转换成可见光的技 术。例如，本公开延伸到为此目的使用磷光体和/或量子点技术。
[0217]
一些实施例仅通过示例描述了2d全息重建。在其他实施例中，全息重 建是3d全息重建。也就是说，在一些实施例中，每个计算机生成的全息图 形成3d全息重建。
[0218]
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可 读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器 (ram)、只读存储器(rom)、缓冲存储器、闪存和高速缓冲存储器。术 语“计算机可读介质”也应被认为包括能够存储用于由机器执行的指令的任 何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器 整体地或部分地执行本文所述的任何一种或多种方法。
[0219]
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介 质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例 形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例 实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包 括瞬态介质(例如传递指令的传播信号)。
[0220]
对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的 情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的 范围内的所有修改和变型。