本发明属于眼睛投影领域，更具体地涉及用于将纯/增强的虚拟现实图像投影到用户眼睛的技术。
背景
用于将虚拟和/或增强的虚拟现实投影到用户眼睛(双眼)的头戴式或以其他方式可穿戴的图像投影系统正变得越来越流行。这种系统在很多情况下被配置为可戴在用户头部上的眼镜，并且可操作用于将图像投影到用户的眼睛以向用户提供虚拟现实图像/视频投影。为此，某些已知的系统旨在向用户眼睛提供纯虚拟现实图像投影，其中来自外部场景的光被阻挡而不能到达眼睛(双眼)，同时其他系统被指导以提供增强的虚拟现实感知，其中来自外部场景的光被允许传到眼睛，同时还通过由图像投影系统投影到眼睛的图像/视频帧增强/叠加。
例如，第2013044042号美国专利申请公开了包括被配置成戴在用户的头部上的框架的电子设备。该框架可以包括鼻梁架以及额头部分，该鼻梁架被配置成被支承在用户的鼻子上，该额头部分接合到鼻梁架并离开鼻梁架延伸，并且额头部分被配置成布置在用户的额头的一侧上。框架还可以包括接合到额头部分并且延伸至自由端的臂。第一臂可以布置在用户的太阳穴上，其中自由端被布置成靠近用户的耳朵。该设备还可以包括透明显示器和输入端，透明显示器以与额头部分相邻的方式被固定至框架，并且输入端固定至框架并被配置成从用户接收与功能相关联的输入。与功能相关的信息可以在显示器上呈现。
第7,936,519号美国专利公开了一种头戴式显示器，包括：戴在观察者的头部上的眼镜框架型框架；以及两个图像显示设备，这两个图像显示设备中的每个图像显示设备包括图像生成设备和光引导装置，该光引导装置安装至图像生成设备，其作为整体被定位在观察者的脸的相对于图像生成设备的中心侧，从图像生成设备发射的光束入射在光引导装置上，光束通过光引导装置被引导，且光束从光引导装置朝着观察者的瞳孔被发射。
第8,289,231号美国专利公开了一种头戴式虚拟图像显示单元，该头戴式虚拟图像显示单元在尺寸和重量上是紧凑的，并且结合了提供清楚的穿透能力的高性能光学系统。当穿透能力不理想的时候，可以针对这些实例结合滑动遮光罩。可以结合焦点调节，以允许图像在例如大约18英寸的距离处到无穷远的聚焦。可以结合可调节头带，该可调节头带适于适应用户的头部。可以结合柔性臂架结构，以有助于对光学组件进行精细位置调节。还可以结合滑动器和球窝接合机构，以有助于光学组件的位置调节。可以结合内置麦克风，以使得能够由用户进行语音输入。头戴式虚拟图像显示单元可以结合眼镜或安全镜舒适地使用，并且在不阻挡用户对周围环境的观察的情况下向用户提供有用的图像。该单元被设计成具有满意的外观以便极大地增强用户接受度。
第8,384,999号美国专利公开了一种用于头戴式显示器和其他应用的光学模块。该光学模块包括具有相互啮合的脊形表面的光学衬底和光学覆盖物。在表面中的至少一个上形成反射层。在表面之间可以定位折射率匹配材料。从投影仪接收投影图像的区域把从投影仪发射的光线定向在脊形表面上，使得在使用时，观察者感知到增强的图像。增强的图像包括来自投影仪的反射光线以及来自位于模块的与观察者相反的侧上的对象的透射光线。
在某些技术中，对眼睛位置和运动进行跟踪，以确定用户的焦点区域。例如在hewittd.crane和carrollm.steele于1985年2月15日在appliedoptics第24卷第4期第527-537页发表的“generation-vdual-purkinje-imageeyetracker”中，公开了一种眼睛跟踪技术。在美国专利6,943,754中公开了用于跟踪目光的技术的另一个示例。
第2012154277号美国专利申请公开了一种方法和系统，其在使用近眼显示设备(诸如，设置透视显示设备或头戴式显示设备)时增强了用户的体验。创建显示器的相对于用户在场景中的视场的优化图像。对用户的头部和眼睛的位置和运动进行跟踪以确定对于用户的焦点区域。优化图像的一部分耦合到用户在眼睛的当前位置上的焦点区域，预测的头部和眼睛的下一个位置，并且优化图像的一部分耦合至用户在下一个位置上的焦点区域。
第7,542,210号美国专利公开了一种头戴式显示设备，该头戴式显示设备具有将设备附接到用户的头部的架子、使用移动设备附接到架子的分束器、将图像投影到分束器上的图像投影仪、跟踪用户的眼睛的目光的眼睛跟踪器以及一个或更多个处理器。该设备使用眼睛跟踪器和移动设备连同可选的头部跟踪器，以使分束器绕眼睛转动的中心移动，使分束器保持在眼睛的直接的视线中。用户同时观察图像以及图像后面的环境。可以在用户的另一只眼睛上使用第二分束器、眼睛跟踪器和投影仪，以创建立体虚拟的环境。显示器可以对应于人眼的分辩能力。本发明在用户观看的任何地方预设高分辨率图像。
第wo2013/117999号国际专利申请公开了用于目光跟踪的系统、方法和计算机程序产品。示例性方法包括使用投影仪将光定向至眼睛中；使用图像捕获模块来检测来自与眼睛相关联的表面的反射；以及基于所检测到的反射来确定与眼睛相关联的视线。在一些实施例中，光包括红外光。在一些实施例中，投影仪包括激光器。在一些实施例中，投影仪包括硅基液晶(lcos)芯片。在一些实施例中，与反射相关联的表面是在角膜、虹膜或视网膜中的至少一个。
总体描述
用于向用户提供虚拟或增强现实的常规投影系统通常基于向用户眼睛投影图像(例如，视频图像)，使得当图像定位/聚焦在位于眼睛前方一定距离处(例如，通常与眼睛相距约4米至若干米的距离)的中间图像平面时，由用户眼睛感知到图像。图像聚焦于其上的中间图像平面的短距离(例如，在4米处的焦点)差不多/几乎与无穷远处的焦点不可区分，并且通常等同于焦点，特别是在其中出射光瞳相对较大(例如，在大约15mm左右)的眼睛投影系统的情况下以及在典型的眼睛投影系统的情况下。因此，这种眼睛投影系统的焦深也非常大，并且难以测量和精确调节焦距(到中间平面的距离)。然而，具有较小的入射光瞳和相应焦深的眼睛仍然对眼睛投影系统的焦距的不准确性敏感。这导致显著的眼睛疲劳，并且当用双眼观看图像时特别成问题，因为可能在眼睛看到的相应焦距之间有差异。在其上投影了图像的中间图像平面可以是眼睛前方的实像平面(即，形成图像的投影光束实际聚焦到的位置)或虚像平面(即，由用户眼睛感知到的形成图像的投影光束所聚焦到的位置)。在任何情况下，在这种常规的图像投影系统中，中间图像平面必须在光学上被传递到用户的眼睛。换句话说，由于中间图像平面(无论是虚像平面还是实像平面)通常被放置在眼睛前方的某个有限距离处，因此仅当目镜聚焦到该特定距离时才聚焦到眼睛视网膜上。
存在有将图像投影到眼睛的两种通用方法：一种方法由系统的出射光瞳来限定，并且另一个方法由系统的眼盒(eyebox)来限定。这两种方法之间的主要区别在于出射光瞳方法在投影区域上提供具有非常锐利的过渡边缘的均匀光强度，而眼盒方法可以产生平滑的过渡边缘，但投影区域上的图像强度不均匀。
投影图像在与用户眼睛相距某个有限距离处感知到的常规虚拟/增强现实成像技术的一个主要缺陷涉及眼疲劳的发展，并且在许多情况下，头疼与这样的事实相关联：虽然投影图像中的对象可以在与眼睛相距各种距离处被感知到，但是由眼睛捕获的图像实际上定位/聚焦在与眼睛相距固定距离处。这通常混淆/困扰大脑中的视觉感觉机制，产生眼疲劳和头疼。
常规技术的另一个主要缺陷涉及在眼睛相对于投影系统的相对位置和取向之间的变化(例如，与投影设备相对于眼睛的移动相关联的变化)。这种变化实际上改变了用户眼睛所感知到的投影图像所在的定位，这导致了使用常规虚拟/增强现实眼镜的人的显著的不适。
本发明提供了一种新颖的眼睛投影技术，其能够解决现有技术中已知的上述缺陷。更具体地，本发明提供了用于将图像直接投影到眼视网膜上的新颖系统和方法(而不具有眼睛外部的中间实际/虚拟光学图像投影平面)。
在共同转让给本申请的受让人的pct/il2014/050210号共同未决的国际专利申请中例如更详细地描述了在眼视网膜上直接投影图像的技术的原理，并且其通过引用并入本文。图像直接到眼睛的视网膜上的这种直接投影允许在视网膜上生成具有改善的景深的图像，从而避免或至少显著减少作为眼睛试图聚焦到错误距离的结果的眼睛不适和疲劳。
本发明另外提供了用于监测和/或跟踪眼睛的位置和眼睛/瞳孔的视线/目光两者的新颖系统和方法。本发明还提供了新颖的眼睛投影设备/系统，其能够在补偿眼睛相对于投影设备的位置/定位的变化并且还补偿目光方向上的变化的同时将投影图像(多个投影图像)引导到用户眼睛(用户的双眼)上。有利的是，本发明的技术允许以非常高的速率(例如，10-3秒的量级乃至以下)执行这种补偿，这足够快，例如在用户感知到与目光/眼睛位置的变化相关联的视网膜上的图像投影的定位的任何变化/闪烁之前执行这种补偿。因此，图像可以在不受目光变化和/或在眼睛与投影系统之间的相对位置变化的影响的同时被投影在视网膜上的固定定位处。
这是通过基于眼睛光轴方向(也可以互换地称为眼睛的视线(los)或目光方向)的光学测量的新颖技术来实现的。与依赖普尔钦斑(purkinjeimage)(例如，及其组合)用于参考静态光源评估瞳孔位置的普通眼睛跟踪系统相比，这种新颖方法是有利的。这是因为普尔钦斑分析有两个显著的缺点：一个缺点在于以下事实：图像必须实际分析，这需要花费时间并对图像本身提出很多要求，诸如寄生照明、对比度和噪声；第二个缺点在于眼睛不是完全刚性体，并且眼睛的各个部分某种程度上独立地运动，从而导致在目光方向(眼睛光轴)和普尔钦斑之间高达+/-0.3度的偏差。另外，微扫视和眼睛震颤的时间尺度完全在普通相机曝光时间域之外，这使得在没有随后的超过对于眼睛的最大允许曝光(mpe)值并因此导致永久或临时眼损伤的情况下，不可能获得足够的曝光帧。
在这一点而言，应该指出的是，视网膜上的图像的小扫视运动(震颤)(其通过眼睛的扫视运动来实现)对于眼睛对图像的感知是必需的/需要的。随着在视网膜上的图像的震颤相关的运动，图像被感知为稳定的并且相对于眼睛/视网膜定位在固定的取向处(位置/角度/方向)。没有震颤运动的状态将导致通常称为视网膜疲劳的状况。这种状况表现在投影图像的静态部分逐渐感知消失(视网膜上的投影不会通过震动相关的运动来移动)。
为了解决这个问题并避免视网膜疲劳的状况，本发明还提供了一种用于过滤/避免对眼睛的震颤运动的补偿的技术。为此，短语视网膜上的固定/特定定位应该被理解为视网膜上的定位，其被固定在扫视眼运动所允许的范围内，但是其在一些情况下可能不是绝对固定的，并且可能由于扫视眼运动而稍微移动。因此，应该注意的是，以下更详细描述的本发明的技术提供了补偿大的眼运动(例如，其与目光方向的变化和/或与脸上的眼镜的位置的变化相关联)，而小的眼运动(诸如，扫视运动(震颤))可能不被补偿，同时仍然允许图像在视网膜上的固定定位上完全稳定地显现。
因此，根据本发明的广泛方面，提供了一种眼睛投影设备，其包括眼睛投影系统，该眼睛投影系统被配置用于投影光束以沿着到达眼睛的传播路径传播。眼睛投影系统包括光学组件，该光学组件限定在光学组件中的光的总体光学路径。光学组件包括偏转器装置，该偏转器装置包括一个或更多个可调光学偏转器，该可调光学偏转器沿着总体光学路径布置并且被配置以限定光束从光学组件到眼睛的可调传播路径。根据本发明，一个或更多个光学偏转器配置有至少三个(并且通常是四个)可调偏转参数，并且被布置以实现到达眼睛的传播路径的偏转的至少三个(并且通常是四个)自由度，由此能够调节光束朝向眼睛的传播路径。在至少三个自由度中的两个自由度通常与到达眼睛的传播路径的两个角度取向相关联，用于补偿眼睛的目光方向上的角度变化，并且在三个或四个自由度中的至少一个自由度且通常为两个自由度与传播路径的横向偏转相关联，用于补偿投影系统相对于眼睛的相对横向位置上的变化。
在一些实施例中，眼睛投影设备还包括控制器，该控制器适于接收指示眼睛的目光方向的变化以及眼睛投影系统相对于眼睛的相对横向位置上的变化的数据，并且根据该数据调节一个或更多个可调光学偏转器的偏转参数，用于不管眼睛的目光方向的变化和眼睛投影系统的位置的变化如何都将引导光束以入射到眼睛的视网膜上的特定定位上。
在一些实施例中，眼睛投影系统适于将图像直接投影到眼睛的视网膜上。眼睛投影系统可以包括：图像投影模块，该图像投影模块用于将图像(多个图像)投影到眼睛的视网膜上，包括适于输出待投影到视网膜上的光束的光模块以及沿着光束的总体光学路径布置的图像光调制器。图像光调制器被配置并且可操作以接收指示图像的一个或更多个像素的图像数据，并且调制光束以在光束上编码图像数据，使得在视网膜上形成图像。更具体地，眼睛投影设备可以包括图像投影控制器，该图像投影控制器可连接于图像光调制器，并且适于接收指示图像的图像数据并且操作图像光调制器以调节光束的强度和色度成分，以在视网膜上形成图像。
在一些实施例中，偏转器装置的至少一个可调偏转器被配置并且可操作为瞳孔位置光束偏转器，以用于影响(相对于与到达眼睛的光束的传播路径垂直的一个或两个横轴)光束朝向眼睛的传播路径的横向偏转。在各种实施例中，通过改变瞳孔位置光束偏转器的偏转角和/或通过瞳孔位置光束偏转器的有效偏转表面的位置的线性平移，实现了传播路径的横向偏转。在通过改变瞳孔位置光束偏转器的偏转角来实现传播路径的横向偏转的情况下，瞳孔位置光束偏转器可以位于系统的光学转发器内。在通过平移瞳孔位置光束偏转器的偏转表面来实现传播路径的横向偏转的情况下，瞳孔位置光束偏转器可以相对于光束的传播方向定位在光学转发器的上游或下游。
在一些实施例中，至少一个可调光学偏转器被配置并且可操作为目光方向光束偏转器，以用于可调地影响光束朝向眼睛的传播路径的角度取向。在各种实施例中，通过目光方向光束偏转器的有效偏转表面的位置的线性平移和/或通过改变目光方向光束偏转器的偏转角，实现了传播路径的角度偏转。在通过目光方向光束偏转器的有效偏转表面的位置的线性平移实现传播路径的角度偏转的情况下，目光方向光束偏转器可以位于系统的光学转发器内。在通过改变目光方向光束偏转器的偏转角来实现传播路径的横向偏转的情况下，目光方向光束偏转器可以相对于光束的传播方向定位在光学转发器的上游或下游。
在一些实施例中，相同的可调偏转器被配置并且可操作用于调节与传播路径的角度偏转和横向偏转两者均相关联的传播路径的自由度。例如，可调光束偏转器的偏转表面的平移影响了传播路径的横向偏转，并且改变偏转器的偏转角影响了传播路径的角度取向，反之亦然。
在一些实施例中，眼睛投影设备包括眼睛跟踪模块，该眼睛跟踪模块被配置并且可操作以测量眼睛定位数据，该眼睛定位数据指示眼睛的目光方向和横向位置，用于朝向眼睛的传播路径的调节。眼睛跟踪模块可以例如包括：
-跟踪光端口，该跟踪光端口被配置并且可操作用于提供跟踪光束，该跟踪光束被引导以沿系统的光学组件的总体光学路径传播，同时与一个或更多个可调光学偏转器相互作用。跟踪光束入射到眼睛上产生了与跟踪光束从眼睛的反射相关联的反射光束，用于通过光学组件反向传播。
-一个或更多个传感器，该一个或更多个传感器在沿着总体光学路径的两个或更多个不同定位处光学耦合到总体光学路径，并且适于在两个或更多个不同定位处接收反射光束并且测量反射光束的一个或更多个传播性质；以及
-眼睛跟踪控制器，该眼睛跟踪控制器可连接到一个或更多个传感器并且可连接到一个或更多个可调光学偏转器。控制器适于从一个或更多个传感器接收指示反射光束在两个或更多个不同定位处的至少一种传播性质的读出数据，并且处理该读出数据以确定眼睛定位数据。在一些实施例中，眼睛定位数据指示在眼睛的目光方向和光束朝向眼睛的传播路径的取向之间的偏差以及在眼睛的瞳孔的横向位置和传播路径之间的偏差。
在一些实施例中，可调光学偏转器包括至少两个这种偏转器，至少两个这种偏转器沿着系统的光学路径连续布置，以限定与通过两个可调光学偏转器使光学路径偏转相关联的光学路径的两个相应的偏转级。两个或更多个传感器位于不同的定位处，并且分别在这两个偏转级处光学耦合到总体光学路径。控制器可以被配置并且可操作用于基于从与这些相应的可调光学偏转器相关联的光学路径的相应偏转级测量出的对应的传播性质，生成对于每个相应可调光学偏转器的操作指令。
例如，测量出的传播性质可以是反射光束的传播与预定标称位置的横向离轴偏差，并且控制器可以适于处理来自传感器的读出数据，以确定反射光束在传感器上的入射的定位，并且确定在入射的定位与传感器上的预定标称位置之间的偏差，并由此确定反射光束的传播性质。
在一些实施例中，控制器包括一个或更多个伺服回路，由此每个伺服回路被配置并且可操作以将在两个可调光学偏转器中的相应可调光学偏转器连接到在一个或更多个传感器中的对应传感器，用于基于从对应的传感器获得的读出数据(或者基于从对应的传感器测量出的传播性质)来生成操作相应的可调光学偏转器的操作指令。
在一些实施例中，一个或更多个传感器包括包含多个光检测器的目光方向传感器。目光方向传感器被布置成在偏转级处从总体光学路径收集反射的光束，该偏转级定位在反射光束与负责调节传播路径的角度取向的目光方向光束偏转器相互作用的定位之后(下游)。因此，来自目光方向传感器的读出数据/信息指示在眼睛的目光方向与朝向眼睛的传播路径之间的角度偏差。
在一些实施例中，眼睛跟踪控制器包括目光方向控制器，该目光方向控制器可连接到目光方向传感器并且可连接到目光方向光束偏转器。目光方向控制器被配置并且可操作用于操作目光方向光束偏转器，以使来自目光方向传感器的中心的反射光的偏差最小化到低于预定阈值的水平。
在一些实施例中，目光方向控制器包括震颤过滤模块，该震颤过滤模块适于处理来自目光方向传感器的读出数据，并且滤除目光方向的、与眼睛的震颤运动相关联的角度偏差。震颤过滤模块可以与震颤偏差阈值相关联，并且可以被配置并且可操作用于处理读出数据，以连续监测目光方向的角度偏差，并且针对低于震颤偏差阈值的角度偏差在开放伺服回路中操作由此不补偿与震颤运动相关联的偏差，并且针对大于震颤偏差阈值的角度偏差在闭合伺服回路中操作由此补偿与眼睛的震颤运动无关联的偏差。
在一些实施例中，跟踪光端口可操作用于输出作为调制光束的跟踪光束。眼睛跟踪控制器包括下列各项中的至少一项：锁相模块，该锁相模块适于采用跟踪光束的调制来锁相来自一个或更多个传感器的读出信息，由此抑制与由传感器感测到的ir光杂波相关联的噪声；以及带通滤波器，该带通滤波器被调谐到跟踪光束的特定波长。
在一些实施例中，一个或更多个传感器包括瞳孔位置传感器，该瞳孔位置传感器被布置/光学耦合到光学路径，用于在位于反射光束与负责调节传播路径的横向位置的瞳孔位置光束偏转器之间的相互作用之后定位的偏转级处收集从眼睛反射的光束。因此，来自瞳孔位置传感器的读出信息指示在眼睛的瞳孔的位置与朝向眼睛的光束的传播路径之间的横向偏差。
眼睛跟踪控制器可以包括瞳孔位置控制器，该瞳孔位置控制器可连接到瞳孔位置传感器并且可连接到瞳孔位置光束偏转器。瞳孔位置控制器适合于处理来自瞳孔位置传感器的读出数据/信息，并且操作瞳孔位置光束偏转器以至少部分地补偿在眼睛的瞳孔的位置与传播路径之间的横向偏差。
在一些实施例中，眼睛投影设备包括如上所述的分别向用户的双眼投影图像的两个眼睛投影系统：用于将图像投影到用户的一只眼睛的第一眼睛投影系统以及用于将图像投影到另一只眼睛的第二眼睛投影系统。在这样的实施例中，瞳孔位置控制器可以连接到第一眼睛投影系统的瞳孔位置传感器并且可以连接到第二眼睛投影系统的第二瞳孔位置传感器，并且适于检测用户双眼的瞳孔位置的“共模”移动，并且适于在与眼睛运动相关联的偏移和与眼睛投影设备相对于眼睛的运动相关联的偏移之间进行区分。
根据本发明的另一广泛方面，提供一种眼睛跟踪模块，该眼睛跟踪模块包括：
-跟踪光端口，该跟踪光端口被配置用于提供跟踪光束；
-光学组件，该光学组件被配置用于引导跟踪光束沿着朝向眼睛的传播路径传播，由此光学组件包括至少两个可调光学偏转器，该至少两个可调光学偏转器被配置并且可操作用于调节朝向眼睛的传播路径的角度取向和横向位置；
-至少两个光学传感器，该至少两个光学传感器光学耦合到分别与至少两个可调光学偏转器相关联的光学组件的总体光学路径，用于响应于跟踪光束朝向眼睛的引导而分别感测正在从眼睛反射回的反射光束；以及
-眼睛跟踪控制器，该眼睛跟踪控制器可连接到至少两个光学传感器，以从至少两个光学传感器接收读出信息；眼睛跟踪控制器适于处理读出信息，以确定分别指示传播路径与眼睛的瞳孔位置和目光方向的横向和角度偏差的数据。
根据本发明的又一方面，提供了一种光学组件，该光学组件用于将光束从眼睛投影设备引导至用户眼睛。光学组件包括沿着总体光学路径布置的至少两个可调光学偏转器。该至少两个可调偏转器被配置为在调节光束朝向眼睛的传播路径时提供至少三个并且通常至少四个的自由度。通常，其中两个自由度与补偿眼睛的目光方向上的角度变化相关联，并且其中的至少一个或两个自由度提供眼睛投影设备相对于眼睛的相对位置上的变化的补偿。
根据本发明的又一广泛方面，提供了一种眼睛投影设备，该眼睛投影设备包括眼睛投影系统，该眼睛投影系统被配置用于将图像直接投影到视网膜上，该眼睛投影系统包括：
(i)图像投影模块，该图像投影模块用于将图像投影到眼睛的视网膜上，包括光模块以及图像光调制器，该光模块适于输出将要投影到视网膜上的光束，该图像光调制器沿着光束的总体光学路径布置并且适于调制光束以在视网膜上形成图像；以及
(ii)光学组件，该光学组件用于将光束引导到眼睛，该光学组件包括沿着总体光学路径布置的至少两个角度可调偏转器；在角度可调偏转器中的至少两个角度可调偏转器被配置为在调节光束朝向眼睛的传播路径时提供至少四个自由度；其中在自由度中的两个自由度与补偿眼睛的目光方向上的角度变化相关联；并且在自由度中的两个自由度提供补偿眼睛投影设备相对于眼睛的相对位置的变化。
根据本发明的又一广泛方面，提供一种眼睛跟踪模块，该眼睛跟踪模块包括：
(i)光学模块，该光学模块限定光朝向眼睛传播的总体光学路径。该光模块包括：
a.目光方向光束偏转器，该目光方向光束偏转器被配置并且可操作以在两个角度维度上可调地偏转总体光学路径，以补偿在眼睛的目光方向上的变化。
b.光学转发器，该光学转发器包括至少两个间隔开的光学元件，该至少两个间隔开的光学元件在它们之间限定主焦平面；以及
c.瞳孔位置光束偏转器，该瞳孔位置光束偏转器位于主平面处，并且被配置并且可操作以在两个横向维度上可调地偏转总体光学路径，由此补偿在眼睛的瞳孔的横向位置上的变化；
(ii)ir光源，该ir光源被配置并且可操作用于输出ir束，该ir束被引导以沿着总体光学路径传播，同时与目光方向光束和瞳孔位置光束偏转器相互作用。
(iii)至少两个光学传感器。每个光学传感器包括多个ir光检测器(例如，四象限传感器)。至少两个光学传感器被布置成收集与正在从眼睛的视网膜反射回来的ir束相关联的反射ir光。至少两个光学传感器包括：
a.瞳孔位置传感器，该瞳孔位置传感器被布置成检测反射的ir光与瞳孔位置光束偏转器相互作用之后的反射的ir光；以及
b.目光方向传感器，该目光方向传感器被布置成收集反射的ir光与目光方向光束偏转器相互作用之后的反射的ir光；以及
(iv)眼睛跟踪控制器，该眼睛跟踪控制器可连接到至少两个光学传感器，以从这至少两个光学传感器接收读出信息。眼睛跟踪控制器适用于处理读出信息，以确定指示眼睛的瞳孔位置与总体传播路径的横向偏差的数据，并确定指示眼睛的目光方向与总体传播路径的角度偏差的数据。
在本发明的一些实施例中，眼睛跟踪模块的ir源可操作用于输出作为调制光束的ir光束。进而，眼睛方向控制器包括锁相模块，该锁相模块适于采用对ir光束进行调制来锁相来自在光学传感器中的至少一个光学传感器的读出信息，并且由此抑制与由光学传感器中的至少一个感测到的ir光杂波相关联的噪声。
应该注意的是，在下面的描述中，术语纵轴方向/横轴方向用于表示在沿光学/传播路径传播的光的局部坐标系中的轴或方向。横坐标涉及两个正交于光的传播方向的垂直轴，并且纵坐标与传播方向对齐。
在本文中使用的短语偏转或偏转器表示通过包括但不限于折射、反射和衍射的任何物理机制来影响/改变光的方向的任何光学模块。为此目的，术语可调光学偏转器也被称为可调偏转器或可调光束偏转器，并且这些术语在本文中用于表示某种类型的偏转器，诸如，其光偏转性质可以受控的电光偏转器或声光偏转器和/或可调反射镜(例如，通过向其施加适当的电、声或任何其他类型的控制信号来控制)。
附图简述
为了更好地理解本文中所公开的主题并且举例说明如何可以在实践中执行该主题，现在将参考附图仅通过非限制性示例的方式来描述实施例，在附图中：
图1a至图1f是根据本发明的几个实施例示意性地示出眼睛投影设备的框图；
图1g是根据本发明的实施例的方法的流程图，该方法用于通过对眼睛的位置和目光方向上的变化进行补偿来将光束(诸如，图像投影光束)引导向眼睛；
图2a和图2b是例示根据本发明的两个实施例的本发明的眼睛投影设备中使用的两个图像投影系统的配置的框图；
图3a是示出根据本发明的实施例的适于监测眼睛/瞳孔的定位和目光方向的眼睛跟踪设备以及利用眼睛跟踪设备促进的眼睛投影设备的框图；
图3b至图3d是示出监测和跟踪眼睛的或另一光学表面/系统的定位和视线(目光)的方法的流程图。
图3e以自我解释的方式示出了根据本发明的实施例的伺服回路的流程图，其用于监测/跟踪眼睛的定位和/或视线。
图4示出了根据本发明的实施例的装备有眼睛投影设备的眼镜。
图5a和图5b是集成本发明的系统的头戴式显示器(hmd)的用法的两个图解。
实施例的详细描述
一起参考图1a至图1f，图1a至图1f是根据本发明的六个实施例的示意性示出眼睛投影设备100的框图。注意到，为了清楚起见，在本申请的所有附图中，具有类似/相似功能的公共元件/模块和/或元件/模块通过相同的参考数字来表示。
眼睛投影设备100包括眼睛投影系统101，眼睛投影系统101被配置用于将图像直接投影到眼睛eye的视网膜上。眼睛投影设备100可以是例如增强或虚拟现实眼镜(glasses)(眼镜(spectacles))的一部分，并且可以包括两个眼睛投影系统(诸如，眼睛投影系统101)，每个眼睛投影系统用于将光束lb(例如，光束编码图像(多个光束编码图像))投影到在人眼之中的不同一只眼睛的视网膜上。为了清楚起见，在附图中仅具体显示了一个眼睛投影系统101。
眼睛投影系统101包括光学组件150，光学组件150限定其中光传播的总体光学路径op(例如，在其入口光学端口/光瞳en与其出口光学端口/光瞳ep之间)。光学组件150包括位于入口端口en和出口端口ep之间的偏转器装置，并且该偏转器装置包括沿着总体光学路径op布置的一个或更多个可调光学偏转器(例如，130和/或140)，并且该可调光学偏转器被配置成在光束从出口端口/光瞳ep离开之后限定光束的可调传播路径pp以在光学组件150和眼睛eye之间传播。
应该注意的是，短语入口端口/光瞳和出口端口/光瞳ep不必指定系统的物理元件，并且在本文中用于指定某些平面/孔径(例如，虚拟平面和/或光学表面)，该平面/孔径与光学路径op相交(例如，垂直于光学路径)，以及光穿过该平面/孔径分别进入光学组件以及离开光学组件。
通常，根据本发明，光学偏转器(例如，130和/或140)配置有至少三个可调偏转参数，例如，其可以与光学偏转器相对于一个或两个旋转轴线的可调偏转角相关联和/或与其沿着光学组件的总体路径的偏转位置的可调平移相关联。光学组件150(例如，其偏转器装置)被配置为使得至少三个可调偏转参数影响传播路径pp的偏转，以在调节光束lb朝向眼睛eye的传播路径pp时提供至少三个自由度。根据本发明的技术，受到偏转器的偏转参数控制的自由度中的至少两个自由度与到达眼睛的传播路径pp的两个角度取向(俯仰pc和偏移yw)相关联。这允许调节偏转器的偏转参数(偏转器的操作)，以调节传播路径pp朝向眼睛的角度取向，以便补偿眼睛eye的目光方向上的角度变化。另外，根据本发明的技术，自由度中的至少一个自由度(通常为两个自由度)与传播路径pp的横向偏转相关联。这允许调节偏转器的偏转参数，以补偿投影系统101相对于眼睛eye的相对横向位置的变化。
通常，光学组件150的偏转器装置包括至少两个可调偏转器130和140，借此偏转器以间隔开的关系布置，以与进入光学组件150的光束lb相继地相互作用并且限定其总体光学路径op。
然而，以图1d中所示为例，在其中需要仅对传播路径pp的三个自由度进行控制的一些实施例中，具有三个可调偏转参数的单个可调偏转器130可以被包括在光学组件中。在图1d的示例中，单个可调偏转器130的三个可调偏转参数包括偏转器130沿光学路径op的位移/平移以及偏转器130在二个维度上(相对于两个旋转轴线x和y或围绕两个旋转轴线x和y)的偏转角的调节。在这个示例中，偏转器130被布置在光学组件150中，使得这三个偏转参数提供对传播路径pp相对于两个角度/旋转轴线的角度取向的控制，从而能够对眼睛eye的目光方向的俯仰和偏移的变化进行补偿，并且补偿相对于眼睛投影系统101的眼睛eye的相对垂直位置或眼睛eye的相对水平位置。后者允许补偿不同人之间的瞳孔间距离的变化之一，或补偿眼睛投影设备100相对于眼睛eye的瞳孔的垂直位移。
通常，仍然如图1a、图1b、图1c、图1e和图1f所例示，光学组件利用具有至少一个附加偏转参数的两个或更多个可调光学偏转器(例如，130和140)来实现，由此限定提供对于传播路径pp的至少四个自由度的调节的至少四个偏转参数，自由度中的两个自由度提供对于眼睛的目光方向上的角度、俯仰和偏移变化的补偿，并且两个自由度提供投影系统101相对于眼睛eye关于两个空间横轴(例如，x和y)的在相对、垂直和水平、横向位置上的变化的补偿。
在一些实施例中，眼睛投影设备100包括射束定向控制器164(下文也简称为控制器)，该射束定向控制器164适于接收指示眼睛的目光方向的变化的和/或眼睛投影系统101相对于眼睛的相对横向位置的变化的数据，并且被配置且可操作以根据该数据调节可调光学偏转器(130和/或140)的偏转参数，以便引导光束入射到眼睛的视网膜上的特定定位，而不管眼睛的目光方向变化如何，也不管眼睛投影系统101相对于眼睛eye的垂直(例如，y轴)或水平(例如，x轴)横向位置(多个横向位置)的变化如何。
就此而言，应当理解的是，在本发明的一些实施例中(例如，与图1a、图1d、图1e和图1f中所示的实施例类似的实施方式)，光学组件150(例如，其中的偏转器的布置)被配置为使得偏转器130和/或140的每个可调偏转器参数负责影响传播路径pp的某个特定自由度(作为传播路径的俯仰和偏移取向之一或传播路径pp的水平和垂直位移之一)，而不影响传播路径pp的其他自由度。因此，在这样的实施例中，控制器164可以适于在不调节/改变它的其他偏转器的状态或其他偏转参数的情况下，通过调节相应偏转器130或140的相应偏转参数来补偿眼睛eye的目光方向的变化。在此情况下，控制器164还可以适于在不调节/改变它的其他偏转器的状态或其他偏转参数的情况下，通过调节相应偏转器(130或140)的对应偏转参数来补偿其眼睛eye或瞳孔的相对横向位置的变化。
换句话说，在本发明的一些实施例中(诸如，图1a、图1d、图1e和图1f所示)，负责调节传播路径pp的取向(俯仰/偏移)以匹配眼睛eye的目光方向的可调偏转器的偏转参数与传播路径pp的横向位置的调节解耦(即，它们基本不影响传播路径pp的横向位置)；和/或反之亦然，负责调节传播路径pp的横向(x或y)位置以匹配眼睛eye的瞳孔的定位的可调偏转器的偏转参数与对于传播路径pp的取向的调节解耦。在本发明的某些实施例中实现的该特征在下文中为了清楚和简洁而被称为“解耦特征”。实现解耦特征的实施例提供了几个优点。就这一次注意到，一般来说，与瞳孔的位置(其变化发生在几百毫秒的时间尺度内，并且很大程度上是由眼睛-设备相对位置导致的)相比，眼睛eye的目光方向变化得要更快/频繁(例如，有时超过每秒10次，并且通常加速度为2000至4000deg/sec2，而且持续时间在50至400毫秒之间)。在这方面，应理解以下内容：扫视是纯粹的眼运动，其由用户的视觉和认知负荷限定，并且因此以上述参数每秒发生几次。瞳孔的位置主要是横向运动，并且由眼睛与设备的相对位置来限定。像是环境振动、设备移动(滑动)的参数是最大的贡献方。这些由相对较低的频率和“共模”(其意味着在双眼(bougheyes)上有某些类似的动作)限定。因此，将控制到达瞳孔定位的传播路径的调节的偏转参数与调节传播路径的那些偏转参数解耦是成本效益高得多的，因为在这种情况下，对于与传播路径的取向相关联的偏转参数(其与目光方向相关联)，仅需要其快速可调节的光学偏转器/偏转参数，而用于调节瞳孔定位的可调偏转器/偏转参数在此情况下可以低得多并因此成本效益更高。
这种解耦方法的突出优点在于它能够利用具有显著减小的θ*d参数(例如，指示可调偏转器的最大偏转角θ和偏转器的特性尺寸(直径)d的乘积的参数，这总是具有挑战的)的光学组件150。例如，通过横向移动小孔径偏转器/反射镜(小的θ*d乘积)而不是使大型偏转器/反射镜具有大的θ*d乘积并即时使射束来回移动，具有显著更小的θ*d参数的可调偏转器130和/或140可用于图1d和图1e的实施例中。另外，在实现本发明的解耦特征的实施例中，控制器164可以被配置且可操作以基于指示被改变的眼睛的相应自由度(目光方向/瞳孔定位)的变化的数据独立地调节每个偏转参数，同时避免了使用参考数据的需要，该参考数据与用于补偿自由度中的一个自由度的变化的多个偏转器/偏转参数的复杂调节相关联。
在本发明的一些实施例中，眼睛投影系统101包括光学转发器145(例如，可操作用于将射束会聚从一个光学表面转发到另一个光学表面)。光学转发器145可以例如包括至少两个光学元件或两组光学元件(145.1和145.2)，它们具有各自的光学功率，并且它们沿在它们之间形成/限定主平面p的(光束lb传播路径的)光学组件150的光学路径op定位。应该理解的是，在下文中，参照光学转发器145使用的术语光学元件(145.1和/或145.2)表示具有光学功率的多个元件中的单个元件或一组元件(多组元件)，例如，在该组中包括两个或更多个光学元件的两组光学元件。应该注意的是，在本文中词语光学组件/元件的主平面p用于表示光学组件/元件的(例如，镜片/偏转器系统的)实际或虚拟/假想平面，可以认为与光学组件/元件相互作用的各种射线的(或其虚拟延伸部分的)全部折射/反射发生在该平面处。
在图1a至图1f中的全部附图示出的示例中，眼睛投影设备包括可选的眼镜的镜片102。示出了眼睛投影系统101光学耦合到眼镜的镜片102，使得来自眼睛投影系统101的光沿着传播路径pp通过眼镜的镜片102的至少一个表面(例如，反射/部分反射表面)被引导向眼睛eye。为此，光学系统可位于眼睛后面(例如，靠近用户的耳朵/脸颊或在眼镜的眼镜腿部分处)。镜片102的反射/部分反射表面的示例可以被给定为曲面，诸如椭圆反射镜。镜片102的反射/部分反射表面沿着光学路径op/传播路径pp定位，使得其聚焦在扫描镜/偏转器120的光学枢转点的定位处(参见下文，扫描镜120是保护器的偏转器，其负责在视网膜上扫描/移动光束lb，例如，用于在视网膜上绘制图像)，其中枢轴点的定位可以是扫描镜的枢轴的实际定位或者是由光学转发器(例如，145)从实际定位在光学上转发的枢轴的虚拟定位。因此，扫描偏转器150的枢转点与椭圆镜102的焦点重合，从而在作为系统/光学组件的第二焦点的系统的出射光瞳或共轭平面处产生射线的扇形。
根据本发明的一些实施例，眼睛投影系统101包括图像投影模块190，该图像投影模块190被配置并可操作用于输出将要投影在眼睛eye的视网膜上的图像投影光束lb(例如，采用图像信息调制/图案化的光束)，用于在视网膜上生成图像。光学组件/系统150被配置并可操作用于将图像投影光束lb引导到眼睛eye(例如，在一些情况下，引导光束lb经由眼镜镜片102到达眼睛)。
应该注意的是，包括眼睛跟踪光学模块/偏转器(例如，目光方向光束偏转器130和瞳孔位置光束偏转器140并且例如包括相关光学器件(诸如，145))的本发明的光学组件150可以被实现(配置且可操作)为独立的眼睛跟踪系统(例如，其可以独立于图像投影模块190使用)。
现在具体转到图1a，光学组件150包括可调偏转器装置，该可调偏转器装置包括至少两个可调偏转器130和140，它们是能够控制/调节其偏转角(多个偏转角)的角度可调偏转器。两个角度可调偏转器(130和140)沿着光学组件的总体光学路径op以间隔开的关系布置。两个角度可调偏转器130和140可以各自包括例如二维角度可调偏转器(多个二维角度可调偏转器)，该偏转器可以通过可控的反射、折射或衍射可操作，并且其可以例如被配置为：被安装以用于在两维枢转/转动/倾斜轴线启动的单个反射镜；和/或电光二维角度可调偏转器；和/或声光二维角度可调偏转器(双通系统仅与声光布局有关，并且旨在增大偏转角或衍射效率)；和/或沿光学路径op的不同/正交倾斜/偏转轴线布置的一对一维可调偏转器(诸如，一对一维可调机械偏转器(诸如，可倾斜反射镜)和/或电光偏转器和/或声光偏转器和/或楔板)。
至少两个角度可调偏转器沿着光学路径op布置在适当的位置处，使得它们被配置并且可操作用于在调节光束lb朝向眼睛eye的传播路径pp时提供至少三个(并且通常是至少四个)自由度。如以上指出的，自由度中的两个自由度与补偿眼睛eye的目光方向上的角度变化(补偿目光方向上的俯仰和偏移变化)相关联，并且至少一个自由度(通常为两个自由度)提供补偿眼睛投影设备100相对于眼睛eye的相对横向位置的变化；例如，相对横向(垂直/y轴和/或水平/x轴)位置(多个位置)的变化。
在图1a所示的特定示例中，至少两个角度可调节偏转器130和140是二维角度可调反射镜。更具体地，在该示例中，每个偏转器包括机械/电气和/或声学可控偏转器，例如，包括可调/可倾斜反射镜或起到类似于可调/可倾斜反射镜的作用，该可调/可倾斜反射镜包括安装在合适的二维万向节/枢轴(多个二维万向节/枢轴)上的反射表面，允许反射表面相对于两个旋转轴线在各个方向上定向。然而，应该理解的是，通常可以使用其角度偏转角可以在两个角度维度上进行调节的任何合适的光偏转模块。这可以包括例如由一个偏转光学表面(诸如，安装在二维万向节/枢轴上的反射镜和/或各自安装在至少一个维度的万向节上的两个反射镜/反射表面)形成的机械偏转器、和/或电光/声光偏转器(其二维偏转角可以通过施加适当的电压、和/或有可能通过使用合适的声光(例如，衍射)偏转模块和其他公知的偏转系统来控制)。
在图1a的实施例中，光学组件包括光学转发器145，该光学转发器145包括具有相应光学功率的至少两个光学元件/组(145.1和145.2)。光学元件/组(145.1和145.2)沿光学路径op定位，使得它们之间的距离匹配它们的焦距。相应地，光学转发器145的主平面p沿着光学路径op被限定在光学元件145.1和145.2之间，与元件145.1和145.2中的每一个元件相距其相应的焦距。这提供了从光学转发器145的一侧进入光学转发器145并与其光学元件中的第一个(例如，光学元件/组145.1)相互作用的准直光束(诸如，可以是lb)聚焦在主平面处，并且随后在与光学转发器的第二元件(例如，光学元件/组145.2)相互作用并且从转发器145的另一侧出射时，其再次变为准直的。
因此，光学转发器(诸如，如上所述的145)具有这样的性质：转发器外部的光束与转发器的中心光轴的横向偏差被转换为在转发器的主平面处光束的传播方向的相应角度偏差，反之亦然。
本发明的发明人已经发现，光学转发器的这种性质可以用于通过在转发器145内(沿着光学路径op的元件/组145.1和145.2之间)放置一个或更多个角度可调偏转器，调节传播路径pp朝着眼睛的横向偏转(传播路径pp位于光学转发器的外部，在光学组件和眼睛之间)。图1a中示意性地示出了本发明的这种实施方式。
因此，在图1a的实施例中，角度可调光束偏转器140沿着光学转发器145内的光学路径op布置，并且被配置并且可操作为瞳孔位置光束偏转器140。通过控制/改变其角度偏转状态/角度，光学转发器145内的光传播路径op的方向改变，这进而使光束到达眼睛的传播路径pp相对于一个横轴的(例如，垂直于传播路径的x或y)或者垂直于传播路径的或者相对于两个横轴(x和y)的横向位置偏转。换句话说，瞳孔位置光束偏转器140可操作以使光束lb出射眼睛投影系统101的出射端口ep的定位横向偏转。这通过图1a中的示意性射线轨迹rt来示出。
在图1a的实施例中，通过以一维或二维(俯仰和/或偏移)的方式改变位于光学转发器145内的瞳孔位置光束偏转器140的偏转角来实现传播路径pp的横向偏转，使得这种偏转角的改变影响光学转发器内的总体光学路径op的角度取向，并由此改变光学转发器145外部的光束朝向眼睛eye的传播路径pp的横向(x或y)位置。为此，在一些实施例中，瞳孔位置光束偏转器140可以是一维角度可调偏转器，其具有相对于一个角度取向(俯仰或偏移)角度可调的偏转角，因此具有控制传播路径pp相对于在横轴x或y中的仅一个的横向位置的一个可控偏转参数。可选地，瞳孔位置光束偏转器140可以是二维角度可调偏转器，其具有相对于两个角度取向(俯仰和偏移)角度可调的偏转角，因此具有控制传播路径pp相对于两个横轴x和y的横向位置的两个可控偏转参数。
在一些实施例中，瞳孔位置光束偏转器140位于光学转发器的主平面处，使得对瞳孔位置光束的偏转角的调节改变了光束到达眼睛的传播路径的横向位置，而不影响传播路径朝向眼睛的角度取向。由此，这实现了本发明的解耦特征。
因此，瞳孔位置光束偏转器140可以在角度上倾斜/转动，以移动光束lb的光学路径op，以用于补偿眼睛eye相对于设备100的位置的变化/改变。考虑到增强/虚拟现实眼镜上装备了眼睛投影系统101，在眼睛eye与眼睛投影系统101之间的相对位置上的变化可能是由于使用增强/虚拟现实眼镜的用户的脸部结构(例如，双眼之间的瞳孔间距离和/或鼻梁的高度)的差异而导致的；并且当设备100在用户脸上的位置移位时，该相对位置也可能改变。瞳孔位置光束偏转器140可以被操作以使光束lb可调地偏转，以使得能够改变/控制光束lb在眼睛投影系统101的出射光瞳ep出射时在一个或两个横向维度(例如，垂直和水平横向方向，图中为y和x，其大致上正交于传播路径pp)上的横向位置。控制/移动从系统101的出射端口ep的传播路径pp的横向出射位置使得能够将光束lb引导向眼睛eye的瞳孔，同时补偿眼睛的瞳孔相对于眼睛投影系统101(例如，相对于其出射端口ep)的横向位置的变化/改变。
如图1a所示，光学组件150包括在该示例中二维角度可调的另一个可调光学偏转器130，其用作(被配置且可操作为)目光方向光束偏转器。目光方向光束偏转器130沿着光学组件的光学路径op布置，使得当其偏转角被调节(例如，通过使其光学偏转表面在角度上倾斜/转动)时，其使光束lb朝向眼睛eye的传播路径pp在角度上偏转，移动了其传播取向。因此，目光方向光束偏转器130可操作用于补偿眼睛eye的目光方向上的角度(俯仰和偏移)改变。
为此，在本发明的包括光学转发器145的实施例中，目光方向光束偏转器130可以是沿着光学组件150的光学路径op位于光学转发器145的外部(上游或下游)的角度可调光束偏转器(其偏转角可被调节)。这在图1a至图1f中示出。因此，无论位于光学转发器145的上游还是位于光学转发器145的下游，偏转角(偏转器的取向)的调节/改变都会影响传播路径pp的角度取向(俯仰和/或偏移)。
如本领域熟练技术人员在获知本发明之后将会认识到的那样，目光方向光束偏转器130可以被定位在光学转发器145的放置之前/之后，使得改变目光方向光束偏转器130的偏转角不会影响传播路径pp朝向眼睛的横向偏转/位置。因此，这样的实施例实现了上述解耦特征。例如，在某些实施例中，目光方向光束偏转器130是角度可调光学偏转器，其位于光学转发器145的第一光学元件/组145.1的焦平面处的光学转发器145之前/上游，或者位于光学转发器145的第二光学元件/组145.2的焦平面处的光学转发器145之后/下游，使得改变目光方向光束偏转器130的角度偏转状态/角度影响了传播路径pp的角度取向(俯仰pc和/或偏移yw)而不影响传播路径pp的横向(x和/或y)位置。
可选地，参见图1f，在包括光学转发器145的一些实施例中，目光方向光束偏转器130可以是沿光学转发器145内的光学路径op定位的可平移的可调光束偏转器，并且被配置并可操作用于线性平移，使得其与光学路径op的相互作用使光学转发器内的光学路径op横向移动(例如，使光学路径在x和/或y方向上偏转)，由此影响光学转发器145下游的光束的传播路径pp的角度取向。如本领域熟练技术人员在获知本发明之后将会认识到的那样，在目光方向光束偏转器130被布置为使得其在光学转发器中的平移保持其在光学转发器145的主平面p之上/附近的定位的情况下，受此平移影响的光学转发器内的光学路径op的横向偏转将被转换为光学转发器145下游的传播路径pp的俯仰和/或偏移取向的纯角度偏转(不影响传播路径pp的横向偏转/位置)，从而引起在目光方向光束偏转器130的角度偏转参数与传播路径pp的横向(x，y)位置之间的解耦。
在图1a的特定而非限制性的示例中，目光方向光束偏转器130被布置在光学转发器145之前/上游，使得其可以被操作以在角度上控制光束lb沿着其传播到眼睛eye的总体光学路径op的方向。然而，应该注意的是，在根据本发明的其他实施例的眼睛投影系统101的光学布置的各种实施方式中，目光方向光束偏转器130也可以位于沿着光学路径op的不同定位处。例如，图1a至图1e的非限制性示例被修改成使得目光方向光束偏转器130被放置在光学转发器145之后。实际上，依据目光方向光束偏转器130所需的大小/尺寸，将目光方向光束偏转器130定位在光学转发器之前可能是有利的，因为与将目光方向光束偏转器130放置在光学转发器145之后(在其下游)的情况相比，将目光方向光束偏转器130放置在光学转发器145之前(在其上游)通常允许使用更小的偏转器。这使得前一种选择对于本发明的一些实施方式来说是优选的，因为较小的偏转器通常具有较小的尺寸和重量，并且通常更具成本效益。
因此，目光方向光束偏转器130允许将光束lb沿着其传播到眼睛eye的传播路径pp的角度取向(俯仰pc和/或偏移yw)重定向，使得传播路径pp以相对于眼睛的视线los(目光方向)保持的固定角度取向入射到眼睛eye。因此，当设备100的用户改变他的目光方向(改变他的视线los)时，目光方向光束偏转器130可以被操作以移动光学路径op，使得光束lb将会以与目光移动前的取向相同的取向被引导到eye的瞳孔，并因此被投影/聚焦到视网膜上的相同定位上。即使当用户改变他的目光时，通过光束lb投影到视网膜上的图像也由此保持在视网膜上的相同定位上。
通常，目光方向光束偏转器130被配置为二维可调偏转器，其可以被控制以在两个角度维度上可调地使光束偏转，以便补偿眼睛eye的目光方向los上的水平和垂直变化。因此，不管眼睛eye的目光方向上的水平和/或垂直变化如何，通过眼睛投影系统101投影的图像在视网膜上的定位可以保持固定。
因此，如以上参考图1a所描述的以及以下参考图1b至图1f所进一步描述的那样，可调光学偏转器130和140提供了用于使光束lb到达眼睛的传播路径pp的两个横向(x和y)位置以及角度俯仰pc和偏移yw取向偏转的装置。这允许补偿眼睛/瞳孔eye的位置的两个横向改变并且补偿眼睛的视线(目光方向)los的改变，并且使得即使眼睛投影设备100相对于眼睛eye移动或者用户改变其目光方向los，也能够将图像/光束lb的投影保持在视网膜上基本上固定的位置。通常，瞳孔位置光束偏转器140在引导光束lb时提供至少一个并且通常是两个的自由度，并且目光方向光束偏转器130在引导光束lb时提供另外两个自由度。总计有三个到四个自由度，包括提供对瞳孔位置变化的补偿的至少一个(垂直x)的并且通常为两个(x和y)的横向自由度，以及调节光束的上下(俯仰)pc和左右(偏移)yw取向以用于补偿目光方向的变化的两个角度自由度。
现在转到图1b，在本发明的一些实施例中，瞳孔位置光束偏转器140也可以被定位和布置在光学转发器145外部(或者可选地，系统可以不包括光学转发器145)。例如，瞳孔位置光束偏转器140可以放置在系统101的出射端口/光瞳ep附近。
图1b中所示的眼睛投影设备100可以与图1a的眼睛投影设备类似地操作，除了在此的可调光学偏转器140是沿着光学路径op定位在光学转发器145之后的角度可调偏转器以外(在光学转发器145外部，例如，不在光学转发器145的光学元件/组145.1和145.2之间)。图1b的眼睛投影设备100的其他元件/模块可以与在本文中以上和以下参考图1a示出和描述的对应元件/模块类似地配置，并且因此这些元件将不会参考图1b被进一步详细描述。
在图1b的非限制性示例中，瞳孔位置光束偏转器140被配置为与附加光束偏转器bd(例如，作为静态光束偏转器/反射表面)共同操作。在此，附加光束偏转器bd的反射/折射表面(多个发射/折射表面)的形状/曲率被配置成将角度偏转转换成光束lb的横向移动，瞳孔位置光束偏转器140通过该角度偏转使光束lb偏转。换句话说，附加光束偏转器bd被配置为使得改变/调节瞳孔位置光束偏转器140的偏转取向将会影响光束lb朝向眼睛eye的传播路径的横向移动(即，将会移动图中所示的x和/或y方向上的传播路径)，由此允许移动光束lb的传播路径，以便跟踪眼睛eye的瞳孔的位置。这可以例如通过配置附加光束偏转器bd的位置和聚焦功率来实现，使得其焦平面基本上与瞳孔位置光束偏转器140所放置在的平面重合。
在图1a和图1b中所示的实施例中，主要负责/可操作用于传播路径pp的横向偏转的光束偏转器140定位在光束偏转器130之后(光束偏转器130主要负责传播路径pp的取向的角度偏转)。更具体而言，在这些示例中，光束偏转器140定位在光学转发器145内(例如，在其光学元件145.1和145.2之间)或在光学转发器145之后。这样的布置可能要求光束偏转器140具有相当大的尺寸，以便它覆盖光束偏转器130的角度跨度，并且因此如果需要眼睛投影系统101具有紧凑的尺寸并且具有成本效益，则在眼睛投影系统101中，这样的布置在本发明的实施方式中可能不太有利。
为此，图1c至图1e示出了本发明的实施例，其中主要负责/可操作用于传播路径pp的横向偏转的光束偏转器140位于光束偏转器130之前或与光束偏转器130集成，并且在系统中包含后者的情况下光束偏转器140位于光学转发器145之前。在所有这些实施例中，光束偏转器130与以上参考图1a所描述的类似地配置。更具体地，在所有这些实施例中，光束偏转器130是位于光学转发器145之前的角度可调光学偏转器，优选地位于光学转发器145的第一光学元件/组145.1的焦平面处，并且主要负责和可操作用于调节传播路径pp的角度取向。
现在转到图1c，在本发明的这个实施例中，主要负责/可操作用于调节传播路径pp的横向偏转的光束偏转器140是角度可调偏转器，其沿着光学组件150的光学路径op定位在光束转发器140(其主要负责/可操作用于调节传播路径pp的角度取向)之前/上游。光束偏转器140是角度可调光学偏转器，其在一维或二维(俯仰和/或偏移)上在角度上可调节，用于使传播路径pp相对于在横轴x和y中的一个或两个的横向位置偏转。事实上，如从图1c中的射线轨迹rt可以看出，光束偏转器140的角度偏转状态/角度的改变影响了光束lb撞击到光束偏转器130上的横向位置，并且因此它还影响光束进入到光学转发器145的横向位置，并因此影响光束在出射光学转发器145之后的传播路径pp的横向位置。
然而，从图1c中的射线轨迹rt还可以看出，改变光束偏转器140的角度偏转参数(多个角度偏转参数)不仅影响了光束进入光学转发器145的横向位置，而且还影响了(在光束lb进入光学转发器145之前)光束lb的传播方向，并且因此还影响传播路径pp的角度取向。为此，在该实施例中，(与图1a和图1b的实施例相比)虽然可以使用较小的可调光学偏转器140来控制光学路径pp的横向位置，但是光学偏转器140的偏转参数不是与传播路径pp的角度取向(俯仰和/或偏移)自由度解耦。因此，调节瞳孔位置偏转器140的偏转参数以调节与传播路径pp的横向位置相关联的自由度也可能需要调节目光方向偏转器130的偏转参数，以补偿瞳孔位置偏转器140对于传播路径的取向的影响，反之亦然。这可以例如通过使用控制器164来实现，控制器164被适当配置并且可操作以调节偏转器130和140两者的状态，以便补偿眼睛eye的目光方向或瞳孔定位的每个变化。
然而，如以上指出的，在本发明的一些实施方式中，优选的是在偏转器130和140中的每个偏转器的偏转参数专门与传播路径pp的某个相应自由度的调节相关联。更具体而言，优选的是，偏转器130的(与相对于两个维度的偏转性质相关联的)两个偏转参数仅负责与眼睛的目光方向的俯仰和偏移相关联的传播路径的角度取向自由度，并且偏转器140的(与相对于一个或两个维度的偏转性质相关联的)一个或两个偏转参数仅负责与眼睛/瞳孔的垂直/水平位置相关联的传播路径的横向位置自由度。这是一个优点，因为它允许具体配置偏转器中的每一个，以匹配特定的眼运动/位置性质。例如，这允许使用缓慢并且有成本效益的偏转器130用于调节到达瞳孔定位的传播路径pp的横向位置，并且使用快速且敏捷的偏转器140来响应于目光方向上的变化(例如，其可以包括快速震颤或扫视运动)。
现在一并参考图1d和图1e，图1d和图1e示出了本发明的两个实施例，它们被配置并可操作以实现上述解耦特征。另外，有利的是，在这些实施例中，所有的可调偏转器位于光学转发器145之前，并因此与其中偏转器之一位于光学转发器145内或上游的实施例相比，可以相对小/紧凑。
更具体地，在图1d和图1e的实施例中，可调偏转器(多个可调偏转器)130被配置且可操作为目光方向光束偏转器和瞳孔位置光束偏转器两者，其中偏转器130沿光学组件的光学路径的平移影响传播路径pp的横向偏转，并且其角度偏转角(多个角度偏转角)/状态的变化影响传播路径pp的角度取向。
甚至更具体地，在图1d的实施例中，光学组件仅包括一个可调偏转器130，该可调偏转器130具有三个可调偏转参数，包括：与偏转器的俯仰和偏移偏转取向相关联的两个偏转参数、以及与偏转器沿着光学组件在偏转器130上游的部分平移(例如，线性平移)相关联的一个偏转参数。
为此，偏转器130被配置为使得其光学偏转表面沿着光学路径op可平移，使得偏转器130或其表面沿着在其上游的光学路径op的平移影响了在偏转器130下游的、在光学路径op进入光学转发器145之前(可选的)的光学路径op的横向位移(沿着一个轴；例如，y)。因此，如附图中的射线轨迹rt所示，这影响了传播路径pp在相应的横向方向/轴(例如，y)上的横向平移，并因此提供对在此横向方向/轴上瞳孔/眼睛eye位置的变化的补偿。因此，在该实施例中，可调光学偏转器130被配置为瞳孔位置偏转器，其中通过沿着光学组件的光学路径op平移瞳孔位置光束偏转器的位置以改变光束在其处从偏转器130偏转的交叉定位，实现传播路径的横向偏转。
偏转器130还被配置为使得其角度偏转取向通常在两个取向(俯仰和偏移)上可调节。这与参考目光方向光束偏转器的以上描述类似地操作，由此改变偏转器的偏转角度改变了进入(可选的)光学转发器的光束/光学路径op的取向，并且因此也改变了传播路径pp的取向。这允许补偿眼睛eye的目光方向的变化。
优选地，为了使调节传播路径pp的横向平移的偏转参数(偏转表面的平移)与传播路径pp的角度取向解耦，偏转器130被配置为使得其平移被执行为使得偏转器的偏转表面保持在光学转发器145的第一光学元件145.1的焦平面附近或内部。因此，平移偏转器130在不影响传播路径pp的角度俯仰/偏移取向的情况下调节传播路径pp的横向位置。
在该示例中，光学组件包括光学转发器，并且偏转器130相对于通过光学组件的光束的传播方向位于光学转发器130的上游。偏转器装置的偏转表面(包括可调光学偏转器130的偏转表面以及可选地还有其它可调光学偏转器(诸如，图1e中的140)的偏转表面)具有基本上不超过7毫米的横向尺寸。
现在转到图1e，在此，光学组件总体上类似于图1d中所示的并且以上描述的光学组件，除了在此的瞳孔位置光束偏转是通过如下所述的沿着光学路径op可平移的可调光学偏转器中的两个实现的以外：(i)可调光学偏转器130，其如图1d中配置并且可操作以调节光学路径相对于一个横轴(例如，y)的横向位置并且还调节与光学路径的角度取向相关联的自由度；和(ii)附加的可调光学偏转器140，其被配置并且可操作以使得其光学偏转表面与偏转器130的光学表面一起在沿偏转器140上游的光学路径op的方向上可平移。因此，这样的平移影响了沿偏转器140和130下游的光学路径op的横轴(例如，x)的横向位移。
因此，图1e的实施例的偏转布置提供了以下配置：两个可调光学偏转器130和140二者沿第一横轴(例如，x)一起可平移，以影响相对于第一横轴来说到达眼睛的传播路径pp的相对横向偏转。两个可调光学偏转器130之一沿第二横轴(例如，y)独立可平移，以影响相对于该第二横轴来说到达眼睛的传播路径的相对横向偏转。可调光学偏转器130也可以进行角度调节，优选地参考两个角度进行调节，使得调节偏转器的角度偏转状态调节了传播路径的角度取向。
现在转到图1f，在此，使用光学转发器145，并且与在图1d和图1e中任一个所示并且如上所述的可调光学偏转器130和/或140(多个可调光学偏转器130和/或140)的类似的配置和布置被放置在光学转发器145内(例如，位于其主平面p处)。与图1d和图1e中的示例的那些相比，这交换了偏转器的线性平移和角度取向的调节的滚动(roll)。更具体地，在此，可调光束偏转器130通过线性平移可调节，使得平移其与光学路径op的相互作用的定位影响光学转发器145内的光学路径op的横向移动(例如，使光学路径在x和/或y方向上偏转)，由此影响光学转发器145下游的光束的传播路径pp的角度取向。在一些实施例中，可调光束偏转器130被布置成使得它在保持在光学转发器145的主平面p内部/附近的同时被平移，由此实现本发明的解耦特征(即，使得受到该平移影响的光学转发器内的光学路径op的横向偏转在不影响传播路径pp的横向偏转的情况下被纯粹转换为传播路径pp的俯仰和/或偏移的角度偏转)。传播路径pp的横向(xy)偏转通过调节可调偏转器130的角度偏转取向来实现。
应该理解的是，为了清楚起见，在图中所示的特定非限制性示例中，仅示出了单个可平移偏转器130，其能够仅在一个角坐标(俯仰或偏移)中重定向传播路径。然而，虽然为了附图清晰起见本文中没有具体示出，但是通常两个可平移的光束偏转器在该实施例中被包括在光学转发器145内，并且以与图1e中所示的类似的方式进行布置，以便在该实施方式中能够参考俯仰和偏移坐标重定向传播路径。
为此，设想将图1e的可调光学偏转器130和140的布置放置在光学转发器内，在该附图(图1f)中，目光取向光束偏转通过平移在如下所述的可调光学偏转器130和140中的一个或两个来实现：如图1f中配置并且可操作的可调光学偏转器130被线性地(例如，沿着横轴y)平移，以调节传播路径pp关于一个角坐标的取向(例如，传播路径pc的俯仰取向)，并且还在角度上可调节，以控制/调节传播路径pp在一维或二维(x和/或y)上的横向自由度。附加可调光学偏转器140被配置并且可操作使得其光学偏转表面与偏转器130的光学表面一起沿偏转器140上游的光学路径op在某个方向(例如，x)上可平移。因此，这样的平移影响在偏转器140和130下游的光学路径op沿横轴(例如x)的横向位移。由于偏转器位于光学转发器145内，因此这影响了传播路径pp的偏移yw取向的调节。
因此，图1f的实施例的偏转器装置提供了下列内容：至少一个可调光学偏转器140并且通常为两个的可调光学偏转器130和140两者一起沿第一横轴(例如，x)可平移，以影响到达眼睛的传播路径pp相对于第一排序坐标(例如，偏移yw)的相对角度偏转。两个可调光学偏转器130之一沿第二横轴(例如，y)独立可平移，以影响到达眼睛的传播路径pp相对于第二取向坐标(例如，俯仰pc)的相对角度偏转。可调光学偏转器(多个可调光学偏转器)130也可以进行角度调节，优选参考一个或两个角坐标进行角度调节，以分别提供传播路径pp的横向位置的一维或二维调节。
要注意的是，在参考图1a、图1d、图1e和图1f示出和描述的特定且非限制性的示例中，出射端口ep处的光束lb的传播路径pp的横向定位/位置取决于可调偏转器130和/或140的某些偏转参数的调节(例如，偏转器140的角度调节或偏转器130和/或140的线性平移)，而作为从出射端口出射的ep的光束的传播方向的传播路径pp的取向基本上不受这些偏转参数的影响，而是受到其它偏转参数(例如，对于偏转器130的角度调节)控制。这提供了分别单独控制传播路径的四个自由度的可调偏转参数。
要注意的是，在一些实施方式中，只有三个自由度可能就足够了，图1a、图1b和图1c中的瞳孔位置光束偏转器140可以用一维可调偏转器来实现，或者可以使用图1d的配置。这会允许改变光束lb在垂直方向(例如，x)上的横向位置，以补偿其中具有设备100的增强/虚拟现实眼镜滑落到用户的鼻梁的情况。在这样的实施例中，对不同用户的眼睛之间的距离(瞳孔间距离)的变化的补偿可以通过其他手段(诸如，允许改变在设备中的、用于将图像投影到用户每个眼睛的两个眼睛投影系统101之间的水平间隔的机械装置)来实现。
应该理解的是，虽然在图1a、图1d、图1e和图1f的以上示例中，光束偏转器分别被布置和配置为使得其偏转参数可操作以单独并且独立地调节与光学路径op的横向位置和角度取向相关联的相应自由度，但是通常偏转器130和/或140可以沿着光学路径配置和布置，使得它们共同地调节共轭的这三个或四个自由度，如图1c中举例所示的那样。
可选地，如在图1a-1f所示的那样，在本发明的一些实施例中，眼睛投影系统101还包括光束方向控制器164，光束方向控制器164可连接到可调光学偏转器130和140，并适于操作他们以采用适当的定位和取向来引导光学路径op和沿着所述路径传播的光束以入射到眼睛/瞳孔eye。
在以上示例中，瞳孔位置光束偏转器140和目光方向光束偏转器130被配置(例如，沿着光学路径op布置)，使得它们分别提供横向自由度(在x和y方向上横向移动传播路径pp)和角度自由度(对传播路径pp的俯仰和偏移进行取向)。在这种情况下，控制器164可以适于单独地操作光束偏转器，以便单独调节它们各自的控制角度自由度(传播路径pp的上下(俯仰)和/或左右(偏移)取向)的偏转参数，并且单独调节各自的控制传播路径pp的横向自由度的偏转参数。
如以上所指出的，在一些实施例中，在光束偏转器130和140的偏转参数与上述四个自由度中的三个自由度之间不存在一一对应关系，并且在自由度中的一个或更多个自由度可通过两个或更多个彼此共轭的偏转参数的组合调节来进行调节(例如，改变被引导到眼睛的光束的横向位置和/或角度取向之中的任何一个可涉及操作/调节偏转器130和140两者)。在这样的实施例中，控制光束偏转器的控制器164可以使用将偏转器140和光束偏转器130两者的每个状态与在该状态下对光束产生影响的横向(x，y)和角度(上下、左右)移动相关联的参考数据(例如，查找表)。因此，在这样的实施例中，偏转器130和/或140可以共轭操作，以影响光束lb的理想的横向和角度移动，这是对于目光方向和眼睛eye的相对位置的变化进行补偿所需要的。可选地，应用预校准程序，并且关联眼运动的数学多项式模型的拟合。这可以根据应用要求而适应几种可选的眼运动模型。
图1g示意性地示出了用于引导光束(诸如，图像投影光束(例如，光束lb))投影到眼睛上(例如，直接投影到眼视网膜上)的本发明的方法200的流程图200。该方法可以例如通过图1a至图1f中任何一个中所示的眼睛投影系统101中的任何一个来实现。更具体地，方法200包括可选操作210和220，其与这些附图中的眼睛投影系统101的光学系统150的光学路径op的配置/元件相关联。此外，该方法包括操作250、270和290，其可以例如由图1a至图1f中显示的光束方向控制器164执行。
更具体地，方法200包括可选操作210和220，其中分别设置被布置在光学系统(例如，150)的光学路径中的第一和第二可调光学偏转器(例如，图1a和图1b中的130和140)。第一光束偏转器130被布置为使得其偏转状态(偏转参数)至少与从光学系统150的出射光瞳/端口ep输出的光束lb的传播路径pp的取向的调节相关联。第二光束偏转器140被布置为使得其偏转状态(偏转参数)至少与在出射光瞳/端口ep处的光束lb的传播路径pp的横向位置的调节相关联。
操作250包括引导光束(例如，lb)通过包括第一和第二可调光学偏转器的光学系统(例如，150)。光束可以是例如用于将图像投影在眼视网膜上的图像投影光束。
在操作270中，控制器164和/或可选地不同的操作者至少操作第一可调光束偏转器以调节其偏转参数，以便补偿在眼睛的目光方向上的变化(例如，以便补偿/减少与眼睛的震颤运动无关的变化)。在操作290中，控制器164和/或不同的操作者至少操作第二可调光束偏转器，以调节其偏转参数，从而补偿在眼睛和光学系统150之间的相对位置的变化。为此，方法200提供了用于操作和使用光学系统150的技术，用于在补偿眼睛/瞳孔eye相对于光学系统150的角度运动和横向运动的同时将图像直接投影到用户的眼睛。
如以上所指出的，本发明的眼睛投影系统101包括图像投影模块190，图像投影模块190适于输出投影到眼睛的视网膜上以用于在其上生成/投影图像的调制光束lb。图2a和图2b是根据本发明的两个实施例示意性地显示在眼睛投影系统101中包括的图像投影系统190的配置的框图。
更具体地，图2a显示了通过扫描眼睛eye的视网膜上的强度调制光束lb(包括一种或更多种颜色的强度调制激光束(多个强度调制激光束))而在视网膜上投影图像的图像投影系统190。离开图像投影系统190的扫描激光束lb经由眼睛投影系统101的光学系统150传播，该光学系统150以适当的取向将扫描激光束lb引导到眼睛eye的瞳孔的位置，使得其将图像投影到视网膜上的正确位置。图2b显示了图像投影系统190，其使用区域投影模块，该区域投影模块提供以将要投影到眼睛eye的视网膜上的期望图像来进行空间图案化/调制的光束lb(结构化光)。空间图案化的光束lb随后经由光学组件150传播，并且由此以适当的取向被引导到达眼睛eye的瞳孔，使得空间调制的图像图案被投影到眼睛eye的视网膜上的适当定位。在两种情况下，光学组件150可以被操作(例如，由控制器164控制，这将在下面参考图3a更详细地讨论)，以补偿瞳孔/眼睛eye的位置的变化和目光方向的变化，使得图像可以被投影到眼视网膜上的正确且可选地固定的位置，而不管眼睛的目光方向和/或在眼睛与设备100的图像投影系统190之间的相对位置如何。
应该注意的是，在一些实施例中，重要的是将图像投影到视网膜上的光束lb的横截面宽度小于或者可以可控地调节为小于人眼的瞳孔的标称直径。这提供了采用增加的景深将图像投影到视网膜上，使得投影到视网膜上的图像保持聚焦在视网膜上，而不管眼睛镜片的焦点状态(焦距状态)如何(即，不管用户聚焦他的目光的距离如何)。这是因为光束lb的宽度实际上限定了光束进入眼睛eye所通过的有效入射光瞳的直径。因此，较窄的光束lb产生较窄的有效入射光瞳(比眼睛的瞳孔的实际直径f更窄)，其采用增加的景深产生投影到视网膜上的图像。通过使用图像投影系统190中的适当的光源(多个适当的光源)110和/或通过使用沿着光学路径op的(未示出的)合适的光束扩展器(多个光束扩展器)/收缩器(多个光束收缩器)光学器件(例如，其被包括在光学系统150中和/或在图像投影系统190的光学组件113中)，根据本发明的各种实施例，实现提供比瞳孔更窄的窄光束。
图2a例示了图像投影系统190，该图像投影系统190包括光模块110以及图像光调制器112，光模块110适于输出将要投影在视网膜上的光束，图像光调制器112沿着光束的总体光学路径布置并且适于根据将要在视网膜上形成的图像而调制光束。在一些实施例中，光模块110包括一个或更多个光通道，每个光通道包括提供/发射某种色度成分的光的发光器和/或光端口111。为了投影灰度级图像，单个通道(例如，单色通道)可能就足够了。在本示例中，图像投影系统190被配置为投影彩色图像，并且光模块110包括三个色光通道(例如，光端口/发射器(r、g和b)，其分别输出不同颜色(红色、绿色和蓝色)的光)。在本示例中，光端口/发射器110通过r、g和b这三个激光发射器(例如，激光二极管)来实现。
图像投影系统190通常还包括光学组件113，其在本文中也被称为光束整形和组合光学组件。光束整形和组合光学组件113被配置并可操作用于使一个或更多个颜色的相应的一个或更多个光学通道的光束准直并且将它们组合，使得它们沿着公共的总体光学路径op传播。光束整形和组合光学组件113可以包括例如适于单独和/或共同使多个光学通道的光准直的一个或更多个光束整形器(例如，光束准直器117和/或117')。在存在多于一个的光学通道的情况下，光束整形和组合光学组件113还可以包括一个或更多个光束组合器118，该光束组合器118将光通道的光束组合成单个光学通路op。
图像投影系统190的图像光调制器112包括一个或更多个强度调制器115，该强度调制器115被配置并可操作用于调节来自与其相关联的相应光通道(端口/发射器)的光的强度。强度调制器115可以使用可连接到与其关联的光模块110的光发射器/端口并且适于调节它们的操作以便控制由此发射的光的强度的相应的光源控制器来实现。可选地或另外地，强度调制器115可以包括位于从光模块110的相应光发射器/端口发射的光的光学路径中的可控光衰减器(例如，电光衰减器和机械的衰减器)和/或采用位于从光模块110的相应发光器/端口发射的光的光学路径中的可控光衰减器(例如，电光衰减器和机械的衰减器)来实施。可选地，这可以通过改变非线性晶体(多个非线性晶体)的相位匹配性质来完成。
在该示例中，图像光调制器112还包括图像扫描偏转器120，例如，光栅扫描镜模块和/或二维角度可调节/可转动偏转器(例如，其能够执行图像扫描)。通常包括至少一个光强度调制器115的图像光调制器112被配置并且可操作用于调制传播到图像扫描偏转器120的光束lb的强度并且还可能调制其色度成分。图像扫描偏转器120被操作以随着时间的推移而改变其偏转角，使得图像扫描偏转器120在不同的时间处使光束lb偏转到与将要投影到视网膜上的图像的不同像素的定位相对应的不同取向。
图像投影系统190通常还包括图像投影控制器192，该图像投影控制器192接收指示应投影到视网膜上的图像的输入数据imd，并且操作图像光调制器112以基于图像数据调制光束lb。更具体地，在本示例中，图像投影控制器192获得指示图像扫描偏转器120的角度偏转状态的数据(例如，角度偏转状态可以是例如在扫描偏转器120连续操作/转动的情况下的时间函数)和/或图像投影控制器可以设置偏转状态(例如，通过向图像扫描偏转器120发出适当的控制信号)。基于偏转状态(例如，图像扫描偏转器120的偏转角/取向)，图像投影控制器192确定图像的哪个像素当前应当投影到视网膜上，并使用图像数据imd来确定该像素的强度以及可能的色度成分，并且相应地操作光强度调制器115(例如，通过向其发出适当的控制信号)来设定光束lb的适当强度和色度成分。因此，图像投影控制器192操作图像投影系统190的模块，以采用图像调制光束lb，使得其可以由系统100的光学系统150进一步引导至视网膜，使得图像被投影在视网膜上。在这个示例中，每次光束lb的强度和可能的色度成分对应于投影到视网膜上的图像的单个像素。图像扫描偏转器120扫描图像的不同像素应当投影到的视网膜的区域/表面上的光束lb，同时光强度调制器115共轭操作，以分别采用那些像素的强度和可能的色度成分来调制光束lb，由此在视网膜上形成图像。
在图2b中示出了在本发明的眼睛投影系统中可用的图像投影系统190的另一示例。在此，图像光调制器包括区域投影模块115，该区域投影模块115可以包括例如光束源110(例如，电子束和/或光源)和空间光调制器115。例如，区域投影模块115使用下列各项中的任何一项或更多项实现：阴极射线管(crt；包括电子束源110和用作空间光调制器115的荧光体层)、液晶显示器(lcd；例如，包括光源110和液晶空间光调制器115(诸如，硅基液晶(lcos)))、数字光处理模块(dlp；例如，包括光源110和用作空间光调制器115的数字微镜器件(dmd))和/或有机发光二极管(oled；其包括既用作光源110又用作空间调制器115的发光二极管的空间阵列)；和/或谐振光纤投影仪系统。
区域投影模块115因此被配置并且可操作用于产生/输出空间调制的/图案化的光束lb(结构化光)，其采用期望图像进行图案化/调制。图像投影系统190通常还包括图像投影控制器192，该图像投影控制器192接收指示应投影到视网膜上的图像的输入数据imd，并且操作区域投影模块115以产生光束lb，使得该光束lb采用该图像进行空间图案化/调制。在该示例中，图像投影系统190还可以包括光学组件113，该光学组件113包括例如光束整形光学器件和/或光学转发器，其可以整形并且转发空间图案化的光束，以朝向眼睛投影系统101的光学系统150传播，由此，空间图案化的光束采用适当的取向被引导到眼睛eye的瞳孔的位置，使得图像被投影到视网膜上的正确位置(例如，不管用户的目光方向如何，并且不管在眼睛投影系统和眼睛eye之间的相对位置如何)。
就这一点而言，注意到图像投影控制器192操作区域投影模块115的空间光调制器112，用于对光束lb的强度和色度成分进行空间调制，使得将要投影到视网膜上的图像在某个共轭光学平面cp中在光束lb的横截面中形成。眼睛投影系统101的光学系统150被配置并且可操作用于将在共轭光学平面cp中形成的图像转发到眼视网膜。
现在参考图3a，图3a是根据本发明的实施例显示包括眼睛跟踪模块/160的眼睛跟踪设备105的框图。眼睛跟踪模块/系统160包括被配置用于提供ir跟踪束tb的ir光端口、至少两个光学传感器175和185以及眼睛跟踪控制器164。眼睛跟踪模块/系统160还与光学组件相关联或包括光学组件，该光学组件可以类似于以上参考图1a至图1f中的任意一个所描述的光学组件，并且通常被配置用于引导ir光束tb沿着传播路径op朝着用户的眼睛eye传播。为此，光学组件150包括至少两个可调光学偏转器130和140，该至少两个可调光学偏转器130和140被配置并且可操作用于调节跟踪光束tb的传播路径pp的角度取向和横向位置以及可沿着光学组件的光学路径op(例如，lb)朝向眼睛传播的其他光束(例如lb)。两个光学传感器(175和185)光学耦合到分别与至少两个可调光学偏转器相关联的光学组件的总体光学路径op，使得它们响应于跟踪ir光束tb到眼睛上的入射而分别感测正在从眼睛反射回的反射ir光束rb。眼睛跟踪模块/系统160还可以包括眼睛跟踪控制器164，眼睛跟踪控制器164可连接到至少两个光学传感器175和185。眼睛跟踪控制器164适于接收来自两个光学传感器175和185的读出信息/数据，并且处理读出信息以确定分别指示传播路径pp分别与眼睛的瞳孔位置的横向偏差和与目光方向的角度偏差的数据。为此，眼睛跟踪模块160适于监测眼睛eye的位置/取向(即，测量指示眼睛eye的目光方向和横向位置的眼睛定位数据)，并且可以与上述眼睛投影系统101一起使用，用于调节眼睛投影系统101朝向眼睛的传播路径pp。
ir光端口/光源162被配置并且可操作用于提供跟踪光束tb，使得跟踪光束tb被引导沿着光学组件的总体光学路径op传播，同时与一个或更多个可调光学偏转器130和/或140相互作用，并且从可调光学偏转器沿传播路径pp传播到眼睛。跟踪光束tb到眼睛上的入射产生了与跟踪光束tb从眼睛的反射相关联的反射光束rb，用于通过光学组件的光学路径op反向传播。
一个或更多个传感器175和185在沿着光学路径op的两个或更多个不同定位处光学耦合到总体光学路径op。传感器175和185适于接收反射光束rb并且在两个或更多个不同定位处测量反射光束rb的传播的一个或更多个性质。
眼睛跟踪控制器164可连接到一个或更多个传感器175和185，并且可连接到一个或更多个可调光学偏转器130和/或140。控制器164适于从传感器175和185接收指示在光学路径的两个或更多个不同定位处反射光束rb的传播的至少一个性质的读出数据/信息，并且处理读出数据以确定眼睛定位数据，即，确定指示相对于传播路径pp或光学组件150来说眼睛eye的横向(x和/或y)瞳孔位置和眼睛的角度目光方向的数据。
在一些实施例中，眼睛定位数据指示在眼睛的目光方向(los)和光束朝向眼睛的传播路径pp的取向之间的偏差以及在眼睛的瞳孔的横向(x，y)位置和传播路径pp之间的偏差。
在一些实施例中，眼睛跟踪模块160包括一个或更多个控制器(例如，170和180)，该一个或更多个控制器适于使用眼睛定位数据来生成操作指令，以操作一个或更多个可调光学偏转器130和140来调节传播路径pp的角度取向(俯仰和偏移)和横向位置(x，y)，以补偿传播路径pp相对于眼睛的横向和角度取向。
根据本发明的一些实施例，可调光学偏转器130和/或140沿着光学路径op连续布置，由此分别限定光学路径op的两个偏转级stg1和stg2，其分别与通过两个可调光学偏转器130和/或140使光学路径op偏转相关联。因此，传感器175和185光学耦合到光学路径op的两个或更多个不同定位分别布置在这两个偏转级stg1和stg2处。传感器175和185可以经由在光学路径的这些偏转级stg1和stg2处布置的相应的分束器组合器bc3和bc2耦合到光学路径。
眼睛跟踪控制器164被配置并且可操作用于基于由对应的传感器175或185从与在可调光学偏转器中的相应的一个140或130相关联的光学路径op的相应偏转级stg1或stg2测量的传播的相应性质，生成对于每个相应的可调光学偏转器140和/或130的操作指令。
例如，反射光束rb的传播性质可以是反射光束rb的传播与光学路径op中的预定标称横向位置的横向离轴偏差。为此，在传感器175和185中的每一个传感器可以包括多个光敏检测器/像素。控制器164可以适于处理来自传感器175或185的像素的读出数据/信息，以确定反射光束rb在传感器上的入射的定位，并由此确定在该入射的定位与传感器上的预定标称位置之间的偏差。因此，确定了反射光束rb沿光学路径op的相应偏转级stg1或stg2传播的性质。根据对于光学路径op的两个或更多个偏转级stg1和stg2所确定的这个传播性质(例如，其是反射光束rb的传播与光学路径op中的预定标称横向位置的横向离轴偏差)，可以计算/估计/确定指示眼睛的横向位置和角度位置的数据。因此，可调光学偏转器140和/或130可以被操作/调节，以跟踪眼睛eye的横向位置/取向。
例如，根据本发明的一些实施例，眼睛跟踪控制器164包括一个或更多个伺服回路(例如，伺服回路控制器170和/或180)，由此每个伺服回路控制器被配置并且可操作以连接到相应可调光学偏转器(例如，可调光学偏转器分别是130和/或140)并且连接到对应的传感器(例如，传感器分别是175和/或185)，并且适于处理来自相应传感器(例如，传感器分别是175和/或185)的读出数据，以确定在光学路径op的其相应的偏转级(例如，stg1和/或stg2)中的对应传播性质，并且相应地基于该传播性质而生成用于操作与其相关联的相应的可调光学偏转器(例如，130和/或140)的操作指令。
为此，在图3a的非限定性示例中，眼睛跟踪模块/系统160被示出为与本发明的眼睛投影设备100一起配置和操作。更具体地，在这个非限定性示例中，眼睛投影设备100包括至少一个眼睛投影系统101，该眼睛投影系统101包括眼睛跟踪设备105或与眼睛跟踪设备105集成，如上所述被配置并且可操作的眼睛跟踪设备105用于监测并且可能跟踪眼睛/瞳孔的定位以及眼睛eye的视线方向(即，目光方向)。眼睛投影系统101可以与图1a至图1f中的任何一个所示的眼睛投影系统类似地配置，并且可以可选地包括用于经由光学系统150将光/图像lb投影到眼睛eye的图像投影模块190。眼睛跟踪设备105适于监测眼睛eye的横向位置和视线(los)，并且操作光学系统/组件150以跟踪/跟随眼睛eye的位置和视线，使得光束lb(图像投影光束)的传播路径pp以相对于眼睛eye的视线los的期望取向被引导到眼睛的位置(例如，引导到眼睛瞳孔)。为此，在该特定示例中，图像/光投影光束lb以及跟踪光束tb(通常是ir光)和反射光束rb耦合，以沿着光学组件150的公共光学路径和到达眼睛eye的公共传播路径pp传播。在一些实施例中，眼睛投影设备100包括与眼睛投影系统101类似的两个眼睛投影系统，其被配置并且可操作用于分别将图像投影到向用户的双眼。
然而应当理解的是，眼睛跟踪设备105和/或眼睛监测模块160可以被实现为可连接到眼睛投影系统101的独立设备/模块，和/或它可以是与眼睛投影系统101集成的模块/设备。在这个示例中，光学系统150由眼睛投影系统101使用以用于将图像投影到眼睛eye，并且光学系统150还由眼睛跟踪设备105使用以用于监测和跟踪眼睛eye的定位和视线。此外，可选地或另外地，眼睛监测模块160可以被实现为独立设备，该独立设备被配置成使得其可以光学耦合到光学系统150并且电连接到光学系统150的光束偏转器130和140，并且可操作用于感测从出射光瞳ep沿着光学路径op传播的返回光束rb，处理感测到的光信号以跟踪眼睛的横向位置和视线，并且操作可调光束偏转器130和140以调节在光学组件150和眼睛eye之间的光束(例如，tb和/或lb)的传播路径pp，使得光束lb以期望取向被引导到其眼睛/瞳孔的定位。
在这个示例中，眼睛投影系统101包括与在图1a至图1f中的任意一个中所示的眼睛投影系统的模块类似的模块。更具体地，眼睛投影系统101可选地包括图像投影系统190，该图像投影系统190可以被配置且可操作为图2a和图2b中描述的图像投影系统中的任意一个；并且包括光学系统/组件150，该光学系统/组件150被配置且可操作用于将光束lb从图像投影系统190引导到眼睛eye(例如，经由眼镜镜片102)。类似于以上参考图1a至图1b描述的光学系统150，在此光学系统150还包括至少一个并且通常是至少两个的可调光学偏转器(例如，如同图1a中的目光方向光束偏转器130和瞳孔位置光束偏转器140)，其沿着光束lb的总体光学路径op布置，并且被配置且可操作用于在调节光束lb朝向眼睛eye的传播路径op时提供至少三个的并且通常是四个的自由度。自由度中的两个与补偿眼睛eye的目光方向上的角度变化相关联，并且至少一个自由度(通常/优选是两个自由度)提供对于眼睛投影设备100相对于眼睛eye的相对横向、垂直和/或水平的位置上的变化的补偿。
应该理解的是，眼睛的los的角度运动尤其与眼睛的扫视运动相关，并且眼睛的该横向运动尤其与在瞳孔的横向位置和眼睛投影/跟踪系统之间的相对横向运动相关。
应该注意的是，在一些实施例中，眼睛监测模块160包括发射眼睛跟踪光束tb的跟踪光源162。可选地或另外地，在一些实施例中，跟踪光源可以并非是眼睛监测模块160的一部分，并且眼睛监测模块160仅包括用于接收跟踪光束tb的光端口162。在本发明的各种实施例中，跟踪光源可以经由光端口162光学连接/耦合到光学系统/组件150，使得跟踪光束tb经由光学系统150被引导到眼睛；和/或跟踪光源162可以不耦合到光学系统150，并且跟踪光束tb以不同的方式(例如通过自由空间传播，或者经由另一个光导/系统)被引导到眼睛eye。
在图3a所示的本发明的这个特定和非限定性的实施例中，跟踪光源162被布置并且配置为与光学系统150进行光通信，使得跟踪光束tb可以沿着光学系统150的总体光学路径op传播，并且沿着光学路径pp朝向眼睛eye的视网膜传播。为此，跟踪光源162与位于光学系统150的光学路径op中的并且位于从跟踪光源162输出的跟踪光束tb的传播路径中的光束组合器bc1(例如，二向色光束组合器)相关联，使得跟踪光束tb被引导以与图像投影光束lb一起沿着光学路径op朝向眼睛eye传播。跟踪光源162通常是具有一定波长/光谱的光源/电磁辐射源162，从而避免或至少显著减少与眼睛视野内的固定可见光源的存在相关联的用户不适。例如，跟踪光源162可以是发射人眼不可见的ir束的红外(ir)光源(例如，ir激光二极管)。
应注意的是，根据本发明的某些实施例，眼睛跟踪光束tb被组合以沿着光学路径op传播，同时在其去向眼睛eye的路上相继与光学组件150的可调光学偏转器130和140两者互相作用，使得眼睛跟踪光束tb可以在眼睛可以沿各个目光方向查看的同时被引导向眼睛，并且同时其相对于眼睛投影系统101的相对横向位置可以改变。为此，光束组合器bc1可以被定位成使光学路径op在可调光束偏转器130和140上游的定位处相交。
因此，当可调光学偏转器130和140被适当地调节时(即，当可调光学偏转器130和140的偏转参数被适当地设定以采用朝向眼睛的传播路径pp的适当的横向位置和角度取向将光束引导到眼睛时)，眼睛跟踪光束tb被引导沿着朝向眼睛eye的瞳孔的传播路径传播，眼睛跟踪光束tb有可能从这个传播路径进入眼睛，并且有可能正在被投影到视网膜上。
在一些实施例中，眼睛跟踪光束tb的横截面宽度小于人眼的瞳孔的标称直径。在这种情况下，从眼睛的瞳孔周围的区域反射眼睛跟踪光束tb被最小化，这进而减少了这种反射对跟踪光束tb的干扰，并且跟踪的准确性得到改善。在一些实施例中，为了处理其中眼睛目光被移动到跟踪光束tb完全移出瞳孔(信号丢失)的程度的情景，光学系统(例如，130和/或140)中的可调光学偏转器(例如，可调反射镜)可以包括某个图案和/或被配置为提供某个图案，诸如所谓的lassajous图案(其能够扩大搜索区域以便恢复丢失的信号)。用于瞳孔搜索算法的lassajous图案首先在横向域中进行，直到获得初始信号为止，并且随后在角度域中执行以用于光学路径的最佳对准。图案(例如，lassajous图案)随后可以用来定位跟踪光束tb从瞳孔外围的反射，并且校正可调光学偏转器130和/或140的偏转参数，以使传播路径pp与瞳孔的横向位置以及眼睛的los的俯仰/偏移取向对准。可选地或附加地，传感器175和/或185可以用于感测来自眼睛的反射光束rb以跟踪眼睛的定位和目光方向，并且可以被配置为大面积象限单元(alargeareaquadcells)(例如，多个二极管阵列)，以便使发生这种情景的可能性最小化。
通常，当眼睛跟踪光束tb撞击到眼睛eye上时，眼睛跟踪光束tb的一部分rb可以从眼睛eye视网膜反射回来(所谓的视网膜反射)并且沿着光学路径op返回。可选地或另外地，眼睛跟踪光束tb的一部分rb可以从眼睛eye的角膜反射(所谓的角膜反射和/或普尔钦斑之一)。在一些实施例中，光束rb可以包括从角膜前部反射的眼睛跟踪光束tb的一部分(第一普尔钦斑)、从晶状体后部反射的眼睛跟踪光束tb的一部分(所谓的第四普尔钦斑)和/或从视网膜反射的眼睛跟踪光束tb的一部分(视网膜反射)。通常，反射光束随后从眼睛eye传播回到光学系统150的光学路径op，其中反射光束rb的确切传播方向指示眼睛eye的瞳孔的位置和/或取向。
本发明的某些实施例有利地使用了眼睛的回射性质，特别是使用了眼视网膜回射的事实。在ir波长处，视网膜能够反射很大比例的光。这由本发明的某些实施例的目光方向跟踪系统使用，以跟踪眼睛的实际光轴或与眼睛的光轴成一定角度的任何其他任意光学方向。跟踪眼睛的实际光轴或任何其他任意光学方向通过将眼睛用作回射器(利用眼睛的回射性质)来实现，并且不必依赖于如常规方法中所做的普尔钦斑。使用眼睛的回射性质提供了反射光束以相对于眼睛的光轴的某个预定角度返回，因此允许系统跟踪眼睛的实际光轴。虽然眼睛的回射器性质可能具有某种程度的色差，但仍然有可能利用眼睛的回射性质来以高准确性检测眼睛的角度和横向移动。
根据本发明的一些实施例，眼睛监测模块160的两个光传感器175和185被布置并且光学耦合到光学路径(例如，光学组件150的光学路径op)，反射光束rb沿着该光学路径传播，使得反射光束rb入射到在光传感器之中的至少第一光传感器上的定位提供了指示在眼睛eye的瞳孔位置与光束lb的传播路径pp的横向位置之间的横向偏差(x和/或y偏差)的数据，并且使得反射光束rb入射到光传感器之中的至少第二光传感器上的定位提供了指示在传播路径pp和眼睛eye的视线之间的角度偏差(俯仰和/或偏移偏差)的数据。实际上，通常，光传感器可以包括沿返回光的光学路径布置的二维光学传感器175和185，以便监测传播路径pp的4个自由度。例如，传感器之中的第一传感器(例如，图中的175)可以沿着在光学转发器(例如，光学转发器145或类似的光学转发器)的光学元件之间的光学路径op的定位/级stg1中的反射光束的光学路径进行布置，例如靠近转发器145的主平面，使得反射光束rb相对于与光束lb的传播路径pp具有预定关系/对应关系的某个标称光轴的角度偏差被转换成光束rb撞击到光学传感器175的定位处的横向偏差。这允许测量/确定传播路径pp相对于眼睛的视线在俯仰和偏移角度取向上的偏差。传感器中的第二传感器(例如，图中的185)可以在并未在光学转发器内(例如，如果使用转发器145，则在这样的转发器外部)传播的光学路径op的定位/级stg2处光学耦合到反射光束rb的光学路径，以由此直接测量反射光束rb相对于与传播路径pp具有预定关系/对应关系的某个标称光轴的横向偏差。这允许测量/确定在传播路径pp和眼睛位置之间的横向偏差x和/或y。
应该注意的是，在本发明的一些实施例中，测量传播路径pp的角度偏差的光学传感器可能不会与传播路径pp的横向偏差的影响完全光学解耦，反之亦然(即，测量传播路径pp的横向偏差的光学传感器可能不会与传播路径pp的角度偏差的影响完全光学解耦)。在这种情况下，将进一步的处理应用于从传感器175和185两者获得的测量结果，以根据这些测量结果确定传播路径pp的角度(俯仰和偏移)和横向(x和y)偏差。例如，可以获得并且首先处理来自两个传感器的测量结果，以确定反射光束rb入射到传感器中的每一个的定位。随后，可以以矩阵形式呈现定位(例如，表示为矢量)，该定位随后可以被对角线化(例如，使用指示光学组件150的光学操作的表示数据(诸如，光学组件150的矩阵或函数表示))，以根据眼睛的横向位置和目光方向来确定传播路径pp的角度取向和横向偏差。
根据一些实施例，光传感器175和185被布置在光学路径op的不同级/定位stg1和stg2处，由此选择不同级stg1和stg2，使得返回/反射光束rb在到达不同的光传感器175和185之前与可调光学偏转器140和130的不同组合相互作用。光传感器175和185可以以这种方式布置，使得它们中的每一个光传感器分别与在可调光学偏转器140和130中的一个光学偏转器相关联，并且更具体地使得光束入射到传感器的每一个上的定位提供了指示应该应用于其相应的可调光学偏转器所需的校正的数据。这允许基于从其相应的传感器获得的读出数据来应用开放/闭合伺服回路操作以用于调节偏转器的每一个。例如，如图所示，光传感器175布置在级stg1处，以在返回光束rb与可调偏转器140相互作用之后并且在返回光束rb与偏转器130相互作用之前感测该返回光束rb。因此，返回光束rb在传感器175上入射的定位与在传感器175上的预定标称定位的偏差(例如，与传感器的中心的偏差)指示对可调偏转器140进行调节所需的校正，并且可以如下所述地由伺服回路电路(例如，控制器170)进行处理，以重新调节偏转器140。类似地，光传感器185被布置成在返回光束rb与可调偏转器140和130的不同集合相互作用之后(在该非限定性示例中，在返回光束rb与可调偏光器140和130两者相互作用之后)在级stg2处感测该返回光束rb，从而假设可调偏转器140已经被适当地调节，返回光束rb在传感器185上入射的定位与在传感器185上的预定标称定位的偏差(例如，与传感器的中心的偏差)指示对可调偏转器130进行调节所需的校正，并且可以如下所述地由伺服回路电路(例如，控制器180)进行处理，以重新调节偏转器130。
应该注意，为了清楚并且不失一般性，图3a的非限定性特定示例显示了本发明的眼睛跟踪设备105，如参考图1a所例示并且如上所述的，眼睛跟踪设备105被配置以与眼睛投影系统101一起操作。更具体地，在该非限定性示例中，来自跟踪光源162的跟踪光束tb经由光束组合器bc1光学耦合到光学组件150的光学路径op，这与图1a中所示的类似。反射光束rb沿着该光学路径op返回，并且由相应的分束器/组合器(bc3和bc2)从光学路径op引导到传感器175和185，该分束器/组合器被布置以与光学组件的光学路径op在特定定位处相交。相应地，在这个特定示例中，光学组件150被配置为实现如以上参考图1a、图1d、图1e和图1f所讨论的本发明的解耦特征。即，根据该方式，光束偏转器130的偏转参数与对于传播路径pp的横向(x，y)位置的控制解耦，并且光束偏转器140的偏转参数与对于传播路径pp的角度(俯仰、偏移)取向的控制解耦。因此，在该特定且非限定性的示例中，光束偏转器130和140被专门配置并可专操作为目光方向光束偏转器和瞳孔位置光束偏转器，并且因此在下文中为了清楚起见而如此称呼。在该示例中，光传感器185被配置(使用分束器bc2的适当布置)以在反射光束rb受到光束偏转器130偏转之后与反射光束rb相互作用/感测反射光束rb，并且因此在这个特定示例中(其中光束偏转器130专门用作目光方向光束偏转器)，光传感器185提供指示传播路径pp相对于眼睛的视线los的角度偏差的测量数据。因此，为了清楚起见，在下文中将光传感器185称为目光方向传感器185。在这个示例中，光传感器175被配置(使用分束器bc3的适当布置)，以在反射光束rb受到光束偏转器140偏转之后并且反射光束rb与光束偏转器130相互作用之前与反射光束rb相互作用/感测反射光束rb。因此，在这个特定示例中(其中，光束偏转器140专门用作瞳孔位置光束偏转器)，光传感器175提供指示传播路径pp相对于眼睛eye的瞳孔的位置的横向偏差的测量数据。因此，为了清楚起见，在下文中将光传感器175称为瞳孔位置光传感器175。然而，应当理解的是，虽然为了清楚起见，光传感器185和175以及可调光束偏转器130和140在下文中被称为瞳孔位置和目光方向传感器/偏转器，但是在其中使用光学组件150的其他配置的实施例中，作为两个偏转器和两个光传感器的瞳孔位置和目光方向传感器/偏转器之间的区别可能对传播路径与瞳孔位置和目光方向的偏差敏感(影响/测量传播路径与瞳孔位置和目光方向的偏差)。例如，这是在其中眼睛跟踪设备105光学耦合到光学组件150的实施例中，诸如在图1b和图1c中所示的实施例，其中偏转器的全部或几个偏转参数可以被耦合，以影响传播路径pp的自由度之中的几个自由度(即，在偏转器的偏转参数与传播路径的角度和横向方向之间可能不存在一一对应关系)。因此，应当理解的是，通常，瞳孔位置传感器/偏转器的操作/配置不必限于影响/测量关于瞳孔位置的传播路径pp，而是还可以用于影响/测量关于目光方向的传播路径pp。此外，需要理解的是，通常目光方向传感器/偏转器的操作/配置不必限于影响/测量关于目光方向的传播路径pp，而是还可以用于影响/测量关于瞳孔位置的传播路径pp。
目光方向传感器包括对反射光束rb的波长敏感的多个光检测器(例如，少数/四个光检测器/像素)。例如，目光方向传感器185可以采用象限ir光传感器(例如，象限传感器，其包括以2乘2配置的方式组织的四个光检测器)和/或位置感测器件(psd)和/或具有感兴趣区域(roi)选择能力的互补金属氧化物半导体(cmos)和/或时间延迟积分电荷耦合器件(tdi-ccd)来实现。目光方向传感器185光学耦合到光学路径op，并且被布置成使得其在反射光束rb从眼睛eye反射并且与目光方向光束偏转器130相互作用之后收集反射光束rb。如图所示，在本示例中，目光方向传感器185通过光束组合器bc2(例如，采用二向色镜来实现)光学耦合到光学路径op，光束组合器bc2是相对于来自eye的反射光束rb的传播方向位于目光方向光束偏转器130下游的光学系统的一部分。因此，当反射光束rb在目光方向传感器185上的投影定位pl1相对于目光方向传感器(或相对于目光方向传感器上的某个参考位置rl1)居中时，这指示了光学路径op(以及因此的目光跟踪光束tb和携带投影在视网膜上的图像的光束lb)已经以相对于眼睛eye的视线los的某个预定/已知入射角入射眼睛eye(例如，当入射眼睛时，光学路径op与眼睛eye的视线los重合)。然而，当反射光束rb在目光方向传感器185上的投影定位pl1偏离目光方向传感器185上的中心/参考定位rl1时，这指示光学路径op与眼睛eye的入射角已偏离预定/已知入射角(例如，光学路径不再与视线los重合)。
就这一点而言，如以上注意到的，反射光束rb的确切传播方向指示眼睛eye的瞳孔的取向(即，眼睛eye的目光方向/视线los的取向)。然而，在本实施例中，反射光束rb在其入射到目光方向传感器185上之前与目光方向光束偏转器130相互作用，并且因此目光方向传感器185上的中心/参考定位rl1的偏差实际上具体指示了在光束lb和/或tb被引导以入射到眼睛eye所沿着的光学路径op与眼睛eye的视线los之间具有相对取向(例如，指示了在视线los与光学路径op在平行于视线los的两个分别正交的平面上的投影之间跨过的两个角度)的当前情况。
在本实施例中，眼睛跟踪控制器164包括第一子控制器180(例如，本文之后也称为目光方向控制器180)，第一子控制器180可连接到目光方向传感器185。目光方向控制器180适于获得/接收来自目光方向传感器185的多个检测器的读出信息/数据rd1。眼睛跟踪控制器164和/或第一子控制器180可以包括数字处理器和/或模拟处理电路，并且可以被配置并且可操作(例如，经由合适的软件核和/或硬件配置)以处理读出信息rd1，以确定眼睛eye的目光方向(视线los)相对于光束lb和/或tb引导向眼睛eye所沿着的光学传播路径op的角度偏差。
例如，目光方向控制器180可以适于接收指示由目光方向传感器185的各个检测器/像素累积的值的读出信息/数据rd1，并且处理该数据，以确定呈现在目光方向传感器185上入射的反射光束rb的中心的、在传感器185上的标称投影定位/像素pl1。随后，目光方向控制器180可以确定呈现传感器185上的标称定位/像素与参考定位rl1之间的间隔的矢量数据，这呈现了光学路径op与视线los的完美对准。矢量数据因此指示在入射到眼睛eye上的光学路径op的取向与眼睛eye的视线los之间的角度偏差。
在一些实施例中，例如具体而言是在眼睛监测模块/设备160是眼睛投影系统100的一部分的情况下，目光方向控制器180还可以连接到目光方向光束偏转器130。在这样的实施例中，目光方向控制器180可以被配置并且可操作用于进一步处理矢量数据，以确定用于补偿在光学路径op和视线los之间的角度偏差所需的目光方向光束偏转器130所需的角度位置，并且相应地生成对于操作目光方向光束偏转器130合适的操作指令/或控制信号。
例如，在本发明的某些实施例中，目光方向传感器185通过包括四个ir光检测器(四个光敏像素)的象限传感器(四象限传感器)来实现。目光方向控制器180可连接到象限传感器185，并且被配置并可操作用于操作目光方向光束偏转器130，以使反射光束rb与象限传感器185的中心定位(rl1)的偏差最小化。这使得光学路径op相对于视线los保持基本上固定的取向，使得即使用户移动其视线，由光束lb投影到视网膜上的图像也保持在视网膜上的基本上固定的定位处。
在一些变型中，目光方向控制器180适于操作目光方向光束偏转器130，以用于仅在偏差超过某个预定阈值(震颤阈值)时才最小化在反射光束rb与中心/参考定位rl1的偏差)，使得偏差保持在低于预定阈值的水平(例如是但不必是无效的)。例如，目光方向控制器180可以包括震颤过滤模块181，震颤过滤模块181适于处理读出数据rd1(例如，处理以上指示的矢量数据)并且过滤掉目光方向的角度偏差与眼睛的震颤运动相关联的情况。应该理解的是，术语震颤和震颤运动在本文中用来指微小扫视运动，微小扫视运动是在微小角度并且多达差不多一度左右的角度扫视运动。
在一些实施例中，震颤过滤模块181使用与其相关联的预定震颤偏差阈值(例如，由此存储的预定震颤偏差阈值)。震颤过滤模块181被配置并且可操作用于处理读出数据rd1(例如，矢量数据)，以连续地监测在眼睛的目光方向los与光学路径op之间的角度偏差，并且如下操作：在监测到的角度偏差低于震颤偏差阈值的情况下，震颤过滤模块181在所谓的开放伺服回路中操作，该开放伺服回路不操作目光方向光束偏转器130，并且由此不补偿与震颤运动相关联的偏差。在监测到的角度偏差超过震颤偏差阈值的情况下，震颤过滤模块181在所谓的闭合伺服回路中操作，其中适当的操作指令/信号被传送到方向光束偏转器130的致动器/伺服器，以用于致动方向光束偏转器130，以最小化反射光束rb与传感器185上的中心/参考定位rl1的偏差。
震颤过滤模块181由此补偿与眼睛的自然(无意识的)震颤运动不相关联的目光变化，而不补偿与眼睛eye的自然震颤运动相关联的目光偏差。这改善了对于投影到视网膜上的图像的感知的质量，因为在视网膜上的图像定位并未由于眼睛的自然震颤运动而移动，因此由眼睛eye捕获到自然图像。
在一些实施例中，眼睛监测模块160还包括作为瞳孔位置传感器175的光传感器175。瞳孔位置传感器175包括对跟踪光束tb和/或反射光束rb的波长敏感的多个光检测器。例如，光传感器175可以包括包含以2乘2配置的方式组织的少量/四个光检测器/像素的四象限ir光传感器和/或位置感测器件(psd)和/或具有感兴趣区域(roi)选择能力的互补金属氧化物半导体(cmos)和/或时间延迟积分电荷耦合器件(tdi-ccd)。
瞳孔位置传感器175可以例如在光学路径op的级stg1处光学耦合到光学路径op，并且被布置成使得它在反射光束rb从眼睛eye反射回光学路径op并且与瞳孔位置方向光束偏转器130相互作用之后收集反射光束rb。如图所示，在本示例中，目光方向传感器185通过光束组合器bc3(例如，采用二向色镜来实现的)光学耦合到光学路径op，光束组合器bc3位于相对于来自eye的反射光束rb的传播方向沿着在瞳孔位置光束偏转器130下游的光学路径op的级stg2处。因此，当反射光束rb在瞳孔位置传感器175中的投影pl2相对于瞳孔位置传感器175(或相对于在瞳孔位置传感器175上的某个参考位置rl2)居中时，这指示光学路径op采用朝向眼睛eye的适当的横向对准的方式到达(并且因此跟踪光束tb和/或图像投影光束lb被引导到眼睛的位置)。在反射光束rb的投影定位pl2偏离中心/参考定位rl2的情况下，这指示光学路径op与眼睛/瞳孔eye的位置不重合，并且应该横向移动，以与眼睛相会。
在一些实施例中，眼睛监测模块160和/或眼睛跟踪控制器164包括第二子控制器170(例如，在下文中为了清楚起见也被称为瞳孔位置控制器170)，第二子控制器170可连接到瞳孔位置传感器175并且可连接到瞳孔位置光束偏转器140。瞳孔位置控制器170适于获得/接收来自瞳孔位置传感器175的多个检测器的读出信息/数据rd2。眼睛跟踪控制器164和/或第二子控制器170可以包括数字处理器和/或模拟处理电路，并且可以被配置并且可操作(例如，经由合适的软件核和/或硬件配置)以处理读出信息rd2，以确定在光束lb和/或tb引导向眼睛eye所沿着的光学传播路径op与眼睛/瞳孔eye的中心之间的横向偏差(例如，垂直和/或水平距离)。
例如，瞳孔位置控制器170可以适于接收指示由瞳孔位置传感器175的各个检测器/像素累积的值的读出信息(数据/信号)rd2，并且处理该数据，以确定呈现入射的反射光束rb在瞳孔位置传感器185上的投影定位pl2的中心的、在传感器175上的标称投影定位/像素pl2。随后，目光方向控制器180可以确定呈现传感器185上的投影定位/像素pl1与参考定位rl1之间的间隔的第二矢量数据，这呈现了光学路径op与眼睛eye的完美横向对准。
在一些实施例中，瞳孔位置控制器170还可连接到瞳孔位置光束偏转器140。瞳孔位置控制器180可以被配置并且可操作以处理第二矢量数据，以确定是否需要补偿在光学路径op与眼睛/瞳孔eye的中心位置之间的横向偏差，并且如果需要，则生成合适的操作指令/或控制信号，以操作瞳孔位置光束偏转器175来补偿这种横向偏差。
图3b是监测眼睛或其他光学系统的定位和视线(目光)的方法300的流程图。在本发明的一些实施例中，图3a中所示的眼睛跟踪设备105和/或眼睛监测模块160被配置并且可操作用于实现下述方法300的操作。
方法300可选地包括步骤310和320(例如，与上述步骤210和220类似的步骤)，其提供在光学系统(例如，150)的光学路径中布置的第一和第二光束偏转器(例如，图3a和图1b中所示的目光方向光束偏转器130和瞳孔位置光束偏转器140)。第一和第二光束偏转器(例如，130和140)的偏转状态/角度分别与对于从出射光瞳/端口ep输出的跟踪光束tb的取向和横向位置的调节相关联。
方法300还可选地包括步骤330和340。在330和340中分别提供第一和第二光传感器，其被布置以用于感测经过出射光瞳/端口并沿着光学路径op传播的反射光rb。在第一和第二光传感器中的每一个光传感器包括多个光检测器。第一光传感器(例如，图3a中的目光方向传感器185)沿着光学系统的光学路径op定位，并且被布置成使得其能够感测在反射光束rb与第一光束偏转器(例如，130)相互作用之后来自出射光瞳的反射光rb。第二光传感器(例如，图3a中的瞳孔位置传感器1785)沿着光学系统的光学路径op定位，并且被布置成使得其能够感测在反射光束rb与第二光束偏转器相互作用(例如，与140相互作用)之后来自出射光瞳的反射光rb。因此，仍然如以上所指示的，在反射光rb在第一光传感器185上的标称投影定位pl1与在第一传感器上的某个参考定位rl1之间的增量/移动指示了光束跟踪光束tb的取向方面所需的补偿(例如，指示了需要的修改或者至少是为了减少跟踪光束的取向与视线los的取向的偏差而应将第一偏转器的偏转状态修改到的方向)。按照相同的方式，在反射光rb在第二光传感器185上的标称投影定位pl2与在第二传感器上的某个参考定位rl2之间的增量/移动指示了跟踪光束tb从出射光瞳ep出射处的横向位置方面所需的补偿(例如，这指示了需要的修改或者至少是为了减少跟踪光束的横向位置与视线los的横向位置的偏差而应将第二偏转器的偏转状态修改到的方向)。
可选操作350包括引导跟踪光束tb通过光学系统(例如，150)。如以上所指出的，跟踪光束可以是红外光。
在操作360中，读出数据rd1从第一传感器185获得。读出数据/信号rd1指示光束rb在第一传感器185上的投影定位pl1。操作370包括至少操作第一光束偏转器，以补偿在眼睛的目光方向/视线(los)上的变化(例如，以补偿/减少与眼睛的震颤运动不关联的变化)。例如，控制器164可以包括模块/电路(瞳孔位置控制器)180，其根据本发明的某些实施例根据图3c中的流程图中例示的方法307至少操作第一光束偏转器。
如图3c所示，方法307至少包括目光方向伺服回路操作440，其调节目光方向光束偏转器130以补偿眼睛的目光方向上的变化。伺服回路操作440包括两个主要的子操作：
442-处理来自第一传感器(目光方向传感器)185的像素的读出数据/信号，以估计返回光束rb在第一传感器185上的相对标称投影定位pl1；以及
444-根据标称投影定位pl1调节偏转角度/状态目光方向光束偏转器，以便减少从眼睛反射的反射光束rb的传播的光学路径/光轴op与眼睛eye的视线los之间的角度偏差。
操作442和444以高频率(例如，以小于10-3秒量级并且有可能以10-4秒的量级的更高频率)循环重复，或者以至少高于人眼的“感测/感知频率”(感知时间)的频率循环重复，使得当用户改变他的目光时，他不会注意到投影到他眼睛的图像的任何闪烁(例如，他不会注意到任何错位、涂抹和/或剪裁)。为此，操作442和444可以通过模拟电路和/或数字处理单元来实现。例如，目光方向传感器可以包括包含四个圆形布置的像素q1-q4的四象限检测器。控制器电路/处理单元180可以包括两个差分器：在来自像素q1+q2的电压信号之和减去来自像素q3+q4的信号之和之间进行差分的第一差分器；以及在来自像素q2+q3的电压信号之和减去来自像素q4+q1的信号之和之间进行差分的第二差分器。第一差分器的输出信号/数据指示返回光束rb的投影定位pl1与传感器185上的中心定位(在本示例中为参考定位rl1)的偏差。第一差分器的输出信号/数据可以被连接/提供给控制目光方向光束偏转器130的向上-向下的角度位置/状态的伺服致动器，从而根据目光方向los调节跟踪光束tb的上下取向。类似地，第二差分器的输出信号/数据可以被连接/提供给控制目光方向光束偏转器130的左-右角度位置/状态的伺服致动器，从而根据目光方向los调节跟踪光束tb的左-右取向。这种只涉及少量数据/信号计算的处理可以非常快速地执行，足以提供对用户来说不明显的响应时间。运动的程度也由传感器上所有能量的总和(q1+q2+q3+q4)来定义，因此它的分辨率与到达传感器的能量成比例。
如以上所指出的，操作370可以被调节为使得仅补偿/减少与眼睛的震颤运动无关联的眼睛的目光方向/视线(los)上的变化。为此，方法307还可以包括实际实现颤动过滤的可选操作410至434。在操作410和420中，获得并处理来自光传感器185的读出数据/信号rd1，以确定/估计指示在传感器185上的返回光束rb的投影定位pl1与参考定位rl1的偏差的幅度和方向的矢量数据。本领域的普通技术人员将容易认识到，在给定传感器185上的光检测器/像素的数量和布置的情况下，存在用于估计这种矢量数据的各种已知合适的技术。随后，执行操作430以确定/估计返回光束rb的投影定位pl1与参考定位rl1的偏差是与眼睛eye的震颤运动相关联的小偏差还是被视为在目光方向上的改变的足够大的偏差。在偏差很小(仅为震颤运动)的情况下，执行操作434，以断开目光方向光束偏转器130的伺服回路(例如，停止执行伺服回路操作440)。在偏差大到足够被视为在目光方向上的改变而不仅仅是震颤的情况下，则执行操作432，以“闭合”目光方向的伺服回路来参与伺服回路操作440的执行)。通过这种方式，实现具有10-3秒的量级的或者甚至在10-4秒的量级或以下的响应时间的敏捷的目光方向补偿，同时还避免了在仅有震颤运动时进行补偿。
在一些实施例中，来自光传感器185的读出数据/信号rd1还通过了次级速度和/或加速度伺服回路。速度和/或加速度伺服回路可以通过信号rd1的一阶/二阶微分来执行，以估计瞳孔运动的速度和/或加速度性质。在这些实施例中，速度和/或加速度性质用于通过识别速度和/或加速度和/或两者何时超过(上升到高于)某些相应阈值，在早期阶段识别/检测扫视运动。这允许更好地估计和早期检测到扫视运动。
转回到图3b，在方法300的操作380中，从第二传感器175获得读出数据rd2。读出数据/信号rd2指示返回光束rb在第二传感器175上的投影定位pl2。在操作290中，控制器164和/或不同的操作者至少操作第二光束偏转器，以补偿在眼睛和光学系统150之间的相对位置的变化(例如，补偿/校正在跟踪光束tb的传播轴相对于眼睛eye的视线的横向位置之间的变化/差异)。例如，控制器164可以包括处理单元(模块/电路)170，其根据本发明的某些实施例根据图3d中的流程图中示出的方法308至少操作第二光束偏转器。
如图3c所示，方法308至少包括横向/瞳孔位置伺服回路操作450，其调节跟踪光束tb的横向输出位置(或者是沿着光学路径op传播并从出射光瞳ep出射的任何其他光束的横向输出位置)，以补偿在眼睛的目光方向上的变化。横向/瞳孔位置伺服回路操作450包括如下两个主要子操作452和454：
452-处理来自第二传感器(瞳孔位置方向传感器)175的像素的读出数据/信号rd2，以估计返回光束rb在第二传感器175上的相对标称投影定位pl2；以及
454-根据标称投影定位pl1调节偏转角/状态瞳孔位置光束偏转器140，以便减少从眼睛反射的反射光束rb的传播的光学路径/光轴op与眼睛eye的视线los的横轴之间的横向偏差。
操作452和454可以由数字处理单元来实现，和/或由构成控制器164的瞳孔位置控制器170的合适的电子处理电路或控制器164的瞳孔位置控制器170所包括的合适的电子处理电路来实现。操作452和454可以循环执行，并且可以提供以10-3秒的量级乃至以下(例如，10-4秒的量级)的响应时间对眼睛相对于出射光瞳ep的定位的改变作出的快速/敏捷的响应。
为此，方法300提供了用于跟踪和补偿眼睛/瞳孔相对于光学系统150的光学路径op的角度和横向运动的技术。
在本发明的一些实施例中，跟踪光源162可操作以发射眼睛跟踪光束tb作为具有特定调制图案(例如，强度调制图案，诸如具有一定重复率的脉冲序列)的调制光束。如以上所指示的，跟踪光源162可以例如包括适于调制来自光源的光tb的调制单元/模块和ir光源(例如，ir激光器/二极管)。调制单元/模块可以例如包括被配置用于以脉冲/调制强度操作光源的操作控制电路和/或位于来自光源的光束tb的光学路径中的光调制器。图3e以自我解释的方式例示了本发明的伺服回路的流程，其用于在眼睛跟踪光束tb是调制光束的情况下监测/跟踪眼睛的定位和/或视线。可选地，眼睛监测模块160包括被调谐/配置用于仅使跟踪光束tr的特定波长/波段通过的带通滤波器，以滤除在该波长段以外的噪声/杂波。可选地，眼睛监测模块160包括分别与目光方向控制器180和/或瞳孔位置控制器170相关联的锁相模块(多个锁相模块)182和/或172。可选的锁相模块182被配置并且可操作以获得指示跟踪光束tb的调制图案的调制数据/信号，并且使用该调制数据/信号以采用跟踪光束tb的调制图案来处理/锁相来自目光方向传感器185的读出信息rd1，并由此从读出信息rd1中滤除与由目光方向传感器180感测到的噪声/背景杂波相关联的数据/信号。更具体地，锁相模块182对读出信息rd1进行过滤，以从其中抑制未采用与发起由目光方向传感器185所感测到的反射/返回光束的跟踪光束tb的调制图案类似的调制图案进行调制的数据/信号。按照类似的方式，可选的锁相模块172被配置并且可操作以获得指示跟踪光束tb的调制图案的调制数据/信号，并且使用该调制数据/信号以采用跟踪光束tb的调制图案来处理/锁相来自瞳孔位置传感器175的读出信息rd2。锁相模块172由此对读出信息rd2进行过滤，并且从其中抑制与由瞳孔位置传感器175感测到的噪声/背景杂波相关联的数据/信号。更具体地，锁相模块172对读出信息rd1进行过滤，以从其中抑制未采用与跟踪光束tb的调制图案类似的调制图案进行调制的数据/信号。
这产生在跟踪光束tb的波长方面对背景杂波辐射较不敏感或不敏感的鲁棒配置。
因此，本发明提供眼睛投影设备100，其能够以相对于眼睛来说适当的角度取向将光束(诸如，图像投影lb)引导向用户的至少一只眼睛eye的位置，使得图像可以投影到眼睛eye视网膜上的期望定位处。在某些实施例中，眼睛投影设备100被配置并且可操作用于监测眼睛eye的位置的变化和/或眼睛eye的视线los的取向的变化，并且使光束(例如，lb)偏转，以跟踪眼睛eye的定位和取向，使得即使用户改变他的目光方向或者眼睛投影设备的定位相对于眼睛eye移动，图像也可以投影在眼视网膜上的固定定位处。
图4是眼睛投影设备100的框图，眼睛投影设备100包括眼睛投影系统101和101'，用于将图像投影到用户的双眼eye和eye'。眼睛投影系统101和101'可以例如与以上参考图3a所描述的眼睛投影系统类似地进行配置。因此，在下文中也使用与图3a中使用的相同的参考数字来指代图4的眼睛投影系统101中的类似元件/模块，并且具有附加物“’”的类似参考数字用来指代图4的眼睛投影系统101'的元件/模块。
设备100被装备在包括镜片102和102'的虚拟和/或增强现实眼镜gs上。为了清楚起见，图中还显示了眼镜gs的眼镜腿部和鼻梁部。眼睛投影系统101和101'分别使跟踪光束tb和tb’投影，跟踪光束tb和tb'分别经由对应的镜片102和102'上的反射表面的反射而到达用户眼睛eye和eye'。从眼睛eye和eye'反射回来的返回光束rb和rb'分别由眼睛投影系统101和101'中的传感器捕获，并且被处理，以确定眼睛的位置和目光方向，并且相应地调节眼睛投影系统101和101'的光学传播路径。眼睛投影系统101和101'还分别使沿着眼睛投影系统101和101'的调节光学路径而传播的图像投影光束lb和lb'投影，因此这旨在将它们相应的图像分别投影到眼睛eye和eye’的视网膜上的固定定位上。
在这个示例中，公共瞳孔位置控制器170用于两个眼睛投影系统101和101'。这个公共瞳孔位置控制器170可连接到第一眼睛投影系统101的第一瞳孔位置传感器175，并且还可连接到第二眼睛投影系统101'的第二瞳孔位置传感器175'。瞳孔位置控制器170适于接收并处理来自两个瞳孔位置传感器175和175'的读出数据rd2和rd2'(例如，如以上例如参考方法308所描述的那样)，并且确定两只眼睛eye和eye'的瞳孔位置的移动。随后，瞳孔位置控制器170检测用户双眼的瞳孔的位置的“共模”移动，由此能够在与眼运动相关联的移动和与眼睛投影设备相对于眼睛的运动相关联的移动之间进行区分。这种区分提供了对投影系统的移动的补偿，例如分别通过根据投影系统的轴向和横向移动而重新调节和调节投影图像的位置。
图5a和图5b是两个说明性示例，以自我解释的方式显示了本发明的技术如何能够集成在适用于各种应用的头戴式显示器(hmd)中。
图5a描绘了佩戴具有集成眼睛跟踪器的hdm的用户。整个系统包括可穿戴光学模块和控制单元，该控制单元既可以是可头戴式模块的一部分，也可以是连接到光学模块的独立模块。连接可以是有线或无线的。光学模块具有眼睛跟踪模块，该眼睛跟踪模块跟踪每只眼睛单独相对于设备本身的参考点的位置和角度。如上所述，将用户眼睛的这个准确测量结果定义为关于光学模块的目光方向。使用至少一个相机和一个惯性测量单元来确定光学模块在其环境中的位置。这个测量结果被定义为用户头部定位，并且经常采用相机和附加传感器(诸如，惯性测量单元)的阵列来执行，并且其依赖于特征跟踪或附加的专用标记跟踪。在环境中的设备定位(定位)与用户目光参数的连接使得能够对环境进行准确的眼睛跟踪评估。来自双眼的叠加信息不仅提供关于用户正在看的方向的信息，而且还提供正在看的距离有多远的信息。这使得能够准确得多地演示受到hmd系统重视的内容。
图5b描绘了用户观察物体(在这种情况下是轿车)。所使用的系统是与上述相同的hmd系统，但还被配置成为用户投影与实际物体叠加的图像。用户正在顺序看轿车的前轮和后轮。眼睛跟踪系统确定用户目光的方向和位置。该系统以使得虚拟视场(vfov)集中于用户的目光方向的方式进行配置。因此，当用户移动他的视线时，虚拟图像与它一起移动。重要的是注意到集中到用户目光的视觉内容可以是以自我为中心的(其提供主要与目光方向强联系的虚拟叠加)，或者是世界锚定的(worldanchored)(其提供与真实世界环境相关的虚拟层)。这不仅需要定位功能，还需要世界地图构建(slam)。在所呈现的图像中，定位和地图构建特征被启用，并且关于用户在任何特定时间处正在看的目光方向和物体的虚拟叠加信息(‘前轮’、‘后轮’)被呈现给用户。