本发明涉及眼动追踪，并且具体地，本发明涉及一种用于基于经由光导光学元件的视网膜成像来追踪人眼的注视方向的眼动追踪器和对应的方法，其尤其适用于整合为近眼显示器的一部分。
【背景技术】
用于近眼显示器或者抬头显示器的光学布置需要大孔径以覆盖观察者的眼睛所在的区域(眼睛运动盒)。为了实现紧凑的装置，通过具有倍增以生成大孔径的小孔径的小型光学图像生成器(投影仪)来生成图像。
已经基于平行贴面的透明材料平板开发了在一个维度上实现孔径倍增的方法，在所述透明材料平板内，图像通过内反射进行传播。通过使用倾斜带角度的部分反射器或者通过在平板的一个表面上使用衍射光学元件来，将图像波前的一部分耦出平板。本文将这种平板称为“光导光学元件”、“透光基板”或者“波导”。在图1至图4中示意性地图示了这种孔径倍增的原理。
图1示出了具有用于通过内反射来导光的一对平行面26、26a的光导光学元件20。投影的图像18(此处由照明束18示意性地表示，所述照明束18包括横跨此束的样本光线18a、18b和18c)耦合到光导光学元件(此处由第一反射表面16示意性地图示)中以生成在基板内通过内反射捕获的反射光线28，还生成光线30。图像通过重复的内反射沿着基板传播，按照与平行面26、26a倾斜的角度照射在一系列部分反射表面22上，其中，对图像强度的一部分进行反射，以便作为光线48a、48b耦出基板。为了使可能产生重像的不希望的反射减到最少，优选地对部分反射表面22进行覆膜以使其对于第一入射角范围具有低反射比，而对于第二入射角范围具有期望的部分反射率，例如，如在图2a和图2b中图示的，在这些图中，使相对于部分反射表面34的法线具有小倾角的光线32分离以生成用于耦出的反射光线(图2a)，而利用可以忽略的反射来透射高倾角(相对于法线)光线36(图2b)。
图3图示了通过使用用于耦出图像的衍射光学元件23以及(在此处示出的示例中)用于耦入图像18的另一衍射光学元件17来实施的对应配置。如本领域已知的，衍射光学元件可以部署在基板的上表面或者下表面。
在这两种情况下，投影的图像18是准直图像，即，每个画素由对应角度的平行光束表示，等效于来自与观察者相隔较远的场景的光。此处简单地用与图像中的单个点(通常是图像的质心)对应的光线来表示图像，但是实际上包括所述中心光束的每一侧的一系列角度，这些光线以对应的角度范围耦入基板，并且以对应的角度类似地耦出，从而生成与在不同方向上到达观察者的眼睛24的图像的部分对应的视场。
图1和图3的孔径倍增沿着一个维度发生，与附图的从右到左的方向对应。在一些情况下，在两个维度上采用类似的方法，诸如，在图4中图示的。在这种情况下，第一波导20a具有耦入反射器16a和部分反射耦出表面22a，所述耦入反射器16a和部分反射耦出表面22a利用耦入反射器16b和部分反射耦出表面22b向第二波导20b提供光学输出。按照这种方式，由输入光线90表示的图像在两个维度中相继倍增以提供在两个维度中扩展的输出孔径。虽然此处图示的是使用用于耦出的部分反射表面，但是可以通过使用衍射光学元件来执行所述扩展中的一种或者两种。
要注意，通过孔径倍增实现的较大输出孔径使每条输入图像光线被分成多条间隔隔开的输出光线。在图1和图3中，这由通过分离输入光线18a导出的多条耦出光线48a和通过分离输入光线18b导出的多条耦出光线48b表示。对于图4的二维扩展也是如此。
技术实现要素：
本发明的一个方面提供了一种用于基于经由光导光学元件的视网膜成像来追踪人眼的注视方向的眼动追踪器和对应的方法，其尤其适用于集成为近眼显示器的一部分。
根据本发明的实施例的教导，提供了一种用于导出人眼的注视方向的设备，所述设备包括：(a)光导光学元件(loe)，所述光导光学元件(loe)由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述平行面中的一个平行面面向眼睛部署；耦入配置，所述耦入配置与loe相关联并且配置用于将入射在所述平行面中的一个平行面上的光的一部分耦入到耦入区域内以在loe内传播；(c)聚焦光学器件，所述聚焦光学器件与loe相关联并且配置用于将在loe内传播的多组平行光线转换为捕获到的光的会聚束；(d)光学感测器，所述光学感测器部署用于感测捕获到的光；以及(e)处理系统，所述处理系统包括至少一个处理器，处理系统与光学感测器电关联并且被配置用于处理来自光学感测器的信号以导出眼睛的当前注视方向，其中，耦入配置被配置为生成在loe内传播的光线，每条光线具有指示对应入射光线的入射方向的方向，以及其中，将多条间隔隔开的平行入射光线组合成在loe内传播的单条光线。
根据本发明的实施例的又一特征，耦入配置包括在loe内倾斜于平行面部署的多个部分反射表面。
根据本发明的实施例的又一特征，耦入配置包括与所述平行面中的一个平行面相关联的衍射光学元件。
根据本发明的实施例的又一特征，光学感测器包括四象限感测器。
根据本发明的实施例的又一特征，光学感测器包括画素感测元件的阵列，以及其中，处理系统处理来自不超过大约104个画素感测元件的输出。
根据本发明的实施例的又一特征，还提供了一种照明布置，所述照明布置部署为从耦入区域的方向照亮眼睛。
根据本发明的实施例的又一特征，照明布置配置为将照明引入到loe中，从而使得照明通过在一对平行表面处反射而在loe内传播并且通过耦入配置朝着眼睛耦出。
根据本发明的实施例的又一特征，还提供了一种照明光导元件，所述照明光导元件由透明材料形成并且具有用于通过内反射来导光的一对平行面，照明光导元件与loe重叠部署，其中，照明布置配置为将照明引入到照明光导元件中，从而使得照明通过在一对平行表面处反射而在照明光导元件内传播并且通过与照明光导元件相关联的耦出配置朝着眼睛耦出。
根据本发明的实施例的又一特征，照明布置与处理系统相关联，处理系统致动照明布置生成具有脉冲持续时间的照明脉冲，以及其中，处理系统处理从光学感测器导出的、与捕获到的在脉冲持续时间期间入射的光对应的信号。
根据本发明的实施例的又一特征，还提供了一种通带滤光片，所述通带滤光片部署为阻挡在给定波长范围之外的波长的光到达光学感测器，以及其中，照明布置主要在给定波长范围内产生照明。
根据本发明的实施例的又一特征，给定波长范围处于电磁辐射光谱的不可见区域中。
根据本发明的实施例的又一特征，照明布置包括多个单独控制的照明画素，以及其中，处理系统选择性地致动照明画素以选择性地沿着与眼睛的视网膜的选定区域对应的方向照亮。
根据本发明的实施例的又一特征，在持续追踪眼睛注视方向期间，视网膜的选定区域是包括眼睛的视神经盘的区域。
根据本发明的实施例的又一特征，处理系统配置为处理来自光学感测器的信号以导出与来自眼睛的视网膜的反射对应的强度分布的中心，从而确定眼睛的当前注视方向。
根据本发明的实施例的又一特征，处理系统配置为处理来自光学感测器的信号以检测眼睛的视网膜的至少一个突出特征的位置，从而确定眼睛的当前注视方向。
根据本发明的实施例的又一特征，处理系统配置为处理来自光学感测器的信号以追踪眼睛的视网膜中的血管的图案，从而确定眼睛的当前注视方向。
根据本发明的实施例的又一特征，还提供了一种图像投影仪，所述图像投影仪耦合至loe以将准直图像引入到loe中，从而使得准直图像经由loe内的内反射而传播并且通过耦入配置朝着眼睛耦出loe。
根据本发明的实施例的又一特征，图像投影仪与处理系统相关联，以及其中，处理系统致动图像投影仪生成具有脉冲持续时间的照明脉冲，处理系统处理从光学感测器导出的、与捕获到的在脉冲持续时间期间入射的光对应的信号。
根据本发明的实施例的又一特征，处理系统生成脉冲以与投影的图像的选定子部分对应，并且从而使得脉冲有助于对投影的图像的感知。
根据本发明的实施例的又一特征，还提供了一种支撑配置，所述支撑配置用于相对于人类用户的头部支撑设备，从而使得loe面向用户的第一只眼睛部署，所述设备进一步包括：(a)第二只眼睛光导光学元件(loe)，所述第二只眼睛光导光学元件(loe)由透明材料形成并且具有用于通过内反射来导光的一对平行面，所述平行面中的一个平行面朝向用户的第二只眼睛部署；(b)耦入配置，所述耦入配置与第二只眼睛loe相关联并且配置用于将入射在所述平行面中的一个平行面上的光的一部分耦入到耦入区域内以在loe内传播；(c)聚焦光学器件，所述聚焦光学器件与第二只眼睛loe相关联并且配置用于将在loe内传播的多组平行光线转换为捕获到的光的会聚束；以及(d)第二只眼睛光学感测器，所述第二只眼睛光学感测器部署用于感测捕获到的光，其中，处理系统进一步与第二只眼睛光学感测器电关联并且被配置用于处理来自光学感测器中的两个光学感测器的信号以导出用户的眼睛的当前注视方向。
根据本发明的实施例的教导，还提供了一种方法，所述方法包括以下步骤：(a)提供根据上述变型中任一变型的设备；以及(b)处理来自光学感测器的信号以导出眼睛的当前注视方向。
【附图说明】
本文仅通过示例的方式参照附图描述了本发明的示例性实施例，其中：
图1是上面所描述的用于近眼显示器的采用部分反射表面的现有技术的光导光学元件的示意性侧视图。
图2a和图2b是用于图1的现有技术的显示器的部分反射表面的角度选择性反射特性的示意图。
图3是上面所描述的用于近眼显示器的采用衍射光学元件的现有技术的光导光学元件的示意性侧视图。
图4是上面所描述的基于与图1的光导光学元件类似的两个光导光学元件的组合的现有技术的光学孔径扩展布置的示意性等距视图。
图5是根据本发明的实施例构建并且可操作用于结合近眼显示器追踪人眼的注视方向的设备的部分示意性等距视图。
图6a和图6b分别是根据第一优选实施方式的图5的设备的光学架构的示意性侧视图和正视图。
图7a和图7b分别是根据第二优选实施方式的图5的设备的光学架构的示意性侧视图和正视图。
图8是本发明的设备的示意图，图示了各种光信号和光学背景噪声源。
图9a和图9b是分别图示了光信号和光学背景噪声沿着摄像机的相应光路的相继强度损失的示意性流程图。
图10是图示了从空间上将图像数据细分在规则图像通道与追踪照明通道之间的示意图。
图11是图示了从时间上将图像数据细分在规则图像通道与追踪照明通道之间的示意图。
图12是图示了根据本发明的一个方面的为眼动追踪提供选择性照明的过程的流程图。
图13是人眼的眼底的图像，指示用于追踪算法的各种候选特征。
图14是图示了人眼中的视杆和视锥光受体根据在穿过视神经盘的平面中与中央窝的角度而产生的数量变化的曲线图。
图15是图示了人的视网膜根据在光谱的可见光区域和红外光区域中的波长而产生的反射率变化的曲线图。
图16是图示了人眼中的不同类型的视锥光受体和视杆光受体的波长响应性的曲线图。
图17a和图17b分别是根据又一优选实施方式的图5的设备的光学架构的示意性侧视图和正视图。
图18a和图18b分别是根据又一优选实施方式的图5的设备的光学架构的示意性侧视图和正视图。
图18c是与图示了又一变型实施方式的图18b类似的视图。
图19是用于图5的设备的组合式可见光图像投影仪和红外光照明和成像系统的光学架构的又一示意性前视图。
图20是用于图5的设备的组合时可见光图像投影仪和红外光照明和成像系统的光学架构的又一示意性前视图。
图21a是人眼的示意性侧视图，图示了不同入射角的镜面反射和漫反射的几何结构。
图21b是基于理论计算的曲线图，图示了来自视网膜的照明根据角度(所述角度通过改变瞳孔偏移而改变)而产生的反射变化。
图21c是与基于实验数据的图21b类似的曲线图。
图21d是图示了根据照明波长而产生的视网膜反射率变化的曲线图。
图22是在角度选择性追踪照明的情况下，由图5的设备的眼动追踪子系统导出的追踪图像的示意图。
图23是根据提供有专用的光导光学元件来对视网膜图像进行采样的又一优选实施方式的图5的设备的光学架构的侧视图。
【具体实施方式】
本发明的实施例提供了一种用于基于经由光导光学元件的视网膜成像来追踪人眼的注视方向的设备和对应的方法，其尤其适用于集成为近眼显示器的一部分。
参照附图和所附描述，可以更好地理解根据本发明的眼动追踪设备的原理和操作。
现在参照附图，图5至图23图示了根据本发明的各种实施例构建并且可操作用于导出人眼150的注视方向的设备(通常标为100)的结构和操作的各个方面。
笼统地说，在许多应用中，特别是在抬头显示器或者近眼显示器的上下文中，提供用于确定用户的注视方向的眼动追踪布置是有用的。用于执行眼动追踪的一种常用方法是对眼睛的图像进行采样，通常用于确定图像内的瞳孔位置，从而导出眼睛的定向。采用按照与图1或者图3的原理类似的原理工作的光导光学元件来对图像进行采样以便进行眼动追踪将是特别有利的。然而，上面参照图1和图3描述的从输入图像到输出图像的一对多关系在对相反方向上的光进行采样时引起逆向的多对一关系。具体地，在相反的方向上使用图1或者图3的孔径倍增布置对图像进行采样将对从系统的视场的不同部分入射在基板上的多条平行光线执行叠加。沿着与标记为48a的多条路径的相反方向对应的路径到达的光将全部被沿着光线18a的反向路径组合成输出光线，并且类似地，沿着光线48b的反向路径的多条入射光线将被组合成光线18b的反向路径。此外，如果使用会聚光学器件将通过光导光学元件捕获到的光集中到成像感测器上，则从整个视场沿着平行光线路径入射在基板上的所有捕获到的光都将被组合以落在单个画素感测器上。由于来自角膜、巩膜、眼睑和面部组织的表面的光通常全方位地散射光(朗伯反射)，因此，在视场中的所有表面通常将对图像的所有画素产生一些辐射。由于这些原因，试图通过入射在光导光学元件上的光来分辨图像通常将不被视为是可行的。
如现在将描述的，本发明提供了一种设备和方法，尽管存在上述挑战，但是已经发现所述设备和方法对于通过由光导光学元件捕获到的光来确定眼睛注视方向是有效的。具体地，本发明的某些特别优选的实施例提供了一种用于导出人眼150的注视方向的设备100，所述设备100包括：光导光学元件(light-guideopticalelement,loe)120，所述光导光学元件(loe)120由透明材料形成并且具有用于通过内反射来导光的一对平行面104a、104b。loe102部署有面向眼睛150的平行面104a中的一个平行面104a。耦入配置，诸如，一组部分反射表面145，与loe120相关联并且配置用于将入射在面104a上的光的一部分耦入到耦入区域内以在loe内传播。聚焦光学器件106直接或者间接地与loe120相关联以接收在loe120内传播的捕获到的光并且将在loe内传播的多组平行光线转换为捕获到的光的会聚束。聚焦光学器件106优选是集成在部署用于感测捕获到的光的光学感测器或者“摄像机”125中。处理系统108包括至少一个处理器，处理系统108与光学感测器125电关联并且被配置用于处理来自光学感测器125的信号以导出眼睛的当前注视方向。
耦入配置可以是使入射辐射的一部分转向通过loe内的内反射传播的角度的任何耦入布置，并且其中，每条光线具有指示对应入射光线的入射方向的方向。合适的耦入配置包括如图所示的一组部分反射表面145和衍射光学元件。
如上面解释的，在反向(感测器)操作模式中，将多条间隔隔开的平行入射光线组合成在loe内传播的单条光线是loe的孔径倍增配置的固有特征。然而，对于视网膜成像，平行光线的这种组合不排除图像的衍生。具体地，对于聚焦于远方场景(或者等效于远方场景的准直投影图像)的眼睛，目镜以及任何矫正镜片(若存在)生成聚焦在视网膜上的图像。由此可见，目镜(和矫正镜片(若存在))有效地对从视网膜表面反射的任何光进行校准以形成远场图像，其中，视网膜图像的每个特征与一束平行光线对应。因此，当平行光线被loe采集到、被引导到缩小的孔径中、并且被聚焦光学器件106朝向光学感测器125聚焦时，视网膜图像被保留下来。虽然感测到的图像数据包括来自眼睛和周围组织的近场外表面的大量散射光，但是近场照明在角度空间中大致均匀分布，从而在采样图像中生成通常平坦的背景噪声。只有由于视网膜反射图像引起的调制和/或特征才会在图像内产生对比度，从而方便确定观察者的当前注视方向。本发明的这些和其它特征将通过以下详细描述而变得更清楚。
现在具体参照图6a和图6b，示出了本发明的设备100的一种非限制性示例实施方式，在所述实施方式中，通过采用光学孔径倍增的近眼显示布置来执行追踪。如图所示的配置基于两个光导光学元件的组合：第一loe110，所述第一loe110在第一维度上扩展投影仪图像孔径(如在图6b中示出的从右到左)；以及第二loe120，所述第二loe120在第二维度上扩展图像孔径(如此处图示的从上到下)。图像投影仪102通过偏振选择性分束器(pbs)105将光(如实线箭头描绘的)投射到loe110中。在此处说明的一组特别优选但非限制性的实施方式中，loe110是“2d波导”，这意味着其具有两对相互正交的表面，所述两对相互正交的表面用于在图像沿着loe110传播时在两个维度上引导图像。loe120是“1d波导”，这意味着其具有限定在一个维度上引导图像的“平板型波导”的一对平行主表面。在如在图7a和图7b中图示的替代实施例中，可以仅通过使用一个波导loe120来实施设备100。如此处说明的后一种情况采用倾斜的投影仪耦入配置。这种波导配置和耦入配置在近眼显示器(不进行眼动追踪)的上下文中的进一步细节可以在各种文献中找到，包括wo2015/162611a1和pct专利申请第pct/il2017/051028号(所述申请在本申请的提交日期之前未公开，并且不构成现有技术)，其通过引用的方式全部并入本文，犹如本文对其进行了全面阐述。本文说明的示例性实施例主要是指图6a和图6b的双波导实施方式，所述实施方式是更复杂的实施方式，而对于本领域的普通技术人员而言，实施单波导实施方式的更简单的结构所需的修改将是不言自明的。
此处将图像从loe110耦出到loe120中示出为由相对于loe110的一对或者两对平行表面倾斜部署的一系列内部部分反射表面(或者“小平面(facet)”)140来执行。如在图6a和图7a的侧视图中很好地看到的，通过使用以与所述基板的平行面成倾斜角度部署的第二组内部部分反射表面(“小平面”)145来实现从第二loe120朝着观察者的眼睛耦出。如本领域已知的，可以用衍射光学元件来代替在loe中的一个或者两个中的小平面。眼透镜115(如果需要进行视力矫正，则借助镜片117)对投影的图像的耦出光进行聚焦以在视网膜120上生产聚焦图像。
根据本发明的示例实施方式，近眼显示系统通过存在于观察者的视网膜上的成像图案来获取观察者的眼睛的视线。经由波导120和110来执行观察，在这种情况下，所述波导120和110是用于将图像投影到观察者的眼睛的相同的波导。图案及其运动的位置指示眼睛的当前视线和运动。在图13中呈现的视网膜的图像中示出了这种图案。血管152生成可以通过由处理系统108执行的合适的图像处理指令实施的适当标准或者专用追踪算法来追踪的图案。中央窝155确定观察方向，并且视神经盘(或者“盲点”)157是神经和血管会聚的特征性可追踪点。
一些光通过透镜115从视网膜反射回来(如虚线箭头描绘的)，有效地将这些光校准为平行光束，并且沿着由来自投影仪的光所采取的相同光路传播回来。光的大部分丢失(如下面进一步讨论的)，但是为了清楚地呈现，仅示出了对追踪有用的部分。小平面145使反射光的一部分转向以耦入到波导120，在小平面140处使反射光的一部分转向以耦入到波导110，并且pbs105将一些反射光反射到摄像机125上。在一些实施方式中，将偏振扰偏器(未示出)放置在pbs105的前方。与投影仪102类似，将摄像机125聚焦到无限距，从而在摄像机中生成视网膜的图像。
在图8中示意性地描绘了在成像过程中可能起作用的各种照明源。波导120面向观察者1001的眼睛部署，这意味着观察者对场景的观察穿过波导。外部光源1002(虚线箭头)照亮波导和观察者。所述外部光是连续的，并且作为背景辐射进入光学系统。由光学系统生成的光(实线箭头)照亮视网膜121和观察者的脸部。来自视网膜的反射(点划线箭头)是感兴趣的信号，而来自非视网膜组织表面的反射(双点划线箭头)是与系统的照明模式紧密相关的附加背景辐射。系统内的任何内部散射都具有与从观察者的脸部散射的光相同的特点。
所有的背景照明都会引起降低视网膜图像质量的噪声。为了减少外部照明源1002的影响，根据本发明的一个方面，使用较短的光脉冲(优选是低于1ms)，并且使摄像机同步以仅在所述短照明持续时间期间对光进行整合。按照这种方式，大大地抑制了连续背景照明。此外，或者可替代地，可以将通带滤光片部署为阻挡在生成有眼动追踪照明的给定波长范围之外的波长的光到达光学感测器。
之后是估计由照明反射(图8中的双点划线箭头)引起的背景光以导出进行眼睛检测所需的光量。除了如权利要求中明确叙述的之外，这种估计以及对本文提出的操作原理和计算值的所有其它讨论的提出仅仅是为了提供对本发明的更全面的理解，而不以任何方式限制本发明。具体地，在后来可能发现此处提出的任何具体计算或者值不准确或者错误的情况下，这种事实不会否定如本文描述的本发明的效用。
正常的背景表面将光反射到pi球面度(假设所述表面是生成接近朗伯反射的反射光分布的低光泽表面)，而瞳孔生成与经常在闪光摄像中观察到的“红眼”效应对应的方向反射，从而将从光学系统接收到的光反射回光学系统中。因此，从视网膜接收到的光的强度比等效的背景表面强。此外，来自视网膜的图像聚焦在摄像机125的图像平面处，而来自附近的“背景”表面的照明则不是聚焦在摄像机125的图像平面处。这提高了将视网膜的图像与从背景导出的图像内容区分开来的能力。
图9a和图9b描绘了从眼睛到追踪摄像机125并且用于背景照明的返回路径的光能损失。
在明亮的光线下人眼的瞳孔大约为4mm2，而眼框(图像可见的区域，与由系统照亮并且生成背景反射的区域对应)可以是大约400mm2。假设对于信号和背景两者，照明量和散射系数大致相同，则反射的背景与信号的比率是r＝2×100＝200(假设在眼框内的外部组织的反射率可以是视网膜组织的反射率的大致两倍)。下面的等式示出了假设散粒噪声有限的摄像机的预定义snr的所需信号：
背景＝信号×r
信号＝snr2×r
因此，对于为5的所需snr，所需的光子数量为：
信号＝snr2×r＝52×200＝5000[光电子/帧/特征]，
其中，‘特征’可以是要利用定义的snr来检测的画素或者图案。
在所述计算中，假设没有其它背景光进入系统。因此，根据本发明，波导边缘(图1中的126)优选是具有吸收性的或者在吸收外壳内。这确保了背景辐射在其在光波导中传播时按照与来自视网膜的信号相同的方式丢失能量，并且不获得能量。
在一个非限制性示例中，沿着光学系统的能量透射率可以近似如下：
●20％经由其中一个小平面145耦合到波导120中，
●50％沿着波导120透射(透射过附加小平面145等)，
●20％经由小平面140耦合到较上方的波导110(若存在)中，
●50％沿着波导110透射，
●50％耦合到摄像机125中，诸如，经由pbs105，
●摄像机125的50％光透射和量子效率。
所有上述结果估计为2.5e-3透射率。其它降解因子(诸如，调制传递函数(mtf)和内部散射)可以近似为10的另一因子，得到2.5e-4透射率。
在波导110不存在的实施例中，透射率较高，并且通过使用上述估计，透射率大约为2.5e-3。
由此可见，在每个帧的积分时间期间，眼睛应该接收大约5000/2.5e-4＝2e7个光子。对于3e-19j(红色)的光子能量，在1ms的积分时间内大约为6e-12[j/积分时间/特征]或者6[nw/特征]这是实际照明强度。
如在下面进一步讨论的本发明的某些实施方式中提出的，如果只照亮了视网膜的选定部分(以及到达眼眶的其它区域的射线的对应选定方向)，则显着减少背景散射。
应该注意确保眼动追踪照明不会中断观察者对投影的虚拟图像的感知。可以使用若干方法来避免中断显示的图像，包括以下中的一种或者多种：
●采用低强度；
●将追踪照明组合为投影的图像的一部分；
●针对视网膜的不敏感或者不相关区域进行选择性追踪照明；
●选择追踪照明波长以与眼睛不敏感但是光学器件可以透射并且摄像机可以检测的波长一起工作。
现在将单独地提出这些方法中的每一种方法：
低强度：根据所述方法，优选使用高灵敏并且具有低内部噪声的摄像机，从而即使在低照明强度下也能够以良好的snr有效地对视网膜成像。这允许使用足够低强度的追踪照明，使得观察者不会注意到所述照明。强度应该仍然满足上面概述的snr计算。
组合照明：可以将眼动追踪照明合并为投影的图像的一部分。照明可以发生在图像投影期间或者在如在图10中描绘的单独的时隙中。在所述示例中，在时隙“a”期间，图像投影仪对具有缺失或者抑制区域的图像进行投影。所述照明可以是相对较长的持续时间，例如，大约10ms。在时隙“b”期间，除了完成图像投影之外，按照比较长脉冲更高的强度，照亮补充图像作为短脉冲，例如，大约1ms的持续时间，并且用作眼动追踪照明。右侧的图像表示整合了两个照明时段的大脑所感知的内容。补充图像可以是任何一种分色或者显示颜色的组合，并且位于任何选择的位置或者图像内的位置。下面描述了这种照明的“模式控制”的一个优选示例。
应该注意，图10的表示涉及投影仪的图像平面和形成在视网膜上的图像。在波导内并且在眼框内离开波导的光中，每个画素与具有特定角度方向的宽准直束对应。对如在图10中示意性地图示的选择性模式(时隙“b”)的使用与在视场内的少量选择的角度方向上的照明对应。
照明模式控制：具体地，在图像生成器102(在图6b或者图7b中)用于生成眼动追踪照明的情况下，可以方便地控制视网膜上的照明模式，从而仅照亮感兴趣的区域并且减少对感知到的图像的中断。为此，应该将照明的时间顺序与图像投影定时相结合。在图11中描绘了这种实施方式的时间管理的示例。在某些实施方式中，按顺序启动一组光源以生成所有颜色。当每个光源亮起时，调制矩阵(lcos、lcd或者mems)生成这种颜色的所需图像。如观察者的视网膜上的细胞感知到的，将单独的源组合成快速序列以及对每个画素的调制生成了图像中的每个画素所需的颜色。根据本发明的某些实施方式，将附加时隙引入到照明序列中(标记为‘眼动追踪器脉冲’)。在所述时隙中，启动源(颜色)中的一个或者源的组合、和/或专用眼动追踪波长源(下面会讨论)作为短脉冲，并且其照明模式由调制器确定以便只照亮视网膜的所需部分。处理系统108致动眼动追踪摄像机125仅在所述脉冲时间期间对光电子进行整合。
所述选择的照明模式显着降低了背景噪声，这是因为要追踪的视网膜的选定区域被完全照亮，但是，根据图像中“活跃的”画素的比例，减少分散输送至眼框区域的总辐射量。
照明模式可以仅集中在视网膜上的特定兴趣点处，例如，在具有特征性血管图案但是对光的敏感度最小的视神经盘(图13中的“盲点”157)处。计算观察者的实际视线，作为与所述点的角度偏移。在图12中描绘了导出并且追踪实际视线的非限制性但特别优选的过程。前三个步骤是映射视网膜图案和确定追踪特征的初始设置过程，而后续步骤表示连续追踪过程。具体地，在步骤210中，向观察者显示图像标记以供观察者在初始化期间查看。当观察者看着标记时，眼底(视网膜的可见光部分)被短脉冲完全照亮(步骤212)并且获得眼底的完整图像。然后由处理系统108处理所述图像以识别可追踪特征，通常包括视神经盘和中央窝(步骤214)。对眼睛方向的持续追踪然后如下进行。通常，通过上面参照图10和图11描述的照明顺序来选择性地照亮所选择的感兴趣的区域(roi)(步骤216)，并且在对应的照明脉冲期间对图像进行采样(步骤218)。处理所产生的图像以确定当前视线(步骤222)，并且使用所述导出的视线来更新感兴趣的区域的位置(步骤224)以便随后循环照明周期，并且追踪过程返回至步骤216。假设与眼睛的运动速度相比较，追踪测量的频率较高，则所述更新过程通常对维持连续追踪有效，可选地，与来自另一只眼睛的追踪信息相结合。随着视线的方向改变，照明区域也改变。可以根据如通过最后的采样图像确定的“当前”注视方向来执行对感兴趣的区域的更新，或者在某些情况下，可以基于在前两次或者更多次测量之间的眼睛运动来使用预测性外插。在追踪失败的情况下，可以暂时增加被照亮区域的大小，直到恢复可追踪特征。
根据本发明的某些特别优选的实施方式，复制眼动追踪布置以便同时追踪对象的两只眼睛。通过组合来自两个眼动追踪器的数据，或许可以实现增强的追踪稳定性和连续性。例如，当眼睛正在移动时，视神经盘157在一只眼睛中可以对追踪器可见，而在另一只眼睛中不可见。如果使用了采用追踪盲点的追踪算法，则对两只眼睛的同时追踪允许在只有一个眼动追踪器可以追踪盲点的周期内连续维持追踪。
波长选择：参照图14至图16，光谱灵敏度也可以用于在进行眼动追踪照明期间最小化对眼睛的刺激。如在图14中图示的，视杆细胞主要负责周边视觉并且不存在于中央窝中。如在图16中通过曲线‘r’示出的，视杆细胞对红色(620纳米以上)相对不敏感。存在于周边区域中的数量减少的视锥对低光级的敏感度比视杆小得多。因此，根据本发明的某些实施方式，优选的是，用红光来照亮周边视网膜(即，除了中央窝之外)以便进行眼动追踪。
从图15中的曲线可知，来自视网膜的反射在红外光中比在可见光波长处高得多。在700nm处，反射几乎是在可见红光中的反射的两倍。因此，采用在可见-红外光的边缘处的波长(在650nm与750nm之间，并且最优选地，在680nm与720nm之间)可能是有利的，这是因为减少了在光学系统内的散射，并且波导的光学涂层具有与可见光中几乎相同的反射率，而眼睛对这些波长不敏感。
较长波长(例如，900nm)具有比可见光范围中高达6倍的反射率，并且可以根据本发明来使用。然而，这需要优化光学涂层以确保各种表面的所需反射率也适合于眼动追踪器波长。
在红外光照明使用眼动追踪器的情况下，存在用于提供红外光照明的各种选项。在使用接近可见光波长的近红外光波长的情况下，可以在常规的可见光图像投影布置中将红外光照明组合为第四种“颜色”，例如，通过使用lcos调制器。如果红外光的较长波长需要模式化照明，则数字光处理(dpl)装置通常是优选的。对于非模式化照明，通常独立于图像投影仪提供专用照明源。图17a至图20图示了根据本发明的将ir照明并入光学系统的设备的某些实施选项。
首先参照图17a和图17b，涉及通过将近红外光源集成到可见光图像投影仪布置中作为额外的“颜色”来输送近红外光照明的实施方式。未示出投影仪的细节，但是对于本领域的普通技术人员而言，投影仪的细节将是不言自明的。在这种情况下，将眼睛检测摄像机放置位与上波导110相邻，从而使得不需要图16b的pbs105。所述配置基于loe110中的内部小平面140向上耦合从左到右传播的光的事实。在所述配置中，可以引入偏振器126，以最小化散射的穿透。
图18a和图18b图示了又一配置，在所述配置中，具有与图像投影仪102(可以是ir或者vis，以下称为ir)的输出不同的波长的光源302通过分束器304(所述分束器304可以是，例如，50/50分束器或者pbs)来将光透射到波导110中。第一小平面306设计为透射来自图像投影仪102的全部或者大部分可见光，但却反射眼动追踪器的ir光。ir照明光如在图6a和图6b中描述的那样传播到眼睛并且返回。然后被306反射到分束器304并且被传递至成像摄像机125。
在18c图中，返回的光(虚线箭头)通过波导110的透射被直接反射到成像摄像机125，而不被所述波导反射和引导。这可能需要更宽的接收光学器件(与在诸如图7a和图7b中的单个波导投影布置中使用的布置类似)和/或可以具有比投影仪小的接收眼框。如下面参照图21a至图21c进一步讨论的，更小的眼框通常是可接受的，因为(与图像投影仪不同)来自眼睛的反射可以处于离轴角度。照明可以来自图像投影仪或者来自如图所示的专用照明器302。
图19示意性地示出了用于引入ir照明以及可见光(vis)图像投影的投影系统102的可能实施方式的进一步细节。来自visled400的光穿过光管402(用于增强均匀性的可选特征)，穿过照明光学器件404，穿过分束器406并且照到lcos408上。如果lcos对于每个画素已经嵌入了滤色片，则系统中不存在光管，并且照明是由白色的visled产生的。通过二向色分光镜412来引入用于眼动追踪的irled410。irled按顺序亮起或者与visled同时亮起。
图20图示了与在图6b中示出的配置对应的又一选项。在这种情况下，102是图像投影光学器件(未详细示出)，并且105是分束器。然而，在这种情况下，105优选是透射来自投影仪的可见光，但却将ir光反射到眼动追踪系统和从眼动追踪系统反射ir光的二向色分束器。显然，具有相反特性的二向色分束器可以用于构建在透射方向上具有ir追踪系统的等效配置。
用于眼动追踪系统的ir照明由irled500生成，光穿过分束器502(所述分束器502可以是50/50分束器或者pbs)照射到二向色分束器105上并且反射到波导(与分束器105相邻但是在所述附图中未示出)上。反射光(虚线箭头)沿着反向路径并且穿过分束器502照射到ir摄像机125上。
虽然到目前为止是在追踪视网膜的详细特征的实施方式中进行描述，但是本发明的某些实施方式采用替代追踪技术。如在图21b和图21c中图示的，来自视网膜的反射通常包括镜面反射分量和漫射。图21中的眼睛200的简化模型示出了垂直照射在视网膜201的中心上的轴上光线。强镜面反射202通过入射瞳孔反射，因此，所述反射从外部被强烈地检测到。然而，当光以离轴角204照射到视网膜上时，镜面反射206不离开瞳孔，并且只有被除去的反射才离开瞳孔(标记为虚线箭头)。这是从外部会检测到的弱得多的信号。
图21b的曲线示意性地示出了组合式反射强度。镜面反射分量(表征为可变振幅a)是角度相关的(此处描述为瞳孔位置)，而漫反射大致是恒定的(表征为振幅b)。图21c和图21d的曲线示出了反射的分量的实验测量和波长依赖性。根据这些实验，反射的半高全宽(fwhm)大约是2mm的瞳孔移位，与大致～10°对应。检测的实际分辨率可以近似为：
dθ≈fwhm/snr
由于snr可以在10至100的范围内，因此，眼睛定向分辨率可以是1°至0.1°。已知用于进行精确定位检测的信号处理，并且在应用光学49卷，期号17，第3330至3337页(2010)，y.danziger的论文“sampling-balancedimagingsystemusingwhiteningmatchingfilter”中描述了示例。
因此，应该理解，本发明的从眼睛返回到波导中的反射的强度的包络将受到角度限制。本发明的某些实施方式使用所述特点来确定眼睛的定向(独立于模式检测)。
根据本发明的这个方面，优选地照亮整个视场，而只有一部分被眼睛反射。图22示意性地描绘了反射场，在所述反射场中，圆圈表示视网膜的强镜面反射，而周围则被较弱地反射。因此，视网膜图案在所述圆圈内将是非常明显的，在外面则不那么明显(如虚线描绘的)。根据本发明，眼睛的定向将被视为图案和高反射的“包络”的移动。
与先前讨论的通常需要大量感测器矩阵的模式检测不同，此处描述的这种包络检测需要的分辨率低得多，并且可以通过使用四象限或者“正交”检测器或者小于104个画素并且通常不多于50×50个画素的低画素计数检测器(诸如，在光学计算机鼠标中是常见的)来执行。对于这组实施方式，在一些情况下，将光学感测器125部署成稍微偏离聚焦光学器件106的焦平面以使图像稍微散焦可能是有利的，由此减少了或者避免了与画素化有关的效应。感测器元件的数量减少允许使用高速图形处理，这又有助于追踪过程的响应速度。
虽然到目前为止描述的示例已经将眼动追踪照明和成像组合了在单个波导中，但是应该注意，在一些情况下，将这两种功能分离在两个分开的波导之间可能是有利的。具体地，在某些情况下，存在以下风险：在眼动追踪器照明到达眼睛之前，眼动追踪器照明的内部散射可能会导致足够的后向散射辐射而使接收摄像机饱和。避免这个问题的一种方法是最小化发射波导中的照明的后向散射，诸如，通过在波导的表面上引入平滑涂层或者玻璃层。在图23中示意性地图示了替代方法，其中，发射和接收功能被细分在两个波导之间。
具体地，在图23的示例性实施例中，增强型近眼显示器250可以是输送图像、照亮眼睛的任何类型的显示器。在所述侧视图中，示出了采用2d波导和1d波导的组合，全部都基于部分反射小平面，但是上面提到的所有附加选项也适用于此。在所述图中，点划线箭头表示可能使组合的发射机/接收器波导饱和的一个散射点(可以有很多)。
依照惯例，照明可以利用可见光照明或者通过ir波长提供。在此处说明的实施方式中，通过与照明光导元件不同的平行波导255(在侧视图中示出)采集来自眼睛的反射光。在这种情况下，如上面描述的，两个光导光学元件都由透明材料形成，并且具有一对平行面，所述一对平行面用于通过内反射来导光，并且这两个光导光学元件面向观察者的眼睛重叠部署。反射光(如虚箭头描绘的)穿过照明波导250(无论如何都实施为大部分是透明的，以允许观察者看到真实世界)并且进入接收器波导255。所述波导也大部分是透明的，但是还包括用于将辐射的一部分耦合到波导中的耦合机构(小平面或者衍射机构)。反射图像在所述波导255内传播并且由接收器采集，其方式与先前针对组合式系统描述的方式大致相同。
简要地参考回图5，根据此处图示的具体非限制性实施方式，虽然诸如头盔安装等其它形状因子也明显地落入本发明的范围内，但是以具有用于接合观察者的耳朵的侧臂600的眼镜形状因子来实施设备100。如本领域已知的，可以通过使用任何合适类型的处理硬件和/或软件来实施处理系统108，包括但不限于：各种专用图形处理器、显示驱动器、和在任何合适的操作系统下工作并且实施合适的软件或者固件模块的通用处理器的任何组合。处理系统108通常还包括各种易失性数据存储装置和用于允许与lan和/或wan装置进行有线或者无线通信以便双向传递信息和图形内容的各种通信组件。通过合适的电源来对所述设备供电，所述合适的电源可以是电池和/或提供的外部电源的任何组合，此处示意性地图示为经由电缆604连接的电源602。在使用电池电源的情况下，可以将电池集成为眼镜或者头盔安装结构的一部分。
要注意，本发明的眼动追踪从根本上确定了眼睛的角度定向(即，注视方向或者“视线”)，但是在大多数实施例中，对眼睛相对于设备的空间位置基本上不敏感，只要眼睛保持在loe覆盖范围的有效眼框内即可。同样，所述设备对于眼镜型或者其它头戴式装置和/或其它可穿戴装置显示出绝佳的优点，对于这类设备，在使用期间确保系统与头部、和/或与系统可以相对于眼睛稍微移动的地方精确且可重复的对准并非总是可行的。
如上面提到的，虽然此处图示为眼镜结构的一侧的部分视图，但是整个装置可以提供单眼或者双眼图像投影和追踪，其中，双眼对于图像投影和追踪都是特别优选的。在设备是双眼设备的情况下，如上面讨论的，这两个追踪系统可以可选地共享各种处理和电源组件，并且优选地将追踪信息融合在一起以提供增强的追踪稳定性和连续性。
就所附权利要求已经被起草而不具有多重依附而言，这只是为了适应不允许这种多重依附的管辖权的形式要求。应该注意，明确地设想了将通过呈现权利要求来暗示的特征的所有可能组合并且应该将其视为本发明的一部分。
要了解，以上描述仅旨在用作示例，并且在所附权利要求中限定的本发明的范围内，许多其它实施例都是可能的。