用于眼动追踪的光学系统的制作方法

本公开涉及一种用于眼动追踪的光学系统，使得其可形成眼动追踪系统的一部分。所述光学系统可形成扩增现实(ar)或虚拟现实(vr)系统的一部分。

背景技术：

1、眼动追踪在用户界面研究或优化、健康、心理学、汽车安全、军事和可及性中具有许多应用，且还用于理解用户响应于例如广告等刺激的行为。新兴领域是扩增现实(ar)和虚拟现实(vr)的领域，其中预期眼动追踪是一个重要组成部分，从而允许用户界面控制及有助于向用户提供高质量虚拟图像。ar提供覆叠在现实世界上的虚拟图像，且正为此技术开发越来越多的应用。

2、眼动追踪技术通常拆分成三组：光学眼动追踪；眼睛附接追踪；以及电位测量。光学眼动追踪由于其无创且便宜而最常使用，且是本公开内论述的技术。

3、光学眼动追踪系统存在两个主要类型：具有远程相机的桌装式；或者呈眼镜或头盔尺寸规格的头戴式。眼动追踪理解为测量眼睛的转动。相比之下，视线追踪通常理解为包含确定用户正在现实世界中注视什么，且包括额外追踪头部位置。这通常利用头戴式装置上的面朝外相机(世界相机)或加速度计来实现。理想地使用校准使眼睛转动与视线方向相关。眼动追踪在例如holmqvist等人(牛津大学出版社，2011)的“眼动追踪：方法及措施的综合指南(eye tracking:a comprehensive guide to methods and measures)”等教科书中论述。

4、光学眼动追踪头戴式系统通常具有红外(ir)光源来为眼睛照明，以及ir相机(例如，电荷耦合装置，ccd)来捕获眼睛的图像，两者都安装在头戴式结构(例如眼镜框架)上在眼睛附近。机器视觉算法可接着确定来自光源的角膜反射的位置(也被称为闪烁或第一普金野(purkinje)图像或光斑)，和瞳孔的位置。瞳孔中心与闪烁之间的向量确定眼睛转动及因此视线方向。原则上，存在多个可使用的普金野反射，但在实践中其它反射通常太弱。然而，计算要求较高，因此大多数眼动追踪器以相对低的帧率或刷新率(30-200hz，4-33ms的时延)运行。这样低的刷新率限制了眼动追踪在ar中的应用。眼睛存在两个主要移动类型：专注；以及扫视。扫视是快速眼睛转动移动(多达每秒900度)，因此追踪扫视移动需要明显更高的刷新率。

5、光学眼动追踪的准确性，即所计算的注视点相对于真实注视点的角偏差，也很重要。此准确性通常在0.5到2度之间。

6、光学眼动追踪系统的功率消耗对于无线ar眼镜来说尤其显著，无线ar眼镜被设计成长时间穿戴，因此期望其重量轻且电池寿命较长。为此，计算要求应保持最小。当前头戴式眼动追踪装置具有高功率消耗(达到1w)。

7、对于ar，机器视觉计算因眼睛从相机的离轴检视而变得更难，眼睛从相机的离轴检视通常对于提供紧凑的尺寸规格和满足ar眼镜的透明度要求是必要的。对于vr，相机可以是离轴或轴上的(例如，使用热镜分束器)。ar或vr中的眼动追踪允许中央凹形渲染和其它计算效应以减小计算功率，增加视觉舒适度和减少动晕症。然而，这取决于低时延眼动追踪。

8、ar产品仍待实现消费者接受度。此问题的一个原因是现有的ar光学系统设计中固有的亮度、视场(fov)和视窗(定义为眼睛可在其内看到虚拟图像的区域)之间的折衷。当前紧凑型ar产品通常呈两个配置之一：波导设计；或虚拟视网膜显示(vrd)。波导设计具有通过复制虚拟图像创建的大视窗，但这会降低亮度且具有低功率效率，并且制造起来代价较高。vrd设计较便宜且较紧凑，具有明亮的图像和高功率效率，但具有小视窗。可通过为每一用户配备一副定制的眼镜来缓解小视窗，但这样做代价较高。利用低时延眼动追踪，可改进vrd设计以克服此视窗限制。举例来说，可经由微机电系统(mems)镜经由眼动追踪操控单个视窗，或者可生成多个单独的视窗且取决于眼睛正注视哪里而接通或切断所述多个单独的视窗。这需要鉴于上文提出的问题改进现有的眼动追踪系统。

9、全息光学元件(hoe)在ar中使用，因为它们很大程度上是透明的且可将虚拟图像从投影器反射到眼睛。通常，hoe反射可见光(400-700nm)，但它们可被设计成反射红外(ir)光(700-1500nm)。ir和可见透明全息图可彼此覆叠以组合功能。优选地ir光为眼睛照明，因为其是用户不可见的(尤其是波长>820nm)。us-10,838,362b2是光学眼动追踪系统的实例，其使用hoe充当反射镜且借此提供眼睛到ir相机的轴上检视，从而允许较低的计算要求。然而，计算要求仍高于所期望的计算要求。这些hoe使用“自由空间”全息图，这样称谓是因为它们类似于透明凹面镜而起作用，从而向相机反射闪烁。归因于此些hoe的互逆性质，ir光还可通过全息图定向到眼睛上且回向反射回到相机。基于hoe的系统的商业化一直因缺乏对ir光敏感的全息材料而受到阻碍，但是现在存在可用的新的合适的材料。

10、为了降低计算要求，us-8,939,579b2建议仅测量来自角膜的闪烁反射。此处，角膜的曲线充当凸面镜，其经由透镜将照明ir点源(led或激光)作为光斑朝向相机或检测器反射回去。准直射束导向眼睛，且使用透明波导和hoe来重定向闪烁反射(或第一普金野图像)，且此光斑通过透镜聚焦到相机上。原则上，此光斑在相机上的位置对应于眼睛的转动，且需要比计算瞳孔和闪烁的相对位置少的计算。然而，实现高准确性很难，尤其是通过将光斑聚焦到小尺寸时。

11、us-10,712,571b2采取类似的方法，但利用来自光学鼠标传感器的技术，所述光学鼠标传感器可通过检测随着物体或传感器移动激光斑点图案相对于漫射表面的相对移动而工作。准直射束导向眼睛，且使用波导和hoe经由透镜将斑点图案重定向到相机。这可能需要比其它方法明显更少的计算(且因此具有更低时延)。然而，追踪来自具有弯曲水样表面的眼睛的斑点图案仍具有挑战性。

12、us-2021/0041693a1和wo-2020/043472a1建议使用hoe来为眼睛照明，且将ir源并入到基于vrd的ar投影系统中，使用激光束扫描仪及mems镜和全息图将图像经由瞳孔(或虹膜的中心)聚焦到视网膜上。这两个文献描述扫描聚焦在瞳孔处的ir光且经由ir激光中的自干扰效应来测量反射光。

13、紧凑型的且允许低计算要求、低时延(允许高刷新率)和高眼动追踪准确性的用于眼动追踪的光学系统因此是合乎需要的。

技术实现思路

1、在此背景下，提供一种根据权利要求1所述的用于眼动追踪的光学系统，以及一种根据权利要求25所述的扩增现实(ar)或虚拟现实(vr)系统。附属权利要求项中限定另外的任选和/或有利的特征。

2、光源和光检测器(其优选地但不一定协同定位和/或集成)可用于指示一个或多个闪烁反射的位置信息。全息光学元件(hoe)布置(其优选地使用单个hoe，但在一些实施例中可使用多个hoe)接收来自光源的光，将光导向眼睛(有利地，使光聚焦或会聚在眼睛上)，接收来自眼睛的一个或多个闪烁反射且将这些反射导向成聚焦在光检测器处。光源有利地为点光源和/或发射发散光。光优选地为红外光，但在一些情况下可以是可见光。hoe布置(或至少将闪烁重导向到检测器的部分)具有大数值孔径(na)，具体来说足够大使得环境或杂散光在检测器处失焦。举例来说，na可为至少(或大于)0.2或0.3，优选地约0.5且通常不超过0.8。这可至少部分通过将hoe(全息图)尺寸设计和/或设置为足够实现大na的大小和/或光功率来实现。

3、眼动追踪系统因此可具备自由空间hoe，其充当离轴透明反射镜，所述离轴透明反射镜具有大的数值孔径以使ir光聚焦到眼睛，具体来说会聚到角膜的表面后方的点，所述点例如在角膜和巩膜中心之间，更优选地在虹膜后方(例如，巩膜的曲率中心)，并且最优选地为角膜的曲率中心(或在巩膜和角膜的曲率中心之间某处)。同一hoe(或在一些情况下，另一hoe)可接着回向反射且将ir源(闪烁)的图像聚焦到光电检测器上。大na意味着仅闪烁是聚焦的，而任何环境或杂散光都是失焦的。这允许极低的计算要求及因此低时延眼动追踪。减少环境或背景光可增加检测到的闪烁的信噪比，借此改进追踪。相比之下，许多现有系统涉及将光聚焦成窄射束以实现精确度。在激光mems或vrd系统(如上文所论述)中，使用窄伪准直激光束光斑，且反射镜移动以跨hoe扫描此光斑或使此光斑光栅化到眼睛上，因此仅存在低瞬时数值孔径。相比之下，鉴于噪声减少，已经发现增加hoe的数值孔径会改进追踪。本文中所描述的设计可具有约0.1度的准确性和约1ms或更小的时延(1000fps或更大的刷新率)，这相对于现有设计是一项显著的改进。

4、光学系统可经优化以提供紧凑的、便宜的、低时延、高准确性、低功率的眼动追踪系统，其具有大数值孔径(na)以实现优选地用于与头戴式扩增现实(ar)或虚拟现实(vr)装置一起使用的快速眼动追踪。

5、眼睛的位置信息(例如，眼睛的转动)可基于例如在处理器处检测到的闪烁而确定。具体来说，光检测器可检测图像(作为相机和/或阵列)。接着，位置信息可基于检测到的图像中的检测到的闪烁的位置而确定。光检测器可包括以下中的一者或多者：位置敏感检测器；光电传感器或光电二极管阵列；以及光流传感器。光源的选项可包含垂直空腔表面发射激光器(vcsel)、激光二极管和宽带led，其具有一个或多个滤波器以减小光谱带宽。优选地，hoe布置与光检测器之间不存在透镜。这在减小系统的总na且借此避免杂散或环境ir光(具体来说，日光)影响性能方面可能是有利的。或者，在一些实施例中，自动聚焦透镜可设置于hoe布置与光检测器之间。

6、有益的是，hoe布置可包括一个或多个点对点全息图，每一点对点全息图经记录以充当椭圆面镜和/或将所接收光聚焦到两个有限焦点。每一全息图或hoe可被配置成使光会聚到不同的点和/或以不同的角度会聚。

7、所述布置中的hoe(或所述hoe，如果仅使用一个的话)不必简单地重定向闪烁，而是可使用所述(或每一)闪烁来重放全息图，接着将所述全息图聚焦到光检测器上。另外或替代地，hoe可使用来自光源(通常是光斑)的光在眼睛处重放多个全息图，每一全息图以略微不同的角度会聚以便生成多个闪烁(和/或不同全息图可会聚到不同的点，例如会聚到角膜中心或巩膜中心)。在另一选项中，多个相异的(红外)光源可用于生成多个闪烁。

8、hoe布置可包括多个hoe。举例来说，第一hoe可从光源朝向眼睛反射光。第二hoe可接收一个或多个闪烁反射且将所述光聚焦到光检测器上。任选地，多个hoe可形成于同一衬底上和/或(成角度地)复用。在另一实施例中，使用多个hoe使光耦合出入波导，例如第一hoe(或hoe配置)使光从光源入耦以及使闪烁光出耦到光检测器，且沿着波导布置并在空间上与第一hoe分离的第二hoe(或hoe配置)使光出耦到眼睛并使闪烁光入耦。

9、可通过调制发光二极管(led)以便在不发光时用作传感器，或通过将单独的光源和光检测器集成在单个装置内，来集成光源和光检测器。

10、在另一实施方案中，光源和光检测器在空间上分离。举例来说，分束器可用于保持来自光源的光和所接收的闪烁沿着分束器与hoe之间的相同路径，但使来自分束器的路径分叉到光源和光检测器。

11、光源、光检测器和hoe布置可安装在框架结构(例如眼镜框架、头盔、护罩或类似物)上，以供用户具体来说穿戴在其头部上。框架可被配置成使得hoe与眼睛之间的距离较小以为光学系统提供足够大的数值孔径，使得环境或杂散光在检测器处失焦和/或使得hoe使ir光会聚到角膜后方且优选地会聚到眼睛的角膜和/或巩膜的曲率中心，如上文所论述。

12、光学眼动追踪系统可形成ar或vr系统的一部分，所述ar或vr系统还包括用于显示ar或vr图像的光学显示系统。光学眼动追踪系统可提供眼睛测量指示，所述眼睛测量指示可接着用于控制光学显示系统。

13、还可考虑各方面或来自各方面的特征的组合，其中此些组合为可行的。