用于结合光扫描投影仪跟踪眼睛运动的方法和系统与流程

本申请主张2017年3月21日提交的名称为“methodandsystemfortrackingeyemovementinconjunctionwithafiberscanningprojector(用于结合光纤扫描投影仪跟踪眼睛运动的方法和系统)”的美国临时专利申请no.62/474,497的优先权，出于所有目的，该申请的全部公开内容通过引用并入本文中。

背景技术：

现代计算和显示技术促进了所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以看起来是或可以被感知为真实的方式呈现给观看者。虚拟现实或“vr”场景通常涉及呈现数字或虚拟图像信息而对其它实际的真实世界视觉输入不透明，增强现实“ar”场景通常涉及呈现数字或虚拟图像信息作为对观看者周围实际的真实世界的可视化的增强。

尽管在这些显示技术中已经取得了进步，但是本领域需要与增强现实系统(尤其是显示系统)相关的改进方法和系统。

技术实现要素：

本发明一般地涉及与包括可穿戴显示器的投影系统有关的方法和系统。更具体地说，本发明的实施例提供了与光扫描投影仪系统有关的跟踪眼睛运动的方法和系统。在特定实施例中，用于确定随时间变化的眼睛取向和运动(即，眼睛跟踪)的方法和系统结合由光纤扫描投影仪驱动的波导显示器来实现。本发明适用于计算机视觉和图像显示系统中的各种应用。

根据本发明的实施例，提供了一种眼睛跟踪系统。所述眼睛跟踪系统包括：一副眼镜，其包括两个框架；以及光扫描投影仪，其耦合到所述一副眼镜并且能够操作以扫描光束。所述眼睛跟踪系统还包括目镜，其安装在所述两个框架中的一者中并且光学耦合到所述光扫描投影仪。所述目镜包括出射光瞳扩展器，其能够操作以将所述光束的至少一部分引向用户的眼睛。所述眼睛跟踪系统进一步包括：一个或多个光电检测器，其耦合到所述一副眼镜；以及处理器，其耦合到所述光扫描投影仪和所述一个或多个光电检测器。

根据本发明的特定实施例，提供了一种眼睛跟踪系统。所述眼睛跟踪系统包括光扫描投影仪和光学耦合到所述光扫描投影仪的目镜。所述眼睛跟踪系统还包括光学传感器和耦合到所述光扫描投影仪和所述光学传感器的处理器。

根据本发明的另一实施例，提供了一种操作包括光扫描投影仪、目镜和光学传感器的眼睛跟踪系统的方法。所述方法包括使用所述光扫描投影仪产生光信号；以及将所述光信号的至少一部分耦合到所述目镜中。所述方法还包括从所述目镜投射可由用户的眼睛观看的图像；使用所述光学传感器检测从所述用户的眼睛反射的光；以及跟踪所述用户的眼睛的位置。

根据本发明的另一特定实施例，提供了一种跟踪从第一取向到第二取向的眼睛运动的方法。所述方法包括扫描波导扫描投影仪的波导以形成视频图像的第一图像帧。第一系列像素限定所述第一图像帧。所述方法还包括将所述第一图像帧耦合到包括多个平面波导的目镜中；将所述第一图像帧的至少一部分发送到用户的眼睛；以及检测第一系列反射强度，所述第一系列反射强度中的每一者与所述第一系列像素中的像素相关联。所述方法进一步包括将检测到的所述第一系列反射强度与所述第一系列像素进行关联；确定所述眼睛的第一取向；以及扫描所述波导以形成所述视频图像的第二图像帧。第二系列像素限定所述第二图像帧。此外，所述方法包括将所述第二图像帧耦合到所述目镜中；将所述第二图像帧的至少一部分发送到所述用户的眼睛；以及检测第二系列反射强度，所述第二系列反射强度中的每一者与所述第二系列像素中的像素相关联。所述方法进一步包括将检测到的所述第二系列反射强度与所述第二系列像素进行关联；以及确定所述眼睛的第二取向。

根据本发明的另一特定实施例，提供了一种表征眼睛取向的方法。所述方法包括扫描光纤扫描投影仪的光纤以形成视频图像的图像帧的第一部分。第一系列像素限定所述图像帧的第一部分。所述方法还包括将所述图像帧的所述第一部分耦合到包括多个平面波导的目镜中；将所述图像帧的所述第一部分的至少一部分发送到用户的眼睛；以及在多个光学检测器中的每一者处检测现时(temporal)反射信号。所述方法进一步包括将所述多个现时反射信号与所述第一系列像素进行关联；以及扫描所述光纤以形成所述视频图像的图像帧的第二部分。第二系列像素限定所述图像帧的第二部分。此外，所述方法包括将所述图像帧的所述第二部分耦合到所述目镜中；以及将所述图像帧的所述第二部分的至少一部分发送到所述用户的眼睛。所述方法进一步包括在所述多个光学检测器中的每一者处检测第二现时反射信号；将所述多个第二现时反射信号与所述第二系列像素进行关联；以及确定所述眼睛取向。

根据本发明的特定实施例，提供了一种执行眼睛跟踪的方法。所述方法包括提供光扫描投影仪、安装在框架中的目镜、以及围绕所述框架的周边排列的多个光学检测器。所述方法还包括使用所述光扫描投影仪和所述目镜将第一图像帧投射到眼睛；使用所述多个光学检测器检测多个时变反射信号；以及确定第一眼睛取向。所述方法进一步包括使用所述光扫描投影仪和所述目镜将第二图像帧投射到所述眼睛；使用所述多个光学检测器检测第二多个时变反射信号；以及确定第二眼睛取向。

借助本发明实现了许多优于传统技术的优势。例如，本发明的实施例提供了能够结合具有小形状因子的波导显示器进行眼睛跟踪的方法和系统。另外，一些实施例利用作为输入辐射被提供以驱动显示器的光，使得眼睛跟踪基于该显示光的反射，从而降低系统复杂性。将结合下文和附图更详细地描述本发明的这些和其它实施例及其许多优点和特征。

附图说明

图1示意性地示出了根据本发明的实施例的可用于向观看者呈现数字或虚拟图像的观察光学组件(voa)中的光路。

图2是示出了根据本发明的实施例的包含眼睛跟踪系统的眼镜的简化示意图。

图3是示出根据本发明的实施例的若干光谱分布的简化图。

图4是示出根据本发明的实施例的目镜层的简化侧视图。

图5是示出根据本发明的另一实施例的目镜层的简化侧视图。

图6是根据本发明的实施例的眼睛跟踪系统的简化示意图。

图7是示出根据本发明的实施例的操作眼睛跟踪系统的方法的简化流程图。

图8是示出根据本发明的实施例的跟踪从第一取向到第二取向的眼睛运动的方法的简化流程图。

图9是示出根据本发明的实施例的使用角膜亮斑(glint)的眼睛跟踪系统的侧视图的简化示意图。

图10是示出根据本发明的实施例的表征眼睛取向的方法的简化流程图。

图11是示出根据本发明的实施例的执行眼睛跟踪的方法的简化流程图。

图12a是示出根据本发明的实施例的眼睛跟踪系统的侧视图的简化示意图。

图12b是示出根据本发明的替代实施例的眼睛跟踪系统的侧视图的简化示意图。

图12c是示出根据本发明的另一替代实施例的眼睛跟踪系统的侧视图的简化示意图。

具体实施方式

本发明一般地涉及与包括可穿戴显示器的投影显示系统有关的方法和系统。更具体地说，本发明的实施例提供了与光扫描投影仪系统(也被称为光束扫描投影仪系统)有关的跟踪眼睛运动的方法和系统。在特定实施例中，用于确定随时间变化的眼睛取向和运动(即，眼睛跟踪)的方法和系统是与由光纤扫描投影仪驱动的波导显示器结合来实现的。本发明适用于计算机视觉和图像显示系统中的各种应用。

如本文所述，本发明的实施例利用光扫描投影仪(例如，光纤扫描投影仪)的元件来实现眼睛跟踪。例如，可以将光束短暂地(temporally)扫描到眼睛中。使用一个或多个检测器检测从眼睛的角膜或视网膜反射的光。由于随时间变化的光束位置是已知的，因此，反射的时间变化可以与眼睛位置相关，从而能够进行注视检测。

图1示意性地示出了根据本发明的实施例的可用于向观看者呈现数字或虚拟图像的观察光学组件(voa)中的光路。voa包括投影仪101和目镜100，其可以穿戴在观看者眼睛周围或前方。如所讨论的，本文中voa可以与一副眼镜的框架集成，以将数字或虚拟图像呈现给戴着该眼镜的观看者。

参考图1，其中示出了光纤扫描投影仪101。光纤扫描投影仪101可以具有2mm×2mm×7mm的量级的尺寸，包括光纤输入部110、光纤振荡区120和光学组件部130。压电致动器150由保持套环152支撑并由来自电线(未示出)的电信号驱动。光纤(也被称为扫描光纤)154机械地耦合到压电致动器150并在光纤振荡区120中例如以螺旋形配置振荡，其中角偏转持续给定帧时间投射光的期间增加。光纤扫描投影仪的输入光通过光纤输入部110提供，光纤扫描投影仪101的输出光通过光学组件部130的一个或多个表面提供。光纤扫描投影仪的各种元件在2018年3月21日提交的美国专利申请no.__(代理案卷号为101782-1075067(003310us))中更全面地描述，出于所有目的，该申请的全部公开内容通过引用并入本文中。

尽管图1示出了被直接引向目镜100中的来自光纤扫描投影仪101的光，但是在其它实施例中，利用可选的投影仪中继器103，尽管这不是本发明所必需的，并且根据本发明的实施例，可以使用其它光学配置。在所示实施例中，光在与光纤扫描投影仪101的机械外壳156的纵向轴线大致垂直的方向上离开光学组件部。

参考图1，其中示出了光纤扫描投影仪101。然而，应当理解，可以结合本发明的实施例使用例如可以实现为扫描波导系统的其它扫描光系统或扫描光束系统。因此，尽管在一些实施例中示出了作为用于对光进行波导的一种实施方式的光纤，但是本发明不限于光纤扫描系统，并且根据其它实施例，可以使用其它波导扫描系统。其它波导系统的示例包括微机电系统(mems)，其将波导特征(例如，与悬臂梁集成的硅波导)集成到光扫描系统中。此外，其中光束被投影仪扫描的扫描镜系统可以与本文所述的本发明的实施例一起使用。另外，在本发明的实施例中可以使用扫描点源，例如发光二极管(led)或有机led(oled)。

在操作期间，机械地附接到压电致动器150的光纤154在光纤振荡区120中振荡。在一个实施例中，压电致动器150包括四个电极，这四个电极以彼此相对90°偏移的方式分布于圆周位置。因此，被施加到压电致动器的相对侧的正电压和负电压可使致动器和扫描光纤在电极的平面中弯曲。通过同步驱动所有四个电极，可以实现光纤的振荡。当光在扫描时从光纤154离开时，它被耦合到光学组件部130中，光学组件部130将光重定向到目镜100。

光纤扫描投影仪101可以提供多种颜色，其中包括三原色：红色、绿色和蓝色(rbg)以形成全色显示。因此，目镜100可以包括一个或多个目镜层。在一个实施例中，目镜100包括三个目镜层，针对三原色红色、绿色和蓝色中的每一者一个目镜层。在另一实施例中，目镜100可以包括六个目镜层，即，用于三原色中的每一者的一组目镜层被配置为在一个深度平面处形成虚拟图像，用于三原色中每一者的另一组目镜层被配置为在另一深度平面处形成虚拟图像。在其它实施例中，对于三个或更多个不同深度平面，目镜100可以包括用于三原色中的每一者的三个或更多个目镜层。每个目镜层包括平面波导，并且可以包括耦入(incoupling)光栅107、正交光瞳扩展器(ope)区域108和出射光瞳扩展器(epe)区域109。

仍然参考图1，投影仪101将图像光投射到目镜层100中的耦入光栅107上。耦入光栅107将来自投影仪101的图像光耦合到在朝向ope区域108的方向上传播的平面波导中。波导通过全内反射(tir)在水平方向上传播图像光。目镜层100的ope区域108还包括衍射元件，该衍射元件将在波导中传播的图像光的一部分耦合并重定向到epe区域109。epe区域109包括衍射元件，该衍射元件将在与目镜层100的平面大致垂直的方向上在波导中传播的图像光的一部分耦合并定向到观看者的眼睛102。以这种方式，观看者的眼睛102可以观看由投影仪101投射的图像。

如上所述，由投影仪产生的图像光可以包括三原色(即蓝色(b)、绿色(g)和红色(r))的光。这种图像光例如可以在时间上或空间上被分为成分颜色，使得每种成分颜色的图像光可以耦合到目镜中的相应波导。

图2是示出了根据本发明的实施例的包含眼睛跟踪系统的眼镜的简化示意图。如本文中更全面地描述的，通过本发明的实施例实现了与标准眼镜相当的小形状因子。通过利用本发明的实施例，提供了具有所需视场、分辨率深度、集成惯性运动单元(imu)、相机、音频部件等的显示器。图2示出了眼镜210和框架212。如图2所示，光纤扫描投影仪101可以安装在框架212中，使得投射光被引向耦入光栅107。在其它实施例中，投影仪可以安装在眼镜的镜腿(temple)中。如关于图1所讨论的，光纤扫描投影仪101与目镜100结合地工作，目镜100设置在框架212中以将投射光引向用户的眼睛。小尺寸的光纤扫描投影仪101能够集成多个光纤扫描投影仪，这些投影仪可以将光引向观看者的眼睛，但是这不是本发明所必需的，也可以针对每只眼睛使用单个投影仪。尽管仅关于右眼讨论了眼睛跟踪系统，但是应当理解，可以结合另一只眼睛使用类似的系统。本领域普通技术人员将认识到许多变化、修改和替代。

根据本发明的实施例，除了将投影仪101集成到框架212中之外，还可以将一个或多个传感器集成到眼镜中作为适合于跟踪观看者的眼睛运动的眼睛跟踪系统的附加元件。如图2所示，光电检测器220被安装在框架中，与光纤扫描投影仪101相对。如下面更全面地描述的，从目镜100发射的光可以从眼睛被反射并入射在光电检测器220上，光电检测器220可以是例如以千赫兹的速率/几十千赫兹的速率或更高频率工作的快速光电检测器。除了安装在框架中的光学传感器之外，其它光学配置也包括在本发明的范围内，其中包括将反射光引导到一个或多个光学传感器的反射器或折叠镜。在替代实施例中，利用折射元件来捕获反射光并将其路由到光学传感器。在又一替代实施例中，可以使用光纤(例如多模光纤)捕获反射光。在所有这些实施例中，可以使用多个光学传感器，并且可以使用多个光学元件(例如，反射器、折叠镜、折射元件、光纤等)来实现本文所述的方法和系统。因此，以上关于单个光学元件的描述和安装在框架中的单个光电检测器220的图示不是限制性的，而仅是示例性的。

当光纤扫描投影仪在投影路径中发光时，发射光的随时间变化的位置是已知的。例如，在与视频帧相关联的螺旋扫描图案扫描期间，可以确定和记录发射光的随时间变化的空间位置。例如，在与以30hz呈现显示帧相关联的33ms帧时间内，可以以几十千赫兹范围内的速率扫描光纤，在33ms帧时间内从显示帧的中心部分移动到周边部分。当光从眼睛反射并在光电检测器处被接收时，光电检测器可用于测量反射光的随时间变化的强度(例如，以几十千赫兹的速率)。通过将发射光的随时间变化的空间位置与随时间变化的测量的光电检测器强度进行关联，可以确定与反射光相关联的空间位置。因此，由于给定时间的发射光位置是已知的，因此在该给定时间反射的光可以与位置相关。因此，可以产生反射光的空间地图，并且该空间地图可以与对光进行反射的结构的光学特性相关。就眼睛而言，反射光的空间地图可以与眼睛的位置和/或取向相关。通过扫描由光纤发射的光并在不同时间形成空间地图，系统能够跟踪眼睛的随时间变化的位置。

如本文所述，本发明的实施例利用扫描光束系统，其中像素一次一个地被扫描到眼睛中。换句话说，像素被编码为角度的函数。现在考虑视网膜，图像跨视网膜被投射。通过使用目镜将扫描的光引导到用户的眼睛，如下所述，可见光和表征光两者都以叠加的方式被输出。表征光的反射可用于产生视网膜或眼睛的其它部分的图像。给定眼睛的部分(例如，中央凹)与预定像素对齐，则可以确定眼睛的取向。在该取向随时间变化时，执行眼睛的跟踪。

在一些实施方式中，光扫描投影仪不仅用于向用户显示图像，还用于接收从用户眼睛反射的光，然后该光在返回路径中传播通过目镜并照射在光学组件部130上。因此，在这些实施例中，光扫描投影仪(例如，光纤扫描投影仪)是眼睛跟踪系统的元件，在眼睛跟踪系统中，由光扫描投影仪产生的光被反射，并且由光扫描投影仪接收以在以后用于眼睛跟踪计算。

在从眼睛反射的光被耦合回到光纤扫描投影仪的光纤的实施例中，光不仅可以被耦合到光纤的芯部中，而且还可以被耦合到光纤的包层中。

图3是示出根据本发明的实施例的若干光谱分布的简化图。在图3中，与发射光相关联的红色(r)、绿色(g)和蓝色(b)光谱分布被示出为曲线310、312和314。这些发射分布为用户提供全色显示体验。图3还示出了红外(ir)光谱分布320，其对于眼睛是不可见的，但是从角膜、视网膜或用户眼睛的其它部分反射。当光纤扫描投影仪扫描显示器的视场时，电磁光谱的ir区域中的光可以与rgb信号一起被投射。在一些实施例中，投射到目镜中的光可以被分类为显示光(例如，rgb光)和表征光(例如，ir光)。在特定实施例中，显示光是可见光，并且表征光是不可见光。在其它实施方式中，不同波长的可见光可用于显示光和表征光两者。包括视网膜在内的眼底以随着位置变化的不同反射率为特征。因此，当跨眼睛的不同部分扫描投射光时，使用光学传感器(例如，一个或多个快速光电二极管)测量的反射光强度变化可用于创建用户眼睛的眼底图。

除了图3所示的单个ir带之外，还可以利用其它波长来提供从角膜的反射。另外，例如，在ir中的多个频带可适当地用于特定应用。

图4是示出根据本发明的实施例的目镜层的简化侧视图。为了将显示光和表征光耦合到目镜中，除了rgb层之外，还可以提供另外的目镜层。在图4中，以侧视图示出了具有对齐的耦入光栅(即，衍射光学元件)的目镜。

可用于将图像投射到观看者眼睛的目镜400包括位于第一横向平面中(即，位于沿z轴设置的第一纵向位置处)的第一平面波导410。第一平面波导410包括设置在第一横向位置(即，第一x-y坐标位置)处的第一衍射光学元件(doe)412。第一doe412与第一波长范围(例如，红色波长)相关联，并且在该示例中能够操作以将红光衍射到第一平面波导中。第一doe412可以使用将第一波长耦合到第一平面波导中但是使第一波长范围之外的波长基本上通过的透射光栅来实现。

目镜还包括第二平面波导420，其位于在与第一横向平面相邻的第二横向平面中。第二平面波导包括设置在第一doe412下方的第一横向位置处的第二doe422。第二doe422与第二波长范围(例如，绿色波长)相关联，并且在该示例中能够操作以将绿光衍射到第二平面波导中。第二doe422可以使用将第二波长耦合到第二平面波导中但是使第二波长范围之外的波长基本上通过的透射光栅来实现。

第三平面波导430位于与第二横向平面相邻的第三横向平面中。第三平面波导包括第三doe432，其设置在第一doe和第二doe下方的第一横向位置处并且沿着纵向方向对齐(即，与z轴对齐)。第三doe422与第三波长范围(例如，蓝色波长)相关联，并且在该示例中能够操作以将蓝光衍射到第三平面波导中。第三doe432可以使用将第三波长耦合到第三平面波导中但是使第三波长范围之外的波长基本上通过的透射光栅来实现。使用前三个平面波导，将可见辐射引向观看者。

除了可以用于将可见显示光引向用户的三个平面波导410、420和430之外，图4还示出了第四平面波导440。第四平面波导440位于与第三横向平面相邻的第四横向平面中。第四平面波导包括第四doe442，其设置在第一doe、第二doe和第三doe下方的第一横向位置处，并且沿着纵向方向对齐(即，与z轴对齐)。第四doe442与用户不可见的第四波长范围(例如，ir波长)相关联，并且在该示例中能够操作以将ir光衍射到第四平面波导中。第四doe432可以使用将第四波长耦合到第四平面波导中但是使第四波长范围之外的波长基本上通过的透射光栅来实现，或者可以被实现为具有用于获得更高衍射效率的镜面涂层的反射光栅。

尽管在图4所示的实施例中所有四个doe都是对齐的，但是这不是本发明所必需的，doe可以在空间上分离，位于不同的横向位置处。而且，平面波导的排列顺序可以根据具体应用而变化。作为示例，第二doe(例如，衍射绿光)可以在空间上与可以对齐的第一和第三doe分离。在该示例中，由于绿光位于可见光谱的中间，因此它在空间上与蓝光和红光分离，蓝光和红光在doe中并未针对其它颜色强烈衍射，从而使得蓝色和红色doe在空间上对齐。类似地，第四doe可以在空间上与红色波长的关联doe分离，例如与蓝色或绿色doe对齐。本领域普通技术人员将认识到许多变化、修改和替代。

如上所述，给定随时间变化的由光纤扫描投影仪发射的光的空间位置(其与图像帧的像素位置相关联)的情况下，例如ir光谱中从眼睛反射的光的强度可以与像素位置相关以形成反射强度地图。由于反射率随眼睛上的位置变化，因此可以针对每只眼睛位置或取向形成眼睛的指纹。因此，本发明的实施例可以跟踪随时间变化的眼睛运动，然后可以使用该眼睛运动来修改显示虚拟内容的方式等。尽管关于视频信号的图像帧(即视频帧)讨论了一些实施例，但是应当理解，图像帧不是本发明所必需的。除了组成帧的图像之外，本发明的实施例更一般地适用于已知的光纤位置和光输出的序列。例如，本发明的实施例可应用于扫描显示器，该扫描显示器不是渲染帧，而是在时间t处利用虚拟点云，在给定扫描仪的当前位置的情况下计算所需的像素强度。了解随时间变化的位置和强度使得能够像本文描述的一样解释眼睛跟踪传感器信号。

图5是示出根据本发明的替代实施例的目镜层的简化侧视图。图5与图4所示的元件共享共同的元件，关于图4提供的描述在适当的时候也适用于图5。在图5所示的目镜中，显示光和表征光的一部分通过衍射光学元件而被耦合到平面波导之一中。在图5所示的特定实施例中，可见波长范围之一(例如，红色波长范围)中的光和不可见波长范围(例如，ir波长范围)中的光被耦合到第一平面波导中以传输到用户的眼睛。

参考图5，第一平面波导510包括第一衍射光学元件(doe)512，其设置在与第一波长范围(例如，红色波长)以及表征波长范围(例如，ir波长)相关联的第一横向位置处，并且能够操作以将第一波长范围和表征波长范围内的光衍射到第一平面波导中。第一doe512可以使用将第一波长的光和表征波长范围的光耦合到第一平面波导中但是使第一波长范围和表征波长范围之外的波长基本上通过的透射光栅来实现。

目镜还包括第二平面波导520，其位于与第一横向平面相邻的第二横向平面中。第二平面波导包括第二doe522，其设置在第一doe512下方的第一横向位置处。第二doe522与第二波长范围(例如，绿色波长)相关联，并且在该示例中能够操作以将绿光衍射到第二平面波导中。第二doe522可以使用将第二波长耦合到第二平面波导中但是使第二波长范围之外的波长基本上通过的透射光栅来实现。

第三平面波导530位于与第二横向平面相邻的第三横向平面中。第三平面波导包括第三doe532，其设置在第一doe和第二doe下方的第一横向位置处，并且沿着纵向方向对齐(即，与z轴对齐)。第三doe522与第三波长范围(例如，蓝色波长)相关联，并且在该示例中能够操作以将蓝光衍射到第三平面波导中。第三doe532可以使用将第三波长耦合到第三平面波导中但是使第三波长范围之外的波长基本上通过的透射光栅来实现。

使用这三个平面波导，将可见辐射和表征波长范围内的辐射二者都引向观看者。如上所述，表征波长范围内的光从观看者的眼睛反射，并且可以由一个或多个光电检测器捕获。因此，在该实施例中使用三个平面波导，将显示光以及表征光传递给观看者。

图6是根据本发明的实施例的眼睛跟踪系统的简化示意图。眼睛跟踪系统600包括图像处理器610、至少一个光纤扫描投影仪620、目镜630、以及光学传感器640。图像处理器可以包括用于驱动光纤扫描投影仪620的驱动电路612、眼睛跟踪子系统614、处理器616和输入/输出装置618。目镜630包括多个平面波导632，每个平面波导632可以包括衍射光学元件634。在所示实施例中，目镜630安装在一副眼镜的框架中，并且包括四个平面波导，这四个平面波导与三个显示波长范围(例如rgb)和一个表征波长范围(例如，红外)一起工作。

如图6所示，驱动电路612可以包括与光纤扫描投影仪通信的电子器件。图像处理器610能够生成最终显示给用户的虚拟内容。图像处理器610可以将与虚拟内容相关联的图像或视频转换为可以通过使用提供多个深度平面的目镜而以3d方式投射给用户的格式。内容可以通过输入/输出装置616被接收，并使用图像处理器610的处理器616被处理。

在一些实施例中，眼睛跟踪系统600利用耦合光学器件650将来自光纤扫描投影仪620的光引向目镜630。耦合光学器件650可以指用于将光引向目镜的一个或多个传统透镜，例如每个平面波导的衍射光学元件。

在操作中，来自光纤扫描投影仪650的光输出可以包括显示光622和表征光624。在利用耦合光学器件650的实施例中，耦合的显示光626和耦合的表征光628照射在平面波导层632的衍射光学元件634上。目镜630的输出包括传播到用户的眼睛605的图像显示光636和目镜表征光638二者。尽管图6图像显示光636和目镜表征光638二者都以单个光线示出，但是可以理解，该光可以作为发散光锥离开目镜630。本领域普通技术人员将认识到许多变化、修改和替代。

从眼睛反射的目镜表征光被示出为反射光642并且照射在光学传感器640上，光学传感器640可以安装在眼镜的框架中。由于眼睛的形状，从眼睛反射的光(例如从角膜反射的光)以光锥为特征，此光锥的角度范围大于与图像显示光636或目镜表征光638相关联的光锥。在使用光电检测器的应用中，由光电检测器输出的电信号被发送到图像处理器610，使得它可以由眼睛跟踪子系统614或其它合适的处理器处理。

当眼睛随时间的推移而移动时，可以执行眼睛跟踪。作为示例，可以确定视频图像的第一帧期间的眼睛的第一取向，然后将该第一取向与接下来的视频图像的第二帧期间的眼睛的第二取向进行比较。因此，随着时间的推移，可以如下确定眼睛的取向。

光纤扫描投影仪的光纤被扫描以形成视频图像的第一图像帧。该扫描可以以螺旋图案为特征，其中随着时间推移，相对于中心轴的偏转增加。当光纤扫出扫描图案时，创建限定第一图像帧的第一系列像素。该第一图像帧被耦合到包括多个平面波导的目镜中。在一些实施例中，可以使用光纤扫描投影仪和用于将光引向用户眼睛的不同平面波导来生成显示光(例如，可见光)和表征光(例如，红外光)二者。因此，实施例将第一图像帧的至少一部分发送到用户的眼睛。使用光学传感器，检测第一系列反射强度。该系列反射强度中的每一者与第一系列像素中的像素相关联。

现在考虑扫描通过过图像帧的像素时的光纤，首先将照射第一像素。当显示该第一像素时，将从眼睛反射一定量的光，从而导致对反射强度的第一测量。对于稍后的第二像素，将产生对反射强度的第二测量。因此，随着时间推移，将测量一系列反射强度，每个反射强度与不同的像素相关联。该系列中的反射量和反射强度值将取决于像素被显示处的角膜的形状(例如，半径)、像素在角膜上的位置等等。

因此，当光纤扫过限定第一图像帧的像素的图案时，像素创建的定时是已知的。这提供了随时间变化的像素的空间地图构建(spatialmapping)。一系列反射强度的检测的定时可以与用于创建反射强度的空间地图的像素创建的定时相关。该空间地图可用于表征在第一图像帧期间的眼睛取向。

对于后续图像帧(即，第二图像帧)，可以重复该过程以创建在第二图像帧期间测量的反射强度的第二空间地图。由于空间地图将随着眼睛位置而变化，因此通过比较在视频进行时在两个不同时间收集的空间地图，可以跟踪随时间变化的眼睛位置。在一些实施例中，使用校准处理，其中图像被显示并用于引导用户查看视场的不同部分。可以使用每个不同眼睛取向处的反射强度的测量来创建与每个不同眼睛取向相关联的空间地图。然后，可以使用该空间地图库在视频显示期间的任何时间定位眼睛。本领域普通技术人员将认识到许多变化、修改和替代。

图7是根据本发明的实施例的操作眼睛跟踪系统的方法。眼睛跟踪系统包括光纤扫描投影仪、目镜和光学传感器。方法700包括使用光纤扫描投影仪产生光信号(710)。光纤扫描投影仪可以使用图6以及本文的其它图中所示的元件。光信号可以包括用于产生向用户显示的光的显示信号(例如，一个或多个可见波长，诸如红色、绿色和蓝色波长)和用于提供在眼睛跟踪中使用的信号的表征信号(例如，一个或多个不可见波长，诸如红外波长)。如图4和5所示，目镜可以包括多个平面波导，例如用于三种可见颜色和红外表征信号的四个平面波导。在一些实施例中，通过组合多组目镜与不同的特征来提供多个深度平面。

该方法还包括将光信号的至少一部分耦合到目镜中(712)并从目镜投射可由用户的眼睛观看的图像(714)。该方法还包括使用光学传感器(例如，光电检测器)检测从用户眼睛反射的光(716)并跟踪用户眼睛的位置(718)。尽管在一些实施例中可以使用单个光电检测器，但是其它实施例使用多个光电检测器，并且本发明不限于使用单个光电检测器。跟踪用户眼睛位置可以包括将图像的一系列像素的位置与从用户眼睛反射的光的一系列强度进行关联。

在一个实施例中，光信号包括显示信号(例如，由一个或多个可见波长组成)和表征信号(例如，由一个或多个不可见波长组成，例如，红外波长)。使用包括多个彼此相邻设置的平面波导的目镜，可以将各种波长耦合到随波长变化的平面波导中。例如，可以使用对应于红色、绿色、蓝色和红外波长的四个平面波导。

应当理解，图7所示的具体步骤提供了根据本发明的实施例的操作眼睛跟踪系统的特定方法。根据替代实施例，还可以执行其它步骤序列。例如，本发明的替代实施例可以以不同的顺序执行上面列出的步骤。此外，图7所示的各个步骤可以包括多个子步骤，这些子步骤可以以适合于各个步骤的各种顺序执行。此外，取决于特定应用，可以添加或移除附加步骤。本领域普通技术人员将认识到许多变化、修改和替代。

图8是示出根据本发明的实施例的跟踪从第一取向到第二取向的眼睛运动的方法的简化流程图。方法800包括扫描光纤扫描投影仪的光纤以形成视频图像的第一图像帧(810)。第一系列像素限定第一图像帧。该方法还包括将第一图像帧耦合到包括多个平面波导的目镜中(812)，并将第一图像帧的至少一部分发送到用户的眼睛(814)。在一个示例中，多个平面波导可以包括对应于红色波长的第一平面波导、对应于绿色波长的第二平面波导、对应于蓝色波长的第三平面波导，以及对应于红外波长的第四平面波导。可以通过使用衍射光学元件(例如，耦入光栅)将第一图像帧衍射到一个或多个平面波导中来实现第一图像帧向目镜中的耦合。

该方法还包括检测第一系列反射强度(816)。第一系列反射强度中的每一者与第一系列像素中的像素相关联。另外，该方法包括将检测到的第一系列反射强度与第一系列像素进行关联(818)并确定眼睛的第一取向(820)。

该方法还包括扫描光纤以形成视频图像的第二图像帧(822)，其中第二系列像素限定第二图像帧，将第二图像帧耦合到目镜中(824)，以及将第二图像帧的至少一部分发送到用户的眼睛(826)。可以通过使用衍射光学元件(例如，耦入光栅)将第二图像帧衍射到一个或多个平面波导中来实现第二图像帧向目镜中的耦合。

将第一图像帧的至少一部分发送到用户的眼睛以及将第二图像帧的至少一部分发送到用户的眼睛可以通过使用一个或多个衍射光学元件衍射第一图像帧的至少一部分和第二图像帧的至少一部分来实现，所述一个或多个衍射光学元件例如为能够操作以在目镜的平面中衍射光的第一衍射光学元件(例如，正交光瞳扩展器)和能够操作以将光衍射出目镜的平面的第二衍射光学元件(例如，出射光瞳扩展器)。

该方法还包括检测第二系列反射强度(828)，第二系列反射强度中的每一者与第二系列像素中的像素相关联，将检测到的第二系列反射强度与第二系列像素进行关联(830)，并确定眼睛的第二取向(832)。在替代实施例中，该方法还包括输出与第一取向和第二取向有关的跟踪(834)。

第一图像帧和第二图像帧可以是视频图像的连续帧。或者，一个或多个附加图像帧可以位于第一图像帧和第二图像帧之间，第一图像帧和第二图像帧可以暂时在时间上隔开多个帧周期。

作为图8所示的方法的实施方式的一部分，可以利用训练过程，其中显示器向用户呈现一系列待观看的对象。用户被委派观看一系列对象，每个对象与不同的眼睛注视相关联。当用户观看一系列对象中的每个对象时，产生预定的眼睛运动，光束的扫描和检测到的相应反射被用于训练系统，从而建立每个眼睛注视的随时间变化的时变反射的数据库。可以在实现此类学习过程时使用机器学习和其它合适的技术。除了在用户观看静态对象时做出的测量之外，用户对移动对象的跟踪也可用作训练过程的组成部分。

应当理解，图8所示的具体步骤提供了根据本发明的实施例的跟踪从第一取向到第二取向的眼睛运动的特定方法。根据替代实施例，还可以执行其它步骤序列。例如，本发明的替代实施例可以以不同的顺序执行上面列出的步骤。此外，图8所示的各个步骤可以包括多个子步骤，这些子步骤可以以适合于各个步骤的各种顺序执行。此外，取决于特定应用，可以添加或移除附加步骤。本领域普通技术人员将认识到许多变化、修改和替代。

图9是示出根据本发明的实施例的使用角膜亮斑的眼睛跟踪系统的侧视图的简化示意图。如图9所示，本发明的实施例提供了在高亮度应用(例如，在室外，此时来自眼睛的反射光的信噪比可能低于期望值)中稳健的方法和系统。

参考图9，眼睛905的角膜910位于目镜920附近。目镜920可以与图5所示的目镜500共享共同的元件。光纤扫描投影仪用于驱动目镜，并且由目镜920发射的光被示出为输出光线922，其也可以被称为小束。在图9所示的侧视图中，示出了支撑目镜的一副眼镜的框架930。为了清楚起见，用实线示出了照射在角膜910上的输出光线922，并且用虚线示出了从角膜反射的反射光线924。

框架930支撑多个光学检测器932，其可以是高速光电检测器。多个光学检测器932围绕框架的周边排列，如图9所示，检测器932a和932b位于框架930的相反边缘处。尽管检测器932a和932b被示出为位于框架的顶部和底部，但是应当理解，它们可以集成在其它周边部分处，其中包括在眼镜的镜腿附近。当输出光线或小束照射在近似球形的角膜上时，光将以相对于角膜表面的不同角度朝向目镜/框架/光学检测器反射回来。反过来，一些反射光将到达多个光学检测器，这些光学检测器可以嵌入或以其它方式安装在框架930中。在一个实施例中，多个光学检测器围绕周边以固定间隔排列，而在其它实施例中，阵列图案可以使用适合于特定应用的非固定间隔。光学检测器可以被取向成使得它们高效地收集从眼睛反射的光。尽管在此讨论高速光电检测器作为光学检测器，但是本发明不限于光电检测器和光纤、多模光纤，可以使用其它光学元件代替或结合各种光学检测器使用。

考虑不动的眼睛。在第一时间期间，例如在视频数据帧的第一部分期间，由输出光线限定的呈现给用户的图像的第一部分将导致在多个光学检测器处检测到第一反射量。在第二时间期间，例如在视频数据帧的第二部分期间，呈现给用户的图像部分以及相应的输出光线将相对于限定图像的第一部分的输出光线而改变。这是因为利用扫描光纤投影仪来驱动目镜并且扫描光纤扫出的角度随时间变化。因此，在第二时间期间，在多个光学检测器处检测到的反射量将相对于由多个光学检测器检测到的第一反射量而改变。因此，对于围绕框架周边排列的多个光学检测器，即使对于不动的眼睛，也将检测到随扫描角度变化的时变光量。扫描光束的动态特性实际上提供了动态亮斑发生器，因为随时间变化的从角膜的反射可以被认为是随时间变化的亮斑。注视检测通过将眼睛注视与随时间变化的检测到的反射/亮斑图案进行关联来实现。

系统可以被校准，从而为上面关于图8讨论的多个眼睛注视或取向提供类似于指纹的独特表征。通过让用户观看第一方向，可以表征在多个光学检测器中的每一者处检测到的强度的时变变化，以定义与该第一方向相关联的独特表征。当用户观看第二不同的方向时，所检测到的强度的不同时变变化可以被测量并被用于定义与该第二方向相关联的第二独特表征。校准处理可以针对多个眼睛取向执行这些表征，这样有助于形成查找表或其它合适的模式标识符以关联眼睛注视或独特表征的取向。如上所述，除了查找表之外，还可以采用计算效率更高的机器学习技术。

在操作中，可以测量所检测到的强度的时变变化并使此变化与一系列时间处的给定取向的独特表征相匹配，以提供眼睛跟踪。

图10是示出根据本发明的实施例的使用角膜亮斑执行眼睛跟踪的方法的简化流程图。方法1000包括扫描光扫描投影仪(例如，光纤扫描投影仪)的光束以形成视频图像的图像帧的第一部分(1010)。第一系列像素限定图像帧的第一部分。该方法还包括将图像帧的第一部分耦合到包括多个平面波导的目镜中(1012)，将图像帧的第一部分的至少一部分发送到用户的眼睛(1014)，并且在多个光学检测器中的每一者处检测现时反射信号(1016)。在一些实施例中，不使用多个光学检测器，而是使用单个检测器，例如安装在邻近包括目镜的框架的镜腿上。

多个平面波导可以包括对应于红色波长的第一平面波导、对应于绿色波长的第二平面波导、对应于蓝色波长的第三平面波导，以及对应于红外波长的第四平面波导。多个光学检测器可以是围绕眼睛的周边区域排列的多个光电检测器。如图2所示，目镜可以安装在框架中，并且多个光电检测器可以围绕框架的周边设置。在其它实施例中，一个或多个检测器安装在连接到框架的镜腿中。该方法还包括将多个现时反射信号与第一系列像素进行关联(1018)。

另外，该方法包括扫描光束以形成视频图像的图像帧的第二部分(1020)。第二系列像素限定图像帧的第二部分。该方法还包括将图像帧的第二部分耦合到目镜中(1022)，将图像帧的第二部分的至少一部分发送到用户的眼睛(1024)，并且在多个光学检测器中的每一者处检测第二现时反射信号(1026)。此外，该方法包括将多个第二现时反射信号与第二系列像素进行关联(1028)并确定眼睛取向(1030)。如上所述，多个光学检测器可以由用于每个目镜的单个检测器(例如高速光电检测器)代替。本领域普通技术人员将认识到许多变化、修改和替代。

应当理解，图10所示的具体步骤提供了根据本发明的实施例的表征眼睛取向的特定方法。根据替代实施例，还可以执行其它步骤序列。例如，本发明的替代实施例可以以不同的顺序执行上面列出的步骤。此外，图10所示的各个步骤可以包括多个子步骤，这些子步骤可以以适合于各个步骤的各种顺序执行。此外，取决于特定应用，可以添加或移除附加步骤。本领域普通技术人员将认识到许多变化、修改和替代。

图11是示出根据本发明的实施例的执行眼睛跟踪的方法的简化流程图。方法1100包括提供光纤扫描投影仪、安装在框架中的目镜，以及围绕框架的周边排列的多个光学检测器。目镜可以包括多个平面波导。

该方法还包括使用光纤扫描投影仪和目镜将第一图像帧投射到眼睛(1110)，使用多个光学检测器检测多个时变反射信号(1112)，以及确定第一眼睛取向(1114)。将第一图像帧投射到眼睛可以包括将第一图像帧的一部分耦合到多个平面波导中的每一者中，以及将耦合部分的至少一部分发送到用户的眼睛。

该方法还包括使用光纤扫描投影仪和目镜将第二图像帧投射到眼睛(1116)，使用多个光学检测器检测第二多个时变反射信号(1118)，以及确定第二眼睛取向(1120)。将第二图像帧投射到眼睛可以包括将第二图像帧的一部分耦合到多个平面波导中的每一者中，以及将耦合部分的至少一部分发送到用户的眼睛。在替代实施例中，该方法还包括输出与第一眼睛取向和第二眼睛取向有关的跟踪。

如关于图10所讨论的，当光纤例如在帧期间以较大角度扫描时，多个时变反射信号可以与第一图像帧期间的光纤扫描投影仪的增加的扫描角度相关联。第二多个时变反射信号也可以与第二图像帧期间的光纤扫描投影仪的增加的扫描角度相关联。第一图像帧和第二图像帧可以是视频图像的连续帧。或者，一个或多个附加图像帧可以位于第一图像帧和第二图像帧之间。

应当理解，图11所示的具体步骤提供了根据本发明的实施例的执行眼睛跟踪的特定方法。根据替代实施例，还可以执行其它步骤序列。例如，本发明的替代实施例可以以不同的顺序执行上面列出的步骤。此外，图11所示的各个步骤可以包括多个子步骤，这些子步骤可以以适合于各个步骤的各种顺序执行。此外，取决于特定应用，可以添加或移除附加步骤。本领域普通技术人员将认识到许多变化、修改和替代。

图12a是示出根据本发明的实施例的眼睛跟踪系统的侧视图的简化示意图。如图12a所示，本发明的实施例提供了在高亮度应用(例如，在室外，此时来自眼睛的反射光的信噪比可能低于期望值)中稳健的方法和系统。可以针对扫描激光检眼镜考虑本发明的实施例和图12所示的元件。

参考图12a，眼睛1205位于目镜1220附近。目镜1220可以与图5所示的目镜500共享共同的元件。光纤扫描投影仪用于驱动目镜，并且由目镜1220发射的光被示出为输出光线1222，其也可以称为小束。在图12所示的侧视图中，示出了支撑目镜的一副眼镜的框架1230。为了清楚起见，用实线示出了通过角膜1208并照射在角膜1210上的输出光线1222，并且用虚线示出了从视网膜反射的反射光线1224。如图12a所示，晶状体和角膜(未示出)的折射导致小束聚焦在视网膜上的一点上，该点与显示的一像素相关。如果输出光线1222包括波长，例如视网膜高度反射的红外波长，则这些波长处的反射光将倾向于在从视网膜反射之后基本上在轴上传播通过眼睛和角膜。为了清楚起见，基本上沿着反向光学路径，反射光线1224被示出为略微发散。因为反射光线1224沿着与输出光线1222基本同轴的路径传播，所以检测器优选地处于视场中而不是视场的外围。

在从视网膜1210反射之后，反射光线1224照射在目镜1220上并且耦合到目镜中(例如通过衍射)，其中它们通过全内反射在目镜内传播。在所示实施例中，框架1230支撑一个或多个光学检测器1232，光学检测器可以是高速光电检测器。一个或多个光学检测器1232可以围绕目镜和框架的周边排列，以捕获以多个角度处反射的光。光可以在不使用正交耦合元件(例如，耦出光栅)的情况下从目镜耦合到光学检测器，但是可以穿过目镜的边缘到达光学检测器，如图12a所示。因此，从目镜到光学检测器的耦合效率可以高于通常使用正交耦合元件实现的效率。在该实施例中，目镜因此用作收集元件，该收集元件可以与一个或多个集成有目镜的光学检测器耦合，并且能够操作以检测放置在用户视野外的反射光。检测器的操作可以与关于本文的其它实施例讨论的检测器共享类似的功能。

图12b是示出根据本发明的替代实施例的眼睛跟踪系统的侧视图的简化示意图。在该替代实施例中，附加衍射结构1221与目镜1220集成以将从视网膜反射的光衍射到一个或多个检测器1252。作为示例，在红外波长处有效的附加衍射结构1221可以与目镜1220集成(例如，层压到目镜的背面)以将反射光1224引向检测器1252a和1252b。虽然检测器1252a和1252b被示出为位于框架的顶部和底部，但是应当理解，它们可以集成在其它周边部分处，其中包括在眼镜的镜腿附近。本领域普通技术人员将认识到许多变化、修改和替代。

如关于图12a所讨论的，通过tir在附加衍射结构1221中传播的光可以在不使用正交耦合元件(例如，耦出光栅)的情况下从附加衍射结构耦合到光学检测器，但是可以穿过附加衍射结构的边缘到达光学检测器，如图12b所示。因此，从附加衍射结构到光学检测器1252a/1252b的耦合效率可以高于通常使用正交耦合元件实现的效率。

尽管在图12a和12b中未示出，但是光学检测器可以被放置在目镜920的右侧(即，在其前面)并被用于检测从视网膜反射的光。另外，可以利用优先反射红外光的分束器或镜子(即，热镜)来使反射的红外光与其它波长段的反射光分离。本领域普通技术人员将认识到许多变化、修改和替代。

目镜或附加衍射结构的衍射特性可以在空间上变化以增加使用该系统可得的信息内容。应当注意，衍射结构可以是图像中继的(即，图像保持的)或者将不保留成像效果。作为示例，耦合到检测器的多模光纤可以在周边位置处光学耦合到目镜以用于非图像保持应用。作为另一示例，关于上面讨论的空间变化，在空间上分离的光纤阵列可以被光学耦合到目镜。当眼睛/角膜旋转时，照射在空间分离的阵列上的反射光的分布将变化，并且这种随着眼睛/角膜旋转出现的时间/空间变化可用于对眼睛的取向进行编码。

例如，附加衍射结构的目镜的空间变化可以被实现为一组径向部，每个径向部将光衍射到安装在周边处且与每个径向部相关联的检测器。本领域普通技术人员将认识到许多变化、修改和替代。

图12c是示出根据本发明的另一替代实施例的眼睛跟踪系统的侧视图的简化示意图。图12c所示的实施例与图12a和12b所示的实施例共享共同的元件，并且关于图12a和12b提供的描述在适当的时候适用于图12c。在图12c所示的实施例中，衍射反射器1240与目镜1220集成，以通过衍射将从视网膜反射的光反射到一个或多个检测器1252。作为示例，可以有效地反射红外波长的衍射反射器1240可以与目镜1220集成(例如，层压到目镜的背面)以将光1224反射到检测器1252a和1252b，检测器1252a和1252b可以位于周边以及位于目镜和眼睛之间的纵向位置(即，沿z轴)处。例如，检测器1252a和1252b可以安装在眼镜的镜腿中。本领域普通技术人员将认识到许多变化、修改和替代。

因此，图12c所示的衍射反射器提供了图12a和12b所示的波导实施方式的备选方案。另外，衍射反射器的使用使得检测器的放置具有灵活性，因为检测器可以移动远离眼镜的框架，例如，定位在沿眼镜镜腿的一个或多个预定位置处。如上所述，检测器不需要保持图像，而是可以实现为高速光电二极管，从而降低系统复杂性和成本。

还应理解，本文描述的示例和实施例仅用于说明目的，根据它们做出的各种修改或变化是本领域技术人员容易想到的，并且被包括在本申请的精神和范围以及所附权利要求的范围内。