具有延长范围的操作距离的眼跟踪器的制作方法

专利名称：具有延长范围的操作距离的眼跟踪器的制作方法
技术领域：
本发明一般地涉及自动眼跟踪，其中跟踪精度的增强是基于光学传递函数改进(modifying)的掩模，其使眼跟踪器能够在相对较 大范围的距离内进行工作。更具体地说，本发明涉及根据权利要求 1的前文(preamble )所述的系统以及才艮据4又利要求14所述的方法。 本发明还涉及根据权利要求23所述的计算机程序和根据权利要求 24所述的计算才几可读介质。
背景技术：
眼跟踪的概念在本技术领域是众所周知的，并且已经开发了许 多不同的技术来完成自动眼和—见线跟踪(gaze tracking )。在远程、 非伸出(non-obtrusive)的眼跟踪领域，最通常使用的设计是基于 瞳孔中心角膜反光点(PCCR)方法。这种方式的基本想法是1"吏用 至少一个光源并且借助于招H象才几来捕获眼的一系列图像。在每个图 像中，确定在角膜和瞳孔中的光源的反射(闪烁)。然后将确定的 从闪烁到瞳孔中心的矢量用来估计眼睛的注视方向。另夕卜，在PCCR 眼3艮踪4页i或内存在两种主要策略来确定(识别)在上述图^f象中的瞳 孔。可以将光源定位成尽可能靠近摄像机的光轴。这导致由光源照 射的一部分眼的视网膜将光线反射回到摄像机中，并因此在配准的 图像中瞳孔显得明亮。因此基于这种策略的跟踪解决办法被分类为 明亮瞳孑L (bright-pupil, BP) PCCR。可替换地，可以将光源定位 在离摄像机的光轴一定距离处。因此，基本上没有来自光源的光线会经由视网膜被反射到摄像机中，从而在配准的图像中瞳孔显得暗 淡。因此，基于这种策略的跟踪解决办法被分类为暗淡瞳孔(dark-pupil, DP ) PCCR。是BP-PCCR还是DP-PCCR为优选的尤其(i.a.)耳又决于环境 照明条件、受实验者的年龄以及性别，因为这些因素影响瞳孔面积。 此夕卜，BP反应受到其眼睛正被跟踪的人的人种的4艮大影响。例如， 已经发现，西班牙裔人通常具有非常强的BP反应，而白种人具有 稍樣i更弱的BP反应，然而仍然是相当足够的。然而，在许多情况 下，亚洲人具有不充分的BP反应。因此，为了确保可靠的眼跟踪， 经常希望BP-PCCR和DP-PCCR跟踪的结合。/^开的国际专利申请WO 2004/045399描迷了一种系统，其中 冲企测和^^宗眼的4立置和注一见方向。该系统包招「才聂^象才几和若千光源， 光源分布在显示器(例如计算机屏幕)的周围。通过用来自不同光 源的光顺序地照射正在》见看显示器的受实-睑者，4吏得可以交替地才全 测眼睛的位置和注碎见方向。然而，为了进行这种评估，4聂像机必须 产生高图像质量的数据。这又需要高级光学装置、高性能图像传感 器和/或很好受控的照明条件。同样非常重要的是，在跟踪操作期间， 受实验者的眼要保持在焦点。为了这个目的，摄像机必须装备有自 动聚焦装置或用具有相对较小数值孔径(即高光圏数)的光学系统 进行操作，以达到足够大的视野深度。前一种选择使得摄像机复杂、 笨重和昂贵，而后一种选择则进一步增加对图像传感器的性能要 求，其是一种同样转变为成本的参数。美国专利第5,748,371号4皮露了一种系统，用于增加一见野深度 并且降低波长灵敏度和非相关光学系统的透镜的散焦产生的象差 H象差)。这种^支术称作波前编码(wavefront coding )。在这里，专 用光学掩模包括在非相关光学系统中。该掩模改变光学传递函数， 以致它在离未改变系统的焦点内(in-focus H立置的一定范围内基本上保持恒定。所得到的中间图像的信号处理会取消掩模的光学传递 改进效应，其在增加的视野深度提供了焦点内图像。虽然就基于相 对简单和低成本光学装置和传感器能够获得长聚焦范围而论，这种 系统是有效的，但该设计并不很好地适合于在自动眼跟踪系统中直 接实施。即，在这里，眼跟踪专用图像参数(如眼位置和注视方向) 必须是可导出的并且具有非常高的准确度，而基本上所有其它图像 数据可以被丢弃。例如，当已经进行了眼位置的粗略估计时，眼跟 踪才聂^f象才几通常移向(光学上或lt字上)该位置，和/或在该位置周围 的图像传感器上选择所谓的感兴趣区域(ROI )，以改善视线跟踪精度和/或将凄t据速率降^氐(reduce)到图〗象处理器。然而目前，没有 基于波前编码的适合于允许这种类型的任何操作的设计。发明内容因此，本发明的目的是提供可靠(robust)且成本低的解决办 法，其可以减轻上述问题并因此在离使用者相对较长范围的距离上 可以进行可靠的自动眼跟踪，并且其还允许环境照明条件有相对较 大的变化。才艮据本发明的一个方面，该目的是通过如最初描述的系统来实 现，其中光学系统进一步包括掩模，该掩模配置在至少一位受实验 者与图像传感器之间。该掩模适合于将基本光学传递函数改变成增 强的光学传递函数，其适合于将来自空间一点的图像传播到在图像 传感器的传感器表面上的一个以上的传感元件。增强的光学传递函 数还对于光学系统与至少一位受实-验者之间的未知距离的变化的 敏感性显著地小于基本光学传递函数。此外，处理单元适合于接收 原始数据并处理这种数据以产生所得到的眼跟踪H据，眼跟踪数据 又表示至少一只眼的^f立置估计和/或至少一只眼的注;现方向。该系统的重要优点是，可以相对简单地制作图4象传感器。相对于由图像传感器配准的数据中的无用数据(干扰，noise),该系统 还是相对可靠的。此外，对于透镜结构的质量要求可以相对4交^氐， 其保i正了低成本。根据本发明此方面的一种优选的实施方式，图Y象传感器适合于 仅仅将原始数据的高相关部分传输到处理单元。基于先前导出的眼 跟踪数据和/或由连接于系统的一个或多个辅助传感器配准的数据，该处理单元又适合于选l爭高相关部分。因此，可以更有步文;也<吏用该处理单元的资源。才艮据本发明此方面的另 一种优选的实施方式，增强的光学传递 函数适合于将反射自现场中单点的光投射到图像传感器的传感器 表面的若千传感元件上。乂人而，分辨率水平得到提高，该分辨率水平高于由基本光学传递函^:和传感器表面的物理传感元件密度所 给出的基本分辨率水平。此外，处理单元适合于处理原始数据，以 致可以以比仅仅基于眼跟踪数据(其以传统焦点内系统的基本分辨 率水平由原始数据导出)可获得的最大精度更大的精度来导出眼跟 踪数据。当然，这是数据质量的一种非常希望的增强。例如，就眼 跟踪数据而论，任何凄t字变焦操作的结果得到改善。此外，可以显 著降低在图像传感器上的任何有缺陷传感元件的负面影响。才艮据本发明此方面的又一种优选的实施方式，处理单元适合于 相对于目标形状匹配原始数据，该目标形状表示通过光学传递函数 变换的通常的眼形状。从而，可以在现场有效地4企测眼候选位置 (candidate )。根据本发明此方面的另 一种优选的实施方式，处理单元适合于 选择一部分原始凄t据，该部分原始数据表示在每一组传感元件周围 的传感器表面上相应的感兴趣区域，其与高于匹配阈水平的目标形状具有相关性。因此，仅表示潜在有意义的信息的图像数据被传送 到处理单元供进一步处理。当然，考虑到处理单元处理容量的利用， 这是有效的。才艮据本发明此方面的另 一种优选的实施方式，处理单元适合于确定在现场中元件(element)的位置，该位置表示眼候选位置，即 最初眼位置。于是，在已确定了一组候选位置以后，处理单元适合 于匹配相对于眼才莫型(该眼才莫型表示通过光学传递函^t变换的理想 的眼形状)表示每个候选位置的原始数据的数据子集，以获得一组 相关测试值。其后，基于相关测试值，处理单元适合于从候选位置 组中选4奪至少一个候选位置，以表示至少一只眼。优选地，处理单 元在这里选择具有高于阈水平的相关测试值的候选位置。因此，可 以快速确定使用者的眼，以致其后可以开始跟踪。根据本发明此方面的另 一种优选的实施方式，该系统包括至少 一个第一和至少一个第二光源。所述至少一个第一光源相对接近光 学系统的光轴"i殳置，并且如此定向以致发射自光源的主光束基本上 与光轴一致。来自所述至少 一个第 一光源的光能主要分布在第 一波 长范围内。所述至少一个第二光源适合于将主要在第二波长范围 (基本上与第 一波长范围分开)内的光发射向所述至少 一位受实验 者。所述至少一个第二光源是配置在离成像装置的光轴一定距离 处，以致由其发射的主光束相对于此光轴是离轴(off-axis)定位。 因此，所述至少一个第一光源产生明亮瞳孔岁丈应，而所述至少一个 第二光源则产生暗淡瞳孔岁文应。才艮据本发明此方面的又一种优选的实施方式，就在第 一波长范 围内的光而论，掩模适合于实现第一光学传递函数，并将在此范围 内的光引到图像传感器的传感器表面上的第一区域。就在第二波长 范围内的光而论，该掩才莫还适合于实现第二光学传递函数，并将在 此范围内的光引到传感器表面上的第二区域。处理单元适合于基于由第 一 区域内的传感元件配准的原始教:才居的第 一子集产生明亮瞳 孔眼5艮踪参凄t,和/或基于由第二区域内的传感元件配准的原始凄t据 的第二子集相应;也产生暗淡瞳孔眼3艮踪参ft。因此，该受实3全者可 以通过第一和第二光源两者恒定地4皮照射，同时处理单元并4亍i也导 出明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数。这提供了在各种环 境和条件下的高跟踪质量。才艮据本发明此方面的又一种优选的实施方式，图4象传感器可*, 换地包括第一和第二组传感元件。在第一组中的每个元件适合于检 测在第一波长范围内的光，而在第二组中的每个元件适合于检测在 第二波长范围内的光。与上述类似，处理单元在这里适合于基于由 第 一 组传感元件配准的原始据的第 一 子集产生明亮瞳孔眼跟踪 参婆t，以及基于由第二组传感元件配准的原始数据的第二子集产生 暗淡瞳孔眼跟踪参^L同样在这种情况下，通过第一和第二光源两 者可以恒定地照射受实-验者，同时并行地导出明亮瞳孔眼跟踪参萄: 和暗淡瞳孔眼跟踪参数。优选地，在第一组传感元件中的每个元件 与第二组传感元件中的至少一个元件相邻。例如，在第一和第二组 4专感元4牛中的元4牛可以i殳置成方才各图案(checkered pattern )力。以配 置。借助于上述变换函凄t,由这种构造造成的原始数据中的分辨率 损失可以在眼跟踪数据中得到一定程度的补偿，上述变换函数适合 于以增加的图^f象分辨率水平产生数据。具体地，根据本发明此方面的一种优选的实施方式，增强的光 学传递函数适合于将反射自现场中单点的光投射到第 一和第二组 传感元件中的若干元4牛上。乂人而，可以实J见分辨率水平的仿真，该 分辨率水平高于由基本光学传递函^t和传感器表面的物理传感元 件密度给出的基本分辨率水平。处理单元适合于处理原始数据，以 致可以以比仅仅基于眼跟踪数据(其以传统焦点内光学系统的基本分辨率水平由原始数据导出)可获得的最大精度更大的精度来导出 眼i 艮踪凌丈据。才艮据本发明此方面的另一种优选的实施方式，处理单元适合于 基于明亮瞳孔眼跟踪参数和/或暗淡瞳孔眼跟踪参数(例如，借助于中间(intermediate)复合表示)产生眼跟踪凝:据。再一次，这4呆i正 了在各种环境和条件下的可靠性和高跟踪质量。^4居本发明的一个进一步的方面，通过自动配准和跟踪至少一 位受实验者的至少一只眼的方法来达到目的。在这里假设，原始数 据4皮配准，其表示空间分布的光。进一步作l/没，借助于光学系统(包 括透镜结构和掩模)，来自包括至少一位受实验者的现场的光已被 传输到图像传感器，其中原始数据被配准。掩模适合于将透镜结构 和图像传感器的基本光学传递函数改变成增强的光学传递函数，该 增强的光学传递函数对于光学系统与至少 一 位受实验者之间的未 知距离的变化的敏感性显著地小于基本光学传递函数。该方法涉及 接收原始数据，以及处理原始数据以产生所得到的眼跟踪数据，该 眼跟踪数据表示至少一只眼的位置估计和/或至少一只眼的注一见方向。根据以上参照所提出系统的讨论，这种方法的优点以及其优选 的实施方式是显而易见的。才艮据本发明的一个更进一步的方面，通过计算才几程序来达到目 的，其中计算机程序可直接装入计算机的内存储器，并且其包括软 件，该软件用于当在计算才几上运行所述程序时对上述l是出的方法进 行控制。根据本发明的另一个方面，通过计算机可读介质(在其上记录 有程序)来达到目的，其中程序是用来控制计算机以进行以上^是出 的方法。本发明适用于在心理学和一见觉研究、可用性和广告评估(例如 所谓的在大商店橱窗中的注意传感器)中的所有种类的眼^艮i 宗应用，即用于控制计算机和计算机程序。本发明还具有医疗用途各 种眼疾病和阿尔茨海默病的i貪断、以及在进行激光眼外科手术时。 另夕卜，本发明可以用于自动立体显示器、模拟器、以及各种汽车的 ^f口^t空电子的应用。根据以下描述和所附权利要求，本发明的其它优点、有利特征 以及应用将是显而易见的。


现将通过披露为实施例的优选实施方式并参照附图，对本发明 进4亍更详细的i兌明。图1示出才艮据本发明的眼跟踪系统的示意图；图2示出根据本发明的一种实施方式的系统的概要；图3图解说明根据本发明的一种实施方式的照明和成像装置配 置的细节；间的关系的示意图；图5图解说明根据本发明的第一实施方式的掩模的工作原理；图6图解说明才艮据本发明的第二实施方式的图像传感器的传感 器区域的构造；图7a-c图解说明根据本发明的第一和第二实施方式，明亮瞳孔 图j象和暗淡睡:^图 <象如4可可以用来确定用于受实验者眼^f立置^古计 的基石出；以及图8通过流程解说明根据本发明的一般方法。
具体实施方式
我们首先参照图1,其示出根据本发明的眼跟踪系统的示意图， 该眼3艮踪系统用于自动配准和跟踪至少一位受实-验者(例如计算机 系统的用户)的至少一只眼101和102。该眼跟踪系统包括光学系 统110和处理单元140。光学系统110适合于接收和配准反射自包括至少一位受实-验者 100的现场的入射光。为了这个目的，系统110包括图l象传感器130， 其适合于配准由空间分布的光表示的原始婆t据Ds。光学系统110还包括透镜结构(在这里由示意性的一对透4竟111 和112表示)以及掩模120。根据本发明，透镜结构lll、 112和掩 模120的具体次序可以变化。例如，掩才莫120可以位于整个透镜结 构lll、 112的前面或后面，或如图l所示，可以在其中的某些元件 之间。掩模120影响来自现场的入射光LS投射到图像传感器130上 的方式。具体地，我们假设，包括透镜结构lll、 112和图像传感器 的基本光学系统具有基本光学传递函数。掩模120适合于将此基本 光学传递函凌t改变成增强的光学传递函凄史，其》于于光学系统110与至少一位受实验者IOO之间的未知距离R的变化A的4文感性显著地小于基本光学传递函数。换言之，通过在光学系统110中包括掩模120扩大所提出系统 的操作范围。例如，在一种其中距离R处于60cm等级的典型的眼 跟踪应用中，操作范围可以扩大到大约80 cm的距离范围A ，从 而目艮101和102可以^f立于与光学系统110相隔20 cm至100 cm的4壬何地方。然而，因为由图像传感器130那样配准的原始数据Ds并不表 示在焦点处的图^f象内容，所以必须对原始翁:才居Ds进4亍后处理以实J见 上述操作范围的改善。因此，处理单元140适合于接收原始数据Ds，并处理此数据，以便产生所得到的眼跟踪数据DEYE,眼跟踪数才居表示至少一只眼101、 102的^f立置估计和/或至少一只眼101、 102的、;主^见方向。出于效率原因，希望的是，如果处理单元140适合于相对于目 标形状匹配原始数据Ds,该目标形状表示典型的眼形状，其已通过 光学传递函数加以变换。从而，可以进行相关数据的最早可能的选即基本上在单元140进行任何其它处理以前。尤其优选的是， 如果处理单元140适合于选择一部分原始数据Ds，该部分原始数据 表示在每一组传感元件周围的传感器表面上相应的ROI (感兴趣区 域)，其与高于匹配阈水平的目标形状具有相关性。如果图像传感器130的传感器表面具有物理传感元件密度，则 基本分辨率水平是由传感元件的数量给定，基本光学传递函数将反 射自记录现场中的物体的焦点内光线4更射到传感元件上。然而，根据本发明的一种优选的实施方式，增强的光学传递函 数适合于将反射自现场中单点的光投射到相对较大数目的图像传感器130的传感元件上。这使得可以仿真比由基本光学传递函凄t和物理传感元件密度纟合出的分辨率7jC平更高的分l岸率水平。即，处理单元140适合于处理原始数据Ds，以致可以以比可获得的最大4青度 更大的精度来导出眼跟踪数据DEYE,如果仅仅基于原始数据D,以 传统的焦点内光学系统的分辨率水平来进4亍处理可获得该最大4青度。下面我们将详细说明背后的推理。在传统光学系统中，焦点内 的小件物体被成像在图像传感器上的较小的"单"点。然而，根据本 发明，提出的掩模会改进光学传递函数，使其对于到要成像物体的 距离变化的敏感性低于传统成像系统对于到要成像物体的距离变 化的敏感性(即由基本光学传递函数给出)。提出的增强的光学传 递函数适合于将小件物体成像到传感器表面的区域上，该区域大于 传统成像系统中相应图像区域的面积。例如，增强的光学传递函数 可以将物体一点的图像传播到图像传感器130的传感器区域的若干 传感元件上，而基本光学传递函数将此点才更射到单个传感元件上。在传统光学系统中，确定小物体的准确位置有时是成问题的， 例如在眼角膜中反射的闪烁。通常，这样的闪烁被成像到一个、或 非常少的像素上。在闪烁的情况下，成像物体的尺寸因此最终限制 了可以如4可好;也确定物体的质量中心(质心)。尤其是，当确定小 物体图像的质量中心时，结果很大程度上取决于像素反应变化 (pixel response variation )、小于100%的》真充系凄1以及石並到有击夹陷 传感元件(即"死i象素")的危险。在眼跟踪应用中，这样的波动可 能严重降低系统的性能。即，对于通常的操作距离，就估计的注一见 位置而论，重复地以 一个像素错放闪烁的眼跟踪器可以容易地导致 若干厘米的误差，例如在计算机屏幕上。当然，这是不可接受的。如上所述，才艮据本发明的一种优选的实施方式，增强的光学传 递函数适合于将来自空间中 一 点的图像传播到传感器表面上的一个以上的传感元件。因此，在眼角膜中反射的闪烁的情况下，在空 间中定位有闪烁的点以覆盖多个传感元件的图案形式被投射到图 像传感器130的传感器表面上。这意味着，通过增强的光学传递函数的理想闪烁的数学才莫式(pattern)可以对准(align)来自图Y象传 感器的数据，以便发现最好的模式匹配。因为通过增强的光学传递 函数的理想闪烁的模式不是离散的模式，而是连续函数，所以与在 传统成^象系统的焦点内捕获的图Y象可以确定的相比，数学上总是可 以确定小闪烁的更准确的位置。因此，根据本发明的设计策略还对 于上述像素反应变化、小于100%的填充系数以及具有"死像素"的危 险不太壽丈感。另夕卜，可以用相反的方式应用光学传递函凄l是连续函凄t (即不 是离散模式)的事实。根据本发明的一种优选的实施方式，在传统 焦点内成像系统中将不会被配准、或"隐藏在像素之间"(由于相应 的光线被聚焦在两个传感元件之间)的信息可以被配准。为了达到 此目的，增强的光学传递函^t和由图4象传感器130配准的原始凄史据 Ds的对准可以变化。起因于传感元件密度，物理上必要的是，以全 像素间隔对原始数据Ds进行采样。然而，增强的光学传递函数不必对准特定的传感元件/像素位置、或甚至特定的子像素位置。代之以， 此函数的原点可以被放置在每个相应维(X和Y)的任何位置，例 ^口在X二 0.345。嗦口果3口it匕，^夺在X =0.345、 X= 1.345、 X=2.345等 处对增强的光学传递函H进行釆样。当然，对于Y方向相同的情况 也同样有效。和由图像传感器130的传感元件密度所支持的(如果 用于传统焦点内i殳计中)相比，这4吏得可以产生分辨率高许多倍的 传统闪烁图^f象。通过以子<象素间隔对增强的光学传递函凄t进4亍采 样，则可以简单地实现分辨率的改善。当i殳计算法时可以-使用相同 的概念(concept),该算法从原始数据Ds抽取眼跟踪数据。该概念 可以用来获得高精度眼跟踪数据DEYE，而不必通过产生传统图像作 为措施。当然，上述质量改善可用于所有种类的眼5艮踪原理，即dp-pccr跟踪、bp-pccr跟踪以及其任何组合。现筒短地转向图7c,我们看到在现场中具有一位置(其是由一 对坐标x、 y给定)的瞳孔的示意表示。才艮据本发明的一种优选的 实施方式，处理单元140适合于最初确定用于眼101和102的至少一只的至少一个候选位置，即粗略的x和y估计值。然后，在已确定了一组候选4立置x、 y以后，处理单元140适 合于相对于描述理想眼形状的眼模型匹配原始数据ds(表示每个候 选位置x、 y)的不同数据子集，其已经通过光学传递函数加以变换。 因此，获得一组相关测试4直。其后，基于相关测试4直，处理单元适 合于,人所述候选位置组选l奪至少一个候选位置，以表示至少一只 眼，例如借助于阈水平。图2示出根据本发明的一种实施方式的系统的概要，而图3图 解说明根据该实施方式可以如何照射受实-险者100以及他的/她的 目艮101 ,口 102的进——步纟田节。除了以上参照图1所描述的单元110和140之外，该系统还分 别包4舌至少一个第一光源Ll和至少一个第二光源L2a和L2b。所 述至少一个第一光源li中的每一个是相对接近光学系统110的光轴Ac进行S己置。此外，光源Ll被定向为使得由其发射的相应的主 光束B1基本上与光轴Ac相一致。因此，相对于由摄像机(其中结 合有光学系统110)配准的图〗象，光束B1适于引起明亮瞳孔效应。图4示出了曲线图，其表示沿水平轴的波长X以及沿垂直轴的 光谱强度U。来自至少一个第一光源Ll的光能主要分布在第一波长 范围Vl-人au内。才艮据本发明，在这里基本上任何可见光或不可见光都是可能的。然而，第一波长范围优选在下端波长xal (大约900nm至950 nm )与上端波长XAU (大约1000 nm )之间扩展。所述至少一个第二光源L2a和L2b的每一个适合于将主要在第 二波长范围x乱-xbu的光发射向受实验者100。和所述至少一个第一 光源Ll相反，每一个所述至少一个第二光源L2a和L2b配置在离 成像装置110的光轴Ac—定距离du处，以致由其发射的相应的主 光束B2相对于该光轴Ac是离轴定位。因此，相对于由摄像机(其 中结合有光学系统110)配准的图像，光束B2适合于引起暗淡瞳孔 效应。鉴于以上失见定的X乱和Xau但，第二波长范围优选在下端波长X肌(大约400 nm至800 nm )与上端波长？^BU (大约800 nm至950 nm)之间扩展。总之，第二波长范围X肌至^u基本上与第一波长 范围X乱至人au分离。这意味着范围的较小重叠是可以接受的，如 在曲线图中所示。图5图解说明根据本发明的第一实施方式的掩模120是如何可 以用来4寻益于上述明亮瞳孔承丈应和暗;炎瞳^^丈应的，该岁丈应是在由 所4是出的处理装置140进行的处理中分别通过至少一个第一光源 Ll和至少一个第二光源L2a和L2b来实;见。在此实施例中，掩才莫120和透镜113适合于相对于第一波长范 围Xal-Xau内的光实现第一光学传递函数，并且相对于第二波长范 围X肌-人bu内的光实现第二光学传递函数。因此，在第一波长范围 人aiAau内的光被引向图像传感器130的传感器表面上的第一区域Al,并且在第二波长范围xbl-xbu内的直射光被引向传感器表面上的第二区域A2。为了清楚表达，在这里，第一和第二光学传递函凄t是分别用掩才莫120中的两个分开的体禾口、 ( volume ) 121禾口 122力口以表示。，然而， 实际上，这些体积可以非常好地占据掩模120中的一个空间和相同空间。此夕卜，第一和第二区域A1和A2可以物理上;f皮此分开(如图5 所示)、或这些区i或可以或多或少重叠。如果第一和第二光学传递 函凄t表示正交基(orthogonal bases )，那么区i或Al和A2可以;f皮此 完全重叠。处理单元140适合于基于原始凄t据Ds的第一子集产生明亮瞳 孔眼跟踪参数，该第一子集已被第一区域Al内的传感元件所配准。 类似地，处理单元140适合于基于原始凄t据Ds的第二子集产生暗淡 瞳孔眼跟踪参数，该第二子集已一皮第二区域A2内的传感元件所配准。图6图解说明根据本发明的第二实施方式如何配置图像传感器 130的传感器区域。同样在此实施方式中，该设计使由处理装置140 进行的处理能够得益于明亮瞳孔效应和暗淡瞳孔效应，该效应是分 别通过所述至少一个第一光源Ll和所述至少一个第二光源L2a和 L2b来实现。然而，在这里，传感器130具有两种类型的传感元件，即第一 组元件OOa,其中每个元件(用白色方格表示)适合于才佥测第一波 长范围Xal-人au内的光，以及第二组传感元件130b,其中每个元件(用暗色方才各表示)适合于4全测第二波长范围Xb。Xbu内的光。因 此，第一组传感元件130a配准原始凄t据Ds的第一子集(表示明亮 瞳孔信息)，而第二组传感元件130b配准原始数据Ds的第二子集(表示暗淡瞳孔^言息)。才艮据本发明的一种优选的实施方式，图l象传感器115的光4企测区i或配置成在第一组传感元〗牛130a中的每个元4牛与第二组传感元 件130b中的至少一个元件相邻。因此，作为该实施方式的特歹未情 况，在第一和第二组传感器元件130a和130b中的元件可以配置成 方才各图案，如图6所示。总之，处理单元140适合于基于原始数据Ds的第一子集产生 明亮瞳孔眼跟踪参数，以及基于原始数据Ds的第二子集产生暗淡瞳 孔眼i 艮踪参凄史。为了进一步说明根据本发明的第一和第二实施方式明亮瞳孔 图 <象和暗淡瞳孔图 <象是如<可可以用来确定用于估计受实 -验者眼位 置x、 y的基础，我们现在参照图7a、图7b以及图7c。图7a示出具有明亮瞳孔710的眼IOI。在这里，由于至少一个 第一光源Ll的强一见网月莫反射，目艮101的瞳孔710显4寻相乂十明亮。 也可以存在起因于至少一个光源Ll的一个或多个闪烁715。图7b示出另一只眼，其具有瞳孔710,该瞳孔在没有视网膜反 射的情况下显得暗淡。然而，可以存在起因于至少一个第二光源L2a 和L2b的一个或多个闪烁725。因为由图Y象传感器130配准的原始凄t据Ds不在焦点，所以在 这里在图7a或图7b本身中没有图像被配准。然而，原始数据Ds 包含等价信息，其可以分成如上所述的第一和第二子集(即，分别 表示明亮瞳孔眼跟踪参数和暗淡瞳孔眼跟踪参数)。因此，根据本 发明的一种优选的实施方式，处理单元140适合于基于明亮瞳孔眼 跟踪参数和暗淡瞳孔眼跟踪参数两者产生眼跟踪数据DEYE。借助于 合成图j象，图7c对此进行了说明，其中合成图^f象表示从图7a中明 亮瞳孔图像表示的图像内容减去图7b中暗淡瞳孔图像表示的图像内容。因此，合成图像包括来自原始数据Ds的第一子集的闪烁数据715'以及来自原始数据Ds的第二子集的闪烁数据725'。当然，在图 7c中的合成图像仅需作为处理单元140中的抽象表示而存在(即， 不是作为实际图像)，以便使得可以确定眼101的位置估计x、 y。总之，现将参照图8的流程图描述根据本发明的用于自动配准 和跟踪至少 一位受实验者的至少 一只眼的一4S:方法。最初步骤810接收来自包括至少一位受实验者(并且因此还假 设包括至少一只眼)的现场的入射光。然后，借助于具有增强的光 学传递函数的光学系统，步骤820变换入射光，其中和等效光学系 统的基本光学传递函凄t相比，增强的光学传递函凄t对于纟是出的光学 系统与至少 一位受实验者之间的未知距离的变化显著地较'J、敏感。 具体地，提出的光学系统包括透镜结构和掩模，其中掩模适合于将 基本光学传递函数改变成如上所述的增强的光学传递函数。在已通过光学系统以后，借助于图像传感器，步骤830配准空 间分布的变换的光，从而完成原始数据D,。其后，步骤840处理原始数据Ds以产生所得到的眼跟踪数据 DEYE。该^Ut又表示至少一只眼的^f立置〗古计和/或至少一只眼的注一见 方向。参照以上图8描述的所有过程步骤以及步骤的任何子序列可以 借助于程序控制的计算积/i殳备加以控制。此外，虽然以上参照附图 描述的本发明的实施方式包括计算机设备和在计算机设备中进行 的过程，但本发明还扩展到计算机程序，尤其是在载体上或载体中 的计算机程序，其适合于实施本发明。该程序可以具有以下形式 源4戈石马、目标"、石马、4戈石马中间源(code intermediate source )以及卞者 如部分编译形式的目标代码、或具有适用于实施才艮据本发明的过程的任4可其它形式。该禾呈序可以是才喿作系统的一部分、或是单独应用 程序。载体可以是能够携带程序的任何实体或装置。例如，该载体可以包括存储介质，如闪存，ROM(只读存储器)，例如DVD(数 字多功能/视频盘)，CD (光盘)或半导体ROM, EPROM (可擦可 编程只读存储器)，EEPROM (电擦除可编程只读存储器)，或磁记 录介质，例如4欠盘或石更盘。另外，该载体可以是可传丰lr载体(如电 信号或光信号)，其可以通过电缆或光缆或^f昔助于无线电或^f昔助于 其它i殳备加以传递。当程序体现在可以直4妄通过线缆或其它装置或 设备加以传递的信号中时，该载体可以由这样的线缆或装置或i殳备 构成。可替换地，该载体可以是其中嵌入程序的集成电i 各，该集成 电^各适合于进^亍、或用于进4于相关的过程。当在本说明书中使用时，术语"包括/包含"用来明确说明所陈述 的特征、整体、步骤或组件的存在。然而，该术语并不排除存在或 加入一个或多个另外的特4i、整体、步备聚或组件或其组合。在本说明书中对任何在先技术的参照不是、并且不应看作是对 下述的7f^人或〗壬何纟是示参照的在先纟支术在澳大利亚形成共有一豸殳 知"i只的一部分。本发明并不限于在附图中所描述的实施方式，而是可以在权利 要求的范围内自由地变4匕。
权利要求
1.一种用于自动配准和跟踪至少一位受实验者(100)的至少一只眼(101、102)的系统，包括光学系统(110)，包括图像传感器(130)，适合于配准空间分布的光并产生所得到的原始数据(Ds)；以及透镜结构(111、112)，适合于接收反射自包括所述至少一位受实验者(100)的现场的入射光(LS)并将至少一部分所述入射光(LS)引导到所述图像传感器(130)，所述光学系统(110)具有基本光学传递函数，以及处理单元(140)，适合于基于所述原始数据(Ds)导出眼跟踪数据(DEYE)，其特征在于，所述光学系统(110)进一步包括配置在所述至少一个受实验者(100)与所述图像传感器(130)之间的掩模(120)，所述掩模(120)适合于将所述基本光学传递函数改变成增强的光学传递函数，所述增强的光学传递函数适合于将来自空间中一点的图像传播到所述图像传感器(130)的传感器表面上的一个以上的传感元件，并且所述增强的光学传递函数对于所述光学系统(110)与所述至少一位受实验者(100)之间的未知距离(R)的变化(Δ)的敏感性显著地小于所述基本光学传递函数，以及所述处理单元(140)适合于接收所述原始数据(Ds)，并处理所述原始数据(Ds)以产生所得到的眼跟踪数据(DEYE)，所述眼跟踪数据表示所述至少一只眼(101、102)的至少一个位置估计以及所述至少一只眼(101、102)的注视方向。
2. 根据权利要求1所述的系统，特征在于，所述图像传感器(130) 适合于仅仅将所述原始数据(Ds)的高相关部分传输到所述处 理单元(140),所述高相关部分是基于先前导出的眼跟踪数据(DEYE )和由连4妄于所述系统的 一 个或多个辅助传感器配准的 凄史才居的至少之一由所述处5里单元(140)力卩以选冲奪。
3. 根据权利要求1或2中任一项所述的系统，其特征在于，所述 增强的光学传递函数适合于将反射自所述现场单点的光投射 到所述图像传感器(130)的传感器表面的多个传感元件上， 从而仿真比由所述基本光学传递函数和所述传感器表面的物 理传感元件密度所》合出的基本分辨率水平更高的分辨率水平， 以及所述处理单元(140)适合于处理所述原始l史据(Ds), 乂人而可以以比<又4义基于以传统焦点内光学系统的基本分辨率 水平由原始数据(Ds)导出的眼跟踪数据(DEYE )获得的最大 精度更大的精度来导出所述眼跟踪数据(DEYE)。
4. 才艮据前述4又利要求中任一项所述的系统，其特4正在于，所述处 理单元(140 )适合于相对于目标形状匹配所述原始数据(Ds )， 所述目标形状表示由所述光学传递函数变换的通常的眼形状。
5. 才艮据一又利要求4所述的系统，其特4i在于，所述处理单元(140) 适合于选纟奪一部分所述原始凌t据(Ds)，所述部分原始数据表 示在每一组传感元件周围的所述传感器表面上的相应的感兴 趣区域，所述部分原始数据与高于匹配阈水平的所述目标形状 具有相关性。
6. 根据前述权利要求中任一项所述的系统，其特征在于，所述处 理单元(140)适合于确定所述至少一只目艮(101、 102)的至少一个4吳选4立置，并在已确定一组^f夷选^f立置(x, y)以后，所 述处理单元(140)适合于相对于表示由所述光学传递函数变换的理想眼形状的眼 模型，匹配表示每个所述候选位置(x， y)的所述原始数据 Ds的数据子集，以获得一组相关测试值，以及基于所述相关测试值，从所述候选位置组中选4奪至少一个 4夷选<立置，以表示至少一只眼。
7. 才艮据前述4又利要求中4壬一项所述的系统，特4i在于，所述系统 包括至少一个第一光源(Ll),配置成相对4妻近所述光学系统 (110)的光轴(Ac)，所述至少一个第一光源(Ll)被定向 为使得由其发射的主光束(Bl)基本上与所述光轴(Ac) — 致，来自所述至少一个第一光源(Ll)的光能主要分布在第 一波长范围 (Vl-Xau)内，以及至少一个第二光源(L2a、 L2b),适合于将主要在第二波 长范围(XBL-XBU )内的光发射向所述至少一位受实马全者(100 )， 所述第二波长范围(X肌Abu)基本上与所述第一波长范围 (Vl-Xau)分开，并且所述至少一个第二光源(L2a、 L2b) 配置在离所述成^f象装置(110 )的所述光轴(Ac )—定距离(dL2 ) 处，使得由其发射的主光束(B2)相对于所述光轴(Ac)离 库由《4立。
8. 根据权利要求7所述的系统，特征在于，所述掩模(120)适 合于，相对于在所述第一波长范围(人al-Xau)内的光实现第一 光学传递函数并将在所述范围内的光引导到所述图像传感器 (130)的传感器表面上的第一区域(Al ),以及相对于在所述第二波长范围(XBlj-XBU)内的光实现第二 光学传递函数，并将在所述范围内的光引导到所述传感器表面上的第二区域(A2),以及所述处理单元(140)适合于产生至少下述之一明亮瞳孔眼跟踪参数，其基于由所述第一区域(Al )内 的传感元件配准的所述原始数据(Ds)的第一子集，以及暗淡睹孔眼跟踪参数，其基于由所述第二区域(A2)内 的传感元件配准的所述原始lt据(Ds)的第二子集。
9. 才艮据权利要求7所述的系统，其特征在于，所述图《象传感器(130)包括第一组传感元件(130a),其中每个元件适合于4企测在所 述第一波长范围(XAL-XAU)内的光，以及第二组传感元件(130b),其中每个元件适合于检测在所 述第二波长范围(人BL-人Bu)内的光，以及所述处理单元(140)适合于产生明亮瞳孔眼跟踪参数，其基于由所述第一组传感元 件(130a)配准的所述原始数据(Ds)的第一子集，以及产生暗淡瞳孔眼跟踪参数，其基于由所述第二组传感元 件(130b)配准的所述原始^:据(Ds)的第二子集。
10. 根据权利要求9所述的系统，其特征在于，在所述第一组传感 元件(130a)中的每个元件与所述第二组传感元件(130b)中 的至少一个元4牛^目4卩。
11. 根据权利要求10所述的系统，其特征在于，以方格图案配置 所述第一和第二组传感元4牛(130a、 130b)中的所述元件。
12. 根据权利要求10或11中任一项所述的系统，其特征在于，所 述增强的光学传递函^t适合于将反射自所述现场中单点的光 才更射到所述第一和第二组传感元件(130a、 130b)中的多个元 件上，从而仿真比由所述基本光学传递函数和所述传感器表面 的物理传感元件密度所给出的基本分辨率水平更高的分辨率 水平，以及所述处理单元(140)适合于处理所述原始凄t据(Ds), 使得可以以比仅仅基于以传统焦点内光学系统的基本分辨率 水平由原始数据(Ds)导出的眼跟踪^:据(DEYE)可获得的最 大精度更大的精度来导出所述眼跟踪数据(DEYE )。
13. 根据权利要求7至12中任一项所述的系统，其特征在于，所 述处理单元(140)适合于基于所述明亮瞳孔眼^艮踪参凄t和暗 淡瞳孔眼跟踪参数来产生所述眼跟踪数据(DEYE )。
14. 一种自动配准和3艮踪至少一位受实-验者(100)的至少一只眼(101、 102)的方法，其中表示空间分布光的原始数据(Ds) 被配准，借助于包括透镜结构(111、 112)和掩模(120)的 光学系统(110),所述光已^皮/人包括所述至少一位受实验者(100 )的现场传输到图像传感器(130 ),所述掩模(120 )适 合于将所述透4竟结构(111、 112)和所述图Y象传感器(130) 的基本光学传递函数改变成增强的光学传递函数，所述增强的 光学传递函凄t对于所述光学系统(110)与所述至少一位受实 验者(100)之间的未知距离(R)的变化(△)的敏感性显著 地小于所述基本光学传递函数，并且所述方法包括接收所述原始数据(Ds),以及处理所述原始lt据(Ds)以产生所得到的眼3艮踪凄1据 (DEYE)，所述眼跟踪凄t据表示所述至少一只眼(101、 102)的至少一个位置估计和所述至少一只目艮(101、 102)的注—见方向。
15. 根据权利要求14所述的方法，其特征在于，仅仅处理所述原 始数据(Ds)的高相关部分以产生所述眼跟踪数据(DEYE), 所述方法包括基于先前导出的眼^艮踪凄t梧(DEYE )和由 一个或 多个辅助传感器配准的数据中至少之一来选择所述高相关部 分。
16. 根据权利要求14或15中任一项所述的方法，其特征在于，所 述增强的光学传递函数适合于将反射自所述现场中单点的光 投射到所述图像传感器(130)的传感器表面的多个传感元件 上，从而仿真比由所述基本光学传递函数和所述传感器表面的 物理传感元件密度所l会出的基本分辨率水平更高的分辨率水 平，并且所述方法包4舌处理所述原始数据(Ds),使得可以以比仅仅基于以传统 焦点内光学系统的基本分辨率水平由原始数据(Ds)导出的眼 跟踪数据(DEYE )可获得的最大精度更大的精度来导出所述眼 ^艮^宗凄t才居(DEYE)。
17. 根据权利要求14至16中任一项所述的方法，其特征在于，相 对于表示通过所述光学传递函数变换的通常眼形状的目标形 状匹配所述原始凄t据(Ds)。
18. 才艮寺居斗又利要求17所述的方法，其特征在于，选才奪一部分所述 原始^:据(Ds)以表示所述原始^t据(Ds)每个子集的相应的 感兴趣区域，所述部分原始凝:据与高于匹配阈水平的所述目标 形状具有相关性。
19. 根据权利要求14至18中任一项所述的方法，其特征在于，确 定所述至少一只眼(101、 102)的至少一个候选〗立置，其后相对于表示由所述光学传递函数变换的理想眼形状的眼 模型，为每个所述至少一个候选位置匹配表示所述候选位置 (x, y)的所述原始数据(Ds)的相应的ft据子集，以获得相 应的才目关观'H式丫直，以及基于所述相关测试值，从所述候选位置组中选冲奪至少一 个候选位置，以表示至少一只眼。
20. 根据权利要求14至19中任一项所述的方法，其特征在于借助于配置成相对接近所述光学系统(110 )的光轴(Ac ) 的至少一个第一光源(Ll)照射所述i见场，所述至少一个第 一光源(Ll )被定向为使得由其发射的主光束(Bl )基本上 与所述光轴(Ac) —致，所述至少一个第一光源(Ll)发射 主要在第一波长范围(ViAau)内的光能，以及借助于配置在离所述成像装置(110)的所述光轴(Ac) 一定距离(dL2)处的至少一个第二光源(L2a、 L2b)照射所 述现场，〗吏得由其发射的主光束(B2)相对于所述光轴(Ac) 离轴定位，所述至少一个第二光源(L2a, L2b)发射主要在 第二波长范围(XbiAbu)内的光，所述第二波长范围基本上 与所述第一波长范围(XAL-XAU)分开。
21. 根据权利要求20所述的方法，其特征在于，所述掩模(120) 适合于变换来自所述现场的所述入射光(LS )，使得在所述第一波长范围(XaiAau)内的光被引导向在传感 器表面上的第一区域(Al ),以及在所述第二波长范围(XBL-XBU)内的光被引导向在所述传感器表面上的第二区域(A2)，以及所述方法包括产生以下 的至少之一明亮瞳孔眼跟踪参数，其基于由所述第一区域(Al )内 的传感元件配准的所述原始数据(Ds)的子集，以及暗淡瞳孔眼跟踪参数，其基于由所述第二区域(A2)内 的传感元件配准的所述原始凄t据(Ds)的子集。
22. 才艮据4又利要求21所述的方法，其特4正在于，基于所述明亮瞳 孔眼跟踪参数和暗淡瞳孔眼跟踪参数的至少之一，产生所述眼 跟踪ft据(DEYE)。
23. —种可直接装入计算机内存的计算机程序，包括当在所述计算 机上运行所述程序时用于控制根据权利要求14至22中任一项 所述步骤的软件。
24. —种计算机可读介质(145 )，具有记录在其上的程序，其中所 述程序用来4吏计算才几控制才艮据权利要求14至22中任一项所述 的步-骤。
全文摘要
本发明涉及对至少一位受实验者(100)的眼(101、102)进行自动配准和跟踪。包括透镜结构(111、112)、掩模(120)以及图像传感器(130)的光学系统(110)接收来自包括受实验者(100)的现场的入射光(LS)并将至少一部分这种光引向图像传感器(130)，该图像传感器配准空间分布的光并因此产生原始数据(D_s)。掩模(120)适合于将透镜结构(111、112)和图像传感器(130)的基本光学传递函数改变成增强的光学传递函数，该增强的光学传递函数对于光学系统(110)与至少一位受实验者(100)之间的未知距离(R)的变化(Δ)的敏感性显著地小于基本光学传递函数。处理单元(140)适合于接收原始数据(D_s)并处理这种数据(D_s)以产生所得到的眼跟踪数据(D_EYE)，眼跟踪数据表示至少一只眼(101、102)的位置估计和/或至少一只眼(101、102)的注视方向。
文档编号A61B3/113GK101282680SQ200680037562
公开日2008年10月8日 申请日期2006年8月28日 优先权日2005年10月10日
发明者本特·伦斯特伦, 约翰·埃尔韦舍, 莫滕·斯科格 申请人:托比技术有限公司