专利名称：用于检测和跟踪眼睛及其注视方向的方法和装置的制作方法
技术领域：
本发明涉及一种用于检测和跟踪眼睛及注视角度/方向的方法和装置。这种系统可以例如用于观察或确定计算机用户正在注视的监视器或显示器上的位置。
背景技术：
监视或跟踪眼睛运动和注视点可以用于许多不同环境中。关于人正在注视的位置的信息可以用于分析该人的行为和意识。该信息既可用于评估该人正在注视的对象又可用于评估相应的人。该应用领域有很多并且其中关于软件和不同类型界面的可用性、主页的评估、广告和宣传、用于在模拟器环境中训练飞行员的装置、心理学研究、行为科学和人感知以及各种类型的视觉缺陷和疾病的诊断的研究被提及。
除了这些应用之外，也存在交互式应用，其利用关于人正在注视的位置的信息，以便以不同方式响应或起反应。残疾人可以例如通过将他正在注视的计算机监视器上的对象激活的程序来与计算机互相作用。在街机游戏中，通过将一个人正在注视的对象放在图像中心的程序，或者通过允许该人使用她/他的眼睛来指挥武器的程序，可以大大地加强游戏的冒险体验。以同样的方式，商店橱窗中针对圣诞节的广告或表演可以对人正在注视它的事实作出反应。用于例如计算机的界面可以利用关于用户正在注视位置的连续信息，以能够更好地显示用户感兴趣的对象且能够以智能的方式适应用户的不同行为。接收到关于驾驶员正在注视的位置的信息的汽车可以在驾驶员疲劳、注意力不集中或醉酒的情况下发出警报。使用眼睛运动来指挥武器或操控车辆的军事应用也已被研究。对于可以检测和跟踪眼睛及注视角度的装置来说，这些仅仅是少量的感兴趣的应用领域。
存在多种可用于跟踪眼睛及其注视角度的不同技术。第一种技术是使用光电传感器和光源，该光源的光由角膜和眼睛的晶状体反射且由此引起四种不同的反射。其中具有最强光强度的反射为外角膜反射或闪烁，也被称为第一浦肯雅(Purkinje)反射。此后，接着是第二、第三和第四浦肯雅反射，这三种反射对应于角膜的内表面中的反射、晶状体的外表面中的反射和晶状体的内表面中的反射。第一和第四浦肯雅反射位于同一焦平面上，且这两种反射的位置关系随着眼睛的转动而变化。
用于跟踪眼睛及其注视角度的第二种技术是使用某种类型的光电传感器检测白眼球或眼睛的巩膜与眼睛的虹膜之间的边界线。第三种技术是使用照相机检测人脸且通过观察眼睛如何相对脸部运动来间接地推断出该人正注视的方向。第四种技术是利用角膜和视网膜具有不同电势来测量眼睛的转动。第五种技术是使用配备有合适的设备的隐形眼镜，所述设备能够测量隐形眼镜及因此还有眼睛如何转动。第六种技术是使用光电传感器测量眼睛转动时瞳孔的或虹膜的椭圆率。第七种技术是使用安装在一对眼镜上的二极管和两个或多个光学晶体管。当来自二极管的光从角膜反射且接着击中光学晶体管时，由晶体管提供的信号将根据光从二极管穿过角膜并到达晶体管的移动距离而变化。第八种技术是使用光电传感器来检测光源从角膜的反射且接着观察其位置如何与瞳孔或虹膜的中心有关。在这种情况下，通过使用安装在光电传感器附近照亮眼睛视网膜且由此引起亮眼效应的照明设备或通过照亮眼睛以致使虹膜变得更亮而瞳孔保持黑色，瞳孔可以变得更易于观察。
在美国专利文献5861940中公开了一种用于检测眼睛和用于跟踪注视角度的系统。该系统包括光源，该光源包含IR激光器2，其配备有合适的光学系统且发出焦距位于眼睛前部的会聚光束；以及两个IR激光器或IR二极管9、10，其交替地发出发散光束。通过使用位置敏感的检测器检测来自视网膜的反射，获得关于眼睛位置的信息。通过检测多个光源从角膜的反射，确定眼睛离摄像机的距离。后者的两个IR激光器被放置于计算机监视器1的底部边缘。在美国专利文献6,079,829、6,152,563和6,246,779中公开了其它系统。
在使用摄像机的自动系统中，很难在所获取的图片中确定来自用户眼睛的光源的反射所处的位置。其中这取决于以下事实用户可以移动她/他的头部，横向地移动头部或离摄像机较近或较远的距离放置。自动系统可以包含复杂的图像处理和图像识别程序，以确定眼睛的图像所位于的那些区域。因此，需要一种方法，便于在所获取的图片中进行这种区域确定，眼睛的反射和图像定位于该区域中。此外，在确定诸如监视器的表面上的注视点时，通常必须确定用户眼睛和监视器之间的距离，且由此需要用于这种确定的有效方法。
发明概述本发明的目标在于，提供一种用于检测和跟踪眼睛及注视角度/方向的有效方法和有效装置。
在用于检测眼睛及注视角度/方向的方法及设备中，使用了诸如配备有合适的光学系统或摄像机的CCD单元或CMOS单元的光电传感器、一个或多个光源及计算和控制单元。为了确定人正在注视的例如监视器上的位置，必须已知从监视器所看到的该人的眼睛在深度方向和横向的位置以及眼睛正在看的角度。如果仅仅知道角度和二维方向上的位置，当眼睛沿深度方向移动时，将会产生视差失真。该视差失真经常明显地大于许多应用中可接受的程度。
为了确定眼睛的位置、即其相对于光电传感器或监视器的位置，使用两个或多个相互间隔设置的光源来照亮眼睛。这些从该人的角膜到达光电传感器的光源的反射图像则取决于在光电传感器的视野中该人所处的位置。光电传感器上反射的图像提供了精确确定光电传感器的视野中该人所处的位置所需的所有信息。如果假定眼睛的角膜为球形的，已经在光源的数量小到两个的情况下，该功能被明确地定义并且是不可避免的，而且更进一步地假定，在眼睛所处位置的确定中的良好精确性和可靠性通过评估整个图案而获得，该整个图案由多个光源的反射形成，即，在整张图片中的彼此相对的反射的位置。在简单的情况下，在所获取的图片中仅仅确定图案的尺寸及其位置。
因此，在该方法中，光电传感器被用于产生实物的两维图片和通常一个或多个光源。该一个光源/多个光源照亮光电传感器的视野内的可能的眼睛，以致使漫反射表面对于光电传感器来说更易于观察，且以致来自一个光源/多个光源到达角膜的光引起反射，该反射由光电传感器感受为离散亮点。
由光电传感器所生成的二维图片使用复杂的图像处理来分析，以确定可能的眼睛和光反射在图片中所处的位置。该信息接着用于确定眼睛位于何处和/或眼睛正在注视的方向，这又被用于例如确定计算机用户正在注视的监视器上的位置。
在二维图片中，瞳孔和/或虹膜被搜索。通过由一个或多个光源照亮瞳孔的图像，更易于观察该瞳孔的图像。该一个光源/多个光源可以被放置在离光学系统一定的距离上，该光学系统将二维图片聚焦在光电传感器上。这导致了仅仅一小部分的照明光进入眼睛，且因此瞳孔将会显得比周围的面部更黑。这样，相比未使用照明的情况，更易于检测到瞳孔和虹膜之间的边界线。
一种上述照明的替代方案包括一个光源/多个光源非常接近或位于将二维图片聚焦在光电传感器上的光学系统上。该一个光源/多个光源的散射区域对应于光电传感器的视野，且对应于位于光电传感器的视野内的眼睛，被该一个光源/多个光源照亮的视网膜上的点与在光电传感器上成像的点相同或者至少部分相同。这导致了瞳孔显得比其周围更亮。该现象与导致照片上的眼睛显得具有红色的现象相同。
为了获得可能的最强的亮眼效应，在不干扰传感器的视野的情况下，尽可能近地靠近光电传感器的视轴安装一个光源/多个光源。光电传感器正在观察的眼睛的视网膜部分大部分与由该一个光源/多个光源照亮的视网膜部分一致。假设该一个光源/多个光源必须被放置在将图片聚焦在光电传感器上的光学系统的前部，则具有与光电传感器相同形状的中心孔的光源是将该一个光源/多个光源设置地尽可能靠近光电传感器的视轴而不干扰其视野的好方法。光源被放置地离光学系统越远，该洞必须越大，以免干涉光电传感器的视野。因此，在针对亮眼效应的情况下，期望能够将光源放置地尽可能靠近光学系统。
使用用于确定眼睛方向的亮眼效应，同时使用被反射的多个光源来确定眼睛的位置时，将会引发问题。通过使用尽可能靠近光电传感器放置的照明设备/光源获得亮眼效应。放置在离该光源一定距离处的照明设备除了照亮眼睛的瞳孔之外，还将照亮位于光电传感器的视野内的一切事物，并且因此减弱了在由光电传感器所获取的图片中瞳孔和虹膜之间的对比度。此外，该额外的光源的反射在图片中很可能将恰好位于瞳孔和虹膜之间的边界线上，使得搜索该过渡变得更加困难。从相反的观点来看，眼睛的位置将被确定，用于生成或加强瞳孔的亮眼效应导致图片中瞳孔和来自瞳孔之前的角膜的反射之间的过渡区域的对比度与未使用亮眼效应照亮瞳孔的情况相比要更低。因此，存在难于观察位于被照亮的瞳孔的图像中的反射的风险。为了避免这些问题，可以交替使用两种光设置，一种用于确定方向而另一种用于确定位置，以致针对每张所获取的图片仅有一张是有效的。这意味着方向和位置不能同时从每张图片中确定，但另一方面它将增加系统的稳健性。
如果该一个光源/多个光源相反被放置在离光电传感器的光轴一定的距离上，则获得黑色的瞳孔，而周围的脸部变得更亮，一个光源/多个光源发光更强。该光设置优选地用于要寻找虹膜的情况中，且它的优点还在于瞳孔和虹膜之间的对比度并不由于来自周围的散射光而变得更低或更糟，基于亮眼效应系统就属于这种情况。
为了不干扰由该一个光源/多个光源照亮的人，该一个光源/多个光源可被用于发出具有人眼不可见但能被光电传感器检测到的波长的光。例如，可以使用NIR范围(NIR＝近红外线)内的光、即具有比能被人眼感知的波长稍稍长一点的波长的光。这种光可以被大多数设计用于检测可见光的光电传感器检测到。
所使用的光电传感器可以有利地为高解析类型/高分辨率类型。这将导致的事实是，当整个光电传感器被暴露时获得大量的数据。为了减少用于处理的资源，挑选仅仅来自给定感兴趣区域(AOI)的数据进行处理。因此，为了减少光电传感器和计算单元之间的通信链路上的负载，该计算单元可以选择仅仅要求光电传感器提供那些来自当前AOI的数据。这样，可以释放计算和通信资源，用于其他用途。为了能够选择用于光电传感器的暴露的合适AOI，有利地使用了关于眼睛在紧接的前一图片中的位置的信息。
如果在处理过程中尽可能早地丢弃尽可能大部分的不必要的图片信息，将获得最大的好处。如果使光电传感器仅仅暴露或将来自传感器表面的部分信息转发给评估单元，就会发生之前不可能的新可能性。这样，可以使用具有非常高的分辨率的光电传感器，而不会使该过程运行更慢。替代高级的、难于启动的和昂贵的摄像机界面，可以使用标准的PC-总线，以获得从光电传感器至评估单元的足够传输率。同样，如果只暴露传感器的选定部分，则光电传感器数据的完全暴露和读出在很多情况下需要更少的时间。这导致了在确定被跟踪的眼睛的注视点时可以获得更大的速度。这在很多应用中、诸如在心理学研究中是有价值的。
本发明的其他目标和优点将在以下的描述中给出，且部分地从该说明中变得显而易见或可由本发明的实践学到。本发明的目标和优点可以借助于特别是在所附的权利要求中所指出的方法、过程、手段及其组合来实现和获得。
附图简述虽然本发明的新颖特征特别在所附的权利要求中被给出，但是考虑随后参考附图给出的非限制性实施例的详细描述可获得对本发明的结构和内容及其上述和其它特征的完整理解并将更好地理解本发明，其中
图1为用于检测和跟踪眼睛及注视角度的装置的实施例的前视示意图，图2为在由光电传感器获取的二维图片中从角膜反射的两光源之间的距离与角膜距光电传感器的距离的依赖关系的示意图，图3a和3b为当打开和关闭不同的二极管时照明设备的实施例的例子的前视示意图，该照明设备与光电传感器的视野共轴，以获得亮眼效应，图4a为使用光电传感器所获取的眼睛的图片，且该图片被照亮以便可能确定眼睛的注视角度和它位于光电传感器的二维坐标系内的位置，图4b为使用图4a的图片的边界线分析获得的图片，图5a为与图4a类似的眼睛图片，但是被照明以可能确定眼睛离光电传感器的距离，图5b为使用图5a的图片的边界线分析获得的图片，图6为显示处理关于二维图片中所找到的眼睛的信息以确定哪只眼睛是用户的右眼或左眼的步骤的流程图，以及图7为在确定眼睛的注视方向和位置的装置中执行的整个程序的流程图。
详细描述在图1中，示出了一种用于确定计算机用户正在观看/注视的监视器1上的点的装置。通过追踪用户的眼睛且特别地通过确定眼睛的注视角度和眼睛离监视器的距离来执行该确定。该装置包括监视器1；沿监视器1的上边缘处的直线安装的三个相同光源2；放置在监视器下边缘的中心的光电传感器4，且该光电传感器4配备有合适的光学系统(未示出)，该光学系统位于光电传感器的前部，以用于过滤掉不需要的光线，和用于将图片聚焦在光电传感器的光敏表面上；以及与光电传感器的光轴共轴放置的光源3，即位于光电传感器的光敏表面的周围，或者各个侧面。如图所示，光敏表面可以具有矩形形状。参见附图3a和3b，该共轴光源1包括多个设置为两组的发光元件3′、3″，即第一内组和第二外组。在内组中，发光元件3′被放置在接近光敏表面的边缘或侧边。在所示的包括矩形光敏区域的实施例中，三个元件被放置在矩形形状的每一长边处，两个元件被放置在其每一短边上。在外组中，发光元件3″被放置在光敏区域的较大距离处，从光敏区域的中心看去，发光元件3″被放置在内组的元件之外。在所示的实施例中，外组与内组中的元件一样多，且从矩形光敏区域的中心看去，外组中的每一元件被放置在内组中的两个元件之间。
在根据图1的装置的实际实施例中，三个相同的光源2中的每个都包括7个NIR二极管(HSDL 4230)，其包括围绕中心二极管对称设置的6个二极管。在根据图3a和3b设计的照明单元3中，相同类型的二极管被用作发光元件3′、3″。
除了这些元件之外，仅仅提供了标记为6的坐标计算和控制单元，用于进行所需的控制和与之相关的评估和计算。因此，计算和控制单元控制光源打开和关闭。此外，它对由光电传感器4获取的图片进行处理，尤其是确定边界线，即图片中具有不同灰度强度或颜色的区域之间的线。其中在眼睛的图像中，确定划定瞳孔的边界线，且由此获得瞳孔的中心。后者可以通过例如根据已经确定划定瞳孔的边界线来调整圆或椭圆来得到。如下文所述，计算和控制单元6也可以控制从光电传感器4中输出的数据，即在所获取的图像中确定像素，所述像素的信息从光电传感器被转发到计算和控制单元。
在图3a和3b中可以看出，光源3中的元件如何放置在光电传感器4的周围，以能够通过打开和关闭内组或外组的发光元件来以两种不同方式照明眼睛。在图3中所看到的并且其中仅仅内组中的元件被打开的一个光设置位置导致易于观察由光电传感器检测到的瞳孔的亮眼效应，而在图3b中示出的并且其中仅仅外组中的元件被打开的另一设置位置导致从角膜反射而没有引起任何易于观察的亮眼效应。
当图1的装置正在运行时，在两个光设置位置之间交替。设置位置(i)被提供用于确定用户正在观看的方向。在光设置位置(ii)中确定从用户眼睛到光电传感器的距离。在两个光设置位置中，也获得了如在光电传感器的两维坐标系中看到的用户的一只或多只眼睛所处位置的信息。
当该装置处于光设置位置(i)中时，与光电传感器4的视野共轴设置的光源3的内元件3′在图3a中所示的设置位置中打开，且给予在光电传感器的视野内的所有瞳孔强烈的亮眼效应。在该光设置位置中，所有放置在监视器1之上的三个光源2被关闭，即仅仅内组中的元件被打开。在光电传感器2的视野内的瞳孔的图像接着将看起来与图4a中显现的相同，其中与图4b相比，瞳孔5由于亮眼效应被照明，而来自角膜的光源3的反射可以被看做点状反射3′a。所获取的图像由计算单元6分析，且确定根据图4b的边界线。在针对亮眼效应获取的图片中，与使用不同照明而获取的图5a的图片相比，对应于瞳孔和虹膜的图像区域之间存在特别大的反差，并且因此这两个区域之间的分界线可以进行精确地计算。这种精确确定的边界线界定瞳孔，然后从那里也可以因此精确地确定瞳孔的中心。在确定中心时，如上所述，可以使用椭圆匹配边界线，这在瞳孔在图片中仅仅部分可见的情况下特别重要。此外，在图片中，确定反射3′a的位置以及特别是反射的中心的位置。最后，计算反射3′a的中心到瞳孔5的中心的矢量。
为了确定注视方向、即用户正在观看的方向，使用了根据以上描述确定的矢量。该矢量的方向表示如从照像机的光轴得到的用户正在观看的方向，且矢量的大小表示用户的观看角度(也与照像机的光轴相关)。此外，反射3′a的中心提供了关于如在二维中看到的用户眼睛的位置的信息。
当系统位于光设置位置(ii)中时，光源3的外组内的与光电传感器的视野共轴的元件3″在根据图3b的光设置位置中被切换，该图3b不会导致任何可清晰观察的亮眼效应。同时，放置在监视器的上边缘的三个光源2在该光设置位置被打开。图5a说明了眼睛如何以对应于眼睛不同部分的成像区域之间的相对低的对比度在这个设置位置中成像于光电传感器4上。同样分析该图片以获得边界线，如图5b中所示，并且所确定的对应于眼睛不同部分的区域的边界线的精确度低于根据图4b界定瞳孔的线的精确度。然而，在根据图5b的图片中，不同的反射显得非常清晰。在3′b中，参见图5b中的分析图，因此说明了来自角膜的、根据图3b所显示的情况而被打开的光源3的反射，并且在2′示出放置在监视器上边缘的光源2的来自角膜的反射。在图片中确定不同反射之间的距离和位置，并且这种确定可以具有良好的精确性。该四种反射的图案、即主要是彼此相关的不同反射的位置被评估，以确定眼睛离光电传感器4的距离。特别地，由在2′、3′b处的四种反射形成的该图案的尺寸取决于眼睛离光电传感器的距离。眼睛离光电传感器越远，该图案的尺寸越小。这样，获得监视器1离用户眼睛的距离的测量。同样在这种情况下，从3′b处的共轴光源3的反射中获得关于用户的眼睛在二维中所处位置的信息。
因此，当图1的系统工作时，其在光设置位置(i)和光设置位置(ii)之间交替。这需要来自这两个光设置位置的信息，以便能够指示用户正在观看的监视器上的位置。在光设置位置(i)中检测用户的注视方向且在光设置位置(ii)中检测用户的位置。针对计算机用户，眼睛的运动通常要比头部的运动迅速地多。这意味着，为了在确定用户正在观看的计算机监视器上的点时获得良好的精确性，因此具有最近更新的关于用户注视角度的信息比具有关于用户在深度方向离光电传感器4的位置的信息更加重要。实验表明，在针对在光设置位置(ii)中的每张图片分析在光设置位置(i)获取的四张图片的情况下，可以获得具有良好精确性的系统。为了确定注视点，经常使用来自光设置位置(i)中获取的最后一张图片和来自光设置位置(ii)中获取的最后一张图片的信息。
在图2中，示意性地说明了两个光源的反射图像之间的距离如何取决于反射面离光源和被假定位于同一平面的检测器的距离。反射表面和通过光源的平面之间的距离粗略地与图像之间的距离的平方根成反比。该关系或稍微更准确的关系(如图2中所示)可以与针对每一用户的装置的单独校准中获得的绝对值一起使用，以提供充分精确的距离确定，用于例如当用户的头部正在移动时控制监视器上的光标。
在上述装置中使用的光电传感器为高分辨率类型。这样，用户被允许她/他的头部具有更大的活动性，而不会产生降低的精确度。为了减少计算单元上的负载并增加系统的采样速度，来自光电传感器的数据不多于之后必需使用的数据。计算单元使用了关于在之前的图片中眼睛被发现的位置的信息来选择光电传感器的光敏表面的一部分，其在每一张新图片拍摄之前被暴露或用于每张新图片中并且以此控制该光电传感器。如果用户的眼睛在之前的图片中已被发现，仅仅使用光电传感器的光敏表面的像素的一小部分。仅仅在没有眼睛被发现的情况下，来自光电传感器的光敏表面的所有像素的数据被使用，或在数据表示整个图片表面的任何情况下，所述整个图片表面例如通过用于整个图片区域的数据的向下采样操作而获得。这样，获得了系统，该系统在检测眼睛和眼睛在深度方向的距离方面比较慢，但是在眼睛已被发现之后可以高速跟踪眼睛尤其是注视方向。
眼睛具有唯一的物理特征，该物理特征与眼睛的位置和注视方向一起控制将如何呈现如图4a或5a中显示的获取的图片。为了能够从这些图片中获得的数据中确定人正在观看的位置，如果需要，该系统可以针对正坐在监视器前的人进行单独校准。另外该系统必须知道该眼睛是那一只眼睛，即根据图4b和5b计算得到的边界线是否与用户的左眼或右眼相关。
当用户的两只眼睛对于光电传感器4可见时，很容易分辨哪只眼睛是左眼和哪只眼睛是右眼，但是仅仅一只眼睛被发现的情况下，需要另一种方法来确定该眼睛是哪只眼睛。现在将描述这样一种方法，并且图6的流程图也显示了其中的不同步骤。具有影响的第一因素是用户眼睛的运动速度。存在眼睛能够以其移动的速度的上限。该上限导致了，如果在之前的图片中的给定位置存在已知的眼睛，该眼睛在前述图片被获取后不能移动超过一段有限的距离。因此，如果之前已知的眼睛和现在发现的眼睛之间的距离太大，则现在发现的眼睛不同于之前检测到的眼睛。即使之前已知的眼睛是当时已知的眼睛，肯定存在另一只眼睛本应该位于的区域。这样，用户眼睛之间的距离可以被用于判断未知的眼睛是否能够移动到新眼睛被发现的位置。如果距离仅仅对于用户眼睛中的一只足够小，则被发现的眼睛肯定是与该眼睛相同的一只眼睛。
如果所述标准并未给出关于哪只眼睛已经被找到的信息，则存在另一个可以考虑的因素。该因素为眼睛离光电传感器的边缘多近。如果该眼睛与光电传感器的外边缘如此地接近，以致另一只眼睛应该位于该传感器的视野外，如果其位于被发现眼睛的外侧，则事实是要么这一定是真的，要么另一只眼睛位于光电传感器的注视角度内但被隐藏，该另一只眼睛被隐藏可能是由于用户闭上该眼睛的事实。在这种情况下，可以允许系统推测已经找到的眼睛是暗示另一只眼睛在光电传感器的视野之外的眼睛。在该系统已经推测出哪只眼睛已被找到之后，针从系统转发的数据设置较低的信度级别以表示这些数据并不安全。
图7中示出了在确定和跟踪人的眼睛及注视方向时执行的不同步骤的流程图。在第一步骤71中，利用在光设置位置(i)中的照明获得图片，即当仅仅元件3′被打开时获得图片。在该图片中确定瞳孔、即它们的边界线和光源的反射。在下一个方块73中，执行根据图6的过程以确定该眼睛是哪一只眼睛。在步骤75中，接着判断两只眼睛是否已在图片中被发现。如果为真，则执行方块77，其中利用在设置位置(ii)中达到照明来获取图片，即随着元件3″打开且二极管2激活来获取图片。在该图片中，仅仅将关于所发现的眼睛周围区域的信息转发到单元6。确定图片中的反射和由此的眼睛的图像。因此，在方块79中再次执行根据图6的过程以确定眼睛是哪一只。在下一步骤81中，判断是否在图片中已发现两只眼睛。如果为真，在方块83中，由眼睛观察到的点的计算在单元6中执行。接着执行方块85，其中再次利用在光设置位置(i)中的照明来获取图片，即随着仅仅元件3′打开来获取图片。针对所获取的图片，仅仅关于已发现的眼睛周围区域的信息被发送至单元6。根据有限的图片信息，以与步骤71相同的方式确定瞳孔和光源的反射。接着在方块87中根据图6的过程再次被执行以确定眼睛是哪一只。在下一个步骤89中判断是否在图片中已发现两个眼睛。如果为真，则在方块91中，由眼所观测或注视的点的计算以与方块83中相同的方式被执行。因此，在方块93中，判断获取的最后四张图片是否利用在光设置位置(ii)中的照明来获取。如果不为真，则方块85再次被执行，否则执行方块77。如果在方块75、81和89的任何一个中确定了两个眼睛都未被发现，则再次执行方块71。
虽然已经在这里显示和描述了本发明的特定实施例，但是应该认识到，对于本领域技术人员来说，易于获得多种其他的优点、修改和变化。因此，本发明在广义的方面并不限于特定的细节、代表性的设备和所示例的例子及这里的描述。因此，在不脱离由所附的权利要求及其等价物限定的总的创造性概念的精神和范围的情况下，可以进行多种修改。因此，可以理解所附的权利要求意图涵盖落在本发明的实质的精神和范围内的所有这些修改及变化。
权利要求
1.一种眼睛检测装置，其包括-一个或多个光源，用于在朝向用户头部的方向上发出光，-检测器，用于接收来自用户头部的光且重复获取其图片，以及-连接至所述检测器的评估单元，用于确定眼睛的位置和/或注视方向，其特征在于所述评估单元被设置成-在由所述检测器获取的图片中确定一个眼睛或多个眼睛的图像所处的区域，以及-在确定了该区域后，控制所述检测器将关于只对应于由所述检测器获取的图像的所述已确定的区域的连续的或随后的图片的信息转发至所述评估单元。
2.如权利要求1所述的眼睛检测装置，其特征在于所述检测器被设置为仅仅读出来自对应于所述已确定区域的检测器表面部分的信息和由此读出接着要被转发至所述评估单元的所述数据。
3.如权利要求1或2中任一权利要求所述的眼睛检测装置，其特征在于在所述评估单元不能根据所述被转发的信息执行确定的情况下，所述评估单元被设置成控制所述检测器针对下一张图片转发关于在所述之前已确定的区域周围的检测器的更大部分的信息。
4.如权利要求1至3中任一权利要求所述的眼睛检测装置，其特征在于所述评估单元被设置成-在由所述检测器获取的当前图片中判断该图片是否包含用户的两只眼睛的图像，以及-在所述评估单元判断仅仅一只眼睛的图像存在于当前图片中的情况下，假如所述眼睛的图像在当前图片中的位置与之前获取的图片中的眼睛图像的位置足够地接近，则确定该眼睛与在之前获取的图片内具有图像的眼睛是相同的。
5.如权利要求4所述的眼睛检测装置，其特征在于在所述评估单元判断仅仅一只眼睛存在于当前图片中的情况下，该眼睛图像在当前图片中的位置并不对应于或足够地接近于在一个或多个之前获取的图片中的任一眼睛图像的位置，并且该眼睛图像在当前图片中的位置是这样的，使得离当前图片的一个边缘的横向距离小于对应于用户的眼睛之间的距离的距离，但是离当前图片的另一边缘的横向距离大于对应于用户的眼睛之间的距离的距离，所述评估单元被设置为把其图像在当前图片中存在的眼睛看作是意味着用户的另一只眼睛的图像位于当前图片之外的眼睛。
6.如权利要求1-5中任一权利要求所述的眼睛检测装置，其特征在于-提供至少两个光源，并且所述两个光源相互间隔地放置，用于发出至少两个从用户眼睛的角膜反射的光束，以及-所述评估单元被设置为在所获取的图像中使用光源反射图像的位置来确定眼睛相对于检测器的位置。
7.如权利要求6所述的眼睛检测装置，其特征在于所述评估单元被设置为在所获取的图片中确定光源反射图像之间的距离，以由此确定眼睛离检测器的距离。
8.如权利要求6所述的眼睛检测装置，其特征在于以一定的图案提供至少三个光源，所述评估单元被设置来确定光源反射图像的位置且使用所有已确定的位置来确定眼睛相对于检测器的位置。
9.如权利要求6所述的眼睛检测装置，其特征在于所述光源被划分为两组，其中的第一组被设置为发出适于从利用仅仅来自该组的照明获取的图片中确定眼睛的注视方向的光线，而其中的第二组被设置为发出适于从利用仅仅来自该组的照明获取的图片中确定眼睛离检测器的距离的光线，所述控制单元被设置用于在获取每张图片时打开所述两组中的任一组或两组均打开。
10.如权利要求6所述的眼睛检测装置，其特征在于所述光源中的一个被设置为以与检测器的光轴共轴的光束形式发射光。
11.如权利要求6所述的眼睛检测装置，其特征在于所述光源被分为两组，其中的第一组被设置为发出引起亮眼效应并且由此适于从利用仅仅来自该组的照明获取的图像中确定眼睛的注视方向的光线，而其中的第二组被设置为发出适于从利用仅仅来自该组的照明获取的图片中确定眼睛离检测器的距离的光线，所述控制单元被设置用于在获取每张图片时启动所述两组中的任一组或两组均被启动。
12.一种眼睛检测装置，其包括-一个或多个光源，用于在朝向用户头部的方向上发出光，-检测器，用于接收来自用户头部的光且重复获取其图片，和-连接至所述检测器的评估单元，以确定眼睛的位置和/或注视方向，其特征在于所述评估单元被设置成-在由所述检测器获取的当前图片中确定该图片是否包含用户的两只眼睛的图像，以及-在所述评估单元判断仅仅一只眼睛的图像存在于当前图片中的情况下，假如所述眼睛的图像在当前图片中的位置与之前获取的图像中的眼睛图像的位置足够地接近，则确定该眼睛与其图像存在于之前获取的图片中的眼睛是相同的。
13.如权利要求12所述的眼睛检测装置，其特征在于在所述评估单元判断仅仅一只眼睛的图像存在于当前图片中的情况下，该眼睛图像在当前图片中的位置并不对应于或足够地接近于一个或多个之前获取的图片中任一眼睛图像的位置，并且在当前图片中该眼睛图像的位置是这样的，使得离当前图片的一个边缘的横向距离小于对应于用户的眼睛之间的距离的距离，但是离当前图片的另一边缘的横向距离大于对应于用户的眼睛之间的距离的距离，所述评估单元被设置为把其图像存在于当前图片中的眼睛看作是意味着用户的另一只眼睛位于当前图片之外的眼腈。
14.一种眼睛检测装置，其包括-至少两个光源，用于在朝向用户头部的方向上发出光，-检测器，用于接收来自用户头部的光且重复获取其图片，以及-连接至检测器的评估单元，其特征在于-相互间隔地放置至少两个光源，用于发出从用户的眼睛反射的至少两个光束，以及-所述评估单元被设置为在所获取的图像中使用光源反射图像的位置来确定眼睛相对于检测器的位置。
15.如权利要求14所述的眼睛检测装置，其特征在于所述评估单元被设置为在所获取的图像中确定光源反射图像之间的距离，以由此确定眼睛离检测器的距离。
16.如权利要求14所述的眼睛检测装置，其特征在于以一定的图案提供至少三个光源，所述评估单元被设置来确定光源反射图像的位置且使用所有已确定的位置来确定眼睛相对于检测器的位置。
17.如权利要求14所述的眼睛检测装置，其特征在于所述光源被划分为两组，其中的第一组被设置为发出适于从利用仅仅来自该组的照明获取的图片中确定眼睛的注视方向的光线，而其中的第二组被设置为发出适于从利用仅仅来自该组的照明获取的图片中确定眼睛离检测器的距离的光线，所述控制单元被设置用于在获取每张图片时启动所述两组中的任一组或两组均被启动。
18.如权利要求14所述的眼睛检测装置，其特征在于至少三个光源，其中的至少两个光源被放置在监视器或显示器的边缘、尤其是上或下边缘，且其中一个被放置在监视器或显示器的对边，所述评估单元被设置为确定光源反射图像的位置且使用该已确定的位置来确定眼睛相对于检测器的位置。
19.如权利要求14所述的眼睛检测装置，其特征在于所述光源中的一个被设置为以与检测器的光轴共轴的光束形式发射光。
20.如权利要求14所述的眼睛检测装置，其特征在于所述光源被分为两组，其中的第一组被设置为发出引起亮眼效应并且由此适于从利用仅仅来自该组的照明获取的图片中确定眼睛的注视方向的光线，而其中的第二组被设置为发出适于从利用仅仅来自该组的照明获取的图像中确定眼睛离检测器的距离的光线，所述控制单元被设置用于在获取每张图片时启动所述两组中的任一组或两组均被启动。
全文摘要
当检测眼睛的位置和注视方向时，使用放置在显示器(1)周围的光电传感器(1)和光源(2，3)以及计算和控制单元(6)。该光源中的一个被放置在该传感器周围且包括内和外元件(3′，3″)。当仅仅内元件被照亮时，得到所获取的图像中的强烈的亮眼效应，这导致了瞳孔的简单检测，且由此导致了注视方向的安全确定。当仅仅外元件和外光源(2)被照亮时，确定眼睛离光电传感器的距离。在已经可能在图像中确定瞳孔之后，在随后获取的图像中，仅仅评估眼睛的图像所处的、瞳孔周围的那些区域。哪只眼为左眼及哪只眼为右眼可以通过跟踪眼睛图像并且在连续获取的图片中评估其位置来确定。
文档编号A61B3/14GK1725976SQ200380103696
公开日2006年1月25日 申请日期2003年11月21日 优先权日2002年11月21日
发明者J·埃尔韦舍, M·斯科格, G·埃尔弗斯 申请人:托比伊科技公司