眼凝视成像的制作方法
【专利说明】眼凝视成像发明领域
[0001]本发明涉及用于照明、成像和检测眼睛，例如眼睑的相对位置、眼睛的位置和凝视方向的装置。
[0002]发明背景
[0003]对于在例如交通工具中的驾驶员分析和个人计算机的用户控制的技术领域中的若干应用，需要获取关于用户眼睛凝视方向、眼睛和眼睑的移动与用户位置的信息。在成像和分析用户眼睛的可能方法中，存在基于检测角膜上的反射的一群方法。在成像系统和瞳孔中反射的光源之间相互关系的知识实现了对眼凝视方向的计算。仅使用一个相机有时难以正确确定眼凝视。这可通过使用两个或更多个光源、可移动光源或多于一个以上的相机来解决。与单个相机装置相比，使用两个相机可计算对象眼睛的更准确的位置和方向。
[0004]当光源接近成像系统的光轴时，在眼中将存在显得比周围更明亮的内反射，这称为亮眼效应。如果光源从光轴充分移除，则光源将照明眼睛和周围区域而不引起内反射，这称为暗眼效应。亮眼状况下的瞳孔可以与其周围对比更容易检测，但可存在在暗眼效应状况下在瞳孔上检测来自光源的反射的优点。
[0005]为获取满意的暗瞳图像，光源(闪光灯)应与相机分离，距用户视角10度的量级。在其中使用两个相机的情况(立体成像)下，两个相机也应分离约7-10度。例如，在其中人坐在距眼跟踪器约60厘米处的使用情况下，完全成像装置将具有在约30cm的宽度上布置的两个相机和两个光源。此装置变得相对庞大且难以在空间受约束的环境(诸如汽车)中实施。
[0006]当前的眼凝视跟踪系统经常适于研究和发展或原型使用。因此希望发展可以更适合于大规模市场(例如在汽车应用或个人计算机中)使用的装置。同样重要的是维持高功能检测速率和准确性使得不损失用户接受度。
[0007]发明概述
[0008]本发明的一个目标是解决现有技术的缺陷，并提供一种尽可能紧凑的眼凝视跟踪装置。本发明的另一目标是维持充分的眼凝视跟踪准确性和鲁棒性。
[0009]根据本发明的第一方面，利用根据权利要求1所述的装置和根据权利要求9所述的方法实现了这些和其他目标。
[0010]本发明基于以下认识:可通过在时间上分离的第一帧和第二帧获取满意的眼凝视图像，只要时间上的分离相比对象的正常运动速率更短。通过在时间上分离相机的激活，第一光源和第二光源可交替使用，允许在相机和用来照明对象的光源之间的充足距离。
[0011]此外，使每个相机与布置在另一个相机处的光源一起被激活是有利的，因为这允许暗眼效应状况而不将装置从相机的位置扩展。因此，装置保持尽可能紧凑。
[0012]为将由在组合的眼凝视图像的每个帧之间的对象移动引起的对眼凝视跟踪的有害效应的风险最小化，该帧优选地在不获得亮眼效应状况的最小间隔拍摄。
[0013]表述“光源”这里理解为任何可控光源。例如，其可使用任何种类的发光二极管、有机发光二极管、闪光灯、灯泡等。每个光源可以有利地发射在不可由人眼检测到的波长的光，使得该装置不打扰对象，在此情况下每个相机优选地也适于仅捕捉该波长的光或包括该波长的有限波长范围。此外，应理解在本发明的情境中，每个光源可包括经布置以单个激活信号同时被激活的多个光源。
[0014]根据本发明，没有相对于光轴布置在第一位置和第二位置之外的另外的光源。装置在垂直于中心光轴的方向上的延伸，由此通过第一位置和第二位置来确定。
[0015]根据本发明的装置可有利地用来检测用户凝视的方向。因此，装置正在记录的“对象”通常是头部的至少一部分，有利地是脸部和眼睛中的至少一个。对象可称为“用户”，即使其可以是第二人在对该对象利用装置，或即使该装置自动捕捉组合的眼凝视图像以向外部系统提供，或提供表示对象的眼凝视的信号。
[0016]装置可以有利地基于所考虑的应用而进行设计，使得位置被布置在彼此间的距离足够提供具有暗眼效应状况的对象的图像帧处，同时维持装置紧凑和尽可能高的跟踪准确性。另外，可选择距离以最小化周围脸部特征遮蔽对象的一个或两个眼睛的视野的风险。
[0017]表述“位置”在这里广泛用来表示布置在此位置的相机和光源过于靠近以至于不能提供满意的暗眼图像。在相同位置的相机和光源之间的距离因此比在位置之间的距离小得多，通常小至少一个数量级。
[0018]根据本发明的一个实施例，在第一位置和第二位置之间的分离使得分别在对象和每个相机之间的两条线之间形成的角度在4-9度的范围内。在对象和装置之间的距离普遍在40-120cm的范围内。在通常的应用中，在对象(例如用户脸部)距装置大约臂长的情况下，当相机用来获取帧时，在该相机和用来照明该对象的光源之间的分离在4-9cm的范围内。
[0019]在第一时间点和第二时间点之间的时间优选地尽可能短，并且理想地不长于一个相机获取帧所需的时间。作为例子，该所需时间可以是100-500 μ so
[0020]在一个不例性实施例中，第一相机具有第一光轴并且第二相机具有第二光轴，且第一光轴和第二光轴在由中心光轴与在第一位置和第二位置之间的直线张成的平面内延伸。第一光轴和第二光轴可以是不平行的，并通常稍微会聚。
[0021]光源也可优选地被定向以会聚到光轴上。
[0022]根据一个实施例，控制单元经被布置成，通过使用第一相机和第二相机周期性顺序地捕捉帧来获取多个组合的眼凝视图像。该装置将因此获取对象的视频流。
[0023]相机将通常具有可测量的激活延迟，即在激活脉冲和实际发动帧获取的时刻之间的延迟。控制单元优选地适于在计及此延迟的方式下调节对相机的激活，由此将第一时间点和第二时间点之间的时间距离最小化。
[0024]进一步地，光源可具有在光源激活和对象照明之间的可测量的照明延迟，以及在光源去激活和对象去除照明之间的可测量熄灭延迟。控制单元优选地适于在计及这些延迟的方式下调节相机的激活，由此将第一时间点和第二时间点之间的时间距离最小化。
[0025]用根据权利要求1所述的装置和根据权利要求9所述的方法组合第一帧和第二帧的原理可外推到包括进一步的相机和/或光源的装置。因此使用第三相机和从第三相机分离使得其不导致亮眼效应状况的光源拍摄第三帧。第三帧在第三时间点捕捉，第三时间点优选地不比第二时间点更晚第一时间点和第二时间点之间的时间。
[0026]控制单元被有利地适配成，使得每个组合的眼凝视图像可以以预定的图像速率提供。非激活暂停由控制单元引入，使得在每个组合的眼凝视图像的第一帧之间的时间对应于预定图像速率。
[0027]预定图像速率通常在25-lOOOHz的范围内。
[0028]在本发明的情境下，“非激活暂停”是指控制单元不发送任何激活信号至任何相机或光源。
[0029]附图简述
[0030]将参考示出本发明的当前优选实施例的附图对本发明进行更详细的描述。
[0031]图1是根据一个示例实施例的装置和对象的透视图。
[0032]图2是根据一个示例实施例的装置的剖面图。
[0033]图3是示出根据一个示例实施例的装置的控制的流程图。
[0034]图4a是示出根据一个示例实施例的装置的控制的时序图。
[0035]图4b是示出根据另一个示例实施例的装置的控制的时序图。
[0036]优选实施方式的详细描述
[0037]图1示出根据本发明的实施例的用于获取对象7的组合的眼凝视图像的装置1。该装置尤其适于在暗眼效应状况下检测和分析眼凝视。根据本发明的装置可以在许多类型的应用中实施，诸如集成在车辆仪表板中或集成在个人计算机的屏幕。然而，在所示的情况下，在无应用情境的情况下示出装置1指向对象7。装置1包括控制单元2、第一相机3、第二相机4、第一光源6和第二光源5。第一相机3和第二相机4优选地是电子图像传感器相机，快照型或输送连续图像流中的任一种。图像可以是数字格式的，例如位图格式，或模拟格式的，可然后例如使用抓帧器电路(未示出)将模拟格式转变成数字格式。在所示的例子中，第一光源6和第二光源5中的每个包括四个发光二极管(LED)。由LED发射的电磁波可具有不同类型，包括IR辐射。在一些情况下，优选该波在可见光范围之外的相对窄的波长范围内，而且每个相机具有对应于该范围的带通滤波器(未示出)。因为许多光源(计算机屏幕、荧光灯等)实际上仅发出可见光范围内的波，所以源自周围光的影响由此进一步减轻。如果从源自波发射器的波段中的总辐射能至少是相同波段中总太阳辐射的显著一部分，则源自其他光源(例如太阳)的影响可减轻。在具有对象照明的传统布置中，使用非常大的光源以便实现在对象上均匀分布的高亮度有效辐射。然而，在根据本发明的装置中，每个光源优选地具有尽可能小的孔径，因为这从照明度与另一光源区分。在其中LED用于以IR辐射照明对象的传统布置中，通常多于20个LED可布置在矩形图案中。在一个实施例中，每个光源中较少的LED可以是足够的。LED的数目的范围可以从一个到19个。为实现满意的结果，重要的是由源自有效光源的照明引起的反射可通过图像捕捉装置区分。除上面讨论的优选地小的光源之外，组合的眼凝视图像的质量取决于相机捕捉高亮度“点”辐射源的能力。
[0038]返回图1，所示的例子中的装置1是具有在水平方向上主要延伸的矩形盒。装置1布置在距对象7