用于同轴眼睛凝视跟踪的系统和方法
【专利说明】
[0001 ]本申请要求保护2013年3月18日提交的美国临时申请No. 61/802881的优先权，其 内容通过引用并入于此。
技术领域
[0002] 下面内容设及用于同轴(on-axiS)眼睛凝视(gaze)跟踪的系统和方法。
【背景技术】
[0003] 用于人与机器之间的交互的常见技术包括手动用户接口装置，如键盘、按钮、操纵 杆W及点击装置(例如，鼠标器、针笔等）。眼睛凝视跟踪系统方面的近期发展可W确定单人 眼睛的视线(L0S)矢量。该L0S信息可W被用作用于人机交互的控制工具。
[0004] 针对用户至空间（例如，画面）中一位置，已知有两种一般类型的凝视估计过程。 良P，函数映射和3D模型。在函数映射中，获取画面点和特征矢量对(通常经由校准过程），并 且每一对都包含当用户凝视画面上的所设置点时，从该用户获取的特征矢量。接着，将运两 个数据集用于近似从特征矢量至画面位置的凝视映射函数。
[0005] 在基于3D模型的方法中，结合选定的眼睛模型使用所提取眼睛特征，来估计眼睛 的光学轴。该轴确定眼睛在空间中的角状位置，并且可W结合用户视轴的已知发散性来使 用，W估计用户在看空间中的什么地方。
[0006] 对于将眼睛凝视跟踪信息用作控制工具来说，有许多缺点。例如，运种缺点可W包 括:眼睛的视觉系统与大脑中的所得图像之间的直觉链接;相对于移动手动交互装置的眼 睛移动速度（即，用户通常在移动手动装置之前看着该手动装置的希望目的地）；W及眼睛 凝视跟踪技术可W被严重伤残人±使用的可能性(仅举几个例子）。
[0007] 用于眼睛凝视跟踪系统的许多其它应用例如可W包括:深入眼睛移动与感知和/ 或认知过程之间的连接的屯、理和生理研究；驾驶员意识分析;深入广告和网站布局的有效 性的研究；W及凝视偶然显示(仅举几个例子）。
[000引典型地讲，已知许多现有凝视跟踪技术采用操作如下的系统，其中，分析所提供的 图像数据W寻找眼睛，对所找到的眼睛进行特定特征提取，W及使用该特征来估计画面上 的凝视点。然而，运些系统通常采用多个照明源和一个或更多个成像系统，W便确定用户的 P0G。运些系统趋于包含同轴和离轴照明源两者，利用图像差分方法来检测和跟踪场景中的 眼睛。根据运个情况，来自照明源的瞳孔中屯、和多角膜反射(还已知为化rkinje图像)被提 取为眼睛特征，并且用于确定画面上用户的P0G。
【发明内容】
[0009] 在一个方面，提供了一种用于执行眼睛凝视跟踪的方法，该方法包括W下步骤:针 对单个同轴成像装置最优化场景的照明；在最优化的照明下，利用所述单个同轴成像装置 获取图像;W及处理所获取的图像，W执行凝视估计。
[0010] 在其它方面，提供了被配置成执行所述方法的计算机可读介质和系统。
【附图说明】
[0011] 下面，参照其中附图，仅通过示例的方式对实施方式进行描述：
[0012] 图1是其中将凝视跟踪系统并入用于跟踪用户的凝视的电子装置中的环境的示意 图；
[0013] 图2例示了同轴配备电子装置的示例；
[0014] 图3例示了同轴和离轴配备电子装置的示例；
[0015] 图4是针对凝视跟踪系统的配置的示例；
[0016] 图5图像中的眼睛的示意性例示图；
[0017] 图6是例示针对凝视跟踪系统的配置的示例的框图；
[001引图7A是例示动态照明过程的应用的状态图；
[0019] 图7B是例示动态照明与场景中的多个用户的应用的状态图；
[0020] 图8是例示用于寻找第二瞳孔的过程的示意图；
[0021 ]图9是例示用于理想化瞳孔的过程的示意图；
[0022] 图10是例示用于理想化瞳孔的另一过程的示意图；
[0023] 图11是例示可W在动态照明过程中执行的示例计算机可执行操作的流程图；
[0024] 图12是例示用于同轴眼睛候选检测的处理的示例的流程图；
[0025] 图13例示了利用理想化照明参数在同轴眼睛候选检测处理内应用的同轴阔值化 的效果；
[0026] 图14例示了用于例示同轴眼睛候选检测的处理的另一示例的流程图；
[0027] 图15例示了同轴图像的示例；
[0028] 图16例示了向图15的同轴图像应用图像梯度量值；
[0029] 图17例示了向图15的同轴图像应用阔值化；
[0030] 图18是例示可W在眼睛候选过滤过程中执行的示例计算机可执行操作的流程图；
[0031] 图19例示了通过凝视跟踪系统利用瞳孔-闪光(glint)矢量和被用于标准化所例 示矢量的距离度量来照明的眼睛；
[0032] 图20例示了通过凝视跟踪系统利用瞳孔-闪光矢量和被用于标准化所例示矢量的 异色边缘(limbus)距离度量来照明的眼睛；
[0033] 图21是例示可W在凝视确定过程中执行的示例计算机可执行操作的流程图；W及
[0034] 图22是例示可W在示例实现中通过凝视跟踪系统执行的示例计算机可执行操作 的流程图。
【具体实施方式】
[0035] 应当清楚，为简化和清楚地例示起见，在认为合适的情况下，附图标记可W在图之 间重复，W指示对应或类似部件。另外，阐述了许多具体细节，W便提供对在此描述的示例 的详尽理解。然而，本领域普通技术人员应当明白，在此描述的示例可W在不需要运些具体 细节的情况下来实践。在其它情况下，公知方法、过程W及组件未加W详细描述，W使不混 淆在此描述的示例。而且，该描述不被视为限制如在此描述的示例的范围。
[0036] 应当清楚，在此使用的示例和对应图表仅出于例示性目的。在不脱离在此表达的 原理的情况下，可w使用不同的配置和术语。例如，在不脱离运些原理的情况下，可w利用 不同连接来添加、删除、修改或者排列组件和模块。
[0037] 已经发现，大部分现存的基于红外线的眼睛跟踪系统需要同轴和离轴照明源两 者，W便可靠跟踪用户的瞳孔。下文中说明的方法和算法描述了运样的系统，其用于具有包 括同轴照明源的单个同轴传感器的眼睛凝视跟踪器。已经认识到，用于提供仅具有单个传 感器的眼睛跟踪系统的能力考虑到创建运样一种眼睛跟踪系统模块，即，其尺寸可W制作 成容纳在宽泛种类的电子装置内，特别是手持式或个人电子装置。例如，在此描述的系统可 W被设置成，W和标准膝上型电脑网络摄像机(webcam)或便携式装置摄像机类似的形状因 子来容纳，其可W在膝上型电脑或多媒体装置中W常规方式接口化，作为直觉附加人机接 口。可W清楚，虽然在此描述的示例仅按同轴配置来例示，但所述原理可W等同地应用至同 轴和离轴眼睛凝视跟踪器，W改进它们的可靠性，并且降低误报(false positive)检出率。
[0038] 提供了运样的一种系统，其被配置用于感测和跟踪眼睛凝视特征，并且使用由其 获取的信息来估计凝视点。运种系统在利用单个同轴传感器来获取眼睛凝视数据的配置中 特别有利。
[0039] 下面提供了一种系统和要通过运种系统来实现的计算机可执行指令和操作，其用 于执行如下面更详细讨论的动态照明主体眼睛、同轴候选检测技术、同轴候选过滤处理，W 及同轴凝视确定技术。如下更详细描述的，该同轴眼睛候选过滤和同轴眼睛候选检测技术 在此可W被通称为眼睛检测和跟踪。同轴凝视确定技术在此还可W被称为使用来自图像的 提取特征W估计画面上的凝视的方法。该动态照明可W被视为修改所使用的装置的参数来 执行眼睛跟踪，W实现用于凝视跟踪的可接受图像质量的并行处理或技术。可W清楚，在此 描述的技术可W并入到任何合适的眼睛凝视跟踪系统。特别地讲，该动态照明和眼睛候选 过滤算法可W独立地模块化，并且在任何眼睛凝视跟踪系统中使用W提高可靠性，并且潜 在地增加运样的用户范围，在该用户范围下凝视跟踪将可行和/或具有功能性。
[0040] 在此描述的系统和方法提供了各种优点。例如，在此描述的系统和方法可W被采 用W缩减尺寸、增加模块化W及增加运样的用户百分比，在该用户百分比下凝视跟踪可行。
[0041] 已经发现，通过允许可靠眼睛跟踪装置在具有单个共轴照明源的单个摄像机上起 作用，压缩了硬件装置的尺寸化约束到针对摄像机本身的尺寸化约束。运是因为与离轴照 明的尺寸化需求相比，包含共轴照明源通常最小，其在物理上受针对照明源在功能方面不 共轴的需求距离所约束。
[0042] 而且，已经发现，模块化方面的显著增加（即，用于模块化的能力）可W因深度计算 方法独立于所使用的特定步骤而实现。例如，一旦在设计中选择了摄像机模块，在此描述的 系统可W按和与标准网络摄像机连接类似的方式来连接。当与离轴配置相比时，运特别有 利，该离轴配置需要:要在照明源与摄像机模块之间使用的更复杂的设置和连接(例如，用 于同步化等）。例如，因为距离度量经由Ξ角测量来实现，所W离轴照明源的距离通常限制 了眼睛凝视跟踪器可W起作用的范围。可W注意到，对于利用两个摄像机的眼睛跟踪系统 来说，也发现了该问题，因为两个摄像机系统使用摄像机之间的距离，来Ξ角测量用户距该 系统的距离。
[0043] 下面的技术可W有利地使能够增加眼睛参数方面的可变性的量，并由此，可应用 于更大的用户基础。在此描述的动态照明技术使得眼睛凝视系统能够扫描更完整范围的可 准许照明设置，w便寻找用户，而已经发现w前的系统具有固定范围，由此限制了潜在的用 户基础。还发现，在此描述的系统可W适于通过应用眼睛候选过滤算法准确地除去瞳孔状 对象，来处理其它用户情况，如用户正佩戴眼镜的情况。
[0044]下面，转至附图，图1例示了其中将同轴凝视跟踪系统10并入电子装置12中的凝视 跟踪环境8(即，其中执行凝视跟踪的任何环境）。在图1所示示例中，该凝视跟踪系统10跟踪 用户18的一只或多只眼睛16的凝视14,该凝视14指向电子装置12的至少一个组件(例如，显 示屏）。该凝视跟踪系统10包括具有视野(F0V)20的一个或更多个成像组件（例如，下面所 述），该视野考虑到对用户18的眼睛16进行成像。
[0045]图2例示了图2所示的同轴配备电子装置12的外部前视图。当与图3所示的同轴和 离轴配备电子装置12'相比时，缩减复杂性是明显的。如图2所示，同轴凝视跟踪系统10包括 成像装置22,其提供照明和用于获取F0V20内的图像的至少一个透镜部件(未示出）。图3所 示同轴和离轴配备电子装置12'可W包括在此描述的同轴