基于用户的眼睛运动和位置的光学感测和跟踪的用户界面的制作方法

基于用户的眼睛运动和位置的光学感测和跟踪的用户界面的制作方法
【专利摘要】公开了用于眼睛运动的光学感测和跟踪的方法、系统和装置。在一方面，用于跟踪眼睛运动的方法包括：使用与装置的光电检测器模块基本上等间隔地隔开的多个光源朝着用户的眼睛发射光；在光电检测器模块处接收由多个光源中的每个发射的、从眼睛回射的光的至少部分回射；以及基于与多个光源对应的至少部分回射的差分值，确定眼睛的位置参数。
【专利说明】
基于用户的眼睛运动和位置的光学感测和跟踪的用户界面[0001]相关申请的交叉引用[0002]本专利文件要求于2013年9月11日提交的且题目为“USER INTERFACE BASED 0N OPTICAL SENSING AND TRACKING OF USER’S EYE MOVEMENT AND P0SIT10N(基于用户的眼 睛运动和位置的光学感测和跟踪的用户界面)”的第61 /876，726号美国临时申请的优先权 权益，该申请的公开通过引用被包含，作为本文件的说明书的一部分。
技术领域
[0003]本专利文件总体上涉及眼睛跟踪和眼睛反应感测技术。【背景技术】
[0004]电子设备依赖于各种用户运动作为输入，以执行不同的功能以及在各种模式或状态下操作。例如，诸如手的运动的用户手势可被检测和转换成对菜单项或游戏功能的用户控制。与手势类似，眼睛运动可被检测以执行滚动操作、保持屏幕打开或者操作抬头显示器。
[0005]眼睛跟踪是测量人的注视点(即人的眼睛在观看的位置)，或者跟随注视点的运动的技术。眼睛跟踪装置和系统可检测和测量眼睛位置和眼睛运动。眼睛跟踪技术已经在临床上使用以帮助残疾人、用于对视觉系统进行研究、用于医学和认知研究、以及用于心理学、用于认知语言学和用于产品设计。
【发明内容】

[0006]描述了以下技术、系统和装置，该技术、系统和装置用于来自眼睛的、包括回射光的反射光的光学感测，以及使用与装置交互的用户界面对眼睛运动的跟踪。在一些实现中， 例如，光学感测和跟踪功能集成在装置中。在本专利文件中描述的主题可以以提供以下特征中的一个或多个的特定方式实现。例如，公开的眼睛跟踪技术可与移动装置(例如，智能手机和平板电脑)和计算装置(例如，诸如计算机监控器)集成，以跟踪操作者的眼睛位置、 运动和眨眼状态。公开的技术可使用来自基于凝视和眼跳运动的眼睛的光的回射，以用于光学感测和眼睛跟踪。
[0007]在一方面，公开了用于跟踪眼睛运动的技术。公开的技术可通过使用与装置的光电检测器模块基本上等间隔地隔开的多个光源朝着用户的眼睛发射光来执行。光源由偏振器偏振。可在光电检测器模块处接收从眼睛回射的光的至少部分回射。技术可用于过滤接收的回射光，以排除背景光和共偏振光。技术可用于基于与多个光源对应的至少部分回射的差分值，确定眼睛的位置参数。
[0008]在一些实现中，技术可用于使用带通滤波器过滤接收的回射光以排除背景光以及使用偏振器过滤共偏振光。
[0009]在一些实现中，多个光源可发射不同颜色的光。[〇〇1〇] 在一些实现中，光的颜色可以是红色、绿色、蓝色或黄色。
[0011]在一些实现中，多个光源可发射不同波长的光。
[0012]在一些实现中，多个光源可发射不同调制频率的光。
[0013]在一些实现中，多个光源和光电检测器可布置在装置的边缘上。
[0014]在一些实现中，发射的光可包括红外光。
[0015]在一些实现中，发射的光可包括处于与光电检测器模块的帧速率相关的频率的闪光，以进一步排除背景光。
[0016]在一些实现中，技术可使用在光电检测器模块处接收的至少部分回射，以检测眼睛的眨眼运动。[〇〇17]在一些实现中，技术可用于处理检测的眨眼运动，作为待由装置接收的数据。
[0018]在一些实现中，技术可通过使用检测的眨眼运动数据作为用于装置的至少一个功能的输入数据来执行。
[0019]在一些实现中，装置可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。
[0020]在一些实现中，光电检测器模块可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机的摄像头。
[0021]在一些实现中，眼睛的位置参数可包括眼睛在观看的方向或者眼睛在空间中的位置。
[0022]在一些实现中，可通过多个光源同时发射光。
[0023]在一些实现中，技术可包括使用多个光源同时发射光以及在光电检测器模块处接收回射。
[0024]在一些实现中，技术可包括使用多个光源顺序地发射光以及在光电检测器模块处接收回射。例如，技术可包括顺序地执行以下操作:从多个光源中的第一光源发射第一光； 使用光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一图像;从多个光源中的第二光源发射第二光；使用光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二图像;从多个光源中的第三光源发射第三光；以及使用光电检测器模块捕捉第三视频帧中由眼睛回射的、第三发射光的回射的第三图像。[〇〇25]在一些实现中，技术可包括使第一视频帧、第二视频帧以及第三视频帧编组为数据集。
[0026]在另一方面，公开了具有眼睛跟踪特征的装置。眼睛跟踪装置包括用户操作的装置，用户操作的装置包括装置外体以及位于装置外体上且可操作以发射光的多个光源。装置可包括在外体上与多个光源基本上等间隔地隔开的光电检测器模块。光电检测器模块可接收包括基于从多个光源发射的光从用户操作的装置的用户的眼睛回射的光的光，以形成图像。装置还包括与多个光源和光电检测器模块通信的处理器。处理器可处理来自光电检测器模块的信息，以获得明显位于与从多个光源发射的光对应的形成图像中的、眼睛的至少部分回射的差分值，以及基于获得的差分值确定眼睛的位置。[〇〇27]在一些实现中，装置还可包括耦合至处理器以存储确定的眼睛位置的存储单元。
[0028]在一些实现中，用户操作的装置可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。
[0029]在一些实现中，光电检测器模块可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机的摄像头。
[0030]在一些实现中，多个光源可发射不同颜色、不同波长或不同调制频率的彩色光。 [0031 ] 在一些实现中，彩色光包括红光、绿光、蓝光或黄光。
[0032]在一些实现中，多个光源可发射红外光。
[0033]在一些实现中，多个光源可发射处于与光电检测器模块的帧速率相关的频率的闪光。[〇〇34] 在一些实现中，多个光源可包括LED。
[0035]在另一方面，公开了具有眼睛跟踪特征的便携式装置。便携式装置可包括显示屏和靠近显示屏的表面。便携式装置可包括位于表面上且可操作以发射光的多个光源。便携式装置可包括光电检测器模块，光电检测器模块位于表面上以与多个光源基本上等间隔地隔开，且可操作以接收包括基于从多个光源发射的光从用户操作的装置的用户的眼睛回射的光的光并形成图像。便携式装置可包括与多个光源和光电检测器模块通信的处理器。处理器可处理来自光电检测器模块的信息，以获得明显位于与从多个光源发射的光对应的形成图像中的、眼睛的至少部分回射的差分值，以及基于获得的差分值确定眼睛的位置或运动。[〇〇36] 在一些实现中，处理器可使用确定的眼睛位置或运动，以触发使得指示器显示在显示屏上的操作。[〇〇37] 在一些实现中，处理器可使用不同的确定的眼睛位置或运动，以分别触发不同的操作。
[0038]在另一方面，公开了用于跟踪眼睛的运动的技术。该技术可通过使用设置在用户装置中的光源以朝着用户的眼睛发射以特定频率调制的光来执行。发射的光由偏振器偏振。技术可通过使用设置在用户装置中的光电检测器模块以检测来自用户的至少一只眼睛的回射光来执行。检测回射光可包括以下操作:接收从用户的左眼和右眼中的一只或两只回射的、发射的光的至少部分回射;过滤接收的回射光，以排除背景光；以及解调过滤的光， 以使处于调制频率的回射光与未处于调制频率的光分离。技术包括基于解调的回射的差分值，确定眼睛的位置参数。[〇〇39] 在一些实现中，处于例如700-850nm波长的光源可引起来自眼睛的强的回射。
[0040]在一些实现中，多个光源可用于发射处于不同波长或不同调制频率或不同相位的多个光束。[〇〇411在一些实现中，由光源发射的多个光束可包括以包括700-850nm的波长发射的光束，以具有来自眼睛的强的回射，以及以包括920-1020nm的波长发射的光束，以具有来自眼睛的弱的回射或不具有来自眼睛的回射。
[0042]在一些实现中，由光源发射的多个光束可包括以相位零调制的光束以及以偏移了大约JT的相位调制的光束。
[0043]在一些实现中，多个光源和光电检测器模块可布置在用户装置的边缘上。
[0044]在一些实现中，多个光源和光电检测器模块可设置在用户装置上，彼此分开与包括2至8mm的瞳孔直径尺寸对应的距离。
[0045]在一些实现中，发射的光可包括可见光和红外光中的一种或两者。
[0046]在一些实现中，发射的光可包括处于与光电检测器模块的帧速率相关的频率的闪光，以进一步排除背景光。
[0047]在一些实现中，技术可包括使用在光电检测器模块处接收的至少部分回射，以检测眼睛的眨眼运动。[〇〇48]在一些实现中，技术可包括处理检测的眨眼运动，作为由用户装置使用的数据。
[0049]在一些实现中，技术可包括使用检测的眨眼运动数据作为用于装置的至少一个功能的输入数据。
[0050]在一些实现中，用户装置可包括智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。
[0051]在一些实现中，眼睛的位置参数可包括眼睛在观看的方向或者眼睛在空间中的位置。
[0052]在一些实现中，可通过多个光源同时发射发射的调制光。
[0053]在一些实现中，技术可包括使用多个光源同时发射光以及在光电检测器模块处接收回射。
[0054]在一些实现中，技术可包括顺序地使用多个光源以发射处于不同频率的调制光以及在光电检测器模块处接收至少部分回射。例如，技术可包括顺序地执行以下操作:从第一组光源发射处于包括700-850nm的波长的第一光，以由眼睛引起强的回射;使用光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一图像;从第二组光源发射处于包括920-1020nm的波长的第二光，以由眼睛引起弱的回射或不由眼睛引起回射;使用光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二图像;计算视频帧之间的差分；以及基于差分，从背景散射中选择眼睛回射信号。
[0055]在一些实现中，技术可包括使第一视频帧和第二视频帧编组为数据集。
[0056]在一些实现中，当以不同的频率调制两组光源时，可以基本上同时捕捉第一视频帧和第二视频帧。
[0057]在一些实现中，可通过光源同时发射光。
[0058]在一些实现中，技术可包括使用光源同时发射光以及在光电检测器模块处接收回射。
[0059]在一些实现中，技术可包括使用光源顺序地发射光以及在光电检测器模块处接收回射。例如，技术可包括使用光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一图像。技术可包括使用光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二图像。技术可包括在光电检测器模块的图像像素之间对第一图像以及第二图像进行比较，以确定眼睛的位置。
[0060]在一些实现中，技术可包括使第一视频帧和第二视频帧编组为数据集。
[0061]在一些实现中，相邻的帧可进行比较以确定差分图像，从而确定眼睛的位置。
[0062]在另一方面，公开了用于跟踪眼睛的运动的技术。该技术包括从围绕光电检测器模块布置的多个光源朝着用户的眼睛发射光。多个光源布置成使得多个光源中的给定光源能够与多个光源中的其他光源区分开。对应于多个光源的、从眼睛回射的光的组合回射可在光电检测器模块处被接收。技术包括使用光电检测器模块区分组合回射，以确定对应于多个光源中的每个的单独的回射分量。技术包括基于与多个光源对应的单独的回射的差分值，确定眼睛的运动的位置参数。
[0063]在一些实现中，多个光源可包括至少三个光源。
[0064]在一些实现中，多个光源可围绕光电检测器模块布置成具有位置偏移，以实现沿着x方向和y方向两者的单独的回射的差分值。
[0065]在一些实现中，多个光源可根据发射颜色彼此区分开。例如，多个光源中的每个可发射处于与多个光源中的其他光源的波长不同的波长的光。
[0066]在一些实现中，多个光源中的每个可发射强度调制光，以及多个光源可发射处于不同调制频率的强度调制光。
[0067]在一些实现中，多个光源可根据调制频率彼此区分开。例如，多个光源可发射处于相同波长但不同调制频率的光。
[0068]在一些实现中，多个光源中的给定光源可发射具有波长和调制频率的组合的光， 该波长和调制频率的组合不同于多个光源中的其他光源的波长和调制频率的组合。
[0069]在一些实现中，光电检测器模块可同时接收对应于多个光源的、从眼睛回射的光的组合回射。【附图说明】
[0070]图1示出了人眼的解剖图。
[0071]图2示出了包括小窝可视区域、近窝区可视区域和外围可视区域的视场的图。[〇〇72]图3A示出了眼睛的图像，说明了当眼睛由光源照亮时三个反射的示例。[〇〇73]图3B示出了眼睛的图像，说明了当眼睛由光源照亮时三个反射的示例。[〇〇74]图4A示出了流程图，说明了用于跟踪眼睛的运动的公开的技术的示例性处理。 [〇〇75]图4B示出了实现示例性眼睛跟踪技术的用户装置的示例性界面的说明性图。
[0076]图5A示出了在用户装置中实现的、公开的技术的示例性眼睛跟踪单元的框图。 [〇〇77]图5B示出了在图4A中描述的、使用眼睛回射和多个光源以及示例性移动装置的一个摄像头的示例性处理的操作的图。
[0078]图6A示出了在移动智能手机装置上实现的、公开的技术的示例性眼睛跟踪装置的图。[〇〇79]图6B示出了在计算机监控器或电视装置上实现的、公开的技术的示例性眼睛跟踪装置的图。
[0080]图7A示出了具有校准功能的、公开的技术的示例性眼睛跟踪装置的图。
[0081]图7B示出了用于通过检测眼睛运动和/或眨眼来操作用户装置以控制装置的功能的、公开的技术的示例性眼睛跟踪装置的图。
[0082]图8示出了流程图，说明了使用公开的技术的示例性跟踪单元的、使用顺序光发射及捕捉来跟踪眼睛运动的示例性处理。
[0083]图9示出了用于检测眼睛运动和/或眨眼以控制装置的功能的、公开的技术的示例性眼睛跟踪装置的图。
[0084]图10示出了公开的技术的示例性眼睛跟踪装置的图，其包括具有挡光屏障的单个传感器组并用于检测眼睛运动和/或眨眼以控制装置的功能。
[0085]图11A示出了描绘从由示例性装置的用户的眼睛回射的光检测的、位于示例性眼睛跟踪装置的示例性传感器表面上的、示例性回射图像的图。
[0086]图11B示出了描绘当用户的眼睛运动时，位于示例性传感器表面上的示例性回射图像的图。[〇〇87]图12示出了流程图，说明了跟踪眼睛的运动并使用跟踪的眼睛运动控制显示屏上的鼠标标记器的示例性处理。
[0088]图13示出了使用调制的照亮光发射器和检测模块的、公开的技术的示例性眼睛跟踪传感器装置的图。[〇〇89]图14示出了流程图，说明了检测调制的眼睛跟踪传感器信号的示例性处理。
[0090]图15示出了使用多个调制的照亮光发射器和检测模块的、公开的技术的另一示例性眼睛跟踪传感器装置的图。
[0091]图16示出了流程图，说明了检测多个调制的眼睛跟踪传感器信号的示例性处理。
[0092]图17示出了流程图，说明了同时检测多个调制的眼睛跟踪传感器信号的示例性处理。【具体实施方式】
[0093]基于视频的眼睛跟踪系统使用诸如单点方法的技术，其中单点方法包括跟踪眼球的一个可见特征，例如诸如角膜缘(巩膜和虹膜的边界)或瞳孔。例如，摄像机可观察用户的眼睛中的一只。图像处理软件分析视频图像并追踪跟踪的特征。基于校准，基于视频的眼睛跟踪系统确定用户当前在观看的位置。在如所描述的视频跟踪系统中，通过使用咬杆或头枕，可减少头部运动。在基于视频的眼睛跟踪技术的、可选的但相关的示例中，实现与在之前描述的单点方法的示例基本上相同的思想，除了跟踪眼睛的两个特征(例如角膜反射和瞳孔)之外。两个特征跟踪方法可使用红外(IR)光(人眼不可见)，以产生角膜反射并引起亮的或暗的瞳孔，这有助于系统从视频图像中识别瞳孔。[〇〇94]描述的基于视频的跟踪系统和技术使用安装在地板或头上的额外的或多个装置以执行跟踪。此外，描述的视频跟踪方法趋向于使用不能集成至像智能手机或平板电脑的移动装置中的眼睛跟踪系统或装置。另外，基于视频的眼睛跟踪方法趋向于提供极其有限的信息，即使在使用亮的瞳孔测量或暗的瞳孔测量时该信息也可被撤销，并且相关的软件可能极其复杂且不可靠。
[0095]公开了用于使用与装置交互的用户界面对眼睛运动的光学感测和跟踪的技术、系统和装置。在一些实现中，例如，光学感测和跟踪功能集成至装置中。
[0096]公开的眼睛跟踪技术可与移动装置(例如，智能手机和平板电脑)和计算装置(例如，诸如计算机监控器)集成，以跟踪操作者的眼睛位置、运动和眨眼状态。公开的技术可使用基于凝视和眼跳运动的来自眼睛的光的回射，以用于光学感测和眼睛跟踪。
[0097]在一方面，用于跟踪眼睛的运动的方法包括:使用与装置的光电检测器模块(例如，摄像头)基本上等间隔地隔开的多个(例如，三个或更多个)光源朝着用户的眼睛发射光;在光电检测器模块处接收由多个光源中的每个发射的、从眼睛回射的光的至少部分回射；以及基于与多个光源对应的至少部分回射的差分值，确定眼睛的位置参数。例如，装置可包括但不限于智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。在一些实现中，例如，在用户的头部例如相对于装置运动时，可实现方法。在方法的一些实现中，例如，多个(例如，三个)光源可发射不同颜色的彩色光，例如，其中，彩色光可包括红光、绿光、蓝光和黄光、或者它们的任何组合、不同的波长和/或不同的调制频率。在方法的一些实现中，例如，发射的光可包括红外光。此外，例如，发射的光可包括处于与光电检测器模块 (例如，摄像头)的帧速率相关的频率的闪光。在一些实现中，例如，方法还包括使用在示例性摄像头处接收的至少部分回射，检测眼睛的眨眼运动。另外，方法还可包括将检测的眨眼运动处理成数据，且在一些实现中，方法还可使用该数据作为用于装置的至少一个功能的输入数据。
[0098]现在描述公开的眼睛跟踪技术的各实施方式。[〇〇99]图1示出了人眼的解剖图。眼睛的外壁包括三个同心层。外层包括角膜以及巩膜， 其中角膜是覆盖虹膜和晶状体的透明结构，晶状体用作眼睛的聚焦系统，巩膜是形成眼睛的纤维保护性外层的不透明结构，其包含胶原蛋白和弹性纤维且还被称为“白睛”。虹膜是例如确定一个人的“眼睛颜色”的眼含色素中的薄的圆形结构，其控制瞳孔的直径和尺寸。 瞳孔是在虹膜的中央的可调节开口，其允许改变量的光经过晶状体进入眼睛。晶状体是透明的双向凸起结构，其可折射光使之聚焦在视网膜上。视网膜是位于眼睛后部的分层结构， 其具有多个神经元(感光细胞)层，所述多个神经元层通过突触互连以接收聚焦的光作为图像并将图像转换成电化学神经学信号。视网膜的感光细胞包括主要沿着视网膜的外围布置的锥体(例如，?6 %的感光细胞)和杆(例如，?94 %的感光细胞)。锥体集中于视网膜的中央区域(称为小窝)。黄斑是椭圆形的高色素的黄斑，其靠近视网膜的中央并包括小窝、近窝区和中心凹。小窝是眼睛中包含最大浓度的锥体细胞的小凹，并负责中央高分辨率视力。脉络膜是眼睛的血管丰富的区域，其提供视网膜的外层。眼睛还包括流体，例如位于角膜和虹膜之间的前部区域中的眼房水以及位于晶状体后面的后部区域中的玻璃体液。[〇1〇〇]视场通常分成三个区域:小窝区域、近窝区区域和外围可视区域。小窝区域提供最尖的视力;近窝区区域预览小窝信息；以及外围视力对闪烁的对象和突然运动作出反应。例如，外围视力包括小窝的敏锐度的大约15-50 %，且它还更少地对颜色敏感。
[0101]图2示出了包括小窝区域、近窝区区域和外围可视区域的视场的图，其具有这些区域可以看见的、示例性的视场度。在人眼中，三个视场区域是不对称的。例如，在阅读时，所谓的知觉广度(例如，有效视力的尺寸)距凝视的左边3-4个字母空间以及距右边14-15个字母空间。此外，例如，1°的可视角大致等于3-4个字母空间。
[0102]眼睛一直在运动，例如即使在睡觉期间也是如此。存在多种不同类型的眼睛运动， 其可包括追踪、震颤、旋转、漂移以及扫视。对于人来说，当观看场景而非固定不变时，眼睛四处运动，定位场景中感兴趣部分，以在精神上产生对应于场景的三维地图。例如，当扫描场景时或者在阅读页面上的词语时，眼睛作出不平稳的扫视运动并停止数次，在每次停止之间非常快地运动。扫视是眼睛的快速运动或“跳跃”，其与凝视关联。
[0103]扫视可以是两只眼睛沿着相同方向的快速的、同时的运动。扫视快速地发生，例如持续时间40-120ms，快速地运动，例如高达600o/s，以及具有轨迹，其中在运动期间，扫视的端点不能改变。人眼的扫视运动可以是由于解析在观看时检测的对象的作用，例如使得通过使眼睛运动，以使可更高效地使用神经系统的视觉处理功能，通过更大的分辨率来感测场景中的小的部分。另一方面，视力凝视是当眼睛维持在单个位置上的注视时。在凝视时， 眼睛相对静止且“凝视”于特定点，例如，诸如当阅读单个词语时。在观看时，主要在凝视期间获得来自场景的信息。例如，凝视的持续时间可从120-1000ms改变，例如通常从200-600ms改变，且典型的凝视频率小于3Hz。[〇1〇4]图3A和3B示出了眼睛的图像和图，说明了当眼睛由光源照亮时的三个反射。三种类型的眼睛反射包括反射离开角膜的光的角膜反射、反射离开虹膜的光的虹膜反射、以及反射离开视网膜的光的回射。图3A示出了眼睛的图像，说明了三个反射的示例。例如，如图 3A所示，角膜反射形成极小的斑;虹膜反射可能看起来是暗的但是彩色的；以及回射可以是亮的，具有强的方向依赖性。[〇1〇5]图3B示出了眼睛的图，说明了当眼睛由光源照亮时三个反射的示例。更具体地，图 3B的图示出了基于入射至眼睛的角膜上的入射光束310通过角膜反射而反射的反射光束 311;基于已经经过眼睛的角膜且入射至虹膜上的入射光束310通过虹膜反射而反射的反射光束312;以及基于已经经过眼睛的角膜和晶状体且入射至视网膜上的入射光束310通过回射而反射的反射光束313。[〇1〇6]图4A示出了流程图，说明了用于跟踪眼睛的运动的公开的技术的示例性处理。处理包括从多个相应的光源朝着用户的眼睛发射多种(例如，三种或更多种)类型的光(402)。 在一个实施方式中，多个光源相对于用户装置的光电检测器模块(例如，摄像头)基本上等间隔地隔开。例如，可使用一个摄像头作为光电检测器模块来实现处理步骤，其中，三个光源以基本上相等的距离与摄像头偏离。
[0107]处理包括使用光电检测器模块(例如，摄像头)接收从眼睛回射的、由多个(例如， 三个或更多个)光源中的每个发射的多种类型的光的至少部分回射(404)。在一个实施方式中，光电检测器模块(例如，摄像头)和多个光源之间的距离布置为使得光电检测器模块可从多个光源中的每个接收至少部分回射。在一个实施方式中，多个光源可发射相同颜色的彩色光或不同颜色的彩色光，或者在其他实施方式中，使用红外光以避免刺激用户。在一些示例中，光源可以是彩色发光二极管(LED)，如在图4B中举例说明的，其中图4B示出了实现示例性眼睛跟踪技术的用户装置的示例性界面的说明性图。示例中的示例性LED可被选择以发射具体RGB颜色，例如以匹配摄像头传感器上的滤色器。示例性LED可以是红外LED。示例性彩色LED或红外LED可以按与摄像头视频帧同步的顺序打开。此外，例如，三个光源可在时间域中发射闪光，但是注意的是，闪光可减小数据速率。[〇1〇8] 返回参照图4A，处理还包括确定眼睛的位置参数，例如，诸如眼睛在观看的方向或者眼睛在空间中的位置，或者眼睛的注视点(步骤406)。例如，通过计算三个回射(例如，对应于三个光源的至少部分回射)的差分值，可确定眼睛在观看的方向、眼睛的注视点的位置以及眼睛运动的其他参数。
[0109]在一些实施方式中，当使用多个光源和来自多个光源中的每个的回射以确定眼睛和眼睛运动的方向、位置和/或其他位置参数时，多个光源布置成使多个光源中的一个的回射与其他光源的回射区分开。通过使用不同的发射颜色(即，不同波长的光源)，可实现这样的差别，如由图4B举例说明的。例如，在三光源系统中，三种颜色可以分别是红色(R)、绿色 (G)和蓝色(B)。使用多种波长的系统和集成有多个滤色器的摄像头，建议的技术可用于区分和分离同时接收/捕捉的(例如，由摄像头在一个视频帧中捕捉的)多个光源的回射，以及确定对应于光发射的多个波长中的每个的回射分量，而无需单独地检测每个回射。
[0110]在一些实施方式中，通过使用光强调制，可实现来自多个光源的回射的差别。在一个实施方式中，多个光源可具有相同的发射频率/波长(颜色)，但是多个光源中的每个通过不同的调制频率进行幅度调制。因此，使用处于不同调制频率的多个光源和集成有用于每个调制频率的多个解调电路的光电检测器模块，建议的技术可用于区分和分离同时接收/ 捕捉的(例如，由摄像头在一个视频帧中捕捉的)多个光源的回射，以及确定对应于多个光源中的每个的回射分量，而无需单独地检测每个回射。
[0111]在一些实施方式中，通过使用不同的发射颜色和不同的光强调制的组合，可实现来自多个光源的回射的差别。在一个实施方式中，多个光源中的每个可具有与另一光源的波长和调制频率的组合不同的波长和调制频率的组合。例如，光源中的两个可具有相同的颜色但是不同的调制频率，或者相同的调制频率但是不同的颜色。因此，使用不同波长/调制频率的组合的多个光源以及集成有用于每个调制频率和颜色的多个解调电路和滤色器的光电检测器模块，建议的技术可区分并因此分离同时接收/捕捉的(例如，由摄像头在一个视频帧中捕捉的)多个光源的回射，以及确定对应于多个光源中的每个的回射分量，而无需单独地检测每个回射。
[0112]注意的是，基于强度调制的、多个光源的上述差别还可用于排除不具有调制性的背景光或环境光。
[0113]在一些示例中，确定眼睛和眼睛运动的方向、位置和/或其他位置参数的处理可包括以下特征。
[0114]公开的技术对眼睛距离和头部运动不敏感，例如提供可靠的眼睛跟踪方案。使用公开的技术实现的眼睛跟踪器可容易地、可靠地检测操作者的眼睛眨眼，其中，眨眼信息可处理成数据并用作对于装置的输入。例如，智能手机操作趋向于处于1至2尺的距离处。公开的技术可在各种距离和角度(例如，包括〇.1°_〇.25°)处起作用，其具有不受头部影响的精度，且可包括不受头部影响的为0.02° rms的分辨率。在一些实施方式中，公开的技术可实现为顺序地或同时地跟踪用户的两只眼睛的运动。
[0115]图5A示出了在用户装置599中实现的示例性眼睛跟踪单元500的框图，例如，用户装置599可以是但不限于智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。眼睛跟踪单元500包括相对于装置599的摄像头504彼此基本上等间隔地隔开的三个光源501、502和503。眼睛跟踪单元500包括耦合至存储单元506的处理单元505。存储单元 506可例如包括处理器可执行的代码，当由处理单元505执行时，该代码使眼睛跟踪单元500 配置为执行各种操作，例如诸如从摄像头504接收信息、命令和/或数据，处理信息和数据， 以及向另一实体(例如，诸如光源501、502和503和/或摄像头504或者向用户装置599)传输或提供信息/数据或命令。在一些实现中，例如，存储单元506可配置为硬盘驱动器(HDD)或固态驱动器(SSD)存储单元。
[0116]在眼睛跟踪单元500的一些实现中，眼睛跟踪单元500可使用用户装置599的处理单元和/或存储单元。
[0117]图5B示出了在图4A中描述的、使用眼睛回射和多个光源以及例如诸如智能手机的用户装置599的一个摄像头的示例性处理的操作的图。图5B的图示出了基于分别由光源501 和502产生的入射光束510a和510b、通过回射而反射的反射光束513a和513b。入射光束510a 和510b的光路包括经过眼睛的角膜和晶状体并变成入射至视网膜上。入射至视网膜上的光可由视网膜回射，使得回射光的光路再次经过晶状体和角膜并朝向它的源而引导，如由回射光束513a和513b示出的。回射光束513a和513b可被摄像头504捕捉。回射光中的一些可远离用户装置599而引导，如由图5B的不例性图中的回射光560不出的。此外，例如，发射光中一些可从虹膜反射，如图中作为虹膜反射570表不的。
[0118]图6A示出了在移动智能手机装置698上实现的示例性眼睛跟踪装置500的图。
[0119]图6B示出了在计算机监控器或电视装置699上实现的示例性眼睛跟踪装置500的图。
[0120]在其他示例中，公开的眼睛跟踪技术可在抬头显示器(HUD)装置，例如诸如谷歌眼镜上实现。
[0121]返回参照图5,在一些实现中，上面描述的眼睛跟踪单元500包括显示屏515,显示屏515配置在布置光源501、502和503以及摄像头504的用户装置599的外体的相同侧上。显示屏515可通信地耦合至处理单元505和/或存储单元506。例如，显示屏515可以是用户装置 599固有的显示屏。
[0122]图7A示出了可用于眼睛跟踪单元500的校准的、眼睛跟踪单元500的显示屏515的示例性配置的图。例如，显示了固定位置标记器516,其中，校准操作包括用户一次重点观看一个高亮标记器，并推动用户装置599的选择按钮。固定位置标记器516可运动至显示屏515 上的多个位置，其示例是在屏幕的四个角落和中央，其中活动标记器以红色指示。例如，固定位置标记器516可多次且在多个待显示的位置示出，以执行校准操作。
[0123]图7B示出了包括显示屏515且在各种应用中的任何应用中操作的眼睛跟踪单元 500的图，其中，眼睛运动用作用于眼睛跟踪单元500实现于其中的用户装置599的输入数据。例如，眼睛跟踪单元500可在执行用户装置599的程序的用户执行的操作(包括但不限于，显示屏515上的视觉性的选择按钮、图标或文本517)中检测用户眼睛的位置参数。装置 599可包括智能手机或平板电脑，除其他之外。另外，公开的眼睛跟踪技术可使用由眼睛跟踪单元500检测和收集的眼睛眨眼数据，以激活用户装置599的应用功能。
[0124]在一些实施方式中，为了确定和跟踪与眼睛运动相关的二维(2D)位置参数，例如用户眼睛在显示屏515上注视的点的2D位置，需要使用至少三个光源，例如眼睛跟踪单元 500的示例。虽然眼睛跟踪单元500使用三个光源，但是用于确定眼睛运动的2D位置参数的其他实施方式可使用多于三个的光源。如上面提到的，基于对应于至少三个光源的至少部分回射的差分值，可计算眼睛运动的2D位置参数。因此，至少三个光源可相对于光电检测器布置，具有沿着x方向(或第一方向)和y方向(或垂直于第一方向的第二方向)两者的偏离， 以提供沿着x方向和y方向两者的、这些光源的至少部分回射的差分值。
[0125]图8示出了流程图，其说明了使用跟踪单元500的、使用顺序光发射及捕捉来跟踪眼睛运动的示例性处理。处理包括从光源501例如诸如LED1发射第一光(步骤802)，以及使用摄像头504捕捉第一视频帧中由眼睛回射的、第一发射光的回射的图像(步骤804)。处理包括从光源502例如诸如LED2发射第二光(步骤806)，以及使用摄像头504捕捉第二视频帧中由眼睛回射的、第二发射光的回射的图像(步骤808)。处理包括从光源503例如诸如LED3 发射第三光(步骤810)，以及使用摄像头504捕捉第三视频帧中由眼睛回射的、第三发射光的回射的图像(步骤812)。第一视频帧、第二视频帧和第三视频帧可包括在帧集(例如，帧集数据1或{SU )中。处理包括当跟踪单元500发射三个光并捕捉三个视频帧时，使用包括 LED1、LED2和LED3的回射的、{SU的第一视频帧数据、第二视频帧数据和第三视频帧数据， 来计算对应于时间阶段的眼睛的位置。处理还可包括重复该处理(例如，n次)以生成多个顺序帧集{S}n。
[0126]处理还可包括检测眼睛的眨眼并使用检测的眨眼作为用于装置控制跟踪单元500 的数据。例如，当用户的眼睛已经眨眼时，回射光暂时消失，这可在多帧数据集上检测出来。 多帧集数据可随后被处理以检测眼睛眨眼。例如，多帧集数据{Sn}可被处理以确定眼睛眨眼事件的发生、眼睛眨眼事件的频率、眼睛眨眼的速度、眼睛眨眼的持续时间(例如，闭眼多长时间)、以及是哪只眼睛眨眼(例如，左眼或右眼眨眼或者两只眼睛都眨眼)。与眼睛眨眼相关的这些特征可随后用作输入数据以实现装置的功能(例如，智能手机或计算机的机器状态)。
[0127]眼睛跟踪单元500包括相对于装置599的摄像头504彼此基本上等间隔地隔开的三个光源501、502和503。
[0128]图9示出了公开的技术的示例性眼睛跟踪装置的图，其包括具有棱镜的单个传感器组并用于检测眼睛运动和/或眨眼以控制装置的功能。在一些实现中，示例性眼睛跟踪装置可操作为高分辨率“眼睛鼠标”。在图9的示例中，示例性眼睛跟踪装置可包括光学地耦合至微透镜3的偏振分束器1，其中，微透镜3布置在偏振分束器1和用于在入射光进入光电检测器模块33之前光学地过滤入射光的带通滤波器35之间。示例性眼睛跟踪装置可包括可以以特定频率调制的光源11(例如，近红外LED11)。光源11光学地耦合至线性偏振器13,线性偏振器13光学地耦合至偏振分束器1，以朝着用户的眼睛18和19传输来自装置的、可由眼睛 18和19回射的探测光(例如，LED照射的光束15)。光电检测器模块33可被构造为包括光电检测器灵敏阵列25,以检测至模块33中的输入光，其中输入光可包括在由带通滤波器35过滤之后由用户的眼睛回射的光。例如，如图9所示，光电检测器灵敏阵列25在对应于用户的右眼18的回射光束21的像点29处和在对应于用户的左眼19的回射光束23的像点27处检测光。 示例性眼睛跟踪装置可包括处理单元，处理单元通信地耦合至光电检测器模块33,以将光电检测器灵敏阵列25上光电检测的信号处理为数据。处理单元可包括通用处理器，通用处理器耦合至存储原始数据和处理的数据的存储单元。处理单元可被配置为运行用于基于检测的回射光信号数据来跟踪眼睛运动的程序和控制用户装置的功能(例如，包括改变用户装置的显示)来跟踪眼睛运动的程序。在示例性眼睛跟踪装置的一些实现中，用户装置的包括处理器的处理单元和存储单元用于实现公开的技术的数据处理技术。
[0129]图10示出了公开的技术的示例性眼睛跟踪(例如，眼睛鼠标)装置的图，其包括具有挡光屏障的单个传感器组并用于检测眼睛运动和/或眨眼以控制装置的功能。在本示例中，示例性眼睛跟踪装置可包括可以以特定频率调制的光源11(例如，近红外LED11)。光源 11光学地耦合至线性偏振器13以向用户的眼睛18和19传输来自装置的探测光(例如，LED照射的光束15)，其中探测光可由用户的眼睛回射。示例性眼睛跟踪装置可包括线性(接收)偏振器41，线性(接收)偏振器41光学地耦合至微透镜3,且配置为靠近光源11和线性(传输)偏振器13但是通过挡光壁或屏障45与光源11和线性(传输)偏振器13分开。示例性眼睛跟踪装置还包括带通滤波器35,带通滤波器35布置于微透镜3的后面且配置为在入射光进入光电检测器模块33之前光学地过滤经过微透镜3的入射光。光电检测器模块33可被构造为包括光电检测器灵敏阵列25,以检测至模块33中的输入光，输入光可包括在由带通滤波器35过滤之后由用户的眼睛回射的光。例如，如图10所示，光电检测器灵敏阵列25在对应于用户的右眼18的回射光束21的像点29处和在对应于用户的左眼19的回射光束23的像点27处检测光。示例性眼睛跟踪装置可包括处理单元，处理单元通信地耦合至光电检测器模块33,以将光电检测器灵敏阵列25上光电检测的信号处理为数据。处理单元可包括通用处理器，通用处理器耦合至存储原始数据和处理的数据的存储单元。处理单元可被配置为运行用于基于检测的回射光信号数据和用户装置的控制功能(例如，包括改变用户装置的显示)来跟踪眼睛运动的方法。在示例性眼睛跟踪装置的一些实现中，用户装置的包括处理器的处理单元和存储单元用于实现公开的技术的数据处理技术。
[0130]图11A示出了描绘位于诸如图9和10中示出的示例性眼睛跟踪装置的示例性传感器表面(例如，光电检测器灵敏阵列25)上的示例性回射图像的图，其中从由示例性装置的用户的眼睛回射的光检测图像。图11B示出了描绘当用户的眼睛运动时，位于示例性传感器表面上的示例性回射图像的图。如可在图11A和11B中观察到的，图像差分或光学信号强度的改变可用于使用示例性装置的处理单元生成跟踪信号。
[0131]图12示出了流程图，说明了跟踪眼睛的运动并使用跟踪的眼睛运动控制显示屏上的鼠标标记器的示例性处理。示例性处理可包括从与包括公开的技术的眼睛跟踪单元的用户装置集成的一个或多个光源朝着用户的眼睛发射光的步骤(步骤1202)。例如，用户装置可包括但不限于智能手机、平板电脑、照相机或摄像机、计算机监控器或膝上型计算机。处理可包括在用户装置中的眼睛跟踪单元的光电检测器模块(例如，摄像头)处接收由一个或多个光源发射的光的回射的步骤，其中，回射光由用户的眼睛(例如，左眼、右眼和/或两只眼睛)回射(步骤1204)。处理可包括基于接收的/检测的回射光、使用用户装置中的眼睛跟踪单元的处理单元或存在于用户装置上的处理单元来确定用户眼睛的运动的位置和/或方向的步骤(步骤1206)。在一些实现中，处理可使用眼睛的确定的位置和/或运动方向来控制用户装置的功能，例如包括拖曳用户装置的显示屏上的标记器(例如，鼠标标记器)或者根据确定的位置和/或运动方向改变显示屏(步骤1208)。例如，当视点不与鼠标标记器重叠时，方法可包括通过执行逻辑操作使视点与鼠标标记器重新对准。
[0132]图13示出了使用调制的照亮光和检测单元的、公开的技术的示例性眼睛跟踪传感器装置的图。示例性眼睛跟踪传感器装置可包括光源1302(例如，LED光源1302)以朝着用户发射调制光。示例性眼睛跟踪传感器装置可包括靠近光源1302布置的一个或多个挡光壁或屏障或者“挡光装置”1306,以阻挡从光源发射的光照耀/照亮在示例性眼睛跟踪传感器装置的图像传感器上。示例性眼睛跟踪传感器装置可包括成像光学器件1308(例如，一个或多个微透镜)，以接收光并将光引导至眼睛跟踪传感器装置中。在一些实施方式中，成像光学器件1308可配置为靠近防止从光源单元1302发射的光直接进入成像光学器件1308的挡光装置1306的壁。示例性眼睛跟踪传感器装置可包括光电检测器阵列1310,以检测通过成像光学器件1308传输的光。在示例性眼睛跟踪传感器装置的一些实现中，光源1302配置为发射可从眼睛回射的调制光(例如，处于一个或多个调制频率)和通过示例性眼睛跟踪传感器装置的成像光学器件1308待由光电检测器阵列1310接收的回射光1312。光电检测器阵列 1310可被配置为包括像素和耦合至像素的解调电路，以将由光源1302发射的、处于调制频率的调制光与不具有这样的调制的其他光(例如，周围环境中的环境光1314)区分开。在一些实现中，示例性眼睛跟踪传感器装置可与用户装置的处理单元通信地耦合。
[0133]图14示出了流程图，说明了检测调制的眼睛跟踪传感器信号的示例性处理。示例性处理可包括从公开的技术的眼睛跟踪传感器装置(例如，诸如图13中的装置)的发光单元发射具有固定调制的光(例如，LED光)的步骤(步骤1402)。示例性处理可包括在包括像素和耦合至像素的解调电路的光电检测器阵列处检测调制光的步骤，其中，光电检测器阵列解调检测的调制光，以使解调的信号被记录和存储(例如，于可配置在解调电路中的存储器中)，同时使不具有固定调制的光被排除(步骤1404)。处理还可包括例如使用耦合至解调电路的或包括在解调电路中的扫描读出电路读出用于每个像素存储的信号的步骤。
[0134]图15示出了使用调制的照亮光和检测单元的、公开的技术的另一示例性眼睛跟踪传感器装置的图。图15的示例性眼睛跟踪传感器装置可包括多个光源(例如，LED源#1和LED 源#2)以朝着用户发射多个调制光(例如，调制光#1和调制光#2)。示例性眼睛跟踪传感器装置可包括挡光装置1502,挡光装置1502包括靠近光源配置的一个或多个挡光壁或屏障，以阻挡来自光源的光照耀/照亮在示例性眼睛跟踪传感器装置的图像传感器上。示例性眼睛跟踪传感器装置可包括成像光学器件1504(例如，一个或多个微透镜)，以接收光并将光引导至眼睛跟踪传感器装置中。在一些实施方式中，成像光学器件1504可配置为靠近防止从多个光源发射的光直接进入成像光学器件1504的挡光装置1502的壁。示例性眼睛跟踪传感器装置可包括光电检测器阵列1506,以检测通过成像光学器件1504传输的光。在示例性眼睛跟踪传感器装置的一些实现中，多个光源配置为发射可从眼睛回射的多个调制光束(例如，处于不同的调制频率)，以及可通过示例性眼睛跟踪传感器装置的成像光学器件1504由光电检测器阵列1506接收回射光1508。光电检测器阵列1506可被配置为包括像素和親合至像素的解调电路，以将由多个光源(例如，LED源#1和LED源#2)发射的、处于调制频率的调制光与不具有这样的调制的其他光(例如，周围环境中的环境光1510)区分开。在一些实现中， 示例性眼睛跟踪传感器装置可与用户装置的处理单元通信地耦合。
[0135]图16示出了流程图，说明了检测多个调制的眼睛跟踪传感器信号的示例性处理。 示例性处理可包括从眼睛跟踪传感器装置(例如，图15中描述的装置)的第一发光源(例如， LED光源)发射具有固定调制的第一光(例如，LED光)的步骤(步骤1602)。示例性处理可包括以下步骤:在包括像素和耦合至像素的解调电路的光电检测器阵列处检测第一调制光，以及解调检测的第一调制光，以使解调的信号被记录和存储(例如，于可配置在解调电路中的存储器中)，同时使不具有调制的光被排除(步骤1604)。处理可包括例如使用耦合至解调电路的或包括在解调电路中的扫描读出电路读出对应于用于每个像素的第一调制光的存储信号的步骤(步骤1606)。示例性处理可包括从眼睛跟踪传感器装置的第二发光源(例如， LED光源)发射具有固定调制的第二光(例如，LED光)的步骤(步骤1608)。示例性处理可包括以下步骤:在包括像素和解调电路的光电检测器阵列处检测第二调制光，以及解调检测的第二调制光，以使解调的信号被记录和存储(例如，于可配置在解调电路中的存储器中)，同时使不具有调制的光被排除(步骤1610)。处理可包括例如使用耦合至解调电路的或包括在解调电路中的扫描读出电路读出对应于用于每个像素的第二调制光的存储信号的步骤(步骤1612)。处理可包括使用第一读出信号和第二读出信号计算眼睛的位置和/或时刻的步骤 (步骤1614)。处理还可包括如图16所示的顺序地实现或者如图17所示的同时地实现示例性第一调制光和第二调制光的发射、检测和解调、以及读出步骤。
[0136]图17示出了流程图，说明了同时检测多个调制的眼睛跟踪传感器信号的示例性处理。示例性处理可包括从眼睛跟踪传感器装置的第一发光源(例如，LED光源#1)发射具有第一调制的第一光(例如，LED光)并且同时从眼睛跟踪传感器装置的第二发光源(例如，LED光源#2)发射具有不同于第一调制的第二调制(例如，处于不同的调制频率)的第二光(例如， LED光)的步骤(步骤1702)。示例性处理可包括以下步骤:在包括像素和耦合至像素的解调电路的光电检测器阵列处检测第一调制光和第二调制光，以及解调检测的第一调制光和第二调制光，记录和存储两个解调的信号，同时使不具有调制的光被排除(步骤1704)。处理可包括例如使用耦合至解调电路的或包括在解调电路中的扫描读出电路读出对应于用于每个像素的第一调制光和第二调制光的存储信号的步骤(步骤1706)。处理可包括使用第一读出信号和第二读出信号计算眼睛的位置和/或时刻的步骤(步骤1708)。
[0137]在图17的处理的一种变形中，使用两个不同的光源，其中两个光源在波长方面不同。例如，第一光源发射波长>850nm(例如，处于940nm)的光，并且同时，第二光源发射波长〈 850nm(例如，处于780nm)的光。可使用建议的示例性波长，其原因是人眼对于两种不同的波长可具有不同的吸收，然而人的皮肤和其他背景对这两种波长的反应几乎没有差别。可通过相同的或不同的调制频率调制两个光源。使用与图17的步骤类似的步骤，针对两个光源生成两个解调信号(S1和S2)。通过比较S1和S2信号，可进一步排除背景信号。在其他实现中，两个光源还可处于相同的波长和/或相同的调制频率，但是具有明确的相位差，例如为的相位差。在这些实现中，处理器还可处理和比较处于不同相位的两个信号，以提取眼睛位置或运动的信息。
[0138]在本专利文件中描述的主题和功能操作的实现可在各种系统、数字电子电路中实现，或者在包括本说明书中公开的结构及其结构等同物的计算机软件、固件或硬件中实现， 或者在它们中的一个或多个的组合中实现。在本说明书中描述的主题的实现可实现为一个或多个计算机程序产品，即在有形的和非暂时性的计算机可读介质上编码的、用于由数据处理设备运行的或者用于控制数据处理设备的操作的计算机程序指令的一个或多个模块。 计算机可读介质可以是机器可读的存储装置、机器可读的存储基质、存储装置、影响机器可读的传播信号的物质成分、或者它们中的一个或多个的组合。术语“数据处理设备”包括用于处理数据的所有设备、装置和机器，举例来说包括可编程处理器、计算机或者多处理器或计算机。除了硬件之外，设备可包括为考虑中的计算机程序产生运行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统、或者它们中的一个或多个的组合的代码。
[0139]计算机程序(还称为程序、软件、软件应用、脚本或代码)可以以包括编译的或解释的语言的任何形式的编程语言编写，而且其可以以包括作为独立程序或作为模块、组件、子程序或适用于计算环境的其他单元的任何形式配置。计算机程序不一定对应于文件系统中的文件。程序可存储在具有其他程序或数据(例如，存储在标记语言文件中的一个或多个脚本)的文件的一部分中，存储成专用于考虑中的程序的单文件，或者存储成多个并列文件 (例如，存储一个或多个模块、子程序或代码的一部分的文件)。计算机程序可配置为在一个计算机上运行，或者在位于一个站点处的多个计算机或分布在多个站点上且通过通信网络互连的多个计算机上运行。[〇14〇]在本说明书中描述的处理和逻辑流可由运行一个或多个计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并生成输出来执行功能。处理和逻辑流还可由专用逻辑电路例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)执行，以及设备还可实现为专用逻辑电路例如FPGA或ASIC。
[0141]适合于计算机程序的运行的处理器举例来说包括通用微处理器和专用微处理器两者，以及任何种类的数字计算机中的任何一个或多个处理器。一般来说，处理器将从只读存储器或随机存取存储器或这两者接收指令和数据。计算机的必需元件是用于执行指令的处理器以及用于存储指令和数据的一个或多个存储装置。一般来说，计算机还将包括用于存储数据的一个或多个大规模存储装置，例如磁性盘、磁光盘或光盘，或者还将操作地耦合以从用于存储数据的一个或多个大规模存储装置接收数据或向用于存储数据的一个或多个大规模存储装置传输数据或这两者。然而，计算机不需要具有这样的装置。适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储装置，举例来说包括半导体存储装置，例如EPR0M、EEPR0M以及闪存装置。处理器和存储器可由专用逻辑电路补充或包括在专用逻辑电路中。
[0142]虽然本专利文件包含多个细节，但是这些不应该被解释为对任何发明或者可能要求保护的事物的范围构成限制，而是相反，作为对可专用于特定发明的特定实施方式的特征的描述。在本专利文件中在单独的实施方式的上下文中描述的特定特征还可在单个实施方式中组合地实现。反过来说，在单个文件的上下文中描述的各个特征还可在多个实施方式中分开地实现或者以任何合适的子组合实现。此外，虽然特征可如上描述成以特定组合起作用，甚至起初是按照那样请求保护，但是来自请求保护的组合的一个或多个特征可在一些情况下从组合中去除，请求保护的组合可指向子组合或子组合的变形。
[0143]类似地，虽然在附图中以特定顺序描述操作，但是这不应该被理解为要求这样的操作以示出的特定顺序执行或者依序执行，或者要求所有示出的操作被执行，以实现期望的结果。此外，在本专利文件中描述的实施方式中各个系统组件的分离不应该被理解为在所有实施方式中要求这样的分离。
[0144]虽然仅仅描述了几个实现和示例，但是基于在本专利文件中描述的和示出的事物，可作出其他实现、增强和变形。
【主权项】
1.一种具有眼睛跟踪特征的装置，包括:光源，设置在所述装置的外部结构上，所述光源可操作以发射光；光电检测器模块，位于所述外部结构上，与所述光源中的每一个基本上等间隔地隔开， 所述光电检测器模块可操作以接收包括至少基于从所述光源发射的光从所述装置的用户 的眼睛至少部分回射的光的光，以形成图像；以及处理器，与所述光源和所述光电检测器模块通信，所述处理器用于处理来自所述光电 检测器模块的信息，以获得响应于从所述光源发射的光形成的图像中的、至少部分回射的 光的差分值，以及基于获得的差分值确定眼睛的位置。2.根据权利要求1所述的装置，还包括:存储单元，通信地耦合至所述处理器以存储确定的眼睛位置。3.根据权利要求1所述的装置，其中，所述装置包括智能手机、平板电脑、照相机或摄像 机、计算机监控器或膝上型计算机，并且其中，所述光电检测器模块包括智能手机、平板电 脑、照相机或摄像机、计算机监控器或膝上型计算机的摄像头。4.根据权利要求1所述的装置，其中，所述光源配置为发射不同颜色、不同波长或不同 调制频率的彩色光。5.根据权利要求1所述的装置，其中，所述光源和所述光电检测器模块布置在所述装置 的边缘上。6.根据权利要求1所述的装置，其中，所述光源发射红外光。7.根据权利要求1所述的装置，其中，所述光源配置为发射处于与所述光电检测器模块 的帧速率相关的频率的闪光。8.根据权利要求1所述的装置，其中，所述光源包括LED。9.一种用于跟踪眼睛的运动的方法，包括:使用与装置的光电检测器模块基本上等间隔地隔开布置的光源朝着用户的眼睛发射 光，其中所述光源由偏振器偏振；在所述光电检测器模块处接收从眼睛回射的、发射的光的至少部分回射；过滤接收的至少部分回射的光，以排除背景光和共偏振光；以及至少基于与所述光源对应的至少部分回射的差分值，确定眼睛的位置参数。10.根据权利要求9所述的方法，其中，所述过滤包括使用带通滤波器排除背景光以及 使用所述偏振器排除共偏振光。11.根据权利要求9所述的方法，其中，所述光源发射不同颜色的光。12.根据权利要求11所述的方法，其中，所述光的颜色是红色、绿色、蓝色或黄色。13.根据权利要求9所述的方法，其中，所述光源发射不同波长的光。14.根据权利要求9所述的方法，其中，所述光源发射不同调制频率的光。15.根据权利要求9所述的方法，其中，发射的光包括红外光。16.根据权利要求9所述的方法，其中，发射的光包括处于与所述光电检测器模块的帧 速率相关的频率的闪光，以进一步排除背景光。17.根据权利要求9所述的方法，还包括:使用在所述光电检测器模块处接收的至少部分回射，以检测眼睛的眨眼运动。18.根据权利要求17所述的方法，还包括:使用检测的眨眼运动作为用于所述装置的至少一个功能的输入数据。19.根据权利要求9所述的方法，其中，所述确定包括确定眼睛的位置参数，所述眼睛的 位置参数包括眼睛在观看的方向或者眼睛在空间中的位置。20.根据权利要求9所述的方法，其中，使用所述光源包括基本上同时使用所述光源发 射光。21.根据权利要求9所述的方法，其中，基本上同时执行使用所述光源发射光以及在所 述光电检测器模块处接收至少部分回射。22.根据权利要求9所述的方法，其中，基本上顺序地执行使用所述光源发射光以及在 所述光电检测器模块处接收回射，其包括:从所述光源中的第一光源发射第一光；使用所述光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一 图像；从所述光源中的第二光源发射第二光；使用所述光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二 图像；从所述光源中的第三光源发射第三光；以及使用所述光电检测器模块捕捉第三视频帧中由眼睛回射的、第三发射光的回射的第三图像。23.根据权利要求22所述的方法，还包括:基于所述第一视频帧、所述第二视频帧以及所述第三视频帧生成数据集。24.—种具有眼睛跟踪特征的便携式装置，包括:显不屏；表面，靠近所述显示屏；光源，设置在所述表面上，所述光源可操作以发射光；光电检测器模块，位于所述表面上，与所述光源中的每一个基本上等间隔地隔开，所述 光电检测器模块可操作以接收包括至少基于从所述光源发射的光从所述装置的用户的眼 睛至少部分回射的光的光并形成图像;以及处理器，与所述光源和所述光电检测器模块通信，所述处理器用于处理来自所述光电 检测器模块的信息，以获得响应于从所述光源发射的光形成的图像中的、至少部分回射的 光的差分值，以及基于获得的差分值确定眼睛的位置或运动。25.根据权利要求24所述的装置，其中，所述处理器配置为使用确定的眼睛位置或运 动，以触发使得指示器显示在所述显示屏上的操作。26.根据权利要求25所述的装置，其中，所述处理器还配置为使用不同的确定的眼睛位 置或运动，以分别触发不同的操作。27.—种用于跟踪眼睛的运动的方法，包括:使用配置在用户装置中的光源，朝着用户的眼睛发射以特定频率调制的光，其中发射 的光由偏振器偏振；使用配置在所述用户装置中的光电检测器模块，检测来自用户的至少一只眼睛的回射 光，其中所述检测包括:接收从用户的左眼和右眼中的一只或两只回射的、发射的光的至少部分回射；过滤接收的回射光，以排除背景光；以及解调过滤的光，以使处于调制频率的回射光与未处于调制频率的光分离；以及基于解调的回射的差分值，确定眼睛的位置参数。28.根据权利要求27所述的方法，其中，例如700-850nm的光源波长具有来自眼睛的强 的回射。29.根据权利要求27所述的方法，其中，所述光源使用多个光源发射多个光束，所述多 个光束处于不同波长或不同调制频率或不同相位。30.根据权利要求29所述的方法，其中，光中的一些光以包括700-850nm的波长发射，以 具有来自眼睛的强的回射，以及光中的其他光以包括920-1020nm的波长发射，以具有来自 眼睛的弱的回射或不具有来自眼睛的回射。31.根据权利要求29所述的方法，其中，光中的一些光以相位零调制，以及光中的其他 光以偏移大约n的相位调制。32.根据权利要求29所述的方法，其中，所述多个光源和所述光电检测器模块布置在所 述用户装置的边缘上。33.根据权利要求32所述的方法，其中，所述多个光源和所述光电检测器模块配置在所 述用户装置上，处于包括2至8mm的瞳孔直径尺寸的范围内的距离。34.根据权利要求27所述的方法，其中，发射的光包括可见光和红外光中的一种或两者。35.根据权利要求27所述的方法，其中，发射的光包括处于与所述光电检测器模块的帧 速率相关的频率的闪光，以进一步排除背景光。36.根据权利要求27所述的方法，还包括:使用在所述光电检测器模块处接收的至少部分回射，以检测眼睛的眨眼运动。37.根据权利要求36所述的方法，还包括:使用检测的眨眼运动作为用于所述装置的至少一个功能的输入数据。38.根据权利要求27所述的方法，其中，所述用户装置是智能手机、平板电脑、照相机或 摄像机、计算机监控器或膝上型计算机。39.根据权利要求27所述的方法，其中，所述眼睛的位置参数包括眼睛在观看的方向或 者眼睛在空间中的位置。40.根据权利要求27所述的方法，其中，通过多个光源同时发射发射的调制光。41.根据权利要求40所述的方法，其中，同时实现使用所述多个光源发射光以及在所述 光电检测器模块处接收回射。42.根据权利要求27所述的方法，其中，发射光包括使用所述多个光源发射处于不同频 率的调制光，并且顺序地实现在所述光电检测器模块处接收至少部分回射，其中所述方法 包括:从第一组光源发射第一光，其波长配置为由眼睛引起强的回射，处于包括700-850nm的 波长；使用所述光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一 图像；从第二组光源发射第二光，其波长具有由眼睛引起的弱的回射或不由眼睛引起回射， 处于包括920-1020nm的波长；使用所述光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二 图像；计算视频帧之间的差分；以及基于所述差分，从背景散射中选择眼睛回射信号。43.根据权利要求42所述的方法，还包括:使所述第一视频帧和所述第二视频帧编组为数据集。44.根据权利要求42所述的方法，其中，当以不同的频率调制两组光源时，同时捕捉所 述第一视频帧和所述第二视频帧。45.根据权利要求27所述的方法，其中，通过所述光源同时发射光。46.根据权利要求27所述的方法，其中，同时实现使用所述光源发射光以及在所述光电 检测器模块处接收回射。47.根据权利要求27所述的方法，其中，顺序地实现使用所述光源发射光以及在所述光 电检测器模块处接收回射，其中所述方法包括:使用所述光电检测器模块捕捉第一视频帧中由眼睛回射的、第一发射光的回射的第一 图像；使用所述光电检测器模块捕捉第二视频帧中由眼睛回射的、第二发射光的回射的第二 图像；在所述光电检测器模块的图像像素之间对所述第一图像以及所述第二图像进行比较， 以确定眼睛的位置。48.根据权利要求47所述的方法，还包括:使所述第一视频帧和所述第二视频帧编组为数据集。49.根据权利要求47所述的方法，其中，相邻的帧进行比较以确定差分图像，从而确定 眼睛的位置。50.—种用于跟踪眼睛的运动的方法，包括:使用围绕装置的光电检测器模块布置的光源组朝着用户的眼睛发射光，其中所述光源 组配置成使得所述光源组中的给定光源能够与所述光源组中的其他光源区分开；在所述光电检测器模块处接收对应于所述光源组的、从眼睛回射的光的组合回射；使用所述光电检测器模块区分所述组合回射，以确定与所述光源组中的每一个对应的 单独的回射分量；以及基于与所述光源组对应的单独的回射的差分值，确定眼睛的运动的位置参数。51.根据权利要求50所述的方法，其中，所述光源组包括至少三个光源。52.根据权利要求50所述的方法，其中，所述光源组围绕所述光电检测器模块布置成具 有位置偏差，以实现沿着x方向和y方向两者的单独的回射的差分值。53.根据权利要求50所述的方法，其中，所述光源组能够根据发射颜色彼此区分开，其 中，所述光源组中的每一个发射处于与所述光源组中的其他光源的波长不同的波长的光。54.根据权利要求50所述的方法，其中，所述光源组中的每一个发射强度调制光，并且 其中，所述光源组发射处于不同调制频率的强度调制光。55.根据权利要求54所述的方法，其中，所述光源组发射处于相同波长但不同调制频率 的光。56.根据权利要求50所述的方法，其中，所述光源组中的给定光源发射具有波长和调制 频率的组合的光，该波长和调制频率的组合不同于所述光源组中的其他光源的波长和调制 频率的组合。57.根据权利要求50所述的方法，其中，所述光电检测器模块同时接收对应于所述光源 组的、从眼睛回射的光的组合回射。
【文档编号】G06F3/01GK106062665SQ201480062503
【公开日】2016年10月26日
【申请日】2014年9月11日
【发明人】何毅, 皮波
【申请人】深圳市汇顶科技股份有限公司