眼睛跟踪校准系统及方法
【专利说明】眼睛跟踪校准系统及方法
[0001]相关申请的交叉引用
[0002]本申请要求2013年2月14日提交的申请号为61/764939，名称为“眼睛跟踪校准系统和方法”的美国临时申请的优先权，该临时申请的全部内容通过引用并入本文。
技术领域
[0003]本发明一般涉及眼睛跟踪控制，更具体地，涉及便于眼睛跟踪控制校准的系统和方法。
【背景技术】
[0004]采用眼睛跟踪技术可确定用户的视线，根据视线被追踪的特定用户可校准所述眼睛跟踪技术。眼睛跟踪技术的校准包括在显示器上显示校准点。在所述校准过程中，用户可注视该校准点，基于所述校准点的已知位置和通过在校准过程中捕获的图像呈现的眼睛信息校准所述眼睛跟踪技术。
[0005]哈钦森在美国专利4950069中描述了校准技术的一个实施例，该实施例记载了在显示器的已知位置上显示的一系列校准点。用户注视每个校准点，同时该系统收集与用户瞳孔中心和闪烁中心有关的信息。一旦校准过程完成，该系统计算一组线性方程的系数，所述线性方程将瞳孔-闪烁(pupil-glint)位移映射到屏幕的坐标上。
[0006]这种校准技术提高了眼睛跟踪技术的准确性，但是它们明确涉及用户的参与，这可能复杂和费时。另外，如果校准丢失(例如，由于环境中照明的改变)，用户需要停止当前的活动重新运行校准过程调整校准参数。
【附图说明】
[0007]通过举例的方式说明某些实施例但不限于附图。
[0008]图1为与对接装置耦合的计算装置的一个实施例的装置示意图，所述对接装置能便于眼睛跟踪控制；
[0009]图2为与对接装置耦合的计算装置的另一个实施例的装置示意图，所述对接装置能便于眼睛跟踪控制；
[0010]图3A-3C为计算装置的实施例的装置示意图，所述计算装置能便于眼睛跟踪控制。
[0011]图4为便于眼睛跟踪控制的软件架构(software architecture)的一个实施例的框图。
[0012]图5为便于眼睛跟踪控制的数据流的一个实施例的框图。
[0013]图6A-6C为界面示意图，该示意图描述了显示了对象的用户界面的实施例，该用户界面便于眼睛跟踪校准。
[0014]图7为在输入个人识别号码的过程中，便于眼睛跟踪校准的方法的一个实施例的流程图。
[0015]图8A和8B为便于眼睛跟踪校准的方法的实施例的流程图。
[0016]图9为计算系统形式的机器的框图，该计算系统中的一组指令用于使该机器执行在此讨论的一个或多个方法。
【发明内容】
[0017]对便于眼睛跟踪控制校准的系统和方法的实施例进行了说明。在下面的描述中，出于解释的目的，详细描述了许多具体的细节以便充分理解实施例。然而，很明显，无需这些具体的细节本领域技术人员也可实施本技术。
[0018]计算装置的用户可与对象交互和控制对象，且通过用户的眼睛运动，应用显示在所述计算装置上。由所述计算装置或与所述计算装置耦合的对接装置上的相机捕获的用户的眼睛和/或面部图像可采用计算机视觉算法如眼睛跟踪和视线检测算法分析。例如，捕获的图像可被处理以提取与用户的眼睛和/或面部特征有关的信息。然后，所述计算装置使用提取的信息确定用户眼睛的位置并估算与用户有关的视线信息。用户的视线信息可估算用户正在观看的地方并包括如用户视线、注视信息的点(如，用户正在观看的在所述显示器上的位置)、用户注视的方向等信息。例如，所述计算装置能估算用户正在观看的显示器上的图标。对用户正在观看的估算可用于指示一个或多个对象、应用程序等，以执行特定操作。例如，根据用户正在观看的位于所述计算装置的所述显示器上的地方，用户可指示和控制所述显示器上的对象的运动，包括控制滚动功能、虚拟游戏中对象的运动、控制指针和光标的位置等。对用户正在观看的估算还可用于分析显示在吸引用户注意力的屏幕上的区域或对象，或者，所述估算还可用于研究用户注视的图形用户界面上的对象。例如，通过吸引用户注意力的眼睛跟踪信息指示区域或对象可改进应用程序用户界面的设计，因而当与应用程序交互时，用户有更好的经验。
[0019]当用户开始使用所述计算装置时，可进行校准过程，以计算与所述用户有关的校准参数。可考虑这些校准参数以准确地确定使用者眼睛的位置并估算用户正在观看的所述显示器上的位置。还可考虑所述校准参数以确定三维(3-D)空间(如，视线)中用户眼睛视线的方向。当调节与用户有关的独特的特性时，通过显示所述显示器上的已知位置上的一系列一个或多个显示对象，所述计算装置可校准眼睛控制计算并确定用户正在观看的所述显示器上的位置。该校准过程可以用户不知道正在校准的方式执行。例如，用户可以玩包括显示游戏对象的游戏，因而它们可在所述计算装置的所述显示器上移动。所述游戏对象可用于隐蔽地校准所述眼睛控制计算，以更准确地反映用户的眼睛特性。该系统的这种校准是连续的，且可发生在所述用户以不被用户发觉的校准的方式玩游戏的时候。在应用程序不直接由用户控制的情况下(如，当广告在屏幕上显示时收集视线数据)，所述校准参数可基于检测到的所述眼睛运动模式离线计算。
具体实施例
[0020]图1为计算装置102的一个实施例的装置示意图100，所述计算装置102与对接装置104耦合，所述对接装置104能方便眼睛跟踪控制。所述计算装置102可以是任何类型的计算装置，包括但不限于智能电话、掌上电脑(PDA)、移动电话、平板电脑、电子阅读器、电视机、笔记本电脑、台式计算机、显示装置、头盔式显示器等。在眼睛跟踪控制的过程中，用户可用一只手、两只手握住所述计算装置102并使用所述计算装置102，或当所述计算装置102放置在支架上或支撑在表面上时，用户可使用所述计算装置102。
[0021]对接装置104可与所述计算装置102以任何方式耦合，例如通过所述计算装置102上的通用串行总线(USB)接口、所述计算装置102上的微型USB接口等。虽然图1中的所述对接装置104设置在所述计算装置102的底部，但是本领域技术人员可理解所述对接装置104可位于与所述计算装置102相关的任何合适位置上。所述对接装置104可包括相机模块108和一个或多个发光二极管(LED) 106。出于解释的目的，整个本发明描述和记载了发光二极管106。然而，本领域的普通技术人员可理解可使用任何合适的发光源(例如，红外线激光器)。另外，虽然本发明描述了一个或多个LED，但是本领域的普通技术人员能理解没有LED也可以实现眼睛跟踪功能。
[0022]所述对接装置104包括任何数量的红外线LED 106，所述红外线LED可以任何方式放置在所述对接装置104中的合适位置(例如，倾斜一定的角度使它指向用户的面部)。在一个具体的实施方案中，一个或多个LED 106与一个或多个相机同步。当一个或多个相机抓帧时，一个或多个LED打开，否则关闭。在某些实施例中，如果没有检测到运动或者如果所述对接设备104和/或计算设备102进入睡眠模式，可关闭LED。
[0023]在某些实施例中，所述对接装置104还包括适合类型的红外通过滤光片(infrared pass filter)(例如，有源、机械、高通、带通等)。在某些实施例中使用了能阻止800nm以下的光并允许800nm以上的光通过的高通滤光片。在某些实施例中，所述红外带通滤光片只能允许800-900nm之间的光进入所述相机模块108的一个或多个相机中。
[0024]所述相机模块108包括一个或多个面向前的相机，所述相机以任何方式设置在所述对接装置104(如，倾斜一定的角度以指向用户的面部)中的任何合适位置，且用于捕获用户的眼睛和/或面部图像。一个或多个相机与LED 106以适当的距离设置，以优化红外光的适当捕获。在某些实施例中，所述计算装置102上的相机与立体声模式的相机模块108结合使用。在某些实施例中，所述相机模块108包括以下中任何一个或多个:以合适的每秒帧速度(frame-per-second rate)(如，每秒30帧的高清)运行的黑白(例如，单色)或彩色(例如，RGB)的互补金属氧化物半导体(CMOS)传感器、无红外阻断滤光片且具有适当视野(如，约35。)和景深(depth of field)的镜头(如，约30_80cm的移动设备和约2_5m的电视机)等。所述相机模块108中的一个或多个相机倾斜朝向用户的面部。
[0025]相机捕获的图像可以旋转。所述眼睛跟踪软件可使用所述计算装置102 (如，加速度计、磁力计等)上的传感器检测所述计算装置102的朝向并使所述图像相应地旋转，从而使它能够被适当地处理。
[0026]LED 106发出的光可朝向用户的眼睛聚焦并集中。来自LED 106的红外光在瞳孔中和用户的眼角膜上反射并由所述相机模块108中的相机记录。在某些实施例中，所述LED106与一个或多个相机同步，因而当一个或多个相机抓取图像时，所述LED 106只是打开。在某些实施例中，为了提高图像的质量，采用红外通过滤光片过滤掉800nm以下的可见光。所述相机模块108中的一个或多个相机的镜头的视野和景深允许用户走来走去，从而适应用户的头部姿势变化。所述眼睛跟踪控制软件可以分析所述相机模块108捕获的图像，以提供用户正在观看的所述计算装置102的所述显示器上的位置的屏幕坐标(x，y)。这些坐标可用于很多应用(如，滚动、移动对象、选择图标、玩游戏等)。
[0027]LED 106和相机模块108可以任何方式打开和/或关闭，例如通过利用外部滑块、所述计算装置102或所述对接装置104的侧面或背后上的专用开关按钮，或由屏幕上的应用程序或数字按钮控制、由所述计算装置102和/或所述对接装置104的运动或震动控制、由语音命令、屏幕上的电容式按钮、触摸板、生物信号(例如，EMG、EEG等)、远程控制、手势和/或人物姿势控制等。这样，在某些实施例中，只有当LED和所述相机打开时(例如，当用户正在使用眼睛跟踪功能时)，所述眼睛跟踪组件才会消耗功率。
[0028]在某些实施例中，当所述相机位于所述计算装置102(如，与用户的视角有关)的底部时，所述眼睛跟踪功能被优化。用户可使与所述对接装置104耦合的所述计算装置102旋转以正确地定向所述相机模块108，因此其位于所述计算装置102的底部。在某些实施方案中，通过采用所述计算装置102的所