在媒体中使用参考帧的注视检测器的制作方法

在许多情况下，用户使用由他们的手、手指等控制的输入设备(例如，鼠标、键盘、轨迹球、触摸屏等)来控制电子设备(例如，计算机、平板计算机、膝上型计算机、移动电话等)。在一些示例中，眼睛跟踪系统可以用于控制电子设备。在这样的示例中，电子设备可以包括或利用确定用户的注视方向的注视检测系统。

附图说明

图1是包括根据本公开的教导构造的示例注视检测器的注视检测系统的示意图。

图2示出了根据本公开的教导的向示例注视检测器提供信息的三个事件，其可由图1的注视检测器实现，以确定注视方向和/或用户正在观看的媒体的一部分。

图3是可用于实现图1的注视检测器的示例注视检测器的框图。

图4A-图4B示出了可由图1和/或图3的注视检测器使用的示例参考帧。

图5是可由图1和/或图3的注视检测器实现的示例参考帧管理器的框图。

图6示出了可以是由图1和/或图3的注视检测器使用的候选参考帧的媒体帧的示例。

图7是可由图1和/或图3的注视检测器实现的示例图像管理器的框图。

图8是可由图1和/或图3的注视检测器实现的示例注视分析器的框图。

图9A-图9C示出了可由图1和/或图3的注视检测器分析的用户的(一个或多个)眼睛的示例图像。

图10示出了用户正在观看可由图1和/或图3的注视检测器使用的三个示例显示帧。

图11A-图11C示出了可由图1和/或图3的注视检测器使用的示例用户头部位置和相应的参考帧。

图12是表示可执行以实现图1和/或图3的注视检测器和/或图5、图7和/或图8的注视检测器的元素的示例机器可读指令的流程图。

图13是表示可执行以实现图1和/或图3的注视检测器和/或图5、图7和/或图8的注视检测器元素的示例机器可读指令的另一流程图。

图14是能够执行图12和/或图13的指令以实现图1和/或图3的注视检测器110和/或图5、图7和/或图8的注视检测器元素的处理器平台的框图。

具体实施方式

示例眼睛跟踪系统和/或注视检测系统可以在相对于照相机的已知位置处、也可以在(例如设备的远程系统上和/或在头戴式装置上的)固定的已知位置处提供固定照明点(例如，红外发光二极管(LED))。在这样的示例中，照相机图像检测用户眼睛中的照明点的反射并且基于该照明点和/或照相机的已知位置进行计算以确定注视方向。

在本文公开的示例中，提供了一种注视检测器，该注视检测器能够通过呈现在呈现设备上的参考帧来动态使用照明点。因此，本文公开的示例允许根据本公开的教导构造的注视检测器基于用户的环境和/或头部位置来调整照明点，以确定用户的注视方向。本文公开的示例涉及利用正在呈现媒体的呈现设备来在呈现设备上呈现的媒体帧之间插入的参考帧上呈现照明点。

示例装置包括参考帧管理器、图像管理器和注视分析器，以确定注视方向和/或用户正在观看的媒体的一部分。在本文公开的示例中，参考帧管理器在媒体的媒体帧之间以某频率将参考帧插入到媒体中，并且图像管理器标识由照相机捕获的图像，该图像包括来自用户的参考帧的反射。此外，在本文公开的示例中，注视分析器基于反射的图像确定注视方向和/或用户正在观看的媒体的一部分。

在本文公开的一些示例中，注视检测器分析注视检测器的环境的条件并且调整注视检测器和/或注视检测器所使用的参考帧的设置，以确定用户的注视方向和/或用户正在观看的媒体的一部分。在本文公开的一些示例中，注视检测器将用户观看的参考帧的位置与媒体帧的对应位置进行比较，以确定用户正在观看的对应位置处的对象。在一些这样的示例中，在媒体帧在呈现设备上呈现之前或之后立即在呈现设备上呈现参考帧。

如本文所使用的，注视方向是用户正在看或看起来正在看的角度和/或方向。例如，如果用户正在看地面上的对象，则注视方向可以是从用户的眼睛(或头部)到该对象的方向。如本文所使用的，媒体可以是在呈现设备上显示的任何内容和/或图像。媒体的示例可以包括但不限于电子设备显示、电影、电视节目等。例如，媒体可以是用户观看和/或者可访问的计算机和/或平板计算机的显示。如本文所使用的，媒体的帧或媒体帧是媒体的显示帧，其可以包括图像、图标、文本、视频帧、图像帧等。例如，以60Hz的频率呈现的媒体可以每秒呈现60个媒体帧。

图1是可用于确定用户的注视方向和/或用户正在观看的媒体的一部分的示例注视检测系统100的示意图。图1的注视检测系统100包括示例注视检测器110、呈现设备120、媒体设备130和照相机140。在图1所示的示例中，注视检测器110、呈现设备120、媒体设备130和/或照相机140可以共置在单个设备(例如，膝上型计算机、平板计算机、智能电话、台式计算机)上和/或可以位于彼此分离的设备上。根据本公开的教导，注视检测器110与呈现设备120、媒体设备130和/或照相机140通信以确定用户的注视方向。

图1的呈现设备120可以是任何类型的显示设备(例如，发光二极管(LED)、有机发光二极管(0LED)、液晶显示器(LCD)、阴极射线管显示器(CRT)、触摸屏、触觉输出设备等)。例如，呈现设备120可以是平板计算机的触摸屏或台式计算机的监视器。如本文所公开的呈现设备120呈现来自媒体设备130的媒体和来自注视检测器110的参考帧。在一些示例中，经由注视检测器110将来自媒体设备130的媒体提供给呈现设备120。如下面进一步所公开的，注视检测器110在来自媒体设备130的媒体的帧之间插入(例如，交织)参考帧。

在图1所示的示例中，媒体设备130可以是任何类型的媒体设备130，诸如膝上型计算机、平板计算机、台式计算机、机顶盒、数字视频记录器(DVR)、游戏控制台、DVD播放器、Blu-Ray^TM播放器等。在一些示例中，媒体设备130是计算机、平板计算机、智能手机等的图形驱动。另外地或替代地，媒体设备130可以从媒体提供商(例如，有线提供商、卫星提供商)和/或通信网络(例如，因特网)接收媒体。因此，媒体设备130生成、接收和/或提供用于在呈现设备120上显示的媒体。注视检测器110可以与呈现设备120并行地和/或在呈现设备120和媒体设备130之间串行地与媒体设备130通信地耦合。因此，注视检测器110可以访问媒体设备130以在媒体帧之间插入参考帧，使得呈现设备120显示媒体帧和/或参考帧。

图1的注视检测系统100的照相机140可以是任何类型的照相机(例如、单拍(single shot)照相机、摄像机、网络摄像机等)。例如，照相机140可以是膝上型计算机、平板计算机、智能电话等的照相机。如本文中由注视检测器110使用的图1的示例照相机140捕获用户的图像。照相机140可以向注视检测器110提供用户的图像，以确定注视方向和/或用户正在观看的媒体的一部分。如下面进一步公开的，照相机140捕获来自用户(例如，来自用户的(一个或多个)眼睛，来自用户的眼镜等)的参考帧的反射的图像。

因此，如本文所公开的，图1所示的示例注视检测器110使用呈现设备120、媒体设备130和/或照相机140，以确定用户的注视方向和/或确定由媒体设备130提供的用户正在观看的媒体的一部分。

图2示出了根据本公开的教导的可以在其中使用注视检测系统100的示例环境以及所分析的示例系列事件。在图2所示的示例中，用户201正在观看平板计算机200，平板计算机200可以用于实现图1的注视检测系统100。在图2所示的示例中，平板计算机包括触摸屏显示器220(其可以用于实现图1的呈现设备120)和照相机240(其可以用于实现图1的照相机140)。此外，平板计算机200包括可用于实现图1的注视检测器110的注视检测器110(例如，以诸如应用，可执行程序等的软件的形式)，以及在触摸屏显示器220上渲染显示的媒体设备(例如，平板计算机200的图形驱动和/或媒体播放器)。

在图2的示例中，由编号箭头标识的三个事件向注视检测器110提供信息，以确定注视方向和/或用户201正在观看的媒体的一部分。在事件1处，用户201正在观看触摸屏220。在图2所示的示例中，触摸屏220正在显示参考帧250。根据本公开的教导，注视检测器110在事件1之前将参考帧250插入到在呈现设备220上呈现的媒体中。在事件2处，参考帧250包括从呈现设备120朝向用户201(例如，朝向用户的眼睛)投射的照明点。在事件3处，来自触摸屏的参考帧250的反射反射离开用户201(例如，离开用户的眼睛)并且由照相机240捕获。然后，图2的照相机240可以将所捕获的图像提供给注视检测器110以用于分析。针对此背景，本公开的教导使注视检测器110能够确定注视方向和/或用户正在观看的媒体的一部分。

图3是可用于实现图1和/或图2的注视检测器110的示例注视检测器110的框图。图3的注视检测器110根据本公开的教导确定用户的注视方向和/或用户正在观看的媒体的一部分。在图3所示的示例中，注视检测器110包括参考帧管理器310、图像管理器320和注视分析器330。在图3中，通信总线340促进参考帧管理器310、图像管理器320和注视分析器330之间的通信。

图3的示例参考帧管理器310管理在图1的呈现设备120上显示的参考帧。如本文中所使用的，参考帧是用于注视方向分析的显示帧。示例参考帧400A和400B在图4A和图4B中示出。在图4A和图4B中所示示例中的参考帧400A，300B包括针对背景420的照明点410。在所示示例中，参考帧400A包括4个照明点410，并且参考帧400B包括9个照明点。示例照明点410可以是任何形状、大小和/或颜色(包括红外光)。参考帧管理器310可以创建参考帧和/或将其插入到从媒体设备130接收的媒体中。在一些示例中，如下面所公开的，参考帧管理器310可以调整参考帧的设置。如本文所使用的，参考帧(例如，图4A和图4B的参考帧400A、400B)使用呈现设备(例如，呈现设备120)的物理特性以经由呈现设备120的机构(例如，LED、LCD等)来呈现照明点(例如，照明点410)。因此，例如，呈现设备的LED可以通过呈现来自参考帧的对应的红色照明点来形成红外照明点。

另外或替代地，图3的参考帧管理器310可以标识媒体中将用作参考帧的候选参考帧，如下所述。因此，注视检测器110使用参考帧管理器来分析在呈现设备120上显示的媒体。此外，参考帧管理器310管理和/或控制(一个或多个)参考帧的照明点，以为注视检测器110提供更准确的检测能力和/或分析。在下面结合图5进一步更详细地描述参考管理器310的示例实现。

图3的所示示例中的图像管理器320管理去往/来自图1的照相机140的通信和/或数据。示例图像管理器320从照相机130接收图像和/或向照相机140发送控制指令。图3的图像管理器320分析所接收的图像(例如，执行图像处理)以检测图像中的参考帧和/或参考帧的反射。在一些示例中，图像管理器320可以接收图像的流(例如，记录的视频)。在这样的示例中，图像管理器320可以过滤掉包括来自用户的参考帧的反射的图像。例如，图像管理器320可以忽略不包括参考帧的反射的图像并且保留包括参考帧在用户的眼睛中或用户的眼镜中的反射的图像。在一些示例中，图像管理器320可以基于将参考帧插入到媒体中的频率来分析接收的图像。在一些示例中，图像管理器320可以编辑(例如，裁剪、缩放、增强等)以创建更加详细、实质性的和/或清晰的图像，以待注视分析器330分析。例如，图像管理器320可以裁剪来自由照相机140捕获的图像的(一个或多个)用户眼睛的增强图像，以向注视分析器330提供所捕获图像的(一个或多个)最实质性部分(至少用于注视检测)。

在一些示例中，图3的图像管理器320可以指示照相机140调整将捕获图像的频率。例如，图像管理器320可以指示照相机以参考帧管理器310将参考帧插入到媒体中的相同频率捕获图像。在这样的示例中，当呈现设备120呈现参考帧时以及当照相机140将捕获用户的图像时，图像管理器320和参考帧管理器310可以协调以同步，使得用户的(一个或多个)眼睛和/或眼镜的图像包括参考帧的反射。因此，图像管理器320用作图像处理器和/或用作照相机140的接口。下面结合图7进一步描述图3的图像管理器320的示例实现。

图3的示例注视分析器330分析来自参考帧管理器310和/或图像管理器330的数据以确定用户的注视方向。如本文所公开的，注视分析器330分析由呈现设备120呈现的参考帧。注视分析器330从参考帧管理器310接收参考帧和/或参考帧的信息(例如，(一个或多个)照明点图案、(一个或多个)照明点颜色、(一个或多个)照明点大小、(一个或多个)照明点位置等)。图3的注视分析器330从图像管理器320接收由图1的照相机140捕获的图像。如本文所公开的，注视分析器330将从参考帧管理器310接收的(一个或多个)参考帧(和/或信息)与从图像管理器320接收的(一个或多个)图像进行比较，以确定注视方向和/或用户正在观看的媒体的一部分。下面结合图8进一步描述图3的注视分析器330的示例实现。

虽然在图3中示出了实现图1的注视检测器110的示例方式，但是图3中所示的元素、过程和/或设备中的至少一个可以以任何其他方式组合、划分、重新布置、省略、消除和/或实施。此外，参考帧管理器310、图像管理器320、注视分析器330和/或更一般地，图3的示例注视检测器110可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，参考帧管理310、图像管理器320、注视分析器330和/或更一般地，示例注视检测器110中的任何一个可以通过(一个或多个)模拟或数字电路、(一个或多个)逻辑电路、(一个或多个)可编程处理器、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD)中的至少一个来实现。当阅读本专利的覆盖纯粹的软件和/或固件实施的任何装置或系统权利要求时，参考帧管理310、图像管理器320和/或注视分析器330中的至少一个在此被明确地定义为包括有形计算机可读存储设备或存储盘，诸如存储软件和/或固件的存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等。此外，图3的示例注视检测器110可以包括除了图3所示的那些元素之外或代替那些元素的至少一个元素、过程和/或设备，和/或可以包括任何或所有的所示元素、过程和设备中的不止一个。

图5是可用于实现图3的参考帧管理器310的示例参考帧管理器310的框图。图5的参考帧管理器310管理由呈现设备120与来自媒体设备130的媒体一起和/或在来自媒体设备130的媒体内呈现的参考帧。在图5所示的示例中，参考帧管理器310包括媒体分析器510、参考帧生成器520和显示控制器530。在图5所示的示例中，来自媒体设备130的媒体由媒体分析器510接收并被转发到显示控制器530。图5的显示控制器530从参考帧生成器520接收媒体和/或参考帧，并将该媒体和/或参考帧作为显示数据提供给呈现设备120。如本文所使用的，显示数据和/或显示帧指代包括由呈现设备(例如，呈现设备120)渲染和/或呈现的媒体帧和/或参考帧的数据和/或帧。

图5的媒体分析器510分析从媒体设备130接收和/或取回的媒体。媒体分析器510分析该媒体以标识该媒体的特性。例如，媒体分析器510可以确定媒体的频率(例如，每秒的帧)。这样的信息在确定显示帧的比或百分比中可以是有用，显示帧可以是相对于媒体帧的参考帧。在一些示例中，媒体分析器510将所确定的信息提供给注视分析器330用于注视检测分析。在一些示例中，参考帧管理器310可以寻求以参考帧不是人不可检测的方式将参考帧插入到媒体中。在这样的示例中，如果参考帧管理器310将参考帧太频繁地插入到由呈现设备120呈现的媒体(例如，显示数据)中，则用户适当地观看媒体的能力可能受到负面影响。例如，将参考帧太频繁地插入显示数据中可能使用户能够在呈现设备120上检测到参考帧的显示，因此破坏了媒体的回放和/或清晰度。因此，使用确定的媒体频率(例如，每秒的帧)，参考帧管理器310寻求以用户不会意识到呈现了参考帧的频率插入参考帧。

在一些示例中，图5的媒体分析器510可以分析媒体和/或媒体帧，以标识固有地存在于媒体和/或媒体帧内的照明点。例如，图6A和图6B分别示出了示例的第一和第二媒体帧610和620。图6A的所示示例中的第一媒体帧610包括包含明月的夜空的图像。在这样的示例中，媒体分析器510可以将明月标识为照明点630。图6B的所示示例中的第二媒体帧620包括车辆的前灯的图像。在这样的示例中，媒体分析器510可以将前灯标识为照明点640。如本文所公开的，在媒体分析器510标识候选照明点和/或将注视检测器110配置为使用来自媒体帧的照明点的示例中，参考帧管理器310可将候选照明点630、640的位置(例如，x、y坐标)传送到注视分析器330，以用于图像分析和/或确定用户的注视方向。因此，如本文所使用的，在本文中可将固有地存在于媒体帧内的照明点称为参考帧的照明点。因此，如本文所公开的，媒体分析器510可以分析接收到的媒体的每一帧并且使得参考帧管理器310和/或注视检测器110能够动态地管理参考帧，参考帧用于确定注视方向和/或用户正在观看的媒体的一部分。

在图5所示的示例中，参考帧生成器520创建参考帧，该参考帧将由呈现设备120呈现、从用户(例如，从用户的(一个或多个)眼睛、眼镜等)反射、由照相机140捕获和/或由注视分析器330分析。参考帧生成器520生成参考帧(例如，分别为图4A和图4B的参考帧400A、400B)，并将生成的参考帧提供给显示控制器530。基于用户的设置和/或来自注视分析器330的指令，参考帧生成器520基于照明点图案、照明点大小、照明点颜色、背景类型、背景颜色等生成参考帧。如在下文中结合图8的注视分析器330进一步详细地公开的，在一些示例中，在注视分析器330确定对参考帧的调整将增强注视检测时，参考帧生成器520连续不断地等待来自注视分析器330的指令以调整参考帧的设置(例如，照明点图案、照明点大小、照明点颜色等)。因此，图5的参考帧生成器520生成由呈现设备120呈现的参考帧，以确定用户的注视方向和/或用户正在观看的媒体的一部分。

图5的示例显示控制器530从接收的媒体帧和/或参考帧生成显示数据。显示控制器530向呈现设备120提供显示数据和/或显示帧，呈现设备120对显示数据和/或显示帧进行渲染。因此，显示控制器530将参考帧插入到媒体中。在一些示例中，显示控制器530通过替换至少一个媒体帧来插入参考帧。在一些示例中，显示控制器530在媒体的两个媒体帧之间插入参考帧。根据用户指令和/或从注视分析器330接收的指令，显示控制器530插入参考帧和/或输出显示数据。例如，基于由媒体分析器510确定的媒体的频率，注视分析器330可以指示显示控制器530增加或减少将参考帧插入到显示数据中的频率。

因此，图5的参考帧管理器310管理用于注视检测器110的注视检测的参考帧。经由通信总线340，图5的参考帧管理器310提供参考帧信息、媒体信息和/或媒体帧。

虽然在图5中示出了实现图3的参考帧管理器310的示例方式，但是图5中所示的元素、过程和/或设备中的至少一个可以以任何其他方式组合、划分、重新布置、省略、消除和/或实施。此外，媒体分析器510、参考帧生成器520、显示控制器530和/或更一般地，图5的示例参考帧管理器310可以通过硬件、软件、固件、和/或硬件、软件和/或固件的任何组合来实现。因此，例如媒体分析器510、参考帧生成器520、显示控制器530和/或更一般地，示例参考帧管理器310中的任何一个可以由(一个或多个)模拟或数字电路、(一个或多个)逻辑电路、(一个或多个)可编程处理器、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD)中的至少一个来实现。当阅读本专利的覆盖纯粹的软件和/或固件实现的任何装置或系统权利要求时，媒体分析器510，参考帧生成器520和/或显示控制器530中的至少一个在此被明确地定义为包括有形计算机可读存储设备或存储盘，诸如存储软件和/或固件的存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等。此外，图5的示例参考帧管理器310可以包括除了图5所示的那些之外或代替那些的至少一个元素、过程和/或设备，和/或可以包括任何或所有所示元素、过程和设备中的不止一个。

图7是可用于实现图3的图像管理器320的示例图像管理器320的框图。图7的图像管理器320管理由照相机140捕获的图像和/或促进与照相机140的通信。在图5的所示示例中，图像管理器320包括照相机接口710、图像过滤器720和图像编辑器730。在图7的所示示例中，来自照相机的图像由照相机接口710接收。在图7的所示示例中，照相机接口710将图像转发到图像过滤器720，图像过滤器720将过滤的图像转发到图像编辑器730。

图7的示例照相机接口710可以向照相机140(和/或照相机140的控制器)提供指令以用于捕获用户的图像。例如，响应于经由通信总线340从注视分析器330接收指令，照相机接口710可以指示照相机140以指定频率(例如，与参考帧管理器310正向媒体(或显示数据)中插入参考帧的频率相同的频率或更快的频率)捕获图像。在一些示例中，照相机接口710可以指示照相机140流传输捕获的图像(例如，记录和/或提供视频)。在一些示例中，照相机接口710可以向照相机140提供更详细的捕获指令。例如，照相机接口710可以指示照相机140使用运动检测和/或面部识别来捕获聚焦和/或集中在用户或用户的面部和/或(一个或多个)眼睛上的图像。如在下文中结合图8进一步详细描述的，在一些示例中，照相机接口710可以将照相机140捕获的所有图像提供给注视分析器330，用于分析用户环境的条件。

图7的所示示例的图像过滤器720分析图像以标识可由注视分析器330针对注视检测进行分析的图像。因此，图像过滤器720标识来自照相机140的图像，该图像包括来自用户(例如，来自用户的(一个或多个)眼睛和/或眼镜)的参考帧的反射。因此，图像过滤器720可以接收过滤器指令以标识来自参考帧管理器310和/或注视分析器330的特定照明点和/或参考帧特性。在一些示例中，可以将时间同步信息包括在过滤指令中，该过滤指令指示在其期间图像过滤器720将开始和/或结束过滤图像的时段，以基于何时将参考帧插入到媒体中来标识参考帧。基于接收到的指令，图像过滤器720在从照相机140接收的图像中标识来自用户的反射的对应图像。例如，图像过滤器720确定将在来自用户的眼睛的反射中标识特定照明点和/或照明点图案。图7的图像过滤器720可以删除、移除和/或忽略不包括参考帧的反射的图像。在一些示例中，图像过滤器720将包括参考帧的反射的图像转发到图像编辑器730。另外或替代地，图像过滤器720可经由通信总线340向注视分析器330提供包括参考帧的反射的图像。

在图7的所示示例中，图像编辑器730可以提炼(refine)来自图像过滤器720的图像。在一些示例中，图像编辑器730可以接收由照相机140捕获和/或由照相机接口710接收的所有图像。示例图像编辑器730可以对图像裁剪、放大、增强以进行分析。例如，图像编辑器730可以执行图像处理以标识对于注视检测而言感兴趣的图像的部分(例如，用户的(一个或多个)眼睛和/或面部)。然后，图像编辑器730可以从由照相机140捕获的图像的裁剪部分生成新图像。这样的新图像可以由图像编辑器730放大、增强(例如聚焦)等。因此，图像编辑器730可以针对在分析来自用户的参考帧和/或照明点的反射的中的增加的准确度来向注视分析器330提供增强的图像。

虽然在图7中示出了实现图3的图像管理器320的示例方式，但是图7中所示的元素、过程和/或设备中的至少一个可以以任何其他方式组合、划分、重新布置、省略、消除和/或实施。此外，照相机接710，图像过滤器720，图像编辑器730和/或更一般地，图7的示例图像管理器320可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如照相机接口710、图像过滤器720，图像编辑器730和/或更一般地，示例图像管理器320中的任一个可以由(一个或多个)模拟或数字电路，(一个或多个)逻辑电路，(一个或多个)可编程处理器，(一个或多个)专用集成电路(一个或多个)ASIC)，(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD)中的至少一个来实现。当阅读本专利的覆盖纯粹的软件和/或固件实现的任何装置或系统权利要求时，照相机接口710、图像过滤器720和/或图像编辑器730中的至少一个被清楚地定义以包括存储软件和/或固件的有形计算机可读存储设备或存储盘，诸如存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等。此外，图7的示例图像管理器320可以包括：除了图7中所示的那些之外或代替那些的至少一个元素、过程和/或设备，和/或可以包括任何或所有所示元素、过程和设备中的不止一个。

图8是可用于实现图3的注视分析器330的示例注视分析器330的框图。通过使用来自图3和/或图5的参考帧管理器310和/或图3和/或图7的图像管理器320，图8的注视分析器330确定用户的注视方向和/或用户正在观看的媒体的一部分。在图8的所示示例中，注视分析器330包括图像分析器810、注视方向计算器820、媒体比较器830和条件分析器840。在图8中，通信总线850促进图像分析器810、注视方向计算器820、媒体比较器830和条件分析器840之间的通信。

图8的图像分析器810分析由照相机140捕获和/或从图像管理器320接收的图像。图像分析器810分析图像以标识照明点、参考点和/或用户特性。例如，图像分析器810可以标识与用户的瞳孔和/或虹膜有关的(一个或多个)照明点。现在参考图9A-图9C，图像分析器810执行在由照相机140捕获的图像中标识的用户的(一个或多个)眼睛900的聚焦分析。在图9A中，图像分析器810标识用户的眼睛900中的两个照明点910的反射、用户的瞳孔920和虹膜930。在图9B中，图像分析器810标识四个照明点910的反射、用户的瞳孔920和用户的虹膜930。在图9C中，图像分析器810标识用户的八个照明点910、两个瞳孔920和两个虹膜930。在图9A-图9C的所示示例中，照明点910对应于由用户的(一个或多个)眼睛900观看的呈现设备(例如，呈现设备120)呈现的参考帧的照明点。图像分析器810还可以从图像(例如，基于照相机的设置、来自图像管理器320的编辑等)标识和/或确定缩放信息。然后，图像分析器810可以向注视方向计算器820提供图像中的标识出的感兴趣点的坐标和/或其他图像信息。在一些示例中，图像分析器810和/或注视分析器330可以向照相机140提供指令以增加光学和/或数字变焦的水平。

在一些示例中，图8的图像分析器810标识注视检测系统100和/或用户的环境的条件。例如，图像分析器810可以从照相机140和/或图像管理器320接收图像的流(例如，视频)并标识环境的特性。例如，图像分析器810可以标识图像中的(一个或多个)对比度(contrast)(例如，在反射的照明点和用户的眼睛之间、已标识的图像对象之间等)。在下面结合条件分析器840进一步描述这样的示例。

图8的所示示例中的注视方向计算器820分析由图像分析器820在图像中标识的感兴趣的(一个或多个)点来计算用户的注视方向。在一些示例中，注视方向计算器820标识对应于图像分析器810分析的图像的参考帧，该图像呈现在呈现设备120上。因此，在这样的示例中，注视方向计算器820可将由呈现设备120呈现的参考帧与分析的图像中来自用户的参考帧的反射进行比较，以确定注视方向。例如，注视方向计算器820可以标识参考帧中的照明点图案和在用户的眼睛中反射的对应照明点的位置，以确定用户的注视方向。此外，注视方向计算器820使用用户的特征或参考点(例如，用户的(一个或多个)眼睛和/或眼镜)来确定注视方向。例如，基于反射的照明点相对于(一个或多个)参考点的位置，注视方向计算器820可以标识用户的至少一个参考点(例如，用户的瞳孔、用户的虹膜等)以计算注视方向。在一些示例中，注视方向计算器820可以计及用户的眼睛和/或眼镜的曲率。注视方向计算器可以使用各种数学公式，以使用从本文公开的反射的图像确定的变量(例如，照明点、参考点之间的距离等)来计算注视方向和/或呈现设备的位置。

参考作为示例的图4A和图9B，假设呈现设备120显示参考帧400A，并且照相机140捕获到图9B的眼睛900的图像，该图像包括参考帧400A的反射。在这样的示例中，图4A的照明点410对应于图9B的照明点910。因此，基于照明点910相对于眼睛910的瞳孔和/或虹膜930的位置，注视方向计算器820可以确定图9B的眼睛900正在以向下的角度注视并且注视照相机140的左侧。示例注视方向计算器820可以向媒体比较器830提供注视方向信息以确定用户正在观看的媒体的一部分。在一些示例中，基于分析的图像中的反射的照明点的位置，注视方向计算器820可以计算呈现设备120的对应位置。例如，基于照明点910相对于眼睛900的瞳孔920和/或虹膜930的位置，注视方向计算器820可以将图9的照明点910的位置转化(translate)到参考帧400A上的位置。因此，注视方向计算器820可基于照明点910、瞳孔920和/或虹膜930的位置来计算数学公式。

图8的所示示例的媒体比较器830确定用户正在观看的媒体的一部分。媒体比较器830将从注视方向计算器820接收的注视方向信息与在用于计算注视方向的参考帧之前或之后呈现的媒体帧进行比较。例如，根据注视方向计算器820的计算，注视分析器330可以确定用户正在观看的参考帧的位置。然后，媒体比较器830可以将所计算的位置与在参考帧之前或之后呈现的媒体帧的对应位置进行比较，以确定正在观看的媒体的部分。

针对由媒体比较器830执行的示例分析，图10示出了用户1000在媒体设备1030(例如，平板计算机)的呈现设备1020上观看三个顺序显示的帧1002、1004、1006的示例。媒体设备1030可以包括注视检测器110和/或与注视检测器110通信。在图10的示例中，第一帧1002在时间T₁呈现、第二帧1004在时间T₂呈现、并且第三帧在时间T₃呈现，使得T₁在T₂之前并且T₂在时间上T₃之前。在图10的所示示例中，第一帧1002是包括对象1008(例如，人的图像)的媒体帧，并且第三帧1006是包括对象1008的媒体帧。然而，第二帧1004是包括照明点1010的参考帧。在图10中，基于对用户的眼睛中反射的参考帧的图像的分析，其指示用户1000正在观看呈现设备1020的特定位置1050，注视检测器110的媒体比较器830确定用户1000正在观看对象1008。因此，由于对象1008在观看参考帧(尽管用户1000可能不知道他/她观看了该参考帧)时呈现在用户观看的呈现设备1020的相同位置中，所以媒体比较器830可以确定用户正在观看对象1008。

在一些示例中，图8的媒体比较器830可以标识在对应位置(例如，图10的位置1050)处的对象(例如，图标、文本、图像、超链接、按钮、标签等)。在这样的示例中，注视分析器330和/或注视检测器110可以向与注视检测器110相关联的处理器(例如，图14的处理器1412)提供信息以用于设备的控制。在一些示例中，这种标识的对象可以用于控制注视检测系统100和/或与注视检测系统100相关联的设备(例如，计算机、平板计算机、智能电话等)。例如，注视分析器330可以确定用户已经选择了对象(例如，基于用户观看该对象的时间长度、基于在观看对象时的眨眼数量等)。

图8的条件分析器840监视注视检测器110和/或用户的环境的条件。示例条件分析器840可以向参考帧管理器310和/或图像管理器320提供反馈，以调整用于确定用户的注视方向和/或用户正在观看的媒体的一部分的对应设置。

在一些示例中，图8的条件分析器840监视用户的头部位置。如本文所使用的，用户的头部位置指的是用户头部在头框(headbox)中相对于呈现设备120和/或照相机140的位置。如本文所使用的，头框是与呈现设备(例如，呈现设备120)有关的观看空间，其可由照相机(例如，照相机140)捕获。例如，基于从图像管理器320和/或照相机140接收和/或取回的图像，条件分析器840可以执行运动检测和/或面部识别。

图11A-图11C示出了由条件分析器840执行的示例分析以及由参考管理器310基于来自条件分析器840的反馈生成的对应参考帧。在图11A中，用户的头部1100位于头框1110的中央。因此，在图11A中，基于来自条件分析器840和/或注视分析器330的指令，参考帧管理器310生成并插入包括居中照明点1130的第一参考帧1120。在图11B中，用户的头部被移动(shift)到头框1110的左侧。因此，在图11B中，基于来自条件分析器840和/或注视分析器330的指示头部位置中的对应移动的指令，参考帧管理器310生成和/或插入包括移动到参考帧1130的右边的照明点的第二参考帧1130。在图11B中，照明点移动到参考帧1130的右侧，因为参考帧的右侧由于用户1100和照相机140的相对的视点(perspective)而是与头部位置的相同的物理侧。在图11C中，用户的头部移动到头框1110的右侧。因而，在图11C中，基于来自条件分析器840和/或注视分析器330的指示头部位置中的对应移动的指令，参考帧管理器310生成和/或插入包括向参考帧1140的左侧移动的照明点的第三参考帧1140。

在一些示例中，图8的条件分析器840监视注视检测器110和/或用户的环境的环境光。例如，条件分析器可以标识对象之间的对比度(或其不存在)，以确定在来自图像管理器320和/或照相机140的图像中存在亮光或暗光。基于确定的照明，条件分析器840可以指示参考帧管理器310调整所生成和/或插入的参考帧的设置。例如，条件分析器840和/或注视分析器330可以确定参考帧管理器310应当生成并插入具有不同颜色的照明点、不同大小的照明点和/或不同照明点图案的参考帧。

因此，图8的条件分析器840使得注视检测器能够动态地适配照明点位置、颜色和/或图案以计及用户和/或注视检测器110的环境的条件。在一些示例中，在注视检测器110在用户的反射中标识每个参考帧之后，条件分析器840可以基于所分析的环境条件来确定是否要针对后续的参考帧调整设置。在一些示例中，条件分析器840连续监视从图像管理器320和/或照相机140流传输的图像以分析环境的条件。

虽然在图8中示出了实现图3的注视分析器330的示例方式，但是图8中所示的元素、过程和/或设备中的至少一个可以以任何其他方式组合、划分、重新布置、省略、消除和/或实施。此外，图像分析器810、注视方向计算器820、媒体比较器830、条件分析器840和/或更一般地，图8的示例注视分析器330可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，图像分析器810、注视方向计算器820、媒体比较器830、条件分析器840和/或更一般地，示例注视分析器330中的任何一个可以通过(一个或多个)模拟或数字电路、(一个或多个)逻辑电路、(一个或多个)可编程处理器、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD)中的至少一个来实现。当阅读本专利的覆盖纯软件和/或固件实现的任何装置或系统权利要求时，图像分析器810、注视方向计算器820、媒体比较器830和/或条件分析器840中的至少一个由此明确地定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘，诸如存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等。此外，图8的示例注视分析器330可以包括除了图8所示的那些之外或代替那些的至少一个元素、过程和/或设备，和/或可以包括任何或所有的所示元素、过程和设备中不止一个。

因此，结合图1、图3、图5、图7和/或图8公开的注视检测器110可以确定用户的注视方向和/或用户正在观看的媒体的一部分。在一些示例中，注视检测器110可用于设备(例如，计算机、平板计算机、智能电话等)的控制，该设备与注视检测器110相关联和/或与注视检测器110通信地耦合。

在图12和/或图13中示出了表示用于实现图3的注视检测器110和/或图5、图7和/或图8的注视检测器110的元素示例机器可读指令的流程图。在这些示例中，机器可读指令包括用于由处理器执行的(一个或多个)程序，处理器诸如下面结合图14讨论的示例处理器平台1400中所示的处理器1412。程序可以在存储在有形计算机可读存储介质上的软件中来实现，有形计算机可读存储介质诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光盘、或与处理器1412相关联的存储器，但是整个程序和/或其部分也可以替代地由除了处理器1412之外的设备来执行和/或在固件或专用硬件中实现。此外，尽管参考图12和/或图13中所示的流程图描述了示例程序，但是可以替代地使用实现图3的注视检测器110和/或图5、图7和/或图8的注视检测器110的元素的示例的许多其他方法。例如，可以改变块的执行的顺序，和/或可以改变、消除或组合所描述的块中的一些。

(例如，响应于来自用户的指令、响应于启动、响应于对与注视检测器110相关联和/或包括注视检测器110的设备通电等)，图12的程序1200从图1和/或图3的注视检测器110的启动开始。执行程序1200以检测用户的注视方向和/或确定用户正在观看的媒体的一部分。

在图12的所示示例的框1210处，图3和/或图5的示例参考帧管理310在显示器上呈现的媒体的帧之间插入参考帧。在呈现设备(例如，呈现设备120)上在媒体帧之间呈现框1210的参考帧。如本文所公开的，参考帧的图像从用户反射，并且在框1220处，注视分析器330分析参考帧的反射的图像。

在图12的框1230处，注视分析器1230基于参考帧的反射确定用户观看的媒体的一部分。如本文所公开的，基于计算出的用户的注视方向和/或将注视方向与在图12的参考帧框1210之前和/或之后呈现的媒体帧进行比较，注视分析器1230可以确定媒体的该部分。

在一些示例中，可以迭代地执行图12的程序1200以实现图1和/或图3的注视检测器110。例如，程序1200的第一迭代可以包括在框1210处插入第一参考帧、在框1220处对第一参考帧的反射的第一图像的分析以及基于第一图像的在框1230处的第一确定。在这样的例子中，程序1200的第二迭代可包括在框1210处插入第二参考帧、在框1220处对第二参考帧的反射的第二图像的分析以及基于第二图像在框1230处的第二确定。因此，程序1200的迭代可以用于连续监视用户的注视方向和/或监视用户正在观看的媒体的一部分。

图13的另一程序1300开始于图1和/或图3的注视检测器110的启动。图13的程序1300使得注视检测器110能够监视的环境并且动态地调整注视检测器110的设置。例如，程序1300可以根据照相机140记录/监视注视检测系统100的环境来执行，以确定注视检测器110的设置，这些设置可以增加确定用户的注视方向和/或确定用户正在观看的媒体的一部分的准确度。图13的程序1300可以在图12的程序1200之前、之后执行和/或与图12的程序1200同时执行。在一些示例中，图13的程序1300可以在图12的程序1200的迭代之之间执行。

在框1310处，条件分析器840分析注视检测器110的环境。可经由照相机140捕获的环境的图像来分析框1310的示例环境。在一些示例中，框1310的分析图像是从图像管理器320接收的图像，该图像包括来自用户的参考帧的反射。在一些示例中，框1310的已分析图像可以是由照相机140捕获和/或从图像管理器320接收的视频流的图像。例如，在框1310处，条件分析器840可以确定用户的头部位置和/或环境的照明条件。

在框1330处，条件分析器840基于所分析的环境来确定是否需要对注视检测器110的调整。例如，在框1330处，条件分析器840可以基于环境的条件(例如，头部位置正在阻碍准确的注视检测，和/或光条件正在妨碍能够标识用户的(一个或多个)眼睛中反射的照明点，等等)来确定不能进行注视检测。在一些示例中，在框1330处，条件分析器840基于图像的对比度和/或先前图像的分析来确定是否需要调整。如果条件分析器840确定不需要调整，则控制前进到框1360。如果在框1320处，条件分析器840确定需要调整，则条件分析器840和/或注视分析器330基于所分析的环境确定针对注视检测器110的适当调整(框1340)。将对注视检测器110进行的调整的示例包括但不限于，调整下一参考帧的设置(例如，照明点图案、照明点位置、照明点颜色、照明点大小、背景颜色等)，该下一参考帧将由参考帧管理器310插入到媒体中并由将由照相机140捕获、调整照相机140的照相机设置(例如，运动检测、面部识别、缩放、聚焦、颜色影响等)、向用户发信号以调整设置。

在框1350处，参考帧管理器310生成待插入到媒体中的下一参考帧。在一些示例中，在框1350处，基于所确定的框1340的适当调整来调整所生成的下一参考帧(例如，不同照明点图案、不同照明点位置等)。在一些示例中，生成的下一帧相对由参考帧管理310生成的之前的参考帧基本上不改变。如本文中所公开的，在框1360处，参考帧管理器310将下一参考帧插入到媒体中。

在图13的所示示例中，注视检测器110确定是否针对动态调整继续监视。如果注视检测器110将针对动态调整继续监视，则控制返回到框1310。如果在框1370处，注视检测器110不针对动态调整继续监视(例如，基于用户指令、注视检测器的关闭等)，则程序1300结束。

如上所述，图12和/或图13的示例过程可以使用存储在有形计算机可读存储介质上的编码指令(例如，计算机和/或机器可读指令)来实现，有形的计算机可读存储介质诸如硬盘驱动器、闪存、只读存储器(ROM)、光盘(CD)、数字通用盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘，信息在其中存储持续任何持续时间(例如，持续延长的时段、永久地、持续短暂时刻、用于临时缓冲和/或用于信息的高速缓存)。如本文所使用的，术语有形计算机可读存储介质被明确定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号以及排除传输媒体。如本文所使用的，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外或替代地，可以使用存储在非暂时性计算机和/或机器可读介质上的编码指令(例如，计算机和/或机器可读指令)来实现图12和/或图13的示例过程，所述非暂时性计算机和/或机器可读介质诸如是硬盘驱动器、闪存、只读存储器、光盘、数字通用盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘，信息在其中存储持续任何持续时间(例如，持续延长的时间段、永久地、持续短暂的时刻、用于临时缓冲和/或用于信息的高速缓存)。如本文所使用的，术语非暂时性计算机可读介质被明确定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号以及排除传输媒体。如本文所使用的，当短语“至少”用作权利要求的前序中的过渡术语时，其以与术语“包括”是开放式的相同的方式是开放式的。此外，如本文所使用的，使用“一”或“一个”可以暗示“至少一个”。

图14是能够执行图12和/或13的指令以实现图1和图3的注视检测器110和/或图5、图7和/或图8的注视检测器元素的示例处理器平台1400的框图。处理器平台1400可以是例如服务器、个人计算机、移动设备(例如，蜂窝电话、智能电话，诸如iPad^TM的平板计算机)、个人数字助理(PDA)、因特网设备、DVD播放器、CD播放器、数字视频记录器、蓝光播放器、游戏控制台、个人视频记录器、机顶盒或任何其他类型的计算设备。

图14的所示示例的处理器平台1400包括处理器1412。所示示例的处理器1412是硬件。例如，处理器1412可以由来自任何期望的族或制造商的至少一个集成电路、逻辑电路、微处理器或控制器来实现。

所示示例的处理器1412包括本地存储器1413(例如，高速缓存)。所示示例的处理器1412经由总线1418与包括易失性存储器1414和非易失性存储器1416的主存储器通信。易失性存储器1414可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备实现。非易失性存储器1416可以由闪存和/或任何其他期望类型的存储器设备来实现。对主存储器1414、1416的访问由存储器控制器控制。

所示示例的处理器平台1400还包括接口电路1420。接口电路1420可以通过任何类型的接口标准来实现，接口标准诸如以太网接口、通用串行总线(USB)和/或PCI快速接口。

在所示示例中，至少一个输入设备1422连接到接口电路1420。(一个或多个)输入设备1422允许用户将数据和命令输入到处理器1412中。可以通过例如音频传感器、麦克风、照相机(静止或视频)、键盘、按钮、鼠标、触摸屏、轨迹板、轨迹球、isopoint和/或语音识别系统来实现(一个或多个)输入设备。

至少一个输出设备1424还连接到所示示例的接口电路1420。(一个或多个)输出设备1424可以例如由显示设备(例如，发光二极管(LED)、有机发光二极管(0LED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、发光二极管(LED)、打印机和/或扬声器)来实现。因此，所示示例的接口电路1420通常包括图形驱动卡、图形驱动芯片或图形驱动处理器。

所示示例的接口电路1420还包括通信设备，诸如发射机、接收机、收发机、调制解调器和/或网络接口卡，以促进经由网络1426(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如，任何类型的计算设备)的数据交换。

所示示例的处理器平台1400还包括用于存储软件和/或数据的至少一个大容量存储设备1428。这种(一个或多个)大容量存储设备1428的示例包括软盘驱动器、硬盘驱动器盘、压缩盘驱动器、蓝光盘驱动器、RAID系统和数字通用盘(DVD)驱动器。

图12和/或图13的编码指令1432可以存储在大容量存储设备1428中、易失性存储器1414中的本地存储器1413中、非易失性存储器1416中和/或诸如CD或DVD的可移动有形计算机可读存储介质上。

根据上述内容，将理解，上文中公开的方法、装置和制品提供注视检测系统和/或注视检测器，其利用与媒体帧交织的参考帧来确定注视方向和/或用户观看的媒体的一部分。此外，本文所公开的示例提供了动态地调整照明点，以在基于环境条件和/或用户位置来确定用户的注视方向中使用，如本文所公开的那样。因此，使用呈现参考帧和由照相机捕获的参考帧的反射的图像的呈现设备，而不是使用固定照明点(和对应的固定照明点硬件)和/或头戴式照明点单元，本文公开的注视检测器可以实现标识用户注视方向中的增加的准确度。

尽管本文已经公开了某些示例方法、装置和制品，但是本专利的覆盖范围不限于此。相反，本专利覆盖了完全落入本专利的权利要求的范围内的所有方法、装置和制品。