用于对象跟踪的相机和光源同步的制作方法
【专利说明】
【背景技术】
[0001]在各种应用中都已经实现了远程眼睛和视线跟踪系统，以跟踪用户的眼睛运动和/或用户正在看的方向。此类应用的范围从严肃的(例如机场保安系统)扩展到好玩的(例如视频游戏化身渲染)。典型的眼睛跟踪系统可使用各种技术来跟踪用户的眼睛运动。例如，在一些实现中，使用红外传感器来检测来自人的视网膜/角膜的反射。
[0002]数字相机已经变成了无所不在的消费装置，经常合并在其它数字电子装置(诸如智能电话、平板计算机)以及其它计算装置中。典型的数字相机包含图像传感器(诸如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)图像传感器)，其可由单独的像素传感器阵列形成。取决于数字相机的类型，关联的图像传感器可操作在全局快门模式或卷帘快门模式。在全局快门相机中，单独的像素传感器的整个阵列在相同时间窗期间曝光并捕获。相反，在卷帘快门相机中，像素传感器阵列的各部分在不同时间捕获。然而，因为在卷帘快门相机中不在同一时间点捕获整个图像，所以捕获的图像可由于各种现象而失真。例如，快速运动或照明改变可导致在生成的图像中出现伪影。此外，传感器读出时间可比理想曝光时间长很多。然而，卷帘快门相机相对于全局快门相机时常受益于改进的图像质量和降低的成本。
[0003]在操作时，卷帘快门相机通过陆续读出关联图像传感器的像素传感器(“传感器线”)的行或列来捕获图像(例如作为视频帧)。每个传感器线以顺序卷帘基础读出。类似地，传感器线在读出先前以卷帘顺序基础重置。确切地说，在那个传感器线的读出时间先前的预定时间量，每个传感器线被重置(即，任何存储的信息都被丢弃)，使得在重置之后的相同时间量内使每个传感器线曝光。给定图像传感器的传感器线的总体数量定义关联相机的分辨率(即，传感器线的数量越大导致图像分辨率越高)。
【附图说明】
[0004]本文描述的概念在附图中作为示例而非作为限制图示。为了图示的简洁和清晰起见，在附图中图示的元件不一定按比例绘制。视情况而定，附图标记在各图之间已经被重复了以指示对应或类似元件。
[0005]图1是具有相机和光源同步的成像装置的至少一个实施例的简化框图；
图2是图1的成像装置的环境的至少一个实施例的简化框图；
图3是用于执行图1的成像装置上的相机和光源同步的方法的至少一个实施例的简化流程图；
图4是用于重置在图1的成像装置上具有相机和光源同步的传感器线的方法的至少一个实施例的简化流程图；
图5是用于读取在图1的成像装置上具有相机和光源同步的传感器线的方法的至少一个实施例的简化流程图；以及图6是图1的成像装置上的相机和光源同步的至少一个实施例的简化时间图。
【具体实施方式】
[0006]虽然本公开的概念易受到各种修改和备选形式，但其特定实施例已经在附图中作为示例示出，并且将在本文中详细描述。然而，应该理解，没有意图将本公开的概念局限于所公开的具体形式，而是相反，本发明覆盖与本公开和所附权利要求书一致的所有修改、等同物和备选。
[0007]在说明书中提到“一个实施例”、“实施例”、“图示实施例”等指示所描述的实施例可包含具体特征、结构或特性，但每一个实施例可以一定或者可以不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实施例。另外，当结合实施例描述具体特征、结构或特性时，认为结合不管是否明确描述的其它实施例实现此类特征、结构或特性在本领域技术人员的知识范围内。此外，应该认识到，包含在以“至少一个A、B和C”形式的列表中的项目可意味着(A); (B); (C); (A和B); (B和C)或(A，B和C)。类似地，包含在以“A、B或C中的至少一个”形式的列表中的项目可意味着(A) ； (B) ； (C) ； (A和B) ； (B和C)或(A, B和C)
所公开的实施例在一些情况下可用硬件、固件、软件或它们的任何组合来实现。所公开的实施例也可实现为由易失性或非易失性机器可读(例如计算机可读)介质携带或存储在其上的指令，其可由一个或多个处理器读取和执行。机器可读存储介质可实施为用于存储或传送由机器(例如易失性或非易失性存储器、媒体盘或其它媒体装置)可读形式的信息的任何存储装置、机制或其它物理结构。
[0008]在附图中，一些结构或方法特征可按特定布置和/或排序示出。然而，应该认识到，可能不需要此类特定布置和/或排序。而是，在一些实施例中，此类特征可按与在说明性附图中示出的不同的方式和/或次序布置。此外，在具体附图中包含结构或方法特征不打算暗示此类特征在所有实施例中都需要，并且在一些实施例中，可能不包含或者可与其它特征组合。
[0009]现在参考图1，在说明性实施例中，成像装置100包含相机120和与之关联的一个或多个光源(例如曝光灯)122。如下面更详细论述的，相机120包含多个传感器线130，并配置成操作在卷帘快门模式。在使用时，成像装置100配置成使相机120的传感器线130的读取/重置和关联光源122的激活同步。如下面详细论述的，此类同步可降低与激活光源关联的成像装置100的能耗，并且由此改进成像装置100的能效，因为仅在捕获期望对象(例如用户的眼睛)所需的时期内激活光源。在一些实施例中，同步也可降低运动模糊和其它图像伪影的发生率，和/或以最小或降低的成本来改进图像质量。
[0010]成像装置100可被实施为能够进行相机和光源同步并执行本文描述的功能的任何类型计算装置。例如，成像装置100可实施为独立式数字相机、蜂窝电话、智能电话、平板计算机、膝上型计算机、个人数字助理、移动因特网装置、台式计算机和/或任何其它计算/通信装置。如图1所示，说明性成像装置100包含处理器110、输入/输出("I/O")子系统112、存储器114、数据存储装置116、通信电路118、相机120、一个或多个光源122和一个或多个外围装置124。当然，在其它实施例中，成像装置100可包含其它或附加组件，诸如通常在典型计算装置(例如各种输入/输出装置)中发现的组件。此外，在一些实施例中，一个或多个说明性组件可结合在另一组件中，或另外来自另一组件的一部分。例如，在一些实施例中，存储器114或其部分可合并在处理器110中。
[0011]处理器110可被实施为能够执行本文描述的功能的任何类型处理器。例如，处理器可实施为单核或多核处理器、数字信号处理器、微控制器或其它处理器或处理/控制电路。类似地，存储器114可实施为能够执行本文描述的功能的任何类型易失性或非易失性存储器或数据存储装置。在操作中，存储器114可存储在操作成像装置100(诸如操作系统、应用、程序、库和驱动)期间使用的各种数据和软件。存储器114以通信方式经由I/O子系统112耦合到处理器110，I/O子系统104可实施为电路和/或组件以便于与成像装置100的处理器110、存储器114和/或其它组件的输入/输出操作。例如，I/O子系统112可实施为或以别的方式包含存储器控制器集线器、输入/输出控制集线器、固件装置、通信链路(即，点对点链路、总线链路、导线、电缆、光导、印刷电路板迹线等)和/或其它组件和子系统以便于输入/输出操作。在一些实施例中，I/O子系统112可形成片上系统(SoC)的一部分，并与成像装置100的处理器110、存储器114和其它组件一起结合在单个集成电路芯片上。
[0012]数据存储装置116可实施为配置用于数据的短期存储或长期存储的任何类型装置，诸如例如存储器装置和电路、存储卡、硬盘驱动器、固态驱动器或其它数据存储装置。通信电路118可实施为能够实现通过网络(未示出)在成像装置100与其它移动装置之间通信的任何通信电路、装置或它们的组合。为了这么做，通信电路118可使用任何适合的通信技术(例如无线或有线通信)以及关联的协议(例如以太网、Bluetooth ?、W1-Fi ?、WiMAX等)来实现此类通信，例如取决于网络类型，其可实施为能够实现成像装置100与远程装置之间通信的任何类型通信网络。
[0013]相机120可实施为适合于捕获图像的任何外围或集成装置，诸如照相机、摄像机、网络摄像头或能够捕获视频和/或图像的其它装置。如下面更详细论述的，相机120捕获要跟踪的对象(例如人的脸或眼睛)的图像。尽管说明性成像装置100包含单个相机120，但应该认识到，在其它实施例中成像装置100可包含多个相机120，它们例如可用于从不同角度捕获对象的图像。如上面所论述的，相机120说明性地实施为配置成操作在卷帘快门模式的数字相机。在卷帘快门模式，相机120的视野的每个传感器线130可被预先设置，并且随后在读取传感器线先前的预定时间量内曝光(例如见图6)。除了传感器线130，相机1230也可包含一个或多个成像传感器(诸如红外传感器)以捕获图像。如下面所论述的，分析捕获的图像以便进行相机120视野内的主体(subject)的眼睛检测和/或视线跟踪。
[0014]光源122可实施为能够照明由成像装置100跟踪的对象的任何类型光源。例如，在一个实施例中，光源122实施为配置成将红外光投射到跟踪对象上的红外光源(例如与红外传感器一起使用)。光源122可配置成照明整个场景(S卩，相机120视野内的区域)，或者在其它实施例中，仅照明被跟踪的对象(例如用户的眼睛)或场景的某个部分。当然，应该认识至IJ，在某些实施例中，光源122可专用于对照明成像。通过照明被跟踪的对象，相机120可捕获比没有照明的可能部分更高