用于对象跟踪的相机和光源同步的制作方法_2

文档序号:9932914阅读:来源:国知局
质量的图像。
[0015]成像装置100的外围装置124可包含任何数量的附加外围或接口装置。包含在外围装置124中的具体装置例如可取决于成像装置100的类型和/或预期用途。如图1所示,说明性外围装置124包含一个或多个传感器132。传感器132可包含任何数量和类型的传感器,例如取决于成像装置100的类型和/或预期用途。传感器132例如可包含接近传感器、惯性传感器、光学传感器、光传感器、音频传感器、温度传感器、热阻器、运动传感器和/或其它类型传感器。当然,成像装置100还可包含配置成实现传感器132用途的组件和/或装置。例如,成像装置100可包含惯性传感器以检测和/或跟踪成像装置100或成像装置100的组件的移动。如下面所论述的,成像装置100可使用惯性数据进行被跟踪对象(例如主体的眼睛)的下一位置的改进估计。
[0016]现在参考图2,在使用时,成像装置100建立相机和光源同步的环境200。如下面所论述的,成像装置100可使相机120的具体传感器线130的重置和读取与光源122的激活同步。在这么做时,当要捕获场景的期望部分(例如跟踪对象)时,成像装置100可仅激活光源122。例如,当相机120读取和/或重置对应于场景期望部分的传感器线130时,可激活光源122,如下面更详细论述的。
[0017]成像装置100的说明性环境200包含图像捕获模块202、图像处理模块204、位置预测模块206、照明模块208、一个或多个传感器132和一个或多个光源122。此外,图像处理模块204包含脸部检测模块210、眼睛检测模块212和头部姿势估计模块214。另外,位置预测模块206包含传感器处理模块216和历史数据218。如在说明性实施例中所示的,照明模块208包含间隔预测模块220。图像捕获模块202、图像处理模块、位置预测模块206、照明模块208、脸部检测模块210、眼睛检测模块212、头部姿势估计模块214、传感器处理模块216和间隔预测模块220中的每个都可实施为硬件、软件、固件或它们的组合。此外,在一些实施例中,其中一个说明性模块可形成另一模块的一部分(例如,眼睛检测模块212可形成脸部检测模块210的一部分)。
[0018]图像捕获模块202控制相机120捕获在相机120视野内的图像。如上面所论述的,相机120说明性地配置成操作在卷帘快门模式。因而,图像捕获模块202可控制与该模式的操作关联的参数。例如,图像捕获模块202可确定相机120的每个传感器线130的曝光时间(SP,重置传感器线的时间与读取传感器线的时间之间的时间量)。在说明性实施例中,在相同时间量内在卷帘基础上使每个传感器线130曝光(例如见图6的曝光时间614)。
[0019]图像处理模块204从图像捕获模块202接收用相机120捕获的(例如作为流播的视频或另外作为图像/帧的集合捕获的)图像。如下面更详细论述的,图像处理模块204分析每一个图像(例如流播视频的每帧或其子集)以确定要跟踪的对象的位置。应该认识到,图像处理模块204可利用任何适合的对象检测/跟踪算法这么做。在说明性实施例中,成像装置100用于使用相机和光源同步来跟踪用户的眼睛,如下面论述的。然而,在其它实施例中,成像装置100可用于跟踪用户(例如头部定位)和/或其它对象的其它特征。
[0020]如上面所论述的,在一些实施例中,成像装置100执行在场景中捕获的一人或多人的眼睛/实现跟踪。因而,在一些实施例中,脸部检测模块212可检测图像中一人或多人的脸部的存在,并确定捕获图像中的任何检测的脸部的位置。另外,在一些实施例中,脸部检测模块210可基于它们的检测的脸部来标识人(例如,通过生物统计算法和/或其它脸部识别或对象相关算法)。因此,在跟踪多人的实施例中,脸部检测模块210可区分捕获图像中的那些人以增强跟踪质量。类似地,眼睛检测模块212可检测捕获图像中人的眼睛的位置。应该认识到,在检测对象(例如人的脸和/或眼睛)的位置时,图像处理模块204或者更确切地说脸部检测模块210和/或眼睛检测模块212可以确定与图像中对象的位置相对应的相机120的传感器线130。在这么做时,图像处理模块204例如可利用有关传感器线130的数量、粒度、大小、布局(例如水平相对垂直)和/或其它特性的预定信息。在一些实施例中,眼睛检测模块212利用脸部的位置(S卩,用脸部检测模块210确定的)确定人眼睛的位置。当然,在其它实施例中,眼睛检测模块212可确定人眼的位置,独立于或无需确定脸部的位置。头部姿势估计模块214可基于所确定的人眼和/或脸部的位置来确定人的头部姿势。如下面所论述的,位置预测模块206可使用所估计的头部姿势(例如结合先前的头部姿势估计)来估计捕获的图像/视频内的人头部的运动和将来位置。将来,图像处理模块204可利用脸部位置、眼睛位置和/或头部姿势的确定和/或估计以便减小捕获图像的区域(即,搜索区域),以分析确定当前图像中人的脸部位置、眼睛位置和/或头部姿势。
[0021 ]位置预测模块206估计下一捕获图像(例如随后的视频帧)中跟踪对象(例如人的眼睛或脸)的位置。在一些实施例中,位置预测模块206基于传感器数据和其它历史数据218来预测对象的下一位置。因此,传感器处理模块216可处理从一个或多个传感器132接收的数据。例如,传感器132可包含惯性传感器、光学传感器和/或配置成检测成像装置100、相机120和/或跟踪对象(例如人的头部、脸或眼睛)运动的其它传感器。传感器处理模块216可使用任何适合的算法来分析从那些传感器132接收的传感器数据。例如,传感器处理模块216可确定相机120的线运动和/或角运动。
[0022]历史数据218可包含根据先前捕获的图像的分析来标识先前检测的或估计的人目艮、脸部、头部姿势或其它对象/特征的位置的数据。因此,应该认识到,成像装置100可存储(例如在存储器114中)检测的和/或估计的对象位置和其它历史数据218以便随后使用。在一些实施例中,位置预测模块206结合历史数据218融合、组合或以别的方式分析传感器数据,以估计跟踪对象的运动和/或下一位置。例如,在估计对象的运动和下一位置时,可使用人头部的运动和相机120的运动的估计。此类分析可用于减少下一图像需要分析以确定对象位置的部分。如上面所指示的,图像内的对象位置与相机120的一个或多个传感器线相对应。因而,位置预测模块206可确定与下一帧中对象的估计位置相对应的传感器线130。
[0023]照明模块208基于下一帧中跟踪对象的预测位置使光源122激活/停用。在这么做时,间隔预测模块220确定照明间隔,在其期间在捕获下一图像期间基于下一图像中跟踪对象的预测位置(即,基于位置预测模块206的分析)激活一个或多个光源122。在说明性实施例中,照明间隔定义在其期间相机120在下一捕获图像中使与跟踪对象的预测位置相对应的那组传感器线130(即一个或多个传感器线)曝光的时段。应该认识到,在一些实施例中,传感器线130当它们未被读取时不断曝光。然而,如本文所使用的,传感器线130被视为在具体传感器线130已经被重置之后并在具体传感器线130已经被读取之前出现的时段(例如参见图6的曝光时间614)期间被“曝光”。因此,在说明性实施例中,每个传感器线130都具有相同曝光时间,尽管发生在不同绝对时间并在卷帘、顺序基础上。
[0024]如上面所指示的,位置预测模块206可确定与下一图像/帧中的跟踪对象(例如人眼)的预测位置相对应的传感器线130。因而,间隔预测模块220可确定在其期间那些确定的传感器线130被调度成重置和/或读取的时间间隔。为了这么做,在一些实施例中,相机120(或图像捕获模块202)向间隔预测模块220传送同步信号。间隔预测模块220可利用同步信号、一个或多个时钟或触发器(例如,相机120的像素时钟)、相机120的参数数据(例如,曝光时间、传感器线数、每个传感器线的读取时间、总读取时间以及其它参数数据)和/或光源的参数数据(例如,光源的起动时间,其是从电功率直到全照明功率的时间、功率驱动的时间延迟以及其它参数数据)来确定应该读取相关传感器线130的时间(S卩,照明间隔)。如上面所指示的,照明模块208在照明间隔(例如,参见图6的照明间隔616)期间激活一个或多个光源122,并在照明间隔之外停用光源122。当然,在一些实施例中,照明模块208可在比照明间隔更大的间隔内激活光源122(例如以考虑对象位置的略微错误的估计)。也就是,光源122可在照明间隔期间并在那个间隔的开始和/或结束的缓冲时间期间激活。在一些实施例中,图像处理模块204可分析捕获的图像以便确定光源122实际上照明哪些传感器线130(例如由于传感器线曝光与光源122照明之间的延迟引起的)。在此类实施例中,成像装置100可将所确定的实际照明的传感器线130与预期在捕获图像期间照明的那些传感器线130相比较。如果实际的与预期照明的传感器线130之间的差异大于参考阈值,则照明模块208可修改(即,增大或减小)下一照明间隔的延迟时间,以补偿成像装置100中的未知延迟。
[0025]应该认识到,当捕获第一图像时,成像装置100可能没有关于跟踪对象的位置的任何信息。因而,在一些实施例中,光源122可保持激活,同时捕获第一图像或前几个图像的整体。成像装置100可使用上面描述的机制分析那些图像以确定对象的位置并估计对象的下一位置。一旦成像装置100具有关于下一图像中对象的估计位置的信息,成像装置100就可利用本文描述的用于相机和光源同步的机制。尽管在跟踪单个对象的方面描述了上面描述的机制,但在
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1