节能的图像传感设备及其运行方法及眼部/视线跟踪系统与流程

本发明通常涉及用于记录图像数据的解决方案。本发明尤其涉及根据权利要求1的前序的图像传感设备、根据权利要求8的前序的眼部/视线跟踪系统以及根据权利要求9的前序的方法。本发明还涉及根据权利要求16的计算机程序产品和根据权利要求17的计算机可读介质。

背景技术：

对于电池供电的便携式装置而言，节能极为重要。因此，当设计诸如移动电话或笔记本电脑的便携式电子设备时，最小化所需的能量始终是最主要的关注点。在这些设备中，任何所集成的摄像头往往是较大的能源消耗者之一。如果摄像头具有较大的图像传感器以及/或者所述摄像头被用于采集移动的图像(即，视频数据)，这一现象将尤为突出。此外，有在便携式装置中包括眼部跟踪系统的趋势。眼部/视线跟踪系统尤其被与高能耗要求联系在一起，这是因为高分辨率的视频数据采集通常必须与相对较高强度的数据处理任务相结合。

已知数种用于减少便携式装置中的能耗的解决方案。例如，US2010/0079508描述了一种具有视线检测能力的电子装置，其中采取了一种基于使用者的视线是否被检测到的功率管理方案。例如，显示器可在使用者未注视所述装置的情况下被关闭。

US2008/0111833描述了另一种眼部跟踪相关的解决方案。此处，根据估算的使用者视线将要处于的位置来调节显示器的亮度。因此，使得视线点周围的屏幕区域相对较亮，而其余的屏幕区域较暗。

US7，379，560公开了一种用于监控人类注意力的采取动态功率管理的解决方案。此处，图像采集装置被用于分析使用者的面部并且学习他/她的行为。当系统确定使用者未注意显示器时，系统中的一个或多个组件的能耗将被减小。

US6，526，159揭示了一种解决方案，其中，根据眼部跟踪对资源和功率进行管理。具体来时，眼部的方向被确定，并且操作系统在此基础上改变分配给显示设备的资源。

此外，众所周知是，摄像头可被设置为激活模式或待机模式，而待机模式与非常低的能耗相联系。相对于摄像头被完全关闭，当被所述摄像头设置为待机模式时，到摄像头可以开始采集图像数据为止的启动延迟非常低。因此，当摄像头在有限时段内需要被间歇性的临时关注时，所述待机模式是有益的。但是在连续运行中，激活模式是唯一的选择。

现有技术中的问题

因此，存在用于减少普通移动设备以及摄像头中的能耗的方法(例如，基于眼部跟踪)。然而，还没有有效的解决方案能像稳态运行模式那样降低眼部跟踪系统的能耗。

技术实现要素：

本发明的目的在于解决以上问题，并且因此提出一种基本适合于低功率应用的图像传感设备。

本发明的目的还在于提供一种节能的眼部/视线跟踪系统。

根据本发明的一个方面，所述目的通过一开始说明的数据处理单元来实现，其中，控制单元被配置为产生控制信号以使得光敏区域在运行时段期间以循环的方式运行于所述激活模式和所述待机模式。

所述图像传感设备是有益的，因为其能够对光敏区域的使用进行调整，使得仅在指定的时刻传送数据，所述指定的时刻是指该数据被使用所述图像传感设备的应用所实际需要的时刻。因此，使得平均能耗非常低。

根据本发明此方面的一个优选实施例，所述图像传感设备具有输出接口，所述输出接口被配置为从所述光敏区域传送输出的图像数据。具体地，所述输出接口被布置为传送数据帧格式的图像数据，其中，一个数据帧代表在采集时间(或所谓的曝光)内读出的被所述光敏区域记录的图像数据。当采集视频数据时，其表示光敏区域被配置为通过所述输出接口以给定帧率馈送所述数据帧的序列，所述帧率例如为24Hz、30Hz或60Hz。此处，控制单元被配置为产生控制信号，使得所述运行时段延续至少一个所述采集时间(即，此时所述光敏区域运行于所述激活模式)和至少两个使光敏区域运行于所述待机模式的时段。因此，即使所述图像传感设备被使用连续运行方式来产生视频文件，其平均能耗变的远低于传统情况。

根据本发明此方面的另一优选实施例，所述运行时段延续至少两个所述采集时间，所述光敏区域在所述至少两个采集时间期间运行于所述激活模式。此外，所述至少两个采集时间被相应的延迟时段分隔开，所述光敏区域在所述延迟时段期间运行于所述待机模式。这种运行方案结合了低能耗的优点和高度的灵活性。

依然根据本发明此方面的另一优选实施例，光敏区域包含以矩阵的形式布置的一组光敏元件或像素，所述矩阵包含具有第一数量的列和具有第二数量的行。此外，所述光敏区域可被控制为：将被具有第一数量的列和/或具有第二数量的行的至少一个子集(例如，来自所谓的关注区域，ROI)记录的图像数据专用地读出至输出接口。所述控制单元被进一步配置为产生控制信号，以使得在所述光敏区域运行于激活模式时，图像数据的至少一个子集被馈送至所述输出接口。在其余时间，所述光敏区域优选地运行于待机模式。因此，可节省大量的能量。

根据本发明此方面的一个附加性的优选实施例，在运行时段之前，控制单元被配置为产生控制信号，以使得光敏区域在超过典型采集时间(所述典型采集时间与从光敏区域将图像数据完全读出相关联)的未中断的时间段期间运行于激活模式。因此不节能。但是，为了确定选择哪个区域作为上面所提及的子集，出于分析的原因有必要在最初记录所有帧数据。

类似地，例如如果眼部跟踪暂时丢失，则有必要重复这一搜索流程。因此根据本发明的实施例的另一优选实施例，在所述运行时段之后，所述控制单元被配置为产生控制信号以使得所述光敏区域在未中断的时间段期间运行于所述激活模式，所述未中断的时间段超过与从所述光敏区域将图像数据完全读出相关联的典型采集时间。

根据本发明的实施例的另一优选实施例，所述光敏区域包括一组光敏元件，所述一组光敏元件按照第一数量的列和第二数量的行来布置。此处，所述光敏区域可被控制为将图像数据以下述方式读出至所述输出接口，即，使得来自两个或更多个所述光敏元件的数据相互合并以形成共同的数据单元。馈送至所述输出接口的所述数据单元的总数小于所述第一数量与所述第二数量的乘积，例如将该产品分为两部分或四部分。

根据本发明的另一方面，所述目的通过一开始说明的眼部/视线跟踪系统来实现，其中，所述控制单元被配置为产生控制信号以使得所选择的图像数据子集代表对象的至少一个眼部的图像。因此，可实现高度节能的眼部/视线跟踪，此外这种眼部/视线跟踪还适合集成在便携式装置中，所述便携式装置例如为智能手机、笔记本电脑、超级本、一体化台式计算机或可佩带的眼部跟踪装置(具有靠近眼部的显示器和/或具有前置摄像头的数字眼镜，例如类似于谷歌眼镜)。所提出的眼部/视线跟踪系统还可集成在机动车辆中，例如集成在汽车中。

依然根据本发明的另一方面，所述目的通过一开始说明方法来实现，其中，产生控制信号以使得所述光敏区域在运行时段期间以循环的方式运行于所述激活模式和所述待机模式。通过上文中参考所提出的设备的讨论，该方法及其优选实施例的优点显而易见。

根据本发明的另一方面，所述目的通过一种计算机程序产品来实现，所述计算机程序产品可被加载到计算机的存储器中，并且所述计算机程序产品包括在所述计算机程序产品在计算机上被运行时适于执行上文提出的方法的软件。

根据本发明的另一方面，所述目的通过一种计算机可读介质来实现，所述计算机可读介质上记录有程序，当所述程序被加载到计算机中时，所述程序控制计算机完成上文中提出的方法。

本发明的进一步的优点、有益特征和应用将通过接下来的说明和从属权利要求来阐明。

附图说明

现在通过作为示例公开的优选实施例以及参考附图来更加周密地阐释本发明。

图1示出了根据与本发明相关的一个实施例的图像传感设备的元件；

图2通过图代表出了如何控制所提出的图像传感设备使其以循环的方式在激活模式和待机模式之间切换；

图3示出根据本发明的一个实施例的眼部/视线跟踪系统；

图4通过流程图示出了根据本发明的一般方法；以及

图5通过流程图示出了所提出的眼部/视线跟踪系统如何根据本发明来运行。

具体实施方式

首先参考图1，图1示出了根据本发明的一个实施例的图像传感设备。图2中包含的曲线图示出了作为时间t的函数的控制信号Ctrl的一个示例。

所提出的图像传感设备100包括光敏区域110、控制单元120并且优选包括输出接口130。

光敏区域110被配置为：响应于进入的光的量来记录图像数据Dimg。因此，举例而言，光敏区域110可应用在CMOS或CCD技术中(CMOS＝complementary metal–oxide–semi-conductor，互补金属氧化物半导体；CCD＝charge-couple device，电荷耦合器件)。光敏区域110包含一组光敏元件或像素，所述光敏元件或像素通常以矩阵的形式布置，所述矩阵包含具有第一数量的列和具有第二数量的行。纵横比表达了第一数量和第二数量之间的关系，并且光敏区域110中的光敏元件的总数量(即，第一数量与第二数量的乘积)被称为光敏区域110的分辨率。在现代的眼部跟踪解决方案中，分辨率通常相对较高，例如为5百万像素或更高。

现有技术的5百万像素的图像传感器在常规传感器操作摄像头应用(支持视频、预览以及快照)中通常损耗至少250mW，而VGA传感器以30帧/秒运行时一般仅损耗50mW。但是，从5百万像素的图像传感器读出VGA仍要损耗大约250mW。这当然是不令人满意的。

因此，根据本发明，光敏区域110可运行于激活模式ActM和待机模式StdBM，在所述激活模式ActM中图像数据Dimg可从所述光敏区域110中被读出，在待机模式StdBM中所述光敏区域110具有非常低的能耗。待机模式StdBM的特征在于：没有图像数据Dimg能够被从光敏区域110中读出。但是，光敏区域110进入激活模式ActM(激活模式能够实现所述读出)具有非常短的延迟。

控制单元120可与包含光敏区域110的传感器单元协同工作，或所述控制单元120可被集成在所述包含光敏区域110的传感器单元之中。在这种情况下，控制单元120可由外部信号源控制，使得响应于来自该信号源的信号读出图像信号Dimg并且随后光敏区域110自动进入待机模式StdBM。

控制单元120被配置为：产生控制信号Ctrl，所述控制信号Ctrl用于将光敏区域110设置为运行于激活模式ActM或待机模式StdBM。具体来说，根据本发明，控制单元120被配置为产生控制信号Ctrl，从而使光敏区域110在运行时段top期间以循环的方式运行于激活模式ActM和待机模式StdBM。此处，运行时段top对应于从几个数据帧周期到延续大量时段的图像传感设备100的稳态运行的任何时段，即，几分钟或数小时。

输出接口130被配置为传送被光敏区域110记录的输出图像数据Dimg。通常，图像数据Dimg以数据帧DF的形式读出，一数据帧代表在规定的采集时间Tframe或曝光时间内读出的被光敏区域110记录的图像数据Dimg。此外，输出接口130被配置为从光敏区域110馈送出所述数据帧的序列，所述数据帧代表给定帧率(例如，30Hz)下的视频序列的移动的图像数据。

优选地，控制单元120被配置为产生控制信号Ctrl，使得运行时段top延续至少一个采集时间Tframe(此时光敏区域110运行于激活模式ActM)和至少两个使光敏区域110运行于待机模式StdBM的时段。

在一些应用中，如果运行时段top延续至少两个采集时间Tframe(在采集时间Tframe期间，光敏区域110运行于激活模式ActM)并且所述采集时间Tframe被相应的延迟时段Tdelay(在延迟时段Tdelay期间，光敏区域110运行于待机模式StdBM)隔开，则是有益的。

在图2中，所见的示例中光敏区域110在运行时段top期间运行于激活模式ActM至少三次。这对应于单独地从光敏区域110的光敏元件的一个或多个子集ROI中读出图像数据Dimg。通常，光敏区域110包括一组以矩阵形式布置的光敏元件，所述矩阵有具有第一数量的列和具有第二数量的行。例如，在5百万像素的传感器(总共具有5090816个光敏元件)中，第一数量的列可为2608列并且第二数量的行可为1952行。

此处，光敏区域110可被控制为将图像数据Dimg读出至输出接口130，所述图像数据Dimg已经由至少一个子集ROI(即，光敏区域110的100行和200列)专用地记录。此外，控制单元120被配置为产生控制信号Ctrl，使得图像数据的至少一个子集ROI在光敏区域110运行于激活模式ActM时(例如，如图2的图表中的说明)被馈送至输出接口130。

为了便于选择至少一个合适的子集ROI，令人满意的是：在运行时段top之前，控制单元被配置产生控制信号Ctrl以使得光敏区域110在超过典型采集时间Tframe(所述采集时间Tframe与从光敏区域110将图像数据Dimg完全读出相关联)的未中断的时间段期间运行于激活模式ActM。因此，眼部跟踪期可从视频录制开始，其中图像数据Dimg从光敏区域110的一个相对较大的部分收集或从整个光敏区域110采集。在该数据的基础上，可设想到使用者的一个或多个眼部的图像可被识别。于是，子集ROI可被如此选择以致眼部的图像被包括在其中。有关眼部/视线跟踪如何根据本发明的实施例实现的细节将在下文中参考图5来说明。

自然地，在图像序列中识别出一个或多个眼部之后，可证明有必要在所记录的图像数据中搜索眼部。例如，跟踪由于使用者眼部和摄像头之间的障碍物而暂时丢失，则必须进行反复的搜索。

因此，运行时段top需要被中断。随后，控制单元120被配置产生控制信号Ctrl以使得光敏区域110在超过典型采集时间Tframe(所述采集时间Tframe与从光敏区域110将图像数据Dimg完全读出相关联)的未中断的时间段期间运行于激活模式ActM。

替代性地，光敏区域110可被控制为将图像数据Dimg以下述方式读出至输出接口130，所述方式即，使得来自两个或更多个光敏元件的数据相互合并以形成共同的数据单元(也被称为像素合并，binning)。例如，可将来自四个相邻光敏元件的数据合并以形成共同的数据单元。因此，光敏区域110的灵敏度可被显著增加，并且向输出接口130馈送的数据单元的总数被减少至一个低于所述第一数量与所述第二数量的乘积的数值(即，第一数量与所述第二数量乘积再除以四)。自然地，这进而有益于视点的带宽。

根据本发明的另一实施例，可设想各种形式的混合运行涉及在上述像素合并模式、子集ROI读出以及待机模式StdBM之间切换。例如，首先子集ROI被读出。随后，帧代表经像素合并的图像(通常大于子集ROI，并且可能覆盖整个光敏区域110)。之后，光敏区域110进入待机模式StdBM直到另外的子集再次被读出，并且像这样处于一种循环的方式。此处，子集ROI可包含代表一个或多个眼部的图像数据Dimg，而像素合并的图像可代表对象的整个面部。

替代性地，待机模式可被插入到子集ROI读出和像素合并图像读出之间。

图3示出根据本发明的一个实施例的眼部/视线跟踪系统300。所述眼部/视线跟踪系统300包括所提出的上述图像传感设备100，其中所述图像传感设备100被布置成采集眼部和/或视线被跟踪的对象S的图像数据Dimg。控制单元120在此处被配置产生控制信号Ctrl以使得图像数据的子集ROI代表对象S的至少一个眼部105的图像。

控制单元120进而可从数据处理单元310接收主控制信号CROI，所述数据处理单元310被配置为基于由图像传感设备产生的数据帧DF来计算更新后的眼部位置的估计值。通常，数据处理单元310还负责取得估计的视线数据及其更新。

优选地，控制单元120包含存储计算机程序产品PP的存储单元125，或控制单元120与所述存储单元125处于通信连接，所述计算机程序产品PP包含用于控制所述控制单元120以在所述计算机产品PP被在控制单元120上运行时执行上述过程的软件。

为了总结，现在将参考图4中的流程图来说明控制根据本发明的图像传感设备的一般方法。所述图像传感设备具有光敏区域110，所述光敏区域110被配置为响应于进入的光的量来记录图像数据Dimg。此外，响应于控制信号Ctrl，光敏区域100可被运行于激活模式ActM，其中图像数据Dimg可通过激活模式ActM读出，并且待机模式StdBM中没有图像数据Dimg可被读出。

在第一步骤410中，控制信号Ctrl被接收到。随后的步骤420检查是否控制信号指定光敏区域110将运行于激活模式ActM或待机模式StdBM。在控制信号指定光敏区域110将运行于激活模式ActM的情况下，接下来进行步骤430；并且在控制信号指定光敏区域110将运行于待机模式StdBM的情况下，过程跳转回步骤410。

在步骤430中，图像数据Dimg被从光敏区域110中读出。随后，过程跳转回步骤410。根据本发明，产生的控制信号使得光敏区域在运行时段top期间以循环的方式运行于激活模式ActM和待机模式StdBM，即过程通过步骤410至430循环重复若干次。因此，在运行时段top期间，光敏区域110被设置于激活模式ActM至少一次。

参考图5，将说明所提出的眼部/视线跟踪系统300如何根据本发明的一个实施例运行。

在步骤505中，在至少一个完整的数据帧DF中采集图像数据Dimg。这意味着，在运行时段top之前，控制信号被产生以使得光敏区域110在超过典型采集时间Tframe(所述采集时间Tframe与从光敏区域110将图像数据Dimg完全读出相关联)的未中断的时间段期间运行于激活模式ActM。其主要原因是使得眼部/视线跟踪系统300能够在图像数据Dimg中识别对象S的至少一个眼部105。

随后，步骤510检查所述至少一个眼部105的位置是否被确定。如果被确定，则接下来进行步骤515，若未确定，则过程跳转回步骤505。

假设光敏区域110包括一组光敏元件，所述一组光敏元件按照第一数量的列和第二数量的行来布置。此外，光敏区域110可被控制为读出图像数据Dimg，所述图像数据Dimg已经由所述第一数量的列和/或所述第二数量的行的至少一个子集ROI(即，图像传感器的子区域)专用地记录。在步骤515中，所述子区域被建立，所述子区域代表其位置在步骤510中被确定的所述至少一个眼部的图像。

随后，在步骤520中，控制信号Ctrl被产生以使得光敏传感器110运行于激活模式ActM。随后，在步骤525中，图像数据Dimg通过输出接口130被从所述子区域中读出。随后，在步骤530中，光敏区域110被控制成运行于StdBM模式以便节能，直到下一图像数据Dimg被读出。

为了确定何时所述图像数据Dimg将被记录，步骤535计算一个新的估计值，所述估计值描述所述至少一个眼部105的预期位置。优选地，就此而言，相应的视线数据也被计算。在与步骤535并行的情况下，在步骤540中，控制信号被产生以使得传感器依然处于待机模式StdBM。

在进入步骤540之后，步骤545反复检查是否延迟时段期满，所述延迟时段限定了直到该恢复光敏区域110为止的持续时间。如果延迟时段已经期满，接下来进行步骤550。否则，过程跳转回步骤540。

在步骤550中已经确定现在应该读出另一组图像数据Dimg，所述另一组图像数据Dimg代表所述至少一个眼部105的预期位置处的子区域。因此，在步骤550中，控制信号Ctrl被产生以使得光敏区域110再次运行于激活模式ActM。与此联系的是，所述子区域的坐标在接下来的步骤555中被更新。随后过程返回步骤525以重复图像数据Dimg的读出。

根据本发明的实施例，步骤535可在步骤530之前被执行。也就是说，在控制光敏区域110运行于待机模式StdBM之前计算更新的眼部位置。实际上，如果更新的眼部位置根据之前的图像被确定，步骤555甚至可在步骤535之前完成。

上面的参考图4和图5说明的所有流程步骤以及这些步骤的子序列，可通过已编程的计算机设备来控制。此外，尽管上面参考附图说明的本发明的实施例包括计算机设备以及计算机设备中执行的流程，但是本发明因此还拓展至适于将本发明付诸实践的计算机程序(尤其是载体上或载体中的程序)。所述程序可以是源代码、目标代码以及源代码和目标代码中间的代码(例如，部分编辑的形式)的形式，或适合用在根据本发明的流程的实施方式中的任何其它方式。所述程序即可以是操作系统的一部分也可以是单独的应用程序。所述载体可以是任何能够携带所述程序的实体和装置。举例而言，所述载体可包括存储介质，例如闪存、只读存储器(Read Only Memory，ROM)或磁记录介质，其中，只读存储器例如为数字多功能光盘(Digital Video/Versatile Disk，DVD)、光盘(Compact Disc，CD)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)，所述磁记录介质例如为软盘或硬盘。此外，所述载体可以是可传送的载体，例如可经由电缆或光缆或通过无线电或其它方式传输的电信号或光信号。当所述程序以可由电缆或其它装置或工具直接传输的信号实施时，所述载体可由该电缆或装置或工具构成。替代性地，所述载体可以是其中嵌入所述程序的集成电路，所述集成电路适于执行相关流程或适于使用在相关流程的执行中。

当术语“包括”使用在说明书中时，是为了列举存在的特征、整体、步骤或组成部分。但是，该术语不排除存在或附加一个或多个附加的特征、整体、步骤或组成部分或它们的群组。

本发明不限于附图中所述的实施例，但是可在权利要求的范围内自由地变化。