用于感兴趣区域捕捉的多模图像感测的制作方法
【专利说明】用于感兴趣区域捕捉的多模图像感测
[0001]
[0002]在连续(例如，移动)视觉系统中，图像传感器系统持续监视环境以检测并捕捉感兴趣的事件，如在人脸出现在图像中时。以此方式，设备能够代表其用户采取某种自动动作，如标识与其进行对话的人或标识人所把持的物体。
[0003]常规成像解决方案持续捕捉图像帧并将这些帧传送给图像处理器，图像处理器使用图像处理算法来标识感兴趣的事件。连续移动视觉系统的这样的常规解决方案因而将高质量顺序图像的持续流捕捉成视频，并处理各图像以标识这样的事件。然而，捕捉、传送以及处理高质量图像的连续流导致严重的能量开销成本，这可能快速耗尽相机/设备电池。
[0004]概述
[0005]提供本概述以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念的选集。本概述不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。
[0006]简言之，本文描述的主题的各方面涉及其中门控(例如，较低分辨率和/或较低功率)图像传感器和初步处理充当用于打开一个或多个其他被门控的传感器以用于进一步处理的门控的技术。在一个方面，与评估图像相对应的第一像素集合的第一数据被处理以确定感兴趣的区域是否被预测存在于该图像内。如果是，则控制至少一个其他被门控的传感器阵列，包括控制每隔一个传感器阵列以获得包括感兴趣的区域的另一(例如，较高分辨率)图像。如果被门控的传感器阵列是例如捕捉高分辨率图像的阵列，则包括感兴趣的区域的第二数据被提供给图像处理器，其中提供给图像处理器的第二数据可与少于完整图像相对应。
[0007]在一个方面，第一传感器阵列被配置成捕捉用于作出门控决策的评估图像，且第二传感器阵列被配置成捕捉其他图像，例如较高分辨率和/或以其他方式不同的图像。控制器处理评估图像以确定一个或多个感兴趣区域准则是否被满足，包括感兴趣区域是否存在于较低分辨率图像中。如果一个或多个感兴趣区域准则被满足，则控制器控制第二传感器来捕捉另一图像以将感兴趣区域提供给图像处理器。在一个方面，一个或多个感兴趣区域准则包括热数据是否指示一个或多个人类特征处于图像内。
[0008]本文描述的一个技术方面包括经由门控传感器捕捉评估图像，以及处理评估图像以确定评估图像是否可能与感兴趣的事件相对应，并且如果否，则返回再次捕捉另一评估图像，例如以合适的帧率。
[0009]如果评估图像与感兴趣的事件相对应，则进一步描述了确定人类特征检测是否活动；(如果否，则基于评估图像可能与感兴趣的事件相对应来捕捉另一图像)。如果人类特征检测是活动的，则可从中确定温度数据的红外图像被捕捉并处理以确定温度数据是否指示一个或多个人类特征；如果否，则描述了返回再次捕捉评估图像。
[0010]如果评估图像可能与感兴趣的事件相对应，(且在人类特征检测活动时，人类特征被检测到)，另一图像集合被捕捉。来自该集合的图像的至少一部分被提供给图像处理器。
[0011]结合附图阅读以下详细描述，本发明的其他优点会变得显而易见。
[0012]附图简沐
[0013]作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中:
[0014]图1是示出根据一个示例实施例的包括提供用于感兴趣区域捕捉的多模图像感测的可控制的图像传感器电路系统的各示例组件的框图。
[0015]图2是示出根据一个示例实施例的多个传感器可如何被控制以捕捉感兴趣区域以用于本地设备图像处理的框图。
[0016]图3是示出根据一个示例实施例的多个传感器可如何被控制以捕捉感兴趣区域以用于远程设备图像处理的框图。
[0017]图4是根据一个示例实施例的其中不同传感器可位于同一处的一种示例方式的表不。
[0018]图5A是根据一个示例实施例的其中透镜机构可将光引导到不同传感器的一种示例方式的表示。
[0019]图5B是根据一个示例实施例的其中传感器阵列可被选择性地激发以捕捉像素数据的一种不例方式的表不。
[0020]图6是根据一个示例实施例的示出可被采取来捕捉与事件相对应的一个或多个感兴趣区域的示例步骤的流程图。
[0021]图7是表示可并入本文中所描述的主题的各方面的示例计算环境的框图。
[0022]详细描沐
[0023]本描述的技术的各方面一般涉及只捕捉感兴趣图像和/或只处理图像中的感兴趣区域的各部分(即，包含感兴趣视觉事件的图像部分)的相对低能量/功率解决方案。在一个方面，多模传感器的组合可被用来标识是否发生感兴趣的事件，并且如果是则捕捉一个或多个感兴趣区域以用于视觉事件检测。
[0024]作为一个示例，能量高效的感兴趣区域检测和捕捉可以使用多模传感器来提供，其中较低功率传感器被用来“门控”较高功率传感器。多感测模态可被使用，如基于低功率、低分辨率窄景深传感器，低功率远红外传感器，和/或具有多分辨率和能量比例开窗(windowing)能力的高分辨率图像传感器。例如，窄景深传感器可以检测活动，远红外传感器可以检测人类特征的存在，且具有开窗特征的图像传感器可被用来捕捉图像内的感兴趣区域。因为高分辨率图像传感器只在其他一个或多个传感器指示存在要检测的感兴趣活动时工作，所以节省了功率。此外，开窗能力使得传送和处理比完整图像更少的数据，藉此该系统的这一方面也以能量高效的方式工作。
[0025]应当理解，本文中的任何示例均是非限制的。因此，本发明不限制于本文所述的任何具体的实施例、方面、概念、结构、功能或示例。相反，本文中所描述的任何一个实施例、方面、概念、结构、功能或示例都是非限制性的，并且一般而言可以在计算和成像技术中提供好处和优点的各种方式来使用本发明。
[0026]图1是示出本文描述的技术方面的示例概念的框图。控制器102 (例如，在低功率模式或低功率自定义ASIC中运行的微控制器)控制门控传感器104以捕捉评估图像106。如本文描述的，评估图像106在控制器102处被接收以供一般处理来确定评估图像是否指示感兴趣的事件。在图1的示例中，事件检测器110可以作出这样的确定，然而其他类型的检测器可被使用，包括本文例示的那些。
[0027]如果检测到感兴趣区域，则被门控的传感器108 (具有与门控传感器104相重叠的视野)被控制来捕捉包括完整图像或一个或多个图像部分的另一(被门控)图像集合112。图像集合被发送给图像处理器116以供处理，如下所述。
[0028]因而，门控传感器的评估数据被处理以确定后续被门控的传感器是否要被激活。可存在一系列这样的传感器，例如一个被门控的传感器可被用作后续被门控的传感器的门控传感器，以此类推。各传感器具有重叠的视野，但门控传感器捕捉评估图像，诸如以找出视野中的感兴趣区域(人、前景物体、正在移动的物体)，与单独使用来自被门控的一个或多个传感器的信息找出这些区域相比，门控传感器使用较少能量。
[0029]存在许多可能类型的门控传感器。典型场景是使用低分辨率传感器，例如，IR、彩色和/或单色传感器，作为较高分辨率被门控的传感器的门控传感器。一般而言，因为涉及较少像素，所以较低分辨率传感器使用比较高分辨率传感器显著更少的功率。以各种方式与高分辨率传感器组合以捕捉基本上相同视野的低分辨率传感器的示例在下文参考图4、5A和5B描述。
[0030]注意，门控不必基于不同的分辨率。例如，640x480远红外(FIR/热)传感器可被用来对640x480RGB传感器进行门控以找出脸部。FIR传感器通过在每一像素处执