使用基于事件的视觉传感器进行低功率始终接通脸部检测、跟踪、辨识及/或分析的制作方法

背景技术：

人-机交互使用许多形式，包含语言(打字、语音辨识、屏幕上文字显示、语音合成及其类似者)及视觉(静态及视频相机、图形显示器及其类似者)。脸部检测、辨识、表情等等形成人与人通信的重要部分且因此对人机交互也较重要。存在适于在静态图像及视频中检测、跟踪、辨识脸部的许多方法及应用，包含情绪检测、性别分类、唇读、眼睛/注视跟踪等。

用于脸部或一般对象检测及跟踪的传统系统使用计算密集算法，所述计算密集算法需要高速、高功耗微处理器，用于移动大量操作数的高消耗的数据路径带宽，及大使用量的存储器。这些系统通常使用静态/视频相机捕获基于强度的图像并将其递送到通用微处理器，所述通用微处理器分析所述图像，在屏幕上显示所收集的图像，或基于因此所检索的场景信息而以其它方式动作。鉴于现有系统的高功率消耗，用于脸部或一般对象检测的使用案例及应用已变得相当有限。举例，对便携式、电池供电装置来说，相机及处理器子系统无法大部分时间保持接通。

技术实现要素：

本文中所揭示的技术利用出于检测、跟踪、辨识及/或分析专用相机的视野中的主体、对象及场景的目的而将所述相机与专用计算机视觉(cv)计算硬件及专用低功率微处理器整合在一起的视觉传感器。所述视觉传感器使用所述所包含低功率微处理器来处理从所述相机检索的信息且仅在需要时或如由应用程序所定义及配置发送用于主处理器的“事件”(或已发生一或多个参考情况的指示)。此允许通用微处理器(其通常为相对高速且高功率以支持各种应用程序)以如常规大部分时间保持处于低功率(例如，睡眠模式)，而仅在从所述视觉传感器检索到事件时才变成作用中的。

根据描述，用于感测动态的基于场景的发生的智能传感器可包括专用计算机视觉(cv)计算硬件，其经配置以从包括多于一个传感器像素的传感器阵列接收传感器数据且能够使用来自所述传感器阵列的相邻传感器像素的读数来计算一或多个cv特征；及第一处理单元，与所述专用cv计算硬件以通信方式耦合且经配置以处理由基于所述一或多个所计算cv特征的操作所产生的信号。智能传感器可经配置以响应于所述第一处理单元对由基于所述一或多个所计算cv特征的所述操作所产生的所述信号的所述处理而产生事件以由第二处理单元接收，所述事件指示用于所述第二处理单元的参考情况。

智能传感器可包含以下特征中的一或多者。所述参考情况可为以下各项中的一或多者：人脸进入视野、人体进入视野、人脸上表达的情绪、非人类动物脸部进入视野、非人类动物身体进入视野、人手进入视野、手势、参考对象进入视野、从室内环境到室外环境的改变、参考移动、指示下降的场景中的快速移动、指示碰撞风险的朝向对象的运动、指示危险的场景中的移动或对象，或其任何组合。事件可包括脸部检测。专用cv计算硬件可经配置以提供局部二进制模式(lbp)。智能传感器可包括级联分类器硬件，所述级联分类器硬件经配置以检测参考对象在耦合到所述专用cv计算硬件的所述传感器数据的子集中的存在。基于所述一或多个所计算cv特征的操作可包括由所述级联分类器硬件执行的操作，所述参考情况与所述参考对象相关联。所述第一处理单元可经配置以在所述级联分类器硬件检测到所述参考对象的所述存在时从所述级联分类器硬件接收所述参考对象的所述存在的指示。所述专用cv计算硬件可经配置以从所述传感器阵列接收原始传感器数据，且传感器阵列与专用cv计算硬件之间未安置有任何图像信号处理电路。所述专用cv计算硬件可包括集成电路。所述智能传感器可经配置以禁用所述专用cv计算硬件的至少部分以产生指示环境光感测、接近度检测、参考对象的接近度、运动检测，或其任何组合的至少一个较低功率光学传感器读数。所述智能传感器可基于所述至少一个较低功率光学传感器读数而产生所述参考情况。所述智能传感器可经配置以在以较低功率模式操作时禁用所述专用cv计算硬件的至少部分，检测所述较低功率模式中的场景改变，及基于所述场景改变的检测而激活所述专用cv计算硬件。所述事件可指示所述第二处理单元的所述参考情况且进一步包含与所述参考情况相关联的数据。所述智能传感器可经配置以执行较高功率操作作为基于所述一或多个所计算cv特征的所述操作的至少部分，所述较高功率操作消耗比较低功率操作多的功率，且基于所述事件提供关于所述较低功率操作的参数。所述智能传感器可经配置以执行较低功率操作作为基于所述一或多个所计算cv特征的所述操作的至少部分，所述较低功率操作消耗比较高功率操作少的功率，且提供关于所述较高功率操作的传感器读数。

根据描述，一种用于确定脸部检测事件的实例设备可包括：传感器阵列，其包括多于一个传感器像素；专用计算机视觉(cv)计算硬件，其能够接收来自所述传感器阵列的传感器数据且使用来自所述传感器阵列的相邻传感器像素的读数来计算cv特征；及第一处理单元，其与所述专用cv计算硬件以通信方式耦合且经配置以依据由基于所述一或多个所计算cv特征的操作所产生的一或多个信号而确定已检测到脸部，且响应于所述确定，产生待由第二处理单元接收的脸部检测事件。

所述设备可包含以下特征中的一或多者。所述设备可包括所述第二处理单元，其中所述第一处理单元经配置以在所述第二处理单元以低功率模式操作时将所述脸部检测事件传达到所述第二处理单元。所述专用cv计算硬件可经配置以从所述传感器阵列接收原始传感器数据，且传感器阵列与专用cv计算硬件之间未安置任何图像信号处理电路。所述设备可包括外围电路，其经配置以提供以下各项中的至少一者：定时操作、聚焦操作、自动曝光校正操作、对象检测、对象辨识、存储扫描窗口、事件排队及/或处理操作、模拟处理、模/数转换、积分操作、cv特征计算、基于级联分类器的分类、基于直方图的分类，或存储器缓冲器，或其任何组合。所述设备可包括所述第二处理单元，且所述第一处理单元可经进一步配置以在所述第二处理单元以低功率模式操作时将所述脸部检测事件传达到所述第二处理单元。

根据描述，用于用设备感测动态的基于场景的发生的方法，可包括：用专用计算机视觉(cv)计算硬件，接收来自包括多于一个传感器像素的传感器阵列的传感器数据；用所述专用cv计算硬件，使用来自所述传感器阵列的相邻传感器像素的读数来计算一或多个cv特征；用第一处理单元，处理由基于所述一或多个所计算cv特征的操作所产生的信号；及响应于所述第一处理单元对由基于所述一或多个所计算cv特征的所述操作所产生的所述信号的所述处理，产生事件以由第二处理单元接收，所述事件指示用于所述第二处理单元的参考情况。

所述方法可进一步包含以下特征中的一或多者。所述参考情况可为以下各项中的一或多者：人脸进入视野、人体进入视野、人脸上表达的情绪、非人类动物脸部进入视野、非人类动物身体进入视野、人手进入视野、手势、参考对象进入视野、从室内环境到室外环境的改变、参考移动、指示下降的场景中的快速移动、指示碰撞风险的朝向对象的运动、指示危险的场景中的移动或对象，或其任何组合。所述方法可包括：运用所述专用cv计算硬件提供局部二进制模式(lbp)。所述方法可包括：运用级联分类器硬件检测所述传感器数据的子集中存在参考对象，其中基于所述一或多个所计算cv特征的所述操作包括由所述级联分类器硬件执行的操作，所述参考情况与所述参考对象相关联。所述方法可包括：在所述级联分类器硬件检测到所述参考对象的所述存在时，通过所述第一处理单元，从所述级联分类器硬件接收所述参考对象的所述存在的指示。所述方法可包括：禁用所述专用cv计算硬件的至少部分以产生指示环境光感测、接近度检测、参考对象的接近度、运动检测，或其任何组合的至少一个较低功率光学传感器读数。所述方法可进一步包括：基于所述至少一个较低功率光学传感器读数而检测所述参考情况。所述方法可进一步包括：在以较低功率模式操作时禁用所述专用cv计算硬件的至少部分，检测在以所述较低功率模式操作时的场景改变；及基于所述场景改变的检测而激活所述专用cv计算硬件的所述经禁用的至少部分。运用所述专用cv计算硬件接收来自所述传感器阵列的所述传感器数据包括：接收来自所述传感器阵列的原始传感器数据且其中在所述接收之前不对所述传感器数据执行任何图像信号处理。

根据描述，一种用于确定脸部检测事件的方法可包含：运用专用计算机视觉(cv)计算硬件接收来自传感器阵列的传感器数据；使用来自所述传感器阵列的相邻传感器像素的读数来计算一或多个cv特征；及使用第一处理单元：依据由基于所述一或多个所计算cv特征的操作所产生的一或多个信号而确定已检测到脸部；及响应于所述确定，产生脸部检测事件以由第二处理单元接收。运用所述专用cv计算硬件接收来自所述传感器阵列的所述传感器数据可包括：接收来自所述传感器阵列的原始传感器数据且其中在所述接收之前不对所述传感器数据执行任何图像信号处理。

附图说明

可通过参考以下图来实现对各种实施例的性质及优点的进一步理解。

图1说明其中用户可与并有本文中所描述的特征及技术的移动装置交互的实例设置。

图2a为根据一个实施例的包含传感器系统及主处理器的配置的框图。

图2b为根据一个实施例的具有传感器阵列单元、微处理器及实例外围电路214的传感器系统的框图。

图3a到3c为根据一些实施例说明可如何利用传感器系统的组件来提供低功率传感器处理的框图。

图4为根据实施例的感测动态的基于场景的情况的方法的流程图。

图5为实例传感器阵列的简化说明。

图6为图5的传感器阵列的实例配置的简化说明。

图7到9为说明用于使用传感器系统进行计算机视觉计算及较低功率光学传感器读数的实例方法的流程图。

图10a到10b为说明用于计算机视觉计算及较低功率光学传感器读数的传感器系统的实例状态的状态图。

图11a到11c说明根据一些实施例的将传感器读数从多个传感器元件转换到cv特征的过程。

图12为可利用本文中所描述的技术及特征的移动装置的实例的框图。

具体实施方式

后续描述仅提供实施例，且并不意欲限制本发明的范围、适用性或配置。确切地说，实施例的后续描述将为所属领域的技术人员提供用于实施实施例的启用性描述。应理解，可在不脱离本发明的范围的情况下对元件的功能及配置作出各种改变。

图1说明其中用户130可与并有本文中所描述的特征及技术的移动装置105交互的实例设置100。此处，用户130可至少部分地经由传感器系统与移动装置105互动，所述传感器系统具有专用相机、专用计算机视觉(cv)计算硬件及专用低功率微处理器，如下文中所描述。这些特征使得移动装置105能够检测、跟踪、辨识及/或分析主体(例如，用户130)及相机的视野105内的其它对象及场景。所述传感器系统使用所述所包含嵌入式处理器来处理从所述相机检索的信息且仅在需要时或如由应用程序定义及配置时发送用于主处理器的“事件”(或已发生一或多个参考情况的指示)。此允许通用微处理器(其通常为相对高速且高功率以支持各种应用程序)以如常规大部分时间保持处于低功率(例如，睡眠模式)，而仅在从所述传感器系统接收事件时才变成作用中的。虽然参考移动装置105说明及描述，但应理解，能够执行对象检测、辨识等的智能传感器可用于各种应用(包含物联网(iot)应用)中。

如本文中所描述，专用cv计算硬件至少部分地基于与相邻传感器元件相关联的信号而计算或能够计算传感器阵列单元中的每一传感器元件或像素的cv特征或局部cv特征。(本文中，术语“局部”指基于一或多个相邻传感器元件而非整个图像的统计或其它数学评估所计算的特征。)如本文中所描述，包含主体传感器元件的传感器元件及相对靠近于主体传感器元件的其它传感器元件可被称作相邻传感器元件。在本发明的某些方面中，相邻传感器元件可包含主体传感器元件及紧邻近主体传感器元件的传感器元件。在本发明的某些其它方面中，相邻传感器元件还可包含相对靠近于主体传感器元件且并非紧相邻的传感器元件。例如，在某些情况中，从主体传感器元件起三个传感器元件内的传感器元件在多个传感器的宽度或高度为六十四个传感器元件时仍可被视为相邻传感器元件。

如本文中所描述，cv特征或局部cv特征可指检测低级计算机视觉标记或指示符，例如与每一传感器元件或传感器的像素相关联的标签。如下文进一步详细指示，此些cv特征可包含例如符号梯度直方图(hsg)及/或局部二进制模式(lbp)的输出。lbp计算可基于相邻传感器元件，例如，参考或主体传感器像素及其八个紧邻近的相邻传感器像素。lbp计算可基于参考像素的紧邻近的相邻像素的相应强度差而对其每一者进行评分。(将针对不同颜色通道(例如，红色、蓝色及绿色)使用不同lbp处理颜色。)hsg计算还使用相邻传感器元件，例如，参考像素及一或多个紧邻近的相邻像素以检测场景内的各种特征。

例如，在图1的设置100中，用户130可已在移动装置105的通用微处理器处于睡眠模式时拿起所述移动装置。然而，移动装置105的传感器系统可保持作用中且可能够(例如)辨识用于130的脸部、手势、场景中的其它对象，及/或其类似者。在辨识已发生某些参考情况时—在此状况下，用户130的特殊脸部特征在传感器系统的视野110内—传感器系统可将指示已辨识用户130的脸部特征及/或致使移动装置的通用微处理器退出低功率模式且变得完全作用中的事件发送到移动装置的通用微处理器。

致使传感器系统将事件发送到移动装置的通用微处理器的参考情况可取决于所要功能性而包含各种可cv检测情况中的任一者。这些情况可包含(例如)脸部及/或对象检测、脸部及/或对象辨识、手势辨识，及/或其类似者。在一些实施例中，一或多个参考情况可由用户130配置。下文中提供参考情况的额外实例。

因为专用相机专用于传感器系统，所以其可能并非主要用于拍摄照片或录制视频。因此，专用相机可不能产生基于强度的图像。替代地，专用相机可包含像素级计算机视觉特征计算，如同lbp、梯度、边缘、hsg及/或其它运算，其中来自专用相机的相邻传感器像素用于计算cv特征以用于所述特征的低功率的基于硬件的计算。

也就是说，尽管可使用包括专用相机的传感器系统，但实施例并不限于此。更广泛来说，传感器系统可包含传感器阵列单元，所述传感器阵列单元包含用于感测化学、视觉、听觉、生物、机械及/或其它类型的输入的传感器单元。

另外，尽管图1及其它实施例描述经并入到移动装置中的传感器系统，但实施例并不限于此。由本文中所描述的技术及特征带来的功率节省可对移动装置(例如，移动电话、平板计算机、膝上型计算机、便携式媒体播放器及/或其类似者)具有特别益处，但其它装置(例如，电视、桌上型计算机及/或可通常并不视为移动的其它装置)可利用本文中所描述的特征及技术。

图2a为根据一个实施例说明传感器系统210(其在本文中还被称作“智能传感器”)可如何经配置以在主处理器220可以低功率(例如，“睡眠”或“备用”)模式操作的同时实现高级感测操作的框图。图2a的组件可并入到较大电子装置。下文关于图5描述可传感器系统210可并入其中的移动装置的实例。

此外，应理解，替代实施例可不同于图2a中所展示的组件。例如，如下文所描述，传感器系统210的实施例可或可不包含外围电路214、微处理器216及/或存储器218。另外或替代地，实施例可取决于所要功能性而组合、分离、添加、省略及/或重新布置图2a的组件。例如，在传感器系统210包括传感器阵列(例如，像素阵列或相机)，可利用一些光学器件来在输入(例如，光)到达传感器阵列之前操纵所述输入(例如，光)。应注意，尽管实施例在本文中描述“图像阵列”的使用，但实施例并不限于此，可更广泛地使用未必产生或捕获图像的传感器阵列。(图2b(在下文更详细描述)根据一个实施例说明具有传感器阵列单元212、微处理器216及实例外围电路214的传感器系统210。)

如图2a中所说明，接收输入的传感器系统210可包括传感器阵列单元212、外围电路214、微处理器216及/或存储器218。电子传感器可通过有线或无线连接与电子装置的主处理器220(例如，移动电话的应用程序处理器)以通信方式耦合，此可提供查询到传感器系统210且从传感器系统210接收事件及/或其它触发。在一些实施例中，“主处理器”220可简单地对应于比微处理器216大(例如，在处理能力方面较大及/或在电力使用方面较大)的处理单元。在一些实施方案中，微处理器216可对应于专用微处理器或第一处理单元且可经配置以消耗比主处理器220(其可对应于第二处理单元)少的功率。

取决于电子传感器的所要功能性，所使用传感器阵列单元212的类型可变化。如先前所指示，传感器阵列单元212可包含用于感测化学、视觉、听觉、生物、机械及/或其它类型的输入的传感器单元的阵列(例如，一维或二维阵列)。例如，传感器阵列单元212可包括相机传感器或其它视觉及/或传感器阵列，其中多个传感器单元形成像素网格。

在一些实施例中，传感器阵列单元212可包含“智能”阵列，所述“智能”阵列包含借以可对传感器单元的一或多个输出执行操作的一些额外存储器及/或逻辑电路。在一些实施例中，传感器阵列中的每一传感器像素可与存储器及/或逻辑电路耦合，所述存储器及/或逻辑电路可为或可并非外围电路214的部分(下文更详细地论述)。除传感器单元的原始传感器读数外或作为其替代方案，传感器阵列单元212及/或外围电路的输出可包含输出。例如，在一些实施例中，传感器阵列单元212及/或外围电路可包含专用cv计算硬件，所述专用cv计算硬件经配置以从包括多于一个传感器像素的传感器阵列单元212的传感器阵列接收图像数据。可接着使用来自传感器阵列的相邻传感器像素的读数通过专用cv计算硬件来计算或提取cv特征，从而提供例如所计算hsg及/或lbp特征、标签或描述符的输出。在一些实施例中，传感器阵列单元212与专用cv计算硬件之间可未安置任何图像信号处理电路。换句话说，专用cv计算硬件可在对原始传感器数据执行任何图像信号处理之前从传感器阵列单元212接收原始传感器数据。其它cv计算基于其它cv计算算法(包含边缘检测、拐角检测、标度不变特征变换(或sift)、快速鲁棒特征(surf)、定向梯度直方图(hog)、局部三进制模式(ltp)等，以及上述中的任何者的扩展)也是可能的。

传感器阵列单元212的同步性(或异步性)也可取决于所要功能性。在一些实施例中，例如，传感器阵列单元212可包括传统(即，“基于帧”)相机，其中读出电路经定时以基于某些时序要求而提供对每一像素的周期性采样。在一些实施例中，传感器阵列单元212可包括事件驱动阵列，通过所述事件驱动阵列可在传感器读数或其它输出到达某一阈值及/或改变某一阈值时确定传感器输出，而非按照特定采样率(或除特定采样率外)针对“智能”阵列，如上文所论述，传感器读数或其它输出可包含额外存储器及/或逻辑的输出(例如，来自智能传感器阵列的hsg或lbp输出)。在一个实施例中，智能传感器阵列可包括动态视觉传感器(dvs)，其中针对智能传感器阵列中的每一像素，在像素值从先前值改变阈值量时异步地输出所述值。在一些实施方案中，传感器阵列单元212可为混合帧事件驱动阵列，其以给定帧速率读取值，但因仅读取从上一读取起已改变的阵列中的元件的值而节省功率。

外围电路214还可取决于电子传感器的所要功能性而变化。外围电路214可经配置以接收来自传感器阵列单元212的信息。在一些实施例中，外围电路214可接收来自传感器阵列单元212内的一些或所有像素、传感器阵列电压212的像素中电路的一些或全部(在具有显著像素中电路的实施方案)或两者的信息。针对其中传感器阵列单元212提供同步输出的实施例，例如，外围电路可对传感器阵列单元输出提供定时及/或控制操作(例如，执行基于帧及/或类似定时)。由外围电路214提供的其它功能性可包含事件排队及/或处理操作、模拟处理、模/数转换、积分操作(例如，像素值的一维或二维积分)、cv特征计算、对象分类(例如，基于级联分类器的分类或基于直方图的分类)，或直方图操作、存储器缓冲或其任何组合，“像素框值总和”、“相邻像素值比较及取阈值”、“矢量点积计算”，及其类似者。在各种实施方案中，用于执行此功能性的装置可包含(例如)外围电路214。在一些实施例中，外围电路214耦合到传感器阵列单元212的传感器单元输出且并不包含微处理器或其它处理单元。关于图2b，下文中包含外围电路214的一些实例。

这就是说，一些实施例可进一步包含耦合到外围电路214的输出的微处理器216。微处理器216通常可包括处理单元，所述处理单元相对于主处理器220以相对低功率操作。在一些实施方案中，微处理器216可使用其特有程序(例如，基于软件)及数据存储器来进一步执行计算机视觉及/或机器学习算法(其可基于帧及/或基于事件)。因此，微处理器216能够在主处理器220以低功率模式操作的同时基于由传感器阵列单元212接收的输入执行计算机视觉及/或机器学习功能。在微处理器216确定已发生需要到主处理器220的输出的事件时，微处理器216可将事件传达到主处理器220，此可使主处理器220离开其低功率模式且进入正常操作模式。

任选地，在一些实施例中，可在将微处理器216的输出中继到主处理器220之前进一步将其提供到存储器218。存储器218可包含由微处理器216基于将哪些事件或触发发送到主处理器220所维持的工作存储器及/或数据结构。存储器可用于(例如)存储图像、跟踪所检测对象，及/或执行如下文关于图2b更详细论述的其它操作。另外或替代地，存储器218可包含主处理器220可从传感器系统210查询的信息。主处理器220可执行应用程序软件、算法等222，其中的一些可进一步利用从传感器系统210接收的信息。

如先前所述，传感器系统210独立于主处理器220执行某些功能的能力(例如，图像处理及/或计算机视觉功能)可在电子装置中提供大量功率、速度及存储器节省，所述电子装置原本必须利用主处理器220来执行传感器系统210的功能中的一些或全部。特定来说，传感器阵列单元212、外围电路214及微处理器216的组合允许能够在由图像阵列捕获的动态改变场景中检测情况的场景理解。

在一个实例中，具有图2a中所展示的配置的移动电话可使用脸部检测来退出备用模式。在此实例中，移动电话进入备用模式中，在所述备用模式中，移动电话的显示器被断电，且主处理器220以低功率睡眠模式操作。然而，传感器系统210及作为传感器阵列单元212的图像阵列继续操作，从而在对象进入及退出图像阵列的视野时处理来自传感器阵列212的数据。当脸部进入图像阵列的视野时(例如在图1中，当用户130的脸部进入移动装置105的视野110中时)，其可能被传感器阵列单元212、外围电路214、微处理器216或其任何组合检测到。如果所检测到的脸部保持在图像阵列的视野中达阈限时间周期(例如，0.5秒、1秒、2秒等)，那么微处理器216可将脸部检测事件发送到主处理器220，指示已发生脸部检测。主处理器220及移动电话的显示器可接着切换回到正常操作模式。

如本文中别处所述，事件可为已发生一或多个参考情况的指示。更广泛来说，事件可包含与参考情况相关的数据。取决于所要功能性，包含在事件中的数据可指示所检测的参考对象、与参考对象有关的位置信息、参考对象的数据、与所检测的参考对象相关联的移动，及其类似者。此数据可以各种方式中的任一者传达。例如，在对象检测的状况中，事件可为简单的二进制输出，其中“0”意味着尚未检测到参考对象，且“1”意味着已检测到参考对象。

事件可包含除已发生参考情况的指示外的信息。例如，事件还可包含与参考情况相关联的一些数据。在一些实施例中，事件可包含n位/字节消息或多域消息，其中每一位或域经映射到特定数据段。例如，事件可包含输出，其中第一位/域指示是否已检测到对象，第二位/域指示对象是在移动还是静止，第三位/域涉及对象的位置(或与位置相关的信息，例如，限界对象的最小框的四个拐角，或对象的拐角的位置，等)，第四位/域涉及检测到的对象的数目等。一般来说，事件可包含任何数据(包含硬件计算cv特征)，或以任何方式与参考情况相关联的图像(除仅参考情况外还包含与参考情况有关的测量或计算)。

取决于所要功能性，参考情况可包含各种触发(例如脸部或其它对象检测事件，手势事件，脸部及/或参考对象检测及/或辨识，及其类似者)中的任一者。可使用各种脸部检测算的中的任一者实施的脸部检测可包含人脸或非人类动物脸部(例如，狗、猫或其它宠物)进入视野，或人体或非人类动物身体进入视野。此对象“进入视野”可为对象的移动及/或相机的移动的结果。参考情况可能超过脸部检测以从各种脸部特征及/或指示表情的那些特征的位置的分析来确定人脸的情绪或其它表情。另外或替代地，参考情况可包含对额外对象及/或对象移动的检测及/或辨识，例如，人手进入视野、手势、参考对象(例如，某些对象、标识或其它参考对象)进入视野，及其类似者。在一些实施例中，传感器系统210可经预经配置以检测某些参考对象。另外或替代地，由传感器系统210进行检测及/或辨识的对象可通过用户及/或由主处理器220执行的应用程序选择。参考情况可包含所检测到的环境改变(例如从室内环境到室外环境的改变)、参考移动、场景中的快速移动(例如，指示降落)、朝向对象的运动(例如，指示碰撞的风险)、指示危险的场景中的移动或对象(例如，火灾或火灾检测)，或其任何组合。在一些实施方案中，参考情况可与参考对象的检测有关，或基于参考对象的检测，如下文在图2b及本文中的别处进一步详细描述。在一些实施方案中，一旦在图像帧中检测到参考对象，那么微处理器216可检查以查看是否在随后图像帧中随后检测到相同对象。微处理器216可使用从外围电路214接收到或由微处理器216自身产生的位置信息及与所检测到对象相关联的其它数据来确定参考情况的情况，此可基于参考对象的检测。再次参考上一段中的脸部检测的实例，如果对脸部(参考对象)的检测保持在图像阵列的视野达阈限时间周期，那么可发生脸部检测(参考情况)，导致将对应的脸部检测事件发送到主处理器220。

图2b说明例如图2a的传感器系统210的传感器系统的实例实施方案，包含传感器阵列单元、cv计算硬件及微处理器，所述微处理器包含用于与第二微处理器进行通信的接口。传感器阵列单元212可包含相关双采样电路。例如，在其中使用组合式像素值或较低分辨率改进cv计算的实施方案中，传感器阵列单元212还可包含用以在将传感器元件或像素信号或值输出到线缓冲器230之前对所述信号进行组合、求和或求平均的电路。线缓冲器230可包含一或多个线缓冲器以将表示图像或图像的部分的信号从传感器阵列单元212传送到视觉传感器的其它部分。在一些实施方案中，传感器元件阵列212(与更多常规传感器阵列单元不同)可不包含用于图像信号处理(isp)电路，且因此图2b说明其中未使用中间isp电路来连接传感器阵列单元212及cv计算硬件242的实施方案，因此，在一些实施方案中，传感器阵列单元212与硬件扫描窗口阵列238或专用cv计算硬件242之间未安置任何isp电路。例如，在一些实施方案中，由cv计算硬件242从传感器阵列单元212接收的信号尚未经受isp，例如，信号尚未经受缺陷校正、白色平衡、颜色平衡、自动聚焦、透镜衰减、去马赛克、去拜耳化或图像清晰化或其任何组合中的一或多者。然而，在一些此类无isp实时方案中，一些处理可发生，例如聚焦或自动曝光校正。尚未经历isp的此些信号可被称作原始信号或原始传感器读数或原始传感器数据。原始信号、原始传感器读数或原始传感器数据可经转换成数字，经积分以形成积分图像，经存储在扫描窗口中，且专用cv计算硬件可经配置以接收原始信号、原始传感器读数，或原始传感器数据，但应理解原始信号、原始传感器读数或原始传感器数据已经历某一数据操纵(包含求和或积分)，但尚未经历isp。在一个实施方案中，传感器阵列单元212为无isp电路的四分之一视频图形阵列(qvga)相机传感器，其中阵列包括216×240个传感器元件。

在各种实施方案中，cv计算硬件242可在数字或模拟域中执行cv计算。因此，任选地，在数字实施方案中，模/数转换器(adc)234可安置在线缓冲器230与cv计算硬件242之间。在一些实施方案中，cv计算硬件242在其为经设计以几乎不具有除计算cv特征、标签或描述符外的功能性的硬件的意义上为专用cv计算硬件。

在一些实施方案中，cv计算硬件242可使用与传感器元件或像素的块相关联的信号的组合、和或平均数。在此些实施方案中，积分图像可在输入到cv计算硬件242之前用于计算此些组合、和或平均数。例如，为对多于四个像素进行求和(例如，针对大于2×2(例如，3×3或11×11)的块)，使用积分图像，求和可能快得多，这是因为仅需要进行加或减四个值来确定积分图像中的像素值的和，而非针对相应3×3或11×11图像块对9或121个值进行求和。因此，任选地，视觉传感器还可包含二维积分硬件236，所述二维积分硬件用于基于表示由传感器阵列单元中的至少一子组传感器元件(例如，像素)取样的图像的信号中的至少一子集来计算图像的至少一部分的积分图像。如所说明，二维积分计算硬件236可与专用cv计算硬件242通信。如先前所述，与直接加总传感器元件的块的信号值相比，可使用表示由传感器阵列单元取样的图像的积分图像及/或由传感器阵列单元取样的图像的一部分的积分图像来对所述信号值进行更快速地组合、求和或求平均。二维积分硬件236可包含能够基于来自传感器阵列212的原始信号而在数字或模拟域中产生表示由传感器阵列单元取样的图像的全部或部分的积分图像的信号的电路。在一些实施方案中，由二维积分硬件236产生的积分图像(其可为的由传感器阵列单元取样的图像的仅一部分或取样窗口的积分图像)可经存储在硬件扫描窗口阵列238中，如图2b中所说明。例如，硬件扫描窗口阵列可包含用于存储积分图像的随机存取存储器(ram)阵列或其它形式的模拟或数字存储器。在其中计算对应于传感器元件的块的信号的组合、和或平均数没有用(例如，像素级lbp)的实施方案中，应理解，可不包含二维积分硬件236，且因此包含来自传感器阵列单元230的模拟原始信号或来自adc234的经转换成数字的原始信号的取样窗口可经直接地存储在硬件扫描窗口阵列238中。此外，应理解，在一些实施方案中，二维积分硬件236另外或替代地可执行一维积分。类似地，硬件扫描窗口阵列238可存储对应于由传感器阵列230捕获的图像的取样窗口的一维积分图像。使用一维积分图像可允许(例如)使用旋转块来计算多块lbp以便检测旋转参考对象(例如，脸部)。任选地，可在二维积分硬件236之前或之后使用帧缓冲器(未说明)。在帧缓冲器经安置在二维积分硬件236之前的实施方案中，可将整个帧或图像从传感器阵列单元212传送到帧缓冲器中。二维积分硬件236可接着产生经存储在帧缓冲器中的图像的部分或窗口的积分图像并将此些窗口存储在硬件扫描窗口阵列238中。替代地，二维积分硬件236可积分整个图像并将整个积分图像存储在安置在二维积分硬件236与硬件扫描窗口阵列238之间的帧缓冲器中，在此状况下，存储在帧缓冲器中的积分图像的窗口可存储在扫描窗口阵列238中。然而，应理解，帧缓冲器为选用的，且二维积分硬件236可接收来自的传感器阵列单元212的对应于图像的窗口或部分的数据且立即积分窗口或部分且将此些积分图像窗口存储在硬件扫描窗口阵列238中。

视觉传感器还可包含cv计算硬件242。在一些实施方案中，cv计算硬件可至少部分地基于与接近于传感器元件块的多个相邻传感器元件相关联的信号而计算一或多个主体传感器元件块的局部cv特征。例如，在cv计算硬件的局部二进制模式(lbp)实施方案中，cv计算硬件可包含硬件，所述硬件接收对应于原始图像信号的信号值—或原始图像信号的组合、和或平均数(例如，使用积分图像产生)—且基于原始图像信号而产生数字lbp标签或矢量。在其中计算多块lbp的实施方案中，一或多个主体传感器元件的块可包含m×n个传感器元件(例如，11×11个传感器元件)的块。还应理解，也可进行像素级lbp计算，其中其局部cv特征经计算的一或多个主体传感器元件的块为单个主体传感器元件。尽管上文所提及的cv计算硬件312经描述为与专用微处理器320分离，但应理解在一些实施方案中，专用cv计算硬件312可以专用微处理器320内的硬件实施。

与在处理器(例如，通用处理器，例如应用程序处理器或甚至微处理器216)中计算cv特征(例如，上文所论述的lbp标签)相比，在专用硬件中产生所述cv特征可降低视觉传感器的功率。然而，视觉传感器可仍包含耦合到cv计算硬件242的微处理器216以执行除cv特征计算外的功能，例如，除cv特征计算外与cv相关操作或计算，或执行与使用cv特征计算硬件242执行的计算有关的额外cv特征计算。微处理器216接收来自cv计算硬件238的硬件计算cv特征且可执行较高级计算机视觉操作，例如，对象分类检测(其中脸部检测可被视为特定状况，而其它实例包含上部躯干、行人及汽车)，其中任务为发现图像中属于给定分类的所有对象的位置及大小，以及其它计算机视觉操作。此外，微处理器216可将控制信号提供到线缓冲器230、adc234、二维积分硬件236、硬件扫描窗口阵列238及cv计算硬件242。在一些实施方案中，为执行对象分类检测或其它计算机视觉操作，微处理器216可使用级联分类器算法来执行对象分类检测，例如，脸部检测。在任选实施方案中，进一步功率节省是通过在硬件中实施级联分类器来进一步减少微处理器216上的计算负担变得可能。

任选级联分类器硬件244包含的级联分类器的硬件实施方案。在一些实施方案中，使用机器学习技术就包含参考对象的实例的图像的数据集对级联分类器进行训练，级联分类器将经训练以检测或分类非对象的实例(例如，脸部及非脸部的图像)，或汽车及非汽车的图像，或上部躯干及非上部躯干的图像等。例如，在第一阶段中，级联分类器硬件可请求cv计算硬件242计算关于存储在(例如)硬件扫描窗口阵列238中的特定数目(l)个主体传感器元件的lbp特征。另外，级联分类器硬件244还将提供主体传感器元件的位置{(x11,y11),…(x1l,y1l)}。一旦cv计算硬件242计算并提供所请求lbp特征(其可被视为矢量值)，级联分类器硬件执行lbp特征中的每一者的点积与一或多个权数的求和以产生第一经加权重标量和值。一般来说，将使每一lbp特征(lbp11,…,lbp1l)乘以给定权数(w11,…,w1l)，每一权数可不同。接着将第一经加权重标量和值与第一阈值进行比较。如果标量和小于阈值，那么根据给定概率，由存储在硬件扫描窗口阵列238中的信号表示的图像的部分中不存在任何参考对象，且因此级联分类器硬件244发送信号到硬件扫描窗口阵列238，且任选地，到视觉传感器的其它组件(例如，线缓冲器230及传感器阵列单元212)以指示硬件扫描窗口阵列238应继续扫描及加总一或多个新列及/或行以及移除一或多个旧列及/或行。在图像的后续窗口或对应于传感器阵列单元的后续传感器元件子组的后续多个信号经存储在硬件扫描窗口阵列238中的情况下，过程可重新开始。应理解，图像的后续窗口可与图像的上一窗口大部分重叠。在一些实施方案中，从左到右扫描图像且一旦到达传感器阵列单元212的末端，即可在向下移动一或多个行之后再次从左到右扫描图像。在另一实施方案中，可在向下移位一或多个行之后从右到左扫描图像，此可允许与先前图像的增加重叠。

如果标量和相反地大于第一阈值，那么级联分类器硬件244移动到下一阶段。在下一(在此实例中，第二)阶段中，级联分类器硬件再次请求cv计算硬件242提供存储在硬件扫描窗口阵列238中的关于位置{(x21,y21),…(x2m,y2m)}处的m个主体传感器元件的lbp特征。一旦cv计算硬件242计算并提供所请求lbp特征(lbp21,…,lbp2m)，级联分类器硬件244执行lbp特征中的每一者的点积与一或多个权数(w21,…,w2m)的另一求和以产生第二经加权重标量和值。接着将第二经加权重标量和值与第二阈值进行比较。如果标量和小于第二阈值，那么存在参考对象存在于由存储在硬件扫描窗口阵列238中的信号表示的图像的部分中的低可能性，且级联分类器将信号发送到视觉传感器阵列中的其它组件以继续扫描且移动到图像的下一部分。如果第二经加权标量和值大于第二阈值，那么处理继续到第三阶段，如上文所描述。在最终阶段(例如n阶段级联分类器中的第n阶段)结束时，如果第n经加权标量和值大于第n阈值，那么在存储在硬件扫描窗口阵列238中的图像的部分中检测参考对象。级联分类器硬件244可接着向微处理器216指示已检测到参考对象，且可进一步任选地指示其中检测到参考对象或参考对象的部分的图像的部分的位置。一般来说，级联分类器硬件244可经配置以将检测到参考对象的指示连同与参考对象相关联的数据(例如，在检测参考对象的过程中计算的cv特征、那些cv特征在图像内的位置或与由cv计算硬件242及/或级联分类器硬件244执行的计算或操作相关联的任何其它数据中的全部或一些)一起发送到微处理器216。

硬件扫描窗口阵列238内的主体传感器元件(在每一阶段计算其lbp特征、标签或矢量)的数目及位置经大体编程到级联分类器硬件244中且从上文所论述的机器学习训练得出。类似地，用以乘以lbp特征中的每一者的权数也是大体在机器学期训练期间经确定且接着经编程到级联分类器硬件244中。阶段的数目也由训练得出，且经编程到级联分类器硬件244。在一些实施方案中，级联分类器可包含1到31个阶段，例如，15个阶段。在一些实施方案中，级联分类器可包含1到31个阶段，例如，15个阶段。在一些实施方案中，级联分类器硬件244可在其为经设计以执行级联分类器功能且几乎不执行其它显著功能的硬件的意义下被视为专用级联分类器硬件。虽然上文所描述的实施方案涉及级联分类器基于经编程权数及阈值(基于先前在实验室中训练及机器学习)以产生模型，但应理解级联分类器硬件244，或经设计以基于从cv计算硬件242接收的硬件计算cv特征执行cv操作的的外围电路中的其它硬件可经设计以现场执行机器学习。

在刚所描述的实施方案中，微处理器216可接着确定如何处理(例如)参考对象检测事件。例如，其可将事件发送到第二微处理器。在一些实施方案中，微处理器216及第二微处理器可对应于图2a的微处理器216及主处理器220。如图2b中所说明，微处理器216包含用于与第二微处理器通信的接口246。另外或替代地，微处理器216可随时间跟踪所检测参考对象的位置(例如，在多个图像上)以确定(例如)用于手势辨识的移动、碰撞的风险、危险及/或其它事件。

更特定来说，一些实施例可通过首先检测对象接着确定其它特征来实现广泛范围的功能性。在此些实施例，可经由外围电路(例如，级联分类器硬件244及/或其它专用硬件)进行对象检测，且可由微处理器216执行额外操作。例如，可首先通过对象的检测，接着(例如，使用微处理器)在对象已处于相机的视野中达临限时间周期的确定来确定对象进入视野。如上文所述，可通过检测手势控制对象(例如，手)，接着确定手的移动来进行手势检测。可通过检测对象及确定指示与对象碰撞的风险的移动(例如，通过相机、通过相机的视野内的第二对象，等)来确定碰撞风险。所属领域的技术人员将认识到实施例可包含上述特征的任何组合，及/或这些特征的变化。

尽管上文的描述将级联分类器硬件244称作与微处理器216分离，但应理解在一些实施方案中，级联分类器硬件244可在微处理器216内的硬件中实施。此外，级联分类器硬件244可在一些实施方案中经赋予某一控制功能性以允许其(如所说明)控制cv计算硬件242及硬件扫描窗口阵列238。如此，级联分类器硬件242可自动从微处理器216检测特征，且因此微处理器216可在级联分类器硬件244执行其功能的同时处于低功率状态。如此，智能传感器可基于一或多个所计算cv特征而执行较低功率操作，且在(例如)检测到对象时，级联分类器硬件242可提供事件(包含数据，例如到微处理器216的传感器读数)以唤醒微处理器216。微处理器216可接着确定下一动作过程，例如，将通过接口246将事件发送到第二微处理器。应理解，甚至在低功率状态中，微处理器216可在一些实施方案中仍将控制信号提供到传感器阵列单元212、线缓冲器230，等，或另外或替代地，此些控制信号可通过较低功率控制逻辑来提供。替代地，级联分类器可在微处理器216上作为软件算法运行。此外，其它软件算法可替代级联分类器在微处理器上运行。例如，可使用直方图来执行参考对象检测，如图11c中所描述。在一些此类实施方案中，可将针对存储在扫描窗口阵列238中的图像的样本窗口所计算的所有lbp标签的直方图与参考直方图进行比较以检测存储在扫描窗口阵列238的样本窗口中的脸部的存在。在一些实施方案中，专用硬件可经实施以使用直方图检测(例如)脸部。替换级联分类器硬件244或除其外，此实施方案可包含此类专用硬件。

在图2b中所说明的实施方案中，线缓冲器230、adc234、二维积分硬件236、硬件扫描窗口阵列238、cv计算硬件242、级联分类器硬件244或其任何组合中的一者或多者可被视为外围电路，所述外围电路为在传感器阵列单元212外部的电路且可对应于图2a的外围电路214。还应理解，刚刚所列举的各种组件或其任何组合可经实施代替作为传感器阵列单元212内的像素中电路。

图3a到3c为说明可如何利用传感器系统210的组件来提供低功率传感器处理的框图。此处，仅说明某些组件。应理解，传感器系统可具有额外组件，如图2a及2b中所展示。

在图3a中，外围电路214与传感器阵列单元212的多个传感器单元输出耦合。传感器阵列单元212及/或外围电路214包含专用cv计算硬件以使用多个传感器单元输出中的至少一子集来执行特征检测计算，其中多个传感器单元输出中的所述子集对应于包括相邻传感器单元或像素的传感器阵列单元212的区域(例如，图像阵列)。因此，外围电路214的输出基于(至少部分地)特征检测计算。此特征检测计算可包含使用可提供特征检测(例如，边缘检测、线检测，等)的传感器阵列单元212的相邻传感器单元或像素的各种计算中的任何者。此些特征检测计算包含(例如)lbp、hsg，及其类似者。在一些实施例中，专用cv计算硬件可包括集成电路。

在图3b中，第一处理单元217与智能图像阵列213的一或多个输出以通信方式耦合，其中多个传感器像素与存储器及/或逻辑电路耦合。此处，第一处理单元217可对应于图2a及2b的微处理器216，且智能图像阵列213可对应于图2a及图2b的传感器阵列单元212。智能图像阵列213可包含用于计算cv特征的专用cv计算硬件，所述cv特征使用来自相邻传感器像素的读数来计算，如上文关于图3a及/或图2b所描述。如图2a及2b中所展示，这两个组件可并非彼此直接耦合，而是可具有中间电路。第一处理单元217处理从智能图像阵列的一或多个输出接收的信号以检测参考情况。第一处理单元217接着产生事件(指示参考情况)以由第二处理单元(例如，图2a的主处理器220)接收。

事件可基于处理由基于一或多个所计算cv特征的操作所产生的信号而产生。此些操作可在一些实施方案中包含由级联分类器(例如，图2b的级联分类器硬件244)执行以检测脸部的操作或计算。事件是基于处理由那些操作所产生的信号而产生可因此包含微处理器处理信号，例如来自级联分类器的检测参考对象的指示。指示可包含与所检测对象相关联的数据，例如，位置、相关联lbp特征及其位置，及/或图像数据自身。此使得微处理器能够通过在未检测到任何参考对象时不分析图像数据来节省能量。

在图3c中，设置类似于图3b。此处，第一处理单元217与图像阵列215的一或多个输出以通信方式耦合。此外，第一处理单元217可对应于图2a及/或2b的微处理器216，且图像阵列215可类似地对应于图2a及/或2b的传感器阵列单元212。然而，在此实施例中，第一处理单元217确定已检测到脸部且产生用于第二处理单元的脸部检测事件。取决于所要功能性，第一处理单元217可操作以使用从图像阵列215的一或多个输出接收的一或多个信号来检测脸部。

图4为根据实施例说明感测动态的基于场景的情况的方法400的流程图。如同本文中所提供的其它图，图4经提供作为非限制性实例。替代实施例可包含图中所展示的功能性额外的功能性，及/或图中的块中的一或多者所展示的功能性可同时被省略、组合、分离及/或执行。用于执行块的功能性的装置可包含电子装置的一或多个硬件及/或软件组件，例如，图5中所说明及下文所描述的移动装置的一或多个组件。熟习此项技术者将认识到许多变化。

方法400可在方框410处开始，其中专用cv硬件接收来自传感器阵列的图像数据。图像数据可包含来自传感器阵列的多个图像像素的传感器读数。如先前所指示，专用cv硬件可实施于及/或并入到图2a的传感器阵列单元212及/或外围电路214中。(传感器阵列可被包含在传感器阵列单元212中。)

在方框420处，通过专用cv计算硬件使用来自传感器阵列的相邻传感器像素的读数来计算一或多个cv特征。此处，cv特征可包含边缘、线及其类似者，其可使用(例如)lbp、hsg及/或其它计算来计算。专用cv计算硬件的使用可实现快速及高效计算而无需使用相对较高量的能量及/或处理功率。

在方框425处，基于一或多个cv特征执行一或多个cv操作。如先前所述，在外围电路中可进行此些操作。例如，如关于图2b所描述，级联分类器可执行操作以检测脸部或其它对象，且将指示对脸部或其它对象的检测的信号提供到微处理器。然而，如下文所述，基于一或多个cv特征执行cv操作可通过外围电路(例如，专用硬件)及/或微处理器或两者来执行。执行cv操作的硬件及/或软件组件可产生输出信号(例如，级联分类器的输出，直接从cv计算hw接收的指示lbp计算的信号，在微处理器内内部产生的信号，等)。微处理器将使用这些信号中的一或多者来确定已发生参考情况(例如，脸部检测)。

在方框430处，确定已发生参考情况。如先前所指示，参考情况可包含各种事件中的一或多者。这些事件可包含(例如)人脸进入视野、人脸上表达的情绪、非人类动物脸部进入视野、人手进入视野、手势、参考对象进入视野、从室内环境到室外环境的改变、参考移动、场景中指示下落的快速移动、指示碰撞风险的朝向对象的运动、场景中指示危险的移动或对象，或其任何组合。在一些实施例中，这些参考情况可为预定义及/或用户可配置的。

在方框440处，产生用于第二处理单元的事件，其中事件指示参考情况。如本文中所使用，术语“事件”描述经提供到处理单元指示参考情况的信息。此处，将事件提供到第二处理单元。在一些实施例中，事件可简单地包含已发生参考情况的指示。在一些实施例中，事件可进一步包含检测到的参考情况的类型的指示。事件可由第一处理单元产生且发送到第二处理单元。在一些实施例中，在第一处理单元与第二处理单元之间可存在中间电路。

可注意，由图4中所说明的各种方框执行的功能性可由传感器系统(例如，图2a及2b的传感器系统210)的各种组件执行，此取决于所要功能性。方框410及420的功能性(例如)可由像素中或外围电路(例如，cv计算硬件)执行。方框425的功能性(例如)可由微处理器或专用硬件(例如，级联分类器或其它专用硬件)执行。在一些实施例中，方框425、430及440的功能性可全部由微处理器执行。替代地，一些实施例可运用外围电路执行方框425的功能性，且运用微处理器执行方框430及440的功能性。所属领域的技术人员将认识到数个变化形式。

再次参考图2a，本文中所描述的传感器系统210的实施例可进一步执行涉及在相应较低功率及较高功率模式中所使用的功率或能量消耗的不同类型的功能(例如，较低功率操作及较高功率操作)。在较高功率模式中，例如，传感器系统可通过利用如本文中所描述非专用cv计算硬件来在传感器系统210自身内提供图像处理能力。应理解，本文中“较低功率”及“较高功率”的使用意欲为相对的。换句话说，甚至在较高功率模式中，所描述的传感器系统仍可能够使用比运用在软件中运行cv算法的微处理器来执行那些相同基于cv计算低的功率来基于硬件计算cv特征执行强大的基于cv的计算。如先前所详述，专用cv计算硬件可包含并入到传感器阵列单元212中的像素中电路，其可包含用于一些或全部像素的电路，能够对每一相应像素执行处理，例如，检测相对于一或多个相邻像素的经感测光强度，基于经感测光的颜色或强度相对于相邻像素的差异而检测对象的边缘，及/或进行lbp、hsg及/或其它cv计算。专用cv计算硬件可进一步包含外围电路214，所述外围电路可另外或替代地用于像素中电路来执行这些计算中的一些或全部。实施例可在不需要较高功率操作时禁用或以其它方式以低功率模式操作传感器系统210的此专用cv计算硬件中的一些或全部，此可节省功率。因此，如本文中所描述，较高功率操作涉及专用cv计算硬件(例如，传感器阵列单元212中的像素中电路及/或外围电路214)，而在专用cv计算硬件中的一些或全部经禁用或处于减少功率状态中时执行较低功率操作。

在一个实例中，传感器系统210可配置传感器阵列单元212以作为单个像素操作。在此状况下，传感器系统210可禁用所有像素中电路及/或外围电路214。在此配置中，阵列的个别像素中的每一者有助于整个传感器阵列的单个感测值。

图5展示对图2a的传感器阵列单元212的简化说明。在传感器阵列单元212中，像素510经布置成行及列且放置在接收光学器件的聚焦平面中以提供图像捕获。(为清楚起见，仅图5中的一些像素510具有数个标签。)应理解，传感器阵列单元的特征(例如，像素大小、纵横比、分辨率及其类似者)可取决于所要功能性而变化。例如，图5的简化说明展示10×10像素阵列，但实施例可具有数百、数千或数百万像素(或更多)。

如先前所指示，每一像素510可包含传感器以及像素中电路以对像素510执行cv计算。另外或替代地，外围电路可经包含以对像素执行cv计算，如本文中别处所指示。继续上述实例，传感器阵列单元212的像素中电路及/或外围电路中的一或多个组件可经禁用以使得传感器阵列单元212能够以功率高效方式执行较低功率操作以(例如)关断除一个像素外的所有像素，或读取并组合来自所有像素的感测值以仅作为单个像素有效地操作(被称作“单像素模式”)。在此配置中，传感器系统210经配置以执行一或多个较低功率操作，例如，环境光感测(als)、接近度检测(pd)、接近参考对象检测，或运动检测。在一些状况下，可使用具有仅单个像素的传感器阵列来充分地执行这些功能中的每一者。

另外或替代地，传感器阵列单元212可在较低分辨率配置中实现传感器阵列单元212可作为多个像素操作，而非实际上仅作为单个像素操作。如在图6中所展示，传感器阵列单元212的像素510的子群组610可各自以类似于上文所描述的单像素模式的方式操作，因此作为具有多个像素的传感器有效地操作(在图6的配置中，四个子群组610有效地形成2×2像素阵列)。再次，例如，传感器系统210的专用cv计算硬件中的一些或全部(例如，外围电路214及/或传感器阵列单元212的像素中电路)可在此模式期间被禁用。在此配置中，传感器系统210可执行一或多个较低功率操作，例如als、pd、改变检测(cd)，或运动检测。虽然图6的实例使用2×2像素的视在分辨率，但可配置其它降低的分辨率。此外，此降低的分辨率可包含聚集多个个别像素510以共同作为一些数目个像素操作，或可包含禁用传感器阵列单元212中的像素510中的一或多者使得像素不感测光或在其经禁用时不提供输出。

如同关于图3a到3c所描述的操作，传感器系统210可经配置以在其以较低功率操作的同时检测一或多个参考情况且产生一或多个对应的事件。例如，传感器系统210可并入到移动电话中且经配置以在单个像素310的感测值指示由传感器系统210检测的光的量显著增加时检测参考情况。所检测的光的量的此改变可指示移动电话已被从用户的口袋取出或已被从桌子或床头柜拿起。传感器系统210可在较低功率操作的同时确定发生此参考并产生向主处理器220指示参考情况的事件。在检测到此事件，传感器系统210可进一步激活专用cv计算硬件来使得较高功率操作能够执行不同类型的cv操作，例如，脸部检测及脸部辨识。

图7为说明用于使用传感器系统作为光学传感器的实例方法700的简化流程图。如同本文中所提供的其它图，图7经提供作为非限制性实例。另外，方法700可广泛地应用于本文中所描述的实施例，包含图4中所展示的感测动态的基于场景的情况的方法400。用于执行图7中所说明的方方框的功能性的装置可包含传感器系统(例如，图2a的传感器系统210)的一或多个硬件组件。在一些实施例中，装置可进一步包含主处理器，例如图2a的主处理器220。尽管方法500在下文经描述为由图2a的传感器系统210执行，但实施例并不限于此传感器系统。

方法700可当传感器系统210起始较低功率操作时在方框710处开始。例如，在一个方面中，传感器系统210起始als操作、pd操作、cd操作或md操作中的一者。在此方面中，传感器系统210通过禁用专用cv计算硬件来起始较低功率操作，且配置传感器阵列单元212从而以降低分辨率操作。如上文所论述，在不同实例中，降低分辨率可包含单个像素模式。在一些实施例中，传感器系统210可起始多个较低功率操作，例如als操作及pd操作两者、cd操作及md操作，或als操作、pd操作、cd操作及md操作中的全部四者。在起始较低功率操作之后，方法700继续进行到方框720。

在方框720处，在执行较低功率操作的同时，传感器系统210检测参考情况。在其中传感器系统210经配置以执行als功能的一个实例中，传感器系统210产生至少一个较低功率光学传感器读数，所述低功率光学传感器读数可用于检测参考情况。例如，较低功率光学传感器读数可指示环境光的量的改变，且传感器系统210可在光的感测水平以超过参考阈值的速率改变，或以超过参考阈值的速率改变颜色时基于所述较低功率光学传感器读数而检测参考情况。

在另一实例中，传感器系统210经配置以执行pd功能。在此实例中，传感器系统210进一步包括光发射器，例如，发光二极管(led)，且传感器阵列单元212经配置以检测反射光的量。当所检测反射光的量超过阈值时，传感器系统210检测参考情况。例如，传感器系统210可检测指示对象在传感器系统210附近的参考情况。在一个方面中，当所检测反射光的量低于阈值时，传感器系统210可检测参考情况。例如，传感器系统210可检测对象不再在传感器系统210附近的事件。

在一个实例中，传感器系统210经配置以执行cd功能。改变检测可检测超过阈值的场景的改变，其中此场景改变对应于参考情况，例如，如图7的方框720中所描述。参考图2b，在一些实施方案中，硬件扫描窗口阵列238、cv计算硬件242、级联分类器244，及/或专用微处理器216或其任何组合可经禁用或处于低功率模式中。如此处所使用，经禁用意欲指示此些组件在其功能性未被使用或其功能性较之其正常操作大幅度降低时处于降低功率状态。因此，在此状态中，与涉及cv特征计算及后续cv操作的正常操作相比，传感器系统可以较低功率模式操作。关于传感器阵列单元212中的大像素块(例如，如在图6中说明，对应于子群组610的块)的像素值可经求和以得到表示每一块中的所有像素值的单一值。此求和可使用由二维积分硬件236提供的积分图像计算并存储(例如)在积分图像帧缓冲器(图2b中未展示)中。可接着及时逐帧比较块求和。在给定块中，如果与上一帧相比当前帧的求和值的改变比参考改变阈值大，那么可检测场景改变参考情况。在替代实施方案中，仅当参考最小数目个块登记此改变，才将检测场景改变参考情况。例如，在具有经划分成81个块(像素经分组成9×9阵列，其中9×9阵列中的每一块包含像素子阵列)的传感器元件阵列的系统中，可如上文所描述检测每一块的改变，且在三个、四个或另一数目个块寄存改变时，才可触发场景改变参考情况。在检测到场景改变时，传感器系统210可进一步激活硬件扫描窗口阵列238、cv计算硬件242、级联分类器244及/或专用微处理器216的任一组合。应理解，上文所描述的cd操作可在无需使用积分图像或二维积分硬件的情况下实施，但可使用其它硬件来确定总块值。

在一个实例中，传感器系统210可经配置以执行md功能。在此实例中，传感器系统210配置传感器阵列单元212以具有大于2×2像素分辨率的降低分辨率，但比传感器阵列单元212中的像素的最大分辨率小。在此实例中，传感器系统210经配置以检测不同有效像素处的感测光的相对改变。在此实例中，传感器系统210分析在有效像素(例如，如图6中所展示的子群组610)中的每一者处感测的光的量，确定在每一有效像素处感测的光的量相对于至少另一有效像素之间的第一组差。传感器系统210接着检测有效像素中的每一者处的感测光的第二量，且确定每一有效像素处感测的光的量相对于至少另一有效像素之间第二组差。传感器系统210接着基于第一组差及第二组差而确定差的改变。如果差的改变超过参考运动阈值，那么传感器系统210检测参考情况。在一个方面中，如果第一有效像素指示所感测光相对于第二有效像素的正改变，且所述第一有效像素指示所感测光相对于第二有效像素的负改变，那么传感器系统210可检测运动事件。

在方框720处检测参考情况可接着触发至少一个较高功率操作的指示。在方框730中，传感器系统210通过启用专用cv计算硬件来起始较高功率操作。例如，传感器系统210可起始脸部检测操作或脸部辨识操作，或手势辨识操作。替代地，传感器系统210可起始对象检测操作以检测参考对象在由传感器系统210捕获的图像中的存在。

在其中触发较高功率操作的参考情况为pd操作的情况中，检测由传感器系统210捕获的图像中的参考对象可指示参考对象的接近度。因此，在此实例方法中，较高功率操作基于较低功率操作与较高功率操作之间的单向相依关系。单向相依关系在此实例中与仅在较低功率操作检测参考情况之后发生的较高功率操作有关。

此外，较高功率操作可基于评估所述至少一个较低功率光学传感器读数。例如，如上文所论述，传感器系统210可执行较低功率als操作且起始较高功率操作。在一些实例中，较高功率操作还可评估较低功率als操作的传感器读数。例如，较高功率操作可包含脸部检测或辨识功能。在一个方面中，传感器系统210可在执行脸部辨识功能时评估als传感器读数以确定环境光水平并调整曝光时间或光圈大小。或在一些方面中，pd功能可产生较高功率操作可评估以确定所检测对象的估计范围的传感器读数。在一些方面中，传感器系统210可起始其它或多个较高功率操作。在一些方面中，传感器系统210可重复地执行方法700。例如，在执行较高功率操作之后，传感器系统210可重新开始方法700且在方框710处通过起始较低功率操作来执行功能性。在检测场景改变时，例如，传感器系统210可进一步激活额外组件(例如，硬件扫描窗口阵列238、cv计算硬件242、级联分类器244及/或微处理器216)的任何组合以执行一或多个较高功率操作。一旦执行较高功率操作，传感器系统210可接着返回到较低功率模式。

虽然图7的方法700已经描述为一系列较低功率及较高功率操作，但在一些实例中，传感器系统210可基本上同时执行较低功率操作及较高功率操作两者。例如，在方框730处，在执行较高功率操作之后，传感器系统210可起始较低功率操作但继续执行较高功率操作。因此，在一些实例中，在方框710处，在传感器系统210正执行较低功率操作时，传感器系统210可还执行额外功能，例如，较高功率操作，且通过起始较低功率操作，传感器系统210可未专有地执行较低功率操作。此外，当传感器系统210在方框730处起始较高功率操作时，传感器系统210在一些实例中可继续执行较低功率操作。

图8展示用于使用传感器系统作为光学传感器的实例方法800。此外，方法800将关于图2a中所展示的实例传感器系统210进行论述，但并不限于此传感器系统。

方法800在方框810处开始，其中传感器系统210如上文关于图7的方法700所论述起始较低功率操作。在方框820处，在执行较低功率操作的同时，传感器系统210如上文关于图7的方法700所论述检测参考情况。在检测到参考情况之后，方法800继续进行到方框830。

在方框830处，传感器系统210提供用于较高功率操作的参数值。在一个实例中，传感器系统210提供环境光的水平作为较高功率操作的配置设置。在此实例中，传感器系统210可提供所述参数值作为与光强度或自动曝光参数或与图像的积分时间相关联的配置设置。在另一实例中，传感器系统210提供距对象的估计距离。在一个此实例中，如果传感器系统210执行pd操作且检查对象，那么传感器系统210提供到对象的估计距离或所检测的反射光的量。在另一实例中，传感器系统210提供较高功率操作的运动方向。在一个此实例中，传感器系统210可经配置以执行块登记改变(参见上文对cd的论述)的较低功率md操作及/或移动且基于随时间感测到的光的相对量的改变而检测运动方向。可将运动方向提供到较高功率操作，例如手势检测操作。

在一些实施例中，传感器系统210可经配置以提供指示由传感器系统210观看的场景可能为室内场景还是室外场景的参数。例如，如果环境光的水平超过预定义阈值，那么传感器系统210可提供指示场景为室外场景的参数，而如果环境光低于第二预定义阈值，那么传感器系统210可提供指示场景为室内场景的参数。在一些实例中，可基于以一或多个频率检测的峰值强度作出室内/室外确定。

在一些实施例中，传感器系统210可经配置以提供指示场景中所关注的区域的参数。在一个实例中，传感器系统210已配置传感器阵列单元212从而以3×3有效像素的降低的分辨率操作。在此实例中，传感器系统210可确定所关注的有效像素，此可基于所检测到的环境光的改变、接近度检测参考情况、有效像素中的一或多者的改变检测，及/或所检测的运动方向。在一个实例中，传感器系统210可经配置以提供与参考情况频率相关联的参数。在此实例中，传感器系统210检测事件的多个情况且确定发生事件的频率。

根据一些实施例，可使用参数来确定较高功率操作。在一个实例中，参数可指示cv特征选择操作。例如，参数可基于光强度而指示是使用lbp功能、hsg功能还是cv功能。在传感器系统210提供参数之后，方法继续进行到方框840。

在方框840处，传感器系统210如上文所论述使用参数(在方框830处提供)来起始较高功率操作。

如上文关于图7的方法700所描述，虽然图8的方法800已经描述为一系列较低功率及较高功率操作，但在一些实例中，传感器系统210可基本上同时地执行较低功率操作及较高功率操作两者。例如，在方框840处，在执行较高功率操作之后，传感器系统210可起始较低功率操作但继续执行较高功率操作。因此，在一些实例中，在方框810处，在传感器系统210正执行较低功率操作时，传感器系统210可还执行额外功能，例如，较高功率操作，且通过起始较低功率操作，传感器系统210可未专有地执行较低功率操作。此外，当传感器系统210在方框840处起始较高功率操作时，传感器系统210在一些实例中可继续执行较低功率操作。此处，传感器系统210可继续运用经启用的专用cv计算硬件操作，而非禁用专用cv计算硬件以执行较低功率操作。然而，较低功率操作可简单地不利用专用cv计算硬件。

图9展示用于使用传感器系统作为光学传感器的实例方法。如同本文中所描述的其它方法，方法900将关于图2a中所展示的实例传感器系统进行论述，但并不限于此传感器系统。

方法900在方框910处开始，其中传感器系统210如上文所论述起始较高功率。在方框920处，传感器系统210基于方框910处的较高功率操作而检测参考情况，例如，脸部检测或脸部辨识。在检测到参考情况之后，方法900继续进行到方框930。

在块930处，传感器系统210提供关于较低功率操作的参数。在一个实施例中，较高功率操作可检测在传感器系统210附近的对象，且在一些实例中，系统可还确定距对象的估计距离。传感器系统210可将指示对象的存在的包括参数的事件提供到较低功率操作，或还可(或替代地)提供指示距对象的距离的参数。此参数可由较低功率操作用于辅助或增强pd功能。例如，pd功能可能够基于参数更准确地检测在传感器附近的对象，例如，通过确立或调整临限强度水平。

在一些实施例中，传感器系统210可提供指示到光源的方向的参数。例如，较高功率操作可检测所说明对象或反射对象，及对象的位置或方向。传感器系统210可基于指示光源的方向的较高功率操作而提供参数。较低功率操作可使用此参数，例如，在执行als时。在一个实例中，较高功率操作可确定由传感器系统210观看的场景为室内或室外场景。传感器系统210可将参数提供到较低功率操作。例如，参数可辅助或增强较低功率操作，例如通过辅助als功能，通过提供与用于检测环境照明的改变的阈值相关联的信息。

在一些实施例中，实例传感器系统210提供指示在由传感器系统210观看的场景中可见的房间的占用的指示符或人数的参数。例如，较高功率操作可在由传感器系统210观看的场景中检测一或多个脸部，或一或多个人。传感器系统210可接着提供指示场景中的人或脸部的数目或区域的占用程度的指示符的参数。在一个实例中，较低功率操作(例如，md功能)可使用此信息来更佳地检测运动，或降低md功能对运动的敏感性。例如，如果传感器系统210提供指示高占用程度的参数，那么md功能可切换到需要较强运动指示的预定阈值且因此md功能对运动较不敏感。替代地，如果传感器系统210提供指示低占用程度的参数，那么md功能可增加其在检测运动事件时的敏感度。在另一实例中，较高功率操作可设置用于上文所描述的cd操作的块的阈值及/或最小数目。

在方框940处，传感器系统210使用参数来起始较低功率操作。例如，传感器系统210可指示如上文关于图7及8所描述的较低功率操作。在此实例中，较低功率操作在起始之后经配置以使用参数。例如，如上文所论述，pd功能可能够基于参数更准确地检测在传感器附近的对象，例如，通过确立或调整临限强度水平。在一个实例中，参数可辅助或增强较低功率操作，例如通过辅助als功能，通过提供与用于检测环境照明的改变的阈值相关联的信息。

一些实施例可重复地执行方法900。例如，在执行较高功率操作之后，传感器系统210可重新开始方法900且在方框910处起始较低功率操作。

如上文关于图7及8的方法700、800所描述，虽然图9的方法900已经描述为一系列较高功率及较低功率操作，但在一些实例中，传感器系统210可基本上同时地执行较低功率操作及较高功率操作两者。例如，在方框940处，在执行较低功率操作之后，传感器系统210可起始较高功率操作但继续执行较低功率操作。因此，在一些实例中，在方框910处，在传感器系统210正执行较高功率操作时，传感器系统210可还执行额外操作，例如，较低功率操作，且通过起始较高功率操作，传感器系统210可未专有地执行较高功率操作。此外，当传感器系统210在方框940处起始较低功率操作时，传感器系统210在一些实例中可继续执行较高功率操作。

在一些实施例中，可组合一或多个方法。例如，图7或8的方法可与图9的方法组合。例如，在完成图7的方法700的方框730之后，方法可继续进行到图9的方法900的方框920。在一个实例中，在完成图8的方法800的方框840之后，方法可继续进行到图9的方法900的方框920。还预取其它组合。

图10a展示关于可由传感器系统210执行的计算机视觉计算及较低功率光学传感器读数的实例状态图。图10a包含两个状态，较低功率操作状态1010及较高功率操作状态1020。在较低功率操作状态1010中，传感器系统210经配置以执行一或多个较低功率操作且可获得一或多个传感器读数。在较高功率操作状态1020中，传感器系统210经配置以执行一或多个较高功率操作(例如，计算机视觉计算及操作)，且可获得一或多个传感器读数。在一些实施例中，传感器系统210经配置以处于较低功率操作状态1010或较低功率操作状态1020中，但不能同时地处于两者中。在一个此实例中，传感器系统210经配置以基于传感器读数从一个状态过渡到另一状态，此可在状态之间建立单向相依关系。例如，在一个实例中，较高功率操作的执行取决于来自较低功率操作的传感器读数，或较低功率操作的执行取决于来自较高功率操作的传感器读数。

然而，在一些实例中，传感器系统210可经配置以基本上同时地在两个状态1010、1020中操作。例如，在一个实例中，传感器系统210可包括多个传感器阵列单元212，其中的一者可经配置以执行较低功率操作且其中的另一者可经配置以执行较高功率操作。在一些实例中，传感器系统210可细分传感器阵列单元212使得传感器阵列单元212的一部分经配置以执行一或多个较低功率操作，而传感器阵列单元212的另一部分经配置以执行一或多个较高功率操作。在传感器系统210经配置以基本上同时地在两个状态1010、1020中操作的一个实例中，可基于来自状态中的一者的传感器读数而建立单向相依关系，所述传感器读数致使起始另一状态中的特定操作或致使重新配置另一状态中的操作。在一些实施例中，一个状态中的操作可提供由另一状态中的操作使用的一或多个参数，例如，在图10b中可见。

图10b展示关于可由传感器系统210执行的计算机视觉计算及较低功率光学传感器读数的实例状态图。图10b包含上文关于图10a所描述的状态，但还包含响应于状态1010、1020中的一者或两者中的事件检测而在状态1010、1020之间的状态过渡或信息传递。如同图10a中的状态图，传感器系统210可依序在两个状态1010、1020之间过渡，或可同时在两个状态1010、1020中操作。传感器系统210可经配置以检测状态中的每一者中的事件。在本发明中较早地描述参考情况的实例。如在图10b中所展示，传感器系统210基于从一个状态中的功能到另一状态中的一或多个功能的检测事件而提供一或多个参数值。

例如，如果传感器系统210在较低功率操作状态1010中执行pd操作且检测到对象在传感器系统210附件，那么传感器系统210将参数值(例如指示检测到对象的旗标值或对象的估计范围)提供到较高功率操作状态1020中的计算机视觉功能(例如，脸部检测功能)。在一些情况中，传感器系统210还可从较低功率操作状态1010过渡到较高功率操作状态1020；然而，传感器系统210可使用一或多个参数值激活或继续执行较高功率操作状态1020中的操作。传感器系统210还可检测较高功率操作状态1020中的事件且将一或多个参数值提供到较低功率操作且传感器系统可过渡到较低功率操作状态或使用一或多个参数值来激活或继续执行较低功率操作状态1020中的操作。

图11a、11b及11c说明根据一些实施例的将传感器读数从多个传感器元件转换到cv特征的过程。

图11a说明来自经考虑用于产生直方图及检测特征的传感器阵列单元(例如，图2a或2b的传感器阵列单元212)的多个传感器元件的传感器读数群组(窗口1102)。

图11b说明产生关于用于产生lbp标签的中心传感器元件1104的二进制阈值的过程。图2b的cv计算硬件242可包含用于计算lbp标签的硬件。经产生用于中心传感器元件的标签可由二进制值1111000表示。类似地，针对窗口1102的九个感觉元件中的每一者产生lbp标签。每一标签可从诸图传感器元件的角度提供cv特征的指示。可针对对应于传感器阵列中的多个主体传感器元件的信号重复用以产生标签的阈值化。图11b中所说明的像素集lbp可经扩展以包含多块lbp，其中通过将对应于含有一或多个主体传感器元件的块的值(例如，与块中的一或多个主体传感器元件相关联的值的和)与其相邻传感器元件块进行比较来针对所述含有一或多个主体传感器元件的块产生所说明的二进制阈值。可通过计算积分图像来促进对应于传感器元件块中的每一者的值的计算。类似地，应理解，还可类似地计算lbp的扩展，例如局部三进制模式(ltp)，此取决于主体传感器元件与相邻传感器元件之间的差以而提供三个输出。例如，在ltp的一个实施方案中，输出在对应于相邻传感器元件的信号比对应于主体传感器元件的信号加阈值大的情况下为一，输出在对应于相邻传感器元件的信号与对应于主体传感器元件的信号相比在阈值范围内的情况下为零，且输出在对应于相邻传感器元件的信号比对应于主体传感器元件的信号减去阈值小的情况下为负一。

图11c说明窗口(例如，表示来自传感器元件阵列的某一子组传感器元件的窗口)的归一化直方图，由关于来自窗口(例如，存储在图2b的硬件扫描窗口阵列238中的样本窗口)的传感器元件中的每一者的多个标签产生。在图11c中所展示，来自窗口1102的传感器读数的lbp标签中的每一者可以(例如)256个时隙落在直方图上任何处。因此，例如，当将主体传感器元件与其八个邻居相比时，将产生8位数字，意指256个不同lbp标签可行。直方图可表示在窗口中实际上产生给定lbp标签中的每一者的次数。为确定脸部是否存在与窗口中，在一个实施方案中，可将所产生直方图与脸部的参考直方图进行比较。可计算所产生直方图与参考直方图之间的交集，且从交集的和产生标量和。如果标量和比阈值大，那么根据给定概率，在窗口内检测到脸部。参考直方图及阈值通常是在训练阶段在(在此实例中)样本脸部及样本非脸部及其lbp直方图的数据集上使用机器学习算法所确定的。一旦在训练阶段针对相同架构确定参考直方图及阈值，即可将其编程在(例如)图2a或2b的微处理器216中，或替代地，上述直方图过程可由专用硬件执行以针对图像内的给定窗口计算直方图且确定窗口内是否存在脸部或其它对象，类似于上文在图2b中所论述的级联是分类器硬件244。应理解，替代将lbp标签用于直方图产生，或除将lbp标签用于直方图产生外，lbp标签也可由级联分类其用于对象检测，如图2b中所论述。

图12说明可如上文所描述利用传感器系统210的移动装置105的实施例。应注意，图12仅意欲提供对各种组件的广义说明，其中的任何者或全部可视情况使用。可注意，在一些情况中，由图12所说明的组件可经定位到单个物理装置及/或分布于各种网络装置间，所述各种网络装置可经安置在不同物理位置处。

移动装置105经展示包括可经由总线1205电耦合(或可视情况以其它方式通信)的硬件元件。硬件元件可包含处理单元1210，所述处理单元可包含(非限制)一或多个通用处理器、一或多个专用处理器(例如数字信号处理(dsp)芯片、图形加速处理器、专用集成电路(asic)及/或其类似者)，及/或其它处理结构或构件。在上文所描述的实施例中，处理单元1210可对应于图2a的主处理器220及/或关于图4所描述的第二处理单元。如图12中所展示，一些实施例可取决于所要功能性而具有单独dsp1220。移动装置105还可包含一或多个输入装置1270(其可包含(非限制)触摸屏、触摸垫、麦克风、按钮、转盘、开关及/或其类似者)；及一或多个输出装置1215(其可包含(非限制)显示器、发光二极管(led)、扬声器及/或其类似者)。

移动装置105还可包含无线通信接口1230，其可包含(非限制)调制解调器、网卡、红外线通信装置、无线通信装置，及/或芯片集(诸如蓝牙装置、ieee802.11装置、ieee802.15.4装置、wifi装置、wimax装置、蜂窝式通信设施，等)，及/或其类似者。无线通信接口1230可准许与网络、无线接入点、其它计算机系统及/或本文中所描述的任何其它电子装置交换数据。可经由发送及/或接收无线信号1234的一或多个无线通信天线1232实施通信。

取决于所要功能性，无线通信接口1230可包含单独收发器以与基站收发器台(蜂窝式网络的基站)及/或接入点进行通信。这些不同数据网络可包含各种网络类型。另外，无线广域网络(wwan)可为码分多址接入(“cdma”)网络、时分多址接入(“tdma”)网络、频分多址接入(“fdma”)网路、正交频分多址接入(“ofdma”)系统、单波频分多址接入(“sc-fdma”)网络，wimax(ieee802.16)，等等。cdm网络可实施一或多个无线电接入技术(“rat”)，例如cdma2000、宽带-cdma(“w-cdma”)，等等。cdma2000包含is-95、is-2000及/或is-856标准。tdma网络可实施全球移动通信系统(“gsm”)、数字高级移动电话系统(“d-amps”)，或一些其它rat。ofdma网络可使用lte、高级lte，等等。lte、高级lte、gsm及w-cdma经描述于来自3gpp的文档中。cdma2000被描述于来自名称为“第3代合作伙伴计划2”(3gpp2)的社团的文件中。3gpp及3gpp2文档可公开获得。无线局域网(wlan)也可为ieee802.11x网络，且无线个人区域网络(wpan)可为蓝牙网络、ieee802.15x，或某一其它类型的网络。本文中所描述的技术还可用于wwan、wlan及/或wpan的任一组合。

移动装置105可进一步包含传感器1240。此些传感器可包含(非限制)一或多个加速度计、陀螺仪、相机、磁力计、高度计、麦克风、邻近传感器、光传感器及其类似者。另外或替代地，传感器1240可包含图2a或2b的传感器系统210及/或类似电子传感器。因此，本文中所描述的实施例可在传感器1240的传感器系统210中包含第一处理器(例如，图2a或2b中的微处理器216)，所述第一处理器产生关于图12的处理单元1210(对应于图2a的主处理器220)中所包含的第二处理单元的事件。在一些实施例中，传感器1240的第一处理单元(例如，图2a或2b中的传感器系统210的微处理器216)可依据从图像阵列(例如，图2a或2b的传感器阵列单元212)的一或多个输出接收的一或多个信号确定已检测到脸部，且响应于所述确定，产生用于第二处理单元(例如，图12的处理单元1210)的脸部检测事件。在一些实施例中，处理单元1210可以低功率模式操作，且在处理单元1210以低功率模式操作的同时，传感器1240的第一处理单元(例如，图2a或2b中的传感器系统210的微处理器216)可操作以产生待由处理单元1210接收的事件及/或将事件传达到处理单元1210。

移动装置的实施例还可包含卫星定位系统(sps)接收器1280，所述卫星定位系统(sps)接收器能够使用sps天线1282从一或多个sps卫星接收信号1284。sps接收器1280可使用常规技术从sps系统的卫星(例如，全球导航卫星系统(gnss)(例如，全球定位系统(gps))、伽利略、格洛纳斯、罗盘、日本的准天顶卫星系统(qzss)、印度的印度区域导航卫星系统(irnss)、中国的北斗卫星导航系统，及或其类似者)提取移动装置的位置。此外，sps接收器1280可用于各种增强系统(例如，星基增强系统(sbas)，所述增强系统可与一或多个全球及/或区域导航卫星系统相关联或以其它方式启用供与一或多个全球及/或区域导航卫星系统使用。通过实例但非限制，sbas可包含增强系统，其提供完整性信息、差分校正等，例如，广域增强系统(waas)、欧洲地球静止导航重叠服务(egnos)、多功能卫星增强系统(msas)、gps辅助型静地增强导航或gps及静地增强导航系统(gagan)，及/或其类似者。因此，如本文中所使用，sps可包含一或多个全球及/或区域导航卫星系统及/或增强系统的任何组合，且sps信号可包含sps、类sps及/或与此一或多个sps相关联的其它信号。

移动装置105可进一步包含存储器1260及/或与其通信。存储器1260可包含(非限制)本地及/或网络可存取存储器、磁盘驱动、驱动阵列、光学存储装置、固态存储装置，例如可编程、可快闪更新及/或其类似者的随机存取存储器(“ram”)及/或只读存储器(“rom”)。此些存储装置可经配置以实施任何适当数据存储，包含(非限制)各种文件系统、数据库结构及/或其类似者。图2a的存储器218(其可包含先前所列举的存储器类型中的任一者)可被包含在存储器1260中或可不同于存储器1260，此取决于所要功能性。

移动装置105的存储器1260还可包括软件元件(未展示)，包含操作系统、装置驱动、可执行库，及/或嵌入于计算机可读媒体中的其它代码，例如一或多个应用程序，其可包括由各种实施例提供的计算机程序，及/或可经设计以实施方法及/或配置系统，由其它实施例提供，如本文中所描述。在一方面中，接着此代码及/或指令可用于配置及/或调适通用计算机(或其它装置)以执行根据所描述方法的一或多个操作。

熟习此项技术者将了解，可根据特定要求作出大量变化。举例而言，还可使用自订硬件，及/或特定元件可以硬件、软件(包含便携式软件，诸如小程式，等)或两者实施。此外，可使用到例如网络输入/输出装置的其它计算装置的连接。

参考附图，可包含存储器的组件可包含非暂时性机器可读媒体。如本文中所使用的术语“机器可读媒体”及“计算机可读媒体”指参与提供致使机器以特定方式操作的机器的数据的任何存储媒体。在上文中所提供的实施例中，各种机器可读媒体可经涉及于将指令/代码提供到处理单元及/或其它装置以进行执行。另外或替代地，机器可读媒体可用于存储及/或载运此些指令/代码。在许多实施方案中，计算机可读媒体为物理及/或有形存储媒体。此媒体可呈许多形式，包含但不限于非易失性媒体、易失性媒体及传输媒体。计算机可读媒体的共同形式包含(例如)磁性及/或光学媒体、打孔卡、纸带、具有孔洞模式的任何其它物理体媒体、ram、prom、eprom、flash-eprom、任何其它存储器芯片或卡匣、如下文中所描述的载波，或计算机可自其读取指令及/或代码的任何其它媒体。

本文中所论述的方法、系统及装置为实例。各种实施例可在适当时省略、取代或添加各种程序或组件。举例来说，可将关于某些实施例所描述的特征组合于其它实施例中。实施例的不同方面及元件可以类似方式组合。本文中所提供的图的各种组件可以硬件及/或软件体现。此外，技术演进，且因此元件中的许多者为并不将本发明的范围限制于那些特定实例的实例。

将此些信号称作位、信息、值、元素、符号、字符、变数、项、数字、编号或其类似者有时已证明是便利的(主要出于共用的原因)。然而，应理解，所有这些或相似术语应与适当物理量相关联且仅为便利标签。除非另有具体规定，如从上文中的论述显而易见，应了解贯穿本说明书，利用例如“处理”、“运算”、“计算”、“确定”、“确认”、“识别”、“相关联”、“测量”、“执行”或其类似者的术语的描述指特定设备(例如，专用计算机或类似专用电子计算装置)的动作或过程。因此，在本说明书的上下文中，专用计算机或类似专用电子计算装置能够操纵或变换信号，通常在专用计算机或类似专用电子计算装置的存储器、寄存器或其它信息存储装置、传输装置或显示装置内表示为物理电子、电或磁量。

如本文中所使用，术语“及”与“或”可包含各种意义，其还预期至少部分地取决于其所使用的上下文。通常，“或”如果用于关联列表(例如，a、b或c)意欲意指a、b及c(此处以包含意义下使用)，以及a、b或c(此处以不包含意义使用)。另外，如本文中所使用的术语“一或多个”可用于以单数形式描述任何特征、结构或特性或可用于描述特征、结构或特性的某一组合。然而，应注意，此仅为说明性实例且所主张标的物并不限于此实例。此外，术语“中的至少一者”在用于关联例如a、b或c的列表的条件下可经解释为意指a、b及/或c的任何组合，例如a、ab、aa、aab、aabbccc，等。

已描述数个实施例，可在不背离本发明的精神的情况下使用各种修改、替代构造及等效物。举例来说，上述元件可仅为较大系统的组件，其中其它规则可优于各种实施例的应用或以其它方式修改所述应用。此外，可在考虑上述元件之前、期间或之后进行多个步骤。因此，上述描述并不限制本发明的范围。