背景技术：
计算机视觉涉及获取、处理、分析及理解图像以供用于应用中。传统地，耦合到传感器的处理器从传感器获取图像数据，且对所述所获取图像数据执行某些计算机视觉操作，用于检测特征及与所述特征相关联的对象。特征可包含边缘、边角、梯度或纹理。在一些情况下，特征还可包含更复杂特征，例如人脸、面部表情及手势。在处理器上执行的程序可将所检测的特征在多种应用中利用，应用例如平面检测、对象分类、面部检测、微笑检测及手势检测。
近年来已做了许多工作以使得计算装置能够检测计算装置的视野中的特征及对象或对其进行分类。计算装置(尤其移动装置)大体上对电力极敏感。然而，传统地，使用相机检测计算装置的视野中的特征及对象需要大量处理资源，从而导致计算装置(例如移动装置)中出现高功率消耗及低电池寿命。在始终开启的特征检测应用中，不断捕捉图像，存储图像，且提取图像中的所有特征随后基于所有经提取特征作出最终决策可能消耗大量不必要的电力且显著缩短计算装置的电池寿命。
技术实现要素：
本发明大体上涉及使用计算机视觉的特征提取及对象检测，且更具体而言，涉及改进用于使用计算机视觉检测特征或对象的效率。
在一些实施例中，揭示一种对象检测的方法。所述方法包含：(a)接收或捕捉一或多个图像；(b)在一分阶段过程中使用所述一或多个图像执行对象检测，其中所述分阶段过程的每一阶段包含：(i)从目标对象的预定特征的多个频带中选择不同的特征频带；(ii)使用双阈值本地二进制图案运算符从所述一或多个图像提取所述频带内的对应特征；(iii)确定来自所述目标对象的预定特征的所述多个频带的所述所选择的特征频带与从所述一或多个图像提取的所述频带内的所述对应特征之间是否满足匹配条件；及(iv)当所述匹配条件未满足时，退出所述分阶段过程，并产生指示未检测到所述目标对象的信号；及(c)在所述分阶段过程的所有阶段满足所述匹配条件的情况下，产生指示检测到所述目标对象的信号。在一些实施例中，从一个图像提取所有对应特征。在一些实施例中，在分阶段过程的每一阶段提取的对应特征来自不同图像。
在对象检测方法的一些实施例中，可使用双阈值本地二进制图案运算符，例如中心对称本地二进制图案运算符。在一些实施例中，如果图像中的两个像素的像素值之间的差值介于下限阈值与上限阈值之间，那么双阈值本地二进制图案运算符的阈值函数经配置以返回第一二进制值，或否则，返回第二二进制值。
在一些实施例中，从一或多个图像提取频带内的对应特征包含：基于来自目标对象的预定特征的所述多个频带的所选择的特征频带，设定下限阈值及上限阈值；及基于一或多个图像的图像中的像素的相邻像素的像素值、下限阈值及上限阈值，产生所述图像中的像素的本地二进制图案标记。
在对象检测方法的一些实施例中，使用例如支持向量机器、k-最近邻或丛集的分类器确定目标对象的预定特征的所述多个频带。在一些实施例中，目标对象的预定特征的所述多个频带经优先化，且其中从目标对象的预定特征的所述多个频带选择所述特征频带是基于目标对象的预定特征的所述多个频带的优先级的。
在一些实施例中，对象检测方法进一步包括跟踪一或多个图像中的所关注区域。在一些实施例中，目标对象为实体对象、人脸、人面部表情，或人手势中的至少一者。
本文还揭示一种用于对象检测的设备。所述设备包含：(a)用于接收或捕捉一或多个图像的装置；(b)用于在分阶段过程中使用所述一或多个图像执行对象检测的装置，其中所述分阶段过程的每一阶段包含：(i)用于从目标对象的预定特征的多个频带选择不同特征频带的装置；(ii)用于使用双阈值本地二进制图案运算符从所述一或多个图像提取所述频带内的对应特征的装置；(iii)用于确定来自所述目标对象的所述预定特征的所述多个频带的所述所选择的特征频带与从所述一或多个图像提取的所述频带内的所述对应特征之间是否满足匹配条件的装置；及(iv)用于当所述匹配条件未满足时退出所述分阶段过程并产生指示未检测到所述目标对象的信号的装置；及(c)用于在所述分阶段过程的所有阶段满足所述匹配条件的情况下产生指示检测到所述目标对象的信号的装置。在一些实施例中，从一个图像提取所有对应特征。在一些实施例中，在所述多个阶段的每一阶段提取的对应特征来自不同图像。
在用于对象检测的设备的一些实施例中，可使用双阈值本地二进制图案运算符，例如中心对称本地二进制图案运算符。在一些实施例中，如果图像中的两个像素的像素值之间的差值介于下限阈值与上限阈值之间，那么双阈值本地二进制图案运算符的阈值函数经配置以返回第一二进制值，或否则，返回第二二进制值。在一些实施例中，从一或多个图像提取频带内的对应特征包含：基于来自目标对象的预定特征的所述多个频带的所选择的特征频带，设定下限阈值及上限阈值；及基于一或多个图像的图像中的像素的相邻像素的像素值、下限阈值及上限阈值，产生所述图像中的像素的本地二进制图案标记。
在一些实施例中，使用例如支持向量机器、k-最近邻或丛集的分类器确定目标对象的预定特征的所述多个频带。在一些实施例中，目标对象的预定特征的所述多个频带经优先化，且其中从目标对象的预定特征的所述多个频带选择特征频带是基于目标对象的预定特征的所述多个频带的优先级的。
在一些实施例中，用于对象检测的设备进一步包括用于跟踪一或多个图像中的所关注区域的装置。在一些实施例中，目标对象为实体对象、人脸、人面部表情，或人手势中的至少一者。
在一些实施例中，揭示一种用于对象检测的系统。所述系统包含：成像器，其经配置以捕捉或接收一或多个图像；及电路，其经配置以在分阶段过程中使用一或多个图像执行对象检测。分阶段过程的每一阶段包含：(a)从目标对象的预定特征的多个频带选择不同特征频带；(b)通过特征提取器使用双阈值本地二进制图案运算符从所述一或多个图像提取所述频带内的对应特征；(c)通过分类器确定来自所述目标对象的所述预定特征的所述多个频带的所述所选择的特征频带与从所述一或多个图像提取的所述频带内的所述对应特征之间是否满足匹配条件；及(d)当所述匹配条件未满足时退出所述分阶段过程并产生指示未检测到所述目标对象的信号。所述电路经进一步配置以在所述分阶段过程的所有阶段满足所述匹配条件的情况下产生指示检测到所述目标对象的信号。在一些实施例中，从一个图像提取所有对应特征。在一些实施例中，在分阶段过程的每一阶段提取的所述对应特征来自一不同图像或多个不同图像。
在用于对象检测的系统的一些实施例中，双阈值本地二进制图案运算符为中心对称本地二进制图案运算符。在一些实施例中，如果图像中的两个像素的像素值之间的差值介于下限阈值与上限阈值之间，那么双阈值本地二进制图案运算符的阈值函数经配置以返回第一二进制值，或否则，返回第二二进制值。在一些实施例中，从一或多个图像提取频带内的对应特征包含：基于来自目标对象的预定特征的所述多个频带的所选择的特征频带，设定下限阈值及上限阈值；及基于一或多个图像的图像中的像素的相邻像素的像素值、下限阈值及上限阈值，产生所述图像中的像素的本地二进制图案标记。
在用于对象检测的系统的一些实施例中，使用例如支持向量机器、k-最近邻或丛集的分类器确定目标对象的预定特征的所述多个频带。在一些实施例中，目标对象的预定特征的所述多个频带经优先化，且其中从目标对象的预定特征的所述多个频带选择特征频带是基于目标对象的预定特征的所述多个频带的优先级的。
在一些实施例中，用于对象检测的系统进一步包括能够跟踪一或多个图像中的所关注区域的图像处理器。在一些实施例中，目标对象为实体对象、人脸、人面部表情，或人手势中的至少一者。
本文还揭示包括非暂时性存储媒体的物品。所述非暂时性存储媒体包含存储于其上的机器可读指令，所述指令可由专用计算装置执行以执行以下操作：(a)接收或捕捉一或多个图像；(b)在一分阶段过程中使用所述一或多个图像执行对象检测，其中所述分阶段过程的每一阶段包含：(i)从目标对象的预定特征的多个频带选择不同特征频带；(ii)使用双阈值本地二进制图案运算符从所述一或多个图像提取所述频带内的对应特征；(iii)确定来自所述目标对象的所述预定特征的所述多个频带的所述所选择的特征频带与从所述一或多个图像提取的所述频带内的所述对应特征之间是否满足匹配条件；及(iv)当所述匹配条件未满足时退出所述分阶段过程并产生指示未检测到所述目标对象的信号；及(c)在所述分阶段过程的所有阶段满足所述匹配条件的情况下产生指示检测到所述目标对象的信号。在一些实施例中，从一个图像提取所有对应特征。在一些实施例中，在所述分阶段过程的每一阶段提取的对应特征来自不同图像。
在物品的一些实施例中，双阈值本地二进制图案运算符为中心对称本地二进制图案运算符。在一些实施例中，如果图像中的两个像素的像素值之间的差值介于下限阈值与上限阈值之间，那么双阈值本地二进制图案运算符的阈值函数经配置以返回第一二进制值，或否则，返回第二二进制值。在一些实施例中，从一或多个图像提取频带内的对应特征包含：基于来自目标对象的预定特征的所述多个频带的所选择的特征频带，设定下限阈值及上限阈值；及基于一或多个图像的图像中的像素的相邻像素的像素值、下限阈值及上限阈值，产生所述图像中的像素的本地二进制图案标记。
在物品的一些实施例中，使用例如支持向量机器、k-最近邻或丛集的分类器确定目标对象的预定特征的所述多个频带。在一些实施例中，目标对象的预定特征的所述多个频带经优先化，且其中从目标对象的预定特征的所述多个频带选择特征频带是基于目标对象的预定特征的所述多个频带的优先级的。
在物品的一些实施例中，非暂时性存储媒体进一步包括其上存储的机器可读指令，所述机器可读指令可由专用计算装置执行以跟踪一或多个图像中的所关注区域。在一些实施例中，目标对象为实体对象、人脸、人面部表情，或人手势中的至少一者。
附图说明
借助于实例说明本发明的方面。参考图示提供以下描述，其中相同的参考标号始终用以指代相同的元件。虽然本文中描述一或多种技术的各种细节，但其它技术也是可能的。在一些情况下，以框图形式展示熟知结构及装置，以便有助于描述各种技术。
可参照本说明书及图示的剩余部分来实现对由本发明提供的实例的本质及优势的进一步理解。
图1说明基于计算机视觉的对象检测系统的实例框图。
图2为说明使用所获取图像进行对象检测或分类的方法的流程图。
图3a到3d说明基于本地二进制图案(lbp)标记将图像数据转换成直方图的实例过程，其中图3a说明所捕捉图像中的所关注区域，图3b说明来自所关注区域的3×3像素阵列的单元，图3c说明所述单元的lbp标记，且图3d说明所关注区域中的单元的lbp标记的直方图。
图4a到4d说明产生图像中的单元的本地二进制图案标记的方法，其中图4a说明具有中心像素及8个在环上等间隔相邻的像素的单元，图4b说明相邻像素与中心像素之间的差值，图4c说明用于相邻像素的二进制值，且图4d说明呈二进制格式及十进制格式的所产生的lbp标记。
图5说明中心对称本地二进制图案(cs-lbp)标记产生的实例。
图6说明增量特征提取及对象检测方法的流程图。
图7a到7c说明使用具有一个阈值的cs-lbp运算符可能不可区分低对比度到高对比度的梯度的实例，其中图7a说明具有低对比度的单元的cs-lbp标记，图7b说明具有中等对比度的单元的cs-lbp标记，且图7c说明具有高对比度的单元的cs-lbp标记。
图8a到8f说明使用不同阈值的图像单元的cs-lbp标记，其中图8a说明图像单元中的像素的灰阶，图8b说明具有阈值20的图像单元的cs-lbp标记，图8c说明具有阈值40的图像单元的cs-lbp标记，图8d说明具有阈值80的图像单元的cs-lbp标记，图8e说明具有阈值160的图像单元的cs-lbp标记，且图8f说明具有大于160的阈值的图像单元的cs-lbp标记。
图9a到9e说明具有不同阈值设定的图8a中所展示的图像单元的双阈值cs-lbp标记，其中图9a说明具有阈值t1＝20及t2＝40的图像单元的双阈值cs-lbp标记，图9b说明具有阈值t1＝40及t2＝80的图像单元的双阈值cs-lbp标记，图9c说明具有阈值t1＝80及t2＝160的图像单元的双阈值cs-lbp标记，图9d说明具有阈值t1＝160及t2＝256的图像单元的双阈值cs-lbp标记，且图9e说明具有阈值t1＝161及t2＝256的图像单元的双阈值cs-lbp标记。
图10a到10e说明具有不同阈值设定的图8a中所展示的图像单元的双阈值cs-lbp标记，其等同于使用如图8b到8f中所示的单阈值cs-lbp运算符所产生的标记。图10a说明具有阈值t1＝20及t2＝256的图像单元的双阈值cs-lbp标记，图10b说明具有阈值t1＝40及t2＝256的图像单元的双阈值cs-lbp标记，图10c说明具有阈值t1＝80及t2＝256的图像单元的双阈值cs-lbp标记，图10d说明具有阈值t1＝160及t2＝256的图像单元的双阈值cs-lbp标记，且图10e说明具有阈值t1＝161及t2＝256的图像单元的双阈值cs-lbp标记。
图11为说明使用单个图像帧的增量对象检测的过程的流程图。
图12为说明使用多个图像帧的增量对象检测的实例过程的流程图。
图13说明可在其中实施一或多个实施例的计算系统的实例。
具体实施方式
现将关于形成本文的一部分的附图描述若干说明性实施例。虽然下文描述其中可实施本发明的一或多个方面的具体实施例，但可使用其它实施例，且可在不背离本发明的范围或所附权利要求书的精神的情况下进行各种修改。
本发明揭示一种基于选择性特征频带(例如梯度幅度)的增量特征提取的对象检测技术。在各种实施例中，使用带通特征提取器(例如本地二进制图案运算符)在多个阶段的每一阶段提取频带内的图像的特征，且仅仅在每一阶段作出部分决策，直到作出拒绝决策为止或直到在所述多个阶段的任一阶段未作出拒绝决策为止，而不是一次提取图像中的所有特征且基于所有经提取特征进行全面确定。因此，在对象检测的任何阶段，如果在图像中遗失了目标对象的特性特征(例如，目标对象的群体的可辨别的、独特的或共同的特征)，那么对于图像而言，将不再需要图像处理或特征提取。因此，可避免不必要的数据处理。
本文中揭示的方法及系统可以用于检测对象，例如人、建筑或其它实体对象。在一些实施例中，本文中揭示的方法及系统可用于检测人脸，人脸的表情或人的手势。在一些其它实施例中，所揭示的方法及系统可用以检测事件，例如运动。所揭示的方法及系统可用于单帧或多帧情形中。
借助于实例，在移动装置的始终开启应用程序中，大部分移动装置可进入低功率模式，其中移动装置的仅仅一部分处于用于检测用户的现状或活动性的活动模式中。移动装置中处于活动模式中的部分可在检测到目标对象(例如人、人的表情，或人的手势)之前在移动装置的视野中反复地捕捉图像。如果在所捕捉图像中检测到目标对象，那么移动装置可进入活动模式。否则，大部分移动装置保持在低功率模式中，且移动装置中处于活动模式中的部分继续检测目标对象。
i.对象分类
a.系统架构
图1说明基于计算机视觉的对象检测或分类系统100的实例框图。如所说明，系统100包含相机110、图像传感器120、特征提取器130及对象分类器140。系统100可为独立装置或可为例如蜂窝式电话或平板计算机的移动装置的部分。如图1中所示，相机100将图像投射于图像传感器120上，所述图像传感器产生图像的图像数据。图像数据可临时存储于例如sram装置的存储器装置中以供稍后处理。特征提取器130从图像数据提取所关注的特征。对象分类器140将来自图像数据的经提取特征与目标对象的预期特征进行比较，并确定图像中存在或不存在目标对象。
相机110、图像传感器120、特征提取器130及对象分类器140可以各种不同粒度实施于各种不同配置中。举例来说，图像传感器120可表示单个传感器元件或整个传感器阵列。特征提取器130可被实施为芯片上传感器电路、专用外围设备电路、可在通用或专用处理器上执行的固件/软件指令，或其任何组合。对象分类器140可被实施为芯片上传感器电路、外围设备电路、可在通用或专用处理器上执行的固件/软件指令，或其任何组合。特征提取器130及对象分类器140可经配置以执行数字操作、模拟操作或混合数字与模拟操作。特征提取器130及对象分类器140可被实施为可在同一通用或专用处理器上执行的固件/软件指令。
特征提取器130可提取特征，例如边缘、边角、纹理、梯度及例如面部、微笑及手势的复杂人类特征。可通过特征提取器130使用的特征提取技术的实例包含(但不限于)本地二进制图案(lbp)操作、定向梯度操作直方图(hog)，对lbp及hog的各种修改或改进，及其任何组合。
对象分类器140可使用例如监督机器学习分类技术的技术对图像的经提取特征进行分类，所述技术包含k-最近邻(knn)、树、朴素贝叶斯(
图2为说明用于使用(例如)图1的系统100从所获取图像进行对象检测或分类的过程200的流程图。在框210处，获取或接收用于对象检测的图像数据。在框220处，使用一系列特征提取器提取图像数据的特征。在框230处，全面分类器基于目标对象的特征及图像数据的经提取特征使用如上文所描述的各种分类技术对图像数据进行分类。在框240处，如果目标对象的某些基本特性特征不存在于图像数据的经提取特征中，那么图像由于不含有目标对象而被拒绝。在框250处，如果目标对象的所有特性特征存在于图像数据的经提取特征中，那么将图像分类为含有目标对象。
过程200中的特征提取及对象分类可为功率及处理密集型的。举例来说，特征提取可涉及功率及处理密集型操作，例如将来自传感器的图像数据存储于存储器中，从存储器检索图像数据及指令以供特征提取，及存储经提取特征以供稍后分类。例如机器学习分类技术的分类技术还可在将大量特征用于全面分类时为功率及处理密集型的。本发明的各种实施例在一系列阶段中将改进的特征提取技术用于增量特征提取，且在各种较早阶段进行部分对象分类，而非在使用所有经提取特征进行全面最终分类之前提取图像的所有特征，因此减少整体操作及功率消耗。
b.特征提取
特征提取对对象检测与分类而言极重要。需要经提取特征稳固、可辨别、紧密且高效。用于提取可辨别且稳固图像特征的各种技术已用于行人检测中，例如haar小波、区域共变、hog及金字塔hog(phog)。hog已成功地用于行人检测，但其为计算密集型的。本地二进制图案(lbp)及lbp的扩展版本已用于照明恒定特征提取，且工作性能优于许多现存特征提取技术。
1.本地二进制图案(lbp)
本地特征检测及描述已获得大量关注，这是由于经计算用于所关注区域的光度描述符已在许多应用中经论证为成功的。本地特征检测的基本想法为首先检测对一类变换而言为共变的所关注区域。随后，对于每一所检测区域，建置恒定描述符。一旦描述符被计算，即可在图像之间匹配所关注区域。
本地二进制图案为用于纹理描述的大功率灰阶恒定纹理基元。lbp通过每一像素的相邻像素的相对灰阶描述每一像素，且可如下计算：
其中(x,y)为图像中的像素的位置，s()为阈值函数，nc对应于本地邻域的中心像素的灰阶，且ni对应于半径为r的环上的n个等间隔像素的第i个像素的灰阶。可使用双线性内插估计并未落于像素上的相邻者的值。如果相邻像素的灰阶与中心像素的灰阶之间的差值不低于阈值t，例如0，那么将“1”指派到表示相邻像素的位。否则，将“0”指派到表示相邻像素的位。因此，中心像素的lbp表示为n位二进制数，其中每一者对应于相邻像素。lbp描述符具有促进其用于从所关注区域的特征提取的若干属性。通过lbp运算符描述的特征在照明变化下是稳固的，易于快速计算，无需设定许多参数，且具有高可辨别能力。
图3a到3d说明使用lbp标记将图像数据转换成直方图以供分类的实例过程。如图3a中所示，图像的所关注区或检测窗302划分成重叠单元304，其可在每一单元中包含(例如)3×3或4×4像素阵列。每一像素可表示为一灰阶值。对于如图3b中所示的每一单元304，可产生一lbp标记。如图3c中所示，对于单元304中的每一像素，将中心像素306顺时针或逆时针地与沿着环的其相邻者(例如，3×3像素阵列的单元的从中心像素306的右侧、底部、左侧直到顶部的8个相邻者)中的每一者进行比较。当中心像素306的值大于相邻者的值时，将“1”指派到表示所述相邻者的位。否则，将“0”指派到表示相邻者的位。这产生表示为8数字二进制数的lbp标记，为方便起见，其通常转换成十进制数。图4a到4d中说明了确定用于单元的lbp标记的详细实例。
图4a说明若干实例图像像素值，其具有一中心图像像素值70及八个相邻图像像素值。在图4b中，通过将相邻图像像素值中的每一者减去中心图像像素值来产生针对每一相邻者的差值。在图4c中，使用阈值(例如)0产生用于每一相邻像素的二进制值。因此，图4b中的所有产生的负差值被转换成零，且图4b中的所有剩余值被转换成一。在图4d中，通过串接表示8个相邻图像像素的8个二进制值(例如“00001111”)，或将每一二进制位乘以2的某次(次数按图像像素的放置位置而升高)幂的结果求和，从而产生用于中心图像像素的十进制lbp标记值15，来产生用于中心图像像素的lbp标记。
返回参看图3d，在产生用于所关注区域中的所有单元的lbp标记之后，可使用lbp标记来产生指示每一十进制数的出现频率的直方图308，其表示图像的所关注区域的特征向量。lbp标记中的每一者可落于具有255个槽的直方图上的任何位置。某些直方图图案可表示图像中的边角、边缘、纹理、梯度等。直方图可任选地进行标准化。接着可基于统计法或试探法使用支持向量机器(svm)或用于经由(例如)脸部识别或纹理分析从图像识别或检测对象的其它机器学习技术来处理特征向量。
2.中心对称本地二进制图案(cs-lbp)
lbp运算符产生相当长的直方图，因此需要更多功率。此外，lbp运算符在平坦图像区上并非极稳固，且因此难以在定向及梯度描述的情形下使用。中心对称本地二进制图案(cs-lbp)运算符为用中心对称像素对(连接每一对像素的直线穿过中心像素的情况下的像素对)计算像素梯度，而非将中心像素与其相邻像素进行比较的lbp的修改版本。
在cs-lbp中，中心像素仅仅用于确定单元的位置；其并非用于二进制cs-lbp标记的计算。如图5中所示，以图形方式，cs-lbp用中心对称像素对计算像素梯度。定性地，cs-lbp提取边缘或包含方向的空间梯度，但忽略例如空间频率或相位的其它特征。cs-lbp运算符可如下进行描述：
其中(x,y)为图像中的单元的位置，n为单元中的相邻者的数目，i为中心对称像素对的索引，ni为第i个像素的灰阶，g为中心对称像素对的梯度幅度，t为阈值，且f()为阈值函数。如果第i个梯度(像素i与像素
在针对图像中的所关注区域中的所有单元产生cs-lbp标记之后，可产生类似于图3d中所示的直方图308的直方图，且通过如上文所描述的分类器将其用于与目标对象的对应特性特征进行比较。
cs-lbp已成功地应用于视觉识别，包含面部识别。lbp上的cs-lbp的增益并非仅仅归因于降维，且还归因于cs-lbp捕捉梯度信息相比基本lbp优选的事实。cs-lbp类似于定向梯度直方图(hog)特征，这是因为其两者均从图像提取边缘的定向及梯度，而舍弃空间频率及相位信息(例如伽柏滤波器)。然而，hog使用7个位(表示0.00到1.00)来将梯度的幅度编码，而cs-lbp仅仅使用一个位，因此，cs-lbp在降维及计算减少方面优于hog。
ii.多阶段增量对象检测
在本发明的各种实施例中，为减少计算及数据存储的量且因此减少对应功率消耗，使用多阶段增量特征提取及对象检测方法来替代上文关于图2描述的方法。在这些方法中，如果目标对象的特征的某一子集并不存在于图像中，那么图像可由于不含有目标对象而被拒绝。
图6说明增量特征提取及对象检测方法600，其中在一系列阶段处提取且比较特征的子集。在框610处，获取或接收用于对象检测的图像数据。在框620处，可从所获取图像数据提取所关注的特征的子集。在框630处，将所关注的特征的子集与目标对象的特性特征的对应子集进行比较。如果目标对象的特性特征的对应子集并不存在于图像中，那么在框640处，图像数据由于不含有目标对象而被拒绝。在框650处，如果目标对象的特性特征的对应子集匹配从所获取图像数据提取的所关注的特征的子集，那么在框620处所关注的特征的另一子集可在下一阶段从图像数据提取，且在框630处将其与目标对象的特性特征的另一对应子集进行比较。在任何阶段，如果从所获取图像数据提取的所关注的特征的子集不匹配目标对象的特性特征的对应子集，那么在框640处图像数据由于不含有目标对象而被拒绝。如果从所获取图像数据提取的所关注的特征的所有子集匹配目标对象的特征的对应子集，那么检测到目标对象。
根据图6的方法可通过以下方式来拒绝图像：从图像仅仅提取所关注的特征的一子集或若干子集，及将其与目标对象的特性特征的对应子集进行比较，而不必提取图像的所有特征。在一些实施例中，可排列目标对象的特征，以使得首先可提取对应于目标对象的最独特或最频繁特征的特征，并将其进行分类。仅当目标对象的较独特或较频繁特征存在于所获取图像中时才在后续阶段中以降序提取对应于目标对象的不太独特或不太频繁特征的特征，并将其进行分类。以这种方式，可大大减少计算的总量及数据存储及存取的总量，这是由于并非所有图像特征可被提取、被存储及被比较。计算及数据存储的减少量在例如始终开启应用程序的应用程序中甚至更大，在所述应用程序中，可恒定地且不断地捕捉并分析图像直到检测到对象、对象的表情，或对象的手势为止。
此外，在许多情境中，例如，当仅仅需要提取梯度幅度时，或当仅仅需要在一阶段提取所关注的特征的一子集或若干子集时，可使用需要较少数据存储及处理的较低分辨率图像。这可通过使用低分辨率相机(例如低分辨率始终开启的相机或处于低分辨率设定的相机)捕捉图像来进行。在一些实施例中，高分辨率图像可经子采样或空间平均以产生较低分辨率图像以供特征提取。举例来说，具有800×600个像素的图像可被减少到具有160×120个像素或更少像素的图像。在一些实施例中，可基于有待从图像提取的所关注的特征选择图像的分辨率。在一些实施例中，可在不同阶段使用不同分辨率的图像。举例来说，在一个阶段，可使用低分辨率图像，且在另一阶段，可使用较高分辨率图像。
对于将更高效的多阶段增量特征提取及对象检测方法，需要在单个遍次中提取所关注的任一窄带或宽带中的图像的特征，换句话说，基于目标对象的特性特征用带通滤波器对图像进行滤波，而非在根据通过方程式(2)及(4)所描述的阈值函数的每一遍次及两个或更多个高通滤波遍次的组合中仅仅将一个阈值用于高通滤波，以提取频带中的特征。
iii.使用双阈值的带通特征提取
lbp及cs-lbp为二进制特征描述符，因此其经设计以平衡存储器及计算效率的精确度。然而，这些平衡在一些应用中可能损害结果，这取决于特定应用的所要精确度。使所述平衡点具有一个阈值的常规lbp或cs-lbp运算符是不灵活的。举例来说，在行人检测中，已表明二进制特征提取可使检测性能降级。
虽然cs-lbp及hog在其均提取方向梯度方面类似，但hog具有以优选分辨率使用7个位来编码梯度的幅度的优点，而cs-lbp仅仅使用1个位。因此，cs-lbp可呈现混叠问题，且可并非能够区分高对比度边缘与弱对比度边缘，如通过下文实例所说明。
图7a到7c说明使用具有一个阈值的cs-lbp运算符可能不可区分低对比度到高对比度的梯度的实例。如图7a到7c中所示，当cs-lbp运算符的阈值设定成20时，具有低对比度的单元(图7a)、具有中等对比度的单元(图7b)及具有高对比度的单元(图7c)可具有相同cs-lbp标记，且因此彼此不可区分。cs-lbp的所述缺点可限制cs-lbp的应用。举例来说，在人检测应用程序中，对于成功识别而言，如同在hog中用更高分辨率表示梯度的幅度是重要的。
为使用cs-lbp区分不同梯度的特征，可在多个遍次中的每一者中设定不同阈值以提取特征。在每一遍次中，可将经提取特征与目标对象的特征进行比较，且可通过逐位操作组合来自两个或更多个遍次的结果以区分不同梯度的特征。举例来说，图像中的单元(所述单元中的像素的灰阶值如图8a中所示)包含表示为对置像素之间的灰阶差的四个不同的嵌入型梯度范围，包含弱梯度、中等梯度、强梯度及极强梯度。当cs-lbp操作的阈值设定成20时，可如图8b中所示选择所有梯度。当阈值设定成40时，如图8c中所示选择除弱梯度以外所有的梯度。当阈值设定成80时，如图8d中所示仅仅选择强及极强的梯度。当阈值设定成160时，可如图8e中所示仅仅选择极强梯度。当阈值设定成大于160的值时，可如图8f中所示仅仅选择并不存在于单元中的最强梯度。因此，为仅仅选择(例如)强梯度但并不选择极强梯度(灰阶差介于80与160之间)，可使用两个特征提取遍次。在第一遍次中，用于cs-lbp操作的阈值可设定成80，以产生cs-lbp标记“0011”，如图8d中所示。在第二遍次中，用于cs-lbp操作的阈值可设定成160，以产生cs-lbp标记“0001”，如图8e中所示。将在第一遍次及第二遍次中产生的cs-lbp标记分类，且组合结果。替代地，在第一遍次及第二遍次中产生的cs-lbp标记可逐位经xor以产生标记“0010”，其表示具有介于80与160之间的梯度的特征。
因此，设计一种方法，使得多位实体(例如梯度幅度)可充分表示为二进制图案，因此需要超过1个位用于特征表示的应用仍可用例如lbp或cs-lbp的二进制特征描述符实行，这将是有利的。
此外，如上文所解释，频带中的所关注特征的带通滤波或提取可使用两个或大于两个高通滤波遍次且对来自两个或大于两个遍次的结果进行逐位操作，将特征提取及比较的数目减少为特征提取及比较的数目的一半。
典型lbp或cs-lbp仅仅具有一个阈值，因此难以在一个遍次中提取所关注范围内的特征。在本发明的各种实施例中，经修改lbp或cs-lbp标记通过加上第二阈值t2且修改阈值函数而用于选择性带通梯度幅度的基于阶段的增量特征提取，从而在cs-lbp的状况下，
且可提取处在介于下限阈值t1与上限阈值t2之间的范围内的梯度的幅度的信息。类似地，lbp操作的阈值函数s()可经修改为
对lbp或cs-lbp运算符的所述扩展使得一次能够捕捉所关注的特定频带中的特征，而同时保留lbp或cs-lbp的相同输出格式。换句话说，双阈值lbp或cs-lbp的1位输出可捕捉具有可能的多位动态范围的特征。
在各种实施例中，阈值函数可具有可使用两个阈值返回二进制值的其它形式。举例来说，阈值函数可在g介于t1与t2之间的情况下返回“0”，否则返回“1”，因此充当带阻滤波器或陷波滤波器。阈值函数还可在t1<g≤t2的情况下返回“1”。
如图9中所示，使用下限阈值t1及上限阈值t2使得cs-lbp运算符能够充当梯度幅度的带通滤波器。通过指定适当的阈值t1及t2，可在单个遍次中从图像提取不同强度的梯度。举例来说，对于图8a中所示的单元，当t1设定成20且t2设定成40时，可如图9a中所示提取具有在20与40之间的梯度的特征。当t1设定成40且t2设定成80时，可如图9b中所示提取具有在40与80之间的梯度的特征。当t1设定成80且t2设定成160时，可如图9c中所示提取具有在80与160之间的梯度的特征。当t1设定成160且t2设定成256时，可如图9d中所示提取具有在160与256之间的梯度的特征。当t1设定成161且t2设定成256时，可如图9e中所示提取具有大于160的梯度的特征。因此，在理论上，如果t1从0递增到小于最大梯度值的梯度值，且t2设定成t1+1，那么可在相比于hog不存在任何梯度幅度信息的损耗情况下以可区分方式提取任何梯度幅度。
另外，双阈值lbp或cs-lbp运算符为单阈值lbp或cs-lbp的超集。举例来说，通过将t2设定成图像中的最大梯度值，如图10a到10e中所示的由双阈值cs-lbp运算符产生的标记等同于如图8b到8f中所示的由单阈值cs-lbp产生的标记。因此，双阈值lbp或cs-lbp运算符比单阈值lbp或cs-lbp运算符更具有灵活性。
iv.用带通特征提取进行的增量对象检测
在通过引入第二阈值而允用lbp及cs-lbp的选择性带通能力的情况下，可对单帧或多帧图像执行基于lbp或cs-lbp的增量特征提取及对象检测。在使用第二阈值的情况下，可在单个遍次中提取例如梯度幅度的特征的特定范围。举例来说，相比于使用单阈值lbp或cs-lbp运算符的方法，使用双阈值lbp或cs-lbp运算符的对象检测方法可将用于图像的特征提取及分类的数目减少一半，且因此可将计算的量及功率消耗的量减少一半。所述方法可实施于单图像情形中，或更有利地实施于多帧情形中，尤其针对对功率更加敏感的始终开启的应用程序而言。
举例来说，可通过设定适当阈值t1及t2使用带通cs-lbp滤波器提取梯度强度的特定范围。如果特定范围中的目标对象的特性特征遗失，那么无需进一步处理。另一方面，如果所述范围中的目标对象的特性特征存在，那么可用新的阈值集合提取其它特征。新的阈值集合可界定与先前所界定且检测的频带不具有重叠或具有某一重叠的频带。邻近频带可为连续的，或可在其间通过一间隙分隔开。
如图11及12中所说明，在一些实施例中，使用带通特征提取器的增量对象检测方法可包含接收或捕捉一或多个图像，及在分阶段过程中的多个阶段使用一或多个图像执行对象检测。分阶段过程中的多个阶段中的每一阶段可包含：(1)从目标对象的预定特征的多个频带中选择不同的特征频带；(2)使用双阈值本地二进制图案运算符从一或多个图像提取所述频带内的对应特征；(3)确定来自目标对象的预定特征的多个频带的所选择特征频带与从一或多个图像提取的频带内的对应特征之间是否满足匹配条件；及(4)在匹配条件未满足时退出分阶段过程并产生指示未检测到目标对象的信号。如果匹配的概率高于阈值，那么可满足匹配条件。如果在分阶段过程的所有阶段均满足匹配条件，那么可产生指示检测到目标对象的信号。在多个阶段提取的所有特征可来自同一图像。替代地，在多个阶段中的每一阶段提取的特征可来自一或多个图像的不同图像。在一些实施例中，在多个阶段的若干阶段提取的特征可来自同一图像。
使用例如受监督机器学习技术(例如，k-最近邻(knn)、树、朴素贝叶斯、逻辑回归及支持向量机器(svm))或不受监督机器学习技术(例如，丛集)的方法，可确定多个频带中的每一频带中的目标对象的特性特征，且用排列在第一的最独特的特征及排列在最后的最不独特的特征对其进行优先化。为进一步减少功率消耗，可基于呈相同次序的特征的优先级选择有待在级联多阶段对象检测系统的每一阶段中提取的特征，以使得在第一阶段提取并比较最独特的特征，且在最后一阶段提取并比较最不独特的特征，使得对象检测过程可针对不含有目标对象的图像在较早阶段退出。因此，可针对每一阶段预定待提取的特征，且因此预定例如lbp或cs-lbp的特征提取运算符的阈值。阶段的其它布置也是可能的，例如基于目标对象的群体中的特征的通用性。在一些实施例中，可在一个阶段中以组合形式使用特征的多个频带。
在使用特定阈值集合产生所关注区中的所有单元的双阈值lbp或cs-lbp标记(即，提取特定频带内的特征)之后，可产生标记的直方图以供通过例如svm分类器的分类器与目标对象的特性特征进行比较，以确定是否满足匹配条件。在各种实施例中，如果匹配的概率高于某一阈值，那么满足匹配条件。
以这种方式，可仅仅提取基本用于特定阶段的决策的特征的子集，且仅仅在每一阶段作出部分决策，直到作出拒绝决策或达到最终阶段为止，而不是提取图像数据中的所有特征且基于所有经提取特征作出全面的最终决策。如果在任何分类阶段作出拒绝决策，那么将不再需要处理，借此节省不必要的处理功率。
a.单帧增量对象检测
图11为说明使用双阈值cs-lbp运算符在单个图像帧上进行例如人脸检测的增量对象检测的过程1100的流程图。在框1110处，通过对象检测系统(例如图1中描述的系统)获取或接收图像帧的图像数据。在框1120处，级联阶段计数器从先前值递增1，例如，从i-1递增到i。在框1130处，将阶段计数器值i与最后阶段的阶段数目进行比较。如果阶段计数器值i并非大于最后阶段的阶段数目，即，尚未在所有阶段对图像进行分类，那么可基于如上文所描述待在阶段i中提取且比较的预定特征频带而设定用于阶段i的cs-lbp梯度阈值，且可在框1140处使用阈值从图像数据提取频带i内的对应特征。可在框1150处使用任何合适的分类技术(例如svm及knn)将频带i中的经提取特征分类。如果确定频带i中的经提取特征不匹配频带i中的目标对象的预期特征，那么在阶段1160由于不含有目标对象而拒绝图像。如果满足充分类似性的度量，例如，如果匹配的概率高于某一阈值，那么可发现匹配。如果确定频带i中的经提取特征匹配频带i中的目标对象的预期特征，那么在框1120处阶段数目递增1到i+1。在框1130处，将阶段计数器值i+1再次与最后阶段的阶段数目进行比较。如果阶段计数器值i+1不大于最后阶段的阶段数目，那么在框1140处使用阶段i+1的预定阈值来提取频带i+1内的特征，且在框1150处将经提取特征分类。如果阶段计数器值i+1大于最后阶段的阶段数目，即，如果已通过所有阶段将图像分类且尚未在任何阶段拒绝所述图像，那么在框1170处由于含有目标对象而接受图像。
在上述单帧增量对象检测中，可以至少两种方法达成功率消耗及计算减少。首先，可在一个遍次中提取并比较任何窄带或宽带中的所关注特征。第二，如果在任何分类阶段进行拒绝，那么图像被拒绝且不再需要数据处理。然而，可能需要保存所获取的图像数据以供在所述过程期间在稍后阶段处理，直到图像被拒绝或被接受为止。
b.多帧增量对象检测
在始终开启的应用程序中，相机不断以固定速率或变化速率捕捉图像。在大多始终开启的应用程序中，以短时间间隔捕捉图像。根据章节iv(a)中描述的方法处理每一图像帧将需要可在捕捉下一图像帧之前对每一图像帧进行分类的快速处理器，或需要存储所捕捉图像以供经延迟处理的存储器，这两者均消耗大量功率。
在另一方面，由于图像帧是在大部分始终开启的应用程序中在短时间间隔内予以捕捉，因此按顺序捕捉的图像帧相比其按时序邻近的图像帧变化极少。因此，按时序邻近的图像帧中的特征同样变化极少。
在本发明的各种实施例中，可从一个图像帧提取所关注频带内的特征，且将其与所述频带内的目标对象的对应特性特征进行比较。如果所述频带内的目标对象的对应特性特征并不存在于图像中，那么未检测到所述对象。如果所述频带内的目标对象的对应特性特征存在于图像中，那么可从下一图像提取所关注的下一频带内的特征，且将其与下一频带内的目标对象的对应特性特征进行比较。换句话说，每一图像帧仅仅被处理及比较一次，且可在此后被舍弃。因此，即使使用较慢处理器，也可在捕捉下一帧之前处理并比较每一图像帧，且无需存储图像以供二次处理或经延迟处理。在无带通特征提取能力的情况下，将至少处理图像帧两次以提取频带内的特征，且因此将需要更多数据存储及更多计算。
图12为说明使用双阈值cs-lbp运算符在多个图像帧上进行例如人脸检测的n阶段增量对象检测的实例过程1200的流程图。在第一阶段中，在框1210处，通过成像器捕捉图像帧。在框1220处，通过具有t1＝128及t2＝256的双阈值cs-lbp运算符处理所捕捉图像帧以供带通梯度特征提取。在框1230处，通过级联分类器1将介于128与256之间的梯度范围中的经提取梯度特征与相同梯度范围中的人脸的特性梯度特征进行比较，以确定图像帧是否可能包含人脸。如果确定图像帧不包含人脸，那么过程1200在框1210处重新开始。如果确定图像帧可能包含人脸，那么在框1240处捕捉新的图像帧以用于第二阶段。在框1250处，通过具有新阈值设定t1＝64及t2＝128的双阈值cs-lbp运算符处理所捕捉图像帧以供带通梯度特征提取。在框1260处，通过级联分类器2将介于64与128之间的梯度范围中的经提取梯度特征与相同梯度范围中的人脸的特性梯度特征进行比较，以确定图像帧是否可能包含人脸。如果与人脸的匹配的概率高于某一阈值，那么图像帧可能包含人脸。如果确定图像帧不包含人脸，那么过程1200在框1210处重新开始。如果确定图像帧可能包含人脸，那么在框1270处捕捉新的帧以用于第三阶段。在框1280处，通过具有阈值设定t1＝32及t2＝64的双阈值cs-lbp运算符处理所捕捉图像帧以供带通梯度特征提取。上述数据处理重复用于n个阶段中的每一阶段直到在第n阶段的框1290为止。如果梯度频带中的来自图像帧的经提取梯度特征在任何阶段皆不匹配同一梯度频带中的人脸的预期梯度特征，那么过程1200在框1210处重新开始。如果来自图像帧的梯度频带中的经提取梯度特征在n个阶段中的每一阶段匹配同一梯度频带中的人脸的预期梯度特征，那么检测到人脸。
在一些实施例中，即使成像器的视野变化或目标对象移动，也可逐帧跟踪所捕捉图像帧中的所关注区域，以使得针对每一帧处理图像帧的类似区。
尽管在图12中的不同框中描绘了用于不同阶段的图像捕捉、特征提取及分类，但可在回路中的相同硬件或固件上实施或实现不同阶段。
v.多位特征提取
在一些实施例中，可通过用多于1个位来量化特征以捕捉图像中的特征，例如纹理或梯度幅度，举例来说，可使用本地多位图案(lmp)运算符(其使用除法阈值而非减法阈值)来以多位提取特征。用于lmp运算符的阈值函数可描述如下：
f(g)＝g/t(7)
在一优选实施例中，阈值t可为2的幂，以使得位移位可执行除法。
因此，在中心对称本地多位图案(cs-lmp)中，用于每一中心对称对的输出的位宽度针对范围为0到256(或28)的梯度g而变为8-log2(t)，而非针对每一中心对称对输出1位。因此，在单元中给定有最小容许阈值tmin及n个中心对称像素的情况下，由所述单元的cs-lmp运算符产生的二进制位的总数为
可接着以类似方式将所产生的cs-lmp标记用作lbp或cs-lbp标记以供用于如上文所描述的对象分类。
vi.系统实例
根据一或多个方面，在本文中图1到12中描述的设备模块、电路、方法及/或方法步骤中的任一者及/或全部可通过电路或计算装置实施及/或实施于所述电路或计算装置中。另外或替代地，本文中所描述的方法及/或方法步骤中的任一者及/或全部可实施于计算机可读指令中，例如存储于计算机可读媒体(例如存储器、存储装置或另一计算机可读媒体)上的计算机可读指令。
图13说明实例计算装置1300，其合并用于实践本发明的实施例的装置或系统的至少部分。举例来说，计算装置1300可表示移动装置或任何其它计算装置的组件中的一些。计算装置1300的实例包含(但不限于)台式计算机、工作站、个人计算机、超级计算机、视频游戏控制台、平板计算机、智能型手机、膝上型计算机、迷你笔记型计算机或其它便携式装置。图13提供计算装置1300的一个实施例的示意性说明，计算装置可执行如本文中所描述的各种其它实施例所提供的方法，及/或可充当主机计算装置、远程公共信息查询站/终端机、销售点装置、移动多功能装置、机顶盒及/或计算装置。图13仅仅打算提供对各种组件的一般性说明，可在适当时利用所述组件中的任一者或全部。因此，图13广泛地说明可如何以相对分离或相对较集成的方式实施个别系统元件。
计算装置1300展示为包括可经由总线1305电耦合(或可在适当时以其它方式通信)的硬件元件。硬件元件可包含：一或多个处理器1310，其包含但不限于一或多个通用处理器及/或一或多个专用处理器(例如数字信号处理芯片、图形加速处理器及/或其类似者)；一或多个输入装置1315，其可包含(但不限于)一或多个相机传感器1350、触摸屏、鼠标、键盘及/或其类似者；及一或多个输出装置1320，其可包含(但不限于)显示单元、打印机及/或其类似者。传感器1350可包含视觉传感器、嗅觉传感器及/或化学传感器。
计算装置1300可进一步包含以下(及/或与其通信)：一或多个非暂时性存储装置1325，其可包括(但不限于)本地及/或网络可存取的存储器，及/或可包含(但不限于)磁盘驱动器、驱动器阵列、光学存储装置、例如随机存取存储器(“ram”)及/或只读存储器(“rom”)的固态存储装置，其可为可编程的、可闪存更新的及/或其类似者。这些存储装置可经配置以实施任何适当数据存储，包含但不限于各种文件系统、数据库结构及/或其类似者。
计算装置1300还可包含通信子系统1330。通信子系统1330可包含用于接收及传输数据的收发器或有线及/或无线媒体。通信子系统1330还可包含(但不限于)调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置及/或芯片组(例如bluetoothtm装置、802.11装置、wifi装置、wimax装置、蜂窝式通信设备等)及/或其类似者。通信子系统1330可准许与网络、其它计算装置及/或本文中所描述的任何其它装置交换数据。在许多实施例中，计算装置1300可进一步包括非暂时性工作存储器1335，其可包含ram或rom装置，如上文所描述。
计算装置1300可包括展示为当前位于工作存储器1335内的软件元件，包含操作系统1340、装置驱动器、可执行程序库及/或例如一或多个应用程序1345的其它代码，所述代码可包括由各种实施例提供的计算机程序，及/或可经设计以实施方法及/或配置系统，可由其它实施例提供，如本文中所描述。仅仅借助于实例，关于上文论述的方法描述的一或多个程序可实施为可由计算机(及/或计算机内的处理器)执行的代码及/或指令；在一方面中，这些代码及/或指令接着可用以配置及/或调适通用计算机(或其它装置)以根据所描述方法执行一或多个操作。
一组这些指令及/或代码可存储于计算机可读存储媒体(例如上文所述的存储装置1325)上。在一些状况下，存储媒体可并入例如计算装置1300的计算装置内。在其它实施例中，存储媒体可与计算装置分离(例如，抽取式媒体，例如压缩光盘)及/或提供于安装封装中，以使得存储媒体可用以编程、配置及/或调适其上存储有指令/代码的通用计算机。这些指令可呈可由计算装置1300执行的可执行码的形式，及/或可呈源及/或可安装代码的形式，所述源及/或可安装代码一旦在计算装置1300上编译及/或安装于所述计算装置上(例如，使用多种通常可用编译器、安装程序、压缩/解压公用程序等中的任一者)，那么呈可执行码的形式。
可根据特定要求做出大体上变化。举例来说，还可使用定制硬件，及/或特定元件可以硬件、软件(包含便携式软件，例如小程序等)或硬件及软件两者实施。此外，可使用到其它计算装置1300(例如，网络输入/输出装置)的连接。
一些实施例可采用计算装置(例如计算装置1300)执行根据本发明的方法。举例来说，可由计算装置1300响应于处理器1310执行工作存储器1335中所含有的一或多个指令(其可并入到操作系统1340及/或例如应用程序1345的其它代码中)的一或多个序列来执行所描述的方法的程序中的一些或全部。可将这些指令从另一计算机可读媒体(例如存储装置1325中的一或多者)读取到工作存储器1335中。仅借助于实例，执行含于工作存储器1335中的指令的序列可使得处理器1310执行本文所描述的方法的一或多个程序。
如本文中所使用，术语“机器可读媒体”及“计算机可读媒体”是指参与提供使机器以特定方式操作的数据的任何媒体。在使用计算装置1300实施的实施例中，各种计算机可读媒体可涉及提供指令/代码到处理器1310以供执行，及/或可用以存储及/或携载这些指令/代码(例如，作为信号)。在许多实施中，计算机可读媒体为物理及/或有形存储媒体。所述媒体可呈许多形式，包含(但不限于)非易失性媒体、易失性媒体及传输媒体。非易失性媒体包含(例如)光盘及/或磁盘，例如存储装置1325。易失性媒体包含(但不限于)动态存储器，例如工作存储器1335。传输媒体包含(但不限于)同轴缆线、铜线及光纤，包含包括总线1305的电线，以及通信子系统1330的各种组件(及/或通信子系统1330提供与其它装置的通信所通过的媒体)。因此，传输媒体还可呈波的形式(包含(但不限于)无线电、声波及/或光波，例如在无线电波及红外数据通信期间产生的那些波)。在替代实施例中，可使用事件驱动组件及装置(例如相机)，其中可在模拟领域中执行处理中的一些。
物理及/或有形计算机可读媒体的常见形式包含(例如)软盘、软性磁盘、硬盘、磁带，或任何其它磁性媒体、cd-rom、任何其它光学媒体、打孔卡、纸带、具有孔图案的任何其它物理媒体、ram、prom、eprom、flash-eprom、任何其它存储器芯片或匣、如在下文中描述的载波，或计算机可从其读取指令及/或代码的任何其它媒体。
在将一或多个指令的一或多个序列携载到处理器1310以供执行的过程中可涉及各种形式的计算机可读媒体。仅借助于实例，可初始地将指令携载于远程计算机的磁盘及/或光盘上。远程计算机可将指令载入到其动态存储器中，且经由传输媒体将所述指令作为信号发送以由计算装置1300接收及/或执行。根据本发明的各种实施例，可呈电磁信号、声学信号、光学信号及/或其类似者的形式的这些信号均为可在上面对指令进行编码的载波的实例。
通信子系统1330(及/或其组件)大体上将接收所述信号，且总线1305可随后将信号(及/或通过信号携载的数据、指令等)携载到工作存储器1335，其中处理器1310从所述工作存储器检索且执行所述指令。通过工作存储器1335接收的指令可任选地在通过处理器1310执行之前或之后存储于非暂时性存储装置1325上。
以上所论述的方法、系统及装置为实例。在适当时各种实施例可省略、取代或添加各种程序或组件。举例来说，在替代性配置中，所描述的方法可以不同于所描述的次序执行，及/或可添加、省略及/或组合各种阶段。而且，关于某些实施例描述的特征可在各种其它实施例中组合。可以类似方式组合实施例的不同方面及元件。并且，技术发展，且因此许多元件为实例，所述实例并不将本发明的范围限制于那些特定实例。
在本说明书中，给定特定细节以提供对实施例的透彻理解。然而，可在没有这些特定细节的情况下实践实施例。举例来说，已在无不必要细节的情况下展示熟知电路、过程、算法、结构及技术以便避免混淆实施例。本说明书仅仅提供实例实施例，且不打算限制本发明的范围、适用性或配置。实情为，实施例的先前描述将为本领域技术人员提供用于实施本发明的实施例的启发性描述。可在不背离本发明的精神及范围的情况下对元件的功能及布置做出各种变化。
并且，将一些实施例描述为经描绘为流程图或框图的过程。虽然每一者可将操作描述为依序过程，但操作中的许多者可并行地或同时来执行。此外，可重新排列操作的次序。方法可具有未包含于图式中的额外步骤。此外，可通过硬件、软件、固件、中间软件、微码、硬件描述语言或其任何组合实施方法的实施例。当实施于软件、固件、中间软件或微码中时，用以执行相关联任务的程序码或码段可存储于例如存储媒体的计算机可读媒体中。处理器可执行相关联任务。
在已描述若干实施例后，可在不背离本发明的精神的情况下使用各种修改、替代性构造及等效物。举例来说，以上元件可仅为较大系统的组件，其中其它规则可优先于本发明的应用或以其它方式修改本发明的应用。并且，可在考虑以上要素之前、期间或之后进行许多步骤。因此，以上描述并不限制本发明的范围。