用于利用在视频帧之间的时间冗余性的特征计算和对象检测的方法和装置制造方法
【专利摘要】提供一种用于确定用于一个或者多个脸部特征的空间位置的方法、装置和计算机程序产品。一种方法计算用于初始帧的特征。初始帧的被计算出的特征生成特征图像。一种方法也确定在初始帧与中间帧之间平移是否被验证，其中在用来验证在初始帧与中间帧之间的平移的距离在预定阈值水平内的实例中平移被验证。一种方法也包括使用特征图像的部分对于一个或者多个脸部特征的脸部搜索，其中搜索的特征图像的部分是在特征计算循环中分析的帧总数的一部分。一种方法也包括确定用于在中间帧中检测的一个或者多个脸部特征的空间位置。
【专利说明】用于利用在视频帧之间的时间冗余性的特征计算和对象检测的方法和装置
【技术领域】
[0001]示例实施例主要地涉及特征计算并且更具体地涉及利用在视频帧之间的时间冗余性以减少计算强度的特征计算。
【背景技术】
[0002]在各种图像处理应用中，可能希望在视频中的连续帧之间跟踪对象、比如特征(例如脸部、脸部特征等)。为了从一帧到下一帧跟踪特征，可以分析每帧以确定特征的新位置。然而分析每帧可能是计算密集的过程，以高效和及时方式执行该过程至少对于具有有限计算资源的那些设备可能是一个挑战。
[0003]特征跟踪可能出于各种原因而计算密集。例如一些特征跟踪技术分析每个整帧或者每帧的至少相对大部分。这样，将希望提供一种用于在帧、比如视频的帧之间的特征跟踪的改进技术，该技术提供准确结果而计算要求减少。
【发明内容】
[0004]根据一个示例实施例提供一种方法、装置和计算机程序产品以便提供一种用于特征计算和脸部搜索的改进技术。就这一点而言，示例实施例的方法、装置和计算机程序产品可以用减少计算要求而又继续提供可靠和健壮特征计算的方式提供特征计算。实际上，一个示例实施例的方法、装置和计算机程序产品可以通过利用跨越多个图像帧的重叠数量来提供计算图像帧中的特征。
[0005]在一个实施例中，一种方法计算用于初始帧的特征。初始帧的被计算出的特征生成特征图像。一种方法也确定在初始帧与中间帧之间是否验证了平移，其中在用来验证在初始帧与中间帧之间的平移的距离在预定阈值水平内的实例中平移被验证。一种方法也包括使用特征图像的部分对于一个或者多个脸部特征的脸部搜索，其中搜索的特征图像的部分是在特征计算循环中分析的帧总数的一部分。一种方法也确定用于在中间帧中检测的一个或者多个脸部特征的空间位置。
[0006]在一个实施例中，一种方法还通过对于初始帧和中间帧基于亮度平面的水平梯度确定水平积分投影来确定平移。一种方法也对于初始帧和中间帧基于亮度平面的垂直梯度确定垂直积分投影。一种方法也使用垂直积分投影来确定中间帧在水平方向上的水平平移。一种方法也使用水平积分投影来确定中间帧的垂直平移。
[0007]在一个实施例中，一种方法通过在最后帧的特征图像的部分中搜索一个或者多个脸部特征来继续特征计算循环。一种方法也确定用于位于最后帧的搜索的部分中的一个或者多个脸部特征的空间位置。一种方法也标识下一帧作为初始帧；其中下一帧重新开始特征计算循环。
[0008]在另一实施例中，一种装置包括处理器和包含软件的存储器，存储器和软件被配置用于与处理器使该装置至少计算用于初始帧的特征。初始帧的被计算出的特征生成特征图像。还使该装置确定在初始帧与中间帧之间是否验证了平移，其中在用来验证在初始帧与中间帧之间的平移的距离在预定阈值水平内的实例中平移被验证。还使该装置使用特征图像的部分对于一个或者多个脸部特征来执行脸部搜索，其中搜索的特征图像的部分是在特征计算循环中分析的帧总数的一部分。还使该装置确定用于在中间帧中检测的一个或者多个脸部特征的空间位置。
[0009]在又一实施例中，一种计算机程序产品包括至少一个计算机可读非瞬态存储器，该至少一个计算机可读非瞬态存储器具有在其上存储的程序代码，程序代码在由装置执行时使该装置至少计算用于初始帧的特征。初始帧的被计算出的特征生成特征图像。一种计算机程序产品还被配置用于确定在初始帧与中间帧之间是否验证了平移，其中在用来验证在初始帧与中间帧之间的平移的距离在预定阈值水平内则平移被验证。一种计算机程序产品还被配置用于使用特征图像的部分对于一个或者多个脸部特征来执行脸部搜索，其中搜索的特征图像的部分是在特征计算循环中分析的帧总数的一部分。一种计算机程序产品还被配置用于确定用于在中间帧中检测的一个或者多个脸部特征的空间位置。
[0010]在更多另一实施例中，提供一种装置，该装置包括用于计算用于初始帧的特征的装置。初始帧的被计算出的特征生成特征图像。一种装置还包括用于确定在初始帧与中间帧之间是否验证了平移的装置，其中在用来验证在初始帧与中间帧之间的平移的距离在预定阈值水平内的实例中平移被验证。一种装置还包括用于使用特征图像的部分对于一个或者多个脸部特征来执行脸部搜索的装置，其中搜索的特征图像的部分是在特征计算循环中分析的帧总数的一部分。一种装置还包括用于确定用于在中间帧中检测的一个或者多个脸部特征的空间位置的装置。
【专利附图】
【附图说明】
[0011]已经这样用一般措词描述某些示例实施例，现在将参照附图，附图未必按比例绘制并且在附图中:
[0012]图1是根据一个示例实施例的用于执行特征计算的装置的框图；
[0013]图2是图示根据一个示例实施例的用于确定特征的位置的方法的流程图；
[0014]图3是图示根据另一示例实施例的为了确定在帧之间的平移而执行的操作的图；并且
[0015]图4是根据一个示例实施例的部分帧搜索的图形表示。
【具体实施方式】
[0016]现在下文将参照附图更完全地描述一些示例实施例。实际上，本发明可以用许多不同形式来体现而不应被解释为限于这里阐述的实施例；实际上，提供这些实施例使得本公开内容将满足适用法律要求。相似标号全篇是指相似要素。
[0017]如这里所用，术语“数据”、“内容”、“信息”和相似术语可以可互换地用来是指能够根据多个示例实施例发送、接收、显示和/或存储的数据。因此，使用任何这样的术语不应被解释为限制公开内容的精神实质和范围。
[0018]如这里所用术语“计算机可读介质”是指被配置用于参与向处理器提供信息的任何介质，该信息包括用于执行的指令。这样的介质可以采用许多形式，这些形式包括、但不限于非瞬态计算机可读存储介质(例如非易失性介质、易失性介质)和传输介质。传输介质例如包括同轴线缆、铜线、光纤线缆和经过空间行进而无接线或者线缆的载波、比如声波和电磁波，这些电磁波包括无线电波、光波和红外线波。非瞬态计算机可读介质的示例包括软盘、硬盘、磁带、任何其它非瞬态磁介质、紧致盘只读存储器(CD-ROM)、紧致盘可重写(⑶-RW)、数字万用盘(DVD)、蓝光、任何其它非瞬态光学介质、随机存取存储器(RAM)、可编程只读存储器(PR0M)、可擦除可编程只读存储器(EPROM)、FLASH-EPROM、任何其它存储器芯片或者盒或者计算机可以从其读取的任何其它非瞬态介质。术语计算机可读存储介质这里用来是指除了传输介质之外的任何计算机可读介质。然而将理解，在描述实施例使用计算机可读存储介质时，可以在备选实施例中用其它类型的计算机可读介质替换计算机可读存储介质或者除了计算机可读存储介质之外还使用其它类型的计算机可读介质。
[0019]附加地，如这里所用，术语‘电路装置’是指以下各项:(a)仅硬件的电路实现方式(例如在模拟电路装置和/或数字电路装置中的实现方式)；(b)电路与计算机程序产品的组合，该计算机程序产品包括在一个或者多个计算机可读存储器上存储的软件和/或固件指令，该一个或者多个计算机可读存储器一起工作以使装置执行这里描述的一个或者多个功能；以及(C)电路、如例如微处理器或者微处理器的部分，这些电路需要用于操作的软件或者固件，即使该软件或者固件未在物理上存在。“电路装置”的这一定义适用于这一术语在这里、包括在任何权利要求中的所有使用。作为又一示例，如这里所用，术语‘电路装置’也包括如下实现方式，该实现方式包括一个或者多个处理器和/或其部分以及附带软件和/或固件。作为另一示例，如这里所用术语‘电路装置’也例如包括用于移动电话的基带集成电路或者应用处理器集成电路或者在服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的相似集成电路。
[0020]在图1中示出根据本发明的一个示例实施例的用于执行特征计算的装置10。可以在广泛多种计算设备、比如移动终端如移动电话、移动计算机、个人数字助理(PDA)、寻呼机、膝上型计算机、桌面型计算机、游戏设备、电视和其它类型的移动电子系统或者各种固定计算设备、比如工作站、个人计算机等中体现该装置。也将注意，尽管图1图示用于执行脸部搜索和特征计算的装置的配置的一个示例，但是许多其它配置也可以用来实施本发明的实施例。这样，在一些实施例中，虽然示出设备或者单元为相互通信，但是下文应当将这样的设备或者单元视为能够体现于相同设备或者单元内，因此应当理解示出为通信的设备或者单元备选地是相同设备或者单元的部分。
[0021]现在参照图1，提供用于执行特征计算的装置10并且装置10可以包括或者另外地与它们通信的处理器12、存储器设备14、通信接口 16和用户接口 18。在一些实施例中，处理器(和/或辅助处理器或者任何协助或另外地与处理器关联的其它处理电路装置)可以经由用于在该装置的部件之间传递信息的总线与存储器设备通信。存储器设备可以例如包括一个或者多个易失性和/或非易失性存储器。换而言之，例如存储器设备可以是包括门的电子存储设备(例如计算机可读存储介质)，这些门被配置用于存储机器(例如计算设备、t匕如处理器)可取回的数据(位)。存储器设备可以被配置用于存储用于使该装置能够根据本发明的一个示例实施例执行各种功能的信息、数据、应用、指令等。例如存储器设备可以被配置用于缓冲用于由处理器处理的输入数据。附加地或者备选地，存储器设备可以被配置用于存储用于由处理器执行的指令。[0022]装置10可以在一些实施例中是被配置用于运用本发明的一个示例实施例的移动终端或者其它计算设备。然而在一些实施例中，可以体现该装置为芯片或者芯片组。换而言之，该装置可以包括一个或者多个物理封装(例如芯片)，该物理封装包括结构组件(例如基板)上的材料、部件和/或接线。结构组件可以提供用于在其上包括的部件电路装置的物理强度、尺寸节约和/或电互作用限制。该装置因此可以在一些情况下被配置用于在单个芯片上实施本发明的一个实施例或者实施为单个“片上系统”。这样，在一些情况下，芯片或者芯片组可以构成用于执行一个或者多个操作的装置，该一个或者多个操作用于提供这里描述的功能。
[0023]可以用多个不同方式体现处理器12。例如可以体现处理器为各种硬件处理装置、比如协同处理器、微处理器、控制器、数字信号处理器(DSP)、有或者无附带DSP的处理单元或者各种其它处理电路装置中的一个或者多个硬件处理装置，这些其它处理电路装置包括集成电路、如比如ASIC (专用集成电路)、FPGA (现场可编程门阵列)、微控制器单元(MCU)、硬件加速器、专用计算机芯片等。这样，在一些实施例中，处理器可以包括被配置用于独立执行的一个或者多个处理核。多核处理器可以在单个物理封装内实现多处理。附加地或者备选地，处理器可以包括经由总线被串接配置用于实现独立执行指令、流水线和/或多线程的一个或者多个处理器。
[0024]在一个示例实施例中，处理器12可以被配置用于执行存储器设备14中存储的或者处理器另外可访问的指令。备选地或者附加地，处理器可以被配置用于执行硬编码的功能。这样，无论是通过硬件还是软件方法或者通过其组合来配置，处理器可以代表(例如在电路装置中物理地体现的)如下实体，该实体能够在被相应地配置之时根据本发明的一个实施例执行操作。因此例如在体现处理器为ASIC、FPGA等时，处理器可以是用于进行这里描述的操作的专门配置的硬件。备选地，作为另一示例，在体现处理器为软件指令的执行器时，指令可以专门地配置处理器12以在执行指令时执行这里描述的算法和/或操作。然而在一些情况下，处理器可以是具体设备(例如移动终端或者其它计算设备)的处理器、比如移动终端的处理器，该处理器被适配用于通过指令进一步配置处理器来运用本发明的一个实施例，这些指令用于执行这里描述的算法和/或操作。处理器可以包括被配置用于支持处理器的操作的时钟、算术逻辑单元(ALU)和逻辑门以及其它部件。
[0025]同时，通信接口 16可以是在硬件或者硬件与软件的组合中体现的任何如下装置、比如设备或者电路装置，该装置被配置用于从/向与装置10通信的网络和/或任何其它设备或者模块接收和/或发送数据。就这一点而言，通信接口可以例如包括用于实现与无线通信网络通信的一个天线(或者多个天线)以及支持硬件和/或软件。附加地或者备选地，通信接口可以包括用于与天线对接以引起经由天线传输信号或者处置经由天线接收的信号的接收的电路装置。在一些环境中，通信接口可以备选地支持或者也支持有线通信。这样，例如通信接口可以包括用于支持经由线缆、数字用户线(DSL)、通用串行总线(USB)或者其它机制通信的通信调制解调器和/或其它硬件/软件。
[0026]用户接口 18可以与处理器12通信以接收对在用户接口的用户输入的指示和/或引起向用户提供可听、可视、机械或者其它输出。这样，用户接口 18可以例如包括键盘、鼠标、操纵杆、显示器、触屏、触摸区域、软键、麦克风、扬声器或者其它输入/输出机制。附加地或者备选地，处理器可以包括被配置用于控制用户接口的如诸如扬声器、振铃器、麦克风、显示器等一个或者多个单元的至少一些功能的用户接口电路装置。处理器和/或包括处理器的用户接口电路装置可以被配置用于通过在处理器可访问的存储器(例如存储器设备14等)上存储的计算机程序指令(例如软件和/或固件)控制用户接口的一个或者多个单元的一个或者多个功能。
[0027]参照图2，示出根据特征计算循环的一个实施例的用于确定特征的位置的方法。特征计算循环由η帧构成。在一个示例实施例中，在η帧之后，重新开始并且对下一帧执行特征计算以避免累计平移误差。因此，在初始帧中一次完成特征计算，并且对来自初始帧的被计算出的特征的部分进行脸部搜索。因此，对于η帧搜索被计算出的特征的1/η，因此跨越η帧分布脸部搜索复杂性。可以调节η的值以实现在计算复杂性与更快特征检测之间的折衷。更低η值可以提供更快对象/脸部检测、但是可能未获得大量复杂性减少优点。高η值可能造成更慢对象/脸部检测(在最多η帧中检测到对象)、但是可以获得复杂性减少优点。帧总数η可以变化并且一般基于用户选择、在平移超过预定阈值之前的帧数目、预设帧数目等中的至少一项。
[0028]在操作20，装置10可以包括用于计算用于初始帧的特征的装置、比如处理器12等。如这里描述的那样，用于初始帧的被计算出的特征也可以称为特征图像。一种示例特征检测方法被配置用于以像素的基于局部二进制模式(“LBP”)的值为它的特征在20x20的输入采样上训练。可以对20个像素χ20个像素输入采样计算LBP值以提供18xl8LBP采样图像。备选地或者附加地，可以与本发明的实施例使用其它图像尺寸。对于尺寸为20x20的输入采样，计算LBP图像，并且对于(在LBP图像中的18x18个可能坐标位置之中的)每个输入采样获得LBP值直方图，并且可以选择坐标作为弱分类器。对象/脸部检测方法被配置用于取LBP窗作为输入并且对它分类。为了检测图像中的对象/脸部，对于整个图像计算LBP值，并且向基于LBP的分类器给予每个窗以判决特征是否存在。例如为了执行视频帧中的初始脸部检测过程，对于每帧计算LBP值，并且对于位置和比例按照光栅顺序扫描每个子窗。
[0029]使用特征检测方法、比如以上描述的特征检测方法，关于操作20对于初始帧计算特征。可以确定在当前帧与下一帧、如例如初始帧与后续中间帧之间的平移。如这里所用初始、中间和/或最后帧可以涉及帧时刻等。就这一点而言，装置10可以包括用于确定在初始帧与中间帧之间是否验证了平移的装置、比如处理器12等，其中在如下实例中则平移被验证，在该实例中用来验证在初始帧与中间帧之间的平移的距离处于预定阈值水平内。见图2的操作21。
[0030]关于图3示出确定在两帧、比如当前帧与下一帧之间并且具体在初始与中间帧之间的平移运动。现在参照图3并且具体参照图3的操作30和32。就这一点而言，装置10可以包括用于对于初始帧和中间帧基于亮度平面的水平梯度确定水平积分投影Vl(X)和v2(x)并且对于初始帧和中间帧基于亮度平面的垂直梯度确定垂直积分投影hi (X)和h2(x)的装置、比如处理器12等。
[0031]如在操作34和36中所示，装置10也可以包括用于使用在垂直积分投影vl (x)与v2(x)之间的相关性和绝对差值求和“SAD”测量来确定中间帧在水平方向上的水平平移(Ax);并且用于使用在水平积分投影hi (X)与h2(x)之间的相关性和SAD来确定中间帧的垂直平移(Ay)的装置、比如处理器12等。例如可以确定水平和垂直平移如下:[0032]Δ x=argminx { Σ i=[1.w] | vl ⑴ _vl (x+i) I},其中-Woff < =x < =Woff
[0033]Δ y=argminx { Σ H] | hi ⑴ _h2 (x+i) I},其中-Hoff < =x < =Hoff
[0034]其中W和H分别是视频帧的宽度和高度，并且Wtjff=WZ^O和Htjff=HZ^O。
[0035]如在图3的操作38中所示，装置10也可以包括用于确定是否成功验证了在连续帧之间的平移的装置、比如处理器12等。在一个实施例中，如果在两个曲线之间的最小SAD距离少于预定阈值，则成功验证平移。备选地或者附加地，可以使用用于确定和验证平移的其它方法、比如考虑计算速度、准确性等的测量。备选地或者附加地，可以调整阈值以考虑相似因素。
[0036]一旦成功验证平移，分析新初始图像帧，并且特征计算循环在图2中的操作20重新开始。如果成功验证计算出的平移，则在操作42在当前图像帧中部分地搜索特征；参照图2的操作22进一步描述图像帧的部分搜索。
[0037]假设成功验证在帧之间的计算出的平移，如参照图3描述的那样，然后如在图2的操作22中所示，装置10也包括用于在特征图像的部分中搜索一个或者多个脸部特征的装置、比如处理器12等。为了确定搜索的特征图像的部分，使用基于在帧计算循环中分析的帧总数的一部分(I/η)。在一个示例实施例中，对于每帧，使用具有均匀更精细步进尺寸的所有比例(例如可以使用整个图像区域来搜索更高比例，因为搜索更高比例需要更少时间)搜索图像的I/η个区域来寻找脸部。在一个实施例中，比例是将在任何给定的时间搜索的图像的尺寸、例如搜索图像的每个10x10区域。比例可以由图像中的脸部和/或对象的尺寸定义。因此，可以考虑共计η帧用于脸部搜索，并且计算在每两个连续帧k-Ι与k之间的平移计算，其中I < =k < =n。
[0038]在一个示例实施例中，对于初始帧计算特征计算，并且对于在计算循环内的每个后续帧执行部分脸部搜索。来自初始帧的被计算出的特征可以用于脸部检测并且跨越后续帧分布。例如通过重用关于初始帧计算出的特征，可以跨越共计η帧使用部分搜索。因此，可以在η帧内执行对于所有比例、移位和姿态的完整特征计算和完整脸部搜索。
[0039]备选地或者附加地，在每帧中，可以使用具有粗步进尺寸的所有比例来搜索特征图像的整个区域。在这一实施例中，搜索网格的起始点变化使得在η帧中搜索所有像素位置。在帧中，用Λχ=η和Ay=n (在X方向上移位)扫描子窗，并且扫描从像素位置(1，I)开始/始发。在下一帧中，用Λχ=η和Ay=n扫描子窗，但是扫描从像素位置(2，2)开始/始发。对于η帧继续这一操作，在特征搜索期间覆盖特征图像中的位置中的多数位置。可以跨越η帧分布待搜索的比例数目。例如并且如关于图4所示，块24的操作提供对于一个或者多个脸部特征使用特征图像的部分来执行脸部搜索，其中搜索的特征图像的部分是在特征计算循环中分析的帧总数的一部分。由于网格不变并且仅被平移，所以可以在η帧之中分布搜索复杂性以执行完全脸部搜索。
[0040]使用操作22的搜索，装置10也可以包括用于确定用于如在图2的操作23中所示在特征图像中检测到的一个或者多个脸部特征的空间位置的装置、比如处理器12等。如果在任何搜索时刻发现脸部，则可以计算帧k中的该脸部的实际位置如下:
[0041]令(X，y)是在处理之时在任何时刻发现的脸部位置
[0042]令(Λ Xi，Λ Yi)是在帧i与1-Ι之间计算的平移
[0043](xk, yk)是在帧k中的脸部位置[0044]然后
【权利要求】
1.一种方法，包括: 计算用于初始帧的特征，其中所述初始帧的所计算的特征生成特征图像； 确定在所述初始帧与中间帧之间平移是否被验证，其中如果用来验证在所述初始帧与所述中间帧之间的所述平移的距离在预定阈值水平内则平移被验证； 使用所述特征图像的部分对于一个或者多个脸部特征来执行脸部搜索，其中搜索的所述特征图像的所述部分是在特征计算循环中分析的帧总数的一部分；并且 确定用于在所述中间帧中检测到的所述一个或者多个脸部特征的空间位置。
2.根据权利要求1所述的方法，其中确定平移还包括: 对于所述初始帧和所述中间帧，基于亮度平面的水平梯度来确定水平积分投影； 对于所述初始帧和所述中间帧，基于所述亮度平面的垂直梯度来确定垂直积分投影； 使用所述垂直积分投影来确定所述中间帧在水平方向上的水平平移；以及 使用所述水平积分投影来确定所述中间帧的垂直平移。
3.根据权利要求1或者2中的任一权利要求所述的方法，还包括: 在最后帧的所述特征图像的部分中搜索所述一个或者多个脸部特征； 确定用于位于所述最后帧的所搜索的部分中的所述一个或者多个脸部特征的空间位置；以及 提供下一帧作为所述初始帧；其中所述下一帧重新开始所述特征计算循环。
4.根据权利要求1-3中的任一权利要求所述的方法，其中确定所述平移还包括使用水平积分投影和垂直积分投影的绝对差值求和以及相关性来计算所述平移。
5.根据权利要求1-4中的任一权利要求所述的方法，还包括分析用于平移的在所述初始帧之后与包含的最后帧之间的每帧，并且在所述特征图像的至少部分中搜索一个或者多个脸部特征。
6.根据权利要求1-5中的任一权利要求所述的方法，还包括按照用户选择、在所述平移超过所述阈值之前的帧数目和预设帧数目中的至少一项来确定分析的帧总数。
7.根据权利要求1-6中的任一权利要求所述的方法，还包括通过计算I/在所述特征计算循环期间分析的帧总数来确定所述特征图像的所述搜索的部分。
8.根据权利要求1-7中的任一权利要求所述的方法，其中在所述中间帧的部分中搜索所述一个或者多个脸部特征还包括: 在从第一像素位置开始的第一中间帧搜索所述特征图像中的子窗；并且在从第二像素位置开始的第二中间帧搜索所述特征图像中的子窗，其中使用所确定的平移从所述第一像素偏移所述第二像素位置。
9.一种装置，包括处理器和包括软件的存储器，所述存储器和所述软件被配置用于与所述处理器一起使所述装置至少: 计算用于初始帧的特征，其中所述初始帧的所计算的特征生成特征图像； 确定在所述初始帧与中间帧之间平移是否被验证，其中如果用来验证在所述初始帧与所述中间帧之间的所述平移的距离在预定阈值水平内，则平移被验证； 在所确定的平移被验证的实例中，使用所述特征图像的部分对于一个或者多个脸部特征来执行脸部搜索，其中搜索的所述特征图像的所述部分是在特征计算循环中分析的帧总数的一部分；以及确定用于在所述中间帧中检测到的所述一个或者多个脸部特征的空间位置。
10.根据权利要求9所述的装置，其中包括所述计算机程序代码的所述至少一个存储器还被配置用于与所述至少一个处理器一起使所述装置: 对于所述初始帧和所述中间帧，基于亮度平面的水平梯度来确定水平积分投影； 对于所述初始帧和所述中间帧，基于所述亮度平面的垂直梯度来确定垂直积分投影； 使用所述水平积分投影来确定所述中间帧在水平方向上的垂直平移；以及 使用所述垂直积分投影来确定所述中间帧的水平平移。
11.根据权利要求9或者10中的任一权利要求所述的装置，其中包括所述计算机程序代码的所述至少一个存储器还被配置用于与所述至少一个处理器一起使所述装置使用水平积分投影和垂直积分投影的绝对差值求和以及相关性来计算所述平移。
12.根据权利要求9-11中的任一权利要求所述的装置，其中在用于平移的所述初始帧之后与包含的最后帧之间的每帧以及所述特征图像的至少部分中搜索一个或者多个脸部特征。
13.根据权利要求9-12中的任一权利要求所述的装置，其中分析的帧总数由用户选择确定。
14.根据权利要求9-13中的任一权利要求所述的装置，其中通过计算I/在所述特征计算循环期间分析的帧总数来确定所述特征图像的所述搜索的部分。
15.根据权利要求9-14中的任一权利要求所述的装置，其中包括所述计算机程序代码的所述至少一个存储器还被配置用于与所述至少一个处理器一起使所述装置: 在从第一像素位置开始的第一中间帧搜索所述特征图像中的子窗；以及在从第二像素位置开始的第二中间帧搜索所述特征图像中的子窗，其中使用所确定的平移从所述第一像素偏移所述第二像素位置。
16.根据权利要求9-14中的任一权利要求所述的装置，其中所述装置包括通信设备，所述通信设备包括: 用户接口电路装置和用户接口软件，被配置用于促使用户通过使用显示器来控制所述通信设备的至少一个功能并且还被配置用于对用户输入做出响应；以及 显示电路装置，被配置用于显示所述通信设备的用户接口的至少部分，所述显示器和显示电路装置被配置用于有助于所述用户控制所述通信设备的至少一个功能。
17.根据权利要求16所述的装置，其中所述通信设备包括移动电话。
18.—种包括程序代码的计算机程序，所述程序代码在由装置执行时使所述装置至少: 计算用于初始帧的特征，其中所述初始帧的所计算的特征生成特征图像； 确定在所述初始帧与中间帧之间平移是否被验证，其中在用来验证在所述初始帧与所述中间帧之间的所述平移的距离在预定阈值水平内的实例中平移被验证； 使用所述特征图像的部分对于一个或者多个脸部特征来执行脸部搜索，其中搜索的所述特征图像的所述部分是在特征计算循环中分析的帧总数的一部分；以及确定用于在所述中间帧中检测的所述一个或者多个脸部特征的空间位置。
19.根据权利要求18所述的计算机程序，还包括用于以下操作的计算机代码指令: 基于亮度平面的水平梯度来确定用于所述初始帧和所述中间帧的水平积分投影；基于所述亮度平面的垂直梯度来确定用于所述初始帧和所述中间帧的垂直积分投影; 使用所述水平积分投影来确定所述中间帧在水平方向上的垂直平移；以及 使用所述垂直积分投影来确定所述中间帧的水平平移。
20.根据权利要求18或者19中的任一权利要求所述的计算机程序，其中确定所述平移还包括用于使用水平积分投影和垂直积分投影的绝对差值的和以及相关性来计算所述平移的程序代码指令。
21.根据权利要求18-20中的任一权利要求所述的计算机程序，还包括用于分析用于平移的在所述初始帧之后与包含的最后帧之间的每帧的程序代码指令，并且在所述特征图像的至少部分中搜寻一个或者多个脸部特征。
22.根据权利要求18-20中的任一权利要求所述的计算机程序，还包括用于按照用户选择、在所述平移超过所述阈值之前的帧数目和预设帧数目中的至少一项来确定分析的帧总数的程序代码指令。
23.根据权利要求18-22中的任一权利要求所述的计算机程序，还包括用于通过计算I/在所述特征计算循环期间分析的帧总数来确定所述特征图像的所述搜索的部分的程序代码指令。
24.根据权利要求18-22中的任一权利要求所述的计算机程序，其中在所述中间帧的部分中搜索所述一个或者多个脸部特征还包括用于以下操作的程序代码指令: 在从第一像素位置开始的第一中间帧搜索所述特征图像中的子窗；以及在从第二像素位置开始的第二中间帧搜索所述特征图像中的子窗，其中使用所确定的平移从所述第一像素偏移所述第二像素位置。
25.根据权利要求16-24中的任一权利要求所述的计算机程序，其中在计算机可读介质中包括所述计算机程序。
26.一种装置，包括: 用于计算用于初始帧的特征的装置，其中所述初始帧的计算的特征生成特征图像；用于确定在所述初始帧与中间帧之间平移是否被验证的装置，其中如果用来验证在所述初始帧与所 述中间帧之间的所述平移的距离在预定阈值水平内，则平移被验证； 用于使用所述特征图像的部分对于一个或者多个脸部特征来执行脸部搜索的装置，其中搜索的所述特征图像的所述部分是在特征计算循环中分析的帧总数的一部分；以及用于确定用于在所述中间帧中检测到的所述一个或者多个脸部特征的空间位置的装置。
27.根据权利要求26所述的装置，还包括: 用于对于所述初始帧和所述中间帧、基于亮度平面的水平梯度来确定水平积分投影的装置； 用于对于所述初始帧和所述中间帧、基于所述亮度平面的垂直梯度来确定垂直积分投影的装置； 用于使用所述水平积分投影来确定所述中间帧在水平方向上的垂直平移的装置；以及 用于使用所述垂直积分投影来确定所述中间帧的水平平移的装置。
28.根据权利要求26或者27中的任一权利要求所述的装置，还包括用于使用水平积分投影和垂直积分投影的绝对差值求和以及相关性来计算所述平移的装置。
29.根据权利要求26-28中的任一权利要求所述的装置，还包括用于分析用于平移的在所述初始帧之后与包含的最后帧之间的每帧的装置，并且在所述特征图像的至少部分中搜索一个或者多个脸部特征。
30.根据权利要求26-29中的任一权利要求所述的装置，其中按照用户选择、在所述平移超过所述阈值之前的帧数目和预设帧数目中的至少一项来确定分析的帧总数。
31.根据权利要求26-30中的任一权利要求所述的装置，还包括用于通过计算I/在所述特征计算循环期间分析的帧总数来确定所述特征图像的所述搜索的部分的装置。
32.根据权利要求26-31中的任一权利要求所述的装置，还包括: 用于在从第一像素位置开始的第一中间帧搜索所述特征图像中的子窗的装置；以及 用于在从第二像素位置开始的第二中间帧搜索所述特征图像中的子窗的装置，其中使用所确定的平移从所述第一像素偏移所述第二像素位置。
33.根据权利要求26-32中的任一权利要求所述的装置，其中所述装置包括通信设备，所述通信设备包括: 用于有助于用户通过使用显示器来控制所述通信设备的至少一个功能并且还被配置用于对用户输入做出响应的装置；以及 用于显示所述通信 设备的用户接口的至少部分的装置，用于显示的所述装置有助于所述用户控制所述通信设备的至少一个功能。
34.根据权利要求33所述的装置，其中所述通信设备包括移动电话。
【文档编号】G06K9/00GK103765437SQ201280041948
【公开日】2014年4月30日 申请日期:2012年8月2日 优先权日:2011年8月29日
【发明者】V·慕尼恩德 申请人:诺基亚公司