借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别的制作方法_2

文档序号:9553266阅读:来源:国知局
各种实施例中,人脸检测功能(FDF)132可以被配置为检测图像 帧中人脸的存在,且标识该人脸所处的图像帧的关注区域(ROI)。在各实施例中,人脸跟踪 功能(FTF) 134可以被配置为至少部分地基于作为一组的在ROI内的多达N个特征的运动 移位,为FDF 132跟踪ROI内的人脸。N可以是大于2的整数。在各实施例中,FDF 132和 FTF 134可以被配置为在两个并行线程例如第一和第二线程中操作,以便潜在地增强人脸 识别服务(FRS) 122的整体性能。
[0032] 现在参见图2,图2进一步详细阐释根据各种实施例的并行人脸检测和跟踪。正如 所阐释的,FDF 132可以被配置为检测图像帧202中散布的已选择图像帧204中的图像帧 中人脸的存在。在各实施例中,FDF 132可以被配置为检测每第k个图像帧204中的图像 帧中人脸的存在。为便于表示,其中FDF 132执行人脸检测的图像帧204可以被称为关键 帧。在各实施例中,FDF 132也可以被配置为在人脸可能位于其中的关键帧内标识ROI。进 一步,FDF 132可以被配置为请求FTF 134代表它在关键帧的ROI内跟踪人脸。作为响应, 在后续的帧序列中,FTF 134在关键帧的ROI内跟踪人脸,直到FDF 132请求跟踪另一关键 帧。可以重复该过程,直到不再需要FDF 132和FTF 134的服务。在各实施例中,经由FDF 132的规则检测,可以减少FTF 134的跟踪误差。
[0033] 在各实施例中,正如所阐释的,在框212, FTF 134可以被配置为提取在图像帧的 ROI内的N个特征。另外,在框214-218,FTF 134可以被配置为迭代地跟踪作为一组的多 达N个特征的运动移位。在每一迭代期间,在框214中,FTF 134可以跟踪N个特征的移动。 在框216, FTF 134可以过滤掉所跟踪的特征中的不合格特征(如果有的话)留下η个特 征,其中η少于或等于Ν。在框218,FTF 134可以跟踪作为一组的η个特征的运动移位,且 再次产生其他至少Ν-η个特征以便达到N个特征的集,以便用于下一迭代。
[0034] 在各实施例中,FTF 134可以被配置为在框212采用特征加速片段测试(FAST)角 提取算法来提取最高N个FAST角响应特征。进一步,FTF 134可以被配置为在框214执行 Kanade-Lucas-Tomasi (KLT)光流特征跟踪,且在框216执行中值滤波以便过滤掉所跟踪的 特征中的不合格特征。如下面将更详细地描述的,FTF 134可以被配置为在框218跟踪作 为一组的剩下的N个特征的运动移位。
[0035] 在各实施例中,不作为限制,FDF 132和FTF 134可以借助于多种硬件和/或软件 组件中的任何一种来实现。硬件组件可以借助于专用集成电路(ASIC)和/或诸如现场可 编程门阵列(FPGA)之类的可编程集成电路来实现。软件组件可以借助于多种编程语言中 的任何一种来实现,这些编程语言可以被汇编或编译成底层硬件的指令集体系结构(ISA) 的指令。
[0036] 现在参见图3-10,图3-10中阐释了根据各种实施例至少部分地基于作为一组的η 个或多达N个特征(Ν> = η)的运动移位,跟踪人脸的各方面。首先,图3阐释根据各种实 施例人脸所处的图像帧(例如关键帧)的ROI的特征。正如所示出的,对于ROI 300,可以 由FTF 134使用例如FAST角提取算法来提取人脸302的N个特征304。
[0037] 图4阐释根据各种实施例由FTF 134使用例如无向图400分组N个特征(在中值 滤波之后),并且确定该组的中心(C)。在各实施例中,可以使用等式#1计算C。
[0039] 其中,Dj, i是从特征i到j的加权距离。
[0040] 图4-5和7-10中每一组节点的所阐释的值402是用于表示特征j的总和
的示例。
[0041] 在各实施例中,可以使用式#2计算Dj i。
[0043] 其中,Clj i是从特征i到j的像素距离;
[0044] ¥」是用参数表示速度的一致性的权重。
[0045] 通常,用较高的权重表示较高的一致性,且得到较低的加权距离。
[0046] 图5-7阐释根据各种实施例确定一组η个特征的优势速度。尤其,图5阐释一 组η个特征的多种示例速度方向500。在各实施例中,正如图6中所阐释的,可以构建速 度方向的直方图600。此后,可以至少部分地基于直方图600的峰的正则方向(canonical orientation)把优势速度方向指派给该组η个特征。
[0047] 在各实施例中,优势速度方向700可以由单位矢量δ表示。进一步,可以使用矢量 ?来把速度一致性权重(Wj, j = [1,η])指派给每一特征。尤其,在各实施例中,可以基于两 个矢量的角的余弦指派速度一致性权重,以便用参数表示权重,且使用矢量操作按照下式 #3指定的来计算权重:
[0049] 其中%表示特征j的权重,
[0050] Vj是特征j的速度矢量,
[0051] Θ是在\和f之间的角,
[0052] a是调节%的影响的因子。
[0053] 因而,利用加权距离的定义,图中心C可以有效地表示整个组的平均位置和移动 趋势。
[0054] 现在参见图8-10,其中,阐释根据各种实施例的示例跟踪和更新η个或多达N个特 征(Ν> = η)。尤其,图8阐释FTF 134对一组示例η个或多达N个特征(Ν> = η)的示例跟 踪结果800。用轻度加粗圆圈阐释的示例特征802表示良好的跟踪结果。而用双倍加粗圆 圈阐释的示例特征804表示漂移的跟踪结果,该结果可以例如经由会聚而更新。图9阐释 使用图中心C来会聚漂移的跟踪结果的过程,例如拉紧在图8中是804的特征904,且更新 为特征902。拉紧过程可以消除902,且然后在C到904之间再次提取新的特征。图10阐 释该组示例η个或多达N个特征(Ν> = η)的组运动移位结果1000。此后,可以通过再次产 生其他Ν-η个特征来更新该特征组,以便为下一迭代达到N个特征的集。
[0055] 图11-12阐释根据各种实施例基于作为一组的特征的运动移位跟踪特征的示例 过程。正如所阐释的,基于作为一组的特征的运动移位跟踪特征的过程1100可以包括在框 1102-1110执行的各种操作。例如在基于运动移位跟踪的迭代组的迭代期间,可以例如由 FTF 134执行各操作以便跟踪人脸。
[0056] 正如所示出的,过程1100可以在框1102开始。在框1102,可以首先把η个特征结 合成一组。如先前所描述的,η个特征可以是从图像帧的ROI提取的特征。离开框1102,过 程1100可以进行到框1104。在框1104,可以跟踪特征的移动。例如,如先前所描述的,可 以根据KLT光流跟踪来跟踪特征的移动。
[0057] 离开框1104,过程1100可以进行到框1106。在框1106,可以确定反映该组的平均 位置和运动的该组的中心C。例如,如先前所描述的,可以至少部分地基于由它们的速度的 一致性加权的、在各特征之间的像素距离来确定中心C。离开框1106,过程1100可以进行 到框1108。在框1108,参考所确定的中心C,可以消除太远离中心C的该组的漂移特征,且 该组特征再次重新会聚。可以基于应用而配置构成太远距离的特征,例如取决于所期望的 精度。该组的再次会聚可以包括从中心C的邻域再次构建一组η个特征。离开框1108,过 程1100可以进行到框1110。在框1110,接近已确定的中心C,可以再次提取新的特征,以便 达到N个特征的集。也可以基于应用而配置邻域的尺寸和形状,例如取决于所期望的精度。
[0058] 图12阐释根据各种实施例用于确定一个组的中心C的过程,中心C反映该组特征 的平均位置和移动。正如所阐释的,用于确定一个组的中心C的过程1200可以包括在框 1202 - 1208执行的各种操作。操作可以由FTF 134例如为过程1100的框1106执行。
[0059] 正如所示出的,过程1200可以在框1202开始。在框1202,可以确定各种特征的速 度方向。离开框1202,过程1200可以进行到框1204。在框1204,可以确定优势速度。如先 前描述的,例如使用直方图,且根据直方图的峰处的正则方向,可以确定优势速度。
[0060] 离开框1204,过程1200可以进行到框1206。在框1206,可以确定和指派该组特征 的速度一致性权重。例如,如先前所描述的,可以使用单位矢量来计算速度一致性权重。离 开框1206,过程1200可以进行到框1208。在框1208,可以计算反映该组的平均位置和运动 的该组的中心C。例如,如先前所描述的,至少部分地基于由它们的速度一致性加权的在各 特征之间的像素距离,可以计算中心C。
[0061] 现在参见图13,其中,阐释根据各种实施例适合用于图1的装置的示例计算机。正 如所示出的
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1