一种基于face++平台的人脸跟踪方法及其装置的制造方法
【专利摘要】本发明公开了一种基于face++平台的人脸跟踪方法，包括如下步骤，步骤1：通过face++平台获得第K帧图片作为模板帧图片，圈定匹配模板，并确定匹配坐标；步骤2：获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点；步骤3：以匹配目标点为中心，在待测帧图片中圈定一匹配区域；步骤4：将匹配模板与匹配区域内的图像进行匹配，以在匹配区域内查找到目标人脸；步骤5：以第K+1帧图片作为模板帧图片，返回步骤1。相比于现有技术，本发明通过face++平台检测目标人脸，提高了目标获取的准确度；将待测帧图片划分成匹配区域进行匹配，减少了程序处理量。本发明还提供了一种基于face++平台的人脸跟踪装置。
【专利说明】
一种基于face++平台的人脸跟踪方法及其装置
技术领域
[0001] 本发明涉及多人脸跟踪领域，尤其涉及一种基于face++平台的人脸跟踪方法及其 装置。
【背景技术】
[0002] 随着计算机和图像处理技术的发展，计算机视觉已经渗入生活中的诸多领域。而 人脸跟踪技术作为计算机视觉的关键技术，因在安全监控、医学、视频会议、档案管理等方 面有巨大的应用前景和市场，也受到了越来越多学者的关注。
[0003] 目前，人脸跟踪技术领域中，常用CAMSHIFT算法进行跟踪，其基本思想是：以视频 序列图像中颜色概率直方图作为特征值，对视频图像中的所有帧做mean shift算法以查找 出运动目标，然后将上一帧得到的结果作为下一帧的初始值，如此迭代进行跟踪。但是， CAMSHIFT跟踪算法是以原始肤色作为图像基准模型进行查找跟踪的，而原始肤色模型包含 了一些非肤色的部分，这会使查找目标的过程中出现误差，导致跟踪不够精确;并且对于人 脸快速移动或出现类肤色的干扰如人手干扰的情况时，CAMSHIFT跟踪算法也不能进行很好 的区分处理。此外，查找匹配的运动目标时，需要把图像中的每一个子区域都计算一遍，并 计算选择出最合适的匹配区域，这种遍历式查找的方法需要的程序处理量高，耗时长。
【发明内容】
[0004] 本发明在于克服现有技术的缺点与不足，提供一种跟踪准确度高、程序处理量少、 跟踪效果佳的基于face++平台的人脸跟踪方法。
[0005] 本发明是通过以下技术方案实现的：一种基于face++平台的人脸跟踪方法，包括 如下步骤：
[0006] 步骤1:通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中 待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于 该模板帧图片的坐标作为匹配坐标;其中，K为大于或等于1的整数。
[0007] 步骤2:获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹 配目标点位于该待检测图片中的坐标与匹配坐标一致；
[0008] 步骤3:以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
[0009] 步骤4:将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人 脸；
[0010]步骤5:以第K+1帧图片作为模板帧图片，返回步骤1。
[0011]相比于现有技术，本发明通过face++平台检测和识别目标人脸，提高了目标获取 的准确度;将待测帧图片划分成匹配区域再进行匹配，大大减少了程序处理量;通过队列保 持视频帧的方式，减少了跟踪延时问题，提高了跟踪的精确度。
[0012]进一步地，在步骤3中，所述匹配区域的面积是匹配模板的面积的倍数;通过梯度 下降算法以匹配目标点坐标作为起点，以负梯度方向为方向，在待测帧图片中获得一极小 值，该起点与极小值连线的区域在所述匹配区域内。
[0013] 进一步地，在步骤4中，设定匹配阈值;计算匹配区域中各部分区域与目标人脸模 板的匹配度值，并获得一最大匹配度值;将最大匹配度值与预设的匹配阈值进行比较，若最 大匹配度值小于预设的匹配阈值，则判断找到了目标人脸。其中，将目标人脸模板在对应的 感兴趣区域上移动，且每移动一个像素均计算目标人脸模板与重叠区域的匹配度值，通过 比较获得最大匹配度值。
[0014] 进一步地，若最大匹配度值大于预设的匹配阈值，判断人脸被遮挡，则采用卡尔曼 滤波算法，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为 模板帧，将获得的第K+1帧图片与模板帧进行匹配;若最大匹配度值仍大于预设的匹配阈 值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度值 小于预设的匹配阈值才停止迭代。
[0015] 进一步地，在步骤2中，将显示跟踪的时间点延迟，同时将实时获得的待测帧图片 依序保存形成一个队列；在匹配时再依序获得各个待测帧图片，确保取模板帧与待测帧为 相邻图片中贞。
[0016] 进一步地，在步骤1中，通过face++平台获得第K帧图片作为模板帧图片，并获得该 模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并 获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标;在步骤1 和步骤2中增加步骤1A，其中步骤1A为:获得需要跟踪的目标人脸的个数N，预设n为第n个待 跟踪的目标人脸，从第一个待跟踪的目标人脸进行匹配跟踪;其中N>1且N多n(n，N为整数）； 在步骤4和步骤5中增加步骤4A，其中步骤4A为:判断n与N的大小，若n = N，则进行步骤5，否 则对第n+1个待跟踪的目标人脸进行匹配跟踪，返回到步骤2。
[0017] 本发明还提供一种基于face++平台的人脸跟踪装置，包括：
[0018] 一一匹配模板获取模块，用于通过face++平台获得第K帧图片作为模板帧图片，并 获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配 模板的中心位置位于该模板帧图片的坐标作为匹配坐标;其中，K多1的整数；
[0019] 一一匹配目标点获取模块，用于获得第K+1帧图片作为待测帧图片，在待测帧图片 中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致；
[0020] 一一匹配区域获取模块，用于以匹配目标点为中心，在待测帧图片中圈定一匹配 区域；
[0021] 一一匹配查找模块，用于将匹配区域内的图像与匹配模板进行匹配，以在匹配区 域内查找到目标人脸；
[0022] 一一模板帧转换模块，用于将第K+1帧图片作为模板帧图片。
[0023] 相比于现有技术，本发明通过匹配模板获取模块检测和识别目标人脸，提高了目 标获取的准确度;通过匹配区域获取模块将待测帧图片划分成匹配区域再进行匹配，大大 减少了程序处理量，提高了跟踪的精确度和效率。
[0024]为了更好地理解和实施，下面结合附图详细说明本发明。
【附图说明】
[0025]图1是本发明实施例1基于face++的人脸跟踪方法的原理图；
[0026] 图2是本发明实施例1基于face++的人脸跟踪方法的流程图；
[0027] 图3是本发明实施例1基于face++平台在线检测的各姿态人脸效果图；
[0028] 图4是本发明实施例1采用传统连续图片帧视频流采集分析的跟踪效果图；
[0029] 图5是本发明实施例1采用队列依序保存待匹配帧图像后的跟踪效果图；
[0030] 图6是本发明实施例1采用传统的CAMSHIIF跟踪算法进行单人脸检测的效果图； [0031 ]图7是图6所示的跟踪轨迹图；
[0032]图8是本发明实施例1提出的跟踪算法进行单人脸检测的效果图；
[0033] 图9是图8所示的跟踪轨迹图；
[0034] 图10是本发明实施例1的基于face++的人脸跟踪装置的模块图；
[0035] 图11是本发明实施例2基于face++的人脸跟踪方法的流程图；
[0036] 图12是本发明实施例2基于face++平台在线检测的多人脸效果图；
[0037] 图13是本发明实施例2对多目标人脸交叉时的跟踪轨迹图；
[0038] 图14是本发明实施例2的基于face++的人脸跟踪装置的模块图。
【具体实施方式】
[0039] 实施例1
[0040] face++是新一代云端视觉服务平台，提供一整套世界领先的人脸检测、人脸识别、 面部分析的视觉技术服务。相比于传统基于opencv实现的人脸检测，face++平台为人脸检 测与追踪技术提供快速、高准确率的人像检测功能，不仅支持图片与实时视频流的检测，还 支持多种人脸姿态的检测，且能应对复杂的光照情况，可检测出不小于16*16像素的人脸。
[0041] 本发明基于现有的face++平台识别连续图片帧中的人脸，并通过跟踪算法对该连 续图片帧的单个目标人脸进行匹配跟踪。由于连续图片帧中的相邻两帧图像时间间隔较 短，一般为几十毫秒，各目标运动速度较低，运动状态变化较小，所以本发明以连续图片帧 中的第K帧作为模板帧图片，以其下一帧图片即第K+1帧为待测帧图片进行匹配，可快速准 确的跟踪目标人脸。
[0042] 请同时参阅图1和图2，图1是本发明实施例1基于face++的人脸跟踪方法的原理 图；图2是本发明实施例1基于face++的人脸跟踪方法的流程图。该基于face++平台的人脸 跟踪方法，包括如下步骤：
[0043] 步骤1:通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中 待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于 该模板帧图片的坐标作为匹配坐标;其中，K为大于或等于1的整数。
[0044] 请参阅图3,其本发明实施例1基于face++平台在线检测的各姿态人脸效果图，图 中方框圈定的部分即为匹配模板。对于各姿态的人脸，face++平台仍然能准确无误地获得 目标人脸，具有很好的鲁棒性。
[0045] 步骤2:获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹 配目标点位于该待检测图片中的坐标与匹配坐标一致。
[0046] 步骤3:以匹配目标点为中心，在待测帧图片中圈定一匹配区域。
[0047] 由于连续图片帧中的相邻两帧图像时间间隔较短，一般为几十毫秒，各目标运动 速度较低，运动状态变化较小，所以，在连续图片帧中以第K帧图片的匹配模板的匹配坐标 作为中心，在第K+1帧圈定的匹配区域内即包含了待跟踪的目标人脸。
[0048] 所述匹配区域是以第K帧中的匹配目标点为中心确定的，且其面积是匹配模板的 面积的倍数。同时，通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为方向， 在待测帧图片中获得一极小值，该起点与极小值连线的区域在所述匹配区域内。
[0049] 请参阅图4,其是本发明实施例1采用传统连续图片帧视频流采集分析的跟踪效果 图，其中黑色线即为跟踪的轨迹线。本发明中匹配区域的确定与后面提到的匹配都需要花 费一定的时间，如果按传统连续图片帧视频流提取的方式是无法在第K+1帧中进行匹配的， 也就是说获取的匹配模板为第K帧，匹配跟踪时的待测帧已经为第K+n(n>l，且n为整数)帧； 比如，有可能用第一帧图片提取的匹配模板与第六帧图片进行匹配。由于取模板帧与待测 帧相差较远带来的误差将逐步积累，匹配精度将逐渐降低，最后甚至导致跟丢。
[0050] 请参阅图5,其是本发明实施例1采用队列依序保存待待测帧图片后的跟踪效果 图，黑色线即为跟踪的轨迹线。为确保匹配的精确度，本发明将视频帧显示跟踪的时间点延 迟，将实时获得的待测帧图片依序保存形成一个队列；在匹配跟踪时再依序获得各个待测 帧帧图片，确保取模板帧与待测帧为相邻图片帧，即实现第K帧图片与第K+1帧图片的实时 匹配。本发明采用队列依序保存待匹配帧图像的方法缓解了时延问题，避免了误差积累导 致跟丢的问题，进而大大提高了匹配的精确度。
[0051] 步骤4:将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人 脸；
[0052]本发明中，设定了一匹配阈值;计算目标人脸模板与匹配区域中各部分的匹配度 值，并获得一最大匹配度值;将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值 小于预设的匹配阈值，则判断找到了目标人脸。
[0053]本发明系统采用Java CV实现，而Java CV提供了6中模板匹配的方法，包括方差匹 配法、相关匹配法、相关系数匹配法、归一化平方差匹配法、归一化相关匹配法和归一化相 关系数匹配法。本实施例中，选用相关系数匹配法获得匹配度值，用正负分别表示最优和最 差匹配，在一定实验条件下，经过大量数据的测试，获得匹配阈值为0.8。该匹配阈值可根据 检测环境调整。
[0054]本发明中，将匹配模板在匹配区域内移动，且每移动一个像素（纵或横方向上）均 计算目标人脸模板与重叠区域的匹配度值，若以W为感兴趣区域的宽度值，w为模板的宽度 值;H为感兴趣区域的高度值，h为模板的高度值，则横向需比较W-w+1次，纵向比较H-h+1次， 进而得到一个(Wi+l)X(H-h+l)维的结果矩阵，再在结果矩阵中提取最大的匹配度值。
[0055] 若匹配区域内的最大匹配度值大于预设的匹配阈值，判断人脸被遮挡，则采用卡 尔曼滤波算法，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测的第K+1帧 作为模板帧，将获得的第K+1帧图片与模板帧进行匹配，若最大匹配度值仍大于预设的匹配 阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到最大匹配度 值小于预设的匹配阈值才停止迭代。
[0056] 卡尔曼滤波是在最小均方误差准则下的线性系统最优估计方法。它的基本思想是 使得估计误差的方差最小，并且估计是无偏的。利用卡尔曼滤波进行状态估计可以分为三 步:初始化、预测和更新。
[0057] 初始化阶段，在目标跟踪中，由于相邻两帧图像时间间隔较短，一般为几十毫秒， 各目标运动状态变化较小，所以可以假设目标在两帧时间间隔内做匀速运动。由于每帧图 像处理时间较为稳定，因此假定采样间隔T为相邻两帧图像时间间隔。设目标的运动参数为 第K帧所在的位置和速度，定义目标运动状态向量Xk= (11<，71<，￥*，￥71〇1，观测状态向量21{= (171〇<^^表示第1(帧图片中待跟踪的目标人脸的匹配坐标，^，￥分别表示待跟踪的目 标人脸的运动的速度。程序选择第K帧获取的模板作为输入并保存，同时对窗口的位置坐标 初始状态向量Xk中的Xk，yk进行初始化，且取VxQ，VyQ分量分别取零。
[0058]预测和更新阶段，在第K帧时，由第K-1帧的待跟踪的目标人脸的匹配坐标的最优 估计Xk-UH得到Xk的最优预测估计Xk-Uk，并以获得的第K帧图片的匹配目标点作为观测值 Zk，用Zk来修正最优预测估计Xk-i I k，即得到了 Xk的最优估计XkI k，将Xk I k的待跟踪的人脸目标 位置(Xk，yk)作为下一帧匹配坐标进行预测下一帧的最优估计，直到获得的最大匹配度值小 于预定的阈值。这样，在每帧的处理中，用卡尔曼滤波对各个目标进行运动估计，来提高多 目标的跟踪的效果。
[0059] 具体的，本发明中的最优估计的计算是通过以下公式计算的：
[0060] 卡尔曼滤波模型假设k时刻的真实状态是从(K-1)时刻的状态演化而来，符合下 式：
[0061] Xk = FkXk-i+BkUk+wk 1 0 T： 0
[0062] 其中，Fk是作用在Xk-i上的状态变换模型，满足= f ^ ^ 。 0 0 1 0 0 0 0 1
[0063] Bk是作用在控制器向量Uk上的输入一控制模型。
[0064] wk是过程噪声，并假定其符合均值为零，协方差矩阵为Qk的多元正态分布，满足 1 0 0 0 r n , 、 0 10 0 ,
[0065] Wk~N(0，Qk)，= (T, ? 0 0 10 4 0 0 0 1
[0066] 时刻k，对真实状态Xk的一个观测值Zk满足下式：
[0067] Zk = HkXk+vk
[0068]其中，Hk是观测模型，它把真实状态空间映射成观测空间，vk是观测噪声，其均值为 零，协方差矩阵为Rk服从正态分布。 10，
[0069] Vk~N(0，Rk)，& = 〇.丨 o', d
[0070]初始状态以及每一时刻的噪声{Xo，W1，. . .，wk，V1. . .Vk}都认为是互相独立的。
[0071 ]步骤5:以第K+1帧图片作为模板帧图片，返回步骤1。
[0072]下面通过实验证明本发明提出的跟踪算法较与传统的CAMSHIIF跟踪算法的优越 性。
[0073] 请同时参阅图6至图9，图6是本发明实施例1采用传统的CAMSHIIF跟踪算法进行单 人脸检测的效果图；图7是图6所示的跟踪轨迹图；图8是本发明实施例1提出的跟踪算法进 行单人脸检测的效果图；图9是图8所示的跟踪轨迹图。
[0074] 在有门、窗帘等具有多个干扰物的复杂环境下，单个人来回走动2回。由图6所示的 检测结果和图7所示的黑色跟踪轨迹线可知，传统的CAMSHIIF跟踪算法尽管不断更新模板， 不断地重新锁定目标，并不断地补充轨迹，其最终确定的轨迹仍然明显不符合真实情况，并 且目标很容易丢失。由图8所示的检测结果和图9所示的黑色跟踪轨迹线可知，本申请的算 法具有很强大的鲁棒性，并无跟丢现象，轨迹符合真实情况。
[0075] 相比于现有技术，本发明通过face++平台检测和识别目标人脸，提高了目标获取 的准确度;将待测帧图片划分成匹配区域再进行匹配，大大减少了程序处理量;通过队列保 持视频帧的方式，减少了跟踪延时问题，提高了跟踪的精确度;此外，通过卡尔曼滤波对各 个目标进行运动估计，大大提高了多目标跟踪的效果。
[0076] 请参阅图10,其是本发明实施例1的基于face++的人脸跟踪装置的模块图。
[0077] 本实施例中还提供一种基于face++平台的人脸跟踪装置，包括：
[0078] 一一匹配模板获取模块，用于通过face++平台获得第K帧图片作为模板帧图片，并 获得该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配 模板的中心位置位于该模板帧图片的坐标作为匹配坐标;其中，K为大于或等于1的整数； [0079] 一一匹配目标点获取模块，用于获得第K+1帧图片作为待测帧图片，在待测帧图片 中获得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致；
[0080] 一一匹配区域获取模块，用于以匹配目标点为中心，在待测帧图片中圈定一匹配 区域；
[0081] 一一匹配查找模块，用于将匹配区域内的图像与匹配模板进行匹配，以在匹配区 域内查找到目标人脸；
[0082] 一一模板帧转换模块，用于将第K+1帧图片作为模板帧图片。
[0083]本发明基于现有的face++平台识别连续图片帧中的人脸，并通过跟踪算法对该连 续图片帧的单个目标人脸进行匹配跟踪。由于连续图片帧中的相邻两帧图像时间间隔较 短，一般为几十毫秒，各目标运动速度较低，运动状态变化较小，所以本发明以连续图片帧 中的第K帧作为模板帧图片，以其下一帧图片即第K+1帧为待测帧图片进行匹配，可快速准 确的跟踪目标人脸。
[0084] 所述匹配区域获取模块进一步还用于通过以匹配模板的面积的倍数确定所述匹 配区域的面积。所述匹配区域获取模块进一步还用于通过梯度下降算法以匹配目标点坐标 作为起点，以负梯度方向为方向，在待测帧图片中获得一极小值，使起点与极小值连线的区 域在所述匹配区域内来确定所述匹配区域。
[0085] 本发明中匹配区域的确定与后面提到的匹配都需要花费一定的时间，如果按传统 连续图片帧视频流提取的方式是无法在第K+1帧中进行匹配的，也就是说获取的匹配模板 为第K帧，匹配跟踪时的待测帧已经为第K+n(n>l，且n为整数)帧；比如，有可能用第一帧图 片提取的匹配模板与第六帧图片进行匹配。由于取模板帧与待测帧相差较远带来的误差将 逐步积累，匹配精度将逐渐降低，最后甚至导致跟丢。
[0086]为确保匹配的精确度，本发明还包括待测帧图片保存模块，用于将视频帧显示跟 踪的时间点延迟，将实时获得的待测帧图片依序保存形成一个队列;在匹配跟踪时再依序 获得各个待测帧帧图片，确保取模板帧与待测帧为相邻图片帧，即实现第K帧图片与第K+1 帧图片的实时匹配。本发明采用队列依序保存待匹配帧图像的方法缓解了时延问题，避免 了误差积累导致跟丢的问题，进而大大提高了匹配的精确度。
[0087] 所述匹配查找模块包括匹配阈值设定子模块、最大匹配度值获取子模块、目标人 脸判断子模块和卡尔曼滤波子模块;所述匹配阈值设定子模块用于设定匹配度值;所述最 大匹配度值获取子模块用于计算匹配区域中各部分区域与目标人脸模板的匹配度值，并获 得一最大匹配度值;所述目标人脸判断子模块用于将最大匹配度值与预设的匹配阈值进行 比较，若最大匹配度值小于预设的匹配阈值，则判断找到了目标人脸，否则判断人脸被遮 挡。当判断人脸被遮挡时，以第K帧图片预测第K+1帧图片中待跟踪目标人脸的位置，以预测 的第K+1帧作为模板帧，将获得的第K+1帧图片与模板帧进行匹配;若最大匹配度值仍大于 预设的匹配阈值，则用预测的第K+1帧图片预测下一帧图片中待跟踪目标人脸的位置，直到 最大匹配度值小于预设的匹配阈值才停止迭代。
[0088] 所述最大匹配度值获取子模块进一步还用于将目标人脸模板在对应的感兴趣区 域上移动，且每移动一个像素均计算目标人脸模板与重叠区域的匹配度值，通过比较获得 最大匹配度值。具体的，所述最大匹配度值获取子模块将匹配模板在匹配区域内移动，且每 移动一个像素(纵或横方向上）均计算目标人脸模板与重叠区域的匹配度值，若以W为感兴 趣区域的宽度值，w为模板的宽度值;H为感兴趣区域的高度值，h为模板的高度值，则横向需 比较W-w+1次，纵向比较H-h+1次，进而得到一个(W-w+1) X (H-h+1)维的结果矩阵，再在结果 矩阵中提取最大的匹配度值。
[0089] 相比于现有技术，本发明通过匹配模板获取模块检测和识别目标人脸，提高了目 标获取的准确度;通过匹配区域获取模块将待测帧图片划分成匹配区域再进行匹配，大大 减少了程序处理量，提高了跟踪的精确度和效率。
[0090] 实施例2
[0091] 本实施例2的基于face++平台的人脸跟踪方法与实施例1的方法基本相同，其区别 仅在于本实施例是针对多个人脸目标进行的匹配跟踪。请参阅图11，其是本发明实施例2基 于face++的人脸跟踪方法的流程图。具体的跟踪方法步骤如下：
[0092] 步骤1:通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中 待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹 配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标;其中，K为大于或等于1 的整数。
[0093]步骤1A:获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从 第一个待跟踪的目标人脸进行匹配跟踪;其中N>1且N多n(n，N为整数）。
[0094] 步骤2:获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹 配目标点位于该待检测图片中的坐标与匹配坐标一致；
[0095] 步骤3:以匹配目标点为中心，在待测帧图片中圈定一匹配区域；
[0096] 步骤4:将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人 脸；
[0097] 步骤4A:判断n与N的大小，若n = N，则进行步骤5,否则对第n+1个待跟踪的目标人 脸进行匹配跟踪，返回到步骤2;
[0098]步骤5:以第K+1帧图片作为模板帧图片，返回步骤1。
[0099]请参阅图12,其是本发明实施例2基于face++平台在线检测的多人脸效果图，图中 方框圈定的部分即为匹配模板。对于多个目标人脸，face++平台仍然能准确无误地获得目 标人脸，具有很好的鲁棒性。
[0100]请参阅图10,其是本发明实施例2对多目标人脸交叉时的跟踪轨迹图，图中黑色线 即为跟踪估计线。对于多个待跟踪的目标人脸，在各人脸相互交叉等情况下，本发明提供的 基于face++平台的人脸跟踪方法仍然可以很好的匹配，其生成的轨迹线也符合实际情况。 [0101]相比于现有技术，本发明通过face++平台检测和识别多个目标人脸，提高了目标 获取的准确度;将待测帧图片依次划分成多个匹配区域再进行匹配，大大减少了程序处理 量，使得在各人脸相互交叉等情况下仍然能快速准确的跟踪到多个目标人脸。
[0102] 请参阅图14,其是本发明实施例2的基于face++的人脸跟踪装置的模块图。
[0103] 本实施例2提供一种基于face++平台的人脸跟踪装置，其与实施例1的结构基本相 同，其区别仅在于，所述匹配模板获取模块通过face++平台获得第K帧图片作为模板帧图 片，并获得该模板帧图片中待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个 匹配模板，并获得该多个匹配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐 标。且还包括待跟踪的目标人脸数量获取模块和多目标人脸匹配完成判断模块，所述匹配 模板获取模块通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待 跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配 模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标;所述待跟踪的目标人脸数 量获取模块用于获得需要跟踪的目标人脸的个数N，预设n为第n个待跟踪的目标人脸，从第 一个待跟踪的目标人脸进行匹配跟踪;其中N>1且N多n(n，N为整数）；所述多目标人脸匹配 完成判断模块用于判断n与N的大小，若n = N，则进行步骤5，否则对第n+1个待跟踪的目标人 脸进行匹配跟踪，返回到步骤2。
[0104]相比于现有技术，本发明通过匹配模板获取模块检测和识别多个目标人脸，提高 了目标获取的准确度;通过匹配区域获取模块将待测帧图片依次划分成多个匹配区域再进 行匹配，大大减少了程序处理量;通过待跟踪的目标人脸数量获取模块和多目标人脸匹配 完成判断模块，实现依序对各个人脸进行匹配跟踪，使得在各人脸相互交叉等情况下仍然 能快速准确的跟踪到多个目标人脸。
[0105]本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明 的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发 明也意图包含这些改动和变形。
【主权项】
1. 一种基于face++平台的人脸跟踪方法，其特征在于:包括如下步骤： 步骤1:通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待跟 踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板的中心位置位于该模 板帧图片的坐标作为匹配坐标;其中，K为大于或等于1的整数。 步骤2:获得第K+1帧图片作为待测帧图片，在待测帧图片中获得匹配目标点，该匹配目 标点位于该待检测图片中的坐标与匹配坐标一致； 步骤3:以匹配目标点为中心，在待测帧图片中圈定一匹配区域； 步骤4:将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内查找到目标人脸； 步骤5:以第K+1帧图片作为模板帧图片，返回步骤1。2. 根据权利要求1所述的基于face++平台的人脸跟踪方法，其特征在于:在步骤3中，所 述匹配区域的面积是匹配模板的面积的倍数;通过梯度下降算法以匹配目标点坐标作为起 点，以负梯度方向为方向，在待测帧图片中获得一极小值，该起点与极小值连线的区域在所 述匹配区域内。3. 根据权利要求1所述的基于face++平台的人脸跟踪方法，其特征在于:在步骤4中，设 定匹配阈值;计算匹配区域中各部分区域与目标人脸模板的匹配度值，并获得一最大匹配 度值;将最大匹配度值与预设的匹配阈值进行比较，若最大匹配度值小于预设的匹配阈值， 则判断找到了目标人脸;其中，将目标人脸模板在对应的感兴趣区域上移动，且每移动一个 像素均计算目标人脸模板与重叠区域的匹配度值，通过比较获得最大匹配度值。4. 根据权利要求3所述的基于face++平台的人脸跟踪方法，其特征在于:若最大匹配度 值大于预设的匹配阈值，判断人脸被遮挡，则采用卡尔曼滤波算法，以第K帧图片预测第K+1 帧图片中待跟踪目标人脸的位置，以预测的第K+1帧作为模板帧，将获得的第K+1帧图片与 模板帧进行匹配;若最大匹配度值仍大于预设的匹配阈值，则用预测的第K+1帧图片预测下 一帧图片中待跟踪目标人脸的位置，直到最大匹配度值小于预设的匹配阈值才停止迭代。5. 根据权利要求1所述的基于face++平台的人脸跟踪方法，其特征在于:在步骤2中，将 显示跟踪的时间点延迟，同时将实时获得的待测帧图片依序保存形成一个队列；在匹配时 再依序获得各个待测帧图片，确保取模板帧与待测帧为相邻图片帧。6. 根据权利要求1-5中任一权利要求所述的基于face++平台的人脸跟踪方法，其特征 在于:在步骤1中，通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中 待跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹 配模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标;在步骤1和步骤2中增加 步骤1A，其中步骤IA为:获得需要跟踪的目标人脸的个数N，预设η为第η个待跟踪的目标人 脸，从第一个待跟踪的目标人脸进行匹配跟踪;其中N>1且N多η(η，Ν为整数）；在步骤4和步 骤5中增加步骤4Α，其中步骤4Α为:判断η与N的大小，若n = N，则进行步骤5，否则对第η+1个 待跟踪的目标人脸进行匹配跟踪，返回到步骤2。7. -种基于face++平台的人脸跟踪装置，其特征在于:包括 一一匹配模板获取模块，用于通过face++平台获得第K帧图片作为模板帧图片，并获得 该模板帧图片中待跟踪的目标人脸，圈定该目标人脸图像作为匹配模板，并以该匹配模板 的中心位置位于该模板帧图片的坐标作为匹配坐标;其中，K为大于或等于1的整数； 一一匹配目标点获取模块，用于获得第K+1帧图片作为待测帧图片，在待测帧图片中获 得匹配目标点，该匹配目标点位于该待检测图片中的坐标与匹配坐标一致； 一一匹配区域获取模块，用于以匹配目标点为中心，在待测帧图片中圈定一匹配区域； 一一匹配查找模块，用于将匹配区域内的图像与匹配模板进行匹配，以在匹配区域内 查找到目标人脸； 一一模板帧转换模块，用于将第K+1帧图片作为模板帧图片。8. 根据权利要求7所述的基于face++平台的人脸跟踪装置，其特征在于:所述匹配区域 获取模块进一步还用于通过匹配模板的面积的倍数确定所述匹配区域的面积;所述匹配区 域获取模块进一步还用于通过梯度下降算法以匹配目标点坐标作为起点，以负梯度方向为 方向，在待测帧图片中获得一极小值，使起点与极小值连线的区域在所述匹配区域内来确 定所述匹配区域。9. 根据权利要求7所述的基于face++平台的人脸跟踪装置，其特征在于:还包括待测帧 图片保存模块，用于将显示跟踪的时间点延迟，同时将实时获得的待测帧图片依序保存形 成一个队列;在匹配时再依序获得各个待测帧图片，确保取模板帧与待测帧为相邻图片帧。10. 根据权利要求7-9中任一权利要求所述的基于face++平台的人脸跟踪装置，其特征 在于:还包括待跟踪的目标人脸数量获取模块和多目标人脸匹配完成判断模块，所述匹配 模板获取模块通过face++平台获得第K帧图片作为模板帧图片，并获得该模板帧图片中待 跟踪的多个目标人脸，圈定该多个目标人脸图像以获得多个匹配模板，并获得该多个匹配 模板的中心位置位于该模板帧图片的坐标以作为多个匹配坐标;所述待跟踪的目标人脸数 量获取模块用于获得需要跟踪的目标人脸的个数N，预设η为第η个待跟踪的目标人脸，从第 一个待跟踪的目标人脸进行匹配跟踪;其中N>1且N多η(η，Ν为整数）；所述多目标人脸匹配 完成判断模块用于判断η与N的大小，若η = Ν，则进行步骤5，否则对第η+1个待跟踪的目标人 脸进行匹配跟踪，返回到步骤2。
【文档编号】G06K9/00GK105913028SQ201610230250
【公开日】2016年8月31日
【申请日】2016年4月13日
【发明人】唐小煜, 谢晓明, 许晓平, 黄伟武, 曾显华, 冯利斌, 李榕
【申请人】华南师范大学