一种基于时空上下文学习的实时人脸跟踪方法及系统的制作方法
【技术领域】
[0001] 本发明涉及人脸跟踪技术领域，本发明公开了一种基于时空上下文学习的实时人 脸跟踪方法及系统。
【背景技术】
[0002] 人脸跟踪包括基于特征匹配的跟踪，基于区域匹配的跟踪和基于模型匹配的跟 踪。基于特征匹配的跟踪：选择一帧图像中的人脸作为需要跟踪的人脸，并提取出需要跟踪 人脸的特征，同时在序列图像的下一帧中提取图像特征，将提取到的当前帧的图像特征同 需要跟踪的人脸特征进行比较，根据比较结果判断是否是对应人脸，从而完成跟踪过程。这 样的方法由于遮挡或者光线的变化会导致跟踪失败。基于区域匹配的跟踪：该方法把图像 中目标物体的连通区域的共同特征信息作为跟踪检测，这样的方法不能根据目标的整体形 状来对跟踪结果进行调整，在长时间连续跟踪时，容易因误差累计而发生目标丢失。基于模 型匹配的跟踪：通过建立模型的方法来表示需要跟踪的目标物体，然后在序列图像中跟踪 模型来达到跟踪的目的。
[0003] 在非控制环境下对人脸进行长时间实时跟踪是计算机视觉模式识别领域的一个 难点，其面临的主要问题表现在人脸外观的突然变化，长时间遮挡等情况下跟踪的失效。现 有的目标跟踪技术主要有两大类，即静态跟踪和适应性跟踪。静态跟踪模型假设目标外观 变化有限且已知，一旦物体外观的非预见性变化将极易造成跟踪失效。为了克服这种缺陷， 适应性跟踪技术在跟踪过程中对物体的外观模型进行了更新，外观模型更新的正确性直接 影响了该类跟踪的有效性。非正确更新对目标模型来说是引入了噪声，通过一定时间的累 积效应，可能会造成跟踪漂移增加甚至失效。针对人脸这一特殊跟踪对象，M.Kim等人提出 了融合人脸检测与跟踪，通过引入视觉限制试图解决适应性跟踪的漂移问题，该方法适用 于人脸目标保持在视场范围内的应用场景。在长效跟踪场景中，人脸目标可能随时移入或 移出视场范围，在这种跟踪应用场合中人脸的再检测就表现得尤为重要了。已知的成熟人 脸检测技术使得跟踪（trackingbydetection)成为现实，但针对人脸的跟踪具有明显的 劣势：（1)所有的人脸均响应检测模型，从而造成了目标人脸与干扰人脸之间的区分困难。 (2)通过引入特殊人脸检测模型来区分干扰人脸的算法耗时严重且不适用于目标长时间消 失情况。（3)目标外观模型更新完全取决于跟踪结果，对于噪声无判定手段，漂移量随时间 累积增加。
【发明内容】
[0004] 针对现有技术的跟踪方法在长时间跟踪时容易产生漂移的技术问题，本发明公开 了一种基于时空上下文学习的实时人脸跟踪方法。本发明还公开了基于时空上下文学习的 实时人脸跟踪系统。
[0005] 本发明的具体实现方式如下：
[0006] 一种基于时空上下文学习的实时人脸跟踪方法，其具体包括：目标人脸确定，并将 确定的目标人脸位置传递给跟踪器，开启跟踪；从第2帧开始，学习模块分别完成对跟踪器 的更新和对效判器的更新；然后确定当前帧中的候选目标人脸；最后将候选目标人脸与更 新后的跟踪结果进行融合，得到目标人脸在当前帧的最终位置。
[0007] 更进一步地，上述方法具体包括以下的步骤：步骤一、初始帧人脸检测与目标人脸 确定：通过人脸检测器检测得到初始帧内所有人脸的位置，并将确定的目标人脸位置传递 给跟踪器，开启跟踪；步骤二、历史帧信息学习与模块更新：从第2帧开始，对于第n帧，其 中n>l，学习模块分别完成对跟踪器的更新和对效判器的更新；所述对跟踪器的更新是指 对时空上下文模型的更新，所述时空上下文模型是指利用了时间的上下文信息和空间上的 局部上下文信息建立的时空上下文模型，所述时间的上下文信息是指邻近帧间目标人脸的 外观和位置不会发生突变，所述空间上的局部上下文信息是指目标人脸和目标人脸周围的 背景存在的短时或长时的某种特定关系；所述对效判器的更新是指通过收集前n-1帧目标 人脸正负样本{Xi，ie(1，…，n-l)}更新目标人脸的外观模型；步骤三、当前帧候选目标人 脸确定：从第2帧开始，对于第n帧，n>l，采用人脸检测器检测得到人脸，将检测结果与更 新后的目标人脸的外观模型通过效判器进行关联，在多个人脸检测位置中确定与目标外观 模型最为接近的人脸位置，作为候选目标人脸；步骤四、当前帧目标位置确定：从第2帧开 始，对于第n帧，n>l，将候选目标人脸与更新后的跟踪结果进行融合，得到目标人脸在当前 帧的最终位置。
[0008] 更进一步地，上述对时空上下文模型的更新具体为：利用目标局部空间上下文信 息在时间上的连续性建立时空上下文模型，将目标人脸位置出现概率分解为目标人脸与其 周围的局部上下文空间关系的条件概率和局部上下文内各点的先验概率，条件概率通过在 线学习更新。
[0009] 更进一步地，上述对目标人脸的外观模型的更新的学习策略为接受与初始目标相 似的当前跟踪结果之前所形成轨迹所包含的所有目标。
[0010] 更进一步地，上述融合器的融合策略具体为：当检测与跟踪均有输出，则通过判效 器关联检测结果与目标人脸，如只有一个候选目标则用其重新初始化跟踪器；如存在大于 一个候选目标则采用其平均位置修正跟踪器；当检测器有输出，跟踪器无输出，则通过判效 器关联检测结果与目标外观模型后，重新初始化跟踪器；当检测器无输出，跟踪器有输出， 则通过学习更新判效器。
[0011] 本发明还公开了一种基于时空上下文学习的实时人脸跟踪系统，其具体包括人脸 检测器、跟踪器、效判器、融合器和历史帧信息学习与更新模块；所述人脸检测器用于检测 视频帧中的人脸，并将确定的目标人脸位置传递给跟踪器；所述跟踪器用于跟踪目标人脸； 所述效判器用于将检测结果与跟踪到的目标人脸进行关联，在多个人脸检测位置中确定与 跟踪到的目标人脸最为接近的人脸位置；所述融合器用于将候选目标人脸与跟踪结果进行 融合，得到目标人脸在当前帧的最终位置；所述历史帧信息学习与更新模块分别完成对跟 踪器的更新和对效判器的更新；所述对跟踪器的更新是指对时空上下文模型的更新，所述 时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上 下文模型，所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变，所 述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某 种特定关系；所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本{Xi，ie(1，… ，n-l)}更新目标人脸的外观模型。
[0012] 通过采用以上的技术方案，本发明具有以下的有益效果：本发明克服了当前时空 上下文学习跟踪方法不能满足长时间跟踪所要求的对目标再检测的需求，另一方面，也解 决了目前的跟踪方法应用于人脸跟踪时，无法区分目标人脸与干扰人脸的问题。将人脸检 测与跟踪方法在学习的架构下进行融合。利用目标人脸局部时空上下文模型学习，提高了 跟踪对长期遮挡的鲁棒性。通过设计在线学习的判效器，将人脸检测结果与目标人脸的相 似程度关联，提升了目标外观模型的正确更新能力。该方法在实时性和准确性上有了较好 表现，在测试环境中达到20帧每秒的处理速度，同时很好的适用于目标移入移出视场，实 现长效跟踪。
【附图说明】
[0013] 图1为目标外观模型更新策略图。
[0014] 图2为本发明的基于时空上下文学习的人脸检测跟踪方法的实现原理图。
【具体实施方式】
[0015] 下面结合说明书附图，详细说明本