idator)将更新后的目标外观模型与检测到的人脸进行关 联，确定候选目标。最后根据我们制定的融合准则，将通过判效器关联的检测结果与跟踪结 果输入融合器（integrator)融合得到最终目标位置。
[0046] 下面采用一个具体的试验来验证本发明方法的效果
[0047] 视频采集设备：采用分辨率为200万像素的可见光摄像机；
[0048] 测试场地：室内走廊，摄像机架设高度2. 5米，正面走廊宽约2米，长约7米；
[0049] 光线环境：室内灯光，可能出现人脸部明显阴影；
[0050] 采用本发明的方法可实现对图像中不小于50*50像素大小的目标人脸跟踪，图像 中干扰人脸数超过4个且与目标人脸间有交叉遮挡，每帧的跟踪耗时约为50毫秒，跟踪准 确率达到99%。
[0051] 本发明还公开了一种基于时空上下文学习的实时人脸检测跟踪系统，其具体包括 人脸检测器、跟踪器、效判器、融合器和历史帧信息学习与更新模块；所述人脸检测器用于 检测视频帧中的人脸，并将确定的目标人脸位置传递给跟踪器；所述跟踪器用于跟踪目标 人脸；所述效判器用于将检测结果与跟踪到的目标人脸进行关联，在多个人脸检测位置中 确定与跟踪到的目标人脸最为接近的人脸位置；所述融合器用于将候选目标人脸与跟踪 结果进行融合，得到目标人脸在当前帧的最终位置；所述历史帧信息学习与更新模块分别 完成对跟踪器的更新和对效判器的更新；所述对跟踪器的更新是指对时空上下文模型的 更新，所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立 的时空上下文模型，所述时间的上下文信息是指邻近帧间目标人脸的外观和位置不会发 生突变，所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时 或长时的某种特定关系；所述对效判器的更新是指通过收集前n-1帧目标人脸正负样本 {Xi，iG(1，…，n-l)}更新目标人脸的外观模型。通过上述系统更新跟踪器和效判器，从而 使得跟踪与人脸检测结果在学习的构架下进行有效融合，使得跟踪适应长时间跟踪面临的 典型问题，同时解决干扰人脸造成的跟踪漂移或失效问题。
[0052] 上述的实施例中所给出的系数和参数，是提供给本领域的技术人员来实现或使用 发明的，发明并不限定仅取前述公开的数值，在不脱离发明的思想的情况下，本领域的技术 人员可以对上述实施例作出种种修改或调整，因而发明的保护范围并不被上述实施例所 限，而应该是符合权利要求书提到的创新性特征的最大范围。
【主权项】
1. 一种基于时空上下文学习的实时人脸跟踪方法，其具体包括：目标人脸确定，并将 确定的目标人脸位置传递给跟踪器，开启跟踪；从第2帖开始，学习模块分别完成对跟踪器 的更新和对效判器的更新；然后确定当前帖中的候选目标人脸；最后将候选目标人脸与更 新后的跟踪结果进行融合，得到目标人脸在当前帖的最终位置。2. 如权利要求1所述的基于时空上下文学习的实时人脸跟踪方法，其特征在于所述 方法具体包括W下的步骤；步骤一、初始帖人脸检测与目标人脸确定：通过人脸检测器检 测得到初始帖内所有人脸的位置，并将确定的目标人脸位置传递给跟踪器，开启跟踪；步 骤二、历史帖信息学习与模块更新；从第2帖开始，对于第n帖，其中n〉l，学习模块分别完 成对跟踪器的更新和对效判器的更新；所述对跟踪器的更新是指对时空上下文模型的更 新，所述时空上下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立 的时空上下文模型，所述时间的上下文信息是指邻近帖间目标人脸的外观和位置不会发 生突变，所述空间上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时 或长时的某种特定关系；所述对效判器的更新是指通过收集前n-1帖目标人脸正负样本 {巧，ie化…，W-W更新目标人脸的外观模型；步骤S、当前帖候选目标人脸确定：从第2帖 开始，对于第n帖，n〉l，采用人脸检测器检测得到人脸，将检测结果与更新后的目标人脸 的外观模型通过效判器进行关联，在多个人脸检测位置中确定与目标外观模型最为接近的 人脸位置，作为候选目标人脸；步骤四、当前帖目标位置确定；从第2帖开始，对于第n帖， n〉l，将候选目标人脸与更新后的跟踪结果进行融合，得到目标人脸在当前帖的最终位置。3. 如权利要求2所述的基于时空上下文学习的实时人脸跟踪方法，其特征在于所述对 时空上下文模型的更新具体为：利用目标局部空间上下文信息在时间上的连续性建立时 空上下文模型，将目标人脸位置出现概率分解为目标人脸与其周围的局部上下文空间关系 的条件概率和局部上下文内各点的先验概率，条件概率通过在线学习更新。4. 如权利要求2所述的基于时空上下文学习的实时人脸跟踪方法，其特征在于对目标 人脸的外观模型的更新的学习策略为接受与初始目标相似的当前跟踪结果之前所形成轨 迹所包含的所有目标。5. 如权利要求2所述的基于时空上下文学习的实时人脸跟踪方法，其特征在于所述融 合器的融合策略具体为；当检测与跟踪均有输出，则通过判效器关联检测结果与目标人脸， 如只有一个候选目标则用其重新初始化跟踪器；如存在大于一个候选目标则采用其平均位 置修正跟踪器；当检测器有输出，跟踪器无输出，则通过判效器关联检测结果与目标外观模 型后，重新初始化跟踪器；当检测器无输出，跟踪器有输出，则通过学习更新判效器。6. -种基于时空上下文学习的实时人脸跟踪系统，其特征在于具体包括人脸检测器、 跟踪器、效判器、融合器和历史帖信息学习与更新模块；所述人脸检测器用于检测视频帖中 的人脸，并将确定的目标人脸位置传递给跟踪器；所述跟踪器用于跟踪目标人脸；所述效 判器用于将检测结果与跟踪到的目标人脸进行关联，在多个人脸检测位置中确定与跟踪到 的目标人脸最为接近的人脸位置；所述融合器用于将候选目标人脸与跟踪结果进行融合， 得到目标人脸在当前帖的最终位置；所述历史帖信息学习与更新模块分别完成对跟踪器的 更新和对效判器的更新；所述对跟踪器的更新是指对时空上下文模型的更新，所述时空上 下文模型是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模 型，所述时间的上下文信息是指邻近帖间目标人脸的外观和位置不会发生突变，所述空间 上的局部上下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定 关系；所述对效判器的更新是指通过收集前n-1帖目标人脸正负样本{巧，Z€ (1，…，.a-1)}更 新目标人脸的外观模型。
【专利摘要】本发明涉及计算机视觉处理技术领域，本发明公开了一种基于时空上下文学习的实时人脸跟踪方法，其具体包括以下的步骤：步骤一、初始帧人脸检测与目标人脸确定：通过人脸检测器检测得到初始帧内所有人脸的位置，并将确定的目标人脸位置传递给跟踪器，开启跟踪；步骤二、历史帧信息学习与模块更新；步骤三、当前帧候选目标人脸确定：步骤四、当前帧目标位置确定：从第2帧开始，对于第n帧，n>1，将候选目标人脸与更新后的跟踪结果进行融合，得到目标人脸在当前帧的最终位置。通过上述方法更新跟踪器和效判器，从而使得跟踪与人脸检测结果在学习的构架下进行有效融合，使得跟踪适应长时间跟踪面临的典型问题，同时解决干扰人脸造成的跟踪漂移或失效问题。
【IPC分类】G06T7/20
【公开号】CN104933735
【申请号】CN201510387826
【发明人】吴佳芸
【申请人】中国电子科技集团公司第二十九研究所
【公开日】2015年9月23日
【申请日】2015年6月30日