发明的【具体实施方式】。
[0016] 本发明公开了一种基于时空上下文学习的实时人脸跟踪方法，其具体包括以下的 步骤：步骤一、初始帧人脸检测与目标人脸确定：通过人脸检测器检测得到初始帧内所有 人脸的位置，并将确定的目标人脸位置传递给跟踪器，开启跟踪；步骤二、历史帧信息学习 与模块更新：从第2帧开始，对于第n帧，其中n>l，学习模块分别完成对跟踪器的更新和对 效判器的更新；所述对跟踪器的更新是指对时空上下文模型的更新，所述时空上下文模型 是指利用了时间的上下文信息和空间上的局部上下文信息建立的时空上下文模型，所述时 间的上下文信息是指邻近帧间目标人脸的外观和位置不会发生突变，所述空间上的局部上 下文信息是指目标人脸和目标人脸周围的背景存在的短时或长时的某种特定关系；所述对 效判器的更新是指通过收集前n-1帧目标人脸正负样本{Xi，ie(1，…，n-1)}更新目标 人脸的外观模型；步骤三、当前帧候选目标人脸确定：从第2帧开始，对于第n帧，n>l，采用 人脸检测器检测得到人脸，将检测结果与更新后的目标人脸的外观模型通过效判器进行关 联，在多个人脸检测位置中确定与目标外观模型最为接近的人脸位置，作为候选目标人脸； 步骤四、当前帧目标位置确定：从第2帧开始，对于第n帧，n> 1，将候选目标人脸与更新后的 跟踪结果进行融合，得到目标人脸在当前帧的最终位置。通过上述方法更新跟踪器和效判 器，从而使得跟踪与人脸检测结果在学习的构架下进行有效融合，使得跟踪适应长时间跟 踪面临的典型问题，同时解决干扰人脸造成的跟踪漂移或失效问题。
[0017] 更进一步地，上述对时空上下文模型的更新具体为：利用目标局部空间上下文信 息在时间上的连续性建立时空上下文模型，将目标人脸位置出现概率分解为目标人脸与其 周围的局部上下文空间关系的条件概率和局部上下文内各点的先验概率，条件概率通过在 线学习更新。其依据KaihuaZhang等人提出的STC算法的思想，利用这种在目标局部空间 上下文信息在时间上的连续性就可以建立时空上下文模型。
[0019] 目标位置X出现概率c(x)分解为两个概率部分。一个是模拟目标与其周围的局部 上下文空间关系的条件概率P(XIC(Z)，0)，以及局部上下文内各点的先验概率P(C(Z)I0)。 其中条件概率需要通过在线学习更新，先验概率定义为：
[0020] P(c(z) | 〇) =I(z) ? 0 (z_x*)
[0021] 其中I(z)是点z的灰度值，《。（z)是高斯加权函数，z离x越近权值越大。x""表 示当前跟踪到的目标位置。
[0023] 其中a是归一化常数使得P(c(z) |〇)值属于0到1之间，〇为尺度常数。
[0024] 现有技术中一般的跟踪方法采用了时间的上下文信息（即邻近帧间目标变外观 和位置不会发生突变），但是空间上的局部上下文信息（即目标和目标周围的背景存在某 种特定关系，当目标外观发生较大改变时，这种关系可以帮助区分目标）却未有利用。事实 上，如果目标人脸其周围信息比较突出，其在人群中被区分出来的可能性越大，跟踪更为有 效和稳定。利用目标人脸与其周围场景之间的短时或长时的空间关系（即局部上下文信 息），追踪该空间关系在连续帧间的一致性（即时间上下文信息），可以有效地区分目标人 脸与干扰人脸。同时，当存在遮挡时，利用当前帧局部上下文可以帮助预测下一帧目标位 置。
[0025] 上下文空间关系模型也即是对上下文空间关系的条件概率进行更新。上下文空间 关系的条件概率在STC算法中定义为：
[0026] P(x|c(z)，〇) =hsc (x_z)
[0027] hsc(x-z)是关于目标x与局部上下文位置z的相对距离和方向的函数，它体现了 目标和它的空间上下文的空间关系。其非径向对称性有助于区分二义性。
[0028] 结合两部分概率函数定义，上下文时空模型可以表示为：
[0030] 通过FFT转换得到空间上下文模型：
[0032] 用该模型去更新时空上下文模型得到：
[0034] 当前目标出现位置的概率定义为：
[0036] 最后将当前目标的跟踪结果.<+1设定为在邻域D。内计算得到的最大概率的位 置：
[0038] 为以t时刻跟踪到的目标位置为中心定义的邻域。
[0039] 更进一步地，上述对效判器的更新具体为将人脸检测结果与目标人脸进行关联， 计算各检测结果与不断更新目标外观模型的相似程度，判效器学习在跟踪过程中收集到的 正负样本X= {Xi,iG(1，???，!!)}，其中每个样本由K维特征表示A=_hf,/ce(l,…,/〇丨_， 通过计算当前检测结果与正负两类样本的距离，由分类器决定其与目标外观模型的相似程 度。可以将任意两个样本间的距离定义为：
[0041] 这里[?]为逻辑操作，如样本i与样本j的第k维特征相似，则[x,A =.<;] = 0否则 [xf =01。
[0042] 更进一步地，对目标人脸的外观模型的更新的学习策略为接受与初始目标相似的 当前跟踪结果之前所形成轨迹所包含的所有目标。对目标人脸外观模型的更新主要在于 确定跟踪结果附近正负样本的采集策略。简单地将跟踪结果与初始目标计算相似程度不 适合应用于人脸跟踪，因为同一目标在不同时间的外观变化可能大于不同目标间的外观差 异。如何在目标人脸的跟踪轨迹中寻找可能属于同一人脸的样本决定了目标外观模型能否 正更新。本发明中采用的学习策略为：接受与初始目标相似的当前跟踪结果之前所形成轨 迹所包含的所有目标模式。如图1所示，10和1 (初始目标）相似，则接受10之前的所有目 标，该种策略接受模式包括1-10。
[0043] 更进一步地，上述融合器的融合策略具体为：当检测与跟踪均有输出，则通过判效 器关联检测结果与目标人脸，如只有一个候选目标则用其重新初始化跟踪器；如存在大于 一个候选目标则采用其平均位置修正跟踪器；当检测器有输出，跟踪器无输出，则通过判效 器关联检测结果与目标外观模型后，重新初始化跟踪器；当检测器无输出，跟踪器有输出， 则通过学习更新判效器。将逐帧的检测结果与跟踪结果进行融合判定，区别于传统的直接 将检测结果与跟踪结果进行融合，减少外观模型中噪声引入造成跟踪漂移。
[0044] 本发明提供的基于时空上下文学习的人脸跟踪方法，一方面，克服了当前时空上 下文学习跟踪方法不能满足长时间跟踪所要求的对目标再检测的需求，另一方面，也解决 了目前的跟踪方法应用于人脸跟踪时，无法区分目标人脸与干扰人脸的问题。将人脸检测 与跟踪方法在学习的架构下进行融合。利用目标人脸局部时空上下文模型学习，提高了跟 踪对长期遮挡的鲁棒性。通过设计在线学习的判效器，将人脸检测结果与目标人脸的相似 程度关联，提升了目标外观模型的正确更新能力。本发明的方法在实时性和准确性上有了 较好表现，在测试环境中达到20帧每秒的处理速度，同时很好的适用于目标移入移出视 场，实现长效跟踪。
[0045] 图2为本发明的基于时空上下文学习的人脸检测跟踪方法的实现原理图。首先对 视频中目标人脸与其周围图像内容的关系建立跟踪器（tracker)，在跟踪过程中对每帧图 像进行人脸的检测（detector)与目标人脸跟踪（tracker)。在线学习（learning)主要完 成跟踪器时空关系模型的更新，同时依据设定的策略采集存储外观模型样本，更新目标外 观模型；通过有效性判定器（val