专利名称：智能银行视频监控中的多人脸跟踪方法
技术领域：
本发明属于智能视频监控、人脸检测与先进的人机交互的技术领域，具体涉及到一种智能银行视频监控中的多人脸跟踪方法。
背景技术：
人脸跟踪是人脸行为监控中的核心技术之一。它的目的就是把从人脸检测中已经分割出的人脸模式进行唯一的持续锁定，即不管场景内发生任何对于人脸表象的干扰如光照条件发生剧烈变化、人脸发生局部遮挡、人脸自身发生转动和朝向的变化等，跟踪方法都能保证在场景中持续出现的人脸目标的具有唯一的ID号。人脸跟踪作为视觉跟踪的一个特例，具有很多普遍和特殊的方面。譬如通常的视觉跟踪技术框架几乎可以直接应用在人脸跟踪上，而人脸模式具有在场景中表象变化突出的特点，很多特别针对人脸信息的特征提取方法和技术可以为人脸跟踪问题提供更加有效的解决方案。人脸跟踪从应用角度划分，可以分为对人脸上的特征点的跟踪和对整体人脸模式的跟踪。对特征点的跟踪主要是因为对五官上的特征点感兴趣，在实际中的应用通常是人机交互上的表情识别、唇读识别和倦怠检测等。在视频监控的应用中，通常是指对人脸整体模式的跟踪，从而为后续的行为分析和人脸识别提供必要的准备条件。人脸跟踪从技术层面划分，可以分为特征提取部分和基于特征的跟踪策略。(1)特征提取特征提取就是针对那些具有鲁棒性的、易于计算的特征向量，通过各种变换的方法，把人脸模式从像素空间变换到特征空间，然后在帧间对目标及其邻域范围内的伪目标进行分类判别，从而使被跟踪的人脸在时间持续期内保持其ID的唯一性。采用的人脸特征可以是基于人脸纹理的特征或是人脸的形状特征(比如通常会把人脸描述为具有尺度和朝向可控的椭圆模型)。随着时间的演进，人脸的特征模型进行不断的更新。(2)基于特征的跟踪策略跟踪策略分为对单人脸的策略和对多人脸的策略，其中单人脸的跟踪策略描述为当人脸表象发生变化(尺度，朝向，旋转，表情)时的可靠跟踪，不发生目标漂移现象。当场景中先后出现多张人脸时，原先跟踪的目标人脸始终能够被锁定而不发生ID的变更。这里强调的是跟踪的鲁棒性。多人脸的跟踪策略实际上可看作单人脸跟踪的增强版。跟踪策略描述为当场景中有多张人脸的交互和出现、消失时，跟踪系统始终正确标识和记录各个目标的ID。这里强调的是跟踪的协作性。
发明内容
本发明的技术解决问题是克服现有技术的不足，提供一种可靠的、实时的智能银行视频监控中的多人脸跟踪方法。本发明的技术解决方案是这种智能银行视频监控中的多人脸跟踪方法，包括以下步骤
(1)采用人脸检测子系统在当前帧内进行全局或局部扫描，得到检测出的各个人脸的位置，并把它们添加到检测链表中；(2)在初始化帧数达到设定阈值后，检测链表中的人脸被拷贝到中间跟踪链表中， 初始化多人脸跟踪器，启动跟踪过程；(3)在当前帧的跟踪进程中，初始化检测链表、中间跟踪链表、输出跟踪链表，即把各个人脸的匹配标志位设置为假；(4)在中间跟踪链表或输出跟踪链表为非空的情形下，如果检测到的人脸与这两个跟踪链表中的某个人脸相匹配，则首先把对应人脸在链表中的匹配标志位设置为真，然后用检测人脸的信息作为观测值更新和演化该跟踪链表中的相应人脸的状态；(5)在当前帧内扫描检测链表中的人脸目标，如果某个人脸目标没有任何一个跟踪链表中的人脸目标与之匹配，则认为是在当前帧内出现的新人脸，将其加入到中间跟踪链表中；(6)扫描中间跟踪链表中的各个人脸目标，如果某个人脸目标的持续帧数达到设定阈值，则将该人脸目标转移到输出跟踪链表中；(7)如果中间跟踪链表和输出跟踪链表中的某个确定的人脸目标在当前帧内没有捕获到对应的人脸观测数据，则认为此人脸目标在当前帧内失配，转到处理帧内失配的流程如果失配的人脸目标原来在中间跟踪链表中，则认为此目标为暂态噪声，从中间跟踪链表中删除；如果失配的人脸目标在原来的输出跟踪链表中，则用该人脸目标在前一帧的先验预测状态作为当前帧的观测值；(8)根据输出跟踪链表中记录的各个人脸目标的状态信息得到当前帧的多人脸跟
S示结果。本发明采用人脸检测子系统和多人脸跟踪器这两个子系统之间的协作来实现跟踪，人脸检测子系统采用一个离线AdaBoost学习的方法提取最优区分特征，产生一系列由弱分类器线性组合而成的强分类器，然后再根据期望的检测正确率构造层叠分类器，实现对基本正面端正人脸模式的检测，多人脸跟踪器通过把多个目标(包括确认的人脸和候选的人脸)放入不同的链表进行记录和管理，实现在整个跟踪过程中人脸目标之间的对应匹配，并且对链表进行动态维护，因此实现了可靠的、实时的智能银行视频监控中的多人脸跟
S示ο
图1为根据本发明的方法中的核心算法功能；图2为根据本发明的多人脸跟踪器的信息控制流；图3为一种典型的帧内失配的情形，表示在两张人脸发生局部遮挡的时刻t2之前，由于检测子系统漏检，第一张人脸丢失观测而造成失配，在失配阶段，跟踪器用该人脸目标在前一帧的先验预测状态信息作为在当前帧的观测值进行持续跟踪；图4为视频回放的片段对人脸进行检测和跟踪时的效果图；图5为实际摄像头对人脸进行检测和跟踪时的效果图。
具体实施方式
这种智能银行视频监控中的多人脸跟踪方法，包括以下步骤(1)采用人脸检测子系统在当前帧内进行全局或局部扫描，得到检测出的各个人脸的位置，并把它们添加到检测链表中；(2)在初始化帧数达到设定阈值后，检测链表中的人脸被拷贝到中间跟踪链表中， 初始化多人脸跟踪器，启动跟踪过程；(3)在当前帧的跟踪进程中，初始化检测链表、中间跟踪链表、输出跟踪链表，即把各个人脸的匹配标志位设置为假；(4)在中间跟踪链表或输出跟踪链表为非空的情形下，如果检测到的人脸与这两个跟踪链表中的某个人脸相匹配，则首先把对应人脸在链表中的匹配标志位设置为真，然后用检测人脸的信息作为观测值更新和演化该跟踪链表中的相应人脸的状态；(5)扫描检测链表中的人脸目标，如果某个人脸目标在当前帧内没有跟踪链表中的人脸与之匹配，则认为是在当前帧内出现的新人脸，将其加入到中间跟踪链表中；(6)扫描中间跟踪链表中的人脸目标，如果某个人脸目标的持续帧数达到设定阈值，则将该人脸目标转移到输出跟踪链表中；(7)如果中间跟踪链表和输出跟踪链表中某个特定的人脸目标在当前帧内没有与之匹配的人脸观测数据，则认为此人脸目标在当前帧内失配，转到处理帧内失配的流程如果失配的人脸目标处于中间跟踪链表中，则认为此目标为暂态噪声，从中间跟踪链表中删除；如果失配的人脸目标处于输出跟踪链表中，则用该人脸目标在前一帧的先验预测状态信息作为当前帧的观测值；(8)根据输出跟踪链表中记录的各个人脸目标的状态信息得到当前帧的多人脸跟
S示结果。优选地，人脸目标之间的匹配采用了位置、运动速度和尺度特征来对人脸对进行相似度的度量，并保持该跟踪器对相应人脸的持续跟踪。优选地，在步骤(1)的人脸检测子系统中采用了基于AdaBoost学习算法得到的级联分类器，在每帧中获取人脸目标的观测位置；在步骤(1)的人脸检测范围的切换基于当前的跟踪链表中是否有失配的人脸。优选地，对于已经存在于跟踪器中的人脸目标，用当前帧中匹配上的人脸的信息作为观测值输入跟踪器，得到预测估计的后验概率值。优选地，在中间跟踪链表和输出跟踪链表中，对于单个人脸目标的跟踪采用基于 Kalman滤波预测的算法实现对后验概率值的估计；并且为了便于在定点处理器上运行时保证数值稳定性，采用了用平方根滤波的形式替代传统的Kalman滤波。图4为视频回放的片段对人脸进行检测和跟踪时的效果图；图5为实际摄像头对人脸进行检测和跟踪时的效果图。以下结合附图和具体的实施例对本发明作进一步的详细说明。在图1中，揭示了我们采用的实施例，其中的多人脸关联策略是核心的技术。为方便多人脸目标的跟踪，多人脸关联策略以链表的形式作为操作实体，链表间的调度策略反映多目标的整体跟踪过程。实现中，共使用了三个链表，分别为检测链表、中间跟踪链表和输出跟踪链表，三个链表依次顺序关联，互相通信，融为一个整体。检测链表负责接收当前视频帧中检测到的人脸；跟踪中链表作为检测链表和跟踪链表的桥梁，用于缓存待输到跟踪链表中的人脸数据，并对其中的非人脸噪声点及时去除；通过检验的确定人脸将加入到跟踪链表，最为最终的结果输出。每个单人脸目标的跟踪共同推动着多人脸目标的跟踪演化。单人脸目标的跟踪过程在跟踪中链表和跟踪链表中完成，维持跟踪过程的观测值来自于人脸检测。在该框架中，人脸检测机制分为邻域单人脸检测和全局多人脸检测。图2揭示了在上述实施例中，按照视频流的时间序列，跟踪器对输入的状态信息采用顺序控制的方式通过预测更新状态向量和误差，实现对目标的实时跟踪。在上述实施例中，当失配发生时，本发明基于局部遮挡判定法(test on occlusion)来判定人脸失配的情况，并采用相应的跟踪策略。图3表示在两张人脸发生局部遮挡的t2时刻之前，第一张人脸由于漏检而丢失观测。在等待的时间内，跟踪器依然保持着用Kalman滤波方法对失配的第一张人脸的跟踪(blind tracking)，这时的观测值用漏检前最近的帧对下一帧的先验预测替代；若超时，则认为此人脸已经从场景中退出。以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
权利要求
1.智能银行视频监控中的多人脸跟踪方法，其特征在于，包括以下步骤(1)采用人脸检测子系统在当前帧内进行全局或局部扫描，得到检测出的各个人脸的位置，并把它们添加到检测链表中；(2)在初始化帧数达到设定阈值后，检测链表中的人脸被拷贝到中间跟踪链表中，初始化多人脸跟踪器，启动跟踪过程；(3)在当前帧的跟踪进程中，初始化检测链表、中间跟踪链表、输出跟踪链表，即把各个人脸的匹配标志位设置为假；(4)在中间跟踪链表或输出跟踪链表为非空的情形下，如果检测到的人脸与这两个跟踪链表中的某个人脸相匹配，则首先把对应人脸在链表中的匹配标志位设置为真，然后用检测人脸的信息作为观测值更新和演化该跟踪链表中的相应人脸的状态；(5)扫描检测链表中的人脸目标，如果某个人脸目标在当前帧内没有跟踪链表中的人脸目标与之匹配，则认为是在当前帧内出现的新人脸，将其加入到中间跟踪链表中；(6)扫描中间跟踪链表中的各个人脸目标，如果某个人脸目标的持续帧数达到设定阈值，则将该人脸目标转移到输出跟踪链表中；(7)如果中间跟踪链表和输出跟踪链表中的某个确定的人脸目标在当前帧内没有捕获到对应的人脸观测数据，则认为此人脸目标在当前帧内失配，转到处理帧内失配的流程如果失配的人脸目标原来在中间跟踪链表中，则认为此目标为暂态噪声，从中间跟踪链表中删除；如果失配的人脸目标在原来的输出跟踪链表中，则用该人脸目标在前一帧的先验预测状态信息作为当前帧的观测值；(8)根据输出跟踪链表中记录的各个人脸目标的状态信息得到当前帧的多人脸跟踪结
2.根据权利要求1所述的方法，其特征在于，人脸目标之间的匹配采用了位置、运动速度和尺度特征来对人脸对进行相似度的度量，并保持该跟踪器对相应人脸的持续跟踪。
3.根据权利要求1所述的方法，其特征在于，在步骤(1)的人脸检测子系统中采用了基于AdaBoost学习算法得到的级联分类器，在每帧中获取人脸目标的观测位置；在步骤(1) 的人脸检测范围的切换基于当前的跟踪链表中是否有失配的人脸。
4.根据权利要求2所述的方法，其特征在于，对于已经存在于跟踪器中的人脸目标，用当前帧中匹配上的人脸的信息作为观测值输入跟踪器，得到预测估计的后验概率值。
5.根据权利要求1所述的方法，其特征在于，在中间跟踪链表和输出跟踪链表中，对于单个人脸目标的跟踪采用基于Kalman滤波预测的算法实现对后验概率值的估计；并且为了便于在定点处理器上运行时保证数值稳定性，采用了用平方根滤波的形式替代传统的 Kalman 滤波。
全文摘要
公开了一种用于智能银行视频监控的多人脸跟踪方法，包括用人脸检测子系统在当前帧内扫描得到人脸位置并添加到检测链表；在初始帧数后，拷贝检测链表中的人脸到中间跟踪链表，启动多人脸跟踪器；在当前帧内初始化检测链表、中间跟踪链表、输出跟踪链表；如果两个跟踪链表非空且有元素与检测到人脸目标匹配，用检测的人脸信息更新跟踪链表中相应的人脸状态；再次扫描检测链表，如果有未匹配的人脸目标，判别为当前帧内新人脸，并加入到中间跟踪链表；扫描中间跟踪链表，若某人脸目标的持续帧数达到阈值，则将该人脸目标转移到输出跟踪链表；对于两个跟踪链表中未匹配上的人脸判为帧内失配；多人脸跟踪的结果取自输出跟踪链表中的人脸状态信息。
文档编号G06K9/00GK102496009SQ20111040815
公开日2012年6月13日 申请日期2011年12月9日 优先权日2011年12月9日
发明者孙尚白, 孙昕, 杨慧松 申请人:北京汉邦高科数字技术股份有限公司