专利名称：一种银行场景中长期稳定的人脸检测与跟踪方法及装置的制作方法
技术领域：
本发明涉及一种人脸检测与跟踪方法，具体地是一种银行场景中长期稳定的人脸检测与跟踪方法。
背景技术：
现有人脸检测通常方法是通过模式识别的方法在单帧图像中提取特征图，用预先的检测器在特征图上进行人脸检测。该方法有一定的局限性第一、模式识别的方法是一个概率事件不可能达到零误检率和100%的检测率；第二、由于检测器的局限性不能检测到任意角度的人脸；第三、传统的人脸检测缺少了对帧间信息的利用，当人脸有较大角度或人脸模糊的情况下检测器无法检测到人脸，从而检测出现间断不稳定的情况
发明内容
本发明针对单纯人脸检测会出现漏检和误检的问题，提出利用帧间信息，通过人脸的跟踪和目标检测，达到去误检和持续跟踪特定人脸的目的，提出来把人脸检测、目标检测与目标跟踪相结合的方法用于人脸检测的过程中。为此，本发明提供了一种银行场景中长期稳定的人脸检测与跟踪的方法，包括如下步骤采用人脸检测模块在某帧图像中检测人脸；采用运动目标检测模块检测连续几帧有运动的目标；基于人脸检测的结果和运动目标检测的结果，计算人脸框的可信度；把可信度较高的人脸框输出给目标跟踪模块；目标跟踪模块采用面积匹配的方法跟踪所述可信度较高的人脸框。进一步，所述人脸检测模块采用的人脸检测算法是在原图的特征图上按照训练得到人脸训练模板以一定的步长遍历整个图，找到人脸的位置。进一步，所述运动目标检测模块采用的目标检测算法，用光流算法找到场景中运动的目标，并根据人的尺度和运动特征找到人的大致位置。进一步，在计算人脸框的可信度步骤中，人脸检测结果和运动目标检测结果相比，如果某些人脸框同时在人脸检测结果和运动目标检测结果中出现，则初步确定这些人脸框为跟踪目标，然后统计这些人脸框在一定帧数被人脸检测模块检测到的次数，人脸框在一定帧数被人脸检测模块检测到的次数越多，该人脸框的可信度就越大。进一步，所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于其中所述面积匹配的方法根据前后跟踪框重合的面积比例判断是否是同一个目标，如果是同一个目标就继续对该目标跟踪，如果是不同目标就调整跟踪，把该跟踪框设置为一个新的目标。进一步，所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于还包括平滑和稳定输出所跟踪的人脸框的步骤。进一步，其中平滑和稳定输出所跟踪的人脸框的步骤采用稳定模块，平滑输出窗口的移动轨迹，以及设置一个固定输出人脸区域大小的预设框。
进一步，如果人脸框大于或小于该预设框就做相应的缩图或扩图处理。本发明还提供了一种银行场景中长期稳定的人脸检测与跟踪装置，包括人脸检测模块，运动目标检测模块，可信度计算模块和目标跟踪模块，其特征在于所述可信度计算模块基于人脸检测模块检测人脸的结果和运动目标检测模块的运动目标检测的结果，计算人脸框的可信度。该装置进一步，还包括银行人脸叠加器，将在银行场景中检测到的较大且清晰的人脸叠加到场景图片的某个特定位置。
图I是本发明的银行场景中长期稳定的人脸检测与跟踪方法的流程图。
具体实施例方式如图I示出了本发明的银行场景中长期稳定的人脸检测与跟踪方法的一般流程。与一般人脸检测与跟踪的场景不同，银行场景的特点是1)不会出现较小人脸；
2)人脸会有不同角度的变化；3)人脸在实时运动；
针对以上问题本发明提出了在银行场景监控中基于目标检测和跟踪的人脸检测算法，该场景的特点是人脸较大，且要求不能有间断的不稳定人脸检测结果，以及要求基本零误检。该人脸检测与跟踪装置主要包括三个功能模块一是人脸检测模块；二是运动目标检测模块；二是目标跟踪模块。人脸检测模块采用的人脸检测算法是在原图的特征图上按照训练得到人脸训练模板以一定的步长遍历整个图，找到人脸的位置；运动目标检测模块采用的目标检测算法，用光流算法找到场景中运动的目标，并根据人的尺度和运动特征找到人的大致位置；目标跟踪模块结合人脸检测找到的人脸目标和目标检测中找到的人的目标确定跟踪对象，用面积匹配相关方式跟踪该目标。光流算法采用的光流是相邻两帧图像对应像素的运动矢量，是一种二维瞬时速度场，其中二维速度场矢量是景物中可见点的三维3D速度矢量在成像表面的投影，用公式进一步说明
F(x, t) = f (g(x, t), t0)；
F(x, t)指相对于前面的t0时刻变化的运动物体，上式的含义是t时刻在空间位置X的强度与t0时刻在位置x=g(x，t)强度相同。其中人脸检测模块完成在某帧图像中检测人脸功能；运动目标检测模块用基于光流的算法检测连续几帧有运动的目标；计算人脸框的可信度，这里可信度的计算是利用人脸检测结果和运动目标检测结果来决定的，首先，人脸检测结果和运动目标检测结果相比，如果某些人脸框同时在人脸检测结果和运动目标检测结果中出现，则初步确定这些人脸框为跟踪目标，然后统计这些人脸框在一定帧数被人脸检测模块检测到的次数，人脸框在一定帧数被人脸检测模块检测到的次数越多，该人脸框的可信度就越大，最后把其中可信度较高的结果输出给目标跟踪模块；目标跟踪模块是根据人脸检测和运动目标检测两个模块的分析结果用面积匹配的方法按照面积重合度跟踪其中可信度较高的目标，所谓面积重合度跟踪就是根据前后跟踪框重合的面积比例判断是否是同一个目标，如果是同一个目标就继续对该目标跟踪，如果是不同目标就调整跟踪，把该跟踪框设置为一个新的目标。这里目标跟踪模块的作用是确保检测到的人脸不会由于人角度的改变导致突然检测不到的现象。同时可以防止在某一帧突然出现一个误检的情况。该发明的一个应用实例是银行人脸叠加器。所谓银行人脸叠加器，就是在银行场景中检测较大且清晰的人脸，并把检测到的人脸图像叠加到场景图片的某个特定位置。比如，将自动柜员机检测到的人脸图像叠加到监视器显示的画面中的某个位置，这里要求检测到的人脸是稳定且连贯的，并且要求没有误检。这里把该人脸检测与跟踪算法用于银行场景的人脸检测与叠加需求中，可以有效的满足要求。具体实现步骤如下
步骤I获取图像，计算图像的特征图； 步骤2在特征图上进行人脸检测；
步骤3基于光流的运动目标检测，找到视频中运动的目标；
步骤4在人脸检测的输出结果和运动目标检测得到的结果中计算每个结果的可信度，这里可信度的计算是利用人脸检测结果和运动目标检测结果来决定的，首先，人脸检测结果和运动目标检测结果相比，如果某些人脸框同时在人脸检测结果和运动目标检测结果中出现，则初步确定这些人脸框为跟踪目标，然后统计这些人脸框在一定帧数被人脸检测模块检测到的次数，人脸框在一定帧数被人脸检测模块检测到的次数越多，该人脸框的可信度就越大，最后把其中可信度较高的结果输出给目标跟踪模块；
步骤5目标跟踪，用面积匹配的方法按照面积重合度对目标跟踪，所谓面积重合的跟踪就是根据前后跟踪框重合的面积比例判断是否是同一个目标，如果是同一个目标就继续对该目标跟踪，如果是不同目标就调整跟踪，把该跟踪框设置为一个新的目标；
步骤6平滑和稳定输出的人脸框。由于人脸检测结果输出框大小和位置不稳定，这样叠加出的结果会时大时小，叠加区域会不断颤动，因此这里加一个稳定模块，平滑输出窗口的移动轨迹，以及设置一个固定输出人脸区域大小的预设框，如果人脸大于或小于该预设框就做相应的缩图或扩图处理，对于大于预设框的人脸目标按照一般人脸应有的比例对人脸框缩图，使其大小在预设框的范围内，对于远远小于预设框的人脸框，同样对其按照原有人脸比例进行相应的扩图，扩图的大小要小于预设框的大小，使用户可以看清人脸。本发明的银行场景中长期稳定的人脸检测与跟踪方法相对于现有的人脸检测与跟踪方法有以下优点
1)在视频中可以检测任意角度的人脸，可以输出某个特定的人脸；
2)更稳定和连续的人脸图像输出；
3)有效的规避了人脸检测的误检情况；
4)在一定程度上弥补了人脸检测会出现漏检的情况。以上所述及图中所示的仅是本发明的优选实施方式。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干变型和改进，这些也应视为属于本发明的保护范围。
权利要求
1.一种银行场景中长期稳定的人脸检测与跟踪的方法，包括如下步骤 采用人脸检测模块在某帧图像中检测人脸； 采用运动目标检测模块检测连续几帧有运动的目标； 基于人脸检测的结果和运动目标检测的结果，计算人脸框的可信度； 把可信度较高的人脸框输出给目标跟踪模块； 目标跟踪模块采用面积匹配的方法跟踪所述可信度较高的人脸框。
2.如权利要求I所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于所述人脸检测模块采用的人脸检测算法是在原图的特征图上按照训练得到人脸训练模板 以一定的步长遍历整个图，找到人脸的位置。
3.如权利要求I所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于所述运动目标检测模块采用的目标检测算法，用光流算法找到场景中运动的目标，并根据人的尺度和运动特征找到人的大致位置。
4.如权利要求I所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于在计算人脸框的可信度步骤中，人脸检测结果和运动目标检测结果相比，如果某些人脸框同时在人脸检测结果和运动目标检测结果中出现，则初步确定这些人脸框为跟踪目标，然后统计这些人脸框在一定帧数被人脸检测模块检测到的次数，人脸框在一定帧数被人脸检测模块检测到的次数越多，该人脸框的可信度就越大。
5.如权利要求I所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于其中所述面积匹配的方法根据前后跟踪框重合的面积比例判断是否是同一个目标，如果是同一个目标就继续对该目标跟踪，如果是不同目标就调整跟踪，把该跟踪框设置为一个新的目标。
6.如权利要求I所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于还包括平滑和稳定输出所跟踪的人脸框的步骤。
7.如权利要求6所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于其中平滑和稳定输出所跟踪的人脸框的步骤采用稳定模块，平滑输出窗口的移动轨迹，以及设置一个固定输出人脸区域大小的预设框。
8.如权利要求7所述的银行场景中长期稳定的人脸检测与跟踪的方法，其特征在于如果人脸框大于或小于该预设框就做相应的缩图或扩图处理。
9.一种银行场景中长期稳定的人脸检测与跟踪装置，包括人脸检测模块，运动目标检测模块，可信度计算模块和目标跟踪模块，其特征在于所述可信度计算模块基于人脸检测模块检测人脸的结果和运动目标检测模块的运动目标检测的结果，计算人脸框的可信度。
10.如权利要求9所述的银行场景中长期稳定的人脸检测与跟踪装置，其特征在于还包括银行人脸叠加器，将在银行场景中检测到的较大且清晰的人脸叠加到场景图片的某个特定位置。
全文摘要
本发明提供了一种银行场景中长期稳定的人脸检测与跟踪的方法，包括如下步骤采用人脸检测模块在某帧图像中检测人脸；采用运动目标检测模块检测连续几帧有运动的目标；基于人脸检测的结果和运动目标检测的结果，计算人脸框的可信度；把可信度较高的人脸框输出给目标跟踪模块；目标跟踪模块采用面积匹配的方法跟踪所述可信度较高的人脸框；本发明还提供了一种银行场景中长期稳定的人脸检测与跟踪的装置。该方法和装置，在视频中可以检测任意角度的人脸，可以输出某个特定的人脸，更稳定和连续的人脸图像输出，有效的规避了人脸检测的误检情况，在一定程度上弥补了人脸检测会出现漏检的情况。
文档编号G06K9/00GK102750527SQ20121021216
公开日2012年10月24日 申请日期2012年6月26日 优先权日2012年6月26日
发明者刘家佳, 尚凌辉, 王弘玥, 赵志艳, 高勇 申请人:浙江捷尚视觉科技有限公司