一种基于视频流的多人脸检测与跟踪方法与流程

本发明属于计算机视觉技术领域，具体涉及一种基于视频流的多人脸检测与跟踪方法。

背景技术：

基于深度学习的人脸识别技术的迅猛发展，拓宽了人脸识别技术的应用场景，尤其是安防领域。以人脸为核心的视频结构化处理，可以在银行、机场、商场、市场等人流密集的公共场所对人群进行监控，实现人流自动统计、基于人脸属性的分析、以及特定人物的自动识别和跟踪。现有安防监控系统包括前端的监控摄像头和后台的处理系统或控制中心，两者之间通过网络互连。前端摄像头负责采集包含人脸的视频流，并传送给后台系统进行处理。后台的处理系统或控制中心解析前端视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行识别和比对。如果安防监控系统包含大量的监控摄像头并且所有的已捕捉视频均需要传送至后台控制中心以执行人脸识别和其他任务，那将对该控制中心的网络带宽要求和计算能力的要求都异常的高，系统建设成本也将随之增加。

一种有效的解决方法是将人脸识别的抓拍和比对分离。前端放置人脸抓拍处理单元，分析监控摄像头的视频流，检测视频流中的人脸，将检测出的人脸图像返回至后台处理系统，后台处理系统仅进行人脸比对工作。与之前相比，相同配置下的人脸抓拍处理单元可接入的视频流更多。再者人脸抓拍处理单元在地理上分布式部署，与之前的集中式部署方式相比更灵活，且出现问题也能更快定位解决。同时，人脸抓拍处理单元输出的人脸图像与视频流相比数据量要少得多，降低了前后端之间的数据传输量，节省了网络带宽资源。总体上减少了系统建设成本，降低了系统维护难度。

但是现有技术条件下，因为监控摄像头架设的方位角度千差万别，现场光线环境复杂，行进过程中人脸姿态及角度各式各样，造成摄像头采集到的图像或视频流的质量不高，在视频中抓取到的人脸存在模糊，角度过大，面部过暗/过亮等情况，直接影响后台人脸识别分析的准确性，以及针对特定人物的识别和跟踪的准确性。另一方面，人脸抓拍处理单元检测到人脸后，如果不做任何甄别和选择，会产生大量的人脸图像，这些图像大大增加了后台处理系统人脸比对的计算压力，降低处理效率，降低系统的实用性。同时，前端人脸抓拍处理单元采用逐帧分析检测的方式，不对连续帧之间人脸的连续性进行甄别，势必增加系统的处理压力。

技术实现要素：

针对上述现有技术中由于摄像头采集得到的图像/视频流质量不高而导致人脸检测和跟踪效率低以及采集的人脸数据过大而导致后台处理系统负荷大的问题，本发明提出一种基于视频流的多人脸检测与跟踪方法，该方法的具体技术方案如下：

一种基于视频流的多人脸检测与跟踪方法，所述方法包括：

s1.设定人脸视频流中包括n个连续视频帧的计算周期，并初始化全局人脸跟踪缓冲区，并对所述全局人脸跟踪缓冲区不同人脸图像对应不同的位置信息设置不同的id；

s2.在每个所述计算周期的第0帧，设定最大可跟踪的人脸数量m，并初始化当前所述计算周期的周期人脸跟踪缓冲区；

s3.基于深度学习网络构建人脸检测学习模型，并在每个所述计算周期的第0帧调用所述人脸检测学习模型，获取所述计算周期可跟踪最大人脸数量m对应数目的位置信息，并更新所述周期人脸跟踪缓冲区；

s4.在每个所述计算周期的第0帧，将所述位置信息与所述全局人脸跟踪缓冲区比对，判读是否有与所述位置信息相匹配的人脸图像数据，并将同一所述位置信息对应的人员设置相同的id；若有，则更新对应人员的所述周期人脸跟踪缓冲区，否则，构建与所述位置信息对应的新的id；

s5.在每个所述计算周期的第1至第n-1帧，调用人脸跟踪学习模型，计算所述n个连续视频帧中对应所述人脸数量m的位置信息；

s6.在第n-1帧，调用人脸坐标微调学习模型，优化人脸跟踪网络计算出的m个人脸位置信息，更新对应的周期人脸跟踪缓冲区信息；

s7.在第n-1帧，调用人脸质量评估学习模型，分别计算m个人脸序列的质量评估数值，并分别选出所述人脸数量m对应的m个人的质量评估最优的人脸图像和对应背景图像，更新对应的周期人脸跟踪缓冲区信息；

s8.在第n-1帧，分别比较所述m个人在周期人脸跟踪缓冲区中的id与全局人脸跟踪缓冲区里的全局id，合并更新全局人脸跟踪缓冲区信息，同时删除周期人脸跟踪缓冲区信息；

s9.在第n-1帧，遍历所述全局人脸跟踪缓冲区，筛选不在视频流中的人脸序列，输出对应的最优人脸图像及对应的背景图像，删除对应缓冲记录。

作为优选，所述步骤s1前还包括：采用视频采集设备采集所述人脸视频流，并对所述人脸视频流预处理得到视频帧。

作为优选，所述视频采集设备为安装在公共区域的摄像头。

与现有技术相比，本发明的基于视频流的多人脸检测与跟踪方法，通过在一个计算周期采集人脸图像数据，并在每一计算周期内采集可处理的最大量人脸数据，在对采集得到的人脸数据处理后，放入周期人脸跟踪缓冲区，并将其与全局人脸跟踪缓冲区作对比看是否有相同的人脸数据，若有，则将其加入并更新全局人脸跟踪缓冲区；否则，则增加新的关于人脸的数据到全局人脸跟踪缓冲区同时也更新周期人脸跟踪缓冲区，并对所有采集到的同一人员的人脸数据作筛选，得到质量最好图片和与之对应的背景图片；本发明通过周期性的采集人脸图像数据，可有效减少人脸检测过程的计算压力，并且增强检测和跟踪效率。

附图说明

图1是本发明实例中所述基于视频流的多人脸检测与跟踪方法的流程图示意。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明实施例中，采用摄像头来采集人脸视频流数据，并对视频流经过预处理后得到连续的视频帧图片，基于连续的视频帧图片提出一种基于视频流的多人脸检测与跟踪方法，具体可参阅图1，所述方法包括：

s1.设定人脸视频流中包括n个连续视频帧的计算周期，并初始化全局人脸跟踪缓冲区，并对所述全局人脸跟踪缓冲区不同人脸图像对应不同的位置信息设置不同的id；

s2.在每个所述计算周期的第0帧，设定最大可跟踪的人脸数量m，并初始化当前所述计算周期的周期人脸跟踪缓冲区；

s3.基于深度学习网络构建人脸检测学习模型，并在每个所述计算周期的第0帧调用所述人脸检测学习模型，获取所述计算周期可跟踪最大人脸数量m对应数目的位置信息，并更新所述周期人脸跟踪缓冲区；

s4.在每个所述计算周期的第0帧，将所述位置信息与所述全局人脸跟踪缓冲区比对，判读是否有与所述位置信息相匹配的人脸图像数据，并将同一所述位置信息对应的人员设置相同的id；若有，则更新对应人员的所述周期人脸跟踪缓冲区，否则，构建与所述位置信息对应的新的id；

s5.在每个所述计算周期的第1至第n-1帧，调用所述人脸检测学习模型，计算所述n个连续视频帧中对应所述人脸数量m的位置信息；具体的，通过人脸跟踪模型获取得到对应的位置信息。

s6.在第n-1帧，调用人脸坐标微调学习模型，优化人脸跟踪网络计算出的m个人脸位置信息，更新对应的周期人脸跟踪缓冲区信息；具体的，通过人脸坐标微调模型对得到的位置信息进行优化。

s7.在第n-1帧，调用人脸质量评估学习模型，分别计算m个人脸序列的质量评估数值，并分别选出所述人脸数量m对应的m个人的质量评估最优的人脸图像和对应背景图像，更新对应的周期人脸跟踪缓冲区信息；具体的，通过人脸质量评估模型来计算所述质量评估数值；而更新周期人脸跟踪缓冲区信息即删除原有的不必要的人脸图像数据，可减少不必要的内存，保证检测和跟踪的速度；

s8.在第n-1帧，分别比较所述m个人在周期人脸跟踪缓冲区中的id与全局人脸跟踪缓冲区里的全局id，合并更新全局人脸跟踪缓冲区信息，同时删除周期人脸跟踪缓冲区信息；

s9.在第n-1帧，遍历所述全局人脸跟踪缓冲区，筛选不在视频流中的人脸序列，输出对应的最优人脸图像及对应的背景图像，删除对应缓冲记录。

具体的，本发明中的人脸视频流由安装在公共区域或者其他符合规定安装的视频采集设备，比如公共摄像头；当然，本发明的方法也适合其他方式获取得到的视频流，仅以此来说明本发明的方式和效果，并不是对本发明的限制和固定。

此外，在实际操作过程中，可根据实际的情况选取不同大小的连续视频帧作为一个周期，比如，若采集的视频帧中存在脸部遮挡的情况，可适当增加连续视频帧的数量，以便于可以采集得到有效的且高质量的人脸图像，可保证人脸检测和跟踪的准确率。

与现有技术相比，本发明的基于视频流的多人脸检测与跟踪方法，通过在一个计算周期采集人脸图像数据，并在每一计算周期内采集可处理的最大量人脸数据，在对采集得到的人脸数据处理后，放入周期人脸跟踪缓冲区，并将其与全局人脸跟踪缓冲区作对比看是否有相同的人脸数据，若有，则将其加入并更新全局人脸跟踪缓冲区；否则，则增加新的关于人脸的数据到全局人脸跟踪缓冲区同时也更新周期人脸跟踪缓冲区，并对所有采集到的同一人员的人脸数据作筛选，得到质量最好图片和与之对应的背景图片；本发明通过周期性的采集人脸图像数据，可有效减少人脸检测过程的计算压力，并且增强检测和跟踪效率。

以上仅为本发明的较佳实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。