基于人脸识别的校园招聘无感签到方法与流程

本发明涉及机器视觉和图像处理技术，具体涉及一种基于人脸识别的校园招聘无感签到方法。

背景技术：

信息技术的不断发展便利了人们的生活和工作，也改变了签到的方式。从最初的点名签到、签字签到，然后到后来的电子签到，如指纹签到、移动签到等。签到形式逐渐变得多样化，不同的签到形式适合不同的签到场景。口头、签字签到是最原始的签到方式，在人员比较稳定的场所中，这种签到形式弊端较为明显：浪费资源；实体存储的方式不便于长久保留，容易出现丢失现象；不方便查询签到结果；签到效率低下。这种签到形式基本已经被淘汰。电子签到是目前较为流行的并且较为便利的签到形式，包括指纹签到、id卡签到、移动签到等。指纹签到优点在于操作简单，签到速度快。但是缺点也很明显，比如有些人利用硅胶做成假指纹让他人代替签到；有些人指纹经常无法验证通过，导致签到率较低，签到失败的次数较多。使用指纹签到的时候，经常会遇到因为手指褶皱太多、经常变化导致签到失败，甚至因为手指脱皮严重，导致无法进行签到。id卡签到也是目前应用较为多的签到方式，尤其对于学校与用人单位，但是这种方式虽然有着快捷的优点但是会出现代替签到的严重问题，影响最后的签到统计。移动签到更多的应用是微信扫码签到，但是签到所用的二维码可拍照转发，不在签到现场亦可以签到，与id卡签到有着一样的弊端。

随着ai技术的不断发展，人脸识别技术作为其重要核心技术之一同样有着很大的突破，目前人脸识别在安全监控、身份识别、客流分析、图像重构、人机交互等场景具有广泛应用，引起越来越多的关注。人脸识别技术是一种非强制性、非接触性、高准确率、易于采集、高并发、无侵犯的生物识别技术，人脸识别通过各种摄像头无需与具体的设备接触便可获得人脸图像，同一时刻可以获取多张人脸，对人脸进行识别，并且无需用户主动参与。

现有的签到方法都是面向特定范围的应用领域，也具有各自的特点和应用场景，针对校园招聘会这样的场景，采用传统的签到方式虽然能够保证签到无差错、无代签，但是需要很大的人力资源去统计分析结果，而采用电子签到的方式很容易出现代签的情况，影响统计结果，且以上两种方式都需要用户主动配合。

技术实现要素：

本发明的目的在于提供一种基于人脸识别的校园招聘无感签到方法，将人脸识别技术应用到校园招聘签到场景上，通过在出入口架设网络摄像头以抓取出入人员照片并识别，将识别结果存入后台数据库中，此方法能够以低成本、高效率的方式得到准确的统计分析结果，并很好解决代签问题。

实现本发明目的的技术方案为：一种基于人脸识别的校园招聘无感签到方法，该方法基于签到系统实现，签到系统包括人脸注册模块、人脸识别服务端模块、基于php的web前端管理模块；其中人脸注册模块用于将学生人脸特征、学生姓名、学生学号存储到人脸库中；人脸识别服务端模块用于对网络摄像头采集的图像进行人脸检测与识别，以及与web前端管理模块交互；web前端管理模块用于对现场监控视频及其分析处理结果实时查看，所述签到方法包含以下步骤：

步骤1，对网络摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的mat格式；

步骤2，将步骤1得到的mat格式图片，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；

步骤3，将检测出的所有人脸进行人脸对齐操作；

步骤4，将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，取最高相似度max_similarity；设定人脸相似度阈值threshold，若max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；

步骤5，将识别通过与未通过的人脸分别用不同颜色框在图片上标注，并将标注后的图片转成视频流；

步骤6，设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。

与现有技术相比，本发明的有益效果为：针对校园招聘签到场景，本发明预先使用人脸注册软件通过学生照片采集人脸信息并将人脸特征、学生姓名、学生学号存储至数据库，在校园招聘现场通过高清摄像头抓拍出入口的学生人脸，并将抓拍的人脸与数据库中人脸信息比对，得到最后的识别结果，最后将识别结果存入数据库中，可实时通过web页面查看招聘会学生的出入情况，并进行统计和分析；本发明解决了传统方法签到时间慢、人力资源消耗多、签到查询繁琐等一系列问题，与当前人脸识别签到设备相比，本发明基于校园招聘场景人流量大，检测速度要求高等特点，采用网络高清摄像头，无需用户主动配合，不仅优化了人脸检测速度和人脸识别精度，达到快速准确无感签到，而且能够以可视化的web界面和高效无误的方式获得统计分析结果。

附图说明

图1为本发明基于人脸识别的校园招聘无感签到方法流程图。

图2为本发明的校园招聘无感签系统部署图。

具体实施方式

如图1所示，一种基于人脸识别的校园招聘无感签到方法，基于无感签到系统，系统包括人脸注册模块、人脸识别服务端模块、基于php的web前端管理模块；

其中人脸注册模块用于将学生人脸特征、学生姓名、学生学号存储到人脸库中；人脸识别服务端模块用于对网络摄像头采集到的图像进行人脸检测与识别，以及与web前端管理模块交互；web前端管理模块可对现场监控视频及其分析处理结果实时查看，所述签到方法主要包含以下步骤：

步骤1：对网络摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的mat格式；

步骤2：将步骤1得到的mat格式图片数据，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；

步骤3：将检测出的所有人脸进行人脸对齐操作；

步骤4：将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，此处取最高相似度max_similarity；设定人脸相似度阈值threshold，如果max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；

步骤5：将识别通过与未通过的人脸分别用绿色和红色框在图片上标注，并将标注后的图片转成视频流；

步骤6：设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。

进一步的，所述步骤1中rtsp视频流解码利用ffmpeg解析rtsp流，再调用nvidia显卡解码库中解码函数，然后将图像数据从显存拷贝到内存中实现，图像数据格式由nv12变为rgb，解码过程中cpu与gpu资源占用低。

进一步的，所述步骤2中人脸检测算法基于mtcnn改进实现，将caffe版本的mtcnn改成opencv下dnn版本，进行框架加速，检测结果包括人脸、眼睛、嘴巴、鼻子的具体位置。

进一步的，所述步骤4中人脸识别模型基于sphereface网络结构改进训练实现，修改sphereface损失函数为arcface损失函数。

进一步的，所述步骤5中生成的视频流为实时的rtmp流。

进一步的，所述网络摄像头架设在校园招聘场所出入口。

下面结合实施例对本发明技术方案进行详细说明。

实施例

本实施例中采用的是基于人脸识别的校园招聘无感签到方法，系统硬件架构由工控机、交换机和ipc网络高清摄像头组成，如图2所示，工控机借助交换机与ipc网络高清摄像头相连接。该系统预先使用人脸注册软件通过学生照片采集人脸信息并将学生人脸特征、学生姓名、学生学号存储至数据库，在校园招聘现场通过高清摄像头抓拍出入口的学生人脸，并将抓拍的人脸与数据库中人脸信息比对，得到最后的识别结果，最后将识别结果存入数据库中，可实时通过web页面查看招聘会学生的出入情况，并进行统计和分析。具体流程如下：

步骤1：对高清摄像头rtsp视频流解码得到每一帧图片，并将格式转为通用的mat格式；

步骤2：将步骤1得到的mat格式图片数据，通过人脸检测算法检测出图片中的所有人脸以及人脸部分特征点；

步骤3：将检测出的所有人脸进行人脸对齐操作；

步骤4：将所有对齐后的人脸，逐一用人脸识别模型提取人脸特征，并与数据库中已注册人脸逐一比对计算相似度，通过计算人脸特征间的余弦距离得到相似度，此处取最高相似度max_similarity；设定人脸相似度阈值threshold，如果max_similarity>＝threshold，则识别通过，并将具体人脸信息发到前端html页面以及存入记录数据库中，否则处理下一张人脸；

步骤5：将识别通过与未通过的人脸分别用绿色和红色框在图片上标注，并将标注后的图片转成视频流；

步骤6：设计web界面，播放步骤5所得的视频流以及接收步骤4识别通过的人脸信息，并在html页面渲染。

本实施例在ubuntu18.04系统下使用caffe深度学习框架进行实验，实验使用的gpu型号为geforcegtx1080ti，cpu型号为intelcorei7-6700。从实际应用效果来看，本发明在校园招聘场景有着很好的应用效果，代替了常规签到方法，达到便捷、准确、高效的使用效果。