结合人脸识别的智能闸机通行和考勤的方法及其系统

本发明涉及机器视觉和图像处理技术，具体涉及一种结合人脸识别的智能闸机通行和考勤的方法及其系统。

背景技术：

信息技术的快速发展改变了人们的生活方式，提高了人们对智能化的认知水平，为了提高管理规范的标准化、智能化，越来越多的企业都在逐步引进智能化的管理方法。其中，日常考勤和安全管理是在内部智能化管理的第一步。在日常考勤方面，出现了很多种不同的考勤方式，如早期出现了签字考勤，后面的刷卡签到，再到后来的手机打卡考勤，这些考勤方式由于管理的不规范，出现了很多冒名顶替的考勤现象，并且不利于后面的考勤记录查询；在安全管理方面，一方面安排安保人员在出入口，防止陌生人员随意进出，这种管理方式明显缺乏智能化，另一方面，由于可以刷卡进入，陌生人员可以冒用他人的员工卡随意进入大楼，这种方式缺乏实名制管理，给楼宇内部的安全带来风险。

近些年，生物特征识别技术的快速迭代给考勤打卡方式带来了更多的可能性，如指纹识别、掌静脉识别、人脸识别等；指纹识别的优点是便捷易操作、识别速度快，但是对手指的湿度和清洁度要求较高，且部分人群手指纹路不明显、难以成像，同时手指需要和设备接触，卫生问题较为明显；掌静脉识别具有高度防伪、简便易用等特点，但由于其特殊的采集方式和高昂的制造成本，使用范围较小；人脸识别是一种非强制性、无接触式、高准确率的生物识别技术，并且由于深度学习的快速发展，人脸识别技术的计算成本大大降低，通过无接触式的方法，可以提供更加安全卫生的考勤环境。在现有的闸机通行技术上，加上人脸识别端机，采集进出楼宇的人脸信息，完成对员工的考勤打卡，同时由于人脸识别的实名属性，可以有效阻止陌生人通过身份伪造进入大楼，提高大楼的安全管理水平。

技术实现要素：

本发明的目的在于提供一种结合人脸识别的智能闸机通行和考勤的方法及其系统。

实现本发明目的的技术解决方案为：一种结合人脸识别的智能闸机通行和考勤的方法，具体包括如下步骤：

步骤1：将待注册员工的人脸信息、员工卡号、员工姓名注册到人脸数据库；

步骤2：利用mipi摄像头采集可见光视频流和红外视频流，进行视频解码分别得到对应的每一帧图像，包括可见光图像和红外图像；

步骤3：对可见光图像进行尺寸缩小，然后送入nnie深度网络推理框架，利用yolov3网络检测人脸，得到缩放尺寸下的人脸坐标、大小这些位置信息；

步骤4：对红外图像进行尺寸缩小，利用步骤3中的人脸坐标信息，对红外图片进行裁剪，然后将裁剪后的红外图像送入mtcnn网络中，进行活体检测；

步骤5：若步骤4活体检测不成功，则重新采集，否则利用步骤3中的人脸坐标信息，对可见光图像进行裁剪，同时还原至原尺寸，然后将还原的人脸图像送入mtcnn网络中，得到人脸的五个关键点坐标；

步骤6：对检测出的所有人脸的大小进行判断，依据步骤5的人脸关键点坐标，将人脸面积大于一定阈值的人脸进行人脸对齐，接着送入nnie深度网络推理框架，利用sphereface网络，得到人脸特征值；

步骤7：利用步骤6得到的人脸特征和步骤1数据库中已注册的人脸信息逐一对比，通过余弦距离算法计算相似度，并将最大的相似度和设定的阈值进行比较，判定是否识别通过；人脸识别成功后，人脸识别端机会显示被识别员工的工号和姓名进行考勤反馈，同时用绿框在终端界面将人脸进行标注，用于表明考勤成功，同时，人脸识别端机会向闸机发送报文，闸机接成功接收后，打开闸门放行；未识别通过的则用红框进行标注，表示考勤失败；

步骤8：将注册过的人脸特征和实际场景下识别成功的员工的人脸特征进行融合，定期完成对于注册过的人脸信息的自学习更新，保证人脸信息的同步性。

进一步的，所述步骤3中采用的是轻量化yolov3网络，具体为：

1)将yolov3网络backbone替换成mobilenet，同时引入可分离卷积替换普通卷积；

2)将yolov3输出层的多尺度特征图进行剪枝操作，只保留一个中等尺度的输出；

3)轻量化的yolov3网络是在linux服务器上，基于caffe框架训练的，在使用前，先将训练好的caffe模型转换成该系统开发板支持的文件格式。

进一步的，所述步骤4和步骤5中采用的是轻量化mtcnn，将基于caffe版本的mtcnn网络首先改成opencv下的dnn版本，然后只取其中的onet网络用于人脸关键点的检测，检测结果包含五个部分，分别是左右眼角、鼻尖、左右嘴角的具体位置。

进一步的，所述步骤7中采用的是优化后的余弦距离算法，使用了neon指令加速，在特征对比过程中直接操作寄存器。

进一步的，所述步骤7中基于tcp/ip协议，进行人脸识别端机和闸机的通信，通信中人脸识别端机为“主”，闸机工控机为“从”的方式，人脸识别端机定期向闸机工控机发送状态报文，工控机执行响应后，返回闸机状态报文。

进一步的，所述步骤8中自学习更新算法，将注册的人脸特征和实际场景下的人脸特征按照一定的比例进行融合，对原始数据库中已注册人的人脸信息定期进行同步更新操作，原始人脸注册特征x，实际场景人脸特征y，按照如下表达式进行融合：

z＝αx+βy

得到融合的特征z，然后替换掉人脸数据库中的人脸特征x，完成更新。

一种结合人脸识别的智能闸机通行和考勤系统，基于任一项所述的方法，完成结合人脸识别的智能闸机通行和考勤，包括人脸注册模块、视频图像预处理模块、人脸检测模块、人脸识别模块、数据通信模块、终端界面信息提示模块、基于特征融合的自学习更新模块，其中：

所述人脸注册模块基于pc端人脸注册软件实现，用于对待注册员工的人脸图片先进行人脸检测，接着进行人脸对齐，然后对检测到的人脸进行特征提取，最后基于http协议发送到人脸识别端机，将员工姓名、员工工号以及人脸特征存入人脸数据库；

所述视频图像预处理模块基于媒体处理软件平台，用于将人脸识别端机上mipi摄像头采集的视频流进行解码操作，生成一帧一帧的图像；

所述人脸检测模块包含两个部分：1)基于红外摄像头的活体检测；2)基于可见光图像的人脸检测，利用yolov3网络检测每帧图像中人脸的位置、大小信息，利用mtcnn网络检测人脸面部的关键点；

所述人脸识别模块包含两个部分：1)利用人脸检测模块得到的人脸关键点，进行人脸面部的对齐操作，2)利用sphereface网络对对齐后的人脸进行特征提取，然后和人脸数据库的人脸特征进行对比计算，完成人脸识别；

所述数据通信模块基于tcp/ip协议，用于人脸识别端机和闸机进行通信，当人脸识别通过后打开闸门放行；

所述终端界面信息提示模块基于qt图形用户界面应用程序开发框架，用于提示识别人员考勤成功并同时告知姓名和工号进行考勤交互；

所述基于特征融合的自学习更新模块，用于利用实际场景中识别通过的人脸特征，去更新人脸数据库中已注册人的人脸特征。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任一项所述的方法，完成结合人脸识别的智能闸机通行和考勤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的方法，完成结合人脸识别的智能闸机通行和考勤。

与现有技术相比，本发明所产生的有益效果：1)通过在闸机上增加一个人脸识别端机，端机上的mipi摄像头可以采集可见光视频流以及红外视频流。2)对于嵌入式开发板有限的计算资源，采用了轻量化的yolov3算法进行人脸检测，同时基于轻量化版的mtcnn网络中的onet模块进行活体检测和人脸关键点定位3)基于自学习更新机制，定期完成人脸数据库的人脸特征更新，可以提高识别阈值，减少误识别的概率。

附图说明

图1为本发明系统的组成图。

图2为本发明方法的流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1-2所示，结合人脸识别的智能闸机通行和考勤系统，包括：人脸注册模块、视频图像预处理模块、人脸检测模块、人脸识别模块、数据通信模块、终端界面信息提示模块、基于特征融合的自学习更新模块。其中人脸注册模块用于将员工工号、姓名和人脸信息存储到人脸数据库中；视频图像预处理模块对mipi摄像头采集的视频流进行解码操作，生成一帧一帧的图像。人脸检测模块对解码的图像进行人脸检测以及人脸关键定位，同时完成活体检测。人脸识别模块对检测到的人脸提取特征，然后和人脸数据库的所有人脸特征进行识别匹配。数据通信模块完成人脸识别端机和闸机之间的通信，用于闸门的打开和关闭。终端界面信息提示模块用于提示被识别人的工号及姓名信息。基于特征融合的自学习更新模块，用于完成人脸数据库的更新操作，保证人脸信息的同步性。所述考勤方法主要包含以下步骤：

步骤1：将待注册员工的人脸信息、员工卡号、员工姓名通过人脸注册模块注册到人脸数据库；

步骤2：利用mipi摄像头采集可见光视频流和红外视频流，通过视频解码模块分别得到对应的每一帧图像，包括可见光图像和红外图像，可见光输入图像分辨率为640*480，红外输入图像分辨率1920*1080，图像格式均为yuv420。

步骤3：将步骤2中可见光图像缩放成416*416，然后送入nnie深度网络推理框架，利用轻量化的yolov3网络检测人脸，得到缩放尺寸下的人脸坐标、大小等位置信息。

进一步的，所述轻量化的yolov3网络基于下面几个方面的改进；1)将yolov3网络backbone替换成mobilenet，同时引入可分离卷积替换普通卷积，大大减少了网络隐藏层的参数数量，简化了计算量。2)将yolov3输出层的多尺度特征图进行剪枝操作，只保留一个中等尺度的输出，保证了对于人脸的检测效果。3)所述轻量化的yolov3网络是在linux服务器上，基于caffe框架训练的，为了在本发明系统中应用，需将训练好的caffe模型转换成开发板支持的文件格式。如开发板采用海思35系列芯片，需利用海思ruyistudionnie_mapper插件将训练好的caffe模型转换成海思nnie深度学习框架支持的wk文件。

步骤4：将yuv420格式图像转为mat格式图片，利用步骤3中的人脸坐标信息对红外图像进行尺寸换算后，对红外图片进行裁剪，然后将裁剪后得到的红外图像送入轻量化版的mtcnn网络中，进行活体检测。

进一步的，采用的轻量化mtcnn，将基于caffe版本的mtcnn网络首先改成opencv下的dnn版本，然后只取其中的onet网络用于人脸关键点的检测，检测结果包含五个部分，分别是左右眼角、鼻尖、左右嘴角的具体位置。

步骤5：若步骤4活体检测成功后，对可见光下的图像(416*416)根据步骤3中的人脸坐标给进行裁剪，同时进行原尺寸(640*480)的放缩，然后将人脸图像送入轻量化版的mtcnn网络中，得到人脸的五个关键点坐标。

进一步的，步骤5中和步骤4一样，将基于caffe版本的mtcnn网络首先改成opencv下的dnn版本，然后只取其中的onet网络用于人脸关键点的检测，检测结果包含五个部分，分别是左右眼角、鼻尖、左右嘴角的具体位置。

步骤6：将检测出的所有人脸的大小进行判断，然后依据步骤5的人脸关键点坐标，将人脸面积大于一定阈值的人脸进行人脸对齐，接着送入nnie深度网络推理框架，利用sphereface网络，得到人脸特征值。

步骤7：利用步骤6得到的人脸特征和步骤1数据库中已注册的人脸信息逐一对比，并通过优化后的余弦距离算法计算相似度，获取到最大的相似度omcos_similarity，通过和设定的阈值face_threshold进行比较，如果满足omcos_similarity>＝face_threshold，则可认定识别通过。

进一步的，优化后的余弦距离算法，使用了neon指令加速，在特征对比过程中直接操作寄存器的方式大大优化了计算效率。

步骤8：人脸识别成功后，人脸识别端机会显示被识别员工的工号和姓名进行考勤反馈，同时用绿框在终端界面将人脸进行标注，用于表明考勤成功，未识别通过的则用红框进行标注，表示考勤失败。

步骤9：若步骤7人脸识别通过，根据数据通信模块，人脸识别端机就会向闸机发送报文，闸机接成功接收后，打开闸门放行。

进一步的，数据通信模块，基于tcp/ip协议，进行人脸识别端机和闸机的通信，人脸识别端机为“主”，闸机工控机为“从”的方式，人脸识别端机定期向闸机工控机发送状态报文，工控机执行响应后，返回闸机状态报文。

步骤10：将注册过的人脸特征和实际场景下识别成功的员工的人脸特征进行融合，定期完成对于注册过的人脸信息的自学习更新，保证人脸信息的同步性。

进一步的，自学习更新算法，将注册的人脸特征和实际场景下的人脸特征按照一定的比例进行融合，对原始数据库中已注册人的人脸信息定期进行同步更新操作，原始人脸注册特征x，实际场景人脸特征y，维度均为512维，按照如下表达式进行融合：

x＝{x1,x2,…,x512},y＝{y1,y2,…,y512}

z＝αx+βy

得到融合的特征z，然后替换掉人脸数据库中的人脸特征x，完成更新。这里α取0.8，β取0.2。

本发明通过在闸机上方安装人脸识别端机，预先将员工的工号、姓名、人脸信息注册到数据库，每次在员工进出大楼时，人脸识别端机都进行人脸采集，并将采集到的人脸信息和数据库的人脸信息进行比对，得到最终的识别结果，完成考勤打卡；基于自学习机制，可以降低受光照、姿态、表情等因素对于识别精度的影响；同时由于人脸识别的实名属性，后台管理系统可以有效地对进出人员进行身份认证，有效的防止了陌生人通过身份伪造随意进出，提高安全管理水平。

实施例

为了验证本发明方案的有效性，进行如下仿真实验。

本实施例系统硬件架构由基于海思hi3559cv100芯片的开发板和mipi摄像头构成。通过在闸机上方安装人脸识别端机，预先将员工的工号、姓名、人脸信息注册到数据库，每次在员工进出时，人脸识别端机都进行人脸采集，并将采集到的人脸信息和数据库的人脸信息进行比对，得到最终的识别结果，完成考勤打卡，同时后台管理系统可以有效地对进出入人员进行身份认证，并进行统计和分析，提高安全管理水平。具体流程如下：

步骤1：将待注册员工的人脸信息、员工卡号、员工姓名通过人脸注册模块注册到人脸数据库；

步骤2：利用mipi摄像头采集的可见光视频流和红外视频流，通过视频解码模块分别得到对应的每一帧图像，包括可见光图像和红外图像，可见光输入图像分辨率为640*480，红外输入图像分辨率1920*1080，图像格式均为yuv420。

步骤3：将步骤2中可见光图像缩放成416*416，然后送入nnie深度网络推理框架，利用轻量化的yolov3网络检测人脸，得到缩放尺寸下的人脸坐标、大小等位置信息。

步骤4：调用海思内部ive接口函数，将yuv420格式图像转为mat格式图片，利用步骤3中的人脸坐标信息对红外图像进行尺寸换算后，对红外图片进行裁剪，然后将裁剪后得到的红外图像送入轻量化版的mtcnn网络中，进行活体检测。

步骤5：若步骤4活体检测成功后，对可见光下的图像(416*416)根据步骤3中的人脸坐标给进行裁剪，同时进行原尺寸(640*480)的放缩，然后将人脸图像送入轻量化版的mtcnn网络中，得到人脸的五个关键点坐标。

步骤6：将检测出的所有人脸的大小进行判断，然后依据步骤5的人脸关键点坐标，将人脸面积大于一定阈值的人脸进行人脸对齐，接着送入nnie深度网络推理框架，利用sphereface网络，得到人脸特征值。

步骤7：利用步骤6得到的人脸特征和步骤1数据库中已注册的人脸信息逐一对比，并通过优化后的余弦距离算法计算相似度，获取到最大的相似度omcos_similarity，通过和设定的阈值face_threshold进行比较，如果满足omcos_similarity>＝face_threshold，则可认定识别通过。

步骤8：人脸识别成功后，人脸识别端机会显示被识别员工的工号和姓名进行考勤反馈，同时用绿框在终端界面将人脸进行标注，用于表明考勤成功，未识别通过的则用红框进行标注，表示考勤失败。

步骤9：若步骤7人脸识别通过，根据数据通信模块，人脸识别端机就会向闸机发送报文，闸机接成功接收后，打开闸门放行。

步骤10：将注册过的人脸特征和实际场景下识别成功的员工的人脸特征进行融合，定期完成对于注册过的人脸信息的自学习更新，保证人脸信息的同步性。

本实验使用的人脸库包含2万个人脸数据，比对时间80～110ms。采用了自学习更新机制的人脸识别算法可以大大提高对比相似度，从一般的0.7的相似度可以提升至0.8以上。从实际效果来看，本发明可以在闸机考勤和通行场景下有者很好的应用效果，代替了常规考勤方式达到了绿色、准确、高效的使用效果。