一种基于人脸识别的机场安检三重验证方法与流程

本发明属于民航机场安检技术领域，涉及一种基于人脸识别的机场安检三重验证方法。

背景技术：

近些年来，全球范围内的恐怖主义活动和暴力犯罪事件频发，其危害性、突发性和隐蔽性也越来越大，全球航空安全面临着空前严重的威胁，民航安全检查工作也面临着巨大的压力和挑战。于此同时，国内一些民航不安全事件的频繁出现也进一步反映出机场安全检查工作的确存在着薄弱环节，这也更加体现出安全检查在航空安全工作中的核心地位。

在安检验证处，进行人员登机身份复核和随身行李检查这一重要业务时，一般是通过工作人员人工判断，对登机人员机票信息、目标人脸、所持身份证件(二代身份证、护照等)、身份证读卡器读出的人员信息及二代证图片进行复核，几者完全一致后放行，否则进入异常处理流程。

从工作流程上看，传统的纯人工方式存在以下几点问题：

1、日益增长的客流量对安检人员的工作效率和业务专注度产生极大挑战。单纯依靠专业技能培训和强化责任心来提高工作效率，降低错判，已经遇到瓶颈。

2、由于旅客的身份证登记照拍摄时间久远，与当前的容貌差别较大，这使得人工判别难度巨大，即使经过专业培训，依然无法保证完全不出错。此外主观判别的公信度不高，一旦发生旅客纠纷，无法作为客观证据支持。

3、在整个安检流程中，只有安检柜台处需要查验旅客的身份证件，其他安检环节均不会复查证件。一但旅客调换登机牌登机将无法被发现，二则冒用身份证被错误放行后也将无法纠正，从而发生各种安全事故。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于人脸识别的机场安检三重验证方法，有效提高机场安检的安全性，节约机场安检人力，缩短旅客的安检时间与登机时间，规避机场安检过程中的漏检以及旅客弄错航班和登机口问题。

为达到上述目的，本发明提供如下技术方案：

一种基于人脸识别的机场安检三重验证方法，包含人证票比对系统，人脸复核系统和人脸识别登机系统；

所述人证票比对系统的工作流程如下：

s11：采集旅客的现场人脸图像、证件信息以及登机牌信息；

s12：将采集的人脸图像通过人脸检测，将采集的证件信息和人脸检测之后的人脸图像进行特征提取；

s13：将步骤s13提取的采集的人脸图像的人脸特征与采集的证件照的人脸特征进行人脸特征比对；

s14：将采集的证件信息以及登机牌信息进行比对；

s15：综合步骤s13和步骤s14的比对结果输出最终判定结果；

s16：若判定结果为通过，将旅客的现场人脸图像、证件信息以及登机牌信息保存至安检信息系统。

进一步，所述人脸复核系统的工作流程如下：

s21：获取安检信息系统中的旅客的现场人脸图像，建立人脸识别特征库；

s22：对旅客的人脸图像再次进行抓拍，将抓拍到的人脸图像进行特征提取，并与s21中的人脸特征库中的该旅客的人脸信息进行比对；

s23：若人脸识别特征库中的人脸信息与抓拍到的人脸图像判定为一致，判定该旅客已通过第一重安检，若判定为不一致，则提示该旅客未经过第一重安检，并发出报警，将旅客的通关信息保存至安检信息系统。

进一步，所述人脸识别登机系统的工作流程如下：

s31：获取安检信息系统中当前登机口以及当前登机航班的所有旅客信息与已通过安检的所有旅客信息，更新人脸识别特征库；

s32：对登机旅客的正面人脸图像进行采集；

s33：对采集的旅客的正面人脸图像进行人脸检测与特征提取；

s34：根据提取到的人脸特征与s31中更新后的人脸识别特征库中对应旅客的人脸信息进行人脸信息对比；

s35：判断旅客是否为本航班旅客，若判定结果为是，则旅客通过验证，若判定结果为否则进行步骤s36；

s36：再次对旅客进行人脸识别判定是否通过安检，若判定结果为未通过安检则发出提示，若判定结果为已通过安检，则提示旅客航班错误。

进一步，所述人脸检测具体包含如下步骤：

s41：利用卷积神经网络获取图像中包含人脸的不同尺度的候选区域；

s42：通过预测子网络对候选区域进行进一步判断，丢弃非人脸区域并对人脸区域的坐标进行预测；

s43：基于深度回归网络，根据初始的人脸框位置，回归得到关键点的初始位置；

s44：基于深度初始化网络，对人脸图片进行裁剪、尺度缩放、形变的空间变换，使其达到后端回归网络要求的初始化状态；

s45：根据初始化状态和关键点的初始位置完成关键点位置的检测。

本发明的有益效果在于：本发明结合机场安检业务需求，依靠人脸识别技术，可有效提高机场安检的安全性，节约机场安检人力，缩短旅客的安检时间与登机时间，规避机场安检过程中的漏检以及旅客弄错航班和登机口问题。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明流程图；

图2为本发明人证票比对系统流程图；

图3为本发明人脸复核系统流程图；

图4为本发明人脸识别登机系统流程图；

图5为本发明实施例的人脸检测模型；

图6为本发明实施例的人脸关键点检测模型。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提供一种基于人脸识别的机场安检三重验证方法，如图1所示，主要包含三个部分，第一部分为安检入口处人证票比对系统，主要由人脸采集设备、管理主机、传输网络、后台服务器、证件读取设备，登机牌条形码/二维码扫描设备组成，目的是验证旅客是否本人持有效证件及本人登机牌登机；第二部分为人身、随身物品检查处动态人脸复核，主要由人脸采集设备、管理主机、传输网络、后台服务器组成，目的是与第一部分中人证票比对系统通道中采集到的旅客图像进行人脸比对，验证旅客是否通过第一重安检验证；第三部分为登机口处人脸识别验证，主要由人脸采集设备、管理主机、传输网络、后台服务器组成，目的是验证旅客是否通过第一重、第二重安检验证及登机口与航班是否正确。

图2为本发明人证票比对系统流程图，如图2所示，包含如下步骤：

s11：采集旅客的现场人脸图像、证件信息以及登机牌信息；

s12：将采集的人脸图像通过人脸检测，将采集的证件信息和人脸检测之后的人脸图像进行特征提取；

s13：将步骤s13提取的采集的人脸图像的人脸特征与采集的证件照的人脸特征进行人脸特征比对；

s14：将采集的证件信息以及登机牌信息进行比对；

s15：综合步骤s13和步骤s14的比对结果输出最终判定结果；

s16：若判定结果为通过，将旅客的现场人脸图像、证件信息以及登机牌信息保存至安检系统。

人证票比对系统旨在利用人证比对技术，精准、快速地辅助安检柜台工作人员核查旅客身份与登机牌。人证票比对系统采用精准、高效的脸识别算法，实时地将现场抓拍的持证人员脸部图像与二代身份证登记照进行比对，给出相似度评分，再根据预设阀值判断是否为本人，再利用登机牌扫描器读取登机牌信息与持证人员身份信息进行对比，综合判断是否本人持有效身份证与登机牌安检，安检员以判定结果为依据决定是否放行。

图3为本发明人脸复核系统流程图，如图3所示，人脸复核系统的工作流程如下：

s21：获取安检系统中的旅客的现场人脸图像，建立人脸识别特征库；

s22：对旅客的人脸图像再次进行抓拍，将抓拍到的人脸图像进行特征提取，并与s21中的人脸特征库中的该旅客的人脸信息进行比对；

s23：若人脸识别特征库中的人脸信息与抓拍到的人脸图像判定为一致，判定该旅客已通过第一重安检，若判定为不一致，则提示该旅客未经过第一重安检，并发出报警。

人脸复核系统旨在利用人脸识别技术，精准、快速地辅助安检通道中的安检人员复核旅客安检状态。安检动态人脸复核系统是在安检人证比对辅助验证系统的基础上开发而来。安检动态人脸复核系统采用网络http调用的方式从安检人证比对辅助验证系统获取已通过验证旅客的身份证信息，并把它动态加入人脸复核图像池。同时，采用精准、高效的人脸识别算法，实时地现场抓拍进入安检通道内旅客脸部图像与人脸复核池进行比对，给出相识度评分，再根据预设阈值判断该旅客是否在人脸复核池中，即该旅客是否已安检。安检员以判定结果为依据决定是否该旅客是否需要重新安检。

图4为本发明人脸识别登机系统流程图，如图4所示，人脸识别登机系统的工作流程如下：

s31：获取该登机口当前登机航班的所有旅客信息与已通过安检的所有旅客信息，通过旅客通过人脸复核系统时所抓拍的旅客的人脸图像更新人脸识别特征库；

s32：对登机旅客的人脸图像进行采集；

s33：对采集的旅客的人脸图像进行人脸检测与特征提取；

s34：根据提取到的人脸特征与s31中更新后的人脸识别特征库中对应旅客的人脸信息进行人脸信息对比；

s35：判断旅客是否为本航班旅客，若判定结果为是，则旅客通过验证，若判定结果为否则进行步骤s36；

s36：再次对旅客进行人脸识别判定是否通过安检，若判定结果为未通过安检则发出提示，若判定结果为已通过安检，则提示旅客航班错误。

人脸识别登机系统，将对即将登机旅客进行人脸识别，找出错误航班以及未安检的旅客，并上报机场安检系统。

人脸识别登机系统应用于机场登机口，当乘坐某个航班通过该登机口开始登机之前，提前将该航班旅客、机场工作人员、当天已安检旅客的照片信息(此类信息从机场安检系统自动推送过来)加载到人脸识别库中；当该航班旅客开始登机时，该系统开始对登机口的旅客进行人脸识别，依据该航班旅客人脸识别库，判断该旅客是否是该航班的旅客，如果是，则正常显示该旅客，如果不是，则根据人脸识别库，判断该旅客是登错飞机还是未安检旅客，如果该旅客在当天已安检旅客的人脸识别库中，则是错误航班旅客，否则是未安检旅客。并把错误航班和未安检旅客上报至机场安检系统。

图5为本发明实施例的人脸检测模型如图所示，

人脸检测模型利用不同层次、不同分辨率的卷积层获取图像中可能包含人脸的不同尺度的候选区域，然后通过精细预测子网络对候选区域作进一步的判断，丢弃非人脸并对人脸区域的坐标进行更精确的预测，网络结构见下图。在子网络中，现有的目标检测技术通常利用区域池化提取区域的整体特征，本技术在此基础上还引入了显著子区域。首先由区域的整体特征自动获取显著的子区域，如眼睛、鼻子、嘴等部位，再提取这些子区域中的特征，与整体特征一起对候选区域进行预测。显著子区域的特征可以大大提高人脸和非人脸分类的准确性，优化检测效果，同时由于子区域特征和整体特征的提取共用一个卷积网络，该方法几乎不会引入额外的时间开销。

图6为本发明实施例的人脸关键点检测模型，如图所示：

人脸关键点检测是在人脸检测的基础上，自动确定人脸各关键点的位置，如眼角、瞳孔、鼻尖、嘴角等。目前大多数算法将研究重点放在关键点区域特征提取、回归函数的选取和改进的过程上，忽视了初始状态对关键点检测的影响。本发明采用了一种基于深度初始化网络的人脸关键点检测算法，能够有效克服初始位置、人脸姿态、表情等因素对关键点检测精度的影响，从而得到人脸各关键点的准确位置。在权威的关键点检测测试集上，本发明的算法的检测平均误差比其它同类算法减少约5％～20％，通过引入小型的卷积神经网络，算法运行时间最快可以达到300帧/秒。

算法将深度初始化网络与深度回归网络相结合，完成由粗略到细致的初始化工作，从而增强人脸关键点检测对于不同类型人脸检测框的稳定性，同时能够得到更为准确的关键点结果。算法流程如图1所示：

1)基于深度回归网络，根据初始的人脸框位置，回归得到关键点的初始位置。

2)受到空间变换网络的启发，算法采用深度初始化网络，通过学习一个空间变换参数，对人脸图片进行适当的裁剪、尺度缩放以及适当的形变等空间变换，使其达到后端回归网络要求的最好初始化状态。

3)根据第一步的关键点位置和第二步调整后的初始化状态，通过另一个回归网络，完成关键点位置的进一步精细检测。

完成关键点检测之后，通过人脸纹理正规化处理，通过初始数据库的搭建、纹理正规化网络的构建以及网络的融合训练，实现一个端到端的、由数据驱动的纹理正规化网络和特征识别网络。

接着进行人脸特征提取，基于深层卷积神经网络，通过融合人脸多尺度特征信息，获取高层语义特征表达，提升人脸特征的区分性。模型训练过程采用人脸图像三元组作为输入，充分利用分类损失函数(softmaxloss)和排序损失函数(tripletloss)的互补性，促使同一个人的人脸特征表达具有更高的相似性，不同人脸的特征表达相似度更低。

最后进行人脸特征对比，应用基于深度卷积神经网络的场景自适应学习方法，将不同场景的人脸图像映射到同一个具有更好表达能力的特征空间进行比较，保证同一个人的人脸特征表达具有更高的相似性分数，不同人脸的特征相似性分数更低。

最后说明的是，以上优选实施例仅用以说明发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。