一种基于深度学习的人证核验系统及方法
【技术领域】
[0001]本发明涉及一种人证核验系统及方法，尤其是一种基于深度学习的人证核验系统及方法，属于安防领域。
【背景技术】
[0002]在火车站、汽车站、公安检查站、大型会展等场所，由于安全保卫或其它业务需要，往往需要现场对通行人员的证件进行核查。目前，此类核查工作还主要通过工作人员人工完成，无法杜绝犯罪分子利用他人身份证件蒙混过关的行为，存在安全隐患。
[0003]在这种形势下，出现了基于人脸识别技术的核查方法，如申请号为201310099064.7的专利文件公开了一种基于人脸识别第二代居民身份证的认证系统和认证方法，包括用于读出身份证内的信息的第二代身份证读卡器，用于采集真实人脸图像的摄像设备，身份资料信息库，人脸识别器，根据第二代身份证读卡器读出的身份证内的信息导出身份资料信息库中存储提供的相应信息，并与第二代身份证读卡器读出的身份证内的信息进行比对。通过比较持有人身份证的信息和资料信息库是否相符合来辨别身份证的真伪，如果资料相符合，则再通过现场采集真实的人脸照片与资料信息中照片用人脸识别技术自动比对，可以自动识别身份证的真伪。这类方法和系统存在以下缺点:它通常只对采集的一张照片与证件照进行比对，不能有效利用人员通行时采集的多张不同角度的人脸照片信息，有时还需要人员停下来配合拍照，降低了通行速度；并且这种系统对环境光照、人脸角度等因素适应能力低，在实际应用中准确率不高；此外，这种方法不能针对证件照数据库进行专门优化，在使用过程中将现场监控照片与证件照比对相似度较低；现有的人脸识别系统往往依赖对人脸轮廓特征点进行精确定位，而在实际应用中面部遮挡、光照变化等原因会导致特征点定位不准，或生成的面部网络不精确，导致后续识别准确率下降。
【发明内容】
[0004]本发明的目的是针对现有技术中的不足，提供一种能有效将证件照片与现场视频监控设备采集的多张人脸照片进行比对，具有高准确率和强适应性的基于深度学习的人证核验系统及方法。
[0005]本发明解决问题的技术方案是:提供一种基于深度学习的人证核验系统，包括训练子系统和人证核验子系统，所述训练子系统和人证核验子系统均包括:
[0006]第一多层卷积模块，用于对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；
[0007]第二多层卷积模块，用于对证件照片进行特征分析，输出证件人脸特征；
[0008]联合贝叶斯分解模块，用于对第一多层卷积模块输出的现场人脸特征与第二多层卷积模块输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；
[0009]非线性激励模块，用于将联合贝叶斯分解模块输出的属于同一身份的多个证件人脸相关特征融合成单一特征。
[0010]所述训练子系统还包括:
[0011]身份辨认模块，用于对非线性激励模块输出的融合后的单一特征和人员身份信息进行比较，输出身份辨认误差；
[0012]身份验证模块，用于将非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；
[0013]误差加权模块，用于对身份辨认模块输出的身份辨认误差、身份验证模块输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数。
[0014]所述人证核验子系统还包括:
[0015]人脸跟踪模块，用于对现场图像序列进行检测和跟踪，输出通行人员的多张不同姿态的现场人脸图像；
[0016]证件阅读模块，用于自动读取通行人员的证件信息，从证件信息中直接提取证件照片，或从证件照片库中调出对应的证件照片；
[0017]人证一致性判定模块，用于对非线性激励模块输出的融合后的单一特征、第二多层卷积模块输出的证件人脸特征进行比较和判断，输出人证一致性判定结果。
[0018]进一步地，所述训练子系统中，所述第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、身份辨认模块、误差加权模块依次连接，所述第二多层卷积模块、身份验证模块、误差加权模块依次连接，所述第二多层卷积模块还与联合贝叶斯分解模块相连，所述非线性激励模块还与身份验证模块相连。
[0019]进一步地，所述人证核验子系统中，所述人脸跟踪模块、第一多层卷积模块、联合贝叶斯分解模块、非线性激励模块、人证一致性判定模块依次相连，所述证件阅读模块与第二多层卷积模块相连，所述第二多层卷积模块分别与联合贝叶斯分解模块、人证一致性判定模块相连。
[0020]进一步地，所述身份辨认模块根据输入的人脸特征确定对应的未知人身份。
[0021]进一步地，所述身份验证模块检测来自不同输入的人脸特征属于同一身份的验证误差。
[0022]进一步地，所述证件阅读模块包括二代身份证阅读器、RFID (Rad1 FrequencyIdentificat1n，射频识别)阅读器。
[0023]进一步地，所述证件照片为正面人脸照片，包括二代身份证照片、护照照片。
[0024]一种基于深度学习的人证核验方法，包括训练过程和人证核验过程，所述训练过程利用若干已知身份的现场人脸图像和证件照片对训练子系统进行训练，所述人证核验过程利用训练过程最终获得的模块参数，对通行人员的多张现场采集照片与证件阅读模块采集的信息对应的证件照片进行比对，自动输出人员和证件是否相符的验证结果。
[0025]进一步地，所述训练过程包括:
[0026]步骤1:使用第一多层卷积模块对不同姿态的现场人脸图像序列进行特征分析，输出多个不同姿态的现场人脸特征；
[0027]步骤2:使用第二多层卷积模块对证件照片进行特征分析，输出证件人脸特征；
[0028]步骤3:通过联合贝叶斯分解模块对步骤I输出的现场人脸特征与步骤2输出的证件人脸特征进行联合建模，将每个现场人脸特征分解成一个证件人脸相关特征和一个证件人脸不相关特征；
[0029]步骤4:通过非线性激励模块将步骤3输出的属于同一身份的多个证件人脸相关特征融合成单一特征；
[0030]步骤5:通过身份辨认模块，利用Softmax回归从步骤4输出的融合后的单一特征中获得身份分布概率，将所述身份分布概率和人员身份信息进行比较，判定人员身份正确的概率，输出身份辨认误差；
[0031]步骤6:通过身份验证模块将步骤4输出的融合后的单一特征、步骤2输出的证件人脸特征和人员身份信息进行比较，输出身份验证误差；
[0032]步骤7:通过误差加权模块对步骤5输出的身份辨认误差、步骤6输出的身份验证误差进行加权求和，得到加权误差，并将所述加权误差在训练子系统中反向传播，以调整训练子系统中各模块的参数。
[0033]进一步地，所述训练过程采用不同人的现场人脸图像序列和证件照片，不断重复步骤1- 7，直至骤7得到的加权误差小于设定的加权误差阈值。
[0034]进一步地，所述加权误差