一种具有人脸识别身份验证功能的双录系统的制作方法

1.本发明涉及银行金融产品销售及安全监控领域，尤其涉及一种具有人脸识别身份验证功能的双录系统及其控制方法。


背景技术：

2.目前，随着监管部门的规定要求，银行金融业的双录系统基本实现了全覆盖。但是，在实际的应用中仍然有很多安全隐患无法得到解决。现有的双录系统只是满足简单的视频录制、存储；只是简单地把视频编号与当前的业务编号进行关联，这样就无法应对在双录过程中有暂停、中断、重录等突发情况；常采用普通的录音录像设备；在做业务时采用刷身份证进行身份验证，刷银行卡进行系统登录。这种将身份验证、双录、系统登录相对独立的三个功能模块简单集成在一起的系统，无法全方位杜绝安全漏洞，因为普通的刷身份证验证，依旧无法确认是本人操作；双录系统只是简单的进行录制存储，没有对用户身份具有识别功能，刷银行卡进行系统登录会受刷卡机功能的影响，响应时间较慢。三个功能模块相互独立，安全漏洞难以相互弥补，同时也无法提升用户的体验。


技术实现要素：

3.本申请的目的是提供一种具有人脸识别身份验证功能的双录系统，为解决双录系统在实际应用中，仍存在无法确认登录操作的是本人的问题。
4.为实现上述目的，本发明采用以下技术方案：
5.本申请第一方面提供一种具有人脸识别身份验证功能的双录系统，包括：
6.人脸识别设备，所述人脸识别设备包括双摄像头设备和录音设备；
7.双摄像头模块，用于控制双摄像头设备获取用户的活体与人脸生物信息，所述活体与人脸生物信息包括人体人脸的红外图像与可见光图像；
8.双录系统设置模块，用于控制双摄像头模块和录音设备，并设置录音设备和双摄像头设备的配置参数；
9.人脸图像库模块，用于存储用户的红外图像与可见光图像；
10.活体识别与人脸识别软件模块，用于将从双摄像头模块中获取的活体与人脸生物信息和所述人脸图像库模块中的人脸图像信息进行检测与识别；
11.双录视频存储模块，用于录制、存储、上传、调阅用户在购买产品过程中的视频，其中，包括用户在活体识别与人脸识别软件模块中录制的视频；
12.双录业务模块，用于提供关联当前视频信息的银行用户及产品信息，所述当前视频信息存储在双录视频存储模块中；
13.第三方软件系统接口模块，用于在活体识别与人脸识别软件模块和第三方软件系统之间进行信号传送与数据交互。
14.优选地，所述双摄像头设备包括普通摄像头和红外线摄像头，所述双摄像头设备的控制端均连接至双摄像头模块。
15.优选地，所述普通摄像头用于采集可见光图像，所述红外线摄像头用于采集红外图像。
16.优选地，所述双录系统设置模块设置的配置参数包括录音设备的声噪阈值、视频图像的清晰度、预设录制视频的警戒时间段。
17.进一步地，所述活体识别与人脸识别软件模块包括：
18.使用opencv函数从双摄像头模块中实时读入视频帧，对视频帧进行图片化处理，去除模糊图片，获取静态清晰人脸的红外图像和可见光图像；
19.利用mtcnn网络对红外图像和可见光图像进行同比例同大小的归一化比对，判断红外图像与可见光图像的头像是否重叠，若重叠，则归一化比对成功；
20.将与红外图像归一化比对成功的可见光图像进行人脸特征计算，将计算出的人脸特征与计算机中的人脸图像库预设的活体阈值进行比对，判断人脸特征是否小于活体阈值，若小于，则比对结果为具有活体特征；
21.将比对结果为具有活体特征的可见光图像与人脸图像库中预存的用户照片或者用户的身份证照片通过facenet网络计算人脸特征后，使用knn算法进行人脸识别比对，若比对一致，则确认用户身份。
22.更进一步地，所述活体阈值按照男女性别分为不同的热力人脸图像。
23.更进一步地，所述活体识别与人脸识别软件模块中还包括人脸便捷热力图估计网络模型，所述模型将十三条边界线热力图作为校验指标来验证活体，通过数据量化建模，形成图像库阈值范围，在进行获取图像数据的同时反向矫正人脸检测和与图像的对齐。
24.进一步地，所述十三条边界线包括外轮廓、左眉、右眉、鼻梁、鼻边界、左上眼皮、左下眼皮、右上眼皮、右下眼皮、上嘴唇上边、上嘴唇下边、下嘴唇上边和下嘴唇下边。
25.本申请上下文内容中，所述十三条边界线可参考：wayne wu等人，look at boundary:a boundary-aware face alignment algorithm，eccv 2018，https://wywu.github.io/projects/lab/lab.html。
26.优选地，所述第三方软件系统接口模块采用webservice技术。
27.在一种优选实施例中，所述具有人脸识别身份验证功能的双录系统，还包括温度传感器，用于感测所述双录系统的周围环境温度。
28.更优选地，人脸图像库模块还存储t温度下用户的红外图像信息，所述具有人脸识别身份验证功能的双录系统，根据检测到的周围环境温度，所述对获取的用户红外图像进行校正至t温度下对应的用户红外图像。
29.更优选地，人脸图像库储存t1～t2温度范围内的用户的红外图像信息。t1和t2为所述温度范围的下限温度和上限温度。
30.在一种优选实施例中，所述具有人脸识别身份验证功能的双录系统，还包括湿度传感器，用于感测所述双录系统的周围环境湿度。
31.更优选地，人脸图像库模块存储s湿度下用户的红外图像信息，所述具有人脸识别身份验证功能的双录系统，根据检测到的周围环境湿度，所述对获取的用户红外图像进行校正至s湿度下对应的用户红外图像。
32.更优选地，人脸图像库储存s1～s2湿度范围内的用户的红外图像信息。s1和s2为所述湿度范围的下限湿度和上限湿度。
33.在一种优选实施例中，双录系统设置模块，还用于配置用户性别，所述具有人脸识别身份验证功能的双录系统根据设置的性别，校正红外摄像头获得的用户的红外图像。
34.本申请第二方面提供一种具有人脸识别身份验证功能的双录系统的控制方法，包括：
35.用户在登录第三方软件系统办理业务时，由工作人员启动双录系统，双录系统的双摄像头模块开始工作，在双摄像头的识别区范围内获取用户的活体与人脸生物信息，其中，红外摄像头和普通摄像头分别获取用户的红外图像和可见光图像，并实时传输给活体识别与人脸识别软件模块，在活体识别与人脸识别软件模块中进行人脸识别校验；
36.用户信息验证通过后，双录系统从银行提供的用户信息数据库中获取用户的银行卡信息；然后通过双录系统的第三方软件系统接口模块，将验证通过信息及用户银行卡信息传输至第三方软件系统；用户点击第三方软件系统界面，自主选择要使用的银行卡，之后点击确认即可登录第三方软件系统；
37.用户信息验证通过后，双录系统的双录视频存储模块开始进行视频的录音录像，工作人员操作双录业务模块选择当前用户信息及用户所交易的产品信息，以关联当前录制的视频信息；工作人员操作双录业务模块时可进行视频的存储、上传、调阅操作。
38.优选地，用户因办理其他业务而暂时离开双录系统双摄像头模块的识别区时，在双录系统设置模块预设的警戒时间段内，双摄像头模块仍然捕捉不到当前用户的活体与人脸生物信息，活体识别与人脸识别软件模块无法进行生物信息特征的验证判断，会发送安全警告信号，所述安全警告信号通过双录系统第三方软件系统接口模块传送至第三方软件系统，调用第三方软件系统的屏保功能，进行安全保护；当用户再次回到识别区范围时，双录系统的双摄像头模块再次捕捉到用户的活体与人脸生物信息后，将用户的活体与人脸生物信息信息传输至活体识别与人脸识别软件模块；活体识别与人脸识别软件模块识别该用户信息后，会发送安全警告解除信号，该解除信号通过双录系统的第三方软件系统接口模块传输至第三方软件系统，调用第三方系统的屏保解除功能，则屏保状态解除，恢复到之前操作界面。
39.优选地，经温度传感器获取的温度值信息t反馈至活体识别与人脸识别软件模块中，将用户的在t温度下的红外图像信息与人脸图像库模块中t温度下用户的红外图像信息进行比对校正确认用户的红外图像信息。
40.优选地，经湿度传感器获取的湿度值信息s反馈至活体识别与人脸识别软件模块中，将用户的在s湿度下的红外图像信息与人脸图像库模块中s湿度下用户的红外图像信息进行比对校正确认用户的红外图像信息。
41.优选地，活体识别与人脸识别软件模块的活体阈值按照男女性别分为不同的热力人脸图像，在经红外摄像头获得的用户的红外图像后，通过与活体阈值进行比对，从而确定与男女性别相对应的热力人脸图像，进行用户性别的识别。
42.与现有技术相比，本发明的技术方案具有以下有益效果：
43.提供了一种具有人脸识别身份验证功能的双录系统，除了利用双摄像头设备和双摄像头模块实现交易过程中的双录功能外，利用活体识别与人脸识别软件模块将人脸识别技术有效融入到双录系统中，从而优化了身份验证过程，提高了安全性，增强用户的使用体验。
附图说明
44.构成本申请的一部分附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
45.图1是本发明双录系统的结构关系框图。
46.图2是本发明双录系统的工作流程图。
47.图3是本发明双录系统的人脸识别安全屏保功能工作流程图。
48.图4是本发明双录系统的人脸识别的流程图。
具体实施方式
49.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
50.实施例一
51.参阅图1，具有人脸识别身份验证功能的双录系统，，包括人脸识别设备，所述人脸识别设备包括双摄像头设备和录音设备；双摄像头模块，用于控制双摄像头设备获取用户的活体与人脸生物信息，所述活体与人脸生物信息包括人体人脸的红外图像与可见光图像；双录系统设置模块，用于控制双摄像头模块和录音设备，并设置录音设备和双摄像头设备的配置参数；人脸图像库模块，用于存储用户的红外图像与可见光图像；活体识别与人脸识别软件模块，用于将从双摄像头模块中获取的活体与人脸生物信息和所述人脸图像库模块中的人脸图像信息进行检测与识别；双录视频存储模块，用于录制、存储、上传、调阅用户在购买产品过程中的视频，其中，包括用户在活体识别与人脸识别软件模块中录制的视频；双录业务模块，用于提供关联当前视频信息的银行用户及产品信息，所述当前视频信息存储在双录视频存储模块中；第三方软件系统接口模块，用于在活体识别与人脸识别软件模块和第三方软件系统之间进行信号传送与数据交互。
52.参阅图2，具有人脸识别身份验证功能的双录系统的具体工作流程如下：
53.用户在登录第三方软件系统(即银行办理业务的系统)办理业务时，由理财经理启动双录系统，双录系统的双摄像头模块开始工作，在双摄像头的识别区范围内获取用户头像信息。红外摄像头和普通摄像头分别获取用户头像信息，并实时传输给活体识别与人脸识别软件模块。活体识别与人脸识别软件模块通过以上活体识别与人脸识别软件模块主要采用的算法流程进行人脸识别校验。
54.用户信息验证通过后，双录系统从银行提供的用户信息数据中获取用户的银行卡信息；然后通过双录系统的第三方软件系统接口模块，将验证通过信息及用户卡信息传送至第三方软件系统；用户可以点击第三方软件系统界面，自主选择要使用的银行卡，之后点击确认即可登录第三方软件系统。这种方式告别了传统的银行卡读卡器等硬件设备刷银行卡登录的模式。
55.在用户信息验证通过后，双录系统的双录视频存储模块开始进行视频的录音录像，理财经理操作双录业务模块选择当前用户信息及用户所交易的产品信息，以关联当前录制的视频信息。该模块提供存储、上传、调阅功能供理财经理操作。
56.实施例二
57.参阅图3，双录系统的人脸识别安全屏保功能的工作流程如下：
58.用户因办理其他业务而暂时离开双录系统双摄像头模块的识别区时，在双录系统设置模块预设的警戒时间段内，双摄像头模块仍然捕捉不到当前用户的头像信息，活体识别与人脸识别软件模块无法进行用户头像信息特征的验证判断，会发送安全警告信号，该信号通过双录系统第三方软件系统接口模块传送至第三方软件系统，调用第三方软件系统的屏保功能，进行安全保护。用户回到识别区范围，双录系统双摄像头模块捕捉到用户头像信息后，将用户头像信息传输至活体识别与人脸识别软件模块。活体识别与人脸识别软件模块识别该用户信息后，会发送安全警告解除信号，该信号通过双录系统第三方软件系统接口模块传送至第三方软件系统，调用第三方系统的屏保解除功能，则屏保状态解除，恢复到之前操作界面。
59.实施例三
60.参阅图4，活体识别与人脸识别软件模块算法的流程如下：
61.使用opencv函数从双摄像头模块实时的读入视频帧。
62.使用mtcnn网络做人脸检测和对齐，即同比例大小的归一化比对。
63.使用facenet网络计算人脸特征。
64.使用knn算法进行具体的人脸识别。
65.其具体的实现步骤如下：
66.s1：用户首先通过双摄像头模块同时进行人脸的红外图像和可见光图像的采集。通过用opencv函数从红外和可见光照片中取出人头部分，并且进行同比例同大小的归一化比对，从而判断红外图像与可见光图像的头像部分是否可以几乎重叠？如果是，进行下一步验证。
67.s2：将红外图像进行人脸特征计算后，与在本机的人脸图像库中的活体阈值进行比对，符合阈值范围的比对结果即为具有活体特征。此活体验证可以进行单机版比对，无需网络。验证通过后，进行下一步验证。
68.s3：将可见光图像与人脸图像库中的用户照片或者用户的身份证照片做人脸识别比对，通过facenet网络计算人脸特征后，使用knn算法进行具体的人脸识别即可得出验证结果。此验证可以进行单机版比对，无需网络。验证通过后即可证明身份证与用户为同一人，并且是活体识别。
69.在不同温度、湿度下的活体识别与人脸识别软件模块的红外图像及性别的识别过程如下：
70.经温度传感器获取的温度值信息t反馈至活体识别与人脸识别软件模块中，将用户的在t温度下的红外图像信息与人脸图像库模块中t温度下用户的红外图像信息进行比对校正确认用户的红外图像信息。
71.经湿度传感器获取的湿度值信息s反馈至活体识别与人脸识别软件模块中，将用户的在s湿度下的红外图像信息与人脸图像库模块中s湿度下用户的红外图像信息进行比对校正确认用户的红外图像信息。
72.活体识别与人脸识别软件模块的活体阈值按照男女性别分为不同的热力人脸图像，在经红外摄像头获得的用户的红外图像后，通过与活体阈值进行比对，从而确定与男女性别相对应的热力人脸图像，进行用户性别的识别。
73.以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。