一种基于人脸识别/人眼识别的车辆解锁控制系统和方法与流程

1.本发明涉及车辆控制技术领域，特别涉及一种基于人脸识别/人眼识别的车辆解锁控制系统和方法。


背景技术：

2.当前，车辆已成为人们出行的主要代步工具。目前，人们在解锁控制车辆时，都必须使用车钥匙。有时，在人们突然想要开车的时候，很有可能出现未带车钥匙的情况，这时就必须去找车钥匙，或乘坐其他交通工具，导致浪费不少时间。并且实体钥匙使用时需要佩戴在身上，很容易发生丢失、忘记的现象，如若被不法分子拾取，会对车主的财产安全造成威胁。
3.新型的解锁方式，可分为实物解锁和非实物解锁两种形式，实物解锁包括刷卡解锁、nfc解锁等，其缺点就是想要解锁汽车必须携带实物钥匙，未携带实体钥匙将无法完成解锁；非实物解锁方式包括密码解锁、指纹解锁等，其缺点是可被复制，容易泄露，安全性没有保证。并且解锁后，未根据解锁信息对车辆进行调整，开锁后，驾驶员需要手动调节座椅、后视镜等位置，十分繁琐。


技术实现要素：

4.针对以上问题，本发明提出的一种人脸识别/人眼识别车辆解锁控制系统，使用静默活体检测、人脸识别和人眼识别等技术，对车辆进行解锁，并且在解锁后，根据解锁人的身份，为解锁人提供个性化服务，包括自动调整座椅位置，开启空调并调整到解锁人喜欢的温度，播放解锁人喜欢的音乐等。并且解锁过程使用了人眼识别算法，无需摘掉口罩、围巾也能够进行解锁。
5.本发明的技术方案为：一种人脸识别/人眼识别车辆解锁控制系统，包括：安装在车辆上的低功耗唤醒模块、通信模块、采集模块、生物识别模块、存储模块、控制模块和报警模块，所述唤醒模块和通信模块分别与采集模块相连，采集模块连接到生物识别模块，生物识别模块连接到存储模块和报警模块以及控制模块，所述控制模块与通信模块连接；其中：
6.低功耗唤醒模块，配置为待机功耗微安级的人体红外感应模块或无需供电的车门把手上的按钮等，当人体红外感应模块感应到人体，或有人按下按钮时，唤醒系统中其他模块。
7.通信模块，用于与手机应用进行通信，可配置为蓝牙或无线网络等具备通信功能的设备，采用加密的方式进行传输。
8.采集模块，配置为单目相机、双目相机、结构光相机或tof相机。当唤醒模块唤醒系统后，采集模块开始采集图像，供生物识别模块使用。
9.生物识别模块，配置为能够快速运行神经网络进行深度学习计算的处理器，能够运行人脸检测、角度检测、清晰度检测、静默活体检测、人脸识别和人眼识别等算法。
10.存储模块，配置为闪存或硬盘等计算机可读存储介质，用于存储人脸特征库、人眼
特征库、开锁记录以及个性化服务需要的数据，包含座椅位置、空调温度、歌曲类型等，所有数据的存储均加密。
11.控制模块用于解锁车门，根据存储模块中存储的个性化服务数据，调整座椅位置，开启空调并调整温度，开启音响开始播放合适的音乐。
12.报警模块配置为声光报警装置，当有陌生人多次尝试解锁车辆时，对陌生人通过声光报警。
13.根据本发明的另一方面，提出一种基于人脸识别/人眼识别的车辆解锁控制方法，包括如下步骤：
14.步骤一、通过手机与车辆控制系统进行交互，在车辆控制系统中预置人脸图像和数据信息；
15.步骤二、使用预置的人脸图像和数据信息，进行人脸识别、人眼识别与活体检测；
16.步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；
17.进一步的，所述步骤一、通过手机与车辆控制系统进行交互，在车辆控制系统中预置人脸图像和数据信息；其中预置人脸图像和数据信息的具体步骤如下：
18.1)当唤醒模块检测到有人时，唤醒其他所有模块；
19.2)使用手机应用通过通信模块连接上车辆解锁控制系统；
20.3)在手机应用上验证身份，如果未通过验证，则断开手机与车辆解锁控制系统的连接，否则进行下面的操作；
21.4)在手机应用上输入人员信息，通过通信模块传送到车辆解锁控制系统，并同时传送开始采集的指令；
22.5)车辆解锁控制系统，接收到采集指令后，采集模块开始采集图像；
23.6)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤7)，否则重新采集图像；
24.7)利用人脸角度检测算法检测人脸角度，判断检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤8)，否则重新采集图像；
25.8)使用人脸识别算法提取人脸特征，使用人眼识别算法提取人眼特征；
26.9)提取人脸特征和人眼特征，将提取的人脸特征和人眼特征以及步骤3)中手机应用中传输过来的对应的人员信息加密存储到车辆解锁控制系统存储模块中；
27.10)通过通信模块将采集到人脸图片通过通信模块传输到手机应用，供用户能够确认使用。
28.进一步的，所述的人脸角度检测算法，通过获得脸部朝向的角度信息，从而确定人脸的姿态，用欧拉角表示，欧拉角分为三个方向：翻滚角、偏航角、俯仰角，计算人脸角度的步骤如下：
29.1)首先定义一个具有n个关键点的3d脸部模型，n根据对准确度的容忍程度进行定义；
30.2)采用深度学习面部关键点检测得到上述3d脸部对应的2d人脸关键点；
31.3)根据检测出的关键点以及定义的关键点计算出旋转向量；图像2d点和空间3d点的关系如公式(1)所示：
[0032][0033]
其中z
c
是深度即坐标点到相机的距离，k是相机的内参矩阵，(x,y)是图像中点的坐标，(xw,yw,zw)是该点对应的3维空间的坐标，r是旋转矩阵，t是平移矩阵；
[0034]
通过步骤2)中检测出的n个面部关键点及其对应3维空间的坐标，使用上述公式(1)，通过拟合计算出旋转矩阵r和平移矩阵t；
[0035]
4)将旋转向量转换为欧拉角，旋转向量与欧拉角关系如公式(2)所示：
[0036][0037]
通过公式(2)，使用步骤3中计算出旋转矩阵r计算出欧拉角(ψ φ γ)，ψ φ γ三个角度分别为翻滚角、偏航角、俯仰角。
[0038]
进一步的，所述的清晰度检测算法，采集多张人脸图片，根据人脸清晰程度，将图片分为不同的类别，使用卷积神经网络进行训练得到进行清晰度检测的算法模型；
[0039]
根据人脸检测裁剪出图片中的人脸，使用上述模型进行分类，判断人脸是否清晰，去除不清晰的照片，有效降低图片清晰度对静默活体检测、人脸识别、人眼识别的影响，节省解锁时间。
[0040]
进一步的，所述步骤二、使用预置的人脸图像和数据信息，进行人脸识别或人眼识别，具体步骤如下：
[0041]
1)当唤醒模块检测到有人时，唤醒其他所有模块，采集模块开始采集图像；
[0042]
2)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤，否则重新采集图像；
[0043]
3)判断步骤2)中检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤4)，否则重新采集图像；
[0044]
4)使用深度学习静默活体检测算法判断步骤2)中检测到的人脸是否为活体，若为活体，继续下面的步骤，否则重新采集图像；所述深度学习静默活体检测算法，将真人检测为一类，非真人检测为一类，其中使用卷积神经网络进行分类；
[0045]
5)使用深度学习嘴部遮挡检测算法判断步骤2)中检测到的人脸是否佩戴了口罩或围巾而被遮挡，若未佩戴口罩、围巾等，使用人脸识别算法提取人脸特征，否则使用人眼识别算法提取人眼特征；深度学习嘴部遮挡检测算法，遮挡了嘴部的人脸为一类，没有遮挡嘴部的人脸为一类，使用卷积神经网络进行分类；
[0046]
6)使用步骤5)中提取的人脸特征或人眼特征，与存储在系统的人脸库进行对比，比对方式为计算两个特征的相似度，取相似度最高的特征作为比对结果，并且将相似度与阈值进行比较，若大于阈值，则识别通过，否则判定为陌生人。相似度计算使用余弦距离进行计算，阈值设置为0.7。
[0047]
进一步的，所述的低功耗唤醒模块包括多种方式，低功耗唤醒模块若为红外人体
感应模块时，人靠近时即能够检测到，通过检测到反射的时间判断是否有人要开门；或者，
[0048]
低功耗唤醒模块若为按钮，当有人按下按钮，即为要开车门。
[0049]
进一步的，所述步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；具体如下：
[0050]
使用提取的人脸特征或人眼特征与对应的人脸特征库或人眼特征库进行对比，若比对通过，则解锁车辆，开启车门，使车辆能够启动。若比对不通过，识别为陌生人，则重新采集图像，若连续多次识别为陌生人，超过系统限制，报警模块开始报警，并记录尝试解锁的图像，供车主查看，根据解锁身份，进行个性化服务，自动调整座椅位置、调整空调温度、播放音乐；
[0051]
当开车过程中，人员对车辆有所调整后，将调整的信息记录到车辆解锁控制系统中，并与解锁人员绑定，供解锁后的个性化服务使用。
[0052]
根据本发明的另一方面，提出一种车辆紧急解锁控制方法，在紧急状态或初始状态下，用手机进行解锁，但仅限于车主或管理员进行操作，具体步骤如下：
[0053]
1)当唤醒模块检测到有人时，唤醒其他所有模块；
[0054]
2)使用手机应用通过通信模块连接上车辆解锁控制系统；
[0055]
3)在手机应用上验证身份，如果未通过验证，则断开手机与车辆解锁控制系统的连接，无法进行下面的操作；否则执行下面的操作；
[0056]
4)通过通信模块传送解锁指令，车辆接收到解锁指令后，解锁车辆，开启车门，并且使车辆能够启动。
[0057]
有益效果：
[0058]
本发明相对于现有技术，具有如下优点：
[0059]
1.无需钥匙，直接使用人脸识别或人眼识别解锁车门。
[0060]
2.使用静默活体检测算法识别照片、视频、面具等假体人脸，安全防伪的同时，无须点头眨眼等交互，快捷自然。
[0061]
3.使用角度检测去掉大角度人脸，避免大角度人脸静默活体检测不过或无法识别，加速解锁流程。
[0062]
4.使用清晰度检测去掉不清晰人脸，避免不清晰人脸静默活体检测不过或无法识别，加速解锁流程。
[0063]
5.使用人眼识别算法，无需摘掉口罩、围巾也能够准确识别出解锁人身份，解锁车辆。
[0064]
6.系统默认处于待机状态，只有唤醒模块一直工作，其他模块唤醒后才进行工作，节省电量，增加使用时间。
[0065]
7.使用手机应用和车辆解锁控制系统连接，仅发送人脸预置的人脸采集指令，所采集的人脸照片存储于车辆解锁控制系统的存储模块，车上不需要安置屏幕与键盘，不影响车辆整体美观，同时节约成本。
[0066]
8.车辆解锁后，可根据解锁人的身份进行个性化服务，包括且不限于调整座椅位置、调整空调温度、播放合适音乐。
[0067]
9.生物识别算法全部本地离线处理，无需联网，保证信息安全。
[0068]
10.算法模型、人脸照片、人脸特征库、人眼特征库、个性化参数等所有模型于数据
均存储于车内，保证数据安全。
[0069]
11.通讯、存储加密，保证数据安全。
附图说明
[0070]
图1：本发明的车辆解锁控制系统总体框图；
[0071]
图2：本发明的人脸预置流程；
[0072]
图3：本发明的人脸角度检测算法；
[0073]
图4：本发明利用人脸和人眼检测开锁流程；
[0074]
图5：本发明另一实施例的手机开锁流程。
具体实施方式
[0075]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0076]
根据本发明的实施例，提出了一种基于人脸识别或人眼识别车辆解锁控制系统，使用静默活体检测、人脸识别和人眼识别等技术，对车辆进行解锁，并且在解锁后，根据解锁人的身份，为解锁人提供个性化服务。并且解锁过程使用了人眼识别算法，无需摘掉口罩、围巾也能够进行解锁。
[0077]
所述的基于人脸识别或人眼识别的车辆解锁控制系统的结构框图如图1所示，包括唤醒模块、通信模块、采集模块、生物识别模块、存储模块、控制模块和报警模块。
[0078]
1.低功耗唤醒模块
[0079]
低功耗唤醒模块，配置为待机功耗微安级的人体红外感应模块或无需供电的车门把手上的按钮等，当人体红外感应模块感应到人体，或有人按下按钮时，唤醒系统中其他模块。
[0080]
2.通信模块
[0081]
通信模块用于与手机应用进行通信，可配置为蓝牙或无线网络等具备通信功能的设备，采用加密的方式进行传输。
[0082]
3.采集模块
[0083]
采集模块配置为单目相机、双目相机、结构光相机或tof相机。由于相机正常工作时耗电量较大，采集模块保持待机的状态，当唤醒模块唤醒后，采集模块开始采集图像。
[0084]
4.生物识别模块
[0085]
生物识别模块配置为能够快速计算神经网络的处理器，能够运行人脸检测、角度检测、清晰度检测、静默活体检测、人脸识别和人眼识别等算法。
[0086]
5.存储模块
[0087]
存储模块配置为闪存或硬盘等计算机可读存储介质，用于存储人脸特征库、人眼特征库、开锁记录以及个性化服务需要的数据，包含座椅位置、空调温度、歌曲类型等，所有数据的存储均加密。
[0088]
6.控制模块
[0089]
控制模块用于解锁车门，根据存储模块中存储的个性化服务数据，调整座椅位置，开启空调并调整温度，开启音响开始播放合适的音乐。
[0090]
7.报警模块
[0091]
报警模块配置为声光报警装置，当有陌生人多次尝试解锁车辆时，对陌生人报警。
[0092]
根据本发明的另一方面，提出一种基于人脸识别或人眼识别的车辆解锁控制方法，包括如下步骤：
[0093]
步骤一、通过手机与车辆控制系统进行交互，在车辆控制系统中预置人脸图像和数据信息；
[0094]
步骤二、使用预置的人脸图像和数据信息，进行人脸识别、人眼识别与活体检测；
[0095]
步骤三、人脸识别或人眼识别与活体检测同时通过后，执行车辆解锁控制；
[0096]
具体的，所述步骤一、通过手机与车辆控制系统进行交互，在车辆控制系统中预置人脸图像和数据信息；人脸预置流程如图2所示。具体步骤如下：
[0097]
1)当唤醒模块检测到有人时，唤醒其他所有模块；
[0098]
2)使用手机应用通过通信模块连接上车辆解锁控制系统；
[0099]
3)在手机应用上验证身份，验证方式不限于密码、图案、指纹、人脸等，如果未通过验证，则断开手机与车辆解锁控制系统的连接，无法进行下面的操作；
[0100]
4)在手机应用上输入人员姓名，编号等信息，通过通信模块传送到车辆解锁控制系统，并同时传送开始采集的指令；
[0101]
5)车辆解锁控制系统，接收到采集指令后，采集模块开始采集图像；
[0102]
6)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤7)，否则重新采集图像；
[0103]
7)利用人脸角度检测算法检测人脸角度，判断检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤，否则重新采集图像；
[0104]
根据本发明的一个实施例，所述的人脸角度检测算法，主要是获得脸部朝向的角度信息，从而确定人脸的姿态。一般可以用欧拉角表示。欧拉角主要分为三个方向：翻滚角、偏航角、俯仰角，如图3所示。具体的，计算人脸角度的步骤如下：
[0105]
1)首先定义一个具有n个关键点的3d脸部模型，n可以根据自己对准确度的容忍程度进行定义；
[0106]
2)采用深度学习面部关键点检测得到上述3d脸部对应的2d人脸关键点；
[0107]
3)根据检测出的关键点以及定义的关键点计算出旋转向量；
[0108]
图像2d点和空间3d点的关系如公式(1)所示：
[0109][0110]
其中z
c
是深度即坐标点到相机的距离，k是相机的内参矩阵，(x,y)是图像中点的坐标，(xw,yw,zw)是该点对应的3维空间的坐标，r是旋转矩阵，t是平移矩阵。
[0111]
通过步骤2)中检测出的n个面部关键点及其对应3维空间的坐标，使用上述公式(1)，通过拟合计算出旋转矩阵r和平移矩阵t。
[0112]
4)将旋转向量转换为欧拉角。
[0113]
旋转向量与欧拉角关系如公式(2)所示：
[0114][0115]
通过公式(2)，使用步骤3中计算出旋转矩阵r计算出欧拉角(ψ φ γ)，ψ φ γ分别为翻滚角、偏航角、俯仰角；
[0116]
因为角度过大时，静默活体检测、人脸识别或人眼识别的精度会降低，计算出人脸旋转的欧拉角后，一般的，当翻滚角大于30度，偏航角或俯仰角大于15度时，不进行接下来的静默活体检测和人脸识别或人眼识别，重新进行人脸检测，避免不容易通过静默活体检测、人脸识别或人眼识别的人脸进行静默活体检测、人脸识别或人眼识别，节省识别的时间。
[0117]
根据本发明的一个实施例，本发明提出的清晰度检测算法，采集大量人脸图片，根据人脸清晰程度，将图片分为不同的类别，使用卷积神经网络进行训练得到可进行清晰度检测的算法模型。
[0118]
根据人脸检测裁剪出图片中的人脸，使用上述模型进行分类，判断人脸是否清晰，去除不清晰的照片，可有效降低图片清晰度对静默活体检测、人脸识别、人眼识别的影响，节省解锁时间。
[0119]
8)使用人脸识别算法提取人脸特征，使用人眼识别算法提取人眼特征；
[0120]
9)提取人脸特征和人眼特征，将提取的人脸特征和人眼特征以及步骤3中手机应用中传输过来的对应的人员信息加密存储到车辆解锁控制系统存储模块中；
[0121]
10)通过通信模块将采集到人脸图片通过通信模块传输到手机应用，供用户能够确认使用。
[0122]
所述步骤二、使用预置的人脸图像和数据信息，进行人脸识别或人眼识别，如图4所示，具体步骤如下：
[0123]
1)当唤醒模块检测到有人时，唤醒其他所有模块，采集模块开始采集图像。(根据本发明的实施例，所述的唤醒模块可以为多种方式，例如：
[0124]
1.唤醒模块若为待机功耗微安级的红外人体感应模块时，人靠近时即能够检测到，(原理为红外人体感应模块发射不可见的红外光，通过接收反射的红外光判断是否有人靠近)，通过检测到反射的时间判断是否有人要开门；
[0125]
2.唤醒模块若为按钮，当有人按下按钮，即为要开车门。
[0126]
摄像头安装位置可为车门b柱，补光灯或摄像头肉眼可见，通过观察其位置，能够保证人脸正对补光灯或摄像头，即可对准人脸。
[0127]
2)使用深度学习人脸检测算法检测采集到的图像中的人脸，若检测到人脸，继续下面的步骤，否则重新采集图像；
[0128]
3)判断步骤2中检测到的人脸角度和清晰度是否符合标准，若符合标准，继续下面的步骤4，否则重新采集图像；
[0129]
4)使用深度学习静默活体检测算法判断步骤2中检测到的人脸是否为活体，若为活体，继续下面的步骤，否则重新采集图像。所述深度学习静默活体检测算法，将真人检测
为一类，非真人检测为一类，其中使用卷积神经网络进行分类；
[0130]
5)使用深度学习嘴部遮挡检测算法判断步骤2中检测到的人脸是否佩戴了口罩、围巾等，若未佩戴口罩、围巾等，使用人脸识别算法提取人脸特征，否则使用人眼识别算法提取人眼特征。深度学习嘴部遮挡检测算法，遮挡了嘴部的人脸为一类，没有遮挡嘴部的人脸为一类，使用卷积神经网络进行分类；
[0131]
6)使用步骤5)中提取的人脸特征或人眼特征，与存储在系统的人脸库进行对比，比对方式为计算两个特征的相似度，取相似度最高的特征作为比对结果，并且将相似度与阈值进行比较，若大于阈值，则识别通过，否则判定为陌生人。相似度计算使用余弦距离进行计算，阈值设置为0.7。
[0132]
所述步骤三、人脸识别或人眼识别与活体识别同时通过后，执行车辆解锁控制；具体如下：
[0133]
使用提取的人脸特征或人眼特征与对应的人脸特征库或人眼特征库进行对比，若比对通过，则解锁车辆，开启车门，使车辆能够启动。若比对不通过，识别为陌生人，则重新采集图像，若连续多次识别为陌生人，超过系统限制，报警模块开始报警，并记录尝试解锁的图像，供车主查看。进一步的，根据解锁身份，进行个性化服务，自动调整座椅位置、调整空调温度、播放音乐等。
[0134]
当开车过程中，人员对车辆有所调整后，将调整的信息记录到车辆解锁控制系统中，并与解锁人员绑定，供解锁后的个性化服务使用。
[0135]
根据本发明的另一个实施例，提供一种车辆紧急接触控制方法，在紧急状态或初始状态下，可用手机进行解锁，但仅限于车主或管理员进行操作，手机开锁流程如图5所示。具体步骤如下：
[0136]
1)当唤醒模块检测到有人时，唤醒其他所有模块；
[0137]
2)使用手机应用通过通信模块连接上车辆解锁控制系统；
[0138]
3)在手机应用上验证身份，验证方式不限于密码、图案、指纹、人脸等，如果未通过验证，则断开手机与车辆解锁控制系统的连接车辆解锁控制系统，无法进行下面的操作；
[0139]
4)通过通信模块传送解锁指令；
[0140]
5)车辆接收到解锁指令后，解锁车辆，开启车门，并且使车辆能够启动。
[0141]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。