一种人脸数据获取方法及装置与流程

1.本发明涉及图像处理及人脸识别技术领域，尤其涉及一种人脸数据获取方法及装置。


背景技术：

2.近年来，伴随着共享经济的火热，越来越多的人在出行时，选择入住经济实惠的民宿，很多具有闲置住房的房东，也选择把自己的住房打造成民宿出租。
3.由于民宿入住的流程，不像酒店那样需要严格核实入住人员的身份，经常会有网上下单，而实际入住人员不一致的情况，这无疑让有些不法分子有了可乘之机，也让公安人员对于人员流动的管控有了漏洞。
4.目前市面上，对于民宿入住人员的身份验证方法，主要有以下几种：(1)人工验证，房客在入住时，房东到现场人工核验，费时费力；(2)在移动终端进行人脸身份的验证，用户在入住民宿前，在手机上通过扫描人脸进行验证，但这种方法不能完全解决人证不一的情况，不法分子仍然可以借用他人的信息入住；(3)安装具备人脸识别功能的智能门禁，这种方法成本高昂，且常常需要对现有的房门进行改造。


技术实现要素：

5.本发明目的在于提供一种人脸数据获取方法及装置，能够对民宿入住人员和路过人员进行检测和识别，并过滤无关人员，提高民宿入住人员的身份验证的精准性和便利性。
6.为解决上述技术问题，本发明提供了一种人脸数据获取方法，云端服务器获取待处理图像或视频信息，并进行以下步骤：
7.步骤s1、基于所述待处理图像或视频信息进行人脸检测，并提取检测到的人脸信息；其中所述人脸信息包括人脸位置坐标信息和人脸关键点坐标信息；
8.步骤s2、根据预设的过滤条件对提取的所述人脸信息进行过滤；
9.步骤s3、对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据；
10.步骤s4、根据提取的所述人脸特征对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像。
11.优选地，所述步骤s2，根据预设的过滤条件对提取的所述人脸信息进行过滤，包括：
12.步骤s21、通过所述人脸位置坐标信息计算人脸图像的像素值，并计算人脸图像的像素值占整个画面像素的比值，如果大于预定的占比阈值，则过滤对应的人脸信息；
13.步骤s22、通过所述人脸关键点坐标信息计算人脸偏航角度，如果人脸偏航角度大于预定的范围，则过滤对应的人脸信息；
14.步骤s23、采用目标检测模型检测人脸信息的画面中是否有指定的目标出现，如果出现指定的目标，则过滤对应的人脸信息；其中所述指定的目标包括外卖员头盔和/或衣
服。
15.优选地，所述步骤s3，对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据，包括：
16.采用人脸识别模型计算所述人脸信息的人脸特征编码；
17.采用质量评估模型计算所述人脸信息的人脸质量评分；
18.将所述人脸特征编码、所述人脸质量评分，以及所在的图像，存储为相应的人脸数据。
19.优选地，所述步骤s4，根据提取的所述人脸特征对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像，包括：
20.根据所述人脸特征编码对所述人脸数据进行聚类；
21.将每类人脸数据中人脸质量评分最高的人脸数据所在的图像作为该类人脸数据的最优图像。
22.优选地，所述云端服务器获取待处理图像或视频信息之前，还包括步骤s0：当门口的传感器感应到有人员出现或者人员经过时，触发摄像头开始录制视频，并将录制的视频信息上传到所述云端服务器、或者对录制的视频按照固定时间间隔进行抽帧并将抽取的图像信息上传到所述云端服务器。
23.本发明还提供了一种人脸数据获取装置，其包括智能门铃，和云端服务器，其中，
24.所述智能门铃进一步包括：传感器、摄像头、第一通讯模块；
25.所述传感器，用于感应到有人员出现或者人员经过时，触发所述摄像头开始录制视频；
26.所述第一通讯模块，用于将所述摄像头录制的视频信息上传到所述云端服务器；
27.所述云端服务器进一步包括：第二通讯模块、人脸检测模块、过滤处理模块、人脸识别模块，
28.所述第二通讯模块，用于接收所述智能门铃上传的所述视频信息；
29.所述人脸检测模块，用于进行人脸检测，并提取检测到的人脸信息；其中所述人脸信息包括人脸位置坐标信息和人脸关键点坐标信息；
30.所述过滤处理模块，用于根据预设的过滤条件对提取的所述人脸信息进行过滤后，发送至所述人脸识别模块；
31.所述人脸识别模块，用于对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据；以及，根据提取的所述人脸特征对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像。
32.优选地，所述过滤处理模块，按照以下方式对提取的所述人脸信息进行过滤：
33.通过所述人脸位置坐标信息计算人脸图像的像素值，并计算人脸图像的像素值占整个画面像素的比值，如果大于预定的占比阈值，则过滤对应的人脸信息；
34.通过所述人脸关键点坐标信息计算人脸偏航角度，如果人脸偏航角度大于预定的范围，则过滤对应的人脸信息；
35.采用目标检测模型检测人脸信息的画面中是否有指定的目标出现，如果出现指定的目标，则过滤对应的人脸信息；其中所述指定的目标包括外卖员头盔和/或衣服。
36.优选地，所述人脸识别模块，用于按照以下方式对对经过过滤后的人脸信息进行
人脸特征提取和人脸质量评分，并存储相应的人脸数据：
37.采用人脸识别模型计算所述人脸信息的人脸特征编码；
38.采用质量评估模型计算所述人脸信息的人脸质量评分；
39.将所述人脸特征编码、所述人脸质量评分，以及所在的图像，存储为相应的人脸数据。
40.优选地，所述人脸识别模块，用于按照以下方式对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像：
41.根据所述人脸特征编码对所述人脸数据进行聚类；
42.将每类人脸数据中人脸质量评分最高的人脸数据所在的图像作为该类人脸数据的最优图像。
43.本发明的上述技术方案具有以下有益效果：
44.1、本发明提供的人脸数据获取方法及装置，针对目前民宿入住存在的问题，能够对民宿入住人员和路过人员进行过滤，特别是针对无关人员的过滤，提高了民宿入住人员的身份验证的精准性，同时也大大提高了流动人员的监测和管理的安全性；
45.2、本发明提供的人脸数据获取方法及装置，使用智能门铃进行人脸抓拍，在整个抓拍过程中，用户完全无感，无需像传统人脸识别门禁那样，需要用户主动配合，避免了繁琐的入住认证流程，提高了身份验证的便利性，且抓拍过程用户无感，因而用户体验度高；
46.3、本发明提供的人脸数据获取装置，智能门铃只需具备基本的摄像头进行拍摄和视频录制，以及通讯模块即可，其余的人脸检测、过滤识别和择优处理则由云端服务器进行，一套智能门铃只需要两三百元，相较于价格动辄数千元一套的具备人脸识别功能的门禁设备，价格低廉，对于有多套民宿的房东来说，可以极大的降低成本；且智能门铃的安装无需对现有房门进行任何改造，采用3m背胶的方式进行安装，只需要一撕一贴，即可完成安装，门铃使用电池供电，无需外接线缆。
附图说明
47.图1为本发明提供的一种人脸数据获取方法的云端服务器的主要处理步骤示意图；
48.图2为本发明实施例一的人脸数据获取方法中云端服务器的主要处理流程的示意图；
49.图3为本发明实施例二的人脸数据获取装置的组成示意图。
具体实施方式
50.本发明提出的人脸数据获取方法及装置，基于智能门铃作为人员监测和抓拍设备，通过本地和云端协同的方式，自动抓拍入住人员的人脸图像和/或视频，并自动过滤掉无关人员及外卖人员，之后可将择优处理后的人脸数据信息发送给房东进行身份验证，或者对接公安系统进行入住人员身份确认验证，提高了民宿入住人员管理的安全性和便利性。
51.如图1所示，本发明提供的一种人脸数据获取方法，其包括：云端服务器获取待处理图像或视频信息，并进行以下步骤：
52.步骤s1、基于所述待处理图像或视频信息进行人脸检测，并提取检测到的人脸信息；其中所述人脸信息包括人脸位置坐标信息和人脸关键点坐标信息；
53.步骤s2、根据预设的过滤条件对提取的所述人脸信息进行过滤；
54.步骤s3、对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据；
55.步骤s4、根据提取的所述人脸特征对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像。
56.进一步地，所述步骤s2，根据预设的过滤条件对提取的所述人脸信息进行过滤，具体可以包括以下方式中的至少一种或其任意多种的组合：
57.第一过滤方式：通过所述人脸位置坐标信息计算人脸图像的像素值，并计算人脸图像的像素值占整个画面像素的比值，如果大于预定的占比阈值，则过滤对应的人脸信息；
58.第二过滤方式：通过所述人脸关键点坐标信息计算人脸偏航角度，如果人脸偏航角度大于预定的范围，则过滤对应的人脸信息；
59.第三过滤方式：采用目标检测模型检测人脸信息的画面中是否有指定的目标出现，如果出现指定的目标，则过滤对应的人脸信息；其中所述指定的目标包括外卖员头盔和/或衣服。
60.进一步地，所述步骤s3，对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据，包括：
61.采用人脸识别模型计算所述人脸信息的人脸特征编码；
62.采用质量评估模型计算所述人脸信息的人脸质量评分；
63.将所述人脸特征编码、所述人脸质量评分，以及所在的图像，存储为相应的人脸数据。
64.进一步地，所述步骤s4，根据提取的所述人脸特征对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像，包括：
65.根据所述人脸特征编码对所述人脸数据进行聚类；
66.将每类人脸数据中人脸质量评分最高的人脸数据所在的图像作为该类人脸数据的最优图像。
67.进一步地，所述云端服务器获取待处理图像或视频信息之前，还包括步骤s0：当门口的传感器感应到有人员出现或者人员经过时，触发摄像头开始录制视频，并将录制的视频信息上传到所述云端服务器、或者对录制的视频按照固定时间间隔进行抽帧并将抽取的图像信息上传到所述云端服务器。
68.下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
69.实施例一
70.如图2所示，本实施例一的人脸数据获取方法，当有人员从门前经过时，会触发智能门铃上的pir(passive infrared，被动红外探测)传感器，唤醒门铃开始录制视频，并自动上传到云端服务器；云端服务器进行如下主要步骤的处理：
71.步骤100、云端服务器接收到上传的视频，则开始；
72.步骤101、对上传的视频进行按照固定间隔(例如1s)进行抽帧，对抽取出的图像依
次进行后续处理步骤；
73.步骤102、基于抽取出的图像进行人脸检测，判断图像中是否有人脸出现，如果有，则输出人脸信息，并进行下一步骤103；如果没有，则返回；
74.优选地，本实施例一中的人脸信息具体包括人脸的位置坐标以及人脸关键点坐标(五个关键点坐标：眼睛、鼻子、嘴角)。
75.优选地，本实施例一中使用mtcnn(multi-task cascaded convolutional networks，多任务卷积神经网络)模型对图像进行人脸检测，判断图像中是否有人脸出现，如果有，则该模型会输出人脸的位置坐标以及五个关键点坐标。
76.该mtcnn模型是一个经典的人脸检测模型，其通过三个级联的网络，可实现画面中人脸位置坐标和关键点坐标的检测。
77.步骤103、计算人脸画面占比，判断是否符合预定的占比阈值，如果是，则继续往下执行步骤104；否则，返回；
78.该步骤103中，判断是否符合预定的占比阈值，具体是指：通过步骤102中的人脸位置坐标，可得出人脸图像的像素数(宽高相乘)，然后计算人脸像素占整个画面像素(1920*1080)的人脸画面占比x，判断是否满足x大于等于0.04，如果是，则继续往下执行；否则，返回；
79.优选地，该步骤中，根据预定的第一过滤方式，通过计算人脸画面占比对门前一定距离外的人员进行过滤。其中，人脸画面占比0.04是在实际场景中，测试人员站在智能门铃前1m时的最小比例，如果x大于等于0.04，说明人员站在门前1m内；如果小于0.04，说明该人员是路过人员或者还未走到门前，故可以将其对应的人脸信息过滤掉。在本发明其他实施例中，该人脸画面占比的阈值数值可以根据不同门铃的实际参数进行相应调整。
80.步骤104、基于人脸关键点坐标进行人脸偏航检测，如果偏航角度在预定的范围内，则继续执行下一步骤105，否则，返回；
81.通过前述步骤103，可以得到站在门前1m内的人员信息。考虑到仍然会有路过人员符合上述条件，因此，本步骤中，根据预定的第二过滤方式，通过计算人脸偏离角度来进行进一步过滤。
82.优选地，本发明实施例一中，从计算人脸姿态角度的yaw(偏航角)、pitch(俯仰)、roll(滚转)等中选择偏航角yaw作为过滤条件，是考虑到，实际应用中会存在路过的其他无关人员也会进入门前1m范围内的情况，但是，这种情况下路过的无关人员往往是侧脸出现，因此，本实施例一中，通过步骤102中得到的人脸关键点坐标，计算人脸的偏航角yaw(人脸姿态偏航)，如果yaw偏航角在正负45度以内(可以根据实际情况调整该预定的偏离角度范围)，则进行步骤105，否则返回。
83.步骤105、判断是否为外卖员，如果是，则继续下一步骤106，否则，返回；
84.通过前述步骤104，可以得到站在门前1m内，且人脸朝向正对着房门的人员信息，在实际应用中，考虑到外卖人员可能会符合上述条件，因此，本步骤中，还根据预定的第三过滤方式，判断是否是外卖人员。
85.具体地，本实施例一中使用目标检测模型(具体可采用yolo-v5等目标检测模块)，检测画面中否有指定的目标出现。在本发明中，我们预先采集了大量外卖员头盔和衣服的数据样本，训练之后，可以判断画面中的人物是否佩戴了外卖头盔或者穿着外卖衣服，如果
检测到外卖头盔和/或衣服，则进行过滤，返回；如果没有检测到，则接着进行后续步骤。
86.步骤106：对经过过滤后的人脸信息进行人脸识别，进而得到人脸数据，继续下一步骤107；
87.具体地，经过前述的步骤102-步骤105，已经可以大致判断出现在门前的人可能是入住房间的人，本步骤106中，通过人脸特征提取模型arcface，计算人脸特征编码feature，然后通过质量评估模型sdd-fida，计算人脸质量评分score。
88.然后将人脸对应的人脸特征编码feature、人脸质量评分score，以及所在的原始帧图像，作为人脸数据存储到缓存列表face_list。
89.步骤107：判断当前帧是否为最后一帧，如果是，则继续下一步骤108，否则，返回步骤101；
90.步骤108、对缓存列表中的人脸数据进行聚类分析；
91.经过步骤102-步骤106的人脸检测以及特定的过滤处理，可以得到缓存了所有符合过滤条件的人脸信息的缓存列表face_list，此时的face_list中，可能存储了多个人的多个人脸，因最终每个人只需要选择一张最清晰的人脸，所以根据人脸特征对人脸进行聚类，以区分不同的人。
92.优选地，该步骤108中，采用dbscan(density-based spatial clustering of applications with noise，具有噪声的基于密度的聚类方法)聚类方法，可以将不同人的人脸归为一类。简单而言，聚类的意思是，将一组数据中，具有相似特征的数据归为一类。本发明中，通过对人脸特征进行聚类分析，可以区分出不同的人。
93.步骤109、得到每类人脸信息的最优图像；
94.具体地，该步骤109中，对人脸数据进行聚类分析后，得到每类人脸数据中score最高的人脸对应的原始帧图像。
95.步骤110，结束。
96.采用上述人脸数据获取方法，可以获取得到进出民宿的每个人员的最清晰的图像，之后，可以将这些图像发送给房东进行身份验证，或者对接公安系统的人脸库进行比对认证。
97.实施例二
98.如图3所示，本实施例二的人脸数据获取装置主要包括：智能门铃和云端服务器，
99.其中，智能门铃进一步包括：传感器、摄像头、第一通讯模块；
100.所述传感器，用于感应到有人员出现或者人员经过时，触发所述摄像头开始录制视频；
101.所述第一通讯模块，用于将所述摄像头录制的视频信息上传到所述云端服务器。
102.其中，云端服务器进一步包括：第二通讯模块、人脸检测模块、过滤处理模块、人脸识别模块，
103.所述第二通讯模块，用于接收所述第一通讯模块上传的所述视频信息；
104.所述人脸检测模块，用于进行人脸检测，并提取检测到的人脸信息；其中所述人脸信息包括人脸位置坐标信息和人脸关键点坐标信息；
105.所述过滤处理模块，用于根据预设的过滤条件对提取的所述人脸信息进行过滤后，发送至所述人脸识别模块；
106.所述人脸识别模块，用于对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据；以及，根据提取的所述人脸特征对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像。
107.进一步地，所述过滤处理模块，按照以下方式对提取的所述人脸信息进行过滤：
108.通过所述人脸位置坐标信息计算人脸图像的像素值，并计算人脸图像的像素值占整个画面像素的比值，如果大于预定的占比阈值，则过滤对应的人脸信息；
109.通过所述人脸关键点坐标信息计算人脸偏航角度，如果人脸偏航角度大于预定的范围，则过滤对应的人脸信息；
110.采用目标检测模型检测人脸信息的画面中是否有指定的目标出现，如果出现指定的目标，则过滤对应的人脸信息；其中所述指定的目标包括外卖员头盔和/或衣服。
111.进一步地，所述人脸识别模块，用于按照以下方式对对经过过滤后的人脸信息进行人脸特征提取和人脸质量评分，并存储相应的人脸数据：
112.采用人脸识别模型计算所述人脸信息的人脸特征编码；
113.采用质量评估模型计算所述人脸信息的人脸质量评分；
114.将所述人脸特征编码、所述人脸质量评分，以及所在的图像，存储为相应的人脸数据。
115.进一步地，所述人脸识别模块，用于按照以下方式对所述人脸数据进行聚类，并根据所述人脸质量评分得到每类人脸数据的最优图像：
116.根据所述人脸特征编码对所述人脸数据进行聚类；
117.将每类人脸数据中人脸质量评分最高的人脸数据所在的图像作为该类人脸数据的最优图像。
118.本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。