一种人脸识别方法、装置、电子设备及存储介质与流程

1.本发明涉及人脸识别领域，特别涉及一种人脸识别方法、装置、电子设备及存储介质。


背景技术：

2.在日常生活中，在一些粉尘天气或者其他特殊场合(工厂、医院等)中，均需要人们佩戴口罩，然而，在佩戴口罩的情况下，人脸大部分被遮挡，一般的人脸识别系统都会无法正常识别，需要人们摘下口罩，不仅影响人们的健康，也降低了人们的生活便捷度。
3.虽然现有技术中有涉及到对口罩人脸进行识别的技术，但在实际场景下，遇到环境昏暗、背光、光照过强或者相机抖动等复杂情况，现有技术中的对口罩人脸进行识别的技术仍存在识别效果差以及稳定性差的情况。


技术实现要素：

4.本发明要解决的是上述现有技术中对于人脸上存在遮挡物的人脸识别效果差和稳定性差的技术问题。
5.为解决上述技术问题，本技术在一方面公开了一种人脸识别方法，其包括如下步骤：
6.获取人脸图像集；该人脸图像集中的每张人脸图像为人脸上存在遮挡物的人脸图像；
7.确定出该人脸图像集对应的相似度集；该相似度集包含该每张人脸图像对应的相似度，该相似度表征该每张人脸图像与基准图片的相似关系；
8.基于该相似度集和该人脸图像集确定出目标图像；
9.获取人脸底库图片集；
10.将该目标图像和该人脸底库图片集输入对象配对模型，得到比对结果信息；该比对结果信息表征该目标图像与人脸底库图片集的匹配关系。
11.可选的，该确定出该人脸图像集对应的相似度集，包括：
12.将该人脸图像集输入相似度确定模型，得到该相似度集；
13.该基于该相似度集和该人脸图像集确定出目标图像，包括：
14.将该相似度集输入训练好的相似度分值确定网络，得到相似度分值集；该相似度分值集包含每张人脸图像对应的相似度的分值；
15.从该相似度分值集中确定出目标相似度分值；该目标相似度分值大于等于非目标相似度分值；
16.从该人脸图像集中确定出与该目标相似度分值对应的人脸图像，得到该目标图像。
17.可选的，该相似度确定模型的训练方法包括：
18.获取样本数据集，该样本数据集包括预设相似度集和多张人脸上存在遮挡物的样
本人脸图像；该预设相似度集包含每张人脸上存在遮挡物的样本人脸图像与该基准图片的相似度；
19.构建预设卷积神经网络模型，将该预设卷积神经网络模型确定为当前卷积神经网络模型；
20.基于该当前卷积神经网络模型，对该样本数据集中的多张人脸上存在遮挡物的样本人脸图像进行预测操作，确定出该每张人脸上存在遮挡物的样本人脸图像与该基准图片的预测相似度；
21.基于该预测相似度和该相似度，确定损失值；
22.当该损失值大于预设阈值时，基于该损失值进行反向传播，对该当前卷积神经网络模型进行更新以得到更新后的卷积神经网络模型，将该更新后的卷积神经网络模型重新确定为该当前卷积神经网络模型；重复步骤：基于该当前卷积神经网络模型，对该样本数据集中的多张人脸上存在遮挡物的样本人脸图像进行预测操作，确定出每张人脸上存在遮挡物的样本人脸图像与该基准图片的预测相似度；
23.当该损失值小于或等于该预设阈值时，将该当前卷积神经网络模型确定为该相似度确定模型。
24.可选的，该获取样本数据集中的该预设相似度集的方法，包括：
25.获取该多张人脸上存在遮挡物的样本人脸图像和该基准图片；
26.对该多张人脸上存在遮挡物的人脸图像中的每张人脸上存在遮挡物的人脸图像进行提取特征操作，得到第一特征集；该第一特征集包含所述每张人脸上存在遮挡物的人脸图像上各关键点的特征信息；
27.对该基准图片进行提取特征操作，得到第二特征；第二特征包含所述基准图片上各关键点的特征信息；
28.根据该第一特征集和该第二特征确定出该预设相似度集。
29.可选的，该对象配对模型包括串连的特征提取子模型和特征比对子模型；
30.该将该目标图像和该人脸底库图片集输入对象配对模型，得到比对结果信息，包括：
31.将该目标图像和该人脸底库图片集输入该特征提取子模型，得到该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息；
32.将该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，得到该比对结果信息。
33.可选的，该将该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，得到该比对结果信息，包括：
34.将该目标图像的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，确定出相似程度值集合；该相似程度值集合包含该目标图像与该人脸底库图片集中每张人脸图像对应的相似度程度值；
35.从该相似程度值集合中确定出目标相似程度值；该目标相似程度值大于等于非目标相似程度值；
36.基于该目标相似程度值确定出该比对结果信息。
37.可选的，该获取人脸图像集包括：
38.获取待识别视频；
39.对该待识别视频进行检测操作，得到人脸图像集，该人脸图像集中的人脸图像为人脸上存在遮挡物且标识有人脸区域的人脸图像；
40.对该人脸图像集中的每张人脸上存在遮挡物的人脸图像进行对齐处理，得到对齐后图像集；
41.将该对齐后图像集确定为该人脸图像集。
42.本技术在另一方面还公开了一种人脸识别装置，其包括：
43.图像获取模块，用于获取人脸图像集和该人脸底库图片集；该人脸图像集中的每张人脸图像为人脸上存在遮挡物的人脸图像；
44.相似度确定模块，用于确定出该人脸图像集对应的相似度集；该相似度集包含该每张人脸图像对应的相似度，该相似度表征该每张人脸图像与基准图片的相似关系；
45.目标图像确定模块，用于基于该相似度集和该人脸图像集确定出目标图像；
46.比对模块，用于将该目标图像和该人脸底库图片集输入对象配对模型，得到比对结果信息；该比对结果信息表征该目标图像与人脸底库图片集的匹配关系。
47.本技术在另一方面还公开了一种电子设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述的人脸识别方法。
48.本技术在另一方面还公开了一种计算机存储介质，该计算机存储介质中存储有至少一条指令或至少一段程序，该至少一条指令或至少一段程序由处理器加载并执行以实现上述的人脸识别方法。
49.采用上述技术方案，本技术提供的人脸识别方法具有如下有益效果：
50.本技术提供的该人脸识别方法由于是基于多张人脸图像进行识别，提高了识别准确度，且通过对多张人脸图像先进行筛选，可以得到样本质量最好的目标图像，从而可以基于该目标图像来进行识别匹配，进一步提高了识别效率和准确度。
附图说明
51.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本技术实施例提供的一种应用场景的示意图；
53.图2为本技术实施例提供的一种人脸识别方法的流程示意图；
54.图3为本技术实施例提供的一种标注人脸识别区域的人脸图像；
55.图4为本技术实施例提供的对人脸图像进行对齐处理前后的图像对比图；
56.图5为本技术实施例提供的一种人脸识别装置的结构示意图；
57.图6为本技术实施例提供的一种人脸识别方法的服务器的硬件结构框图。
具体实施方式
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
60.请参阅图1，图1为本技术实施例提供的一种应用场景的示意图。该实施环境包括配置有终端101、人脸识别装置102和数据库103。终端101通过人脸识别装置102进行人脸识别。人脸识别装置102可以配置在人脸用户终端101中，也可以独立于人脸用户终端101而配置。实施环境中可以有一至多个人脸识别装置102，组成一个人脸识别装置的集群，当需要进行人脸验证的人脸用户终端101的个数较多时，多个人脸识别装置102可以并行执行操作，从而提高人脸验证的速度。
61.数据库103中存储有人脸识别装置102在验证过程中所需的数据，如待识别的人脸图像及与之相对应的登录账号信息，以及与所述登录账号一一对应的注册信息、人脸底库图片，所述注册信息包括人脸底库图片和与之相对应的注册密码信息。
62.人脸用户终端101负责采集多张人脸图像，得到人脸图像集，人脸图像集中的每张人脸图像为人脸上存在遮挡物的人脸图像；并将其与相应的登陆账号信息发送给人脸识别装置102，人脸识别装置102向数据库103查询相关信息，通过先确定出该人脸图像集对应的相似度集；该相似度集包含该每张人脸图像对应的相似度，该相似度表征该每张人脸图像与基准图片的相似关系；再基于该相似度集和该人脸图像集确定出目标图像，将该目标图像和该人脸底库图片集输入对象配对模型，从而得到比对结果信息；该比对结果信息表征该目标图像与人脸底库图片集的匹配关系，继而完成对当前人脸图像的识别。
63.数据库103除了可以独立于人脸识别装置102和终端101配置之外，还可以配置在人脸识别装置102中，使得人脸识别装置102可以直接从自身配置的数据库中获取所需的数据，或者数据库103还可以配置在终端101中，使得人脸识别装置102从终端101配置的数据库中获取所需的数据，本发明实施例在此不对数据库103的配置方式进行具体限定。
64.终端101与人脸识别装置102之间通过网络进行通信，人脸识别装置102与数据库103之间也通过网络进行通信，该网络可以为无线网络或有线网络。
65.可选的，终端可以是图1所示的终端，比如台式电脑，笔记本电脑、手机、平板电脑，数字助理、智能可穿戴设备等类型的实体设备；其中，智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。
66.该终端可以包括通过数据总线相连的显示屏、存储设备和处理器。所述显示屏用于待监控设备的虚拟图像以及待监控设备中各个子设备之间的连接关系，该显示屏可以是手机或者平板电脑的触摸屏等。存储设备用于存储拍摄装置的程序代码和数据资料等，该存储设备可以是终端的内存，也可以是智能媒体卡(smart media card)、安全数字卡
(secure digitalcard)、快闪存储器卡(flash card)等储存设备。所述处理器可以是单核或多核处理器。
67.以下介绍本技术一种人脸识别方法的具体实施例，图2为本技术实施例提供的一种人脸识别方法的流程示意图，本说明书提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：
68.s201：获取人脸图像集；该人脸图像集中的每张人脸图像为人脸上存在遮挡物的人脸图像。
69.在本实施例中，该人脸图像上存在遮挡物可以是眼镜、墨镜、帽子、装饰品或者口罩等，本技术主要以遮挡物为口罩进行描述，在特殊时期，佩戴口罩属于一种常态，且当用户在外部环境中摘除口罩容易造成交叉感染，这使得在外部环境中进行账户登录或者身份验证时，用户不便于摘除口罩，而采用本技术的该种人脸识别方法在可以对口罩遮挡人脸的人脸图像进行同时，还能够保证识别的精准度和效率。
70.在一种可选的应用场景中，该人脸识别方法可应用于刷脸登录或者支付场景中，以下将以该应用场景来描述步骤s201的内容，预先注册步骤有：用户输入注册信息，所述注册信息包括登录账号和相应的人脸底库图像，上述人脸底库图像可以为采集注册用户在注册时的人脸图像，也可以为注册用户向注册系统提交的人脸图像，所述人脸底库图像与登录账号一一对应，所述人脸底库图像作为登录账号的图像密码。
71.在一个可选的实施例中，上述步骤s201中可以通过拍摄多张人脸图像来得到上述人脸图像集，在拍摄过程中可以基于不同的拍摄参数来进行拍摄，进而得到对应的拍摄参数对应的人脸图像，当然，根据需要也可以直接拍摄。
72.在另一个可选的实施例中，上述步骤s201还可以具体阐述为：获取待识别视频；对该待识别视频进行检测操作，得到人脸图像集，该人脸图像集中的人脸图像为人脸上存在遮挡物且标识有人脸区域的人脸图像；可选的，为了提高检测的效率，可以采用多任务卷积神经网络(multi
‑
task convolutional neural network，mtcnn)或者sdd算法实现对待识别视频中的每帧人脸图像的检测，从而得到该人脸图像集；在本实施例中，如图3所示，图3为本技术实施例提供的一种标注人脸识别区域的人脸图像。上述标识人脸区域的方式可以是用矩形框的将人脸标定出来，以区别背景中的其他物体。
73.在一个可选的实施例中，该人脸识别方法应用于登录用户数据隐私度较高的账号时，所述待识别视频中包含与用户交互的语音信息，例如，在采集用户人像视频时，终端可以播报请“请正视前方，请向左转，请向右转”或者“请眨眼”等信息，从而获取包含用户多种人脸姿态的人脸图像的待识别视频，增加了人脸图像的丰富性，有利于提高后续对人脸图像识别的准确度。
74.在一个可选的实施例中，为了进一步提高人脸识别的准确度和稳定性，在所述对该待识别视频进行检测操作之后，上述对该待识别视频进行检测操作之后，该人脸识别方法还可以包括以下内容：对该人脸图像集中的每张人脸上存在遮挡物的人脸图像进行对齐处理，得到对齐后图像集；将该对齐后图像集确定为该人脸图像集，参考图4，图4为本技术
实施例提供的对人脸图像进行对齐处理前后的图像对比图，其中，图4(a)为对齐处理前的人脸图像，图4(b)为对齐处理后的人脸图像，可见，对齐操作主要是对人脸姿态进行调整，即将待处理的人脸图像均调整为正姿态。
75.可选的，人脸识别装置可以将人脸图像集输入到用于对齐图片的预设深度学习模型，输出所述对齐后图像集，所述预设深度学习模型的训练方法可以具体阐述为：获取样本数据集，所述样本数据集包括多张人脸上存在遮挡物的样本人脸图像和每张人脸上存在遮挡物的人脸图像对齐后的样本图片；构建预设卷积神经网络模型，将所述预设卷积神经网络模型确定为当前卷积神经网络模型；基于所述当前卷积神经网络模型，对所述样本数据集中的人脸上存在遮挡物的样本人脸图像进行预测对齐操作，确定出所述人脸上存在遮挡物的人脸图像的预测对齐后的图片；基于所述每张人脸上存在遮挡物的人脸图像对齐后的样本图片和预测对齐后的图片，确定损失值；当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前卷积神经网络模型进行更新以得到更新后的卷积神经网络模型，将所述更新后的卷积神经网络模型重新确定为所述当前卷积神经网络模型；重复步骤：基于所述当卷积神经网络模型，对所述样本数据集中的人脸上存在遮挡物的样本人脸图像进行预测对齐操作，确定出所述人脸上存在遮挡物的人脸图像的预测对齐后的图片；当所述损失值小于或等于所述预设阈值时，将所述当前卷积神经网络模型确定为所述预设深度学习模型。
76.可选的，获取样本数据集包括对多张人脸上存在遮挡物且标识有人脸区域的样本人脸图像和每张人脸上存在遮挡物的人脸图像且标识有人脸区域的对齐后的样本图片，对该样本人脸图像以及样本图片进行标识人脸区域的方式可以如上述采用mtcnn或者sdd算法实现，也可以采用人工标注的方式实现。
77.在一个可选的实施例中，上述获取样本数据集中的每张人脸上存在遮挡物的人脸图像对齐后的样本图片方法可以具体阐述为：获取多张人脸上存在遮挡物的样本人脸图像；对每张人脸存在遮挡物的样本人脸图像进行特征提取操作，并利用仿射变换得到每张人脸存在遮挡物的样本人脸图像对应的仿射变换矩阵；基于每张样本人脸图像对应的仿射变换矩阵和对应的样本人脸图像确定出对齐后的样本图片。
78.例如，当样本人脸图像有n张(n为大于2的自然数)，分别记为x1,x2,x3
……
xn；得到的仿射变换矩阵也相应的有n个，分别记为m1,m2,m3
……
mn，其中，x1与m1对应，xn与mn对应，从而根据x1与m1可以确定出样本人脸图像x1对齐后的样本图片，同理，根据xn与mn可以确定出样本人脸图像xn对齐后的样本图片。
79.为了提高对齐的准确度，在另一个可选的实施例中，上述获取样本数据集的方法还可以具体阐述为：获取多张无口罩遮挡的样本人脸图像；对每张无口罩遮挡的人脸图像进行添加口罩区域的操作，得到所述多张人脸上存在遮挡物的样本人脸图像；对每张无口罩遮挡的样本人脸图像进行特征提取操作，并利用仿射变换得到每张无口罩遮挡的样本人脸图像对应的仿射变换矩阵；基于每张样本人脸图像对应的仿射变换矩阵和对应的样本人脸图像确定出对齐后的样本图片。
80.需要说明的是，在本实施例中，对人脸图像进行特征提取的操作即是对人脸图像上的关键点进行提取，该关键点可以包括眼睛、鼻子和嘴巴等。
81.以上是对刷脸登录或者支付场景中获取人脸图像集的描述，在另一种应用场景
中，该人脸识别方式可应用于用户动态识别，例如安检场景中，后续步骤s204中获取人脸底库集的方法可以通过第三方系统获取用户的证件照(身份证、护照、驾驶证等)；在本实施例中，由于录制视频过程中，用户可能是动态的，为了提高获取人脸图像集的效率，在获取待识别视频的过程中，可以对该视频中的人脸图像进行实时跟踪检测；还可以对视频中跟踪检测出来为同一人脸进行标识，即在视频中显示出其对应的标识编号，便于当视频中出现两个人脸图像时，能够区别这两个人脸图像，便于后续能够对多个人脸图像的同时识别，提高识别效率。
82.可选的，可以采用以下多目标跟踪算法实现：对称网络的多目标跟踪算法、基于最小多割图模型的多目标跟踪算法或者通过时空域关注模型学习多目标跟踪算法等，具体的，以基于对称网络的多目标跟踪算法为例，可以先训练siamese对称卷积网络，可选的，该siamese对称卷积网络包括多个卷积层、多个全连接层以及分类损失层，在实时采集待识别视频过程中，通过实时将视频中的前后帧图像输入到该siamese对称卷积网络，就可以输出对这两帧图像中的人脸图像的相似度，即表观特征相似度，并通过基于梯度下降提升算法的分类器融合运动特征，得到融合运动和表观特征的相似度判别，并利用线性规划优化算法得到多目标跟踪结果。
83.可选的，可以将上述人脸图像集输入到一个训练好的分值评估网络模型，将上述人脸图像集输入到该图像识别网络模型中，即可输出该人脸图像集中每张人脸图像对应的分值，确定出最大的分值对应的人脸图像即为目标人脸图像，具体的，以上步骤可以是由下述的步骤s202
‑
s203来实现。
84.s202：确定出该人脸图像集对应的相似度集；该相似度集包含该每张人脸图像对应的相似度，该相似度表征该每张人脸图像与基准图片的相似关系。
85.在一个可选的确定出该人脸图像集对应的相似度集的实施例中，人脸识别装置可以将该人脸图像集输入相似度确定模型，得到该相似度集。
86.在一个可选的实施例中，该相似度确定模型的训练方法可以具体表示为：获取样本数据集，该样本数据集包括预设相似度集和多张人脸上存在遮挡物的样本人脸图像；该预设相似度集包含每张人脸上存在遮挡物的样本人脸图像与该基准图片的相似度；构建预设卷积神经网络模型，将该预设卷积神经网络模型确定为当前卷积神经网络模型；基于该当前卷积神经网络模型，对该样本数据集中的多张人脸上存在遮挡物的样本人脸图像进行预测操作，确定出该每张人脸上存在遮挡物的样本人脸图像与该基准图片的预测相似度；基于该预测相似度和该相似度，确定损失值；当该损失值大于预设阈值时，基于该损失值进行反向传播，对该当前卷积神经网络模型进行更新以得到更新后的卷积神经网络模型，将该更新后的卷积神经网络模型重新确定为该当前卷积神经网络模型；重复步骤：基于该当前卷积神经网络模型，对该样本数据集中的多张人脸上存在遮挡物的样本人脸图像进行预测操作，确定出每张人脸上存在遮挡物的样本人脸图像与该基准图片的预测相似度；当该损失值小于或等于该预设阈值时，将该当前卷积神经网络模型确定为该相似度确定模型。
87.需要说明的是，该基准图片可以是与样本人脸图像对应的人脸上不存在遮挡物的人脸图像或者是存在遮挡物的人脸图像，该基准图片还可以是任意的基准图片，但上述的基准图片均需要满足图片上人脸图像清晰的特点，以便于后续可以基于该相似度确定模型确定出准确的每张人脸图像对应的相似度，进而能够更准确的确定出更清晰地、识别度更
高的目标图像。上述多张样本人脸图像可以是一个人的人脸图像，为了提高训练效率和准确度，上述多张样本人脸图像也可以是多个人的人脸图像。
88.在一个可选的实施例中，该获取样本数据集中的该预设相似度集的方法可以具体表示为：获取该多张人脸上存在遮挡物的样本人脸图像和该基准图片；对该多张人脸上存在遮挡物的人脸图像中的每张人脸上存在遮挡物的人脸图像进行提取特征操作，得到第一特征集；该第一特征集包含上述每张人脸上存在遮挡物的人脸图像上各关键点的特征信息；对该基准图片进行提取特征操作，得到第二特征；该第二特征包含该基准图片上各关键点的特征信息；根据该第一特征集和该第二特征确定出该预设相似度集。可选的，得到的第一特征集中的每个第一特征是一种特征向量，第二特征可以是一种特征向量，从而可以通过计算每个第一特征向量与第二特征向量的余弦距离，并将该余弦距离确定为该相似度。
89.需要说明的是，上述基准图片还可以是基准图片集，该基准图片集中包含m个基准图片，相对应的，在执行上述步骤过程中，需要将每张人脸图像与每张基准图片进行比对，得到对应的数据集，由步骤s202得到相似度集包含了m个相似度集，一个相似度集包含了一个基准图片与每张人脸图像对应的相似度。
90.s203：基于该相似度集和该人脸图像集确定出目标图像。
91.在一个可选的基于该相似度集和该人脸图像集确定出目标图像的实施例中，人脸识别装置可以将该相似度集输入训练好的相似度分值确定网络，得到相似度分值集；该相似度分值集包含每张人脸图像对应的相似度的分值；从该相似度分值集中确定出目标相似度分值；该目标相似度分值大于等于非目标相似度分值；从该人脸图像集中确定出与该目标相似度分值对应的人脸图像，得到该目标图像。
92.在一种可选的实施例中，可以将相似度分值集中相似度分值最大的数值作为目标相似度分值，当然，目标相似度分值可以是一个，也可以是多个。可选的，该相似度分值可以是0
‑
1的实数，也可以是其他设定范围的数值，当该相似度分值越大说明其对应的人脸图像的分值越高，也就是说，该人脸图像越有利于识别。
93.在本实施例中，确定出的该目标图像可以是一张图像，也可以是多张图像。
94.s204：获取人脸底库图片集。
95.在本实施例中，通过上述说明可知，该人脸底库图片集根据应用场景，可以是在用户注册时采集或者提交的人脸图像，也可以通过第三方系统获取的证件照。
96.s205：将该目标图像和该人脸底库图片集输入对象配对模型，得到比对结果信息；该比对结果信息表征该目标图像与人脸底库图片集的匹配关系。
97.在一个可选的实施例中，该对象配对模型包括串连的特征提取子模型和特征比对子模型。人脸识别装置可以将该目标图像和该人脸底库图片集输入该特征提取子模型，得到该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息；将该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，得到该比对结果信息。
98.在一个可选的实施例中，上述步骤s205的实施方案可以具体表示为：将该目标图像的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，确定出相似程度值集合；该相似程度值集合包含该目标图像与该人脸底库图片集中每张人脸图像对应的相似度程度值；从该相似程度值集合中确定出目标相似程度值；该目标
相似程度值大于等于非目标相似程度值；基于该目标相似程度值确定出该比对结果信息。
99.可选的，可以将该相似程度值集合中数值最大的相似程度值确定为该目标相似程度值；例如，该相似程度值可以是0
‑
1内的实数，该人脸底库图片集中包含有5张人脸底库图片，分别为图片a,图片b,图片c,图片d和图片e，而该目标图像与上述人脸底库图片对应的相似程度值依次为0.9,0.8,0.8,0.5和0.2；则目标程度相似值为即为0.9，即相似程度值集合中数值最大的值，从而可以确定0.9对应的图片a与目标人脸图像的匹配度最高，确认登录图片a对应的账号，在安检场景中，可以在终端上显示图片a对应的姓名以及显示匹配成功的信息。
100.可选的，为了提高比对的准确性，当目标相似程度值大于等于非目标相似程度值且大于等于预设阈值时，才输出该目标相似程度对应的人脸底库图片的信息，表明比对成功，否则，说明比对失败，可选的，显示屏上显示比对失败或者识别不成功等表明识别失败的信息，以上述例子为基础进行说明，当预设阈值为0.8时，由于目标程度相似值为0.9，0.9大于0.8，因此，表明比对成功，即可确定当前识别的人脸与0.9对应的图片a相对应，然而，如果预设阈值为0.95时，由于目标程度相似值为0.9，0.9小于0.95，因此，表明比对失败。
101.需要说明的是，由于本技术中的人脸图像为口罩遮挡人脸的图像，在训练上述特征提取子模型、特征比对子模型时，可以选择样本图片中未被遮挡的区域作为输入对模型进行训练，标识人脸区域的区域也可以是指标识未被口罩遮挡的上半部人脸的区域。
102.参阅图5，图5为本技术实施例提供的一种人脸识别装置的结构示意图。本技术在另一方面还公开了一种人脸识别装置，其包括：
103.图像获取模块501，用于获取人脸图像集和该人脸底库图片集；该人脸图像集中的每张人脸图像为人脸上存在遮挡物的人脸图像；
104.相似度确定模块502，用于确定出该人脸图像集对应的相似度集；该相似度集包含该每张人脸图像对应的相似度，该相似度表征该每张人脸图像与基准图片的相似关系；
105.目标图像确定模块503，用于基于该相似度集和该人脸图像集确定出目标图像；
106.比对模块504，用于将该目标图像和该人脸底库图片集输入对象配对模型，得到比对结果信息；该比对结果信息表征该目标图像与人脸底库图片集的匹配关系。
107.在一个可选的实施例中，相似度确定模块，还用于将该人脸图像集输入相似度确定模型，得到该相似度集；
108.目标图像确定模块还用于将该相似度集输入训练好的相似度分值确定网络，得到相似度分值集；该相似度分值集包含每张人脸图像对应的相似度的分值；从该相似度分值集中确定出目标相似度分值；该目标相似度分值大于非目标预设相似度分值；
109.从该人脸图像集中确定出与该目标相似度分值对应的人脸图像，得到该目标图像。
110.在一个可选的实施例中，该相似度确定模型的训练方法可以具体阐述为：
111.获取样本数据集，该样本数据集包括预设相似度集和多张人脸上存在遮挡物的样本人脸图像；该预设相似度集包含每张人脸上存在遮挡物的样本人脸图像与该基准图片的相似度；构建预设卷积神经网络模型，将该预设卷积神经网络模型确定为当前卷积神经网络模型；基于该当前卷积神经网络模型，对该样本数据集中的多张人脸上存在遮挡物的样本人脸图像进行预测操作，确定出该每张人脸上存在遮挡物的样本人脸图像与该基准图片
的预测相似度；基于该预测相似度和该相似度，确定损失值；当该损失值大于预设阈值时，基于该损失值进行反向传播，对该当前卷积神经网络模型进行更新以得到更新后的卷积神经网络模型，将该更新后的卷积神经网络模型重新确定为该当前卷积神经网络模型；重复步骤：基于该当前卷积神经网络模型，对该样本数据集中的多张人脸上存在遮挡物的样本人脸图像进行预测操作，确定出每张人脸上存在遮挡物的样本人脸图像与该基准图片的预测相似度；当该损失值小于或等于该预设阈值时，将该当前卷积神经网络模型确定为该相似度确定模型。
112.在一个可选的实施例中，该获取样本数据集中的该预设相似度集的方法可以具体表示为：获取该多张人脸上存在遮挡物的样本人脸图像和该基准图片；对该多张人脸上存在遮挡物的人脸图像中的每张人脸上存在遮挡物的人脸图像进行提取特征操作，得到第一特征集；该第一特征集包含上述每张人脸上存在遮挡物的人脸图像上各关键点的特征信息；对该基准图片进行提取特征操作，得到第二特征；该第二特征包含上述基准图片上各关键点的特征信息；根据该第一特征集和该第二特征确定出该预设相似度集。
113.可选的，该对象配对模型包括串连的特征提取子模型和特征比对子模型；
114.比对模块还用于将该目标图像和该人脸底库图片集输入该特征提取子模型，得到该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息；将该目标图像对应的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，得到该比对结果信息。
115.在一个可选的实施例中，对比模块还用于将该目标图像的特征信息和该人脸底库图片集中每张人脸图像对应的特征信息输入该特征比对子模型，确定出相似程度值集合；该相似程度值集合包含该目标图像与该人脸底库图片集中每张人脸图像对应的相似度程度值；从该相似程度值集合中确定出目标相似程度值；该目标相似程度值大于等于非目标相似程度值；基于该目标相似程度值确定出该比对结果信息。
116.在一个可选的实施例中，图像获取模块还用于获取待识别视频；对该待识别视频进行检测操作，得到人脸图像集，该人脸图像集中的每张人脸图像为人脸上存在遮挡物且标识有人脸区域的人脸图像；对该人脸图像集中的每张人脸上存在遮挡物的人脸图像进行对齐处理，得到对齐后图像集；将该对齐后图像集确定为该人脸图像集。
117.本技术实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图6是本技术实施例提供的一种人脸识别方法的服务器的硬件结构框图。如图6所示，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)610(处理器610可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器630，一个或一个以上存储应用程序623或数据622的存储介质620(例如一个或一个以上海量存储设备)。其中，存储器630和存储介质620可以是短暂存储或持久存储。存储在存储介质620的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器610可以设置为与存储介质620通信，在服务器600上执行存储介质620中的一系列指令操作。服务器600还可以包括一个或一个以上电源660，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口640，和/或，一个或一个以上操作系统821，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
118.输入输出接口640可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器600的通信供应商提供的无线网络。在一个实例中，输入输出接口640包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口640可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
119.本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器600还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。
120.本技术的实施例还提供了一种电子设备，该电子设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或该指令集由处理器加载并执行以实现如上述的数据传输方法。
121.本技术的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种数据传输方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述数据传输方法。
122.可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
123.由上述本技术提供的人脸识别方法、装置、电子设备及存储介质的实施例可见，本技术中获取人脸图像集；该人脸图像集中的每张人脸图像为人脸上存在遮挡物的人脸图像；确定出该人脸图像集对应的相似度集；该相似度集包含该每张人脸图像对应的相似度，该相似度表征该每张人脸图像与基准图片的相似关系；基于该相似度集和该人脸图像集确定出目标图像；获取人脸底库图片集；将该目标图像和该人脸底库图片集输入对象配对模型，得到比对结果信息；该比对结果信息表征该目标图像与人脸底库图片集的匹配关系。如此，可以提高识别效率和准确度。
124.需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
125.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
126.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
127.以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。