人脸识别方法及系统与流程

1.本发明涉及计算机技术领域，具体而言，涉及一种人脸识别方法及系统。


背景技术：

2.目前由于医院大厅和门诊处人数多且人流量大，医院监控中大部分人脸被遮挡，无法精确检测识别人脸。并且为了积极响应现在疫情防控要求，所有人在进入医院时必须佩戴口罩。由于以前的神经网络训练数据大多是未佩戴口罩时训练的参数，无法检测到佩戴口罩的人脸，同时也无法进行人脸识别。而对于目前市面上佩戴口罩的人脸识别，由于无法获得远距离低分辨率的人脸而造成远距离人脸识别效果不好，由于口罩遮挡大部分人脸无法对应所剩人脸的小部分来进行人脸识别。


技术实现要素：

3.本发明的目的在于提供了一种人脸识别方法及系统，用以解决现有技术中存在的上述问题。
4.第一方面，本发明实施例提供了一种人脸识别方法，包括：
5.采集实时监控中的监控图像，所述监控图像中包含监控对象的人脸图像，所述监控对象戴口罩，且所述口罩遮住所述监控对象的人脸的下部分，所述人脸的下部分至少包括嘴巴；
6.基于检测模型，在监控图像中检测出人脸区域，得到人脸图像框和口罩框；
7.基于所述口罩框的中心点和宽高，以及所述人脸图像框得中心点和宽高，得到人脸上部分区域；
8.对人脸上部分区域进行人脸重构，得到高分辨率人脸上部分图像；
9.通过人脸识别模型，基于所述高分辨率人脸上部分图像识别出所述监控对象的身份信息；
10.若所述身份信息与所述特殊数据库中的人脸信息匹配，启动报警系统并进行目标跟踪；
11.所述人脸识别模型包括一个识别主干网络、一个空间金字塔池化网络、一个识别全连接层、一个分类全连接层和一个识别模块；所述识别主干网络的输入是高分辨率的人脸上部分图像，空间金字塔池化网络的输入是主干网络的输出，全连接层的输入是空间金字塔池化网络的输出，识别模块的输入是全连接层的输出，所述识别模块的输出是所述监控对象的身份信息。
12.可选的，所述检测模型包括一个检测主干网络、一个特征金字塔网络和一个单点无头人脸检测器网络；
13.所述主干网络的输入是监控图像，特征金字塔网络的输入是主干网络的输出，单点无头人脸检测器网络的输入是特征金字塔网络的输出，所述单点无头人脸检测器网络的输出是所述口罩区域和人脸上部分区域。
14.可选的，所述检测模型的训练方法包括：
15.获得人脸检测训练集，所述人脸检测训练集包括多张训练图像和训练标注值；
16.对所述训练图像进行预处理以及数据加强，得到加强图像；
17.将所述加强图像输入所述检测主干网络中，所述检测主干网络包括多层卷积层，所述检测主干网络的最后三层的不同维度的卷积分别输出所述加强图像的第一特征、第二特征和第三特征；基于特征金字塔网络，对所述第一特征、所述第二特征和所述第三特征进行特征融合，得到第一融合特征、第二融合特征和第三融合特征；
18.将第一融合特征、第二融合特征和第三融合特征输入单点无头人脸检测器中，通过单点无头人脸检测器的上下文模块分别对第一融合特征、第二融合特征和第三融合特征进行特征加强，得到对第一加强特征、第二加强特征和第三加强特征；
19.通过单点无头人脸检测器网络的检测模块，基于第一加强特征、第二加强特征和第三加强特征，得到输出特征值；
20.基于所述输出特征值的特征尺寸和所述训练标注值，得到标注特征值；
21.获得所述输出特征值和所述标注特征值的检测损失值；
22.获得所述检测模型训练的最大迭代次数；
23.当所述检测损失值小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的检测模型。
24.可选的，所述通过单点无头人脸检测器网络的检测模块，基于第一加强特征、第二加强特征和第三加强特征，得到输出特征值，包括：
25.通过单点无头人脸检测器网络的检测模块中的1
×
1卷积，四次调整第一加强特征通道，得到第一输出特征值，所述第一输出特征值包括第一检测目标的概率、第一特征值中检测框的调整参数向量、第一特征值中检测类别概率向量和第一特征值中人脸检测点向量，所述第一输出特征值表征监控图像中的大人脸的特征；
26.通过单点无头人脸检测器网络的检测模块中的1
×
1卷积，四次调整第二加强特征通道，得到第二输出特征值，所述第二输出特征值包括第二检测目标的概率、第二特征值中检测框的调整参数向量、第二特征值中检测类别概率向量和第二特征值中人脸检测点向量，所述第二输出特征值表征监控图像中的中人脸的特征；
27.通过单点无头人脸检测器网络的检测模块中的1
×
1卷积，四次调整第三加强特征通道，得到第三输出特征值，所述第三输出特征值包括第三检测目标的概率、第三特征值中检测框的调整参数向量、第三特征值中检测类别概率向量和第三特征值中人脸检测点向量，所述第三输出特征值表征监控图像中的小人脸的特征。
28.可选的，所述获得所述输出特征值和所述标注特征值的检测损失值，包括：
29.所述检测模型的损失函数为：dloss(p,q,x,t)＝bloss(p,q)+bsloss(x)+lsloss(t)；
30.其中，dloss(p,q,x,t)是所述输出特征值和所述标注特征值的检测损失值；
31.所述bsloss(x)具体通过下述公式所述计算方式获得：
[0032][0033]
其中，所述x＝x1-x2，所述x1是一个输出特征值中检测框的调整参数向量，所述x2
为所述标注特征值的标注的检测框的调整参数向量，所述bsloss为所述x1、x2的损失值；
[0034]
所述bloss具体通过下述公式所述计算方式获得：
[0035][0036]
其中，所述bloss是每个检测框的类别损失值，p为输出特征值中检测类别概率向量，q所述标注特征值的标注的类别概率向量；
[0037]
所述lsloss具体通过下述公式所述计算方式获得：
[0038][0039]
其中,所述t＝t1-t2，所述t1是一个输出特征值中人脸检测点向量，所述t2为所述标注特征值的标注的人脸检测点向量，所述lsloss为所述t1、t2的损失值。
[0040]
可选的，所述人脸识别模型的训练方法包括：
[0041]
获得人脸识别训练集，所述人脸识别训练集包括多张识别训练图像，多张识别训练图像包括基本人脸图像、训练正样本图像和训练负样本图像；
[0042]
对所述识别训练图像进行预处理以及数据加强，得到识别加强图像；
[0043]
将所述识别加强图像输入所述识别主干网络中，得到基本人脸图像特征、训练正样本特征和训练负样本特征；
[0044]
通过空间金字塔池化网络，基于所述基本人脸图像特征、所述训练正样本特征、所述训练负样本特征，得到固定尺寸的基本人脸图像特征矩阵、训练正样本特征矩阵和训练负样本特征矩阵；
[0045]
所述基本人脸图像特征矩阵、训练正样本特征矩阵和训练负样本特征矩阵分别通过所述识别全连接层后，分别得到基本人脸图像特征向量、训练正样本特征向量和训练负样本特征向量；即所述基本人脸图像特征矩阵通过所述识别全连接层后得到基本人脸图像特征向量，训练正样本特征矩阵通过所述识别全连接层后得到训练正样本特征向量，训练负样本特征矩阵通过所述识别全连接层后得到训练负样本特征向量；
[0046]
对基本人脸图像特征向量、训练正样本特征向量和训练负样本特征向量分别进行l2标准化处理处理，得到标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量；
[0047]
基于标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量，构建分类器，获得识别损失值；
[0048]
获得所述人脸模型训练的最大迭代次数，若所述人脸识别损失值不大于阈值或人脸模型训练迭代次数小于或者等于所述最大迭代次数时停止训练所述人脸识别模型，得到训练好的人脸识别模型。
[0049]
可选的，所述基于标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量，构建分类器，获得识别损失值，包括：
[0050]
基于所述类别全连接层分别对标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量进行分类，得到类别特征向量；
[0051]
所述人脸识别模型的识别损失值是所述人脸识别特征向量损失值和所述加权分类特征向量损失值的相加之和，所述分类特征向量损失值是所述类别特征向量与标注类别
特征向量通过交叉熵损失函数得到的损失值，所述人脸识别特征向量损失值是基本人脸图像特征向量、训练正样本特征向量和训练负样本特征向量之间三元组损失函数值；
[0052]
所述三元组损失函数为：l
t
＝(d
a,p-d
a,n
+α)
[0053]
其中l
t
是三元组损失函数值，d
a,p
是第一距离，所述第一距离是所述人脸识别特征向量与所述训练正样本的距离值，d
a,n
是第二距离，所述第二所述人脸识别特征向量与所述训练负样本的距离值；α是根据实际需要设定的识别阈值参数；
[0054]
所述第一距离是所述人脸识别特征向量与所述训练正样本的距离值的计算方式为：
[0055]da,p
＝dist(x,y1)+β*cos(θ1)
[0056]da,n
＝dist(x,y2)+β*cos(θ2)
[0057]
其中，β是权量因子；
[0058][0059][0060][0061][0062]
其中，xi为所述人脸识别特征向量，y1i为所述正样本的特征向量；，y2i为所述负样本的特征向量。
[0063]
可选的，所述通过空间金字塔池化网络，基于所述基本人脸图像特征、所述训练正样本特征、所述训练负样本特征，得到固定尺寸的基本人脸图像特征矩阵、训练正样本特征矩阵和训练负样本特征矩阵，包括：
[0064]
将所述基本人脸图像特征划为第一数量基本人脸图像特征，将所有的基本人脸图像特征组合在一起，然后使用对应大小的池化核对其进行池化得到第一数量特征，得到固定尺寸的基本人脸图像特征矩阵；
[0065]
将所述训练正样本特征划分为第二数量训练正样本特征，将所有的训练正样本特征组合在一起，然后使用对应大小的池化核对其进行池化得到第二数量特征，得到固定尺寸的训练正样本特征矩阵；
[0066]
将所述训练负样本特征划分为第三数量训练正样本特征，将所有的训练负样本特征组合在一起，然后使用对应大小的池化核对其进行池化得到第三数量特征，得到固定尺寸的训练负样本特征矩阵。
[0067]
可选的，所述对人脸上部分区域进行人脸重构，得到高分辨率人脸上部分图像，包括：
[0068]
通过双三次插值法对所述人脸上部分区域进行尺寸放大，得到目标图像；
[0069]
基于神经网络的卷积层，通过滑动框以设定步长在目标图像抽取出多个第一高维向量特征向量；所述设定部长为2；第一高维向量特征向量的维度为第一设定维度；
[0070]
对第一高维向量特征向量进行非线性映射，得到第二高维向量特征向量；第二高维向量特征向量的维度为第二设定维度；多个第一高维向量特征向量对应得到多个第二高维向量特征向量；
[0071]
聚合多个第二高维向量特征向量，得到高分辨率人脸上部分图像。
[0072]
第二方面，本发明实施例提供了一种人脸识别方法及系统，包括：
[0073]
采集模块，用于采集实时监控中的监控图像，所述监控图像中包含监控对象的人脸图像，所述监控对象戴口罩，且所述口罩遮住所述监控对象的人脸的下部分，所述人脸的下部分至少包括嘴巴；所述监控对象是人；
[0074]
检测模块，用于基于检测模型，在监控图像中检测出人脸区域，得到人脸图像框和口罩框；基于所述口罩框的中心点和宽高，以及所述人脸图像框得中心点和宽高，得到人脸上部分区域；
[0075]
重构模块，用于对人脸上部分区域进行人脸重构，得到高分辨率人脸上部分图像；
[0076]
识别模块，用于通过人脸识别模型，基于所述高分辨率人脸上部分图像识别出所述监控对象的身份信息；
[0077]
报警模块，用于若所述身份信息与所述特殊数据库中的人脸信息匹配，启动报警系统并进行目标跟踪。
[0078]
相较于现有技术，本发明实施例达到了以下有益效果：
[0079]
本发明实施例提供了一种人脸识别方法及系统，包括：采集实时监控中的监控图像，所述监控图像中包含监控对象的人脸图像，所述监控对象戴口罩，且所述口罩遮住所述监控对象的人脸的下部分，所述人脸的下部分至少包括嘴巴；基于检测模型，在监控图像中检测出人脸区域，得到人脸图像框和口罩框；基于所述口罩框的中心点和宽高，以及所述人脸图像框得中心点和宽高，得到人脸上部分区域；对人脸上部分区域进行人脸重构，得到高分辨率人脸上部分图像；通过人脸识别模型，基于所述高分辨率人脸上部分图像识别出所述监控对象的身份信息；若所述身份信息与所述特殊数据库中的人脸信息匹配，启动报警系统并进行目标跟踪；所述人脸识别模型包括一个识别主干网络、一个空间金字塔池化网络、一个识别全连接层、一个分类全连接层和一个识别模块；所述识别主干网络的输入是高分辨率的人脸上部分图像，空间金字塔池化网络的输入是主干网络的输出，全连接层的输入是空间金字塔池化网络的输出，识别模块的输入是全连接层的输出，所述识别模块的输出是所述监控对象的身份信息。
[0080]
首先对监控图像进行人脸检测，设计了一种能检测人脸区域，得到人脸图像框、口罩框和人脸特征点的人脸检测模块。由于监控图像中人脸图像近大远小的特点，设计的人脸检测模型能检测到监控图像中大人脸图像、中人脸图像和小人脸图像。
[0081]
由于目前出现的能对戴口罩的人脸进行识别的人脸识别模型，直接戴口罩人脸进行识别，而口罩的特征会影响识别效果，所以本发明利用人脸检测模型检测到的人脸框和口罩框，得到人脸上部分区域来进行识别。
[0082]
为了解决目前人脸识别模型对于远距离低分辨率的人脸而造成人脸识别效果不
好，本发明通过对人脸重构得到高分辨率人脸图像，得到更好的识别效果。
[0083]
同时对人脸识别模型增加金字塔池化网络，使得任何尺寸人脸能通过全连接层获得特征点，同时的损失函数进行修改，利用交叉熵加强三元组损失函数的收敛效果，提高了人脸识别的准确性。
[0084]
综上所述，本发明实施例提供的一种人脸识别方法及系统所采用的的技术方案能够在仅包含部分人脸的人脸图像(戴口罩的人脸图像)中识别人脸，且对于远处的、低分辨率的人脸也能进行有效识别，为此，提高了人脸识别的有效性和准确性。
附图说明
[0085]
图1是本发明实施例提供的一种人脸识别方法流程图。
[0086]
图2是本发明实施例提供的特征金字塔网络结构示意图。
[0087]
图3是本发明实施例提供的单点无头人脸检测器网络的上下文模块示意图。
[0088]
图4是本发明实施例提供的单点无头人脸检测器网络的检测模块示意图。
[0089]
图5是本发明实施例提供的一种电子设备的方框结构示意图。
[0090]
图中标记：总线500；接收器501；处理器502；发送器503；存储器504；总线接口505。
具体实施方式
[0091]
下面结合附图，对本发明作详细的说明。
[0092]
由于目前疫情原因，出入公共场所，特别是医院，都必须要求戴口罩，目前大多设计的人脸检测模型和识别模型是基于整张人脸进行检测和识别，若人脸区域戴上口罩被遮挡则无法检测和识别，所以设计了一种人脸识别方法。
[0093]
实施例
[0094]
如图1所示，本发明实施例提供了一种人脸识别方法，可以用用于医院、银行等场所，所述方法包括：
[0095]
s101：采集实时监控中的监控图像，所述监控图像中包含监控对象的人脸图像，所述监控对象戴口罩，且所述口罩遮住所述监控对象的人脸的下部分，所述人脸的下部分至少包括嘴巴。
[0096]
s102：基于检测模型，在监控图像中检测出人脸区域，得到人脸图像框和口罩框。
[0097]
s103：基于所述口罩框的中心点和宽高，以及所述人脸图像框得中心点和宽高，得到人脸上部分区域。
[0098]
s104：对人脸上部分区域进行人脸重构，得到高分辨率人脸上部分图像。
[0099]
s105：通过人脸识别模型，基于所述高分辨率人脸上部分图像识别出所述监控对象的身份信息。
[0100]
s106：若所述身份信息与所述特殊数据库中的人脸信息匹配，启动报警系统并进行目标跟踪。
[0101]
所述人脸识别模型包括一个识别主干网络、一个空间金字塔池化网络、一个识别全连接层、一个分类全连接层和一个识别模块；所述识别主干网络的输入是高分辨率的人脸上部分图像，空间金字塔池化网络的输入是主干网络的输出，全连接层的输入是空间金字塔池化网络的输出，识别模块的输入是全连接层的输出，所述识别模块的输出是所述监
控对象的身份信息。
[0102]
通过以上方案，首先对监控图像进行人脸检测，设计了一种能检测人脸区域，得到人脸图像框、口罩框和人脸特征点的人脸检测模块。由于监控图像中人脸图像近大远小的特点，设计的人脸检测模型能检测到监控图像中大人脸图像、中人脸图像和小人脸图像。
[0103]
由于目前出现的能对戴口罩的人脸进行识别的人脸识别模型，直接戴口罩人脸进行识别，而口罩的特征会影响识别效果，所以本发明利用人脸检测模型检测到的人脸框和口罩框，得到人脸上部分区域来进行识别。
[0104]
为了解决目前人脸识别模型对于远距离低分辨率的人脸而造成人脸识别效果不好，本发明通过对人脸重构得到高分辨率人脸图像，得到更好的识别效果。
[0105]
同时对人脸识别模型增加金字塔池化网络，使得任何尺寸人脸能通过全连接层获得特征点，同时的损失函数进行修改，利用交叉熵加强三元组损失函数的收敛效果，提高了人脸识别的准确性。
[0106]
综上所述，本发明实施例提供的一种人脸识别方法及系统所采用的的技术方案能够在仅包含部分人脸的人脸图像(戴口罩的人脸图像)中识别人脸，且对于远处的、低分辨率的人脸也能进行有效识别，为此，提高了人脸识别的有效性和准确性。
[0107]
采集实时监控中的监控图像，监控图像中的人脸图像是戴口罩的原始人脸图像。将监控图像放入检测模型中，对监控图像通过主干网络进行的一系列卷积操作，将最后三层卷积得到的特征放入特征金字塔网络中进行特征融合，将融合后特征放入单点无头人脸的上下文模块进行特征加强，再将特征加强后的特征放入单点无头人脸检测器，检测出人脸图像框、口罩框和人脸特征点。基于所述口罩框的中心点位置和宽高，以及所述人脸图像框得中心点位置和宽高，通过计算得到人脸图像上边框位置和口罩框上部分位置，得到人脸上部分区域。对人脸上部分区域进行人脸重构，通过双三次插值法对所述人脸上部分区域进行尺寸放大，得到的放大后图像，对放大后的图像的每一份图像块分别通过卷积得到的特征向量进行非线性映射，聚合所有图像块的高维特征向量，得到高分辨率人脸上部分图像。将高分辨率人脸上部分图像放入人脸识别模型中，通过主干网络卷积高分辨率人脸上部分图像得到人脸特征，空间金字塔池化网络切分组合操作使得输入全连接层的人脸特征维度固定，全连接层将人脸特征转化为一维得人脸特征向量，人脸特征向量与数据库中想要识别的数据库中的人脸做距离计算，识别成功，则输出身份信息并报警。
[0108]
可选的，所述检测模型包括一个检测主干网络、一个特征金字塔网络和一个单点无头人脸检测器网络；所述主干网络的输入是监控图像，特征金字塔网络的输入是主干网络的输出，单点无头人脸检测器网络的输入是特征金字塔网络的输出，所述单点无头人脸检测器网络的输出是所述口罩区域和人脸上部分区域。
[0109]
可选的，所述检测模型的训练方法包括：
[0110]
获得人脸检测训练集，所述人脸检测训练集包括多张训练图像和训练标注值。
[0111]
人脸检测训练集得训练标注值包括人脸框的中心点位置和宽高，口罩框的中心点和宽高，人脸特征点的位置，人脸特征点包括眼睛两个点。所有中心点和宽高的位置，依据检测模型的最后获得的图片特征的尺寸(如主干网络使用resnet50残差网络结构，用于检测大人脸的特征尺度为28x28，用于检测中人脸的特征尺度为14x14，用于检测小人脸的特征尺度为7x7)缩减比例，以右下角为0点建立坐标轴，坐标轴上的位置就是图片缩小后的位
置，按比例扩大后能得到在原图的位置。
[0112]
对所述训练图像进行预处理以及数据加强，得到加强图像。包括对图像进行cutmix地到马赛克数据等。
[0113]
将所述加强图像输入所述检测主干网络中，所述检测主干网络包括多层卷积层，本发明采用resnet50残差网络，所述检测主干网络的最后三层的结构和输出如下表1所示：
[0114]
表1
[0115][0116][0117]
从con3_x输出所述加强图像的第一特征，从con4_x输出所述加强图像第二特征和从con5_x输出所述加强图像第三特征。
[0118]
基于金字塔网络结构，对所述第一特征、所述第二特征和所述第三特征进行特征融合，得到第一融合特征、第二融合特征和第三融合特征。
[0119]
特征金字塔网络如图2所述，最后一层的维度卷积(con5_x)输出的第一特征为第一融合特征，通过第一融合特征由最后一层的维度卷积(con5_x)上采样的特征与原倒数第二层的第二特征相加得到第二融合特征，第二融合特征由倒数第二层的维度卷积(con4_x)上采样与原倒数第三层的特征相加得到第三融合特征，使得上层的特征信息更加丰富，能更有效的检测到目标。
[0120]
将第一融合特征、第二融合特征和第三融合特征输入单点无头人脸检测器中，通过如图3所示的单点无头人脸检测器的上下文模块分别进入不同3
×
3卷积并且相加，对第一融合特征、第二融合特征和第三融合特征进行特征加强，得到对第一加强特征、第二加强特征和第三加强特征。
[0121]
通过如图4所示的单点无头人脸检测器网络的检测模块，基于第一加强特征、第二加强特征和第三加强特征，得到输出特征值。
[0122]
基于所述输出特征值的特征尺寸(如主干网络使用resnet50残差网络结构，特征尺寸为7x7)和所述训练标注值，得到标注特征值。
[0123]
获得所述输出特征值和所述标注特征值的检测损失值。
[0124]
获得所述检测模型训练的最大迭代次数，本实施例将最大迭代次数设置为800。
[0125]
当所述检测损失值小于或等于阈值或训练迭代次数达到所述最大迭代次数时停止训练，得到训练好的检测模型。最大迭代次数是预先设定的，最大迭代次数的取值可以是500次。
[0126]
可选的，所述通过单点无头人脸检测器网络的检测模块，基于第一加强特征、第二加强特征和第三加强特征，得到输出特征值，包括：
[0127]
所述单点无头人脸检测器网络结构如图4所述，将融合特征经过3x3卷积后和同过上下文模块加强后的特征进行合并，再通过1x1卷积调整通道，得到可与标注数据相对应的输出特征值。
[0128]
通过如图4所示的单点无头人脸检测器网络的检测模块中的1
×
1卷积，调整第一加强特征通道为第一检测目标的概率的维度(1
×
anchor数量，1表示一个表示概率的值)，得到第一检测目标的概率.调整第一加强特征通道为第一特征值中检测框的调整参数向量的维度(4
×
anchor数量，4表示中心点和宽高(x，y，w，h))，得到第一特征值中检测框的调整参数向量。调整第一加强特征通道为第一特征值中检测类别概率向量维度(2x anchor数量，2表示人脸图像或口罩类别)，得到第一特征值中检测类别概率向量。调整第一加强特征通道为第一特征值中人脸检测点向量维度(2x anchor数量，2表示眼睛的两个特征点)，得到第一特征值中人脸检测点向量。所述第一输出特征值表征监控图像中的大人脸的特征。
[0129]
第二输出特征值和第三输出特征值也如上所述第一输出特征值的计算方法，在此不过多赘述。
[0130]
第二输出特征值，所述第二输出特征值表征监控图像中的中人脸的特征。
[0131]
第三输出特征值，所述第三输出特征值表征监控图像中的小人脸的特征。
[0132]
其中，所述anchor数量为用于检测一个特征图的特征图标定检测框，本实施例通过聚类分别对每个输出的特征尺度分别获得3个不同的anchor。
[0133]
需要说明的是，上部分图像包括用户的眼睛。
[0134]
可选的，所述获得所述输出特征值和所述标注特征值的检测损失值，包括：
[0135]
所述检测模型的损失函数为：dloss(p,q,x,t)＝bloss(p,q)+bsloss(x)+lsloss(t)。
[0136]
其中，dloss(p,q,x,t)是所述输出特征值和所述标注特征值的检测损失值。
[0137]
所述bsloss(x)具体通过下述公式所述计算方式获得：
[0138][0139]
其中，所述x＝x1-x2，所述x1是一个输出特征值中检测框的调整参数向量，所述x2为所述标注特征值的标注的检测框的调整参数向量，所述bsloss为所述x1、x2的损失值。
[0140]
所述bloss具体通过下述公式所述计算方式获得：
[0141][0142]
其中，所述bloss是每个检测框的类别损失值，p为输出特征值中检测类别概率向量，q所述标注特征值的标注的类别概率向量。
[0143]
所述lsloss具体通过下述公式所述计算方式获得：
[0144][0145]
其中,所述t＝t1-t2，所述t1是一个输出特征值中人脸检测点向量，所述t2为所述标注特征值的标注的人脸检测点向量，所述lsloss为所述t1、t2的损失值。
[0146]
可选的，所述人脸识别模型的训练方法包括：
[0147]
获得人脸识别训练集，所述人脸识别训练集包括多张识别训练图像，多张识别训练图像包括基本人脸图像、训练正样本图像和训练负样本图像。
[0148]
基本人脸图像是想要识别的标准图像，正样本图像是和基本图像是同一张人脸的图像，负样本图像是和基本图像不是一张人脸的图像。
[0149]
对所述识别训练图像进行预处理以及数据加强，得到识别加强图像。
[0150]
将所述识别加强图像输入所述识别主干网络中，得到基本人脸图像特征、训练正样本特征和训练负样本特征。
[0151]
通过空间金字塔池化网络，基于所述基本人脸图像特征、所述训练正样本特征、所述训练负样本特征，得到固定尺寸的基本人脸图像特征矩阵、训练正样本特征矩阵和训练负样本特征矩阵。
[0152]
所述基本人脸图像特征矩阵、训练正样本特征矩阵和训练负样本特征矩阵分别通过所述识别全连接层后，分别得到基本人脸图像特征向量、训练正样本特征向量和训练负样本特征向量。即所述基本人脸图像特征矩阵通过所述识别全连接层后得到基本人脸图像特征向量，训练正样本特征矩阵通过所述识别全连接层后得到训练正样本特征向量，训练负样本特征矩阵通过所述识别全连接层后得到训练负样本特征向量。
[0153]
对基本人脸图像特征向量、训练正样本特征向量和训练负样本特征向量分别进行l2标准化处理处理，得到标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量。
[0154]
基于标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量，构建分类器，获得识别损失值。
[0155]
获得所述人脸模型训练的最大迭代次数，若所述人脸识别损失值不大于阈值或人脸模型训练迭代次数小于或者等于所述最大迭代次数时停止训练所述人脸识别模型，得到训练好的人脸识别模型。
[0156]
可选的，所述基于标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量，构建分类器，获得识别损失值，包括：
[0157]
基于所述类别全连接层分别对标准化基本人脸图像特征向量、标准化训练正样本特征向量和标准化训练负样本特征向量进行分类，得到类别特征向量。
[0158]
所述人脸识别模型的识别损失值是所述人脸识别特征向量损失值和所述加权分类特征向量损失值的相加之和，所述分类特征向量损失值是所述类别特征向量与标注类别特征向量通过交叉熵损失函数得到的损失值，所述人脸识别特征向量损失值是基本人脸图像特征向量、训练正样本特征向量和训练负样本特征向量之间三元组损失函数值。
[0159]
由于三元组损失函数不好收敛，通过增加分类交叉熵帮助收敛。
[0160]
所述三元组损失函数为：l
t
＝(d
a,p-d
a,n
+α)
[0161]
其中l
t
是三元组损失函数值，d
a,p
是第一距离，所述第一距离是所述人脸识别特征向量与所述训练正样本的距离值，d
a,n
是第二距离，所述第二所述人脸识别特征向量与所述训练负样本的距离值。α是根据实际需要设定的识别阈值参数。
[0162]
一般α是指第一距离和第二距离的最小间隔，这个间隔用来判断距离达到某种程度来判定两个人脸是同一张人脸从而达到人脸识别。α设置越小越三元组损失函数值容易
趋于0，但很难区分不同人脸的相似图像，α值设置越大，三元组损失函数值越难趋于0，导致网络不收敛，所以要依据人脸识别模型和数据库中想要识别的人脸来设置值。例如数据库中想要识别的人脸差别较大，可以把α值设置小一些，数据库中想要识别的人脸差别较小，将α值设置大一些。
[0163]
所述第一距离是所述人脸识别特征向量与所述训练正样本的距离值的计算方式为：
[0164]da,p
＝dist(x,y1)+β*cos(θ1)
[0165]da,n
＝dist(x,y2)+β*cos(θ2)
[0166]
其中，β是权量因子。
[0167][0168][0169][0170][0171]
其中，xi为所述人脸识别特征向量，y1i为所述正样本的特征向量，y2i为所述负样本的特征向量。
[0172]
可选的，所述通过空间金字塔池化网络，基于所述基本人脸图像特征、所述训练正样本特征、所述训练负样本特征，得到固定尺寸的基本人脸图像特征矩阵、训练正样本特征矩阵和训练负样本特征矩阵，包括：
[0173]
将所述基本人脸图像特征划得到第一数量基本人脸图像特征，将所有的基本人脸图像特征组合在一起，然后使用对应大小的池化核对其进行池化得到第一数量特征.得到固定尺寸的基本人脸图像特征矩阵。
[0174]
正样本特征和负样本特征也如上所示方法，得到固定尺寸的正样本特征矩阵和固定尺寸的负样本特征矩阵，在此不过多赘述。
[0175]
本实施例所得128个特征向量，可将其分为两个8x8的特征图，然后使用对应大小的池化核对其进行池化得到2x64个特征。
[0176]
可选的，所述对人脸上部分区域进行人脸重构，得到高分辨率人脸上部分图像，包括：
[0177]
通过双三次插值法对所述人脸上部分区域进行尺寸放大，得到目标图像。
[0178]
基于神经网络的卷积层，通过滑动框以设定步长在目标图像抽取出多个第一高维向量特征向量；所述设定部长为2。第一高维向量特征向量的维度为第一设定维度。
[0179]
对第一高维向量特征向量进行非线性映射，得到第二高维向量特征向量；第二高
维向量特征向量的维度为第二设定维度。多个第一高维向量特征向量对应得到多个第二高维向量特征向量。
[0180]
聚合多个第二高维向量特征向量，得到高分辨率人脸上部分图像。
[0181]
基于上述人脸识别方法，本发明实施例提供了一种人脸识别系统，所述方法系统：
[0182]
采集模块，用于采集监控图像的人脸图像。特征提取模块，基于人脸图像中提取人脸特征。人脸检测模块，用于图像进行人脸检测，在监控图像中检测出人脸区域，得到人脸图像框和口罩框。人脸识别模块，用于对所述人脸区域进行识别；若识别成功，得到数据库中存储的监控对象的身份信息。报警模块，启动响铃并进行报警系统。
[0183]
在此关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0184]
本发明实施例还提供了一种电子设备，如图3所示，包括存储器504、处理器502及存储在存储器504上并可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现前文所述人脸识别方法任一方法的步骤。
[0185]
其中，在图3中，总线架构(用总线500来代表)，总线500可以包括任意数量的互联的总线和桥，总线500将包括由处理器502代表的一个或多个处理器和存储器504代表的存储器的各种电路链接在一起。总线500还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进进一步描述。总线接口505在总线500和接收器501和发送器503之间提供接口。接收器501和发送器503可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线500和通常的处理，而存储器504可以被用于存储处理器502在执行操作时所使用的数据。
[0186]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0187]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0188]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0189]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或
子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0190]
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0191]
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0192]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。