人脸匹配加速方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种人脸匹配加速方法、装置、电子设备及存储介质。


背景技术：

2.随着人脸识别技术研究逐渐深入，各领域人脸识别产品的落地及铺开，比如基于人脸识别的门禁、支付等，在人脸识别过程中，需要对待识别人脸进行特征提取，提取出待识别人脸特征，再将待识别人脸特征与底库中的人脸特征进行匹配，匹配成功则是识别成功。而在匹配的过程中，需要将待识别特征与底库中的人脸特征进行向量内积计算，得到待识别特征与底库中的人脸特征的内积值，进而查找出内积值最小的人脸特征作为最后的结果，这是一个遍历底库中所有人脸特征的过程，需要将底库中所有人脸特征加载到内存中进行计算。门禁机是一种使用嵌入式设备作为计算平台的人脸识别设备，嵌入式设备具有节约功耗，体积小和成本低等特点，也存在计算资源不高的缺点。随着底库的增加，嵌入式设备的计算资源受限，无法一次大批量的加载底库中的人脸特征至内存，如果采用分批加载，则又会消耗较多的读写i/o时间开销，使得人脸识别的速度下降。因此，嵌入式设备在面对大底库场景时，存在底库数据加载速度慢，导致人脸识别速度慢的问题。


技术实现要素：

3.本发明实施例提供一种人脸匹配加速方法，能够压缩底库的人脸特征数据，提高底库数据的加载速度，从而提高人脸识别的速度。
4.第一方面，本发明实施例提供一种人脸匹配加速方法，包括：
5.获取人脸样本集；
6.通过预先训练好的高维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第一人脸特征；以及
7.通过待训练的低维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第二人脸特征，其中，所述第一人脸特征的维度高于所述第二人脸特征的维度；
8.基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；
9.通过所述基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于所述人脸特征底库进行人脸匹配。
10.可选的，所述基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，包括：
11.计算所述人脸样本集中，至少两个人脸样本对应的第一人脸特征之间的第一多元度量距离；以及
12.计算所述人脸样本集中，至少两个人脸样本对应的第二人脸特征之间的第二多元
度量距离；
13.基于所述第一多元度量距离与所述第二多元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
14.可选的，所述基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，还包括：
15.计算所述人脸样本集中，每两个人脸样本对应的第一人脸特征之间的第一二元度量距离；以及
16.计算所述人脸样本集中，每两个人脸样本对应的第二人脸特征之间的第二二元度量距离；
17.基于所述第一二元度量距离与所述第二二元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
18.可选的，所述基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，还包括：
19.计算所述人脸样本集中，每三个人脸样本对应的第一人脸特征之间的第一三元度量距离；以及
20.计算所述人脸样本集中，每三个人脸样本对应的第二人脸特征之间的第二三元度量距离；
21.基于所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；或
22.基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
23.可选的，所述基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，包括：
24.计算所述第一二元度量距离与所述第二二元度量距离的第一损失值；以及
25.计算所述第一三元度量距离与所述第二三元度量距离的第二损失值；
26.根据所述第一损失值与所述第二损失值，对所述低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
27.可选的，所述根据所述第一损失值与所述第二损失值，对所述低维人脸特征提取模型进行参数调整，包括：
28.计算所述第一损失值与所述第二损失值的总损失值，并根据所述总损失值对所述低维人脸特征提取模型进行参数调整。
29.可选的，所述基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，包括：
30.计算所述第一二元度量距离与所述第一三元度量距离之间的第一度量和；以及
31.计算所述第二二元度量距离与所述第二三元度量距离之间的第二度量和；
32.根据所述第一度量和与所述第二度量和，计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失；
33.根据所述模型损失对所述低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
34.可选的，所述根据所述第一度量和与所述第二度量和，计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失，包括：
35.判断所述第一度量和与所述第二度量和的差值绝对值是否小于预设值；
36.若所述差值绝对值小于等于预设值，则采用所述第一度量和与所述第二度量和的差值平方来计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失；
37.若所述差值绝对值大于预设值，则采用所述差值绝对值来计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失。
38.第二方面，本发明实施例提供一种人脸匹配加速装置，包括：
39.获取模块，用于获取人脸样本集；
40.第一提取模块，用于通过预先训练好的高维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第一人脸特征；以及
41.第二提取模块，用于通过待训练的低维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第二人脸特征，其中，所述第一人脸特征的维度高于所述第二人脸特征的维度；
42.训练模块，用于基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；
43.部署模块，用于通过所述基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于所述人脸特征底库进行人脸匹配。
44.第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的人脸匹配加速方法中的步骤。
45.第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的人脸匹配加速方法中的步骤。
46.本发明实施例中，获取人脸样本集；通过预先训练好的高维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第一人脸特征；以及通过待训练的低维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第二人脸特征，其中，所述第一人脸特征的维度高于所述第二人脸特征的维度；基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；通过所述基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于所述人脸特征底库进行人脸匹配。通过训练得到的低维人脸特征提取模型对构建人脸特征底库，使得人脸特征的维度降低，进而降低每个人脸特征的数据量，相较于同等数量的人脸特征可以更快的加载到内存，从而提高人脸匹配的速度；另外，通过第一人脸特征度量
距离与第二人脸特征度量距离来对低维人脸特征提取模型进行训练，可以使得低维人脸特征提取模型在进行人脸特征维度降低的同时，将人脸特征提取模型的训练与降维同时完成，并且不会丢失特征的度量表达信息，从而避免人脸匹配的准确率下降。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本发明实施例提供的一种人脸匹配加速方法的流程图；
49.图2是本发明实施例提供的一种低维人脸特征模型训练方法的流程图；
50.图3是本发明实施例提供的另一种低维人脸特征模型训练方法的流程图；
51.图4是本发明实施例提供的另一种低维人脸特征模型训练方法的流程图；
52.图5是本发明实施例提供的另一种低维人脸特征模型训练方法的流程图；
53.图6是本发明实施例提供的一种人脸匹配加速装置的结构示意图；
54.图7是本发明实施例提供的一种训练模块的结构示意图；
55.图8是本发明实施例提供的一种训练子模块的结构示意图；
56.图9是本发明实施例提供的另一种训练子模块的结构示意图；
57.图10是本发明实施例提供的一种第二迭代单元的结构示意图；
58.图11是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.请参见图1，图1是本发明实施例提供的一种人脸匹配加速方法的流程图，如图1所示，包括以下步骤：
61.101、获取人脸样本集。
62.在本发明实施例中，上述人脸样本集包括人脸样本，上述的人脸样本可以是人脸图像。其中，上述的人脸图像可以是摄像头拍摄到的人脸图像，比如，可以通过设置在小区入口、写字楼入口、办公区入口等的摄像头拍摄到的人脸图像，具体的，上述的人脸图像可以是对摄像头拍摄到的图像进行人脸检测，当检测到人脸时，返回对应人脸框中的图像作为人脸图像。上述的人脸图像也可以是通过人脸生成网络进行生成，比如通过生成式对抗网络来生成高质量的人脸图像来构建上述人脸样本集。
63.102、通过预先训练好的高维人脸特征提取模型对人脸样本集进行人脸特征提取，得到第一人脸特征。
64.在本发明实施例中，上述高维人脸特征提取模型可以是现有的任意人脸特征提取模型。上述的人脸特征提取模型可以将人脸图像提取为抽象的特征表达，该特征表达即为
人脸特征，人脸特征可以是固定长度的浮点型或整数型序列，其中，上述的固定长度也可以称为固定维度。通过将人脸图像输入到人脸特征提取模型中进行人脸特征提取，可以得到固定维度的人脸特征。
65.需要说明的是，上述高维人脸特征提取模型是相对于低维人脸特征提取模型而言。在本发明实施例中，高维人脸特征提取模型提取到的人脸特征的维度大于低维人脸特征提取模型提取到的人脸特征的维度，比如高维人脸特征提取模型提取到的人脸特征的维度为512维的，低维人脸特征提取模型提取到的人脸特征的维度为64维的。
66.由于高维人脸特征提取模型是预先训练好的，所以其提取出人脸特征构建的人脸特征底库，与其提取出待匹配人脸特征内积值具有可度量性，比如待匹配人脸特征与人脸特征底库中的人脸特征进行匹配时，则可以将与待匹配人脸特征之间内积值最小的人脸特征做为最终的匹配结果。
67.通过高维人脸特征提取模型对人脸样本集中的人脸图像进行特征提取，可以得到与人脸样本集中人脸图像对应的第一人脸特征。
68.在一种可能的实施例中，上述的人脸样本集可以是用来训练高维人脸特征提取模型的人脸样本集，这样，可以将训练高维人脸特征提取模型的训练数据作为本发明实施例中的人脸样本集，可以节省重新准备人脸样本集的工作。
69.103、通过待训练的低维人脸特征提取模型对人脸样本集进行人脸特征提取，得到第二人脸特征。
70.在本发明实施例中，上述低维人脸特征提取模型是相对于上述高维人脸特征提取模型而言，另外，上述高维人脸特征提取模型也可以称为第一人脸特征提取模型，上述低维人脸特征提取模型也可以称为第二人脸特征提取模型。高维人脸特征提取模型提取到的第一人脸特征的维度大于低维人脸特征提取模型提取到的第二人脸特征的维度，因此，通过较低维度的人脸特征来进行存储，其数据量也会较低，便于嵌入式设备加载到内在。比如高维人脸特征提取模型提取到的第一人脸特征的维度为512维的，低维人脸特征提取模型提取到的第二人脸特征的维度为64维的，则第二人脸特征的数据量为第一人脸特征的维度的1/8，因此一次性从人脸特征底库中加载的人脸特征条数提高了8倍，原本只能一次性加载1000条第一人脸特征，则在使用第二人脸特征作为底库人脸特征后，可以一次性加载8000条第二人脸特征。
71.可以理解的是，对于低维人脸特征提取模型提取到的第二人脸特征维度数可以是用户自行确定。
72.104、基于第一人脸特征的度量距离与第二人脸特征的度量距离，对低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
73.在本发明实施例中，上述度量距离可以是人脸特征之间的内积值距离，也可以是其他的度量距离，比如欧式距离、曼哈顿距离、闵可夫斯基距离等可以表达两个人脸特征距离分布的度量距离。
74.进一步的，可以是通过计算第一人脸特征的度量距离与第二人脸特征的度量距离的差值最小值，使得第二人脸特征的度量表达与第一人脸特征的度量表达接近，从而使得低维人脸特征提取模型与高维人脸特征模型接近，进而直接学习到高维人脸特征模型的特征提取算法与人脸匹配算法，使低维人脸特征提取模型在进行人脸特征提取时，提取到更
低维度人脸特征进行输出的同时，无需重新训练人脸匹配算法，鲁棒性更强。
75.可以理解的是，第一人脸特征的度量距离与第二人脸特征的度量距离的差值越小，训练得到的低维人脸特征提取模型与高维人脸特征提取模型所提取到的人脸特征表达分布就越相似，低维人脸特征提取模型就越像高维人脸特征提取模型。因此，通过第一人脸特征度量距离与第二人脸特征的度量距离来训练得到的低维人脸特征提取模型，也可以称为基于度量学习的低维人脸特征提取模型。
76.进一步的，上述第一人脸特征的度量距离与第二人脸特征的度量距离可以是多元度量距离，上述多元度量距离指的是人脸样本集中至少两个人脸样本之间对应人脸特征的度量距离。可以计算人脸样本集中至少两个人脸样本对应的第一人脸特征之间的第一多元度量距离，以及人脸样本集中至少两个人脸样本对应的第二人脸特征之间的第二多元度量距离，来对低维人脸特征提取模型进行训练。可以是通过计算第一多元度量距离与第二多元度量距离的差值最小值，使得第二人脸特征的度量表达与第一人脸特征的度量表达接近，从而使得低维人脸特征提取模型与高维人脸特征模型接近。
77.可选的，上述的多元度量距离可以是二元度量距离、三元度量距离等，其中，上述的二元度量距离指的是人脸样本集中，每两个人脸样本之间对应人脸特征的度量距离，上述的三元度量距离指的是人脸样本集中，每三个人脸样本之间对应人脸特征的度量距离。
78.可选的，请参见图2，图2是本发明实施例提供的一种低维人脸特征模型训练方法的流程图，该方法为基于二元度量距离来进行训练的，如图2所示，包括以下步骤：
79.201、计算人脸样本集中，每两个人脸样本对应的第一人脸特征之间的第一二元度量距离；以及计算人脸样本集中，每两个人脸样本对应的第二人脸特征之间的第二二元度量距离。
80.在本发明实施例中，上述第一人脸特征为高维人脸特征提取模型所提取到的人脸特征，上述第二人脸特征为低维人脸特征提取模型所提取到的人脸特征。具体的，可以通过高维人脸特征提取模型提取人脸样本集中所有人脸样本的第一人脸特征，得到第一人脸特征集，通过低维人脸特征提取模型提取人脸样本集中所有人脸样本的第二人脸特征，得到第二人脸特征集。其中，第一人脸特征集中的每个第一人脸特征对应人脸样本集中的一个人脸样本，第二人脸特征集中的每个第二人脸特征对应人脸样本集中的一个人脸样本。
81.通过第一人脸特征集，计算每两个人脸样本对应的第一人脸特征之间的第一二元度量距离；通过第二人脸特征集，计算每两个人脸样本对应的第二人脸特征之间的第二二元度量距离。以每两个人脸样本对应的第一人脸特征之间的第一二元度量距离为例来说，假设人脸样本集中有k个人脸样本，则第一人脸特征集中包括k个第一人脸特征，第一二元度量距离可以如表1所示：
[0082] h1…
h
i
…
h
j
…
h
k
h1h
11
…
h
1i h
1j
…
h
1k
……………………
h
i
h
i1
…
h
ii
…
h
ij
…
h
ik
……………………
h
j
h
j1
…
h
ji
…
h
jj
…
h
jk
……………………
h
k
h
k1
…
h
ki
…
h
kj
…
h
kk
[0083]
表1
[0084]
在表1中，h为第一人脸特征，h
ij
为第i个样本对应的第一人脸特征与第j个样本对应的第一人脸特征之间的第一二元度量距离，需要说明的是，h
ii
为第i个样本对应的第一人脸特征与其本身的第一二元度量距离，可以为0。
[0085]
同样的，第二二元度量距离也可以用相同的方法进行计算。
[0086]
进一步的，上述二元度量距离可以是两个人脸特征之间的内积值距离，也可以是其他的度量距离，比如欧式距离、曼哈顿距离、闵可夫斯基距离等可以表达两个人脸特征距离分布的度量距离。
[0087]
在本发明实施例中，上述二元度量距离优选两个人脸特征之间的二范数作为二元度量距离，具体的如下式所示：
[0088]
d(t
i
‑
t
j
)＝||t
i
‑
t
j
||2[0089]
其中，d代表二元度量距离，t代表当前人脸特征提取模型所提取到特征，i、j分别代表人脸样本集中第i个人脸样本以及第j个人脸样本，d(t
i
‑
t
j
)代表第i个人脸样本对应的人脸特征t
i
与第j个人脸样本对应的人脸特征t
j
之间的二元度量距离。
[0090]
具体来说，对于第一二元度量距离，可以如下式所示：
[0091]
d1(h
i
‑
h
j
)＝||h
i
‑
h
j
||2[0092]
其中，h代表第一人脸特征，d1(h
i
‑
h
j
)代表第i个人脸样本对应的第一人脸特征h
i
与第j个人脸样本对应的第一人脸特征h
j
之间的第一二元度量距离。
[0093]
同样的，对于第二二元度量距离，可以如下式所示：
[0094]
d2(l
i
‑
l
j
)＝||l
i
‑
l
j
||2[0095]
其中，l代表第一人脸特征，d2(l
i
‑
l
j
)代表第i个人脸样本对应的第二人脸特征l
i
与第j个人脸样本对应的第二人脸特征l
j
之间的第二二元度量距离。
[0096]
202、基于第一二元度量距离与第二二元度量距离，对低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0097]
在本发明实施例中，可以通过第一二元度量距离与第二二元度量距离的损失，得到高维人脸特征提取模型与低维人脸特征提取模型的度量距离，其中，高维人脸特征提取模型与低维人脸特征提取模型的度量距离与第一二元度量距离与第二二元度量距离的损失成正比，即第一二元度量距离与第二二元度量距离的损失越小，高维人脸特征提取模型与低维人脸特征提取模型的度量距离越小，说明高维人脸特征提取模型与低维人脸特征提取模型越接近，进而说明低维人脸特征提取模型提取到的第二人脸特征与高维人脸特征提取模型提取到的第一人脸特征具有较为相近的特征表达。
[0098]
上述第一二元度量距离与第二二元度量距离的损失可以是第一二元度量距离与第二二元度量距离的差值。在本发明实施例中，若第一二元度量距离与第二二元度量距离的损失小于预设的阈值，则表示对于同样的两个人脸样本，存在两个第一人脸特征之间的度量距离与两个第二人脸特征之间的度量距离足够近，进而表示低维人脸特征提取模型已经训练到与高维人脸特征提取模型足够相近，从而完成对低维人脸特征提取模型的训练。当然，若第一二元度量距离与第二二元度量距离的差值大于预设的阈值，则表示两个第一人脸特征之间的度量距离与两个第二人脸特征之间的度量距离还不够近，需要继续训练。
[0099]
在训练的过程中，可以将第一二元度量距离与第二二元度量距离的损失反向传播到待训练的低维人脸特征提取模型中，通过梯度下降法对低维人脸特征提取模型中的参数进行调整，从而完成一次训练的迭代。需要说明的是，训练的终止条件可以是第一二元度量距离与第二二元度量距离的损失收敛，也可以迭代预设的次数，比如可以是迭代200次后训练终止，得到的低维人脸特征提取模型作为最终模型。
[0100]
可选的，请参见图3，图3是本发明实施例提供的另一种低维人脸特征模型训练方法的流程图，该方法为基于三元度量距离来进行训练的，如图3所示，包括以下步骤：
[0101]
301、计算人脸样本集中，每三个人脸样本对应的第一人脸特征之间的第一三元度量距离；以及计算人脸样本集中，每三个人脸样本对应的第二人脸特征之间的第二三元度量距离。
[0102]
在本发明实施例中，上述第一人脸特征为高维人脸特征提取模型所提取到的人脸特征，上述第二人脸特征为低维人脸特征提取模型所提取到的人脸特征。具体的，可以通过高维人脸特征提取模型提取人脸样本集中所有人脸样本的第一人脸特征，得到第一人脸特征集，通过低维人脸特征提取模型提取人脸样本集中所有人脸样本的第二人脸特征，得到第二人脸特征集。其中，第一人脸特征集中的每个第一人脸特征对应人脸样本集中的一个人脸样本，第二人脸特征集中的每个第二人脸特征对应人脸样本集中的一个人脸样本。
[0103]
通过第一人脸特征集，计算每三个人脸样本对应的第一人脸特征之间的第一三元度量距离；通过第二人脸特征集，计算每一个人脸样本对应的第二人脸特征之间的第二三元度量距离。以每三个人脸样本对应的第一人脸特征之间的第一三元度量距离为例来说，假设人脸样本集中有n个人脸样本，则第一人脸特征集中包括n个第一人脸特征，第一三元度量距离可以通过三个第一人脸特征的角度距离进行表示。
[0104]
举例来说，每个人脸特征可以看成是多维空间中的点，该多维空间的维度与人脸特征的维度相同。在该多维空间中，存在人脸特征t
i
，人脸特征t
j
，人脸特征t
k
，则可以通过∠t
i
t
j
t
k
进行表示，基于角度距离的度量距离可以是cos余弦度量距离。通过cos余弦度量距离，可以度量到人脸特征t
i
，人脸特征t
j
，人脸特征t
k
是否在空间维度上相近，可以看出，∠t
i
t
j
t
k
的cos余弦度量距离越大，人脸特征t
i
，人脸特征t
j
，人脸特征t
k
越接近一条维度直线上。
[0105]
进一步的，上述的cos余弦度量距离可以通过下述式子进行计算：
[0106][0107]
其中，s代表三元度量距离，t代表当前人脸特征提取模型所提取到特征，i、j、k分别代表人脸样本集中第i个人脸样本、第j个人脸样本以及第k个人脸样本，s(t
i
,t
j
,t
k
)代表第i个人脸样本对应的人脸特征t
i
、第j个人脸样本对应的人脸特征t
j
以及第k个人脸样本对应的人脸特征t
k
之间的三元度量距离，可以看出，上述式子中，人脸特征t
j
为∠t
i
t
j
t
k
的角点，也可以称为三元度量距离的锚点。
[0108]
具体来说，对于第一三元度量距离，可以如下式所示：
[0109][0110]
其中，h代表第一人脸特征，s1(h
i
,h
j
,h
k
)代表第i个人脸样本对应的第一人脸特征h
i
、第j个人脸样本对应的第一人脸特征h
j
以及第k个人脸样本对应的第一人脸特征h
k
之间的第一三元度量距离。
[0111]
同样的，对于第二三元度量距离，可以如下式所示：
[0112][0113]
其中，l代表第一人脸特征，s2(l
i
,l
j
,l
k
)代表第i个人脸样本对应的第二人脸特征l
i
、第j个人脸样本对应的第二人脸特征l
j
以及第k个人脸样本对应的第二人脸特征l
k
之间的第一三元度量距离。
[0114]
302、基于第一三元度量距离与第二三元度量距离，对低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0115]
在本发明实施例中，可以通过第一三元度量距离与第二三元度量距离的损失，得到高维人脸特征提取模型与低维人脸特征提取模型的度量距离，其中，高维人脸特征提取模型与低维人脸特征提取模型的度量距离与第一三元度量距离与第二三元度量距离的损失成正比，即第一三元度量距离与第二三元度量距离的损失越小，高维人脸特征提取模型与低维人脸特征提取模型的度量距离越小，说明高维人脸特征提取模型与低维人脸特征提取模型越接近，进而说明低维人脸特征提取模型提取到的第二人脸特征与高维人脸特征提取模型提取到的第一人脸特征具有较为相近的特征表达。
[0116]
上述第一三元度量距离与第二三元度量距离的损失可以是第一三元度量距离与第二三元度量距离的差值。在本发明实施例中，若第一三元度量距离与第二三元度量距离的损失小于预设的阈值，则表示对于同样的三个人脸样本，存在三个第一人脸特征之间的度量距离与三个第二人脸特征之间的度量距离足够近，进而表示低维人脸特征提取模型已经训练到与高维人脸特征提取模型足够相近，从而完成对低维人脸特征提取模型的训练。当然，若第一三元度量距离与第二三元度量距离的差值大于预设的阈值，则表示三个第一人脸特征之间的度量距离与三个第二人脸特征之间的度量距离还不够近，需要继续训练。
[0117]
在训练的过程中，可以将第一三元度量距离与第二三元度量距离的损失反向传播到待训练的低维人脸特征提取模型中，通过梯度下降法对低维人脸特征提取模型中的参数进行调整，从而完成一次训练的迭代。需要说明的是，训练的终止条件可以是第一三元度量距离与第二三元度量距离的损失收敛，也可以迭代预设的次数，比如可以是迭代200次后训练终止，得到的低维人脸特征提取模型作为最终模型。
[0118]
可选的，在本发明实施例中，还可以同时采用二元度量距离与三元度量距离来对低维人脸特征提取模型进行训练，通过第一二元度量距离与第二二元度量距离的损失，以及第一三元度量距离与第二三元度量距离的损失，来计算高维人脸特征提取模型与低维人脸特征提取模型在度量距离上的总损失，从而根据该总损失来对低维人脸特征提取模型进行调整，以使总损失最小。
[0119]
具体的，请参见图4，图4是本发明实施例提供的另一种低维人脸特征模型训练方法的流程图，该方法为基于二元度量距离以及三元度量距离来进行训练的，如图4所示，包括以下步骤：
[0120]
401、计算第一二元度量距离与第二二元度量距离的第一损失值；以及计算第一三元度量距离与第二三元度量距离的第二损失值。
[0121]
其中，上述第一损失值可以是第一二元度量距离与第二二元度量距离的差值，上述第二损失值可以是第一三元度量距离与第二三元度量距离的差值。
[0122]
402、根据第一损失值与第二损失值，对低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
[0123]
在本发明实施例中，可以根据第一损失值与第二损失值，计算总损失值，将总损失值反向传播到低维人脸特征提取模型中，根据梯度下降法对低维人脸特征提取模型进行参数调整。每一次对低维人脸特征提取模型进行参数调整的过程，可以称为一次迭代。
[0124]
在本发明实施例中，通过总损失值对低维人脸特征提取模型进行训练，可以使低维人脸特征提取模型在二元度量与三元度量上与高维人脸特征提取模型的距离更近。这样，最终的低维人脸特征提取模型是基于高维人脸特征提取模型进行度量学习得到的，同样的人脸特征可以在低维空间中具有与高维空间中相近的特征分布，可以在不改变人脸特征匹配算法的情况下，利用更低维度的人脸特征进行比对。
[0125]
可选的，在本发明实施例中，还可以同时采用高维人脸特征提取模型的多组多元度量距离之间的关系来对低维人脸特征提取模型进行训练，比如同时采用二元度量距离与三元度量距离之间的关系来对低维人脸特征提取模型进行训练。
[0126]
具体的，请参见图5，图5是本发明实施例提供的另一种低维人脸特征模型训练方法的流程图，示例性的，该方法为同时采用二元度量距离与三元度量距离之间的关系来进行训练的，如图5所示，包括以下步骤：
[0127]
501、计算第一二元度量距离与第一三元度量距离之间的第一度量和；以及计算第二二元度量距离与第二三元度量距离之间的第二度量和。
[0128]
在本发明实施例中，第一二元度量距离与第一三元度量距离为高维人脸特征提取模型所提取到的，第二二元度量距离与第二三元度量距离为低维人脸特征提取模型所提取到的。进一步的，第一二元度量距离与第二二元度量距离可以是步骤201中所计算得到的二元度量距离，第一三元度量距离与第二三元度量距离可以是步骤301中所计算得到的三元度量距离。
[0129]
上述第一二元度量距离为d1(h
i
‑
h
j
)，上述第二二元度量距离为d2(l
i
‑
l
j
)，上述第一三元度量距离为s1(h
i
,h
j
,h
k
)，上述第二二元度量距离为s2(l
i
,l
j
,l
k
)。第一度量和为d1(h
i
‑
h
j
)+s1(h
i
,h
j
,h
k
)，第二度量和为d2(l
i
‑
l
j
)+s2(l
i
,l
j
,l
k
)。
[0130]
502、根据第一度量和与所述第二度量和，计算所述高维人脸特征提取模型与低维人脸特征提取模型之间的模型损失。
[0131]
在本发明实施例中，上述的模型损失可以理解为高维人脸特征提取模型与低维人脸特征提取模型的模型距离，模型损失越小，则训练得到的低维人脸特征提取模型与高维人脸特征提取模型越相近，低维人脸特征提取模型的训练效果越好。
[0132]
进一步的，可以判断第一度量和与第二度量和的差值绝对值是否小于预设值；若
第一度量和与第二度量和的差值绝对值小于等于预设值，则采用第一度量和与第二度量和的差值平方来计算高维人脸特征提取模型与低维人脸特征提取模型之间的模型损失；若第一度量和与第二度量和的差值绝对值小于预设值大于预设值，则采用差值绝对值来计算高维人脸特征提取模型与低维人脸特征提取模型之间的模型损失。具体可以如下述式子所示：
[0133][0134]
其中，上述的l(x,y)为模型损失，上述的x为第一度量和，上述的y为第二度量和，上述的a为预设值，a大于0。本发明实施例中，优选a＝1。可以看出，上述的式子中，第一度量和与第二度量和的差值绝对值|x
‑
y|越小，则模型损失l(x,y)越小。
[0135]
503、根据模型损失对低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
[0136]
在本发明实施例中，由于步骤502中的模型损失函数可以看出，初始迭代的过程中，可能存在第一度量和与第二度量和的差值绝对值|x
‑
y|不满足小于等于预设值a的情况，此时，说明高维人脸特征提取模型与低维人脸特征提取模型的距离较远，需要继续调整低维人脸特征提取模型的参数，采用的模型损失可以为|x
‑
y|
‑
0.5，这样模型损失的梯度下降速度提高。但随着迭代次数的增加，低维人脸特征提取模型中参数的不断调整，使得第一度量和与第二度量和在调整后开始逼近，进而第一度量和与第二度量和的差值绝对值|x
‑
y|变小，当小于预设值a的时候，说明高维人脸特征提取模型与低维人脸特征提取模型的距离在变近，此时，采用的模型损失可以为0.5(x
‑
y)2，无论第一度量和以及第二度量和为正还是为负，梯度下降的方向总是向0的，最后在0附近震荡收敛，代表低维人脸特征提取模型与高维人脸特征提取模型已经很相近，可以停止训练，得到训练好的低维人脸特征提取模型。
[0137]
105、通过基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于人脸特征底库进行人脸匹配。
[0138]
在本发明实施例中，低维人脸特征提取模型的训练是基于高维人脸特征提取模型来进行训练的，在训练过程中，利用度量距离来拉近与高维人脸特征提取模型的距离，使低维人脸特征提取模型学习到高维人脸特征提取模型的特征表达，同时，提取到更低维度的人脸特征。
[0139]
在人脸识别过程中，需要对待识别的人脸进行人脸特征的提取，提取得到待识别人脸特征，然后将该待识别人脸特征与人脸特征底库中的低库人脸特征进行匹配。
[0140]
待识别人脸特征与底库人脸特征的匹配，是在处理器中进行的，匹配过程中，将所有的底库人脸特征加载到处理器内存中，通过预先训练的匹配算法与待识别人脸特征一一进行匹配，从而查找到与待识别人脸特征最接近的底库人脸特征作为识别结果。可以根据不同的场景，对该识别结果进行不同的处理，再进行输出，比如，在门禁场景中，则可以对识别结果再进行确认，可以是接近程度的确认，若接近程度不满足预设的阈值，则识别不通过，门禁机不放行，若接近程度满足预设的阈值，则识别通过，门禁机放行。又比如，图片检索场景，则可以将识别结果对应的图片输出。上述的接近程度也可以理解为相似程度。
[0141]
可以理解的是，由于同一个人的待识别人脸特征与底库人脸特征或多或少都会存
在差别，对于不同的人脸特征提取模型，可以设计不同匹配算法，来进一步提高人脸匹配的准确度，从而提高人脸识别的准确度。比如可以通过欧式距离、曼哈顿距离、闵可夫斯基距离、余弦距离等匹配算法来计算待识别人脸特征与底库人脸特征的相似程度。因此，在本发明实施例中，由于低维人脸特征提取模型是通过高维人脸特征提取模型来训练得到，同样的人脸图像与高维人脸特征提取模型具有相似的特征分布，因此，可以避免训练新的人脸匹配算法。
[0142]
在实际的使用场景中，可以通过低维人脸特征提取模型来构建人脸特征底库，以得到低维度的底库人脸特征，通过低维人脸特征提取模型对待识别的人脸进行人脸特征提取，得到低维度的待识别人脸特征。由于人脸特征底库中的底库人脸特征的维度降低，在加载到处理器内存中时，加载相同数据量的底库人脸特征，可以加载更多数量的底库人脸特征。比如高维人脸特征提取模型提取到的高维人脸特征的维度为512维的，低维人脸特征提取模型提取到的低维人脸特征的维度为64维的，则低维人脸特征的数据量为高维人脸特征的维度的1/8，因此一次性从人脸特征底库中加载的人脸特征条数提高了8倍，原本只能一次性加载1000条高维人脸特征，则在使用低维人脸特征作为底库人脸特征后，可以一次性加载8000条低维人脸特征。
[0143]
本发明实施例中，获取人脸样本集；通过预先训练好的高维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第一人脸特征；以及通过待训练的低维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第二人脸特征，其中，所述第一人脸特征的维度高于所述第二人脸特征的维度；基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；通过所述基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于所述人脸特征底库进行人脸匹配。通过训练得到的低维人脸特征提取模型对构建人脸特征底库，使得人脸特征的维度降低，进而降低每个人脸特征的数据量，相较于同等数量的人脸特征可以更快的加载到内存，从而提高人脸匹配的速度；另外，通过第一人脸特征度量距离与第二人脸特征度量距离来对低维人脸特征提取模型进行训练，可以使得低维人脸特征提取模型在进行人脸特征维度降低的同时，将人脸特征提取模型的训练与降维同时完成，并且不会丢失特征的度量表达信息，从而避免人脸匹配的准确率下降。
[0144]
需要说明的是，本发明实施例提供的人脸匹配加速方法可以应用于可以进行人脸匹配加速的手机、监控器、计算机、服务器等设备。
[0145]
请参见图6，图6是本发明实施例提供的一种人脸匹配加速装置的结构示意图，如图6所示，所述装置包括：
[0146]
获取模块601，用于获取人脸样本集；
[0147]
第一提取模块602，用于通过预先训练好的高维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第一人脸特征；以及
[0148]
第二提取模块603，用于通过待训练的低维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第二人脸特征，其中，所述第一人脸特征的维度高于所述第二人脸特征的维度；
[0149]
训练模块604，用于基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取
模型；
[0150]
部署模块605，用于通过所述基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于所述人脸特征底库进行人脸匹配。
[0151]
可选的，如图7所示，所述训练模块604，包括：
[0152]
第一计算子模块6041，用于计算所述人脸样本集中，至少两个人脸样本对应的第一人脸特征之间的第一多元度量距离；以及
[0153]
第二计算子模块6042，用于计算所述人脸样本集中，至少两个人脸样本对应的第二人脸特征之间的第二多元度量距离；
[0154]
训练子模块6043，用于基于所述第一多元度量距离与所述第二多元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0155]
可选的，第一计算子模块6041还用于计算所述人脸样本集中，每两个人脸样本对应的第一人脸特征之间的第一二元度量距离；以及
[0156]
第二计算子模块6042还用于计算所述人脸样本集中，每两个人脸样本对应的第二人脸特征之间的第二二元度量距离；
[0157]
训练子模块6043还用于基于所述第一二元度量距离与所述第二二元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0158]
可选的，第一计算子模块6041还用于计算所述人脸样本集中，每三个人脸样本对应的第一人脸特征之间的第一三元度量距离；以及
[0159]
第二计算子模块6042还用于计算所述人脸样本集中，每三个人脸样本对应的第二人脸特征之间的第二三元度量距离；
[0160]
训练子模块6043还用于基于所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；或训练子模块6043还用于基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0161]
可选的，如图8所示，所述训练子模块6043，包括：
[0162]
第一计算单元60431，用于计算所述第一二元度量距离与所述第二二元度量距离的第一损失值；以及
[0163]
第二计算单元60432，用于计算所述第一三元度量距离与所述第二三元度量距离的第二损失值；
[0164]
第一迭代单元60433，用于根据所述第一损失值与所述第二损失值，对所述低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
[0165]
可选的，所述迭代单元60433还用于计算所述第一损失值与所述第二损失值的总损失值，并根据所述总损失值对所述低维人脸特征提取模型进行参数调整。
[0166]
可选的，如图9所示，所述训练子模块6043，包括：
[0167]
第三计算单元60434，用于计算所述第一二元度量距离与所述第一三元度量距离之间的第一度量和；以及
[0168]
第四计算单元60435，用于计算所述第二二元度量距离与所述第二三元度量距离之间的第二度量和；
[0169]
第五计算单元60436，用于根据所述第一度量和与所述第二度量和，计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失；
[0170]
第二迭代单元60437，用于根据所述模型损失对所述低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
[0171]
可选的，如图10所示，所述第二迭代单元60437，包括：
[0172]
判断子单元604371，用于判断所述第一度量和与所述第二度量和的差值绝对值是否小于预设值；
[0173]
第一计算子单元604372，用于若所述差值绝对值小于等于预设值，则采用所述第一度量和与所述第二度量和的差值平方来计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失；
[0174]
第二计算子单元604373，用于若所述差值绝对值大于预设值，则采用所述差值绝对值来计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失。
[0175]
需要说明的是，本发明实施例提供的人脸匹配加速装置可以应用于可以进行人脸匹配加速的手机、监控器、计算机、服务器等设备。
[0176]
本发明实施例提供的人脸匹配加速装置能够实现上述方法实施例中人脸匹配加速方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
[0177]
参见图11，图11是本发明实施例提供的一种电子设备的结构示意图，如图11所示，包括：存储器1102、处理器1101及存储在所述存储器1102上并可在所述处理器1101上运行的计算机程序，其中：
[0178]
处理器1101用于调用存储器1102存储的计算机程序，执行如下步骤：
[0179]
获取人脸样本集；
[0180]
通过预先训练好的高维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第一人脸特征；以及
[0181]
通过待训练的低维人脸特征提取模型对所述人脸样本集进行人脸特征提取，得到第二人脸特征，其中，所述第一人脸特征的维度高于所述第二人脸特征的维度；
[0182]
基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；
[0183]
通过所述基于度量学习的低维人脸特征提取模型构建人脸特征底库，并基于所述人脸特征底库进行人脸匹配。
[0184]
可选的，处理器1101执行的所述基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，包括：
[0185]
计算所述人脸样本集中，至少两个人脸样本对应的第一人脸特征之间的第一多元度量距离；以及
[0186]
计算所述人脸样本集中，至少两个人脸样本对应的第二人脸特征之间的第二多元度量距离；
[0187]
基于所述第一多元度量距离与所述第二多元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0188]
可选的，处理器1101执行的所述基于所述第一人脸特征的度量距离与所述第二人
脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，还包括：
[0189]
计算所述人脸样本集中，每两个人脸样本对应的第一人脸特征之间的第一二元度量距离；以及
[0190]
计算所述人脸样本集中，每两个人脸样本对应的第二人脸特征之间的第二二元度量距离；
[0191]
基于所述第一二元度量距离与所述第二二元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0192]
可选的，处理器1101执行的所述基于所述第一人脸特征的度量距离与所述第二人脸特征的度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，还包括：
[0193]
计算所述人脸样本集中，每三个人脸样本对应的第一人脸特征之间的第一三元度量距离；以及
[0194]
计算所述人脸样本集中，每三个人脸样本对应的第二人脸特征之间的第二三元度量距离；
[0195]
基于所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型；或
[0196]
基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型。
[0197]
可选的，处理器1101执行的所述基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，包括：
[0198]
计算所述第一二元度量距离与所述第二二元度量距离的第一损失值；以及
[0199]
计算所述第一三元度量距离与所述第二三元度量距离的第二损失值；
[0200]
根据所述第一损失值与所述第二损失值，对所述低维人脸特征提取模型进行参数调整，并迭代得到基于度量学习的低维人脸特征提取模型。
[0201]
可选的，处理器1101执行的所述根据所述第一损失值与所述第二损失值，对所述低维人脸特征提取模型进行参数调整，包括：
[0202]
计算所述第一损失值与所述第二损失值的总损失值，并根据所述总损失值对所述低维人脸特征提取模型进行参数调整。
[0203]
可选的，处理器1101执行的所述基于所述第一二元度量距离、所述第二二元度量距离、所述第一三元度量距离与所述第二三元度量距离，对所述低维人脸特征提取模型进行训练，得到基于度量学习的低维人脸特征提取模型，包括：
[0204]
计算所述第一二元度量距离与所述第一三元度量距离之间的第一度量和；以及
[0205]
计算所述第二二元度量距离与所述第二三元度量距离之间的第二度量和；
[0206]
根据所述第一度量和与所述第二度量和，计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失；
[0207]
根据所述模型损失对所述低维人脸特征提取模型进行参数调整，并迭代得到基于
度量学习的低维人脸特征提取模型。
[0208]
可选的，处理器1101执行的所述根据所述第一度量和与所述第二度量和，计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失，包括：
[0209]
判断所述第一度量和与所述第二度量和的差值绝对值是否小于预设值；
[0210]
若所述差值绝对值小于等于预设值，则采用所述第一度量和与所述第二度量和的差值平方来计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失；
[0211]
若所述差值绝对值大于预设值，则采用所述差值绝对值来计算所述高维人脸特征提取模型与所述低维人脸特征提取模型之间的模型损失。
[0212]
需要说明的是，上述电子设备可以是可以应用于可以进行人脸匹配加速的手机、监控器、计算机、服务器等设备。
[0213]
本发明实施例提供的电子设备能够实现上述方法实施例中人脸匹配加速方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
[0214]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的人脸匹配加速方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0215]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存取存储器(random access memory，简称ram)等。
[0216]
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。