一种人脸检测方法及装置、存储介质及电子设备与流程

1.本发明涉及数据处理技术领域，特别涉及一种人脸检测方法及装置、存储介质及电子设备。


背景技术：

2.目前，在一些业务办理过程中，往往需要根据用户的人脸图片对用户进行身份验证，在身份验证通过后，可以为用户办理相应业务；然而，目前，图像伪造技术已经得到了很大的进步，图像伪造技术容易被恶意用以生成非常逼真的深度伪造人脸，使得用户的资产风险增加。


技术实现要素：

3.本发明所要解决的技术问题是提供一种人脸检测方法，能够准确的检测出伪造图像。
4.本发明还提供了一种人脸检测装置，用以保证上述方法在实际中的实现及应用。
5.一种人脸检测方法，包括：
6.获取待检测的人脸图像；
7.利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息；所述身份信息包括内部标识向量和外部标识向量；
8.计算所述内部标识向量与所述外部标识向量之间的距离；
9.在所述距离大于预设的距离阈值的情况下，确定所述人脸图像为伪造图像。
10.上述的方法，可选的，训练身份提取模型的过程，包括：
11.获取训练数据集以及初始身份提取模型；训练数据集包括多个第一训练样本和第二训练样本；每个所述第一训练样本包括第一图片以及所述第一图片的第一标签；每个所述第二训练样本包括第二图片以及所述第二图片的第二标签；所述第一图片为用户历史图片，所述第二图片基于用户历史图片加工得到；
12.根据所述训练数据集训练所述初始身份提取模型，在所述初始身份提取模型满足预设的训练条件的情况下，将满足所述训练条件的所述初始身份提取模型，确定为训练好的身份提取模型。
13.上述的方法，可选的，所述预先训练好的身份提取模型包括多个堆叠的块，所述利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息，包括：
14.将所述人脸图像输入到所述身份提取模型中，以通过身份提取模型中的所述多个堆叠的块依次对所述人脸图像进行处理，获得所述人脸图像的身份信息；
15.其中，所述人脸图像为所述多个堆叠的块中的首个块的输入，所述多个堆叠的块中的每个块的输出作为下一个块的输入。
16.上述的方法，可选的，还包括：
17.在所述特征距离不大于预设的距离阈值的情况下，确定所述人脸图像为真实图像。
18.上述的方法，可选的，所述确定所述人脸图像为伪造图像之后，还包括：
19.生成所述人脸图像的告警信息；并输出所述告警信息。
20.一种人脸检测装置，包括：
21.获取单元，用于获取待检测的人脸图像；
22.处理单元，用于利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息；所述身份信息包括内部标识向量和外部标识向量；
23.计算单元，用于计算所述内部标识向量与所述外部标识向量之间的距离；
24.确定单元，用于在所述距离大于预设的距离阈值的情况下，确定所述人脸图像为伪造图像。
25.上述的装置，可选的，所述处理单元，包括：
26.获取子单元，用于获取训练数据集以及初始身份提取模型；训练数据集包括多个第一训练样本和第二训练样本；每个所述第一训练样本包括第一图片以及所述第一图片的第一标签；每个所述第二训练样本包括第二图片以及所述第二图片的第二标签；所述第一图片为用户历史图片，所述第二图片基于用户历史图片加工得到；
27.训练子单元，用于根据所述训练数据集训练所述初始身份提取模型，在所述初始身份提取模型满足预设的训练条件的情况下，将满足所述训练条件的所述初始身份提取模型，确定为训练好的身份提取模型。
28.上述的装置，可选的，所述预先训练好的身份提取模型包括多个堆叠的块，所述处理单元，包括：
29.处理子单元，用于将所述人脸图像输入到所述身份提取模型中，以通过身份提取模型中的所述多个堆叠的块依次对所述人脸图像进行处理，获得所述人脸图像的身份信息；
30.其中，所述人脸图像为所述多个堆叠的块中的首个块的输入，所述多个堆叠的块中的每个块的输出作为下一个块的输入。
31.一种存储介质，所述存储介质包括存储指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如上述的人脸检测方法。
32.一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如上述的人脸检测方法。
33.与现有技术相比，本发明包括以下优点：
34.本发明提供了一种人脸检测方法及装置、存储介质及电子设备，该方法包括：获取待检测的人脸图像；利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息；所述身份信息包括内部标识向量和外部标识向量；计算所述内部标识向量与所述外部标识向量之间的距离；在所述距离大于预设的距离阈值的情况下，确定所述人脸图像为伪造图像。应用本发明实施例提供的方法，能够准确的检测出伪造图像，能够保证用户的资产安全。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
36.图1为本发明提供的一种人脸检测方法的方法流程图；
37.图2为本发明提供的一种训练身份提取模型的过程的流程图；
38.图3为本发明提供的又一种人脸检测方法的方法流程图；
39.图4为本发明提供的另一种人脸检测方法的方法流程图；
40.图5为本发明提供的一种人脸检测装置的结构示意图；
41.图6为本发明提供的一种电子设备的结构示意图。
具体实施方式
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.在本技术中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
44.本发明实施例提供了一种人脸检测方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：
45.s101：获取待检测的人脸图像。
46.在本实施例中，可以通过摄像设备采集用户图像，可以对采集到的用户图像进行预处理，获得待检测的人脸图像。
47.s102：利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息；所述身份信息包括内部标识向量和外部标识向量。
48.可选的，内部标识向量可以是由于内部标识是从人脸图像的内部表面提取的，而外部标识是从不同的人脸图像区域(即外部表面)提取的。
49.在一些实施例中，内部标识向量可以是眉毛、眼睛、鼻子、嘴巴等特征向量，外部标识向量可以是外部轮廓向量。
50.s103：计算所述内部标识向量与所述外部标识向量之间的距离。
51.在本实施例中，可以内部标识向量和外部标识向量之间的距离可以是余弦距离或欧氏距离等。
52.s104：在所述距离大于预设的距离阈值的情况下，确定所述人脸图像为伪造图像。
53.应用本发明实施例提供的方法，可以获取待检测的人脸图像；利用预先训练好的身份提取模型对人脸图像进行处理，获得人脸图像的身份信息；身份信息包括内部标识向
量和外部标识向量；计算内部标识向量与外部标识向量之间的距离；在距离大于预设的距离阈值的情况下，确定人脸图像为伪造图像。应用本发明实施例提供的方法，能够准确的检测出伪造图像，从而保障用户的资产安全。
54.在本发明提供的一实施例中，基于上述的实施过程，具体的，训练身份提取模型的过程，如图2所示，包括：
55.s201：获取训练数据集以及初始身份提取模型；训练数据集包括多个第一训练样本和第二训练样本；每个所述第一训练样本包括第一图片以及所述第一图片的第一标签；每个所述第二训练样本包括第二图片以及所述第二图片的第二标签；所述第一图片为用户历史图片，所述第二图片基于用户历史图片加工得到。
56.在本实施例中，第二图片可以是根据第一用户历史图片和第二用户历史图片合成得到的，第一用户历史图片中的人脸和第二用户历史图片中的人脸姿势相似。可选的，可以为第一用户历史图片和第二用户历史图片生成面部的标签；然后，应用色彩校正，根据标签交换第一用户历史图片中的人脸和第二用户历史图片中的人脸的内面，将交换内面后的第一用户历史图片和第二用户历史图片作为第二图片。
57.s202：根据所述训练数据集训练所述初始身份提取模型，在所述初始身份提取模型满足预设的训练条件的情况下，将满足所述训练条件的所述初始身份提取模型，确定为训练好的身份提取模型。
58.在本实施例中，训练条件可以是训练次数大于预设的训练次数阈值，或者身份提取模型的精度满足预设的精度要求等等。
59.在本发明提供的一实施例中，基于上述的实施过程，具体的，所述预先训练好的身份提取模型包括多个堆叠的块，所述利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息，包括：
60.将所述人脸图像输入到所述身份提取模型中，以通过身份提取模型中的所述多个堆叠的块依次对所述人脸图像进行处理，获得所述人脸图像的身份信息；
61.其中，所述人脸图像为所述多个堆叠的块中的首个块的输入，所述多个堆叠的块中的每个块的输出作为下一个块的输入。
62.在本实施例中，每个块可以包括卷积层、自注意力层、正则化层和全连接层。
63.在本发明提供的一实施例中，基于上述的实施过程，具体的，如图3所示，所述人脸检测方法还包括以下步骤：
64.s105：在所述特征距离不大于预设的距离阈值的情况下，确定所述人脸图像为真实图像。
65.在本发明提供的一实施例中，基于上述的实施过程，具体的，如图4所示，所述确定所述人脸图像为伪造图像之后，还包括：
66.s106：生成所述人脸图像的告警信息；并输出所述告警信息。
67.在本实施例中，通过输出告警信息，可以提示该待检测的人脸图像为伪造图像。
68.本发明实施例提供的方法在实际应用过程中，可以给定输入的人脸图像i，伪造检测的目标是将输入i分类为真实图像或伪造。首先介绍身份提取模型，然后描述如何利用身份一致性来区分给定的输入。
69.(1)身份提取模型。
70.为了提取内脸和外脸的身份信息，我们在人脸分类上应用了视觉转换器来学习身份信息，这种方法有一个优势，即内部身份和外部身份可以通过统一的模型同时学习，而不是采用两个单独的人脸识别模型。我们在补丁嵌入序列中添加了两个额外的可学习嵌入标记，分别表示为“内部标记”和“外部标记”。每个补丁嵌入都是从图像补丁中展平的，具体来说，如果h和w是图像的高度和宽度，p是图像补丁块的分辨率，则块嵌入的数量为n＝hw/p2，补丁块嵌入的维度为p2c其中c是图像的通道号。我们的transformer编码器由多个堆叠在一起的块组成。每个块包括一个1d卷积层、自注意力层、正则化层和四层全连接层。最后一个块的“内部标记”和“外部标记”的输出被视为身份信息，它们被馈送到由全连接层实现的分类头。请注意，分类头在内部身份和外部身份之间权重共享。这样，当内脸和外脸属于同一个人时，由于共享的分类权重，它们对应的身份向量是相似的。另一方面，来自不同身份的内表面和外表面因此被推开。
71.(2)训练数据生成。
72.为了训练身份提取模型，我们首先需要与身份相关联的真实银行客户人脸图像。我们通过交换属于不同身份的两个真实人脸的内面来创建伪造图片，因为我们的方法纯粹基于身份一致性来检测人脸伪造。因此，我们的网络可以在没有任何面部处理方法生成的假图像的情况下进行训练。生成过程包括三个步骤：1、使用银行客户人脸标签找到两个姿势相似的人脸；2、从复杂或者变形的标签生成一个面部的标签；3、应用色彩校正，根据标签交换内面。
73.(3)身份一致性检测。
74.令t为已经学习的身份提取模型。给定图像i，我们将提取的两个标识向量表示为fin和fout，即(fin,fout)＝t(i)。为了区分图像，我们直接计算从内部到外部的距离并将其用作度量，如果距离dinout较小，这表明身份更加一致，因此可疑图像更有可能是真实的。由于内部标识是从内部表面提取的，而外部标识是从不同的区域(即外部表面)提取的，因此即使内部表面和外部表面，dinout可能仍然很大代表同一个人。
75.(4)客户人脸信息伪造检测。
76.根据该客户身份一致性检测结果分析判断人脸信息真伪。
77.与图1所述的方法相对应，本发明实施例还提供了一种人脸检测装置，用于对图1中方法的具体实现，本发明实施例提供的人脸检测装置可以应用于电子设备中，其结构示意图如图5所示，具体包括：
78.获取单元501，用于获取待检测的人脸图像；
79.处理单元502，用于利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息；所述身份信息包括内部标识向量和外部标识向量；
80.计算单元503，用于计算所述内部标识向量与所述外部标识向量之间的距离；
81.确定单元504，用于在所述距离大于预设的距离阈值的情况下，确定所述人脸图像为伪造图像。
82.在本发明提供的一实施例中，基于上述的方案，可选的，所述处理单元502，包括：
83.获取子单元，用于获取训练数据集以及初始身份提取模型；训练数据集包括多个第一训练样本和第二训练样本；每个所述第一训练样本包括第一图片以及所述第一图片的第一标签；每个所述第二训练样本包括第二图片以及所述第二图片的第二标签；所述第一
图片为用户历史图片，所述第二图片基于用户历史图片加工得到；
84.训练子单元，用于根据所述训练数据集训练所述初始身份提取模型，在所述初始身份提取模型满足预设的训练条件的情况下，将满足所述训练条件的所述初始身份提取模型，确定为训练好的身份提取模型。
85.在本发明提供的一实施例中，基于上述的方案，可选的，所述预先训练好的身份提取模型包括多个堆叠的块，所述处理单元502，包括：
86.处理子单元，用于将所述人脸图像输入到所述身份提取模型中，以通过身份提取模型中的所述多个堆叠的块依次对所述人脸图像进行处理，获得所述人脸图像的身份信息；
87.其中，所述人脸图像为所述多个堆叠的块中的首个块的输入，所述多个堆叠的块中的每个块的输出作为下一个块的输入。
88.在本发明提供的一实施例中，基于上述的方案，可选的，人脸检测装置还包括：
89.执行单元，用于在所述特征距离不大于预设的距离阈值的情况下，确定所述人脸图像为真实图像。
90.在本发明提供的一实施例中，基于上述的方案，可选的，人脸检测装置还包括：
91.生成单元，用于生成所述人脸图像的告警信息；并输出所述告警信息。
92.上述本发明实施例公开的人脸检测装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的人脸检测方法相同，可参见上述本发明实施例提供的人脸检测方法中相应的部分，这里不再进行赘述。
93.本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述人脸检测方法。
94.本发明实施例还提供了一种电子设备，其结构示意图如图6所示，具体包括存储器601，以及一个或者一个以上的指令602，其中一个或者一个以上指令602存储于存储器601中，且经配置以由一个或者一个以上处理器603执行所述一个或者一个以上指令602进行以下操作：
95.获取待检测的人脸图像；
96.利用预先训练好的身份提取模型对所述人脸图像进行处理，获得所述人脸图像的身份信息；所述身份信息包括内部标识向量和外部标识向量；
97.计算所述内部标识向量与所述外部标识向量之间的距离；
98.在所述距离大于预设的距离阈值的情况下，确定所述人脸图像为伪造图像。
99.需要说明的是，本发明提供的一种人脸检测方法及装置、存储介质及电子设备可用于人工智能领域、区块链领域、分布式领域、云计算领域、大数据领域、物联网领域、移动互联领域、网络安全领域、芯片领域、虚拟现实领域、增强现实领域、全息技术领域、量子计算领域、量子通信领域、量子测量领域、数字孪生领域或金融领域。上述仅为示例，并不对本发明提供的一种人脸检测方法及装置、存储介质及电子设备的应用领域进行限定。
100.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
101.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
102.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
103.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
104.以上对本发明所提供的一种人脸检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。