一种人脸伪造的检测方法、装置、电子设备及介质与流程

本技术涉及计算机，尤其涉及一种人脸伪造的检测方法、装置、电子设备及介质。

背景技术：

1、人脸识别，作为生物特征识别的一个重要组成部分，随着人脸识别技术的发展，其安全性受到广泛关注。目前，基于人脸识别技术的刷脸业务，被应用到各种各样的产品中，随之而来的，人脸伪造检测技术也被应用到产品中，用于识别人脸伪造，保障刷脸业务的安全。

2、人脸伪造检测，作为保障人脸识别安全性的重要技术手段，相关技术中，常用的检测方法，主要分为两个方向：基于单帧图片的人脸伪造检测和基于多帧视频的人脸伪造检测。

3、相关技术中，不论是基于单帧图片的人脸伪造检测，还是基于多帧视频的人脸伪造检测，训练数据空间都是有限的，实际训练时，无法覆盖所有的数据类型，模型考虑的痕迹信息都比较单一。而人脸伪造检测的实际应用场景中，攻击种类繁多，攻击形式新颖，总有一些最新的人脸伪造技术所生成的人脸伪造的视频，检测模型可能未训练过，导致检测模型无法识别出人脸伪造的视频。

4、可见，相关技术中的人脸伪造检测方法，其使用的伪造检测模型，训练数据很难覆盖整个类别空间，即便训练数据量足够大，也很难做到比较通用的泛化性，其针对人脸伪造的防御能力和泛化性较差。

技术实现思路

1、本技术实施例提供一种人脸伪造的检测方法、装置、电子设备及介质，用以提升对已知人脸伪造攻击的防御能力和未知人脸伪造攻击的泛化检测能力。

2、第一方面，本技术实施例提供一种人脸伪造的检测方法，所述方法包括：

3、获取待检测的视频数据，并采用多种选帧策略，分别在所述视频数据中进行视频帧选取，获得相应的视频帧集；

4、分别针对相应的视频帧集进行人脸特征提取，获得相应的原始人脸特征；

5、从获得的各原始人脸特征中，选取出至少两个原始人脸特征，并基于选出的至少两个原始人脸特征，获得所述视频数据对应的预测全局人脸特征；

6、在确定预设的多个聚类中心各自与所述预测全局人脸特征之间的相似度，均小于设定阈值时，将所述视频数据判定为：包含伪造人脸；其中，所述预设的多个聚类中心，是基于真实人脸视频数据对应的参考全局人脸特征聚类得到的。

7、第二方面，本技术实施例提供一种人脸伪造的检测装置，包括：

8、获取单元，用于获取待检测的视频数据，并采用多种选帧策略，分别在所述视频数据中进行视频帧选取，获得相应的视频帧集；

9、第一处理单元，用于分别针对相应的视频帧集进行人脸特征提取，获得相应的原始人脸特征；

10、第二处理单元，用于从获得的各原始人脸特征中，选取出至少两个原始人脸特征，并基于选出的至少两个原始人脸特征，获得所述视频数据对应的预测全局人脸特征；

11、检测单元，用于在确定预设的多个聚类中心各自与所述预测全局人脸特征之间的相似度，均小于设定阈值时，将所述视频数据判定为：包含伪造人脸；其中，所述预设的多个聚类中心，是基于真实人脸视频数据对应的参考全局人脸特征聚类得到的。

12、可选的，所述获取单元具体用于执行以下操作中的至少两种：

13、将所述视频数据划分为多个视频片段，并分别在每个视频片段中选取一帧图像，得到多帧图像，组成所述视频帧集；

14、在所述视频数据中选取连续多帧图像，组成所述视频帧集；

15、在所述视频数据中，确定眼睛闭合程度满足第一子预设条件的第一图像，并以所述第一图像为中心选取连续多帧图像，组成所述视频帧集；

16、在所述视频数据中，确定嘴巴张开幅度满足第二子预设条件的第二图像，并以所述第二图像为中心选取连续多帧图像，组成所述视频帧集；

17、在所述视频数据中，确定摇头幅度满足第三子预设条件的第三图像，并以所述第三图像为中心选取连续多帧图像，组成所述视频帧集。

18、可选的，所述获取单元具体用于采用以下方式获得所述人脸关键部位的动作幅度：

19、分别对所述视频数据包含的各帧图像进行人脸配准点检测，获得相应帧图像包含的多个人脸配准点；

20、分别基于所述各帧图像各自包含的多个人脸配准点，获得相应帧图像中人脸关键部位的动作幅度。

21、可选的，所述检测单元具体用于采用以下方式确定所述预设的多个聚类中心：

22、获取多个包含真实人脸的视频数据；

23、确定每个包含真实人脸的视频数据对应的参考全局人脸特征；

24、对确定出的多个参考全局人脸特征进行聚类，得到所述预设的多个聚类中心。

25、可选的，所述检测单元，具体用于：

26、在确定预设的多个聚类中心，与所述预测全局人脸特征之间的欧氏距离的平均值，大于设定的距离阈值时，将所述视频数据判定为：包含伪造人脸。

27、可选的，所述检测单元，具体用于采用以下方式确定所述设定的距离阈值：

28、获取多个测试视频数据，所述多个测试视频数据中包括：第一预设数量个真实人脸视频数据和第二预设数量个伪造人脸视频数据；

29、确定每个测试视频数据对应的样本全局人脸特征；

30、确定每个测试视频数据对应的样本全局人脸特征，与预设的多个聚类中心之间的欧氏距离的样本平均值，得到每个测试视频数据对应的样本平均值；

31、针对每个样本平均值，执行以下操作：以每个样本平均值作为设定的参考距离阈值，对所述多个测试视频数据中包含的人脸进行判定，得到判定结果，并根据判定结果确定真实人脸的判定准确率和伪造人脸的判定准确率，得到每个样本平均值对应的真实人脸的判定准确率和伪造人脸的判定准确率；

32、将真实人脸的判定准确率和伪造人脸的判定准确率之和，满足预设要求的参考距离阈值确定为所述设定的距离阈值。

33、可选的，所述检测单元，具体用于：

34、以每个样本平均值作为设定的参考距离阈值；

35、将所述多个测试视频数据中，对应的样本平均值小于所述参考距离阈值的测试视频数据，作为包含真实人脸的测试视频数据；

36、将所述多个测试视频数据中，对应的样本平均值大于或等于所述参考距离阈值的测试视频数据，作为包含伪造人脸的测试视频数据。

37、可选的，所述获取单元，具体用于：

38、针对所述视频数据中的各帧图像，分别执行以下操作：在图像中检测人脸关键点，并基于检测到的人脸关键点，在图像中截取预设尺寸的人脸检测框图像，获得相应的人脸检测框图像；

39、以所述视频数据包含的多帧图像的时序信息，对获得的各帧图像对应的人脸检测框图像排序，生成目标视频数据；

40、采用多种选帧策略，分别在所述目标视频数据中进行视频帧选取，获得相应的视频帧集。

41、第三方面，本技术实施例提供的一种计算机设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述第一方面中任意一种人脸伪造的检测方法。

42、第四方面，本技术实施例提供的一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在计算机设备上运行时，所述计算机程序用于使所述计算机设备执行上述第一方面中任意一种人脸伪造的检测方法。

43、第五方面，本技术实施例提供的一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中；当计算机设备的处理器从计算机可读存储介质读取所述计算机程序时，所述处理器执行所述计算机程序，使得所述计算机设备执行上述第一方面中任意一种人脸伪造的检测方法。

44、本技术有益效果如下：

45、由于视频数据相比于单帧图像多了时序信息，而针对视频数据的人脸伪造检测中，伪造痕迹和图像帧之间的不连续性，是检测的核心线索，因此，本技术实施例，首先利用多种选帧策略，分别在多个真实人脸视频数据中选取视频帧集，进而计算每个真实人脸视频数据对应的参考全局人脸特征，并对参考全局人脸特征进行聚类得到多个聚类中心，在获取到待检测视频数据之后，同样采用多种选帧策略，分别在待检测的视频数据中进行视频帧选取，获得相应的视频帧集，并基于获得的待检测的视频数据对应的视频帧集，获得待检测的视频数据对应的预测全局人脸特征，最后基于预测全局人脸特征，与预先基于真实人脸视频数据聚类得到的多个聚类中心的相似度，判断待检测的视频数据中包含的人脸是否为伪造人脸。

46、本技术实施例，通过多种选帧策略，在视频数据中进行视频帧选取，与相关技术中考虑单一的痕迹信息，使用单一的方式，从视频序列帧中选取帧间动作变化最大的帧相比，基于多样化的选帧策略，选择更多的视频帧集，可以捕捉视频数据中人脸更多的局部区域特征，使得检测结果更加准确，而且以真实人脸视频数据聚类得到的多个聚类中心为参考进行检测，能够提升对已知人脸伪造攻击的防御能力和未知人脸伪造攻击的泛化检测能力，同时有力的保障后续人脸识别业务的安全性和鲁棒性。

47、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。