一种基于自增强的深度伪造图像鉴伪方法和系统与流程

本发明属于图像鉴伪领域，尤其涉及一种基于自增强的深度伪造图像鉴伪方法和系统。

背景技术：

1、深度伪造图像鉴别的对象是由深度伪造生成技术制作的视频或图像，但由于在鉴别视频时可以将视频流拆解为一帧一帧独立的视频帧，因此本质上仍是一种对于图像数据的处理、分析与分类问题。深度伪造这一概念具有两方面的限制条件，一方面是生成的技术必须是深度学习算法，采用图像编辑软件例如photoshop等手工或非深度学习的机器学习算法制作的图像不在本领域的研究范围内；另一方面特点是伪造的对象必须是包含人脸的图像，即生成的主体、伪造的内容是人脸，否则对于普通的物品图像没有研究的意义与价值。

2、现有技术

3、目前深度伪造鉴别领域中已经提出了大量的鉴别技术思路，其中绝大部分是尝试通过处理深度伪造图像从而捕捉现有伪造数据中微弱的伪造痕迹，这一思路可以在特定范围内的数据集中取得较好的效果，但是在开放场景中对没有学习过的新型深度伪造方法制作的合成人脸图像进行鉴别时，往往表现得鉴别效果不稳定。本方法所属的技术路线打破了这一局限思维，采用自增强的数据合成方式，甚至不需要采集现实中的深度伪造图像作为训练集的负样本，可以自行依据真实图像样本自行通过数据增强构造海量负样本。

4、在本方法所属的这一技术路线中，存在两种相近的前人提出的技术方案：

5、1）第一种方法简称face-xray，发表于论文《face x-ray for more general faceforgery detection》，该方法是第一种基于数据增强并取得较好效果的技术方案，主要特点是提出一种基于关键点匹配与图像拼接的数据增强框架。相比该方法，本发明提出的方法具备数据多样性更强、融合过程更加丰富、模拟的效果更加多样等创新优势。

6、2）第二种方法简称self-blend，发表于论文《detecting deepfakes with self-blended images》，该方法也是一种基于数据增强的深伪鉴别技术，最大的贡献是采用同一张人脸进行拼接，不需要face-xray中的关键点匹配步骤。相比该方法，本发明提出的方法主要的区别与创新点在于，本方法可以撇除数据增强过程中多余的身份信息，避免鉴别算法错误地将部分身份特征视作了伪造痕迹用于鉴别，即提高了鉴别算法的实战应用能力。

7、现有技术的缺陷：

8、第一种方法face-xray提出一种基于关键点匹配与图像拼接的数据增强框架。该方法主要的缺点包括以下两方面：（1）拼接的类型只采用了固定的4类掩码，可以模拟的伪造类型有限。（2）采用的鉴别模型没有有效利用到不同层级的信息，信息损失严重。

9、第二种方法self-blend提出了一种基于同一张人脸图像数据增强的深度伪造鉴别方法。该方法主要的缺点包括以下两方面：（1）采用同一张人脸无导致增强后的图像身份信息有限、单一，后续从这些增强的图像中训练鉴伪模型时，模型会将部分身份特征视作了伪造痕迹用于鉴别。（2）同样地该方法也没有有效利用到不同层级的信息，信息损失严重。

技术实现思路

1、为解决上述技术问题，本发明提出一种基于自增强的深度伪造图像鉴伪方法的技术方案，以解决上述技术问题。

2、本发明第一方面公开了一种基于自增强的深度伪造图像鉴伪方法，所述方法包括：

3、步骤s1、借助对抗生成网络生成高清人脸图像数据集；采用关键点检测器对生成的高清人脸图像提取关键点坐标；通过所述关键点坐标构建初步掩码；对所述初步掩码做变形与增强，得到变形增强掩码；

4、步骤s2、对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像；对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码；将1~3张随机增强图像和1~3张随机增强掩码拼接，得到自增强图像；

5、步骤s3、将所述自增强图像输入浅层特征处理模块，得到浅层特征；将所述浅层特征输入中层特征处理模块，得到中层特征；将所述中层特征输入深层特征处理模块，得到深层特征；将所述浅层特征、中层特征和进行下采样拼接，得到拼接特征；将所述拼接特征输入分类器，得到鉴伪分析结果。

6、根据本发明第一方面的方法，在所述步骤s1中，所述借助对抗生成网络生成高清人脸图像数据集的方法包括：

7、向预训练好的对抗生成网络输入一个0~1之间的随机数，生成的图像分辨率为512像素×512像素，以上过程循环10万次得到包含10万张高清人脸图像；

8、所述采用关键点检测器对生成的高清人脸图像提取关键点坐标的方法包括：

9、应用开源工具dlib获取81个关键点坐标；

10、所述通过所述关键点坐标构建初步掩码的方法包括：

11、对于每一张高清人脸图像，针对“人脸下半部分”，采用第3~15号、第30号关键点相连围成的最小凸包，得到第一初步掩码；“额头部分”采用第69~79号关键点相连围成的最小凸包，得到第二初步掩码；“脸颊部分”采用第2~5号、第13~16号、第29~31号关键点相连围成的最小凸包，得到第三初步掩码。

12、根据本发明第一方面的方法，在所述步骤s1中，所述对所述初步掩码做变形与增强，得到变形增强掩码的方法包括：

13、对第一初步掩码、第二初步掩码和第三初步掩码的区域内的关键点，随机剔除1~2个关键点，再对剔除后的每个关键点的坐标值向上、下、左和右偏移1~5个像素点，得到偏移关键点；将所述偏移关键点相连围成的区域再次计算最小凸包，得到变形增强掩码。

14、根据本发明第一方面的方法，在所述步骤s2中，所述对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像的方法包括：

15、对于每一张高清人脸图像和变形强掩码，随机生成一个1~3之间的整数，作为图像增强的次数；在每一次图像增强中，采用基于高斯模糊的opencv的gaussian blur算法处理高清人脸图像和变形强掩码，blur的kernel参数取值为（5，5）；再对每一个像素点的数值随机×1.1或×0.9再取整，来改变图像的亮度。

16、根据本发明第一方面的方法，在所述步骤s2中，所述对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码的方法包括：

17、对每一张变形强掩码，随机生成一个1~3之间的整数，作为掩码增强的次数；在每一次掩码增强中，采用opencv的erode蒸馏算法与dilate钝化算法，对变形强掩码进行蒸馏，得到随机增强掩码。

18、根据本发明第一方面的方法，在所述步骤s3中，所述浅层特征处理模块包含5~6个第一卷积block；所述第一卷积block包含一个二维卷积层连接一个relu激活层；

19、所述中层特征处理模块包含5~6个第二卷积block；所述第二卷积block包含一个二维卷积层连接一个relu激活层后，再连接一个batchnorm层；

20、所述深层特征处理模块包含5~6个第三卷积block；所述第三卷积block包含一个二维卷积层连接一个relu激活层后，再连接一个batchnorm层。

21、根据本发明第一方面的方法，在所述步骤s3中，所述将所述浅层特征、中层特征和进行下采样拼接，得到拼接特征的方法包括：

22、以深层特征的长与宽为基准，对将所述浅层特征和中层特征进行双线性差值的下采样，得到三份尺寸一致的浅层特征向量、中层特征向量和深层特征向量；将所述浅层特征向量、中层特征向量和深层特征向量沿channel方向做拼接，得到拼接特征。

23、本发明第二方面公开了一种基于自增强的深度伪造图像鉴伪系统，所述系统包括：

24、第一处理模块，被配置为，借助对抗生成网络生成高清人脸图像数据集；采用关键点检测器对生成的高清人脸图像提取关键点坐标；通过所述关键点坐标构建初步掩码；对所述初步掩码做变形与增强，得到变形增强掩码；

25、第二处理模块，被配置为，对所述高清人脸图像和变形强掩码进行1~3次随机图像增强，得到1~3张具有差异的随机增强图像；对所述变形增强掩码进行1~3次随机掩码增强，得到1~3张随机增强掩码；将1~3张随机增强图像和1~3张随机增强掩码拼接，得到自增强图像；

26、第三处理模块，被配置为，将所述自增强图像输入浅层特征处理模块，得到浅层特征；将所述浅层特征输入中层特征处理模块，得到中层特征；将所述中层特征输入深层特征处理模块，得到深层特征；将所述浅层特征、中层特征和进行下采样拼接，得到拼接特征；将所述拼接特征输入分类器，得到鉴伪分析结果。

27、本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于自增强的深度伪造图像鉴伪方法中的步骤。

28、本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于自增强的深度伪造图像鉴伪方法中的步骤。

29、综上，本发明提出的方案能够通过提出一种构造多样化扩增数据拼接掩码图像处理方法，可以剔除增强后训练数据中人物身份种类较少、影响到算法学习效果的问题。利用对抗生成网络合成大量差异化的、属性可控的无偏差人脸图像数据，进一步采用高精度的人脸关键点检测器提取关键点信息，制作类型更加复杂、覆盖的潜在伪造种类更加全面的训练数据，进而保证后续在实际应用场景中鉴别不同类型伪造图像时具备更好的泛化性能。通过提出一种深度合成训练数据制备与增强方法，可以增强拼接的类型、扩大覆盖范围，进而提升数据增强的质量。通过借助多种复合图像处理算法全面提升训练数据的多样性，进行多轮次的图形增强，在每个轮次中采用不同参数设置的图形钝化、图形蒸馏算法进行细节丰富处理，使得增强后的数据可以更加有效地模拟深度合成图像特征。通过提出一种基于多层特征融合的图像处理网络，可以充分利用多层级特征信息，提升整体鉴别能力。尽最大可能地融合不同层级、不同位置的特征。这样做的好处是，多次地利用到浅层的纹理特征、中层的局部特征以及深层的语义特征，随着特征与信息利用率的提升，网络可以学习到更丰富的图像特征进而提高鉴别的准确率与稳定性。