基于频域信息与生成对抗网络的伪造图像检测方法及系统

1.本发明涉及图像处理及深度学习技术领域，特别是涉及一种基于频域信息与生成对抗网络的伪造图像检测方法及系统。


背景技术：

2.随着图像处理技术与深度学习技术的发展，伪造图像的质量越来越高且成本越来越低，对社会生活和生产活动产生的威胁日益显著。
3.近年来，随着多媒体采集工具的普及，特别是photoshop、美图秀秀等图像编辑软件的推广，数字图像的制作和传播进入了大爆发时代。现有的伪造图像检测方法大致可以分为两类：一类是利用图像中特定的线索，比如像素级别的不一致性，进行伪造图像检测；另一类是基于深度学习模型来捕捉图像中的伪造特征，从而提高检测性能。特别的是，随着深度学习不断的深入研究，深度卷积神经网络(deepcnns，dcnns)逐渐应用于伪造图像检测领域，并展现出强大的发展潜力。然而，现有的伪造图像检测技术大多局限于伪造人脸图像的检测，却鲜有针对于伪造自然图像检测的方法。事实上，自然场景伪造图像的检测同样至关重要，比如在军事侦察领域，在规划行军路线时，如果在原本没有河流或者没有山脉的地形图上”造出”河流和山脉，这一做法将很大程度上影响到行军路线的规划，进而产生严重的后果。因此，亟需研究一种针对伪造自然图像的检测方法。


技术实现要素：

4.本发明的目的是提供一种基于频域信息与生成对抗网络的伪造图像检测方法及系统，不仅能够对伪造人脸图像进行检测，而且还可以对自然场景伪造图像进行检测。
5.为实现上述目的，本发明提供了如下方案：
6.第一方面，本发明提供了一种基于频域信息与生成对抗网络的伪造图像检测方法，包括：
7.获取目标图像；所述目标图像为人脸图像或者自然场景图像；
8.将所述目标图像从图像空间转换到频域空间，以得到目标频谱图；
9.将所述目标频谱图输入到伪造图像检测模型中，以确定所述目标图像的判别结果；所述判别结果包括真实图像和伪造图像；
10.其中，所述伪造图像检测模型的网络结构为生成对抗网络；所述生成对抗网络包括生成器和鉴别器；所述鉴别器采用u-net结构。
11.可选的，所述将所述目标图像从图像空间转换到频域空间，以得到目标频谱图，具体包括：
12.对所述目标图像进行离散傅里叶变换，得到初始频谱图；
13.对所述初始频谱图进行中心化处理，得到目标频谱图。
14.可选的，所述生成器包括第一编码器和第一解码器；所述鉴别器包括第二编码器和第二解码器；
15.所述第一编码器的输出端连接所述第一解码器的输入端；所述第一解码器的输出端连接所述第二编码器的输入端；所述第二编码器的第一输出端用于在模型训练过程中输出样本图像类别；所述第二编码器的第二输出端连接所述第二解码器的输入端。
16.可选的，所述第一编码器用于提取所述目标频谱图的潜在编码；所述第一解码器用于基于所述目标频谱图的潜在编码，重构所述目标频谱图，以得到重构图像；
17.所述第一编码器包括五个第一卷积模块，其中，前四个所述第一卷积模块包括一个卷积层、一个批处理层和一个lrelu激活层，最后一个所述第一卷积模块包括一个卷积层、一个批处理层和一个relu激活层；
18.所述第一解码器包括五个且相同的第一反卷积模块；所述第一反卷积模块包括一个反卷积层和一个relu激活层。
19.可选的，所述第二编码器的第二输出端用于输出所述重构图像的潜在编码；
20.所述第二解码器的输出端用于输出图像逐像素判别结果值；所述图像逐像素判别结果值为所述目标图像的判别结果；
21.其中，所述第二编码器至少包括五个第二卷积模块，其中，第一个所述第二卷积模块包括一个二维卷积层和一个谱归一化层，后四个所述第二卷积模块包括一个二维卷积层、一个谱归一化层和一个relu激活层；
22.所述第二解码器至少包括五个且相同的第二反卷积模块；所述第二反卷积模块包括一个反卷积层和一个relu激活层。
23.可选的，所述伪造图像检测模型的损失函数为复合损失函数；
24.所述复合损失函数包括对抗损失子函数、第一标签损失子函数、第二标签损失子函数和重构子函数；
25.所述对抗损失子函数为交叉熵损失函数；
26.所述第一标签损失子函数用于表示样本频谱图的潜在编码与样本图像真实标签之间的差异值；所述样本图像真实标签为样本频谱图对应的标签；所述样本频谱图是将所述样本图像从图像空间转换到频域空间后得到的；
27.所述第二标签损失子函数用于表示所述样本重构图像的潜在编码与所述样本图像真实标签之间的差异值；所述样本重构图像为基于所述样本频谱图的潜在编码重构的图像；
28.所述重构损失子函数用于表示所述样本重构图像与所述样本频谱图之间的像素级损失值。
29.第二方面，本发明提供了一种基于频域信息与生成对抗网络的伪造图像检测系统，包括：
30.数据获取模块，用于获取目标图像；所述目标图像为人脸图像或者自然场景图像；
31.处理模块，用于将所述目标图像从图像空间转换到频域空间，以得到目标频谱图；
32.类别结果确定模块，用于将所述目标频谱图输入到伪造图像检测模型中，以确定所述目标图像的判别结果；所述判别结果包括真实图像和伪造图像；
33.其中，所述伪造图像检测模型的网络结构为生成对抗网络；所述生成对抗网络包括生成器和鉴别器；所述鉴别器采用u-net结构。
34.可选的，所述处理模块，具体包括：
35.变换单元，用于对所述目标图像进行离散傅里叶变换，得到初始频谱图；
36.中心化处理，用于对所述初始频谱图进行中心化处理，得到目标频谱图。
37.可选的，所述生成器包括第一编码器和第一解码器；所述鉴别器包括第二编码器和第二解码器；
38.所述第一编码器的输出端连接所述第一解码器的输入端；所述第一解码器的输出端连接所述第二编码器的输入端；所述第二编码器的第一输出端用于在模型训练过程中输出样本图像类别；所述第二编码器的第二输出端连接所述第二解码器的输入端。
39.可选的，所述第一编码器用于提取所述目标频谱图的潜在编码；所述第一解码器用于基于所述目标频谱图的潜在编码，重构所述目标频谱图，以得到重构图像；
40.所述第一编码器包括五个第一卷积模块，其中，前四个所述第一卷积模块包括一个卷积层、一个批处理层和一个lrelu激活层，最后一个所述第一卷积模块包括一个卷积层、一个批处理层和一个relu激活层；
41.所述第一解码器包括五个且相同的第一反卷积模块；所述第一反卷积模块包括一个反卷积层和一个relu激活层；
42.所述第二编码器的第二输出端用于输出所述重构图像的潜在编码；
43.所述第二解码器的输出端用于输出图像逐像素判别结果值；所述图像逐像素判别结果值为所述目标图像的判别结果；
44.其中，所述第二编码器至少包括五个第二卷积模块，其中，第一个所述第二卷积模块包括一个二维卷积层和一个谱归一化层，后四个所述第二卷积模块包括一个二维卷积层、一个谱归一化层和一个relu激活层；
45.所述第二解码器至少包括五个且相同的第二反卷积模块；所述第二反卷积模块包括一个反卷积层和一个relu激活层。
46.根据本发明提供的具体实施例，本发明公开了以下技术效果：
47.本发明利用生成对抗网络的博弈思想，将生成对抗网络引入伪造图像检测领域，提出了一种新的基于频域信息与生成对抗网络的伪造图像检测方法及系统。首先将目标图像从图像空间转换到频域空间，然后将处理后的目标图像输入到生成对抗网络的生成器中；接着将u-net结构，即编码器-解码器，引入到鉴别器中，从而增强鉴别器的鉴别能力；最后将生成器的输出结果输入到鉴别器中。由于将目标图像从图像空间转换到频域空间以及将u-net结构引入到鉴别器中，增强鉴别能力。显然本技术提供的一种基于频域信息与生成对抗网络的伪造图像检测方法及系统，不仅能够对伪造人脸图像进行检测，而且还可以对自然场景伪造图像(不易鉴别图像)进行检测。
附图说明
48.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明实施例中真实图像和不同模型生成的伪造图像对应的频谱图；图1(a)(b)(c)(d)(e)(f)(g)为本发明实施例中不同的真实图像；图1(h)(i)(j)(k)(m)(n)(o)
为本发明实施例中不同模型生成的伪造图像对应的频谱图；
50.图2为本发明实施例中生成器结构图；
51.图3为本发明实施例中鉴别器结构图；
52.图4为本发明实施例中谱归一化算法流程图；
53.图5为本发明实施例基于频域信息与生成对抗网络的伪造图像检测方法流程示意图；
54.图6为本发明实施例基于频域信息与生成对抗网络的伪造图像检测系统结构示意图；
55.图7为本发明实施例基于频域信息与生成对抗网络的伪造图像检测方法的总体架构图；
56.图8为本发明实施例中数据集展示图；
57.图9为本发明实施例中鉴别器有无采用u-net结构的检测准确率图；
58.图10为本发明实施例中鉴别器有无采用u-net结构的检测查准率图；
59.图11为本发明实施例中鉴别器有无采用u-net结构的检测查准率图；
60.图12为本发明实施例中鉴别器有无采用u-net结构的检测f1值图。
具体实施方式
61.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.最近，生成对抗网络(generativeadversarialnetworks，gans)凭借其强大的图像生成能力，在计算机视觉和图像处理领域，包括图像翻译、图像修复、图像合成等应用，展现出巨大的应用潜力。也正因为生成对抗网络技术的发展，大量近似真实、人眼难以辨别真伪的伪造图像开始涌现在大众的视野。大量且形式各异的伪造图像都有可能对个人隐私乃至社会安定产生巨大的负面影响，因此迫切需要一种伪造图像检测技术来检测包括卷积神经网络(convolutionalneuralnetworks，cnns)，特别是gans生成的虚假图像，该项技术的研究不仅有利于保护个人隐私，维护社会和谐，而且具有长远的应用前景和巨大的研究价值。
63.随着深度学习方法的发展，深度伪造(deepfake)技术越发成熟。大量近似真实的自然图像涌入人们的生活，在满足个人娱乐兴趣的同时，deepfake技术的滥用对个人隐私、经济市场乃至国家安全构成了潜在威胁。因此，针对伪造图像的检测方法亟待研究。现有的伪造图像检测技术大多存在准确率低、泛化性差的问题。鉴于此，本发明提供了一种基于频域信息与生成对抗网络的伪造图像检测方法及系统，本发明从deepfake技术的图像伪造机制出发，将图像从图像域转换到频域，同时在u-net结构基础上引入鉴别器，提出了一种伪造图像检测模型。本发明提供的技术方案分别在7个单独数据集和混合数据集上进行实验验证，与现有的部分先进方法相比，本发明在单独数据集上最高可达到100％准确率，最低准确率也可达94.93％；模型检测召回率，精确率和f1分数平均分别可达98.17％，98.25％，98.19％，在混合数据集上可达到92.96％的准确率。实验表明，本发明提供了一种有效且具有良好泛化性能的伪造图像检测方法及系统。
64.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
65.实施例一
66.针对上述问题，本发明实施例利用gans的博弈思想，将gans引入伪造图像检测领域，提出了一种新的伪造自然场景图像或者伪造人脸图像的检测方法。在训练阶段，首先将伪造图像从图像空间转换到频域空间，然后将处理后的伪造图像输入到gans的生成器中以提取潜在编码和图像重构；接着在u-net结构，即编码器-解码器，引入到鉴别器中，其中，编码器用于图像分类，解码器用于对图像像素进行判别，从而增强鉴别器的鉴别能力。在测试阶段，则利用训练好的鉴别器进行伪造图像的检测。
67.本发明实施例还设计了一种复合损失函数以更好的进行模型优化，为了全面评估本发明实施例方法的有效性，利用多种评价指标对模型性能进行了分析，表明本发明实施例方法能够取得良好的伪造图像检测性能。
68.本发明实施例提供的一种结合频域信息与对抗网络的伪造图像检测方法，包括以下步骤：
69.s1：利用gans的博弈思想，将gans引入伪造图像检测领域，提出了一种新的伪造自然场景图像检测方法。
70.s2：首先将伪造图像从图像空间转换到频域空间。
71.s2-1：频域转换模块，图1展示了由不同生成模型生成的伪造图像对应频谱图，第一行和第二行分别表示真实图像和由不同生成模型产生的伪造图像，且每一列为真实图像以及该真实图像对应的伪造图像。首先对真实图像和基于不同生成模型获得的伪造图像进行了离散傅里叶变换(discretefouriertransform，dft)以得到频谱图，然后对获得的频谱图进行中心化，接着将中心化后的频谱图输入到伪造图像检测模型中。
72.之所以将伪造图像从图像空间转换到频域空间，最重要的一点在于，通过深度学习模型生成的伪造图像，从图像域的角度来看往往难以发现造假的痕迹，特别是针对于近年来提出的，例如stylegan、stylegan2等模型，其往往能够生成高质量、高分辨率图像；而将伪造图像从图像域转换到频域，可以发现，真实图像和伪造图像存在很大差异。观察图1可以发现，真实图像的高频信息明显要高于伪造图像中的高频信息量。这是由于通过生成模型获得的伪造图像针对图像中灰度变化缓慢的区域往往能够很好生成，而对于灰度信息变化剧烈的区域，即边缘区域，往往很难生成。
73.s3：将获得的中心化后的频谱图输入到生成器的编码器中以获得图像的潜在编码；紧接着将潜在编码作为生成器中解码器的输入，进行图像重构。图2中展示了提出的伪造图像检测模型中生成器的结构，该生成器由编码器和解码器两部分构成。
74.s3-1：编码器部分用于提取输入图像的潜在编码，生成器中编码器由5个卷积模块构成，其中，前四个卷积模块由一个卷积层(convolution，conv)和一个批处理层(batchnormalization，bn)后跟一个leaky-rectifiedlinearunits(lrelu)激活层构成，最后一个卷积模块则将lrelu激活层替换为rectifiedlinearunits(relu)激活层。
75.s3-2：解码器用于图像重构。解码器结构与编码器结构相对应，由5个反卷积模块构成，每个反卷积模块都具有相同的结构，包括一个反卷积层和一个relu激活层。
76.s4：将重构图像和输入图像(即中心化后的频谱图)分别输入到鉴别器中以鉴别真
伪。本发明实施例提出的鉴别器采用u-net结构，由编码器和解码器两部分构成。图3中展示了提出的伪造图像检测模型中鉴别器的结构。其中，conv2d代表二维卷积，spectralnorm代表批归一化，k表示卷积核大小，s表示步长，d表示输出特征图的通道数，lrelu表示leakyrelu激活函数，relu表示relu激活函数，deconv2d代表二维反卷积。
77.s4-1：编码器对输入图像进行分类，即将输入图像分类为真实图像或者伪造图像。
78.s4-2：解码器对图像像素进行判别真伪，因此该鉴别器具有两个输出，对应于图像检测结果和图像逐像素判别结果。
79.s4-3：本发明将谱归一化(spectralnormalization，sn)应用到鉴别器中，以一种更优雅的方式使得鉴别器d满足利普希茨连续性，限制了函数变化的剧烈程度，从而使模型更稳定。在实现sn之前，首先需要求解卷积网络中的卷积核(权重矩阵)w的奇异值，从而获得每层参数矩阵的谱范数，在这一过程中，采用“幂迭代法”来近似求取，其迭代过程如图4的步骤2.2和2.3所示。在求得谱范数之后，每个参数矩阵上的参数除以它，以达到归一化目的。算法具体流程如图4所示。
80.在鉴别器中添加谱归一化层，从而使得鉴别器满足利普希茨连续性。本发明实施例中使用的谱归一化与现有的谱归一化技术是一致的。
81.s5：本发明除了采用对抗损失来优化生成器和鉴别器以外，还采用了标签损失来约束生成潜在编码与图像标签间的一致性，同时为了保证重构图像与输入图像的相似性，本发明实施例通过采用重构损失来避免重构图像过程中的像素级损失。生成器通过对抗损失、标签损失和重构损失进行训练；鉴别器通过对抗损失和标签损失进行训练。
82.s5-1：对抗损失；由于本发明实施例提出伪造图像检测模型是一种基于gans的检测模型，因此在本发明实施例中继续沿用了原始gans中的交叉熵损失，该损失函数能够最大化鉴别器的区分度，最小化生成器的输出和真实数据的区别。对抗损失l
gan
的计算公式如下所示。
[0083][0084]
其中x表示输入频谱图，d和g分别表示鉴别器和生成器。
[0085]
s5-2：标签损失；为了约束通过生成器中编码器编码获得的潜在编码与图像真实标签之间的差异，从而使得重构图像能够与输入图像更加一致。另外还计算了鉴别器中编码器的输出与标签之间的交叉熵损失，从而辅助鉴别器更好鉴别输入图像的真伪。标签损失的计算公式如下所示。
[0086]
l
label_g
＝|l-ge(x)|；
[0087]
l
label_d
＝-[l log(de(x))+(1-l)log(1-de(x))]；
[0088]
其中l表示输入图像的标签，ge和de分别表示生成器的编码器部分和鉴别器的编码器部分。
[0089]
s5-3：为了使得生成器重构图像能够高度还原输入图像，本发明实施例还提出了一种重构损失，该损失函数计算了重构图像g(x)和输入图像x之间的像素级损失，用l
reconstruction
损失表示，可以通过如下公式计算获得：
[0090][0091]
其中m，n表示图像的尺寸，这里m＝n＝256。总的损失函数为上述损失函数的加权，表示为：
[0092]
l
total
＝l
gan
+λ
label
(l
label_g
+l
label_d
)+λ
rec
l
reconstruction
；
[0093]
其中λ
label
、λ
rec
分别表示标签损失和重构损失的权重。
[0094]
实施例二
[0095]
如图5所示，一种基于频域信息与生成对抗网络的伪造图像检测方法，包括：
[0096]
步骤100：获取目标图像；所述目标图像为人脸图像或者自然场景图像。
[0097]
步骤200：将所述目标图像从图像空间转换到频域空间，以得到目标频谱图。
[0098]
步骤300：将所述目标频谱图输入到伪造图像检测模型中，以确定所述目标图像的判别结果；所述判别结果包括真实图像和伪造图像。
[0099]
其中，所述伪造图像检测模型的网络结构为生成对抗网络；所述生成对抗网络包括生成器和鉴别器；所述鉴别器采用u-net结构。
[0100]
步骤200具体包括：
[0101]
对所述目标图像进行离散傅里叶变换，得到初始频谱图；对所述初始频谱图进行中心化处理，得到目标频谱图。
[0102]
所述生成器包括第一编码器和第一解码器；所述鉴别器包括第二编码器和第二解码器；所述第一编码器的输出端连接所述第一解码器的输入端；所述第一解码器的输出端连接所述第二编码器的输入端；所述第二编码器的第一输出端用于在模型训练过程中输出样本图像类别；所述第二编码器的第二输出端连接所述第二解码器的输入端。
[0103]
进一步地，所述第一编码器用于提取所述目标频谱图的潜在编码；所述第一解码器用于基于所述目标频谱图的潜在编码，重构所述目标频谱图，以得到重构图像。所述第一编码器包括五个第一卷积模块，其中，前四个所述第一卷积模块包括一个卷积层、一个批处理层和一个lrelu激活层，最后一个所述第一卷积模块包括一个卷积层、一个批处理层和一个relu激活层；所述第一解码器包括五个且相同的第一反卷积模块；所述第一反卷积模块包括一个反卷积层和一个relu激活层。
[0104]
所述第二编码器的第二输出端用于输出所述重构图像的潜在编码；
[0105]
所述第二解码器的输出端用于输出图像逐像素判别结果值；所述图像逐像素判别结果值为所述目标图像的判别结果；其中，所述第二编码器至少包括五个第二卷积模块，其中，第一个所述第二卷积模块包括一个二维卷积层和一个谱归一化层，后四个所述第二卷积模块包括一个二维卷积层、一个谱归一化层和一个relu激活层；所述第二解码器至少包括五个且相同的第二反卷积模块；所述第二反卷积模块包括一个反卷积层和一个relu激活层。
[0106]
一个示例中，所述伪造图像检测模型的损失函数为复合损失函数；
[0107]
所述复合损失函数包括对抗损失子函数、第一标签损失子函数、第二标签损失子函数和重构子函数。
[0108]
所述对抗损失子函数为交叉熵损失函数；所述第一标签损失子函数用于表示样本
频谱图的潜在编码与样本图像真实标签之间的差异值；所述样本图像真实标签为样本频谱图对应的标签；所述样本频谱图是将所述样本图像从图像空间转换到频域空间后得到的；所述第二标签损失子函数用于表示所述样本重构图像的潜在编码与所述样本图像真实标签之间的差异值；所述样本重构图像为基于所述样本频谱图的潜在编码重构的图像；所述重构损失子函数用于表示所述样本重构图像与所述样本频谱图之间的像素级损失值。
[0109]
实施例三
[0110]
如图6所示，本实施例提供了一种基于频域信息与生成对抗网络的伪造图像检测系统，包括：
[0111]
数据获取模块400，用于获取目标图像；所述目标图像为人脸图像或者自然场景图像。
[0112]
处理模块500，用于将所述目标图像从图像空间转换到频域空间，以得到目标频谱图。
[0113]
类别结果确定模块600，用于将所述目标频谱图输入到伪造图像检测模型中，以确定所述目标图像的判别结果；所述判别结果包括真实图像和伪造图像。
[0114]
其中，所述伪造图像检测模型的网络结构为生成对抗网络；所述生成对抗网络包括生成器和鉴别器；所述鉴别器采用u-net结构。
[0115]
所述处理模块500，具体包括：
[0116]
变换单元，用于对所述目标图像进行离散傅里叶变换，得到初始频谱图。
[0117]
中心化处理，用于对所述初始频谱图进行中心化处理，得到目标频谱图。
[0118]
所述生成器包括第一编码器和第一解码器；所述鉴别器包括第二编码器和第二解码器；所述第一编码器的输出端连接所述第一解码器的输入端；所述第一解码器的输出端连接所述第二编码器的输入端；所述第二编码器的第一输出端用于在模型训练过程中输出样本图像类别；所述第二编码器的第二输出端连接所述第二解码器的输入端。
[0119]
所述第一编码器用于提取所述目标频谱图的潜在编码；所述第一解码器用于基于所述目标频谱图的潜在编码，重构所述目标频谱图，以得到重构图像；所述第一编码器包括五个第一卷积模块，其中，前四个所述第一卷积模块包括一个卷积层、一个批处理层和一个lrelu激活层，最后一个所述第一卷积模块包括一个卷积层、一个批处理层和一个relu激活层；所述第一解码器包括五个且相同的第一反卷积模块；所述第一反卷积模块包括一个反卷积层和一个relu激活层。
[0120]
所述第二编码器的第二输出端用于输出所述重构图像的潜在编码；所述第二解码器的输出端用于输出图像逐像素判别结果值；所述图像逐像素判别结果值为所述目标图像的判别结果；其中，所述第二编码器至少包括五个第二卷积模块，其中，第一个所述第二卷积模块包括一个二维卷积层和一个谱归一化层，后四个所述第二卷积模块包括一个二维卷积层、一个谱归一化层和一个relu激活层；所述第二解码器至少包括五个且相同的第二反卷积模块；所述第二反卷积模块包括一个反卷积层和一个relu激活层。
[0121]
实施例四
[0122]
参见图7的架构，本实施例提供的一种基于频域信息与生产对抗网络的伪造图像检测方法，其包括以下设置：
[0123]
s1：使用wang等人提供的伪造图像数据集进行模型训练和验证，如图8所示。该数
据集包含11种通过不同的基于cnns的生成模型获得的伪造图像集。本实施例中仅采用了8种伪造图像数据集进行模型验证，包括stylegan，biggan，cyclegan，star-gan，crn，imle，stylegan2，和gaugan。
[0124]
s2：s1中的前7种数据集不仅用于验证检测方法在单独数据集上的检测性能，而且也应用于在混合数据集上的性能验证。每个数据集的真实图像和伪造图像的比例为1:1。在选定的数据集中，80％的数据用于训练，其余20％用于验证所提模型的有效性。
[0125]
s3：验中关键参数设置为：用于训练的图像尺寸为256*256，学习率为0。0002，训练次数为100epoch，batchsize为1。
[0126]
实施例五
[0127]
为了充分的验证本发明提出方法的有效性，将提出模型在不同的伪造图像数据集上，本实施例根据实施例一的设置针对是否具有频域转换模块进行了消融实验。
[0128]
s1：表1至表中展示了提出方法中有无频域转换和sn操作的实验结果对比。
[0129]
表1有无频域转换和sn操作的模型准确率(acc)对比表
[0130][0131]
表2有无频域转换和sn操作的模型查准率(p)对比表
[0132][0133]
表3有无频域转换和sn操作的模型查全率(r)对比表
[0134][0135]
表4有无频域转换和sn操作的模型f1值对比表
[0136][0137]
s2：添加频域转换及sn操作之后，模型检测准确率acc、查准率p、查全率r以及f1值得到普遍提升，特别是对于stylegan、biggan、stargan这三种模型，未进行频域转换和sn操作时，其准确率acc和查准率p极低，表明此时检测模型对于这几种模型产生的伪造图像几乎任何作用。
[0138]
s3：添加频域转换和sn操作后，其检测准确率acc和查准率p得到大幅提升，同时查全率r也保持在较优的水平。
[0139]
s4：本实施例表明，在频域中，通过生成模型获得的伪造图像中存在的缺陷更容易被检测。
[0140]
实施例六
[0141]
为了充分的验证本发明提出方法的有效性，本实施例根据实施例一的设置针对网络结构中鉴别器结构是否采用u-net结构进行了消融实验。
[0142]
s1：实验结果通过图表的形式直观的展示在图9-图12中。
[0143]
s2：u-net结构的采用在一定程度上提高了模型检测的性能，其中模型检测准确率acc、查准率p、查全率r及f1值分别平均提升3.698％，2.039％，6.064％，4.241％。
[0144]
s3：本实施例表明，提出模型中采用的编码器-解码器结构相比于普通鉴别器结构更适用于伪造图像检测。
[0145]
实施例七
[0146]
为了充分的验证本发明提出方法的有效性，本实施例在混合数据集上进行了模型训练，然后在不同数据集上进行了单独训练进行了实验。
[0147]
s1：混合数据集中共有图像4000张，其中真实图像和伪造图像比例为1：1。该混合数据集共包含由五种不同生成模型产生的伪造图像：imle、stylegan、stylegan2、crn、gaugan，各8000张图像，其中真实图像和伪造图像各占50％
[0148]
s2：为了充分展示本文提出检测模型的泛化性能，对实验结果进行了综合分析，结果展示如下表5。
[0149]
表5结果展示表
[0150][0151][0152]
s3：本实施例表明，本发明方法在混合数据集上也能够取得较优的检测性能，其平均检测准确率可达92.96％，进而展现出本发明提出方法的检测泛化性。
[0153]
实施例八
[0154]
为了充分的验证本发明提出方法的有效性，本实施例将本发明方法与现有部分先进方法进行对比。
[0155]
下表展示了本发明方法与目前现有部分先进方法的实验对比分析：
[0156]
表6对比分析表
[0157][0158]
其中加粗字体部分表示各项指标的最优值。对比方法包括inception、resnet50、xception、mesonet、mesonet-inception和efficientnet六种对比算法。表中数据表明，本发明方法在大多数数据集上都能展现出优秀的检测性能，且与用于对比的伪造图像检测模型相比，本发明方法尽管在crn、stylegan两个数据集上略低于inception和efficientnet模型，但也取得了较优的检测准确率；总的来说，本发明方法具有良好的检测性能。
[0159]
本发明具有以下有益效果：
[0160]
一是，本发明利用gans的博弈思想，将gans引入伪造图像检测领域，提出了一种新的伪造自然场景图像检测方法。
[0161]
二是，将u-net结构，即编码器-解码器，引入到鉴别器中，其中编码器用于图像分类，解码器用于对图像像素进行判别，从而增强鉴别器的鉴别能力。
[0162]
三是，本发明设计了一种复合损失函数以更好的进行模型优化。
[0163]
四是，利用多种评价指标对模型性能进行了分析，表明本发明方法能够取得良好的伪造图像检测性能。
[0164]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0165]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。