一种计算机生成图像取证方法、系统及可读存储介质

本发明涉及图像取证，更具体地，涉及一种计算机生成图像取证方法、系统及可读存储介质。

背景技术：

1、目前区分cg(computer generated，计算机生成)图像和pg(photographic，摄影)图像是图像取证领域当前的一个热门研究方向。cg图像通常是通过计算机图形技术(如3d渲染技术)或深度学习算法(如自动编码器(ae)和生成式对抗网络(gan))生成的。这些cg图像与真实摄影图像之间的区别很难用肉眼进行识别，而且如果被恶意使用，可能对社会稳定构成潜在风险。此外，在实际场景中，通过互联网传输的cg图像可能会经过压缩、调整大小等后处理操作，这给cg图像检测的鲁棒性提出了挑战。因此，开发鲁棒的方法来准确区分cg图像和pg图像变得尤为重要。近年来，深度神经网络，特别是卷积神经网络(cnn)，因其强大的学习能力而被广泛应用于cg图像取证领域。现有的基于深度神经网络的cg图像取证方法有很多种，但大致上采用了相似的流程，首先设计一种神经网络来提取输入图像的特征，然后将提取到的特征输入到全连接层进行分类，以区分图像的生成方式。为了获得更加精确的结果，研究人员还使用了各种特征增强方法，以帮助网络更好地区分cg图像和pg图像。

2、现有的基于cg图像和pg图像区分方法实现计算机生成图像取证方法的主要缺陷在于：(1)现有方法在检测经过后处理操作后的cg图像时，它们的性能会大大下降，限制了它们在现实世界中的实际适用性；(2)在基于cnn的方法中，cnn由于有限的感受野的固有特征导致模型过度强调纹理和边缘等局部特征，但是cg图像所有区域都是合成的，因此在计算机生成过程中可能会产生跨越整个图像的各种伪影。因此，全局特征在cg图像取证中和局部特征一样至关重要；(3)基于cnn的取证方法对对抗性攻击表现出脆弱性。

3、2022年11月29日公开的中国专利cn115410029a提供了一种基于双流神经网络通道联合和软池化的cg图像检测方法，涉及图像检测的技术领域，当前cg图像的检测方法存在针对具有强异构性数据集的检测性能有限，并忽视了噪声和图像语义特征之间互补性的问题，首先获取由图像样本组成的图像数据集，然后构建双流神经网络模型，双流神经网络模型包括分通道残差提取模块、联合通道信息提取模块以及分类器，分通道残差提取模块设有用于增强图像样本特征提取的残差结构，整个网络模型采用了软池化进行下采样，接着对该模型进行训练，得出训练好的双流神经网络模型，最后利用该模型对待检测cg图像样本进行检测。该技术方案同样存在cg图像检测时对对抗性攻击表现出脆弱性的问题。

技术实现思路

1、鉴于上述问题，本发明的目的是提供一种计算机生成图像取证方法、系统及可读存储介质。

2、本发明第一方面提供了一种计算机生成图像取证方法，所述方法包括以下步骤：

3、将原图像输入cnn模型，经过高频特征增强模块转换成两种特征映射分块，然后对这两种特征映射分块进行求和、平面化并映射成令牌嵌入；

4、将令牌嵌入输入到变换编码器中计算全局特征；

5、把全局特征映射进行全局平均池化得到分类特征；

6、把分类特征输入到全连接层后再使用softmax函数进行计算得到cg图像和pg图像的分类结果。

7、优选地，所述将原图像输入cnn模型，经过高频特征增强模块转换成两种特征映射分块，然后对这两种特征映射分块进行求和、平面化并映射成令牌嵌入，具体为：

8、将原图像输入cnn模型，把原图像的矩阵值转化为张量后输入到卷积块处理流和高频特征提取器处理流；

9、在卷积块处理流中对原图像依次通过卷积、归一化、最大池化操作得到局部特征映射；

10、在高频特征提取器处理流中对原图像依次通过快速傅里叶变换、频域高斯高通滤波器、快速傅里叶逆变换得到图像高频特征映射；

11、把局部特征映射和图像高频特征映射通过一个卷积层被划分为大小相同的分块，然后相加后再平面化，最后映射成一系列令牌嵌入。

12、优选地，所述局部特征映射的表达式为：

13、xl＝maxpool(bn(conv(x)))

14、其中，x∈rh×w×3，xl∈ri×j×c，x为原图像，xl为原图像的局部特征，(h,w)是原图像的尺寸大小，(i,j)是原图像经过卷积、归一化、最大池化操作后输出的尺寸大小，c是图像的通道数。

15、优选地，所述在高频特征提取器处理流中对原图像依次通过快速傅里叶变换、频域高斯高通滤波器、快速傅里叶逆变换得到图像高频特征映射，具体为：

16、将原图像中大小为(h,w)的第k个颜色通道fk(x,y)，进行快速傅里叶变换把fk(x,y)从空域变换到频域：

17、

18、其中，(x,y)和(u,v)分别为图像在空域和频域的坐标；

19、使用频域高斯高通滤波器突出高频信息，频域高斯高通滤波器的过滤结果记为：

20、gk(u,v)＝fk(u,v)·h(u,v)

21、

22、其中d0∈r是截止频率，d(u,v)是频率点(u,v)到频谱中心的距离，

23、利用快速傅里叶逆变换将原图像从频域转换回空域，记作：

24、

25、其中，空域图像；

26、从原图像中的每个颜色通道中提取高频特征，最终输出原图像的高频特征为xh∈rh×w×3。

27、优选地，所述把局部特征映射和图像高频特征映射通过一个卷积层被划分为大小相同的分块，然后相加后再平面化，最后映射成一系列令牌嵌入，具体为：

28、将局部特征映射xl和高频特征xh分别分割成大小为(p,p)的特征映射分块，然后两种分块相加得到新的特征映射分块：

29、

30、相加过程表示为：

31、xp＝conv2(xl)+conv3(xh)

32、然后把特征映射分块xp平面化并映射成一系列令牌嵌入xt∈rn×d，其中d＝p2×3分别为令牌嵌入的数量和大小。

33、优选地，所述将令牌嵌入输入到变换编码器中计算全局特征，具体为：

34、将特征映射分块xp输入到变换编码器中的第一个视觉变换器(visiontransformer，vit)块中；

35、依次遍历完变换编码器中所有的vit块，最终输出全局特征。

36、优选地，所述将特征映射分块xp输入到变换编码器中的第一个视觉变换器(visiontransformer，vit)块中，具体为：

37、对特征映射分块xp进行层归一化操作，然后输入到多头注意力机制(mha，multi-headattention)中，再利用残差连接把mha的输出和特征映射分块xp相加作为下一层输入；然后再次经过层归一化操作，之后输入到多层感知器(multi-layer perceptron，mlp)，同样也使用残差连接把mlp的输出与本次层归一化操作的输入相加作为下一个vit块的输入。

38、优选地，所述变换编码器中包括12个堆叠的vit块。

39、本发明第二方面提供了一种计算机生成图像取证系统，包括存储器和处理器，所述存储器中包括计算机生成图像取证方法程序，所述计算机生成图像取证方法程序被所述处理器执行时实现所述一种计算机生成图像取证方法的步骤。

40、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括计算机生成图像取证方法程序，所述计算机生成图像取证方法程序被处理器执行时，实现所述一种计算机生成图像取证方法的步骤。

41、与现有技术相比，本发明技术方案的有益效果是：

42、本发明提供一种计算机生成图像取证方法、系统及可读存储介质。所述方法首先通过一个卷积块得到图像局部特征映射，同时依次使用快速傅里叶变换、频域高斯高通滤波以及快速傅里叶逆变换得到图像高频特征映射，并把上述得到的两个特征映射均划分为多个大小相同的分块，然后将两种分块相加、平面化并映射成一系列令牌嵌入后输入到由12个堆叠的vit块组成的变换编码器中，然后把变换编码器的输出经过全局平均池化得到分类特征，最后把分类特征输入到全连接层再使用softmax函数进行计算得到cg图像取证结果。本发明利用了vit在捕获全局特征方面的优势来进行cg图像取证。结合了图像局部特征和从频域获得的高频特征来提高检测性能尤其是对后处理操作和对抗性攻击的鲁棒性。