一种基于多特征融合的深度伪造图像检测模型的制作方法

本发明涉及计算机视觉、伪造检测，具体涉及一种基于多特征融合的深度伪造图像检测模型。

背景技术：

1、随着移动通信技术的发展，在如今的信息时代，数字图像已成为互联网上传输信息的主要媒介之一。在数字图像的传播过程中，图像伪造、图像篡改等各类风险逐渐显现，数字图像传播的安全性越来越受到大众的关注。

2、2014年，生成式对抗网络(generative adversarial network，gan)的概念首次被提出，gan独特的生成器-判别器结构能够充分学习真实图像的特征分布，生成的图像往往非常逼真，很难被肉眼识别。目前针对gan生成图像检测的研究大多是通过改进特征提取方法、改进网络结构或者增强数据处理等方法来提升检测精度。

3、相关研究成果表明卷积神经网络(convolutional neural networks,cnn)能够有效地提取到图像的语义、颜色、纹理等多方面特征，通过预处理、后处理以及数据增强，仅在单一生成模型数据集上训练的cnn分类器能够运用到不同gan模型进行图像分类。但现有先进模型对于多种类、多来源的gan生成图像还存在着提取特征维度单一、检测精度不够高等问题。数据增强在一定程度上增强了检测模型可泛化性，但是仅仅对数据集进行扩充，没有充分利用生成图像中产生的各类有效特征。

技术实现思路

1、生成对抗网络(gan)已在图像生成领域取得数多成就，可以生成人类肉眼难以辨别的伪造图像。根据对此类生成图像的检测需求，gan生成图像很难通过传统图像分类模型检测出来，而现有gan生成图像检测模型仍存在精度不够高或泛化性弱的问题。本发明提供一种基于多特征融合的深度伪造图像检测模型，有效提高模型的泛化性，从而应对无法确定图像具体来源的gan生成图像检测问题。

2、为实现以上功能，本发明设计一种基于多特征融合的深度伪造图像检测模型，执行如下步骤s1-步骤s3，构建针对未知来源图像的分类检测模型，执行如下步骤s4，完成对分类检测模型的训练和验证：

3、步骤s1：针对未知来源的图像，采用resnet50框架模型，分别提取其空间域特征、频率域特征、共生矩阵特征，并分别形成空间域特征图、频率域特征图、共生矩阵特征图；

4、步骤s2：针对步骤s1所获得的各特征图，进行特征融合，获得融合特征图；

5、步骤s3：基于resnet50框架模型对融合特征图进行分类检测，输出分类结果；

6、步骤s4：构建混合数据集，对步骤s1-步骤s3所构建的分类检测模型进行训练和验证，测试可泛化性结果，并获得训练好的针对未知来源图像的分类检测模型。

7、作为本发明的一种优选技术方案：resnet50框架模型为基于resnet50网络，保留resnet50中前5个stage的卷积层，丢弃resnet50网络最后的池化层以及全连接层，形成所述的resnet50框架模型。

8、作为本发明的一种优选技术方案：步骤s1的具体步骤如下：

9、步骤s1.1：采用resnet50框架模型，分别对未知来源的图像的rgb通道提取空间域特征，分别形成三通道的空间域特征图；

10、步骤s1.2：将输入的未知来源的图像经过加权平均的灰度化处理得到灰度化图像；利用二维傅里叶变换得到灰度化图像的二维频谱图；将二维频谱图作为输入传递到经过预训练的resnet50框架模型中提取对应的频率域特征，形成一通道的频率域特征图，此处resnet50框架模型同步骤s1.1；

11、步骤s1.3：分别针对未知来源的图像的rgb通道，根据下式提取共生矩阵特征：

12、p(i，j|d，θ)＝{(x，y)|f(x，y)＝i，f(x+dx，y+dy)＝j；x，y＝0，1，2…，n-1}

13、其中，p(i，j|d，θ)为灰度共生矩阵，每一个点(i，j)的值就是图像上灰度值为i的像素点到距离为d的另一个灰度值为j的像素点的概率，(x，y)为图像中的像素坐标；i，j＝0，1，2，…，l-1；其中l为图像灰度级数目，θ为每一个像素与其相邻的像素点所构成的像素对角度；

14、分别针对图像的rgb通道，θ分别取0°、45°、90°、135°，获得12通道的共生矩阵特征图。

15、作为本发明的一种优选技术方案：步骤s2的具体方法为：在空间域特征图、频率域特征图、共生矩阵特征图后分别加入bn层和relu层进行处理；之后，利用concat方法进行特征图叠加，获得融合特征图。

16、作为本发明的一种优选技术方案：步骤s3的具体方法为：将融合特征图作为新的特征张量输入到resnet50框架模型中进行特征提取，最后连接fc层进行图像判别与分类，输出分类结果。

17、作为本发明的一种优选技术方案：步骤s4中所构建混合数据集分别选择上采样方式为转置卷积的有条件gan、上采样方式为最近邻滤波的有条件gan模型、上采样方式为最近邻滤波非条件gan模型三类数据集进行混合得到混合数据集，对所构建的分类检测模型进行训练和验证，三类数据集进行混合得到18k数据集，其中真实图像和生成图像的比例为1：1。

18、有益效果：相对于现有技术，本发明的优点包括：

19、本发明设计了一种基于多特征融合的深度伪造图像检测模型，引入空间域、频率域和共生矩阵特征多域特征作为不同gan结构生成图像的“共有特征”。提取多域特征后，基于融合机制设计出生成图像检测模型，首次将三种不同域特征进行融合，送入同一个骨干网络进行特征提取以及分类预测。本发明设计的基于多特征融合的深度伪造图像检测模型充分利用了不同域的“共有特征”，与当前已有的检测模型相比，在保证检测速度的基础上平均检测精度得到提升，证明本发明所设计的模型成功提高了检测模型泛化性。与此同时，本发明运用混合多种类的gan生成图像的数据集进行训练，有效提升模型泛化性。

技术特征：

1.一种基于多特征融合的深度伪造图像检测模型，其特征在于，执行如下步骤s1-步骤s3，构建针对未知来源图像的分类检测模型，执行如下步骤s4，完成对分类检测模型的训练和验证：

2.根据权利要求1所述的一种基于多特征融合的深度伪造图像检测模型，其特征在于，resnet50框架模型为基于resnet50网络，保留resnet50中前5个stage的卷积层，丢弃resnet50网络最后的池化层以及全连接层，形成所述的resnet50框架模型。

3.根据权利要求2所述的一种基于多特征融合的深度伪造图像检测模型，其特征在于，步骤s1的具体步骤如下：

4.根据权利要求1所述的一种基于多特征融合的深度伪造图像检测模型，其特征在于，步骤s2的具体方法为：在空间域特征图、频率域特征图、共生矩阵特征图后分别加入bn层和relu层进行处理；之后，利用concat方法进行特征图叠加，获得融合特征图。

5.根据权利要求2所述的一种基于多特征融合的深度伪造图像检测模型，其特征在于，步骤s3的具体方法为：将融合特征图作为新的特征张量输入到resnet50框架模型中进行特征提取，最后连接fc层进行图像判别与分类，输出分类结果。

6.根据权利要求1所述的一种基于多特征融合的深度伪造图像检测模型，其特征在于，步骤s4中所构建混合数据集分别选择上采样方式为转置卷积的有条件gan、上采样方式为最近邻滤波的有条件gan模型、上采样方式为最近邻滤波非条件gan模型三类数据集进行混合得到混合数据集，对所构建的分类检测模型进行训练和验证，三类数据集进行混合得到18k数据集，其中真实图像和生成图像的比例为1：1。

技术总结
本发明公开了一种基于多特征融合的深度伪造图像检测模型，引入空间域、频率域和共生矩阵特征多域特征作为不同GAN结构生成图像的“共有特征”，即提取全局RGB特征作为空间域特征，设计频谱特征提取模块来提取图像二维频谱中存在的特征，设计共生矩阵提取模块来提取图像中的自然数据统计信息；提取多域特征后，基于融合机制设计出生成图像检测模型，将三种不同域特征进行融合后送入同一个骨干网络进行特征提取以及分类预测。基于多特征融合的模型充分利用了不同域的“共有特征”，同时设计了混合数据集，在保证检测速度的基础上平均检测精度得到提升，有效提高模型的泛化性，从而应对无法确定图像具体来源的GAN伪造图像检测问题。

技术研发人员：胡轶宁,赵笛言,王征,张宇宁,谢理哲
受保护的技术使用者：新型显示与视觉感知石城实验室
技术研发日：
技术公布日：2024/3/21