基于梯度残差U型卷积神经网络的图像篡改检测技术

基于梯度残差u型卷积神经网络的图像篡改检测技术
技术领域
1.本发明涉及一种基于梯度残差u型卷积神经网络的图像篡改检测技术。


背景技术：

2.随着图像编辑技术的发展，人们可以轻松地纠正图像内容或操纵图像生成过程。形象的真实性和挑战性已经严重影响了人们对新闻报道和军事经济真实性的信任。在现有的研究范围内，研究人员将图像内容篡改分为三类：拼接、复制移动、移除。拼接，将一幅图像中的某个区域复制到另一幅图像以生成新图像。复制-移动，相同的图像复制粘贴部分区域到图中的其他位置。移除，从图像中移除内容。现有的图像操纵检测方法尝试使用特征提取方法来探索图像操纵的痕迹。图像操作检测的特征提取方法一般可以分为两大类：传统的特征提取方法和基于卷积神经网络的检测方法。
3.对于传统的特征提取方法，关注图像本身的统计信息和物理特性，如颜色插值、传感器噪声以及图像生成过程中的其他处理信号。已经提出了许多用于篡改被动检测的算法。然而，传统的图像处理检测技术仅针对图像的某个属性而设计，导致最终检测率低，缺乏鲁棒性。
4.基于卷积神经网络的篡改检测技术利用深度学习网络的多层结构和强大的特征学习能力，实现不依赖图像单一属性的篡改检测，弥补了传统图像篡改检测技术的不足。所有图像都具有通过成像处理的固有特性，这些属性作为图像指纹是图像内容所固有的，它们可用于区分图像与其他图像。在拼接伪造图像时，篡改和未篡改区域来自不同的源图像。删除和复制伪造图片时，操作区域的边缘会不一致。然而，基于cnn的检测网络倾向于提取与内容相关的强信号特征，因此现有的基于卷积的检测方法无法有效提取图像指纹特征和图像处理过程中产生的不一致边缘的细节，缺少图像指纹信息的特征提取将导致最终检测结果难以达到理想状况。同时这些检测方法需要复杂的图像预处理步骤，具有较高的时间复杂度。


技术实现要素：

5.本发明的目的在于提供一种基于梯度残差u型卷积神经网络的图像篡改检测技术，可用于证件资质文档类图像核查、人脸图像核实等。
6.本发明的目的通过如下技术方案实现：一种基于梯度残差u型卷积神经网络的图像篡改检测技术，其特征在于，它包括以下步骤：
7.s1.输入待检测的篡改图像；
8.s2.对输入的篡改图像进行数据增强，获得三组增强的测试图像；
9.s3.将篡改图像和测试图像依次输入到预训练的编码器中进行下采样，编码器设置4个下采样层，每个下采样层包括自适应中心差分卷积和最大池化层；
10.下采样层先通过sobel算子残差模块提取输入图像的篡改的边缘梯度信息，再通过自适应中心差分卷积和最大池化层提取输入图像的本质属性特征，最后将本质属性特征
与边缘梯度信息结合并归一化后得到特征图，特征图输入至下一下采样层，同时复制特征图用于跨连接；
11.s4.编码器还设置4个上采样层和1个分类层，最后一个下采样层得到的特征图输入至上采样层，每个上采样层包括自适应中心差分卷积、上采样卷积和relu激活；
12.编码器将下采样层获取的复制特征图通过跨连接的方法输入到解码器对应的上采样层，上采样层先将输入图像与解码器中相同分辨率的跨连接特征图进行连接操作，再通过sobel算子残差模块提取连接后图像的篡改的边缘梯度信息，连接后的图像接着通过自适应中心差分卷积和上采样卷积提取本质属性特征，最后将本质属性特征与边缘梯度信息结合并归一化后得到新特征图，新特征图输入至下一上采样层；
13.最后一个上采样层得到的新特征图输入至分类层，新特征图与下采样层同分辨率的跨连接特征图进行连接操作后，再通过中心差分卷积提取连接后图像的本质属性特征，最后经过一个1*1的中心差分卷积获得逐像素篡改概率的预测图；
14.s5.将步骤4中的三组测试图像获得的预测图进行增强的逆向还原；
15.s6.将篡改图像获得的预测图和三组测试图像还原后的预测图进行加权融合获得最终逐像素篡改概率预测图。
16.较之现有技术而言，本发明的优点在于：
17.1.本发明提出的自适应中心差分卷积能够通过收集强度和梯度信息来捕捉图像的基本属性，现有技术采用的卷积倾向于提取图像的内容特征，但在图像篡改检测中，篡改区域的图像指纹特征与图像内容的相关性较弱，因此本发明能够提高在多种篡改方式共同作用下的准确率，使模型具有较好的鲁棒性。
18.2.本发明提出的sobel梯度残差模块能够提取图像边缘梯度信息，由于图像处理将导致篡改区域边缘像素的相关性不连续信息，该模块利用了sobel算子能够提取图像边缘梯度信息的作用，在下采样层和上采样层增加的残差连接中增加了能够学习的sobel算子提取边缘梯度信息，有效的提高在复制-粘贴，拼接篡改方式下的篡改检测准确率。
19.3.本发明在训练时采用的focalloss损失函数通过γ因子使得减少易分类样本的损失，以及平衡因子α
t
，用来平衡正负样本本身的比例不均，使得模型更关注于困难的、错分的篡改区域。
20.4.本发明采用了篡改图像多视图的检测流程，通过对于待检测图像的高斯噪声，翻折，旋转增强后的图像的检测结果进行加权融合，充分的利用了待测图像的多种属性特征，有效的降低了模型测试的平均错误率，提高了模型的泛化能力。
附图说明
21.图1为本发明一种基于梯度残差u型卷积神经网络的图像篡改检测技术的实施例的流程图。
22.图2为本发明基于梯度残差u型卷积神经网络的图像篡改检测技术的模型整体结构示意图。
23.图3为本发明自适应中心差分卷积算子的示意图。
24.图4为本发明的sobel梯度残差模块的示意图。
25.图5为本发明的篡改定位结果的测试对比图(a代表篡改图像；b代表篡改区域真实
标注；c代表u-net预测结果；d代表本发明的预测结果)。
具体实施方式
26.下面结合说明书附图和实施例对本发明内容进行详细说明：
27.如图1-5所示为本发明提供的一种基于梯度残差u型卷积神经网络的图像篡改检测技术。
28.一种基于梯度残差u型卷积神经网络的图像篡改检测技术，它包括以下步骤：
29.s1.输入待检测的篡改图像。
30.s2.对输入的篡改图像进行数据增强，获得三组增强的测试图像；数据增强方式包括高斯噪声、顺时针旋转90
°
以及水平翻转。
31.s3.将篡改图像和测试图像依次输入到预训练的编码器中进行下采样，编码器设置4个下采样层，每个下采样层包括自适应中心差分卷积和最大池化层；
32.下采样层先通过sobel算子残差模块提取输入图像的篡改的边缘梯度信息，再通过自适应中心差分卷积和最大池化层提取输入图像的本质属性特征，最后将本质属性特征与边缘梯度信息结合并归一化后得到特征图，特征图输入至下一下采样层，同时复制特征图用于跨连接，输入图像一共经过四次下采样分辨率为原图的十六分之一。
33.每个下采样层包括两个3*3的自适应中心差分卷积。自适应中心差分卷积可以通过聚合强度和梯度信息来捕捉图像的内在细节，有效提升模型的鲁棒性。
34.sobel算子残差模块主要用于图像的边缘梯度特征的提取。由于图像处理将导致篡改区域边缘像素的相关性不连续，sobel算子残差模块可以有效的提升模型在多种篡改攻击方式下的准确率。
35.s4.编码器还设置4个上采样层和1个分类层，最后一个下采样层得到的特征图输入至上采样层，每个上采样层包括自适应中心差分卷积、上采样卷积和relu激活；
36.编码器将下采样层获取的复制特征图通过跨连接的方法输入到解码器对应的上采样层，上采样层先将输入图像与解码器中相同分辨率的跨连接特征图进行连接操作，再通过sobel算子残差模块提取连接后图像的篡改的边缘梯度信息，连接后的图像接着通过自适应中心差分卷积和上采样卷积提取本质属性特征，最后将本质属性特征与边缘梯度信息结合并归一化后得到新特征图，新特征图输入至下一上采样层；
37.最后一个上采样层得到的新特征图输入至分类层，新特征图与下采样层同分辨率的跨连接特征图进行连接操作后，再通过中心差分卷积提取连接后图像的本质属性特征，最后经过一个1*1的中心差分卷积获得逐像素篡改概率的预测图；
38.每个上采样层包括两个3*3的自适应中心差分卷积。
39.s5.将步骤4中的三组测试图像获得的预测图进行增强的逆向还原；
40.对顺时针旋转90
°
后的测试图像获得的预测图进行逆时针旋转90
°
还原，对水平翻转后的测试图像的预测图进行水平翻转还原，对高斯噪声处理后的预测图则不进行还原操作。
41.s6.将篡改图像获得的预测图和三组测试图像还原后的预测图进行加权融合获得最终逐像素篡改概率预测图。
42.加权融合的公式如下：
43.p＝0.5p
ori
+0.2p
fold
+0.2p
spin
+0.1p
noise
44.其中，p
ori
为原输入的篡改图像的预测结果，p
fold
为水平翻转增强后图像的预测结果，p
spin
顺时针旋转90
°
增强后图像的预测结果，p
noise
高斯噪声增强后图像的预测结果。
45.编码器的预训练过程如下：
46.选取若干未经过篡改的图像作为原始图像，通过图像编辑程序对这些图像进行复制-粘贴、拼接、移除篡改操作，并且制作对应的二值篡改标签图，篡改区域为黑，无篡改区域为白，将篡改操作后的图像作为训练集；
47.训练前先对训练集内的图像进行数据增强，训练时采用focalloss损失函数计算预测值和真实标签的误差，focalloss损失函数公式如下所示：
48.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
49.其中pt是不同类别的分类概率，γ是个大于0的值，α
t
是个[0，1]间的小数。
[0050]
现实中图像的篡改痕迹一般会经过压缩隐藏，或者多种篡改方式进行掩盖篡改痕迹，因此属于困难样本的检测，我focalloss通过γ因子使得减少易分类样本的损失，以及平衡因子α
t
，用来平衡正负样本本身的比例不均，使得模型更关注于困难的、错分的篡改区域，经过实验γ设定为2，α
t
设定为0.25。
[0051]
卷积算子可以实现内容特征提取。在图像篡改检测中，篡改区域的图像指纹特征与图像内容的相关性较弱。普通卷积不能有效提取图像指纹特征，而中心差分卷积可以通过聚合强度和梯度信息来捕捉图像的内在细节。为此，本发明提出了中心差分卷积算子来提高网络表示图像指纹细节的能力。
[0052]
中心差分卷积分两个阶段执行，即采样和聚合。首先，中心差分卷积的采样过程是对输入图像x的感受野区域进行加权求和，然后聚合采样值中心的梯度。对于输出特征图上的每个位置p0：
[0053][0054]
尽管cdc可以提高网络表示图像指纹详细信息的能力，但cdc需要操作员手动设置差异参数θ。每一层中心差分卷积的θ参数很难通过实验确定，所以每一层的θ参数只能设置为相同的值，这极大地限制了中心差异卷积指纹特征提取。为此，本发明提出了一种自适应中心差分卷积，它通过添加自注意力路径来学习每个自适应中心差分层的θ参数。
[0055]
u-net的编码器有四个下采样层，每个下采样层由两个3*3普通卷积组成和一个最大池化层组成，我们采用了自适应中心差分卷积代替了其中的普通卷积，其中中心差分卷积与普通卷积不同之处在于卷积的聚合步骤需要聚合中心的梯度，即3*3整个卷积提取的特征需要减去一定比例θ的3*3卷积中心提取的特征，并且我们通过注意力通道自主学习这个比例θ。
[0056]
自适应中心差分卷积在网络训练过程中自动更新每个中心差分卷积采样区域的差分算子；
[0057]
先将原始卷积网络分成两个通道并共享输入的输入图像；在上通道中，输入图像首先经过卷积层得到c*w*1的特征图，对其进行全局平均池化(池化大小为c*w)得到一个1*1的参数，最后发送到sigmoid进行normalize处理，得到差分参数θ。
[0058]
中心微分卷积可以使用局部零阶强度信息和一阶梯度微分信息。一阶梯度微分信息有利于捕捉图片固有的细节模式，但是局部零阶强度信息在网络中也很重要，所以我们使用增加的注意力模块来自动学习局部的重要性零阶强度信息和一阶梯度差信息。
[0059]
sobel算子残差模块的工作过程如下：
[0060]
先对输入图像进行1*1卷积(用于保持相同的通道数)，再将1*1卷积后的图像分别输入到垂直sobel运算和水平sobel运算当中，最后将垂直sobel运算和水平sobel运算的残差输出相加。
[0061]
水平和垂直边缘梯度可以通过以下卷积获得：
[0062][0063]
其中代表深度卷积运算，x代表输入图像，fh代表水平sobel运算，fv代表垂直sobel运算；
[0064]
垂直sobel运算和水平sobel运算的残差输出相加公式如下：
[0065]
yf＝n(fv(f1(x,{wi}))2+fh(f1(x,{wi}))2)
[0066]
其中x代表输入图像，f1代表1*1卷积，n代表归一化层，wi代表卷积的权重参数。然后经过归一化层和relu层后，进行加法运算。sobel残差结构模块定义为等式：
[0067][0068]
其中表示relu层。sobel残差结构模块通过提取丰富的边缘梯度信息为图像处理提供边缘信息。
[0069]
以上所述,仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。