一种基于注意力CNN文档证件类图像篡改检测方法与流程

一种基于注意力cnn文档证件类图像篡改检测方法
技术领域
1.本发明涉及图像篡改检测领域，具体是指一种基于注意力卷积神经网络(cnn)的非自然图像的文档证件类图像的篡改检测。


背景技术：

2.检测篡改伪造图像的技术称之为图像取证，已经有十多年的发展与研究，也在某些领域得到了广泛运用并且颇有成效，如司法鉴定、新闻溯源、刑事案件侦破等，但是研究的重点都是自然图像的篡改检测，对于文档证件类的非自然图像的相关检测与研究还是非常有限。随着互联网的迅速发展，电子发票、证书类等非自然图像开始普遍应用，修图工具的出现与普及，如adobe photoshop，使对文档证件类的篡改如同自拍修图一样简单，由于此种ps技术的发展成熟，篡改过的文档证件很难用肉眼分辨出来，因此检测伪造文档证书类图像是非常困难的，比如当要求上传电子银行流水时，为了一些目的上传者可能会将流水进行篡改，或者上传证书文件时，将里面的核心部分进行篡改，如名字，时间等，由于强大的ps技术或者一些其他反取证技术的出现与应用，这些篡改很难被人眼识别检测出来，一些别有用心者可能会将这些篡改过的文档用于散播谣言、编造虚假新闻、谋取私利等，如果篡改后的文档证件或者证明被大量地用于正式的媒体、科学发现、以及法庭的证物等，将可能会对政治和社会稳定产生严重影响。
3.在现有的图像篡改检测方法中，大部分是对自然图像的篡改检测，双流fasterr
‑
cnn网络对图像进行端到端的训练，然后检测图像是否被篡改，双流中一个是rgb流，从rgb输入图像中提取特征，通过对比度差异、不自然边界等找出篡改的痕迹；另一个是噪声流，利用srm(steganalysis rich model)模型的过滤层中提取噪声的特征，找出图像中真实区域和被篡改区域的噪声间的不一致，然后将从rgb流和噪声流中提取的特征用一个双线性池化层整合来进一步改进两种模式的空间共线性，该模型一方面是针对自然图像的篡改检测，另一方面，对copy
‑
move篡改检测效果较好，其他方式的篡改检测效果较差。现有提出的文档篡改检测中，有一种利用字符几何参数畸变或突变检测文件伪造的算法，该算法提出，在进行文档篡改时，篡改后的字符本身可能会发生倾斜，或者在水平与垂直位置上与其相邻字符的距离会发生变化，即位移变化，该方法首先利用光学字符识别(ocr)技术生成参考文档，并将其保存成与原始的扫描文档具有相同分辨率的图像格式，基于水平投影和垂直投影对参考文档和扫描文档图像中的字符进行分割，应用基准字符对文档图像进行对齐，并将扫描的文档图像的大小调整为与参考文档图像相同，应用傅里叶
‑
梅林变换计算每个字符的失真参数(包括旋转，水平位移，垂直位移)，然后计算失真概率，通过失真概率确定文档是否被篡改。该方法必须确保ocr识别准确并且基准字符的对齐必须精确，否则将会出现很大误差，当字符与基线的距离较大时，识别误差也会较大，所以此方法局限性较大。


技术实现要素：

4.以解决上述背景技术中提出的问题，本发明的目的在于提供一种基于注意力cnn
文档证件类图像篡改检测方法，其不仅可以检测文档是否被篡改，而且能够定位出篡改位置，可以针对多种篡改方式进行检测。
5.为解决上述技术问题，本发明提供的技术方案为：
6.一种基于注意力cnn文档证件类图像篡改检测方法，其具体方法为：设计了一种含注意力机制的深度卷积神经网络网络(cnn)结构，在网络结构中将多语义注意力机制的卷积神经网络加入到模型的框架中，增加对篡改边缘的关注，从而生成注意图，同时利用最大熵马尔科夫模型(memm)对注意图中相邻区域之间的相关性进行建模；在网络结构中，加入膨胀卷积(dilated convolution)，在不做pooling损失信息和相同的计算条件下，加大了感受野，让每个卷积输出都包含较大范围的信息，同时膨胀卷积还可以捕获多尺度的上下文信息；引入注意力机制卷积神经网络的整体框架有两个分支，两个分支网络在整个卷积层和全连接层中具有相同的权值参数和结构，训练阶段，用多个损失函数的集合进行训练；得到的初步检测结果是一张二值图，对二值图进行腐蚀膨胀处理得到最终结果。
7.作为改进，所述文档证件类图像篡改检测方法的具体步骤如下：
8.1)获得待检测的文档证件类图像；
9.2)将待检测文档证件类图像输入到预训练的引入注意力卷积神经网络(cnn)的模型中，待检测图像将会被分为独立的两部分被送入到网络中提取不同特征；
10.3)应用滑动窗口遍历整幅图像，对输入的待检测图像进行块分割，得到多个密集图像块，即子图像，分割的子图像输入到注意力网络1中；
11.4)将待检测图像(未进行分割的整幅图像)同时输入到注意力网络2中，在整个检测过程中，两个分支网络的结构和参数完全相同；
12.5)对输入到注意力网络1中的子图像进行局部提取特征，由于引入了注意力卷积神经网络，可以获得待检测图像的局部描述符还可以获得篡改处的边缘信息，即注意图，利用最大熵马尔科夫模型(memm)对注意图中相邻区域之间的相关性进行建模，在提取的所有层的特征中，选择每个子图像的最后一个卷积层的特征作为子图像的表达特征；在注意力网络2中对输入图像同样进行特征提取，获得整幅图像的全局特征；在模型中加入了膨胀卷积(dilated convolution)，在不降低空间分辨率的情况下增加感受野；
13.6)将注意力网络1提取的每个子图像的局部特征应用特征融合策略进行特征融合，获得全局特征来表示待测图像，得到可以用来做判别的图像特征；
14.7)将得到的最终表示待检测图像的特征通过softmax分类器对像素进行判断是否被篡改，得到初始的判定，并进行标记，未被篡改标记为0，被篡改标记为1，生成一张二值图，如果得到的结果为所有像素点都未被篡改，即检测的图像是真实的，则输出一张全黑图像，即每个像素点都为0；
15.8)如果初始判定结果为文档被篡改，将得到的结果二值图进行先腐蚀后膨胀处理操作，去除噪声点和微小的孤立点区域结果的影响，得到最终检测结果，检测结果中，被篡改区域像素值为1，未被篡改区域像素为0，即白色为篡改区域，黑色为未被篡改区域。
16.作为改进，在文档证件类图像篡改检测的模型结构中，卷积神经网络(cnn)结构中没有池化(pooling)层，而是加入了空洞卷积(atrous convolution)，也被称为膨胀卷积(dilated convolution)，使用膨胀卷积在不做pooling损失信息和相同的计算条件下，加大了感受野，让每个卷积输出都包含较大范围的信息，同时膨胀卷积还可以捕获多尺度的
上下文信息，通过设置膨胀率参数，膨胀率不同，得到的感受野就不一样，也即获取了多尺度信息。
17.在进行模型的训练时，所有的训练数据均为文档证件类图像，并且是在数字经济领域频繁使用的，且具有多种篡改形式，在训练过程中，训练的标签中加入了边缘监督标签edge_mask和注意力机制的卷积神经网络，能够对被篡改的边缘信息加以学习；在得到最终的结果时，应用腐蚀膨胀的后处理操作获得较为准确的结果。
18.本发明的有益效果是：
19.本发明是一种端到端的资质证件文档篡改检测方法，只需要将待检测图像输入到模型中即可得到检测结果，方便有效，并且此方法能够有效检测各种常见的篡改手段，精确度高，能够在一定程度上对企图弄虚作假者进行很好的威慑。
附图说明
20.图1是本发明专利的整体框架示意图；
21.图2是本发明专利的检测流程示意图；
22.图3是本发明专利的引入注意力卷积神经网络的网络结构示意图。
具体实施方式
23.下面用具体实施例说明本发明，并不是对本发明的限制。
24.如图1所示，一种基于注意力cnn文档证件类图像篡改检测方法，该方法是在网络结构中将多语义注意力卷积神经网络加入到模型的框架中，增加对篡改边缘的关注，从而生成注意图，同时利用最大熵马尔科夫模型(memm)对注意图中相邻区域之间的相关性进行建模；整个框架有两个子网络，并且两个分支网络具有相同的结构和参数，注意力网络1是用来提取局部特征，输入到注意力网络1中的待检测图像会被分割成多个图像块，即子图像，注意力网络1提取每个子图像的局部特征描述符，将每个子图像提取的局部特征进行融合，得到图像的全局描述特征，应用softmax分类器进行二分类，确认是否被篡改，得到的结果是一张二值图，对二值图进行腐蚀膨胀处理得到最终结果。
25.图2是本申请的具体的检测步骤流程：
26.1)获得待检测的文档证件类图像；
27.2)将待检测文档证件类图像输入到预训练的引入注意力卷积神经网络(cnn)的模型中，待检测图像将会被分为独立的两部分被送入到网络中提取不同特征；
28.3)应用滑动窗口遍历整幅图像，对输入的待检测图像进行块分割，得到多个密集图像块，即子图像，分割的子图像输入到注意力网络1中；
29.4)将待检测图像(未进行分割的整幅图像)同时输入到注意力网络2中，在整个检测过程中，两个分支网络的结构和参数完全相同；
30.5)对输入到注意力网络1中的子图像进行局部提取特征，由于引入了注意力卷积神经网络，可以获得待检测图像的局部描述符还可以获得篡改处的边缘信息，即注意图，利用最大熵马尔科夫模型(memm)对注意图中相邻区域之间的相关性进行建模，在提取的所有层的特征中，选择每个子图像的最后一个卷积层的特征作为子图像的表达特征；在注意力网络2中对输入图像同样进行特征提取，获得整幅图像的全局特征；在模型中加入了膨胀卷
积(dilated convolution)，在不降低空间分辨率的情况下增加感受野；
31.6)将注意力网络1提取的每个子图像的局部特征应用特征融合策略进行特征融合，获得全局特征来表示待测图像，得到可以用来做判别的图像特征；
32.7)将得到的最终表示待检测图像的特征通过softmax分类器对像素进行判断是否被篡改，得到初始的判定，并进行标记，未被篡改标记为0，被篡改标记为1，生成一张二值图，如果得到的结果为所有像素点都未被篡改，即检测的图像是真实的，则输出一张全黑图像，即每个像素点都为0；
33.8)如果初始判定结果为文档被篡改，将得到的结果二值图进行先腐蚀后膨胀处理操作，去除噪声点和微小的孤立点区域结果的影响，得到最终检测结果，检测结果中，被篡改区域像素值为1，未被篡改区域像素为0，即白色为篡改区域，黑色为未被篡改区域；
34.通过以上流程即可判断电子文档证书类图像中的内容是否被篡改以及篡改的位置。
35.图3所示是在图1框架中提到的两个分支结构注意力网络的网络结构。整个网络结构共包含六个卷积组，在第二、三、四、五组中加入了多语义注意力机制的卷积神经网络，加入注意力机制后的网络模型，增加了对篡改边缘的关注，生成注意图，利用最大熵马尔科夫模型(memm)对注意图中相邻区域之间的相关性进行建模，即结构中的memm
‑
attention，优化注意力卷积神经网络的权重参数，同时在训练集中加入了边缘监督标签，对被篡改的边缘信息加以学习；在训练阶段，用多个损失函数的集合进行训练，与使用相似度函数计算两个输入对之间的相似度不同，本申请提出的cnn采用两个等权交叉熵损失对输入小块进行二值分类，在每个子网络中使用交叉熵损失函数，两个子网络间使用一个可扩展的对比损失函数，对比损失的使用可以减少类内差异而突出类间差异；在第四、五、六卷积组中，还使用了空洞卷积(atro us convolution)，也被称为膨胀卷积(dilated convolution)，在深度网络中，为了增大感受野和降低计算量，总要进行降采样(pooling)，这样虽然可以增加感受野，但空间分辨率降低了，使用膨胀卷积的优点是在不做pooling损失信息和相同的计算条件下，加大了感受野，让每个卷积输出都包含较大范围的信息；膨胀卷积还可以捕获多尺度的上下文信息，因为膨胀卷积可以设置膨胀率参数，膨胀率不同，得到的感受野就不一样，也即获取了多尺度信息。
36.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。