一种基于多尺度可疑预测框的资质证书图像篡改检测方法

本发明涉及图像被动取证篡改检测，具体为一种基于多尺度可疑预测框的资质证书图像篡改检测方法。

背景技术：

1、图像篡改检测技术是一种通过分析数字图像的特征来对图像真实性、完整性进行鉴别的取证技术。该技术在信息安全、数据通信等多方面都发挥着重要作用，对保障数据安全、维护社会稳定都具有重要意义。当前国内外学术界对图像篡改检测的研究主要集中在自然图像篡改检测，但日常带来风险损失的假图通常是资质证书、电子证件等。近年来，大量诈骗违法人员引入伪造各类证件、转账记录等技术手段实施诈骗，识别难度大大增加。现有的篡改检测方法直接应用到这些新类型图像时，准确性能大幅下降，检测效率相比自然图像也是非常低下。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种基于多尺度可疑预测框的资质证书图像篡改检测方法，通过利用多尺度可疑预测框来框定篡改区域和多尺度特征提取定位篡改区域相结合，解决了现有技术中对篡改区域大小不一及检测精度低以及检测效率低下的问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：一种基于多尺度可疑预测框的资质证书图像篡改检测方法，包括：

5、将待测图像输入到第一分支，对预测出的可疑框与mask框进行优化得到预测框；

6、将待测图像输入到第二分支，检测出图像经过篡改的区域，并进行篡改区域预测图输出；

7、将得到的预测框和篡改区域预测图进行融合，得到最终的掩码输出；

8、所述第一分支为可疑区域检测分支；

9、所述第二分支为篡改区域检测分支。

10、优选的，所述可疑区域检测分支具体包括使用focus模块隔像素取值，获得四个独立的特征层，并将其堆叠得到扩充四倍的输入通道，经过跨阶段部分网络模块进行特征提取，加入通过不同池化核大小的最大池化进行特征提取的空间金字塔网络结构；得到的特征图在yolov5模型的特征金字塔结构中引入了跨阶段部分网络结构，对多特征层进行特征提取，提取出三个特征层：中间层，中下层，底层；利用这三个特征层进行特征金字塔层的构建，特征金字塔可以将不同分辨率的特征层进行特征融合；设置新的transformer预测头来代替yolov5模型之前的预测头部分，transformer预测头可以捕获全局信息和丰富的上下文信息，得到可疑区域框。

11、优选的，所述将待测图像输入到第一分支，对预测出的可疑框与mask框进行优化得到预测框，具体包括：

12、将待测图像输入到基于yolov5模型的可疑区域检测分支进行处理，经过focus模块对待测图像进行切片，经过conv基本卷积模块和跨阶段部分网络模块对残差特征进行学习，跨阶段部分网络模块通过cancat实现通道数的增加，经过空间金字塔池化模块对高层特征进行提取并融合；

13、neck结构设计沿用特征金字塔结构，自顶向下在所有尺度上构建出高级语义特征图，在neck结构中新加入了卷积注意力模块，沿着通道和空间的两个独立维度依次腿短注意力图，在将注意力图与输入特征图相乘得到自适应特征细化；经过的预测头主体是三个基于transformer的检测器，第一层是多头注意力层，第二层是全连接层，使用transformer预测头增加了捕获图像不同信息的能力，得到可疑预测框，并将其与mask框进行交并比的优化计算，得到最终预测框。

14、优选的，所述篡改区域检测分支具体包括：

15、待测图像输入基于mobilenetv3的模型中利用senet注意力机制对网络进行特征重新校准，选择性强调信息性特征，并抑制无用的特征，并使用新的激活函数在提高检测精度的同时减少了时间损耗；使用长短期记忆网络帮助识别频域边缘特征，将校准通道权重后得到的特征与边缘特征融合，通过掩码预测模块输出该分支的篡改区域预测图。

16、优选的，所述将待测图像输入到第二分支，检测出图像经过篡改的区域，并进行篡改区域预测图输出，具体包括：

17、待测图像输入到基于mobilenetv3的篡改区域检测分支中，利用神经体系结构搜索方法进行粗略解构的搜索并选出一组最优配置，利用senet自动获取每个特征通道的重要程度，在保持轻量级的基础上提取多尺度特征；加入的长短时记忆网络学习图像块之间的相关度，学习篡改边界上的空间差异信息，在频域中捕捉篡改区域和真实区域之间边界上的差异特征，最后经过由卷积层组成的掩码输出模块得到最终篡改区域预测图。

18、优选的，所述将得到的预测框和篡改区域预测图进行融合，得到最终的掩码输出，具体包括：

19、可疑区域检测分支得到的可疑预测框和篡改区域检测分支得到的篡改区域预测图在ciou损失函数的优化计算下，不断回归，得到最为符合且准确的篡改检测图，并作为最终的掩码结果输出。

20、优选的，所述可疑区域检测分支所使用的损失函数是diou损失函数，计算公式为：

21、

22、

23、其中，b和bgt分别表示检测框和ground truth框，c表示能同时覆盖预测框和ground truth框的最小矩形的对角线距离；

24、所述篡改区域检测分支使用的损失函数是交叉熵损失函数，计算公式为：

25、

26、其中，gk代表的是真实值标签，pk代表的预测输出的标签。

27、优选的，所述可疑区域检测分支与所述篡改区域检测分支的结果融合过程中使用的损失函数为ciou损失函数，计算公式如下：

28、

29、其中，α是用于平衡比例的参数，v是用来描述预测框和ground truth的长宽比例一致性的参数；

30、整个模型总的损失函数为：

31、l＝ldiou+lciou+lcr。

32、第二方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。

33、第三方面，提供了一种计算设备，包括：

34、一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。

35、(三)有益效果

36、本发明一种基于多尺度可疑预测框的资质证书图像篡改检测方法，可疑区域检测分支能够利用其csp结构和transformer预测头对特征进行更为灵活地提取，能够自适应特征尺度，对小区域篡改检测更为敏感，在损失函数和mask框的帮助下优化计算出更为准确的预测框；篡改区域检测分支从轻量高效的角度出发，利用senet和lstm学习篡改边界上的空间差异信息，更好地鉴别出真实区域和篡改区域的不一致，得到篡改区域的预测图、预测图与预测框相结合进行优化，得到最终篡改区域的准确定位，相比于现有技术，本发明所提出的方法在定位资质证书图像篡改区域的准确率上有大幅提升。