一种基于雾霾特性的图像篡改检测方法与流程

本发明属于图像处理技术领域，涉及基于一种基于雾霾特性的图像篡改检测方法，特别涉及基于大气传输率的图像拼接篡改检测方法。

背景技术：

随着多媒体技术的发展，图像编辑工具给人们带来巨大的方便，与此同时利用图像编辑工具篡改的图像也常常给人们造成负面影响。当恶意的篡改图像被上传到网络上，并通过社交网络传播，这些恶意的信息易误导人们对事实的认知，这将对我们的社会稳定构成潜在的威胁。因此，为了阻止恶意篡改图像的传播以及法庭取证，图像的篡改检测成为当前亟待解决的问题。

现有的图像篡改通常包含复制粘贴(copy-move)篡改和拼接(splicing)篡改两种方式。复制粘贴篡改是指篡改区域来自同一幅图像；而拼接篡改是指篡改区域来自于其他图像。对于复制粘贴类型的篡改通常采用图像匹配技术寻找相似性区域；而对于拼接类型的篡改检测通常根据内部特性的不一致性来寻找篡改区域。

拼接篡改检测是目前图像篡改检测中最常见的方法。其检测方法大致可以归为三类：基于JPEG压缩的不一致性；基于相机内部特性的不一致性；基于物理特征的不一致性。基于JPEG压缩的不一致性检测方法主要是利用图像一次性压缩和二次性压缩的DCT系数直方图分布或DCT系数的Benford定律等的不一致性来进行篡改检测。该方法容易受到压缩质量因子的影响，通常要求第二次压缩质量因子要大于第一次的压缩质量因子；此外该方法对于resizing等后处理操作的鲁棒性很差。基于相机内部特性的不一致性检测方法主要是利用相机内部的噪声PRNU(Photo-Response Non-Uniformity)或CFA(Color Filter Array)痕迹的不一致性来进行检测。该方法通常要求篡改区域与原始区域来自于不同相机拍摄的图像，并且该方法通常难以检测弱噪声信号和CFA痕迹。基于物理特征的检测方法主要是利用篡改区域与非篡改区域的模糊类型或光照等物理特征的不一致性来进行检测。由于未被篡改的图像是在统一场景中拍摄的，图像的模糊类型以及图像中物体的光照等将是一致的。该方法通常难以对篡改区域和非篡改区域的物理特征进行建模。

在已有的一系列拼接篡改检测方法中，基于物理特征的篡改检测方法是最具有前景的，他能克服基于JPEG压缩不一致性检测方法以及基于相机内部特征不一致性检测方法的局限性，对图片的后处理操作也更具有鲁棒性。因此针对拼接伪造的图像，提出一种基于物理特征的篡改检测方法，这是目前研究的热点以及亟待解决的问题。

技术实现要素：

针对图像的拼接篡改检测的问题，本发明的目的在于提出一种基于雾霾特性的图像篡改检测方法，特别是一种基于大气传输率的图像拼接篡改检测方法。在对图像大气传输率进行分析后，发现由不同方法所求的大气传输率，其相互之间的差异对于篡改区域和非篡改区域有所不同。根据这个统计的物理特性，利用大气传输率之差的不一致性来对图像的拼接篡改进行检测。

本发明的技术方案如下：

一种基于雾霾特性(此处为大气传输率)的图像篡改检测方法，其步骤包括：

1)利用多种求大气传输率的方法获得篡改图像的大气传输率，将所得到的大气传输率图两两作差并取绝对值，从而得到若干个特征差异图；根据统计特性，差异越大的区域越可能为篡改区域。

2)对输入图像进行超像素(superpixel)的划分，结合上述所得到的若干个特征差异图，选出特征差异平均值较高的一些超像素，这些超像素构成了可疑的篡改区域。

3)利用低秩(low-rank)的方法对若干个可疑篡改区域之间的相似性进行建模，为每个特征差异图中的篡改区域求得一个权重。

4)对于非篡改区域同样利用低秩的方法对这些非篡改区域之间的相似性进行建模，为每个特征差异图中的非篡改区域求得一个权重。

5)根据所获得的权重将特征差异图进行加权融合，得到一个篡改区域定位图。

更进一步，结合超像素不同尺度的划分对所获得的篡改区域定位图进行精细化处理，得到更加精确的篡改区域定位图。

更进一步，步骤1)所述若干个特征差异图是大气传输率图两两绝对值相减并取绝对值所得到的结果。这些大气传输率图是通过X种不同的求大气传输率的方法并结合一种方法中的随机因子所得，最终获得M个大气传输率图，进而得到N个特征差异图(N＝M(M-1)/2)。

更进一步，步骤2)所述超像素划分是采用的简单线性迭代聚类(Simple Linear Iterative Cluster,SLIC)算法。对所述的可疑篡改区域的确定步骤如下：

1)对输入图像进行超像素划分；

2)计算每个超像素的平均特征差异值；

3)将平均特征差异值大于一定阈值的超像素所组成的区域作为可疑篡改区域。

更进一步，步骤3)所述若干个可疑篡改区域是指根据N个特征差异图所获得的N个可疑篡改区域，一个特征差异图对应于一个可疑篡改区域。

更进一步，步骤3)对每个可疑篡改区域提取K维特征(如Color Hitogram,HOG等)，N个可疑篡改区域可构成一个K*N维的特征矩阵，利用低秩(low-rank)约束该矩阵，对N个可疑篡改区域之间的相似性进行建模，为每个篡改区域求得一个权重。

更进一步，类似于对可疑篡改区域相似性的建模，步骤4)同样利用低秩对N个非篡改区域之间的相似性进行建模，为每个非篡改区域求得一个权重。

更进一步，步骤3)和步骤4)所述权重的求法是利用扩张的拉格朗日乘子(Augmented Lagrange Multiplier,ALM)方法将K*N的特征矩阵分解为一个低秩矩阵和误差矩阵。每个区域的权重为误差矩阵相应列归一化的l₂范式的相反数。

更进一步，步骤5)将N个篡改区域和相应的N个非篡改区域加权融合，最终得到一个篡改区域定位图。

更进一步，步骤6)对所述的篡改区域定位图进行精细化处理，其具体步骤如下：

1)将输入图像划分成不同数量的超像素；超像素的个数从S_min～S_max变化，每个尺度间隔τ；其中S_min和S_max分别表示将输入的图像划分成超像素的最小个数和最大个数，τ表示下一个尺度的超像素个数比上一个尺度的超像素个数多τ；将这些预划分的尺度通过SLIC算法生成实际的尺度；

2)在每种划分情况下，结合生成的篡改区域定位图求每个超像素的平均值；

3)设定阈值为超像素平均值中最大值的β倍；

4)选出大于一定阈值的的超像素标记为篡改区域，得到一个二值化的篡改区域定位图；

5)将若干个不同超像素尺度下的二值篡改区域定位图求平均得到一个平均化的篡改区域定位图；

6)利用余弦相似度比较每个二值化的篡改区域定位图和平均化的篡改区域定位图，剔除异常的二值篡改区域定位图；将剩余的二值篡改区域定位图取平均，作为最终的精细化篡改区域定位图。

本发明的有益效果：

1.本发明提出了将图像的大气传输率特征应用于篡改检测的新方法，拓展了基于物理特征的篡改检测方法的思路。

2.本发明发现了由不同求大气传输率的方法求得的大气传输率特征图之间的差异对于篡改区域和非篡改区域有所不同。

3.本发明利用低秩约束建立其篡改区域之间以及非篡改区域之间相似性关系，为不同的区域求得不同的权重。

4.本发明能克服基于JPEG压缩和基于相机内部特性的篡改检测方法的局限，适用范围更广。

综上，本发明提出的基于一种雾霾特性(此处为大气传输率)的图像篡改检测方法，能够较准确的定位篡改区域。对图像格式，相机特性以及一些后处理方式具有较强的鲁棒性。

附图说明

图1为基于一种雾霾特性(此处为大气传输率)的图像篡改检测方法的流程示意图。

图2为本发明与基于JPEG压缩特性的篡改检测方法的比较图。

图3为本发明与基于相机内部噪声特性的篡改检测方法的比较图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实现本发明的一种具体实施方式如下，基于一种(此处为大气传输率)的图像篡改检测方法，其步骤为：

1)对输入的篡改图像利用已有的不同的求大气传输率的方法求得M个大气传输率图；

2)将M大气传输率图两两相减取绝对值，得到N个特征差异图。

3)结合输入图像的超像素划分，并根据每个特征差异图对输入的篡改图像进行篡改区域与非篡改区域的分离。

4)利用低秩对若干个篡改区域之间的相似性以及若干个非篡改区域之间的相似性进行建模，为每个特征差异图的篡改区域和非篡改区域求得不同的权重。

5)将归一化的篡改区域于非篡改区域的权重与相应的区域相乘进行加权融合，生成一个篡改区域定位图。

6)对加权融合所得的篡改区域定位图进行精细化处理，得到精细化的篡改区域定位图。

在本发明的一实施例中，求大气传输率的方法用的是一些已有的方法。这些方法种主要是目前常用的求大气传输率的方法，总共X种。为了扩展大气传输率图的数量，利用其中一种方法中的随机因子，最终生成M个大气传输率图。

在本发明的一实施例中，统计发现两个大气传输率图之间的差异能揭示篡改区域的大致位置。对于篡改区域，差异大；而非篡改区域差异小。利用该统计信息，本发明对M个大气传输率图两两相减并取绝对值，得到N个特征差异图。这些差异图能大致揭露篡改区域，但同时也存在许多误判区域。

在本发明的一实施例中，结合输入图像的超像素划分，对于每个特征差异图可将输入图像进行篡改区域与非篡改区域的标记。具体方法是平均特征差异值大于一定阈值的超像素被标记为篡改区域，反之小于或等于一定阈值的超像素被标记为非篡改区域。这里的阈值取的是超像素中最大平均值的α倍。这样对于N个特征差异图，可以分别获得N组篡改区域和N组非篡改区域。这里的超像素(superpixel)划分是指将相邻位置且纹理、颜色、亮度等相近的像素聚集到一块区域，对输入图像进行的区域划分，采用的是经典的SLIC算法。

在本发明的一实施例中，对每个区域提取K维的特征,该特征可以是颜色直方图(Color Histogram)、方向梯度直方(Histogram of Oriented Gradient,HOG)等。

在本发明的一实施例中，对N个篡改区域提取的特征可构成一个K*N维的特征矩阵，利用低秩约束对这N组篡改区域之间的相似性进行建模。在求解时，利用扩张的拉格朗日乘子(Augmented Lagrange Multiplier,ALM)算法将特征矩阵分解成一个低秩矩阵和一个误差矩阵。每个篡改区域的权重即为误差矩阵中相应列归一化的l₂范式的相反数。同理可以求得每个非篡改区域的权重。最终我们将N个篡改区域和相应的N个非篡改区域加权融合，得到一个可靠的篡改区域定位图。

在本发明的一实施例中，对得到的篡改区域定位图进行精细化处理。在对输入图像不同尺度的超像素划分情况下，结合上述得到的篡改区域定位图，可以得到不同尺度下的二值化篡改区域定位图。将得到若干组二值篡改区域定位图进行平均，然后检测每个二值篡改区域定位图与平均的篡改区域定位图之间的相似性，剔除一些异常的二值篡改区域定位图，最后将剩余的二值篡改区域定位图进行平均即为精细化的篡改区域定位图。这里的超像素的不同尺度指的是对输入图像进行不同数量的超像素划分，划分数量范围从S_min～S_max变化，尺度间隔为τ。

如图1所示是基于一种雾霾特性(此处为大气传输率)的图像篡改检测方法的流程示意图，包括以下步骤：

1.篡改图像的大气传输率计算。

由于环境的恶化以及天气的影响，加之拍摄的场景在较远的视野时，拍摄出来的图像往往含有一层雾或霾。根据大气传输率模型，可以从雾霾图像中求得大气传输率。在这一步骤中，大气传输率的计算用的是X种已有的方法。为了扩展大气传输率图的数量，我们利用其中一种方法中的随机因子，最终生成M个大气传输率图。

2.特征差异图的计算。

将上述步骤生成的M个大气传输率图两两相减并取绝对值，可以得到N个特征差异图。这些特征差异图能揭露篡改区域的大致位置，但同时也存才许多误判区域以及误判像素点，因此需要作后续的平滑及异常处理。两特征图之间的差异能大致揭露篡改区域这个现象是通过大量统计分析得出的结果。对于篡改区域，大气传输率之间的差异会更大，而对于非篡改区域，大气传输率之间的差异更小。

3.篡改区域和非篡改区域之间的分离。

该步骤首先采用经典的SLIC方法对输入的篡改图像做超像素划分，将位置相邻且具有相似纹理、颜色及亮度等的像素点聚集划分到一个超像素中；然后对每个特征差异图，计算每个超像素的特征差异的平均值，将平均值大于一定阈值的超像素作为篡改区域，反之作为非篡改区域，其阈值设置为所有超像素中最大平均值的α倍。因此对于N个特征差异图可以产生N个篡改区域以及N个非篡改区域。

4.相似性关系的建模。

对于N个篡改区域，彼此之间具有很强的相似性，利用低秩(low-rank)约束可以对该相似关系进行建模。为了便于模型的建立，将篡改区域内容上的相似性转换到特征空间上一致性，具体做法是对每一个篡改区域提取K维特征，该特征可以是颜色直方图(Color Histogram)或方向梯度直方图(HOG)等。因此对N个篡改区域可构建一个K*N维的特征矩阵。对于该特征矩阵，利用扩张的拉格朗日乘子(Augmented Lagrange Multiplier,ALM)将特征矩阵分解成一个低秩矩阵和一个误差矩阵。每个篡改区域的权重即为误差矩阵中相应列归一化的l₂范式的相反数。同理对非篡改区域利用类似的方法得到权重。

5.特征差异图加权融合。

利用得到的N个篡改区域的权重以及N个非篡改区域的权重，直接利用权重乘以相应特征图中相应的篡改区域或非篡改区域，最终融合为一个篡改区域定位图。

6.篡改区域定位图精细化处理。

在对输入的篡改图像不同尺度的超像素划分情况下，结合上述步骤得到的篡改区域定位图，可以得到不同尺度下的二值化篡改区域定位图。将得到的若干组二值篡改区域定位图进行平均，利用余弦相似度检测每个二值篡改区域定位图与平均的篡改区域定位图之间的相似性，剔除一些异常的二值篡改区域定位图。最后将剩余的二值篡改区域定位图进行平均即为精细化的篡改区域定位图。这里的超像素不同尺度指的是对输入图像进行不同数量的超像素划分，确切地，超像素每次的划分数量是从S_min～S_max变化，每次尺度间隔为τ，以此取值作为SLIC算法的输入。其中，S_min表示将输入的图像划分成超像素的最小个数，S_max表示将输入图像划分成超像素的最大个数；τ表示下一个尺度的超像素个数比上一个尺度的超像素个数多τ；最后将这些预划分尺度通过SLIC算法生成实际的尺度。在试验中设置S_min＝50，S_max＝500和τ＝10。

基于雾霾特性(此处为大气传输率)的图像篡改检测是一种基于物理特征的拼接篡改区域方法，相比于基于JPEG压缩和基于相机内部特征的拼接篡改区域方法，本发明能够克服图片格式限制，相机类型限制，并且对尺寸调整及JPEG压缩等后处理操作更具有鲁棒性。

实验数据：

1)与基于JPEG压缩特性的篡改检测方法在后处理操作resizing(重调图像尺寸)下的比较，如图2所示，其横坐标为重调图像尺寸因子factor，factor＝0.75表示将原图调整为原图尺寸的0.75倍，以此类推，纵坐标为F1值，用于评估篡改检测方法的性能。图中Ours为本发明的方法；Lin、Priva、Bianchi、Amerini、Korus表示已有方法的其中的作者，可分别参考下面的文献[1]～[5]。

[1]Z.Lin,J.He,X.Tang,and C.-K.Tang,“Fast,automatic and fine-grained tampered JPEG image detection via DCT coefficient analysis,”Pattern Recognit.,vol.42,no.11,pp.2492–2501,Nov.2009.

[2]T.Bianchi,A.De Rosa,and A.Piva,“Improved DCT coefficient analysis for forgery localization in JPEG images,”in Proc.IEEE Int.Conf.Acoust.,Speech and Signal Process.(ICASSP),May 2011,pp.2444–2447.

[3]T.Bianchi and A.Piva,“Image forgery localization via block-grained analysis of JPEG artifacts,”IEEE Trans.Inf.Forensics Security,vol.7,no.3,pp.1003–1017,Jun.2012.

[4]I.Amerini,R.Becarelli,R.Caldelli,and A.Del Mastio,“Splicing forgeries localization through the use of first digit features,”in Proc.IEEE Int.Workshop Inf.Forensics Secur.(WIFS),Dec.2014,pp.143–148.

[5]P.Korus and J.Huang,“Multi-scale fusion for improved localization of malicious tampering in digital images.”IEEE Trans.Image Process.,vol.25,no.3,pp.1312–1326,Mar.2016.

2)与基于相机内部噪声特性的篡改检测方法在JPEG压缩后处理操作下的比较，如图3所示，其横坐标为篡改后保存图片时的JPEG压缩质量因子QF；纵坐标为F1值，用于评估篡改检测算法在JPEG压缩后处理下的性能。对于图3中的Lyu-HAAR、Lyu-RAND，Lyu表示现有方法“S.Lyu,X.Pan,and X.Zhang,“Exposing region splicing forgeries with blind local noise estimation,”Int.Journal of Comput.Vis.,vol.110,no.2,pp.202–221,2014”中作者的信息，HAAR,RAND表示该文献中两种不同的情况，Ours为本发明的方法。

从图2和图3中的检测结果可以看出，利用本发明可以对resizing，JPEG压缩两种常见后处理操作具有很强的鲁棒性，并且明显优于基于JPEG压缩和基于相机内部特性的图像拼接篡改检测方法。可以看出，本发明在图像的拼接篡改检测中具有重要的作用。