一种针对物体删除的缝裁剪图像定位取证方法与流程

本发明属于图像处理中的图像盲取证领域，具体涉及一种针对物体删除的缝裁剪图像定位取证方法。

背景技术：

缝裁剪即seam-carving是一种基于内容感知的图像缩放技术。该技术不仅可以实现图像的缩放，还可以实现特定物体的移除。在利用缝裁剪实现特定物体移除时，首先要将删除的区域标记出来，然后将该区域的能量值赋值为0，最后不断地删除一条能量最低的缝，直到所有标记的区域删除为止。该方法使得删除物体成为可能，同时不会造成图像的扭曲与变形。

缝定义为一条从上到下或从左到右贯穿图像的8连通的低能量像素线。可以用动态规划技术来选定每个方向的最佳缝，而所谓最佳缝，是指具有最小积累能量的缝，其中积累能量表示了缝中像素的结合重要性。

最常用的能量函数定义如下：

其中，i是一个n×m的图像。对于一条垂直缝，可以定义为：

其中x表示映射x:[1,...,n]→[1,...,m]。最佳缝s^*是一条能量总和最小的缝，可以通过动态规划m对于每个入口(i,j)的所有可能的连接缝计算而得。

m(i,j)＝e(i,j)+min(m(i-1,j-1),m(i,j-1),m(i-1,j+1))

对于图像缩小，缝的甄选可以保证维持图像结构，删除尽量多的低能量像素，并留下尽量多的高能量像素。特定物体移除是图像缩减的一个特例，是在保证图像基本内容不发生扭曲和变形的情况下，尽可能的删除低能量的缝，保留高能量的缝，同时将标记的区域彻底删除。

缝裁剪是一种内容感知图像重定向算法，已经获得了广泛的使用，然而也对图像取证带来了不少的挑战。在2013年6月由ieee信息取证和安全技术委员会(ifs-tc)举办的首届图像取证挑战难题中，如何检测缝裁剪操作已经成为一个图像取证科学挑战问题。

从2009年开始，陆续出现了一些缝裁剪取证方面的研究成果。首先是2009年，sarkar等人提出的通过提取324维的马尔科夫特征来检测缝裁剪，对于缩小和放大，该方法检测率分别可达到80％和85％，但是低缩放比例的图像检测效果并没有那么好。

在2010年，fillion和sharma提出几个直观的特征用于缝裁剪检测。这些统计特征集包括基于能量偏差的特征、基于缝行为的特征、基于更高次序的图像统计特征(小波绝对矩)、基于第二次缝裁剪的特征。他们取得了更好的检测结果，对于缝裁剪20％和30％的图像，检测率分别达到了84.0％和91.3％。同时，他们还对故意缩放，即删除特定对象进行检测，相同条件下，四种特征组合检测正确率为76％。

seung-jinryu等人提取了包括平均列能量、平均行能量、平均能量、最大缝、最小缝等14个特征，并通过svm训练进行检测。在不同的缩放比例下正确率为71.52％到93.5％。

qingzhongliu合并了空间域的基于替换重压缩的特征和在dct域上基于替换重压缩的邻近联合密度来检测jpeg格式图像中的基于内容感知的图像伪造。

wen-lungchang等人提出针对jpeg格式的缝裁剪图像的检测。该检测技术是以方格特征区域矩阵(blockingartifactcharacteristicsmatrix,bacm)为基础。对于原始的jpeg图像，方格特征区域矩阵会是对称且完整的，而对于破坏过的图像，方格特征区域矩阵的对称性会被破坏。在计算出方格特征区域矩阵后，他们从中定义了18维的特征，并将这些特征经由支持向量机作训练来检测图像是原始图像还是经过缝裁剪修改过的图像。实验使用ucid图像数据集，原始图像为qf＝75的jpeg格式图像。

2014年，台湾的jyh-dawei等人提出了一种基于块的检测方法。首先，将图像分为2*2的小方块。对于每个小块定义了9种2*3的块，作为可能有缝裁剪效果的候选块。然后通过余弦相似和仲裁块计算出哪个是最佳块，并计算垂直、对角线、斜对角线方向的块转换概率矩阵，组成252维的检测。最后，将这些特征通过支持向量机进行训练检测图像是否经过缝裁剪操作。这种方法对于缝裁剪20％和50％的图像检测结果可以达到92.2％和95.8％。

2015年tingyin等人利用缝裁剪会改变图像的局部纹理这一特性，提取了6个基于局部二进模式(lbp)特征。检测性能可以提高3.5-19.1％。

然而现有方法主要是针对缝裁剪缩放的图像检测，没有专门针对使用缝裁剪进行特定物体移除的篡改检测的研究，更无法做到物体删除区域的定位检测。

技术实现要素：

本发明的目的在于解决上述现有技术中存在的难题，提供一种针对物体删除的缝裁剪图像定位取证方法，用于检测图像是否使用缝裁剪进行了物体删除，并将被删除物体区域定位出来。

本发明是通过以下技术方案实现的：、

一种针对物体删除的缝裁剪图像定位取证方法，包括：

(1)对待检测图像进行块效应网格提取，获得待检测图像的块效应网格图g；

(2)对所述块效应网格图g进行特征提取，获得特征；

(3)利用无监督聚类方法对所述特征进行分类，获得分类标记结果图；

(4)根据分类标记结果图进行定位检测。

所述步骤(2)是这样实现的：

对于块效应网格图g中的每一个8*8的块a＝[a]8*8，使用下式获得纵向累加序列b：

对纵向累加序列b进行降序排列，得到降序后的集合c及对应的坐标index：

[c,index]＝sort(b,'descend')

其中，sort为排序操作，‘descend’表示降序，c为降序后的序列集合，index为每个序列值在纵向累加序列b中对应的索引坐标；

提取纵向累加序列b的最大值f1、次大值f2：

f1＝c1,ci∈c|i∈{1,2,...,8}

f2＝c2,ci∈c|i∈{1,2,...,8}

提取纵向累加序列b的最大值对应的坐标f4、次大值对应的坐标f5：

f4＝index1,indexi∈index|i∈{1,2,...,8}

f5＝index2,indexi∈index|i∈{1,2,...,8}

提取纵向累加序列b的最大值与次大值之和与全部值之和的比值特征f7：

提取纵向累加序列b的标准差特征f9：

其中，

所述步骤(3)是这样实现的：

将最大值f1、次大值f2、最大值对应的坐标f4、次大值对应的坐标f5、比值特征f7、标准差特征f9作为输入，利用无监督聚类方法获得分类标记结果，并将分类标记结果显示出来，得到分类标记结果图。

优选地，所述步骤(2)进一步包括：

提取纵向累加序列b的最大值f1与最小值f1的差值特征f3：

f3＝f1-f2；

提取最大值对应的坐标f4、次大值对应的坐标f5这两个坐标差特征f6：

f6＝|f4-f5|；

提取纵向累加序列b的均值特征f8：

提取块效应网格图g的bag偏移特征f10：

其中，函数max[a{}]和min[a{}]分别返回集合a{}的最大值和最小值。

所述步骤(3)是这样实现的：

将最大值f1、次大值f2、差值特征f3、最大值对应的坐标f4、次大值对应的坐标f5、坐标差特征f6、比值特征f7、均值特征f8、标准差特征f9和bag偏移特征f10作为输入，利用无监督聚类方法获得分类标记结果，并将分类标记结果显示出来，得到分类标记结果图。

所述无监督聚类方法采用3分类的k-means聚类算法。

所述步骤(4)是这样实现的：

如果在分类标记结果图上能够分离出左侧区域l、右侧区域r和中间区域m，且中间区域m呈两个漏斗型结构，且两个漏斗型结构的颈部对接，则判定该待检测图像经过物体删除，并且中间区域m的两个漏斗型结构的对接处即为被删除的物体的位置；

如果在分类标记结果图上不能分离出左侧区域l、右侧区域r和中间区域m，或者能够分离出左侧区域l、右侧区域r和中间区域m，但是中间区域m不呈颈部对接的两个漏斗型结构，则判定该待检测图像没有经过物体删除。

与现有技术相比，本发明的有益效果是：利用本发明方法可以检测出图像是否有物体被删除，并且可以定位出被删除物体的具体位置。

附图说明

图1是物体删除的形状特征图像

图2是普通缝裁剪或未发生缝裁剪的形状特征图像

图3(1)是物体删除缝裁剪后的块效应网格图

图3(2)-1是左侧区域l的局部块效应网格

图3(2)-2左侧区域l的局部块效应网格的分布

图3(3)-1是中间区域m的局部块效应网格

图3(3)-2是中间区域m的局部块效应网格的分布

图3(4)-1是右侧区域r的局部块效应网格

图3(4)-2是右侧区域r的局部块效应网格的分布

图4是本发明方法的步骤框图

图5(1)是原始图像

图5(2)是图5(1)的分类结果标记图

图6(1)是普通缝裁剪缩小图像

图6(2)是图6(1)的分类结果标记图

图7(1)是特定物体移除图像

图7(2)是图7(1)分类结果标记图

图8(1)是原图

图8(2)是对图8(1)中间位置的物体删除后的分类结果标记图

图8(3)是对图8(1)上方位置的物体删除后的分类结果标记图

图8(4)是对图8(1)下方位置的物体删除后的分类结果标记图

图8(5)是对图8(1)左侧位置的物体删除后的分类结果标记图

图8(6)是对图8(1)右侧位置的物体删除后的分类结果标记图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

本发明通过物体删除的缝裁剪图像的会发生像素位移的行为特征提出了一种新的物体删除的缝裁剪定位检测方法。本发明是基于这样的事实：当一幅图像使用缝裁剪删除一个物体时，被删除物体左侧区域l的像素没有发生位移；被删除物体对应的中间区域m，缝裁剪前后图像像素位置发生左移，但具体某个像素移动的步长不定，没有规律；被删除物体右侧区域r，缝裁剪前后图像像素发生左移，且整体移动的步长一致。对于特定物体删除过程而言，m区域比较集中，而且成对接的两个漏斗型结构，l区域位于左侧，r区域位于右侧，三个区域的划分比较明显(如图1所示)。对于普通的缝裁剪过程而言，m区域面积较大，而且不是对接的两个三角形(如图2所示)，或者几乎无法划分出l与r区域。因此，如果能够检测出一幅图像存在lmr区域且m区域成对接的两个三角形结构，那么就可以判断出该图像是否使用缝裁剪技术删除了某个特定的物体，同时m区域的上下两个交叉位置即为被删除物体的原始位置，从而实现删除物体的准确定位。

图像在经历jpeg压缩过程中，分块处理的独立量化过程会在相邻分块之间引入块效应，表现为图像中呈现水平和垂直的线条，构成8*8的网格，称为块效应网格(bag)。在缝裁剪过程中，当删除一条条缝时，将使得块效应网格往往不能与其周围区域的块效应网格保持匹配，产生块效应网格的错配现象(如图3(1)所示)。而在使用缝裁剪技术进行特定物体移除中，图像中不同区域的bag错位具有一定的差异性。假定物体删除时删除了m条缝，则在篡改图像中，l区域的bag不变，没有发生错位，其分布为两边高中间低(如图3(2)-1和图3(2)-2所示)；而m区域的bag错位杂乱无章,几乎所有的bag都被错配，没有任何规律，其分布比较平缓(如图3(3)-1和图3(3)-2所示)；而r区域的bag基本上是整体向右位移了m，其分布为中间高两边低(如图3(4)-1和图3(4)-2所示)。

基于以上提到的物体删除缝裁剪图像的像素位移行为特征，本发明提出了一种新的基于块效应网格错配特性的针对物体删除缝裁剪图像有效的定位检测方法。本发明的实验结果表明，本发明所提出的方法能够很好的检测出图像是否使用缝裁剪进行物体删除，并能够比较准确的定位被删除物体的位置。

本发明的方法如图4所示，包括：

首先，对待检测图像进行块效应网格提取；接着计算块效应网格的特征；然后将提取的特征，使用无监督聚类方法进行分类；最后根据分类结果图像进行定位检测。

具体如下：

(1)提取jpeg图像的块效应网格。

块效应网格提取的方法是由weihaili提出的(请参考weihaili,yuanyuan,nenghaiyu,passivedetectionofdoctoredjpegimageviablockartifactgridextraction.signalprocessing,2009.89.pp:1821-1929)。

对于所有大小为m×n的jpeg格式的图像s(m、n为一副图像的像素的行数和列数)。

1、首先从图像中提取弱水平线eh

假设s(y,x)是图像s中的像素点，d(y,x)是图像绝对二阶差分d的一个元素。利用公式(1)可以得到d。

d(y,x)＝|2s(y,x)-s(y-1,x)-s(y+1,x)|公式(1)

然后每33列被水平的累加以扩大d中的弱水平线，参见公式(2)。

最后使用公式(3)获得弱水平边缘eh，其中函数mid[a{}]返回集合a{}中的均值，e(y,x)为图像eh的元素。

e(y,x)＝es(y,x)-mid[{es(i,x)|y-16≤i≤y+16}]公式(3)

2、从eh中以8为周期获得增强的gh

为了减少噪声的影响，用公式(4)对eh进行进一步的中值滤波，其中，gh是提取的水平bag图像gh中的元素。

gh(y,x)＝mid[{e(i,x)|i＝y-16,y-8,y,y+8,y+16}]公式(4)

相应地，垂直方向的bag图像gv也可用同样的方法得到。将gh与gv结合起来，便可得到图像s最终的bag图g。在公式(5)中，gh为提取的水平bag图像gh中的元素，gv为提取的垂直bag图像gv中的元素，g(y,x)为最终提取的bag图g中的元素。

g(y,x)＝gh(y,x)+gv(y,x)公式(5)

(2)从步骤(1)得到g中提取特征。

对于图像g中的每一个8*8的块a＝[a]8*8，使用公式(6)获得纵向累加序列b。

对纵向累加序列b进行降序排列，得到降序后的集合c及对应的坐标index

[c,index]＝sort(b,'descend')公式(7)

上式中，sort为排序操作，‘descend’表示降序，c为降序后的序列集合，index为每个序列值在b中对应的索引坐标。

提取b的最大值f1、次大值f2，以及最大值与最小值的差值特征f3：

f1＝c1,ci∈c|i∈{1,2,...,8}公式(8)

f2＝c2,ci∈c|i∈{1,2,...,8}公式(9)

f3＝f1-f2公式(10)

提取b的最大值对应的坐标f4、次大值对应的坐标f5以及这两个坐标差特征f6：

f4＝index1,indexi∈index|i∈{1,2,...,8}公式(11)

f5＝index2,indexi∈index|i∈{1,2,...,8}公式(12)

f6＝|f4-f5|公式(13)

提取b的最大值与次大值之和与全部值之和的比值特征f7：

提取b的均值特征f8：

提取b的标准差特征f9：

同时利用weihaili提出的方法计算图像g的bag偏移特征f10(请参考weihaili,yuanyuan,nenghaiyu,passivedetectionofdoctoredjpegimageviablockartifactgridextraction.signalprocessing,2009.89.pp:1821-1929)：

对于图像g中的每一个8*8的块a＝[a]8*8，如果发生了像素移动，则在6*6的中心矩阵中将存在bag线。因此，定义f10表示bag偏移特征，如公式(17)所示：

其中，函数max[a{}]和min[a{}]分别返回集合a{}的最大值和最小值。

(3)将前面获得的10维特征送入无监督聚类方法，从而获得分类标记结果。在本发明中采用3分类的k-means聚类算法。k-means聚类算法是无监督聚类方法中的一种。把整幅图像，每个8*8块所获得10个特征值送入k-means方法，将分类结果设置为3类，就会输出分类标记结果，标记结果为1、2、3；这里k取值为3。利用全部10维特征时效果最好，使用少于10个特征也可以实现定位检测，例如仅仅使用f1,f2,f4,f5,f7,f9也可实现，只是定位检测的效果比使用全部10维特征的效果要差些。

这些特征包括：步骤(2)获得的最大值和次大值，最大值与最小值的差值，最大值坐标和次大值坐标以及两者的差，最大值与次大值之和与全部值之和的比值，均值和方差，bag偏移特征。实验中采用k-means聚类方法。

(4)将步骤(3)所获得的标记结果显示出来(例如可以在matlab软件中按绘图的形式直接显示标记结果)，如果图像能够比较理想的分离出lmr三个区域，且m区域呈颈部对接的两个漏斗型结构(如图1所示)，则说明该图像经过物体删除，并且中间区域m的两个对立三角形区域的连接处就是删除的物体位置。如果无法分离出lmr三个区域，或者分离出lmr区域但m区域不呈颈部对接的两个漏斗型结构，则该图像没有进行物体删除(如图2所示)。

这样就实现了物体删除的缝裁剪图像的定位检测，即给定一副待检测图像，基于本发明方法，最后会给出这幅图像是否有物体被删除，并且可以定位出被删除物体的具体位置。

为了检测本发明提出的物体删除缝裁剪图像定位检测方法的有效性，实验使用标准图片库dresdenimagedatabase(请参考http://forensics.inf.tu-dresden.de/ddimgdb)和自己手机拍的图片进行测试。图像库中图片为tiff格式的，使用photoshop将其压缩为jpg格式的图片作为实验的原图,其中压缩质量因子为中。本发明使用缝裁剪方法(请参考avidan,s.anda.shamir，seamcarvingforcontent-awareimageresizing，acmtransactionsongraphics.2007)进行物体的删除。

本发明进行了一系列的实验。首先评估本发明方式是否可以定位出被删除物体。

图5(1)为原图，大小为3264*4928；图6(1)为传统缝裁剪后的缩小图像，垂直方向裁剪后图像大小为3264*4598；图7(1)为通过缝裁剪将原图中的猫移除后的篡改图，垂直方向裁剪后图像大小为3264*4598。从图7(2)可以看出，特定物体移除后的缝裁剪图像可以较好的分割出lmr区域，并且可以预测出删除物体的位置(如图7(2)中的圆圈所示)；而普通缝裁剪图像和原始图像都无法很好的划分出lmr区域(如图6(2)和图5(2)所示)。

为了进一步验证所提方法的可行性，针对删除物体的不同位置的缝裁剪图像进行定位实验，图8(1)是原图，从图8(2)、图8(3)、图8(4)可以发现，物体删除在中间、上方、下方，都能较好的分出lmr三个区域，其中m区域的形状会变成两个对接的漏斗，对接的地方则为预估删除物体所在的位置(图中的圈代表预估删除物体的位置)。物体删除在左侧和右侧时，也可以划分出两个区域mr(图8(5))或lm(图8(6))。不管是哪种形式，尽管分类结果不同，但从整体结构上，已经可以很容易的定位出物体删除的篡改区域。

本发明主要针对物体删除的缝裁剪图像的定位问题，通过对图像先提取块效应网格，然后提取包括最大值和次大值，最大值与最小值的差值，最大值坐标和次大值坐标以及两者的差，最大值与次大值之和与全部值之和的比值，均值和方差，bag偏移特征组成的特征集，然后通过聚类方法进行分类，最后根据图像结果获得待检测图像是否有物体被删除，并且定位出了被删除物体的具体位置。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。