基于动态阈值的帧复制粘贴篡改检测方法与流程

技术领域：

本发明涉及一种电子取证技术领域，具体涉及一种基于动态阈值的帧复制粘贴篡改检测方法。

背景技术：
：

随着多媒体技术的发展，视频编辑软件的不断更新，人们可以根据需要更加轻易地编辑视频，修改视频内容，达到更好的视觉效果。然而，技术进步方便人类的同时，也带来了不利影响。如果不法分子利用软件恶意篡改视频毁灭证据、修改视频内容，被恶意篡改的视频经过网络传播，在一定程度上会影响社会的稳定，因此，视频篡改检测技术的研究目前已是信息安全的一项重要课题。

复制-粘贴类型的篡改方式是一种常见的视频篡改手段，可以分为：时域复制粘贴和空域复制粘贴。空域复制粘贴篡改，其实质和单幅图像的复制-粘贴篡改类似，将视频帧内的区域对象复制到该帧其它位置或复制到其它帧中以达到篡改目的；而时域复制粘贴篡改则是以帧为单位的复制粘贴，使得视频中的部分场景被替换或隐藏。时域复制粘贴篡改的方式通常是复制一段连续多帧的视频子序列到视频中。现有的研究针对这种篡改方式提出了检测方法。基于时空相关性矩阵来检测复制-粘贴视频，首先将视频帧序列分为重叠的多个子序列，计算各个子序列在时间上和空间上的相关性矩阵，然后利用相关性矩阵来检测。这种划分为子序列的方法使得算法对静止视频或运动相对缓慢的视频检测效果不佳。基于结构相似度来检测时间域上视频帧复制-粘贴的篡改，算法将视频帧序列划分为多个重叠的子序列，利用结构相似性理论来度量视频帧间的相似性，最后通过时间域上子序列间的匹配策略寻找出存在复制关系的子序列对，合并子序列对并定位出视频中复制片段的具体位置。算法检测的原理是基于时间域上子序列间的匹配策略，对单帧模式的复制粘贴篡改失效。

技术实现要素：
：

为了解决现有的视频时域复制粘贴篡改检测方法时间复杂度过高和阈值自适应设定两个重要问题,本发明提出了一种基于动态阈值的帧复制粘贴篡改检测算法。它适用于视频连续多帧复制粘贴篡改，根据人眼视觉感知的特性，复制的帧序列长度较短时，人眼难以察觉到视频的变化，因此若想达到篡改目的，复制的帧序列必须达到一定的数量，一般要超过24帧，本方法可以检测帧序列长度超过15帧的复制粘贴篡改。当前已有的方法采用固定阈值，对视频压缩操作很敏感，由于视频压缩基本是有损压缩，可能会导致固定阈值失去应有作用。而大部分被篡改视频会经过再压缩处理，因此基于动态阈值的帧复制粘贴篡改检测方法具有很高的现实意义。

为实现本发明的目的采用的技术方案如下：

1、阈值设定

首先，将视频转换为帧序列：f1、f2、……、fi、……fn，其中，fi指第i帧彩色图像，n是帧总数，然后把每一帧转换为灰度图像，得到灰度图像序列：p1、p2、……、pi、……pn，其中，pi指第i帧灰度图像。

然后，为每一帧灰度图像(pi)设定一个判定阈值(ti)，用ti表示帧pi的阈值，分别计算pi和pi+1之间的平均结构相识度系数(mssim)，取较小的为pi的判定阈值。

最后，计算所有阈值(t1、t2、……、ti、……tn)的平均值e和方差d，根据给定公式(1)更新每一帧的阈值ti。具体表示如下：

2、帧匹配

首先，提取每一帧灰度图像(pi)的特征向量。对灰度图像(pi)序列p1、p1、……、pi、……pn中的每一帧进行离散余弦变换(dct)，得到n个dct系数矩阵，每个矩阵中的系数经过“之”字型排序后取前十个系数作为对应帧的特征向量(vi)，得到帧总数为n的特征矩阵(m)。即定义m＝[v1,v2,…,vi,…,vn]。其中vi表示每一帧图像pi的特征向量，n是帧的总数，m指特征矩阵；

然后.对特征矩阵m进行字典排序得到矩阵morder。

最后.根据字典排序的结果，来搜索可能存在复制粘贴关系的帧对，这个过程称为帧匹配。假设pi帧在矩阵morder中的第j行，那么只要在[j-10,j)∪(j,j+10]范围内寻找。计算pi帧和在[j-10,j)∪(j,j+10]范围内所有帧之间的mssim系数，并与pi帧的阈值ti进行比较。如果在[j-10,j)∪(j,j+10]范围内找到一帧pk，且pi帧和pk帧两者之间的mssimtik大于阈值ti，则把帧对(pi,pk)放入集合c中。

3、后处理；

步骤一、建立分类器，定义如式(2)，设计原理是利用了人眼视觉特征，因为必须连续复制粘贴15帧，人眼才能感觉到视频内容的变化，所以可以认为复制粘贴的帧序列长度至少为15，如果检测到的帧序列长度小于15，则判定是特殊现象带来的误差。集合c中所有帧对都要经分类器处理，如果φ(pi,pj)＝0，φ()是一个分类器，值为0时，表示pi与pj的帧序间距小于15，说明是特殊现象带来的误差，则把帧对(pi,pj)从集合c中移除。

其中i、j表示帧序号。

步骤二、集合c中的帧对(pi,pj)经过分类器处理后，从集合c中任取一帧对(pp,pq)，把它放入集合s中，并从集合c中移除。记录下当前帧对(pp,pq)的序号，令a＝p，b＝q。(说明：记录当前帧对的序号，为步骤四到步骤五寻找漏检的帧对做准备)

步骤三、检测帧对(pp+1,pq+1)是否存在于集合c中，如果存在，则把它从集合c中移除，放入s中，令p＝p+1，q＝q+1(令帧下标p、q都自增1)，跳转至步骤三；如果不存在，跳转至步骤四。

步骤四、计算帧pp+1和帧pq+1两者之间的结构相似度(ssim)，如果pp+1的阈值或pq+1的阈值的ssim大于阈值tp+1或者tq+1其中一个，则令p＝p+1，q＝q+1(令帧下标p、q都自增1)，并跳转至步骤三；否则，把帧对(pp+1,pq+1))从集合s中删除，令p＝a，q＝b，然后跳转至步骤五。

步骤五、检测帧对(pp-1,pq-1)是否存在于集合c中，如果存在，则把它从c中移除，放入s中，令p＝p-1，q＝q-1(令帧下标p、q都自减1)，跳转至步骤五；如果不存在，跳转至步骤六。

步骤六、计算帧pp-1和帧pq-1之间的ssim，如果它们的ssim大于阈值tp-1或者tq-1，则令p＝p-1，q＝q-1(令帧下标p、q都自减1)，跳转至步骤五；否则，跳转至步骤七。

步骤七、统计集合s中帧对的总数，记num，分类器的第二部分定义如公式(3)。如果u(s)＝1，则认为当前集合s中可以组成两段存在复制粘贴关系的帧序列。假设帧两段帧序列分别为pi，pi+1，……，pi+m和pj，pj+1，……，pj+m。根据复制粘贴序列和其粘贴位置连续性较弱的特点来判定原始帧序列和复制粘贴帧序列，计算公式如(4)～(7)。如果mssimi+mssimi+m>mssimj+mssimj+m，则pi，pi+1，……，pi+m是原始序列，pj，pj+1，……，pj+m是复制粘贴帧序列；否则，pj，pj+1，……，pj+m是原始帧序列，pi，pi+1，……，pi+m是复制粘贴序列。如果u(s)＝0，则清空集合s，转至步骤八。

步骤八、重复步骤步骤二～步骤七，直到集合c为空。

mssimi＝ssim(pi,pi-1)(4)

mssimi+m＝ssim(pi+m,pi+m+1)(5)

mssimj＝ssim(pj,pj-1)(6)

mssimj+m＝ssim(pj+m,pj+m+1)(7)

所述的阈值设定中，转换为灰度图像计算方法如下：

设每帧图像高为m，宽为n，在三维rgb颜色空间下，图像帧可表示为:

i(x,y)＝[r(x,y),g(x,y),b(x,y)]

x＝1,2,...,m；y＝1,2,...,n

灰度图像计算公式为：

i’(x,y)＝0.299r(x,y)+0.587g(x,y)+0.114b(x,y)

x＝1,2,...,m；y＝1,2,...,n

所述的帧匹配中，离散余弦变换(dct)计算公式如下：

其中，bpq称为矩阵amn的dct系数矩阵，图像矩阵的大小为m×n。

量化dct系数的计算公式如下：

其中，dij是dct系数，q指量化表。

所述的阈值设定中，平均结构相似度(mssim)计算公式如下

其中，μx、σx分别是x图像的均值和方差，μy、σy分别是y图像的均值和方差，δxy表示两幅图像的协方差。c1、c2是用来防止分母约等于0的情况下产生不可预知的事件的发生，即使计算结果更稳定。在实际应用中，图片被分割成若干个11╳11像素大小的窗口，其中n是局部窗口总数，i是局部窗口序号。

本发明的优点在于将视频转换为图像，并为每一帧设定一个阈值，用于帧匹配操作。同时引入字典排序算法，来缩小帧匹配过程中的搜索范围，最后是后处理，包括查找漏检测的帧对，去除误检测帧序列以及判定原始帧序列等操作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简要介绍。

图1是本发明所述的一种基于动态阈值的帧复制粘贴篡改检测方法的视频篡改示例。

图2是发明所述的一种基于动态阈值的帧复制粘贴篡改检测方法的检测流程图。

图3是发明所述的一种基于动态阈值的帧复制粘贴篡改检测方法的原始视频检测效果图。

图4是发明所述的一种基于动态阈值的帧复制粘贴篡改检测方法的篡改视频检测效果图。

具体实施方式

下面将结合附图以实施例方式，详细叙述本发明的具体步骤。

实施例1

图1，描述了本发明的特点，即它的适用场景，它适用于帧插入和替换两种复制粘贴篡改。篡改者采用这种方式来覆盖视频中某段内容，如犯罪现场、犯罪证据等。已有的方案有两个主要缺点：一时间复杂度很高；二采用固定的阈值。时间复杂度高是视频取证研究过程中普遍存在的问题，这是由视频自身复杂性决定的，目前的研究只能尽量降低时间复杂度。考虑到大部分被篡改视频会经过再压缩处理，而视频压缩基本是有损压缩，有损压缩可能会导致固定阈值失去应有作用。

图2，描述算法的检测流程图，算法分为三步。第一步设定阈值，与其他算法的区别在于这里每一帧都分配一个阈值，而且阈值是由当前帧本身和它前后相邻帧mssim决定，随着mssim的变化而动态变化。动态阈值使得算法能很好的应对不同强度的压缩，增强了算法的鲁棒性。第二步帧匹配，即根据给定阈值判别哪些帧之间存在复制粘贴关系，为了缩小帧匹配过程中每一帧的搜索范围，所提算法引入了字典排序，排序特征是dct系数前十位。因为字典排序简单有效，减少了帧匹配时相似度计算次数，提高算法的效率。最后一步后处理，对帧匹配结果做进一步检测，找到漏检帧对、消除误检的帧序列并判断那个是原始帧序列。

图3，表示未篡改的原始视频序列中一特定帧和所有帧之间相似度。横坐标表示帧编号，纵坐标表示该特定帧和对应编号的帧间相似度。图中特定帧是第90帧，纵坐标代表着第90帧和所有帧间的结构相似度值。

图4，表示经过帧复制粘贴篡改的视频序列中一特定帧和所有帧之间的相似度。横坐标表示帧编号，纵坐标该特定帧和对应编号的帧间相似度。图所示篡改把83～120的帧序列复制粘贴到196～233的位置，篡改后的视频帧序列中第90帧和第203帧之间存在复制粘贴关系，然后测量第90帧和篡改后视频的所有帧之间的结构相似度，如图4纵坐标所示。

图4展示的是结构相似度值随着两帧之间距离的增加的变换趋势，可以发现随着间隔距离的增加，两帧间相似度整体表现为下降的趋势。虽然有一些轻微的波动，但总体是下降的趋势，并且下降速度先快后慢。由图4可知存在复制粘贴关系的帧之间的相似度很高，同时从中可以发现第90帧和第203帧之间的mssim并没有达到1，这是因为视频篡改后进行了二次压缩，使得两帧之间的相似度降低了。此外，第90帧和第203帧之间的结构相似度高于第90帧和它的两个相邻帧(89帧和91帧)的结构相似度值。因此可以取两者中较小的一个作为第90帧的阈值来寻找与它有复制粘贴关系的帧。

本实例应用基于动态阈值的帧复制粘贴篡改检测方法对可疑视频序列的真实性进行取证，图2给出了本发明所述的检测流程图，现参照图2介绍具体操作过程：

第一步阈值设定。将待检测视频转换为图像序列，共556帧，图像分辨率为1092×1080。根据存在复制粘贴关系的两帧相似度很高这一特性，为每一帧设定一个阈值，该阈值自适应，即取对应帧与其前后两帧结构相似度值较小的一个作为阈值。

第二步帧匹配。为了缩小帧匹配过程中搜索范围，对每帧图像进行dct变换，获取部分dct系数作为特征进行字典排序，根据设定阈值寻找存在复制粘贴关系的帧对。

第三步后处理。首先，把找到的帧对按序号排列，组成一个个序列对，逐步向两端扩展寻找漏检的帧对。然后，测量帧序列长度，小于15帧的则判定为误检测帧序列。最后，根据复制粘贴序列和其粘贴位置连续性较弱的特点来判定原始帧序列和复制粘贴帧序列，来判断长度大于15帧的帧序列那个是原始帧序列。检测的的原始帧序列：217、218、……、256，复制粘贴序列：101、102、……、140。