一种基于enf相关系数的监控视频篡改盲检测方法
【专利摘要】本发明公开了一种基于ENF相关系数的监控视频篡改盲检测方法，其步骤为：读取待检测的监控视频，获取其帧率、帧数以及拍摄地区电网频率等信息；检测并选择视频当中的静止区域，计算各帧区域内像素的亮度均值；根据条件设定滤波参数，对亮度均值向量进行带通滤波；对滤波得到的ENF信号进行三次样条插值，然后计算每两个相邻周期信号的相关系数；用1减去每一个相关系数，得到检测向量；忽略此向量开头与末尾一定数量的值，将余下元素中数值大于检测向量元素均值k倍以上的定为可疑点；最后通过与可疑点附近区间均值的对比确定篡改是否存在及篡改位置。本发明具有能够进行高效准确的监控视频真实性检测等优点。
【专利说明】一种基于ENF相关系数的监控视频篡改盲检测方法
【技术领域】
[0001]本发明涉及一种数字视频的取证技术，特别涉及一种基于ENF相关系数的监控视频篡改盲检测方法。
【背景技术】
[0002]在当今社会当中，数字监控视频被广泛地应用于多个方面，包括安全保障、新闻媒体、法律证据等，涉及到社会生活的各个方面，与国防安全，社会稳定有着重要的联系。正因为数字监控视频具有上述的重要作用，保证其真实可靠性变得尤为关键。随着科技的进步，视频编辑软件越发普及，对监控视频的篡改变得越发容易。如果经篡改的监控视频被用于前述的安保、新闻、法律等用途，将会导致严重的结果，造成各种不良的社会影响。因此，监控视频的篡改检测方法具有重要的研究意义与迫切的实际需求。
[0003]目前的数字监控视频篡改检测方法多数是借助嵌入数字水印来进行的主动检测。基于数字水印的检测方法在较早之前就被提出，之后一直是国内外学者的研究热点。2013年7月，国内学者刘立冬等人在《计算机应用》中发表论文《基于H.264压缩域的视频盲水印算法；2013年12月，国外学者Khalilian等人在期刊IEEE Transactions on ImageProcessing 中发表论文〈〈Video Watermarking With Empirical PCA-Based Decoding〉〉。类似的介绍基于数字水印的检测算法的论文在国内外学术期刊及会议上十分常见。这一类检测方法需要在拍摄监控视频时同步向其中嵌入脆弱或半脆弱数字水印，在检测时通过提取水印与原始水印匹配达到检测篡改的目的。然而，这一类算法对于没有事先嵌入数字水印的视频是不能进行有效检测的。而在实际应用中，绝大部分监控视频是没有同步嵌入数字水印的，这意味着基于数字水印的检测算法对于大部分监控视频是无效的。
[0004]为了提高监控视频检测算法的灵活性，采用不需事先嵌入水印的盲检测方法是较好的选择。然而，由于技术难度较大，此类算法的研究成果极为有限。国外学者Farid等人在ACM会议以及IEEE期刊上发表论文提出了几种数字视频盲检测算法。然而，受到视频编码格式或视频内容的限制，目前的几种盲检测算法对于监控视频的篡改检测效果并不理想。
[0005]近年来，利用电网频率(Electric Network Frequency, ENF)进行数字多媒体取证的方法逐渐受到学者的重视，尤其是在音频取证领域。2013年9月Garg等学者在IEEETransactions on Information Forensics and Security 上发表论文〈〈〃Seeing〃ENF:Power—Signature—Based Timestamp for Digital Multimedia via Optical Sensing andSignal Processing》，提出了在视频中提取ENF信号的方法，为将ENF信号应用于视频取证领域奠定了技术基础。ENF信号对视频压缩等处理具有良好的鲁棒性，十分适合于检测利用市电供电，通常在静止位置进行拍摄的视频监控系统所拍摄的监控视频。然而，由于监控视频的帧率普遍不高，其中ENF信号的数据量不足，难以用于盲检测。虽然Garg等在上述论文中提出可同时提取电源的ENF信号，将其与从视频中提取的ENF信号进行比对来实现检测，但这样的方法与前述基于水印嵌入的方法一样都不属于盲检测算法，在实际应用中受到较大限制。迄今为止，利用ENF来进行数字监控视频篡改盲检测的方法尚未见报道。
【发明内容】
[0006]本发明的目的在于克服现有技术的缺点与不足，提供一种基于ENF相关系数的监控视频篡改盲检测方法，该方法有效地克服了现有监控视频篡改检测方法的灵活性不足，应用范围受限，检测效果不佳等缺点。
[0007]本发明的目的通过下述技术方案实现:一种基于ENF相关系数的监控视频篡改盲检测方法，其主要步骤如下:
[0008]步骤1、用户选择待检测的可疑监控视频，根据视频的信息确定视频帧率fs、视频帧数N以及拍摄地区确定电网频率fQ ；
[0009]步骤2、将视频的各个帧均划分为4X4的子块其中，i=l，2，...，N，为帧序号，j=l，2，...，M，为帧内块序号，M为各帧可划分子块的数量；对各子块计算其像素亮度分量
的平均值yu，对处 于各帧相同位置的子块，找出亮度均值的最大值和最小值
ymm=_KJ，计算最大值与最小值的差值丨=VL.若4小于设定的阈值Ts，则认为该位置的子块是静止子块；所有所述静止子块组成静止区域，计算各个帧的静止区域的像素亮度平均值，得到一个含有N个元素的亮度均值向量>^ =.[0010]步骤3、设计数字带通滤波器，所述数字带通滤波器的中心频率f' ^根据fs和&确定，所述数字带通滤波器的滤波通带带宽W根据实际需要设定，利用所述数字带通滤波器的对静止区域的亮度均值向量ystill进行带通滤波，得到待测视频的ENF信号；
[0011]步骤4、对ENF信号进行三次样条插值，在相邻两个数据点之间插入m个数据点，使ENF信号长度由N增加为(N-1) X (m+l)+l，并根据fs、f'。和m计算插值后每个ENF周
期中的数据点数目《 = U/<」x(m + l)；
[0012]步骤5、用长度为2n的窗口在插值后的ENF信号上滑动，每次滑动η个数据点，计算窗口内相邻两个周期ENF信号的相关系数，随着窗口的滑动，计算每两个相邻周期ENF信号的相关系数，得到相关系数向量C ；
[0013]步骤6、用I减去相关系数向量C的各元素，得到检测向量C’，此步骤使得原相关系数向量中值越小的元素在检测向量中值越大，而原相关系数向量中值为I的元素在检测向量中的值变为0，这一变换有利于后续步骤的进行；
[0014]步骤7、计算检测向量的均值U，设定幅度阈值Ttl，令幅度阈值为均值的倍数，SPT0=ku, k为大于I的正整数，同时设定时间阈值T1，忽略检测向量开头及末尾各T1个元素，在其余元素中选择数值大于幅度阈值Ttl的作为可疑点；
[0015]步骤8、以检测向量中的可疑点为中心，选择所述中心的前后各T2个数据点作为精确检测区间，计算该区间内元素值的均值u’，用与步骤7中类似的方法确定区间内的幅度阈值T' pk’u’，若可疑点之值大于T' C1，则判定该可疑点为篡改发生点，进而根据篡改发生点在检测向量中的位置，确定原视频当中篡改的位置。
[0016]上述方法中，步骤I中，若无法得知可疑监控视频拍摄地区的电网频率时，则先作出假设，由于不同地区的电网频率只存在50Hz与60Hz两种情况，故分别假定电网频率为50Hz与60Hz进行滤波，得到50Hz的滤波结果和60Hz的滤波结果，再选择50Hz的滤波结果和60Hz的滤波结果中最好的结果来进行后续计算。
[0017]上述方法中，步骤2中，采用现有的视频运动检测算法，将视频中的静止背景与运动前景分割开；排除运动前景所经过的区域，把视频中余下的区域作为静止区域，然后计算各帧静止区域内像素亮度分量的平均值，得到一个含有N个元素的亮度均值向量。
[0018]上述方法中，其特征在于:步骤2中，检测得到静止区域之后，将亮度值接近O和接近255的像素点先排除；这类像素点在受到ENF信号影响而波动时，其亮度值很有可能超过O或255的边界，但由于亮度范围的限制，小于O的值会被强制置0，而大于255的值也会强制置为255，使得波动范围被缩小，从而引起后续计算的误差，因此排除这类像素点有助于提高检测的准确性；在排除了静止区域中亮度值接近O和接近255的像素点后，计算区域之内其余像素亮度分量的平均值，得到一个含有N个元素的亮度均值向量。
[0019]上述方法中，步骤4中，采用线性插值的方法在相邻两个数据点之间插入m个数据点。[0020]上述方法中，步骤4中，采用最近邻插值的方法在相邻两个数据点之间插入m个数据点。
[0021]上述方法中，步骤4中，采用二次样条插值的方法在相邻两个数据点之间插入m个数据点。
[0022]上述方法中，步骤4中，采用非分段的多项式插值方法在相邻两个数据点之间插入m个数据点。
[0023]上述方法中，步骤6中，不用I减去相关系数向量中的各元素生成检测向量，而是直接利用相关系数向量进行检测。
[0024]步骤7中，取k为小于I的数，使幅度阈值Ttl小于相关系数向量的元素均值U，将元素值小于Ttl的点定为可疑点。
[0025]上述方法中，步骤8中，取k’为小于I的数，使精确检测区间内幅度阈值T' ^J、于区间内相关系数的均值u’，将元素值小于T' ^的可疑点确定为篡改发生点。
[0026]本发明相对于现有技术具有如下的优点及效果:本发明创新性地把ENF信号的相关技术应用到监控视频的篡改盲检测当中，通过插值的方法克服了视频当中ENF信号采样点较少、数据量不足的缺陷，充分利用ENF信号对视频压缩、拉伸、裁剪等多种处理手段具有良好鲁棒性的优点，以及监控系统采用市电供电，通常在静止位置进行拍摄的特性，显著提高了对监控视频篡改检测的准确率；本发明完全利用待检测视频自身携带的ENF信号来进行检测，不需要在生成视频时事先添加数字水印，也不需要记录其他的额外信息来进行对比，实现了盲检测，能够适用于现有的各类视频监控系统，具有较高的应用灵活性；本发明只依靠监控视频本身来进行检测，不需要在监控系统中添加其他额外的硬件或软件单元，有利于简化监控系统结构，提高可靠性，节约成本；本发明在检测过程中使用的算法具有较低的复杂度，能在普通的计算机上较为快速地完成，使对监控视频的篡改检测能够更为便捷地进行；本发明不仅能确定视频篡改的存在性，还能对篡改的位置进行较为准确的定位，有利于后续分析的进行。
【专利附图】
【附图说明】[0027]图1是本发明的流程框图。
[0028]图2是对ENF信号进行三次样条插值的效果图。
[0029]图3是实施例中检测向量的示意图。
【具体实施方式】
[0030]下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0031]实施例
[0032]如图1所示，为本发明的流程框图，主要分为八个步骤，包括提取视频信息，检测静止区域并计算其亮度均值，带通滤波，三次样条插值，计算相关系数向量，变换得到检测向量，初步检测得到可疑点，以及进一步检测确定篡改位置。下面以一段AVI格式的监控视频作为优选的实施例来详细介绍本发明的实施过程。该监控视频经过了篡改操作，删除了第20001至20010共10帧。实施例中将通过本发明的方法，将此篡改检测出来。
[0033]第一步，提取视频信息。
[0034]提取视频信息的目的在于为后面带通滤波器的设计确定参数，所需要的信息主要包括视频帧率fs,视频拍摄地区的电网频率fo，以及视频的总帧数N。
[0035]以上述AVI格式监控视频为例，首先已知该视频是在中国大陆拍摄的，因此可以确定其电网频率为&=50取。通过读取AVI相应头文件中的信息，又可获得视频的总帧数与帧率。该AVI视频文件开头12个字节为RIFF头，标明文件的类型及总大小，接下来的12个字节为hdrl列表头。从文件第25个字节开始,是重要的avih块,该数据块当中记录了视频总帧数的信息。从avih块开头的第25至第28共四个字节，记录了视频的总帧数，读取得到为53990帧。之后还需要获取视频的帧率，找到文件当中流类型为vids的strh块，从该数据块开头的第29至32共四个字节为该流采用的时间尺度，读取得到为33333 ;从第33至36共四个字节为每秒的时间尺度，读取得到为1000000。用每秒尺度除以流尺度，即得到帧率为1000000 + 33333 ^ 30.0003fps，为简化计算可取为fs=30fps。至此，后续计算所需要的视频信息提取完毕。
[0036]第二步，检测静止区域并计算亮度均值。
[0037]对监控视频进行解码，得到各帧图像。由于计算只需要亮度信息而无需色彩信息，因此只需要保存各帧的亮度分量信息，而舍弃色彩分量以减少计算所需的存储空间。该AVI格式的监控视频当中，视频采用的是MJPG的编码方式，即对每一帧进行类似于JPEG图像的压缩编码。在这种编码方式当中，各帧的的亮度与色彩信息是分开进行编码的，因此能够十分便捷地提取出各帧的亮度信息。
[0038]解码得到各帧亮度信息之后，进行静止区域的检测。由于运动物体会导致像素点的亮度值发生较为剧烈的变化，掩盖了由ENF信号所带来的像素值波动，造成较大的计算误差，因此必须将其排除，只选择静止的区域进行后续的计算。将一帧划分为互不重叠的4X4子块，由于该监控视频的分辨率为320X240，则将一帧划分成了 80X60个子块。计算各子块中16个像素的亮度均值，通过均值的计算，减少视频当中随机噪声的影响。对处于各帧相同位置的子块，找到其中亮度均值的最大值及最小值，用最大值减去最小值得到子块差值d。设定阈值Ts，当d〈Ts时，可认定该子块在整段视频当中变化均较小，没有受到运动物体的影响，属于静止区域。在本实施例中，取Ts=10。检测得到的静止区域并不需要连通，只要符合前述条件的子块都可以归入静止区域中，以使数据更加充分。在检测出静止区域之后，将其中亮度值接近O与255的像素点进行排除，以提高检测的准确性。在本实施例中，亮度值小于10以及大于245的像素将被排除。然后，对静止区域内余下的所有像素点求取亮度值均值，获得一个包含53990个元素的亮度均值向量。
[0039]第三步，进行带通滤波。
[0040]检测所需的ENF信号是亮度均值向量经过带通滤波得到的，而带通滤波器的相关参数是通过第一步中的信息得到。本实施例中，监控视频是在日光灯照明的室内拍摄的，电网频率主要体现在日光灯的闪烁，而闪烁的频率为电网频率的两倍，即100Hz。则带通滤波器的中心频率f' ^，可以由下式确定:
【权利要求】
1.一种基于ENF相关系数的监控视频篡改盲检测方法，其特征在于，包括以下步骤: 步骤1、用户选择待检测的可疑监控视频，根据视频的信息确定视频帧率fs、视频帧数N以及拍摄地区确定电网频率fo ; 步骤2、将视频的各个帧均划分为4X4的子块by.，其中，i=l，2,...,N,为帧序号，j=l，2，...，M，为帧内块序号，M为各帧可划分子块的数量；对各子块计算其像素亮度分量的平均值yu，对处于各帧相同位置的子块，找出亮度均值的最大值和最小值{.V,,}计算最大值与最小值的差值纥=.rn'? -J1Jlin.若(Ij小于设定的阈值Ts，则认为该位置的子块是静止子块；所有所述静止子块组成静止区域，计算各个帧的静止区域的像素亮度平均值&u，得到一个含有N个元素的亮度均值向量=,.步骤3、设计数字带通滤波器，所述数字带通滤波器的中心频率f '。由fs和&确定，所述数字带通滤波器的滤波通带带宽W根据实际需要设定，利用所述数字带通滤波器的对静止区域的亮度均值向量ystill进行带通滤波，得到待测视频的ENF信号； 步骤4、对ENF信号进行三次样条插值，在相邻两个数据点之间插入m个数据点，使ENF信号长度由N增加为(N-l)X(m+l)+l，并根据fs、f' jPm计算插值后每个ENF周期中的数据点数目h=L^/a」x(ot+1)； 步骤5、用长度为2n的窗口在插值后的ENF信号上滑动，每次滑动η个数据点，计算窗口内相邻两个周期ENF信号的相关系数，随着窗口的滑动，计算每两个相邻周期ENF信号的相关系数，得到相关系数向量C ; 步骤6、用I减去相关系数向量C的各元素，得到检测向量C’，使得原相关系数向量中值越小的元素在检测向量中值越大，而原相关系数向量中值为I的元素在检测向量中的值变为O; 步骤7、计算检测向量的均值U，设定幅度阈值Ttl，令幅度阈值为均值的倍数，即Ttl=1i,k为大于I的正整数，同时设定时间阈值T1，忽略检测向量开头及末尾各T1个元素，在其余元素中选择数值大于幅度阈值Ttl的作为可疑点； 步骤8、以检测向量中的可疑点为中心，选择所述中心的前后各T2个数据点作为精确检测区间，计算该区间内元素值的均值u’，确定区间内的幅度阈值T' fk’u’，若可疑点之值大于T' C1，则判定该可疑点为篡改发生点，进而根据篡改发生点在检测向量中的位置，确定原视频当中篡改的位置。
2.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤I中，若无法得知可疑监控视频拍摄地区的电网频率时，则先假定电网频率为50Hz与60Hz分别进行滤波，得到50Hz的滤波结果与60Hz的滤波结果，再选择50Hz的滤波结果和60Hz的滤波结果中较好的结果来进行后续计算。
3.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤2中，采用视频运动检测算法，将视频中的静止背景与运动前景分割开；排除运动前景所经过的区域，把视频中余下的区域作为静止区域，然后计算各帧静止区域内像素亮度分量的平均值，得到一个含有N个元素的亮度均值向量。
4.根据权利要求1或3任意一项所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤2中，检测得到静止区域之后，将亮度值接近O和接近255的像素点先排除；在排除了静止区域中亮度值接近O和接近255的像素点后，计算区域之内其余像素亮度分量的平均值，得到一个含有N个元素的亮度均值向量。
5.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤4中，采用线性插值的方法在相邻两个数据点之间插入m个数据点。
6.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤4中，采用最近邻插值的方法在相邻两个数据点之间插入m个数据点。
7.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤4中，采用二次样条插值的方法在相邻两个数据点之间插入m个数据点。
8.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤4中，采用非分段的多项式插值方法在相邻两个数据点之间插入m个数据点。
9.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤6中，直接利用相关系数向量进行检测； 步骤7中，取k为小于I的数，使幅度阈值Ttl小于相关系数向量的元素均值U，将元素值小于Ttl的点定为可疑点。
10.根据权利要求1所述的基于ENF相关系数的监控视频篡改盲检测方法，其特征在于:步骤8中，取k’为小于I的数，使精确检测区间内幅度阈值T' ^小于区间内相关系数的均值u’，将元素值小于T' ^的可疑点确定为篡改发生点。
【文档编号】H04N19/80GK103905816SQ201410129627
【公开日】2014年7月2日 申请日期:2014年3月31日 优先权日:2014年3月31日
【发明者】胡永健, 王宇飞, 刘琲贝, 韦岗 申请人:华南理工大学