基于模式噪声的图片出处与窜改认定方法与流程
本发明涉及一种图片出处与窜改认定方法，特别涉及一种基于模式噪声的图片出处与窜改认定方法，属于图片认定方法技术领域。
背景技术：
在早期的胶片相机时代，通过处理原始相机底片可改变照片的初始形态，随着科学技术的快速发展，出现了更多的图片编辑修改工具，导致图片窜改这种移花接木的现象更加普遍，任何人都能对自然场景图片进行修改、编辑或通过软件制作非自然场景图片来达到想要的效果。虽然这些先进的图片编辑修改技术给人们带来了方便，但也带来了许多困扰和不便。伴随图片编辑修改门槛的降低而来的是人们对数字图片真实性的不信任，眼见为实的古论已被推翻，一些居心不良和别有用心的人，在书籍、网络、学术研究中大肆运用窜改图片，极大地影响了新闻界实事求是和学术界公正性原则，引起了人们对照片的极大怀疑。
近几年，图片窜改事件数不胜数，藏羚羊伪造事件、学术论文图片造假事件、周老虎事件等等，一度引起各种矛盾和恐慌，给民众的生活带来不可估量的负面影响。在学术界，伪造的实验结果会对科研之路带来错误指引；在司法界，伪造的图片会使坏人逍遥法外，好人的权益不能保障；战争中，伪造的图片会夸大战争的激烈程度，导致人心惶惶；在保险界，客户都拿着经过窜改的图片找保险公司索赔，保险公司会遭受严重的经济损失；在新闻界，伪造图片严重违背了新闻媒体实事求是的原则，违背媒体工作者的职业操守问题，造成大量的负面作用。
诸多图片造假事件的出现，使得眼见不为实的现象越来越普遍，同时人们对图片真实性的质疑也越来越多，更多的人呼吁加强对数字图片的监管，越来越多的人开始关心图片的真实性，图片出处认定也变成热门研究和应用领域，司法上也急需照相设备认定技术为解决司法难题提供有力的技术支撑。现有技术数字图片认定并没有建立系统的认定框架，也没有成熟的理论基础，图片出处与窜改认定研发运用迫在眉睫。
各种出处图片的融合使伪造的图片越来越逼真，增加了司法取证的难度，同时也使得数字图片出处认定具有更现实的意义。数字照相设备的普及使图片窜改造假现象越来越普遍，眼见不再为实的认知增加了民众的恐慌，图片出处认定与图片窜改认定受到越来越多的关注，图片认定方法主要应用于防伪与窜改的检测。防伪是在图片主动认定时，数字水印通过在图片中加入隐秘消息来防伪，只有在专门检测器下才能显现；在数字图片被动取证中，通过利用模式噪声检测图片源照相设备的方法实现防伪。图片窜改算法可只依据图片本身进行图片窜改检测，及时遏制造假图片的恶意传播，减小甚至消除其造成的不良影响，保障司法执法的公正，肃清科研学术造假之风等，促进整个社会的积极向上健康发展。
数字图片认定技术通过分析图片的内部特征来检测图片出处与窜改，其理论知识涉及图片处理、模式识别、图片传感器等多个学科，是各学科间的相互结合。数字图片出处认定技术近几年才兴起，现有技术相关研究相对较少，美国的法里德教授利用小波分解以及数学建模认定图片是来自计算机、照相设备还是扫描仪，该方法针对图片出处认定有较好的实验效果，但仅限于区分图片是来源于计算机、还是照相设备或扫描仪，局限性很大。吴旻等人利用照相设备颜色滤波矩阵插值系数、图片块离散余弦变换系数、幅度-相位谱特征及信号噪声能量比估算的方法，对经过双重压缩、重采样润饰及增加对比度等窜改手段的图片进行出处检测，还利用盲反卷积技术模拟图片成像过程,得到图片成像过程中的滤波操作，但该方法对有相似成像传感器的相同型号的不同照相设备的检测效果并不理想，得到的结果可信度相对较低，使得在司法运用的一些领域无法推广运用。
哥伦比亚大学通过研究照相设备在成像过程中经历的cfa插值、白平衡、伽玛校正等过程中信号的处理，分析这些过程可能在图片形成过程中引入的固有特征，在图片拼接与出处认定方面成果显著,但依然存在图片出处与窜改认定理论基础不够牢固，认定可靠度不高的问题。
哈拉齐为主的研究团队运用图片的颜色、质量和小波域等多维统计特征认定不同的照相设备照片，针对无压缩图片的认定正确率达到了91.54％，压缩图片中品质因子为75的jpeg图片的认定正确率有82.75％，但是当参考照相设备上升到5个之后，认定准确率下降到79.36％，当参考照相设备数量继续上升时，认定准确率快速下降，参考照相设备数量较多时该方法没有利用价值。
现有技术也有利用数字照相设备特有的镜头指纹，即照相设备的镜头径向失真，估算不同照相设备的径向失真，并将估算得到的失真参数作为特征矢量判断数字图片出处。但该方法无法识别不具有直线边缘的图片，同时该方法对压缩图的认定率不高。
综上，针对现有技术存在的部分缺陷，本发明拟解决以下问题：
一是当前诸多图片造假事件的出现，使得眼见不为实的现象越来越普遍，同时人们对图片真实性的质疑也越来越多，更多的人呼吁加强对数字图片的监管，越来越多的人开始关心图片的真实性，图片出处认定也变成热门研究和应用领域，司法上也急需照相设备认定技术为解决司法难题提供有力的技术支撑。现有技术数字图片认定并没有建立系统的认定框架，也没有成熟的理论基础，图片出处与窜改认定研发运用迫在眉睫。
二是在数字图片出处认定方面，现有技术基于图片特征的数字图片出处检测方法对具有相似传感器的照相设备存在严重的误判情况，数字图片出处认定效果差，正确率低；在数字图片窜改认定方面，现有技术的基于复制粘贴、双重jpeg压缩和重采样的窜改认定方法都有各自的明显不足之处，图片窜改认定成功率低，存在很大的局限性，很多场景不能适用，几乎没有实用价值。
三是现有技术的一些方法仅限于区分图片是来源于计算机、还是照相设备或扫描仪，局限性很大。现有技术还有利用盲反卷积技术模拟图片成像过程,得到图片成像过程中的滤波操作，但该方法对有相似成像传感器的相同型号的不同照相设备的检测效果并不理想，得到的结果可信度相对较低，不能够在各种类型的图片认定中均保持较高的正确率，使得在司法运用等一些领域无法推广运用。
四是现有技术运用图片的颜色、质量和小波域等多维统计特征认定不同的照相设备照片的方法，当参考照相设备数量继续上升时，认定准确率快速下降，参考照相设备数量较多时该方法没有利用价值。现有技术也有利用数字照相设备特有的镜头指纹，即照相设备的镜头径向失真，估算不同照相设备的径向失真，并将估算得到的失真参数作为特征矢量判断数字图片出处。但该方法无法识别不具有直线边缘的图片，同时该方法对压缩图的认定率不高。检测结果误差大，不能够适应各种环境条件下的图片认定。
技术实现要素：
针对现有技术的不足，本发明提供的基于模式噪声的图片出处与窜改认定方法，在数字图片出处认定方面，基于图片模式噪声的主要分量光子响应非均匀性噪声的唯一特征，可作为图片源检测的依据，本发明提出了基于模式噪声关联性的图片出处认定算法，首先对参考图片集进行降噪处理，得到噪声残差图片，再计算多幅残差噪声图片的均值获取样本模式噪声，最后求其与待测图片非均匀性光响应噪声的关联度，并依据临界值判定出处，正确率达到95％以上。在数字图片窜改认定方面，首先从样本照相设备未伪造图片中估算非均匀性光响应噪声的值，然后提取局部图片区域的非均匀性光响应噪声，最后对两者进行关联性检测，根据临界值判断是否被窜改，正确率达到92％以上。本发明的图片窜改算法可依据图片本身进行图片窜改检测，及时遏制造假图片的恶意传播，减小甚至消除其造成的不良影响，保障司法执法的公正，肃清科研学术造假之风等，促进整个社会的积极向上健康发展。
为达到以上技术效果，本发明所采用的技术方案如下：
基于模式噪声的图片出处与窜改认定方法，包括基于模式噪声关联性的图片出处认定方法和基于模式噪声关联性的图片窜改认定方法；
基于模式噪声关联性的图片出处认定方法流程图包括，一是收集参考照相设备图片集和待测图片集，通过降噪算法处理后分别提取得到参考模式噪声和待测模式噪声，然后计算两者的关联度，并将关联度值转换为峰值关联能量比值，最后与实验临界值相比较，如果峰值关联能量比值大于等于检测临界值，则表明待测图片来自参考照相设备，如果峰值关联能量比值小于检测临界值，则表明待测图片不是来自参考照相设备；基于模式噪声关联性的图片出处认定方法主要包括三个环节，分别是：出处模式噪声提取、出处关联性计算、临界值训练判别；
基于模式噪声关联性的图片窜改认定方法主要包括二步：一是从无窜改图片中估算非均匀性光响应噪声的值；二是局部图片区域的非均匀性光响应噪声的检测，局部图片区域为一个完整图片的各个小块；通过拍摄图片的照相设备或其它由照相设备拍摄的非窜改图片，先估算照相设备的非均匀性光响应噪声，作为照相设备的认定水印；然后提取各个图片块检测非均匀性光响应噪声，通过检测窜改部分残差噪声与模式噪声相似部分的一致性识别认定图片中的窜改区域。
基于模式噪声的图片出处与窜改认定方法，进一步的，出处模式噪声提取中，利用低通滤波器分离模式噪声与随机噪声，设照相设备的实际生成图片为s，经过低通滤波去噪处理后的图片为s0，对于任意的图片s，将s与s0相减便得到噪声残余图片c，如式1、式2，b表示去噪函数：
s0＝b(s)式1
c＝s-s0式2
照相设备中有以下传感器输出形式，所有矩阵操作都是对应元素相乘：
s＝s+s0p+θ式3
其中，p为非均匀性光响应噪声因子,即模式噪声，θ为所有随机噪声的集合，包括散粒、暗电流、量化及读出噪声，模式噪声p能从对应照相设备拍摄的m幅图片中估算出来，假设c1、c2,…,cm是这些图片经过去噪滤波器b后的残余噪声，即ci＝si-b(si),i＝1,2,…,m，根据最大似然估算，模式噪声p的推导公式为：
c作为待测图片s的噪声残留，p的检测问题归结为双向假设检测问题，其中，d0代表待测照相设备与参考照相设备不匹配的情况，d1代表待测照相设备与参考照相设备匹配的情况,p1、p2分别是参考模式噪声和待测模式噪声：
d0：p1≠p2式5
d1：p1＝p2式6
其中：
c＝sp2+θ2式8
是观测值，模式噪声
基于模式噪声的图片出处与窜改认定方法，进一步的，提取参考模式噪声中，以m幅图片si(i＝1,2,…,m)，提取参考模式噪声的步骤具体为：
第一步，收集参考图片集si：收集任意参考照相设备的至少100幅图片，并作为参考图片集；
第二步，低通滤波：本发明用基于多贝西小波的低通滤波器对图片进行滤波，对任一幅需要滤波的图片si，先将图片的三个颜色通道分离，然后镜像填充每一个颜色通道，将图片的行列大小都填充到2j，j是小波分解级数，然后将每一个颜色通道的图片小波分解，再对分解之后的图片分别提取垂直噪声、水平噪声、对角线噪声，最后将各通道图片进行小波重构，获取低通滤波之后的图片为si′；
第三步，获取噪声残余图片：运用式2得到噪声残余图片ci；
第四步，提取参考模式噪声：对噪声残差图片求平均，采用式4估算出非均匀性光响应噪声因子p，并去除模式噪声中的线性结构阵列，得到参考模式噪声。
基于模式噪声的图片出处与窜改认定方法，进一步的，出处关联性计算中，计算参考模式噪声和待测模式噪声的关联性，根据广义似然比检验，归一化的最大关联系数u的较好估算值为：
b＝(nb-n+1)(mb-m+1)式10
如果待测图片尺寸与参考图片尺寸不，则在计算关联系数u之前，将图片的不足部分补零以匹配i和j的大小，b与l都为位移量，位移b+k1与l+k2就是为了匹配n和m的大小；
本发明用pce峰值关联能量比值表示信号的关联性，作为度量照片是否匹配的标准；
假设关联系数u取最大值时，峰值坐标为kp＝[k1,k2]，峰值关联能量比值为：
峰值关联能量比值用作度量峰值高度，i·j(kp)是循环移动位移k后的点积，n是峰值附近的小邻域块；运用式11计算参考图片与待测图片的关联性，并将峰值关联能量比值pce与判别临界值a比较，依此判定待测图片出处。
基于模式噪声的图片出处与窜改认定方法，进一步的，临界值训练判别中，识别数字图片出处时，采用计算关联度的方法，识别图片出处变成一个数值分类问题；
如果图片x确实由照相设备y拍摄，但却被判定为由除x外的其它照相设备拍摄，这种情况判定为成为错误驳斥，如果图片x不是由照相设备y拍摄，却被判定为由照相设备y拍摄，这种情况为错误批准；本发明把错误驳斥概率记为错误驳斥率,把错误接受概率记为错误批准率，错误驳斥率从实验中获取，与图片质量、内容、估算非均匀性光响应噪声因子时所用图片的数量及照相设备传感器的物理参数有关；错误批准率ca、错误驳斥率cr都是决定判别临界值a的参数，根据奈曼皮尔森假设，错误批准率ca决定判别临界值a的大小，判别临界值a与错误批准率cr是函数关系，给定错误批准率一个界限，计算判别临界值a，并将错误驳斥率cr最小化。
本发明通过计算峰值关联能量比值的判别临界值a，得到：
其中，g(x)表示累积分布函数，且对于任意给定的ca≤d，有：
将由式11估算得的峰值关联能量比值与判别临界值a进行比较，并根据如下判断来决定待测图片是否出处于参考照相设备：
基于模式噪声的图片出处与窜改认定方法，进一步的，提取参考模式噪声是检测图片窜改的第一步：即从参考照相设备拍摄的m幅图片中获取模式噪声，通过原图s减去低通滤波后的图片
其中，ξ包含了噪声集合θ和去噪滤波器引入的额外失真。
设s1,s2,…,sm是数字照相设备拍摄的m幅无窜改图片，在图片相对光滑且非饱和情况下，式14是近似正确的，且对于任意p∈{1，2，...，m}，
b表示去噪函数，通过计算多幅噪声残差图片的平均值获取模式噪声，
假设对每一个像素点来说ξ1[i]，ξ2[i]，...，ξm[i]都是高斯白噪声序列，根据最大似然估算模式噪声的值可表述为：
其中，h是乘法常量。
基于模式噪声的图片出处与窜改认定方法，进一步的，窜改认定噪声提取在提取图片块模式噪声时，采用二进制假说检测算法判断任一小图片区域g中是否存在非均匀性光响应噪声：
d0：c[i]＝ξ[i]式17
其中，d0表示图片质地光滑的情况,d1表示图片质地粗糙的情况，g是描述图片块特征的指数集合，在式17和式18中，假设待测图片块ξ是具有未知均值和方差的高斯白噪声信号，a是未知的衰减因子，
式17和式18的最佳检测值是归一化关联度u：
式19中的所有信号值都出处于图片块g；
通过计算待测图片块与参考模式噪声的关联度，得到d0假设下测试数据关联度u的分布；训练测试数据u的关联性预测模块，预测模块与影响关联度的因素是函数关系，关联性预测模块从同一照相设备的无窜改图片块中获取，反映图片块未被伪造时关联度u的分布情况。
基于模式噪声的图片出处与窜改认定方法，进一步的，窜改关联性检测中，在d1条件下，在小图片块上训练关联度u的关联性预测模块，影响图片关联性的最大因素是图片强度、图片纹理和信号平坦度，关联性预测模块是关联系数u的估算值，取值范围为[0,1]。
基于模式噪声的图片出处与窜改认定方法，进一步的，基于模式噪声关联性的图片窜改认定方法的实现流程为：首先在一幅图片上滑行128*128的图片块，计算每一个图片块g的检测数据即关联度ug，通过计算图片块模式噪声与参考模式噪声的关联度估算d0条件下关联度ug的概率密度函数p(x|d0)，其中p(x|d0)被标准化为广义高斯信号，d1条件下每一个图片块的概率密度函数p(x|d1)均通过关联性预测模块得到，也均被标准化为广义高斯信号；
对于任意子图片区域，在满足错误接受率ca是d的条件下，如果某子图片区域g的关联值ug低于临界值td，就判断此子图片区域被伪造，并依次判断图片块g的中央像素i，其中，临界值td由
求矩阵t时，采用式27估算每个图片块的关联度值u，图片块的中心像素为i，
从数组t中去除伪造像素i；为从数组t中删除所有单连通区域，对可识别窜改区域的尺寸上加入一个下界，这些区域需包含不多于64×64像素；本发明给二进制数组t增加一个20×20的正方形中心；
基于模式噪声关联性的图片窜改认定方法，在依据模式噪声检测图片出处的基础上，通过判断一幅完整图片任意图片块非均匀性光响应噪声的缺失来检测窜改情况。
与现有技术相比，本发明的优点和创新点在于：
一是本发明提供的基于模式噪声的图片出处与窜改认定方法，在数字图片出处认定方面，由于现有技术基于图片特征的数字图片出处检测方法对具有相似传感器的照相设备存在严重的误判情况，基于图片模式噪声的主要分量光子响应非均匀性噪声的唯一特征，可作为图片源检测的依据，本发明提出了基于模式噪声关联性的图片出处认定算法，首先对参考图片集进行降噪处理，得到噪声残差图片，再计算多幅残差噪声图片的均值获取样本模式噪声，最后求其与待测图片非均匀性光响应噪声的关联度，并依据临界值判定出处，通过实验得出，该方法数字图片出处认定效果很好，正确率达到95％以上。
二是本发明提供的基于模式噪声的图片出处与窜改认定方法，在数字图片窜改认定方面，由于现有技术的基于复制粘贴、双重jpeg压缩和重采样的窜改认定方法都有各自的不足之处，依据非均匀性光响应噪声在图片分布上的关联性，可通过检测图片小块区域非均匀性光响应噪声的缺失来判断窜改，本发明提出了基于模式噪声的图片窜改认定方法，首先从样本照相设备未伪造图片中估算非均匀性光响应噪声的值，然后提取局部图片区域的非均匀性光响应噪声，最后对两者进行关联性检测，根据临界值判断是否被窜改，通过实验得出，本发明检测窜改方案具有较好的识别结果，正确率达到92％以上。
三是本发明提供的基于模式噪声的图片出处与窜改认定方法，解决了现有技术检测窜改图片方法，针对一幅图片的一部分被剪切复制到同幅图片的其它部分的情况检测效果会受到限制，用基于检测窜改痕迹和人工插件中的颜色滤波阵列的方法检测jpeg格式储存的图片时，检测结果有很大误差的问题。解决了现有技术中基于检测光照不一致性的算法，先假设初始图片和窜改图片有相似的传感器表层，但是当物体没有一个兼容的表层，或初始图片与窜改部分在相似的光照条件，没有直接的光照源的阴天拍摄得到的时，该方法失效的问题，本发明的方法即使是同一幅图片内的剪切复制也能轻松检测出来，检测结果误差小，能够适应各种环境条件下的图片认定，应用范围很广。
四是本发明提供的基于模式噪声的图片出处与窜改认定方法，对有相似成像传感器的相同型号的不同照相设备的检测效果比较理想，图片出处与窜改认定理论基础牢固，得到的结果可信度较高，当参考照相设备数量上升时，认定准确率不会下降，在参考照相设备数量较多时方法利用价值更高，能够识别不具有直线边缘的图片，对压缩图的认定率较高，能够在各种类型的图片认定中均保持较高的正确率。
五是本发明提供的基于模式噪声的图片出处与窜改认定方法，数字图片认定建立了系统的认定框架，有较成熟的理论基础，图片出处与窜改认定正确率高。有效解决了当前社会数字照相设备的普及使图片窜改造假现象越来越普遍，眼见不再为实的认知增加了民众恐慌的问题，本发明的图片出处认定与图片窜改认定方法高效可靠，本发明的图片认定主要应用于防伪与窜改的检测，在数字图片被动取证中，通过利用模式噪声检测图片源照相设备的方法实现防伪；本发明的图片窜改算法可依据图片本身进行图片窜改检测，及时遏制造假图片的恶意传播，减小甚至消除其造成的不良影响，保障司法执法的公正，肃清科研学术造假之风等，促进整个社会的积极向上健康发展。
附图表明
图1是本发明基于模式噪声关联性的图片出处认定方法的流程图。
图2是本发明提取参考模式噪声的流程图。
图3是本发明提取参考模式噪声步骤示意图。
图4是本发明基于模式噪声关联性的图片窜改认定方法的流程图。
具体实施方式
下面结合附图，对本发明提供的基于模式噪声的图片出处与窜改认定方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。
基于模式噪声的图片出处与窜改认定方法，包括基于模式噪声关联性的图片出处认定方法和基于模式噪声关联性的图片窜改认定方法；
基于模式噪声关联性的图片出处认定方法流程图包括，一是收集参考照相设备图片集和待测图片集，通过降噪算法处理后分别提取得到参考模式噪声和待测模式噪声，然后计算两者的关联度，并将关联度值转换为峰值关联能量比值，最后与实验临界值相比较，如果峰值关联能量比值大于等于检测临界值，则表明待测图片来自参考照相设备，如果峰值关联能量比值小于检测临界值，则表明待测图片不是来自参考照相设备；基于模式噪声关联性的图片出处认定方法主要包括三个环节，分别是：出处模式噪声提取、出处关联性计算、临界值训练判别；
基于模式噪声关联性的图片窜改认定方法主要包括二步：一是从无窜改图片中估算非均匀性光响应噪声的值；二是局部图片区域的非均匀性光响应噪声的检测，局部图片区域为一个完整图片的各个小块；通过拍摄图片的照相设备或其它由照相设备拍摄的非窜改图片，先估算照相设备的非均匀性光响应噪声，作为照相设备的认定水印；然后提取各个图片块检测非均匀性光响应噪声，通过检测窜改部分残差噪声与模式噪声相似部分的一致性识别认定图片中的窜改区域。
一、模式噪声
数字照相设备的成像传感器在把收集的光子信号转换成电信号，再转换为数字信号的过程中，将引入许多影响因素，会带来像素值强度的差异，这种差异主要是由随机噪声与传感器产生的模式噪声引起的。
生成一幅数字图片需要多个处理过程的合作，而且在每个过程中，照相设备自身硬件及软件具有的缺陷，会在最终得到的数字图片中引入大量噪声，这些噪声主要由随机噪声与系统噪声组成，系统噪声主要为传感器模式噪声，由于随机噪声很不稳定，强度因照相设备而异，所以它的稳定特征很难提取，无法作为图片出处认定依据。不同的照相设备传感器在图片中引入的模式噪声也会有差异，当用同一照相设备拍摄不同场景的多幅图片时，这些图片会具有相似的模式噪声分布，因此能够把该噪声当作模式噪声应用在图片出处认定中。
由照相设备成像机理，模式噪声作为较高频率的噪声主要存在于图片传感器中，模式噪声主要包括光子响应非均匀性噪声和固定模式噪声。非均匀像素噪声是一种加性噪声，是传感器在特定情况下产生的弱电流信号，它的能量值特别小，一般会与图片中的其它加性噪声混合，不易检测和提取。非均匀性光响应噪声是根据信号强度而改变的乘性噪声，属于模式噪声的主要分量，它由像素非均匀性噪声与低频缺陷构成，低频缺陷是自然光照射在空气中漂浮的尘埃表面发生折射的现象，一般不稳定，不能代表传感器的特有特征。像素非均匀性噪声是非均匀性光响应噪声的主要分量，对光照的敏感度不同，很少因场景的温度和湿度变化而出现变动，属于噪声所有频段的较高频率部分，在照相设备的整个生命周期中较稳定，它与照相设备的关系，正如人的指纹对于人本身。通过平均多幅图片能高效的削弱随机噪声，而模式噪声是一种确定性的固有噪声，在相同场景的多幅图片中的分布相似。
综合以上对非均匀性光响应噪声的分析可知，非均匀性光响应噪声对每个传感器都是唯一的，不易被更改，利用这种模式噪声可唯一识别图片传感器，因此可作为照相设备源认定的依据，本发明的模式噪声即指非均匀性光响应噪声。
二、基于模式噪声关联性的图片出处认定方法
图片的模式噪声具有唯一性，由于图片特征不能作为照相设备源检测依据，鉴于模式噪声是不变的，本发明提出基于模式噪声的图片出处认定方法，不仅能高效识别不同品牌的照相设备，而且也能高效区分相同品牌的照相设备。
非均匀性光响应噪声作为模式噪声识别数字图片出处，本发明运用关联性检测算法认定照相设备源，算法流程图如图1。
由算法流程图可知，一是收集参考照相设备图片集和待测图片集，通过降噪算法处理后分别提取得到参考模式噪声和待测模式噪声，然后计算两者的关联度，并将关联度值转换为峰值关联能量比值，最后与实验临界值相比较，如果峰值关联能量比值大于等于检测临界值，则表明待测图片来自参考照相设备，如果峰值关联能量比值小于检测临界值，则表明待测图片不是来自参考照相设备，基于模式噪声关联性的图片出处认定方法主要包括三个环节，分别是：出处模式噪声提取、关联性计算、临界值训练判别。
(一)出处模式噪声提取
照相设备模式噪声属高频分量，随机噪声属低频分量，因此利用低通滤波器分离模式噪声与随机噪声。设照相设备的实际生成图片为s，经过低通滤波去噪处理后的图片为s0，对于任意的图片s，将s与s0相减便得到噪声残余图片c，如式1、式2，b表示去噪函数：
s0＝b(s)式1
c＝s-s0式2
式2通过计算多幅噪声残余图片的平均值获取模式噪声有三大优势：一是不需要得到参考照相设备，只需得到照相设备拍摄的图片；二是鉴于低通滤波器只允许低频通过的特征，通过式1就可以抑制点非均匀性光响应噪声的低频缺陷；三是几乎适用所有照相设备的图片。虽然每幅图片中的随机噪声都不同，但可以通过计算多幅图片均值的方法去除，图片数达到极限值时，估算值便趋于实际值，实施例中取图片数大于60。
照相设备中有以下传感器输出形式，所有矩阵操作都是对应元素相乘：
s＝s+s0p+θ式3
其中，p为非均匀性光响应噪声因子,即模式噪声，θ为所有随机噪声的集合，包括散粒、暗电流、量化及读出噪声，模式噪声p能从对应照相设备拍摄的m幅图片中估算出来，假设c1、c2,…,cm是这些图片经过去噪滤波器b后的残余噪声，即ci＝si-b(si),i＝1,2,…,m，根据最大似然估算，模式噪声p的推导公式为：
c作为待测图片s的噪声残留，p的检测问题归结为双向假设检测问题，其中，d0代表待测照相设备与参考照相设备不匹配的情况，d1代表待测照相设备与参考照相设备匹配的情况,p1、p2分别是参考模式噪声和待测模式噪声：
d0：p1≠p2式5
d1：p1＝p2式6
其中：
c＝sp2+θ2式8
是观测值，模式噪声
(1)提取参考模式噪声
提取参考模式噪声的流程图如图2，以m幅图片si(i＝1,2,…,m)，提取参考模式噪声的步骤具体为：
第一步，收集参考图片集si：收集任意参考照相设备的至少100幅图片，并作为参考图片集；
第二步，低通滤波：本发明用基于多贝西小波的低通滤波器对图片进行滤波，对任一幅需要滤波的图片si，先将图片的三个颜色通道分离，然后镜像填充每一个颜色通道，将图片的行列大小都填充到2j，j是小波分解级数，本发明实施例定位4级，然后将每一个颜色通道的图片小波分解，再对分解之后的图片分别提取垂直噪声、水平噪声、对角线噪声，最后将各通道图片进行小波重构，获取低通滤波之后的图片为si′；
第三步，获取噪声残余图片：运用式2得到噪声残余图片ci；
第四步，提取参考模式噪声：对噪声残差图片求平均，采用式4估算出非均匀性光响应噪声因子p，并去除模式噪声中的线性结构阵列，得到参考模式噪声。
模式噪声提取的示例如图3，平均多幅残差图片可最大程度上减小误差，参考图片集中图片数越多，则得到的模式噪声就会越精准。
(2)提取待测模式噪声
提取待测模式噪声的步骤与提取参考模式噪声的步骤基本一致，由于都是单幅图片，没有平均噪声残差噪声这一步，初始待测图片与去噪后的图片之差便是待测模式噪声。
(二)出处关联性计算
模式噪声提取之后，计算参考模式噪声和待测模式噪声的关联性，根据广义似然比检验，归一化的最大关联系数u的较好估算值为：
b＝(nb-n+1)(mb-m+1)式10
如果待测图片尺寸与参考图片尺寸不，则在计算关联系数u之前，将图片的不足部分补零以匹配i和j的大小，b与l都为位移量，位移b+k1与l+k2就是为了匹配n和m的大小。
本发明用pce峰值关联能量比值表示信号的关联性，峰值关联能量比值不受图片尺寸的影响，比关联度u更加稳定，本发明以峰值关联能量比值作为度量照片是否匹配的标准。
假设关联系数u取最大值时，峰值坐标为kp＝[k1,k2]，峰值关联能量比值为：
峰值关联能量比值用作度量峰值高度，i·j(kp)是循环移动位移k后的点积，n是峰值附近的小邻域块，在式11中，关联系数u可被点积代替，如果已知图片没有被剪切过，就没有必要寻找峰值，这时式11中的b＝1。
本发明运用式11计算参考图片与待测图片的关联性，并将峰值关联能量比值pce与判别临界值a比较，依此判定待测图片出处。
(三)临界值训练判别
识别数字图片出处时，本发明采用计算关联度的方法，由于关联度峰值关联能量比值是一个数值，因而识别图片出处变成一个数值分类问题。如果图片x确实由照相设备y拍摄，但却被判定为由除x外的其它照相设备拍摄，这种情况判定为成为错误驳斥，如果图片x不是由照相设备y拍摄，却被判定为由照相设备y拍摄，这种情况为错误批准；本发明把错误驳斥概率记为错误驳斥率,把错误接受概率记为错误批准率，错误驳斥率从实验中获取，主要与图片质量、内容、估算非均匀性光响应噪声因子时所用图片的数量及照相设备传感器的物理参数有关。错误批准率ca、错误驳斥率cr都是决定判别临界值a的参数，根据奈曼皮尔森假设，错误批准率ca决定判别临界值a的大小，判别临界值a与错误批准率cr是函数关系，给定错误批准率一个界限，计算判别临界值a，并将错误驳斥率cr最小化。
本发明通过计算峰值关联能量比值的判别临界值a，得到：
其中，g(x)表示累积分布函数，且对于任意给定的ca≤d，有：
将由式11估算得的峰值关联能量比值与判别临界值a进行比较，并根据如下判断来决定待测图片是否出处于参考照相设备：
为了更准确的区分图片出处，提取更可靠的特征，本发明提出了基于模式噪声关联性的图片出处认定算法，详细介绍了算法流程、模式噪声提取方法、检测临界值的判定，为提出基于模式噪声关联性的窜改图片检测奠定了基础。
三、基于模式噪声关联性的图片窜改认定方法
照相设备传感器的模式噪声可充当模式噪声检测图片出处，该非均匀性光响应噪声对每台照相设备来说都是唯一的，而且相同照相设备拍摄的图片之间的非均匀性光响应噪声有很大的关联性，因而可通过检测图片的小块区域非均匀性光响应噪声的缺失证实数字图片被窜改。
现有技术中提出的检测窜改图片方法，针对一幅图片的一部分被剪切复制到同幅图片的其它部分的情况检测效果会受到限制，用基于检测窜改痕迹和人工插件中的颜色滤波阵列的方法检测jpeg格式储存的图片时，检测结果有很大误差。现有技术中基于检测光照不一致性的算法，先假设初始图片和窜改图片有相似的传感器表层，但是当物体没有一个兼容的表层，或初始图片与窜改部分在相似的光照条件，没有直接的光照源的阴天拍摄得到的时，该方法失效，应用范围很窄。
由于现有技术没有普遍适用的方法，数字图片窜改检测问题越来越受到关注，本发明提出基于模式噪声关联性的图片窜改认定方法，检测方法主要包括二步：一是从无窜改图片中估算非均匀性光响应噪声的值；二是局部图片区域的非均匀性光响应噪声的检测，局部图片区域为一个完整图片的各个小块；如果有拍摄图片的照相设备或其它由照相设备拍摄的非窜改图片，就可以先估算照相设备的非均匀性光响应噪声，作为照相设备的认定水印；然后提取各个图片块检测非均匀性光响应噪声，通过检测窜改部分残差噪声与模式噪声相似部分的一致性识别认定图片中的窜改区域。
(一)图片窜改认定方法流程
由于非均匀性光响应噪声可作为模式噪声识别数字图片出处，因而本发明运用基于模式噪声关联性的图片窜改检测认定方法，整体流程图如图4所示：
基于模式噪声关联性的图片窜改认定方法先利用降噪算法提取参考模式噪声和待测图片块的图像指纹，求出二者的关联度，并与实验临界值相比较，如果关联度值高于临界值，则表明图片不是初始图片，即被窜改，反之是初始图片未被窜改。
实施例中大量实验表明，当图片块大小尺寸为128*128时，正确识别率高且算法计算量相对较小。
(二)窜改认定噪声提取
(1)提取参考模式噪声
提取参考模式噪声是检测图片窜改的第一步：即从参考照相设备拍摄的m幅图片中获取模式噪声，通过原图s减去低通滤波后的图片
其中，ξ包含了噪声集合θ和去噪滤波器引入的额外失真。
设s1,s2,…,sm是数字照相设备拍摄的m幅无窜改图片，在图片相对光滑且非饱和情况下，式14是近似正确的，且对于任意p∈{1，2，...，m}，
b表示去噪函数，通过计算多幅噪声残差图片的平均值获取模式噪声，虽然每幅图片中的随机噪声都不同，但是通过计算多幅图片均值的方法去除，当图片数达到极限值时，估算值便趋于实际值，实施例中取图片数大于60。
假设对每一个像素点来说ξ1[i]，ξ2[i]，...，ξm[i]都是高斯白噪声序列，根据最大似然估算模式噪声的值可表述为：
其中，h是乘法常量，实施例中h≈1/2.2。
(2)提取图片块模式噪声
若伪造图片经历过压缩、剪切等已知几何处理操作处理，在运用本发明图片窜改检测方法之前，需要将模式噪声也经过相同的几何处理。本发明采用二进制假说检测算法判断任一小图片区域g中是否存在非均匀性光响应噪声：
d0：c[i]＝ξ[i]式17
其中，d0表示图片质地光滑的情况,d1表示图片质地粗糙的情况，g是描述图片块特征的指数集合。在式15和式16中，假设待测图片块ξ是具有未知均值和方差的高斯白噪声信号，a是未知的衰减因子，图片经历过的滤波、增强或有损压缩进一步的处理过程都会引起衰减。
式15和式16的最佳检测值是归一化关联度u：
式19中的所有信号值都出处于图片块g。
通过计算待测图片块与参考模式噪声的关联度，得到d0假设下测试数据关联度u的分布。在空间一致且光滑的图片块中，式16能够准确计算，而在质地粗糙的图片块中，ξ不固定且没有依赖性，去噪滤波器难以分离这种图片块的图片和噪声，这会导致衰减因子不是常数，因而d1条件下关联度u的分布不易获取。为了估算图片块在d1假设下关联度u的分布，本发明训练测试数据u的关联性预测模块，预测模块与影响关联度的因素是函数关系，关联性预测模块从同一照相设备的无窜改图片块中获取，反映图片块未被伪造时关联度u的分布情况。
(三)窜改关联性检测
d1条件下，在小图片块上训练关联度u的关联性预测模块，从大量实验数据中得知，影响图片关联性的最大因素是图片强度、图片纹理和信号平坦度。关联性预测模块是关联系数u的估算值，取值范围为[0,1]。为使算法有更好的定位性能，图片块的尺寸不宜太大，但也不能太小，否则关联度会有太大的变动，通过对比发现，对于像素在100万及以上的图片，当图片块的尺寸是128*128的正方形时，算法性能最佳。
(1)图片强度
图片强度越大的图片块区域，关联度值也会相应越高，这是因为在这些区域模式噪声是加倍的。但由于有限的动态范围，关联度在饱和区域并未体现，而且在像素点的值小于255的区域会被减弱，这些区域图片强度值一般在235至250范围内。本发明定义强度特征rs为平均衰减图片强度：
其中，att(i)是衰减函数，
q是常量，实施例中设定scrit＝246，q＝6。
(2)图片纹理
从图片的高频部分预测图片纹理特征rt，利用基于小波的去噪滤波器，将滤波前后的图片相减，便可以得到高通滤波后的图片b,并把b作为二个高频小波波段的逆小波变换，图片质地特征由式22计算得到：
其中，var5(b[i])是图片b在像素i附近5*5区域的变量，rt的倒数取值范围为[0,1]。
(3)图片平坦度
图片处理中如jpeg压缩等操作，会一定程度上减弱模式噪声，进而进一步减弱关联度。在一个相对平坦且具有高强度的不饱和图片块区域，关联度预测模块会错误的得到一个相对较高的关联度，这些平坦区域将会有一个较低的方差值。因此本发明用平坦特征rs表示在小图片块中像素平均方差比一个特定临界值高的比率：
其中，m和n是根据照相设备的噪声系数p选定的变量，实施例中m＝0.03，n＝0.1。
关联度值也受图片质地和图片强度的共同影响，图片的高质地区域同时也是高强度区域，用式24计算图片的质地--强度特征rts：
本发明采用多元多项式最小二乘法公式，u[p]表示式19中第p个图片块的归一化关联度，以及rsrtrsrts对应的p维特征向量：
u[p]＝r0+rlrs[p]+r2rt[p]+r3rk[p]+r4rts[p]+y4rsrs[p]+y5rsrt[p]+...式25
其中，r＝(r0,r1,…,r15)是用在最小二乘估算r＝(dtd)-1dtu中的15个系数变量，d是一个第一列全1的p行15列的特征矩阵，关联度的估算值为：
从一幅图片中能提取大量的重叠图片块，所以不需要用大量的图片来训练关联性预测模块。如果待检测的图片是jpeg压缩图，在有近似相同压缩因子的jpeg图片上训练预测模块，获取更精确的伪造认定临界值，因而会取得更好的检测结果。
(四)图片窜改认定方法的实现
图片窜改认定方法流程如图4所示，首先在一幅图片上滑行128*128的图片块，计算每一个图片块g的检测数据即关联度ug，通过计算图片块模式噪声与参考模式噪声的关联度估算d0条件下关联度ug的概率密度函数p(x|d0)，其中p(x|d0)被标准化为广义高斯信号，d1条件下每一个图片块的概率密度函数p(x|d1)均通过关联性预测模块得到，也均被标准化为广义高斯信号。
对于任意子图片区域，在满足错误接受率ca是d的条件下，如果某子图片区域g的关联值ug低于临界值td，就判断此子图片区域被伪造，并依次判断图片块g的中央像素i，其中，临界值td由
求矩阵t时，采用式27来估算每个图片块的关联度值u，图片块的中心像素为i，
为防止错误的将未伪造像素判定为伪造像素，本发明从数组t中去除伪造像素i；为从数组t中删除所有单连通区域，本发明算法对可识别窜改区域的尺寸上加入一个下界，这些区域需包含不多于64×64像素；为解决只关注中心像素而可能错过边界区域窜改的情况，本发明给二进制数组t增加一个20×20的正方形中心。
基于模式噪声关联性的图片窜改认定方法，在依据模式噪声检测图片出处的基础上，通过判断一幅完整图片任意图片块非均匀性光响应噪声的缺失来检测窜改情况，根据最后的实验结果，本方法的方法认定伪造的正确率较高。
- 还没有人留言评论。精彩留言会获得点赞！