一种压缩图像源相机识别方法

本发明涉及图像取证的，尤其涉及到一种压缩图像源相机识别方法。

背景技术：

1、在信息时代，社交平台上人们分享图片的规模日益扩大，多媒体取证也逐渐被人们重视起来。其中，源相机识别能够准确确定一张图片的来源相机，能帮助调查人员验证图像的真实性、完整性和来源，为犯罪调查、知识产权纠纷和其他法律程序提供有力支持，因此源相机识别已成为数字取证领域不可或缺的工具，使法医学专家们能够在广阔的在网络中追踪共享图片的来源。图片在社交媒体传输中会经过压缩，甚至数次的压缩，因此确认压缩图片的来源是近年来多媒体信息安全取证的一个重要的研究课题。

2、现有的源相机识别方法大多基于图像采集硬件和图像处理软件在图像中留下固有的痕迹，包括错误像素信息-坏点，如：geradts z j,bijhold j,kieft m,et al.methodsfor identification of images acquired with digital cameras[c]//enablingtechnologies for law enforcement and security.spie,2001,4232:505-512(geradtsz j,bijhold j,kieft m.识别数码相机图像的方法[c]//执法和安全的赋能技术.spie,2001,4232:505-512),；颜色滤波阵列插值算法模糊效应,如swaminathan a,wu m,liu k jr.nonintrusive component forensics of visual sensors using output images[j].ieee transactions on information forensics and security,2007,2(1):91-106.(swaminathan a,wu m,liu k j r.利用输出图像对视觉传感器进行非侵入式组件取证[j].ieee transactions on information forensics and security,2007,2(1)：91-106.)；jpeg压缩算法方块效应，如alles e j,geradts z j m h,veenman c j.sourcecamera identifi cation for heavily jpeg compressed low resolution stillimages[j].journal of forensic sciences,2009,54(3):628-638.(alles e j,geradtsz j m h,veenman c j.大量jpeg压缩的低分辨率静态图像的源相机识别[j].journal offorensic sciences,2009,54(3)：628-638.)；镜头畸变，如san choi k,lam e y,wong k ky.source camera identification using footprints from lens aberration[c]//digital photography ii.spie,2006,6069:172-179.(san choi k,lam e y,wong k k y.利用镜头像差的脚印识别源相机[c]//数码摄影ii.spie,2006,6069:172-179.)；镜头镜像失真导致的图片统计特性改变，如：dirik a e,sencar h t,memon n.digital singlelens reflex camera identification from traces of sensor dust[j].ieeetransactions on information forensics and security,2008,3(3):539-552.(dirikae,sencar ht,memon n.从传感器灰尘痕迹中识别数字单镜头反光相机[j].ieee信息取证与安全汇刊，2008年，3(3)：539-552)；成像传感器的模式噪声，如lukas j,fridrich j,goljan m.digital camera identification from sensor pattern noise[j].ieeetransactions on information forensics&security,2006,1(2):205-214.

3、(lukas j,fridrich j,goljan m.从传感器模式噪声识别数码相机[j].ieeetransactions on information forensics&security,2006,1(2)：205-214.)等等。

4、一个有效的数字图像图像来源检测算法必须具备强大的鲁棒性和高度的检测率。cfa插值特征、传感器尘埃等，存在不稳定的因素，有必要研究一种稳定的特征进行识别，随着一些学者深入研究，提出了一种基于传感器模式噪声的数字图像图像来源检测方法。该方法利用传感器模式噪声作为相机的唯一指纹，能够在各种情况下实现准确的来源检测。

5、传感器作为相机的成像的关键一环，由于制作材料和生产工艺的缺陷，会产生一些特殊的噪声和伪影。即使是同一型号的相机，其产生的噪声伪影也会有所不同。这种独特的噪声伪影被称为传感器模式噪声，因此是识别相机的有效指纹。传感器模式噪声的主要成分是光响应非均匀性噪声，也被称为传感器模式。因此，传感器模式可以用作相机的指纹，用于对未知图像和图像进行来源检测。通过分析和提取传感器模式信息，我们可以确定图像或图像的源相机，这对于取证和鉴定的应用具有重要意义，为图像和图像的来源检测提供了有效的技术支持。

6、随着对基于传感器模式的源相机识别研究探索，一些学者提出一系列有效的传感器模式提取算法，如：[7]lukas j,fridrich j,goljan m.digital cameraidentification from sensor pattern noise[j].ieee transactions on informationforensics&security,2006,1(2):205-214.(lukas j,fridrich j,goljan m.digitalcamera identification from sensor pattern noise[j].信息取证与安全学报，2006,1(2):205-214)提出一个极大似然估计器(maximum likelihood estimation,mle)提取传感器模式的乘性因子，并提出使用零均值(zero mean,zm)操作和在fourier域使用维纳滤波器(wiener filter,wf)的增强算法来抑制cfa插值伪影等非传感器模式成分；如：x.kang,y.li,z.qu and j.huang,"enhancing source camera identification performancewith a camera reference phase sensor pattern noise,"in ieee transactions oninformation forensics and security,vol.7,no.2,pp.393-402,april 2012.(x.kang,y.li,z.qu and j.huang.“用相机参考相位传感器模式噪声增强源相机识别性能”，ieee信息取证与安全学报，第7卷，第7期。2，第393-402页，2012年4月),提出使用参考噪声的相位信息来构建指纹；如：x.lin and c.-t.li,"preprocessing reference sensor patternnoise via spectrum equalization,"in ieee transactions on informationforensics and security,vol.11,no.1,pp.126-140,jan.2016.(x.lin and c.-t.li,“通过频谱均衡预处理参考传感器模式噪声”，《ieee信息取证与安全学报》，第11卷，第11期。1,pp.126-140,2016年1月)，提出一种频谱幅度均衡的算法，修正局部不理想的频点；如：bhupendra g,mayank t.improving performance of source camera identification bysuppressing peaks and eliminating low-frequency defects of reference spn[j].ieee signal processing letters,2018,pp(9):1340-1343.(bhupendra g,mayank t.利用参考spn抑制峰值和消除低频缺陷提高源相机识别性能[j]。信号处理学报，2018,pp(9):1340-1343)，提出来一种在频谱均衡基础上加入离散余弦变换抑制低频噪声；再如：zengh,wan y,deng k,et al.source camera identification with dual-tree complexwavelet transform[j].ieee access,2020,8:18874-18883.(zeng h,wan y,deng k等。基于双树复小波变换的源相机识别[j]。电子工程学报，2020，(8):18874-18883)，提出一种基于双树复小波的空间自适应收缩算法来提取噪声，并提出一种边界对称扩展方法来减少边界效应；再如：taspinar s,mohanty m,memon n.camera fingerprint extraction viaspatial domain averaged frames[j].ieee transactions on information forensicsand security,2020,15:3270-3282.(taspinar s,mohanty m,memon n.基于空间域平均帧的相机指纹提取[j]。信息取证与安全学报，2020,15(5):370-3282)提出了一种空域平均帧的算法来提取相机指纹，能大幅加快算法运行速度；再如：su kaiqing,nili tian,andqing pan."multimedia source identification using an improved weight photoresponse non-uniformity noise extraction model in short compressed videos."forensic science international:digital investigation 42(2022):301473.(sukaiqing,nili tian,and qing pan.利用改进的加权光响应非均匀性噪声提取模型在短压缩图像中识别多媒体源国际法医科学:数字调查42(2022):301473)，提出了一种改进的双树复小波滤波模型以及加权最大似然估计的算法；再如timmerman d,bennabhaktula s,alegre e,et al.video camera identification from sensor pattern noise with aconstrained convnet[j].arxiv preprint arxiv:2012.06277,2020.(timmerman d,bennabhaktula s,alegre e,等。基于约束卷积神经网络的摄像机图像识别[j]。arxiv预印本:2012.06277,2020。)，提出使用约束神经网络来减小图像帧纹理干扰；再如：hui c,jiang f,liu s,et al.source camera identification with multiscale featurefusion network[c]//2022ieee international conference on multimedia and expo(icme).ieee,2022:1-6.(hui c,jiang f,liu s,等。基于多尺度特征融合网络的源相机识别[j]//2012ieee多媒体与信息技术大会(icme)。ieee,2022:1-6。)，提出多尺度融合网络来提取不同尺度的传感器模式信息，使得相机指纹含有更丰富的传感器模式信息。再如：hosseini,m.d.m.,goljan,m.,2019.camera identification from hdr images.in:proceedings of the acm workshop on information hiding and multimediasecurity,ih&mmsec 2019,paris,france,july 3-5,2019,pp.69-76.(hosseini,m.d.m.,goljan,m.从hdr图像识别相机。in:acm信息隐藏和多媒体安全研讨会论文集，ih&mmsec2019，法国巴黎，2019年7月3-5日，第69-76页。)，提出解决高动态范围图像识别的方法，使用重叠块与标准动态范围图片提取的相机指纹对应的相邻块进行匹配；再如：altinisike,sencar ht.source camera verification for strongly stabilized videos[j].ieeetransactions on information forensics and security,2020,16:643-657.(altinisike,sencar h t.强稳定图像源摄像机验证[j]。信息取证与安全，2020,16(6):643-657。)，提出使用三重网格搜索算法来解决稳定图像空间变换的反转，减小匹配的运算量。现有的大多数算法可以改善图像和图像中的传感器模式噪声质量，但是当涉及到经过严重压缩或多次压缩的图片在互联网上传播时，图像的原始信息被大幅破坏，传感器模式噪声信息也被大幅衰减。这导致现有的图像提取算法很难从压缩图像中提取出较完备的传感器模式噪声。

7、基于以上原因，为了能从压缩图片中提取更完备的传感器模式噪声，提高压缩图像的源相机识别性能，有必要针对压缩图像探索一种有效的源相机识别方法。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种压缩图像源相机识别方法，其能够从压缩图像中提取更完备的传感器模式噪声，有效改善压缩图像的识别效果，并且在较小分辨率的压缩图像识别中也具有较强的鲁棒性。

2、为实现上述目的，本发明所提供的技术方案为：

3、一种压缩图像源相机识别方法，包括：

4、求取多个参考压缩图像的噪声残差；

5、对多张参考压缩图像的噪声残差进行预处理，求取参考传感器模式噪声；

6、求取测试压缩图像的噪声残差；

7、对测试压缩图像的噪声残差进行预处理，求取测试传感器模式噪声；

8、使用峰值相关能量求取测试压缩图像的传感器模式噪声和参考压缩图像的传感器模式噪声的相关性，通过相关性判断测试压缩图像的拍摄来源。

9、进一步地，求取多个参考压缩图像的噪声残差和测试压缩图像的噪声残差，均包括：

10、对每张图像进行多个像素点对称边界拓展，再对拓展后的图像进行多层的双树复小波变换，得到对应的高频子带和低频子带；

11、应用维纳滤波器对所有的高频子带进行滤波估计，得到滤波后的高频子带；对滤波后的高频子带和低频子带进行双树复小波反变换，得到去噪的图像；使用去噪前后的图像相减得到每张图像的噪声残差。

12、进一步地，对多张参考压缩图像的噪声残差进行预处理，求取参考传感器模式噪声，包括：

13、对每个参考压缩图像的噪声残差进行零均值处理，去除cfa插值伪影；

14、对零均值处理后的参考压缩图像的噪声残差进行二维小波变换，得到三个高频分量和一个低频近似分量，将最高频的对角分量置零处理，并对高频分量和低频分量进行二维小波反变换；

15、对零均值和对角高频分量置零处理后的参考压缩图像的噪声残差进行傅里叶变换，把零频分量移至频谱中心，对频谱的幅度进行基于加性半二次的迭代最小二乘平滑，得到初步平滑的频域信号；

16、对基于加性半二次的迭代最小二乘平滑前后的频谱幅度相减，称这个差值为频谱残差，认为残差值仍含有部分的传感器模式信息，将频谱残差进行再次的迭代最小二乘处理；循环地将相邻平滑的两个频谱残差进行下一次的迭代最小二乘平滑，若干次循环后将各平滑的频谱叠加，并把零频分量移回零点，对频域信号进行傅里叶反变换得到预处理后的噪声；

17、对预处理后的n个噪声残差使用极大似然估计计算传感器模式的乘性因子，并与滤波后的图像相乘并取均值得参考传感器模式噪声。

18、进一步地，对测试压缩图像的噪声残差进行预处理，求取测试传感器模式噪声，包括：

19、对测试压缩图像的噪声残差进行零均值处理，去除cfa插值伪影；

20、对零均值处理后的测试压缩图像的噪声残差进行二维小波变换，得到三个高频分量和一个低频近似分量，将最高频的对角分量置零处理，并对高频分量和低频分量进行二维小波反变换；

21、对零均值和对角高频分量置零处理后的测试压缩图像的噪声残差进行傅里叶变换，把零频分量移至频谱中心，对频谱的幅度进行基于加性半二次的迭代最小二乘平滑，得到初步平滑的频域信号；

22、对基于加性半二次的迭代最小二乘平滑前后的频谱幅度相减，称这个差值为频谱残差，认为残差值仍含有部分的传感器模式信息，将频谱残差进行再次的迭代最小二乘处理；循环地将相邻平滑的两个频谱残差进行下一次的迭代最小二乘平滑，若干次循环后将各平滑的频谱叠加，并把零频分量移回零点，对频域信号进行傅里叶反变换得到预处理后的噪声，这个预处理后的噪声为测试压缩图像的传感器模式噪声。

23、进一步地，应用维纳滤波器对所有的高频子带进行滤波估计，包括：

24、对每个图像采用二叉树结构的两路滤波器组进行信号的分解和重构，第一棵树生成实部，第二棵生成虚部，每棵树的每一行构成的一维数据进行两次一维小波分解，得到三个高频分量和一个低频分量；再对分解形成的高低频分量的每一列构成的一维数据进行两次一维小波分解；每个高频子带又分成实部和虚部两个部分，每一层得到多个高频分量；

25、对每个高频子带进行维纳滤波处理，表示为：

26、

27、win表示为滤波前的小波系数，wout表示为滤波后的小波系数，子带局部方差估计

28、

29、wint(i,j)为以(i,j)为中心点，边长为h的正方形窗口；max()表示取表达式的最大值，min()函数表示表达式的最小值。

30、进一步地，对零均值处理后的参考压缩图像的噪声残差进行二维小波变换，得到信号的最高频分量同时也是对角高频分量d、垂直高频分量v、水平高频分量h以及低频分量a：

31、[d,v,h,a]＝dwt2(wzm)  (3)

32、对角高频分量置零，均用其余三个分量进行小波反变换重构信号，零均值和对角高频分量置零处理后的参考压缩图像的噪声残差

33、

34、进一步地，对零均值和对角高频分量置零处理后的参考压缩图像的噪声残差wzm-rd进行傅里叶变换，把对应的零频分量移至对应的频谱中心，得到噪声残差的频域信号

35、

36、其中，shift表示移动零频分量至频谱中心，abs表示取模表示傅里叶变换；对频域信号进行全局优化的平滑，

37、

38、其中，fs是零频分量移至中心的频谱信号的s位置的幅值，ls是平滑后的频谱信号s位置的幅值，λ是调整平滑强度参数，s表示为频谱点的位置，表示频谱点沿x轴或y轴的梯度。惩罚函数φw为：

39、

40、使用基于半二次最优化的迭代最小二乘法求解得到，

41、

42、并通过傅里叶变换来提高运算效率，

43、

44、表示的复共轭，是delta函数的傅里叶变换，且分子中使用进行简化；经m次迭代后得到平滑后的信号幅度lm，再把零频分量移回零点，并进行傅里叶反变换得到初步平滑的信号。

45、进一步地，求取参考传感器模式噪声的过程中，循环频谱回收算法表示为：

46、记录零均值和对角高频分量置零处理后的参考压缩图像的噪声残差wzm-rd的相位信息

47、

48、第j次频谱回收的过程是，第j次的频谱fj经rils处理后得到平滑后的幅度sj：

49、sj＝rils(fj),j＝1,2,3…  (11)

50、将频谱残差fj与sj作差得到的频谱残差fj+1，j＝1,2,3，…，新的频谱残差fj+1再经历rils处理并且进入下一次循环：

51、fj+1＝fj-sj,j＝1,2,3,…  (12)

52、经若干次循环后将每一次rils处理的较为平滑的频谱分量sj叠加，预处理后的噪声信号wp由多次循环产生的sj的叠加并与相乘的反傅里叶表示，

53、

54、real表示取复数的实部，表示反傅里叶变换。

55、进一步地，使用峰值相关能量求测试压缩图像的传感器模式噪声和参考压缩图像的传感器模式噪声的相关性，若峰值相关能量超过给定阈值时，则判定测试压缩图像的拍摄来源是该参考图像的相机，反之，测试压缩图像的拍摄来源不是该相机；

56、峰值相关能量表示为：

57、

58、其中，sign()为符号函数,crq(a,b)为参考压缩图像的传感器模式噪声r和测试压缩图像的传感器模式噪声q之间的二维循环互相关，β为(0，0)周围的区域，|β|是β区域的面积，mn为匹配传感器模式噪声的维度乘积。

59、与现有技术相比，本方案原理及优点如下：

60、1)双树复小波相比小波具有位移不变性和更好的方向选择性。两棵树平行的dwt对信号分解,一棵树为变换的实部,另一颗树为变换的虚部,并保持虚部采样位置位于实部中间,实现信息互补。每棵树提供4个方向，一层里含有8个方向的分量，从而能更好地表征图像的细节纹理，减少因去噪带来的伪影。

61、2)引入了对角高频消除算法，借助一层的二维haar小波变换将对角分量置零，有效减小存在的对角伪影，以及最高频热噪声的干扰。

62、3)基于加性半二次最优化的频谱平滑，相比频谱均衡算法能面地进行全局优化的平滑，具有的边缘保持能力可以保护局部合理峰值，从而减少因平滑带来的传感器模式信息丢失。使用迭代最小二乘法来求解优化模型，最终借助傅里叶变换加速求解，只需要迭代地执行几次傅里叶变换和反傅里叶变换就能完成有效的频谱伪影去除。

63、4)使用一种迭代回收的策略，依次回收不同强度传感器模式信息，循环地将跌倒最小二乘法平滑前后的频谱做差，并将这个差值代入下一次的频谱平滑算法中，多次循环地执行这一过程，最终将各平滑后的项叠加并进行反傅里叶变换。

64、5)本方案与现有的传感器模式噪声提取算法相比，由于本方案能减小图像边缘混入传感器模式噪声而造成干扰，同时在抑制非唯一性伪影的同时有效减小传感器模式信息的丢失，可以获得具有更完备传感器模式信息的噪声，因而本方案在小尺寸的图像识别和jpeg压缩图像识别中拥有较好的性能以及鲁棒性。