一种基于样本选择的图像相机来源鉴别方法与流程

本发明属于图像信息安全领域，涉及一种基于样本选择的图像相机来源鉴别方法。

背景技术：

从1965年开始，人们开始研究图像处理和识别。最开始对照相技术、光学技术进行研究，随着科技进步，现在演变成了对计算机技术进行研究。数字图像来源认证技术就是随着计算机技术的发展而来的。如今，可以生成数字图像的设备有很多，数码相机、计算机、扫描仪以及手机等。数字来源认证技术就是确定一张未知来源图像生成设备的技术手段。现有的数字图像来源认证技术主要可以分为两大类：主动取证和被动取证。与主动取证相比，被动取证只需要取证人员采用一些特定的技术就可以实现数字图像来源鉴别，因此被动取证的实施性更强，成为了数字图像来源鉴别技术的研究重点。

被动取证中，图像没有经过预处理，其中没有任何嵌入信息时，鉴别数字图像来源就要依靠这些特征的不同，即软硬件的不同来判断。为了得到更准确的研究效果，还应该进一步通过同品牌相机不同型号的软硬件的不同来判断。传感器的模式噪声(spn,sensorpatternnoise)像相机的指纹一样，成为判断的重要依据，其已广泛用于图像来源鉴别、图像分类和伪造物检测等。

j.lukas等人首先提出通过提取图像的模式噪声进行来源鉴别。通过相机的大量图片总结出该相机的参考模式噪声，然后与测试图像的模式噪声进行相关运算，根据相关系数的大小判断测试图像是否来源该相机。该方法具有极高的识别效率，可以鉴别相同型号的不同相机个体，但图像内容对鉴别准确率有较大影响。r.li等人在此方法上引入主成分分析，降低了特征集的维度，一定程度上减少了图像内容的影响，提高了鉴别准确率。为了进一步解决图像内容对鉴别的影响，r.li在主成分分析的基础上，提出了随机子空间法。

技术实现要素：

本发明的目的是针对现有技术的不足，提供一种基于样本选择的图像相机来源鉴别方法

本发明具体技术方案实现如下：

因为各个相机的图像分辨率不同，为了避免不足n×n大小的像素块在计算时被空白填充，影响相关性的计算结果。同时考虑到人们的拍照习惯，因此将每一幅图像从左上角开始，长和宽分别裁剪出p×q倍的n×n大小(p、q均为整数)，即每幅图像能得到p×q大小的相关性矩阵。对于实验中所用的图像集，每幅图像重复上述计算过程，相加得到图像集的相关性矩阵。从中选取相关性最大，即复杂度最小的n×n像素块作为样本区域提取模式噪声。此时样本区域中含有的图像内容细节较少，提取的模式噪声也较为纯净。之后再与随机子空间法结合，将该方法简称为样本选择法，具体实现如下：

步骤1、设在数据库中有c个照相机每个照相机拍摄了ej幅图像，数据库共有n幅图像

步骤2、为了减少计算成本，从数据库中的全尺寸图像的中心裁剪出n×n的像素块代表图像；从该像素块中提取模式噪声，重塑成spn向量，表示为这n个spn向量形成训练集；

步骤3、对提取的模式噪声进行pca降维；

步骤4、将计算得到的特征向量进行归一化，按照特征值的降序排列λ1≥λ2≥…λn，取其中较大的d个非零特征值对应的特征向量作为特征空间

步骤5、在特征空间t中随机选择m(m<d)个特征向量构成随机子空间r，重复l次，生成l个随机子空间r^l；在子空间中，spn信号表示为：

其中，y^l代表随机子空间r^l中的模式噪声x，即每个模式噪声x表示为一组新的特征y^l；

步骤6、利用新生成的模式噪声进行图像来源鉴别。

步骤3具体实现如下：

对于具有n维特征的矩阵x＝[x1,x2,…,xn]，主成分分析的具体实现如下：

3-1.计算协方差矩阵s，找到一系列标准正交向量νk和相关特征值λk，公式如下：

其中，

3-2.计算协方差矩阵的特征值和特征向量：

通过求解|λe-x|＝0，得到n个特征值并对其降序排列：λ1≥λ2≥…λn，分别带回|λe-x|＝0，即可求出特征值对应的特征向量并归一化：[v1,v2,…,vn]；

3-3.选取主成分：

最终选择多少个主成分，要通过信息的累积贡献率g(d)来确定；其中d为保留的主成分向量个数；当g(d)＞85％时就足以表达原信息；

步骤6具体实现如下：对于待测样本图像，提取其模式噪声，按照步骤2-4的方法在随机子空间中表示为新特征后，再通过以下步骤来检测这个待测样本图像是否是数据库中特定的照相机拍摄的，具体实现如下：

6-1.计算参考spn

通过对所有训练样本进行随机子空间特征提取，每个随机子空间r^l里将生成一系列特征随机子空间r^l中相机cj的参考模式噪声通过平均属于该相机的所有训练模式噪声进行评估：

6-2.计算相关系数

对于每一个待测样本图像的spn向量xq，通过公式在l个子空间中获得一系列特征一旦生成待测样本图像和相机cj的参考样本图像计算二者的相关系数ρ：

其中分子为协方差：

e(x)表示向量x的期望；分母为待测样本图像spn和相机cj的参考样本图像spn的标准差之积：

根据ρ和阈值t的关系，相机来源鉴别问题就可以认为是一个双向假设问题：

h0:ρ＜t(待测样本图像不是相机cj拍摄的)

h1:ρ≥t(待测样本图像是相机cj拍摄的)

6-3.多数表决

在每个子空间r^l中，步骤5-2的鉴别过程都将被执行一次，因此一共会生成l个结果；根据其中多数的结果作为最终结果：超过l/2的结果投票赞成h1，最终认为该待测图像是由相机cj拍摄的；反之则认为不是相机cj拍摄的。

本发明有益效果如下：

本发明在提取模式噪声之前，通过计算图像区域相关性，选取复杂度较小的像素块，以期望提取纯净的模式噪声，得到更好的鉴别准确率。

本发明通过对样本区域进行选择，而不是直接从图像中间部分裁剪像素块，提取出更纯净的模式噪声，进一步提高鉴别的准确率。

本发明结合主成分分析以及随机子空间提出的随机子空间法一定程度上减小了图像内容的影响。为了改善鉴别受图像细节影响的问题，实现了基于样本选择的图像来源鉴别方法。通过分析图像的纹理特征特性，利用灰度共生矩阵计算图像区域的复杂度，选取出图像中复杂度较小的区域，从而提取出较为可靠的模式噪声，提高鉴别准确率。与其它基于模式噪声的图像来源鉴别方法相比，样本选择法能够提取出更为纯净的模式噪声，进一步提高图像来源鉴别的准确率，为图像来源鉴别工作提供了一种新的解决方案。

附图说明

图1(a)为观察图像；

图1(b)为图1(a)的纯净的模式噪声图；

图1(c)为图1(a)从不同的区域提取模式噪声图；

图2为lukas提出的用于图像来源鉴别的直接相关法流程图。

图3为r.li后续改进的随机子空间法。样本选择法中，由于各相机的照片分辨率不同，先将照片调整大小为2048*2048。从左上角开始，依此裁剪出p×q倍的n×n大小(p、q均为整数)。

图4(a)为当p＝q＝4时，图像示意图。

图4(b)为不同区域相关性矩阵示意图。含有图像内容以及雪地等纹理较为复杂的区域相关性较小，即复杂度较大。天空的纹理很简单，因此区域复杂度较小。和理论的想法一致，从天空中提取到的模式噪声会更贴近纯净的模式噪声，有利于鉴别的准确率。

图5(a)为第一次实验中固定l＝100，m/d由0.1至1变化的实验结果示意图。

图5(b)为第二次实验中固定m/d＝0.3，l的值由100至1000变化的实验结果图；

图6为每个相机的鉴别准确率示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面对本发明的具体实施方式作进一步的详细描述。

在观察图像时，发现图像中有的区域含有图像内容较多，有的区域含有的图像内容较少甚至不含有图像内容。对于图1(a)，其纯净的模式噪声如图1(b)所示。从不同的区域提取模式噪声，其纯净度也有所不同，如1图(c)所示。如果从图像的右下角裁剪像素块进行模式噪声的提取，像素块中将含有图像中的建筑物轮廓，提取出的模式噪声也必定含有建筑物的信息。尽管后面采用了随机子空间的方法，但依然无法较为彻底地减少图像内容对模式噪声的影响。但图像中左上角的天空部分不含有任何图像场景，提取出的模式噪声更接近纯净的模式噪声。因此，希望能够通过某种技术手段对样本区域进行选择，而不是直接从图像中间部分裁剪像素块，提取出更纯净的模式噪声，进一步提高鉴别的准确率。

理想情况下，训练图像应该是一些低变化图像，比如纯粹的天空场景，但在本实验采用的图像集中并不符合这样的要求。按照人们的拍照习惯，想要记录的场景一般都会处在图像的中间位置。因此直接截取中间部分的像素块，其中可能含有较多的场景细节，影响鉴别的准确率。

本发明采用的技术算法介绍如下：

因为各个相机的图像分辨率不同，为了避免不足n×n大小的像素块在计算时被空白填充，影响相关性的计算结果。同时考虑到人们的拍照习惯，因此将每一幅图像从左上角开始，长和宽分别裁剪出p×q倍的n×n大小(p、q均为整数)，即每幅图像能得到p×q大小的相关性矩阵。对于实验中所用的图像集，每幅图像重复上述计算过程，相加得到图像集的相关性矩阵。从中选取相关性最大，即复杂度最小的n×n像素块作为样本区域提取模式噪声。此时样本区域中含有的图像内容细节较少，提取的模式噪声也较为纯净。之后再与随机子空间法结合，将该方法简称为样本选择法。

本发明具体技术方案实现如下：

步骤1、设在数据库中有c个照相机每个照相机拍摄了ej幅图像，数据库共有n幅图像

步骤2、为了减少计算成本，从数据库中的全尺寸图像的中心裁剪出n×n的像素块代表图像；从该像素块中提取模式噪声，重塑成spn向量，表示为这n个spn向量形成训练集；

步骤3、对提取的模式噪声进行pca降维；

步骤4、将计算得到的特征向量进行归一化，按照特征值的降序排列λ1≥λ2≥…λn，取其中较大的d个非零特征值对应的特征向量作为特征空间

步骤5、在特征空间t中随机选择m(m<d)个特征向量构成随机子空间r，重复l次，生成l个随机子空间r^l；在子空间中，spn信号表示为：

其中，y^l代表随机子空间r^l中的模式噪声x，即每个模式噪声x表示为一组新的特征y^l；

步骤6、利用新生成的模式噪声进行图像来源鉴别。

步骤3具体实现如下：

对于具有n维特征的矩阵x＝[x1,x2,…,xn]，主成分分析的具体实现如下：

3-1.计算协方差矩阵s，找到一系列标准正交向量νk和相关特征值λk，公式如下：

其中，

3-2.计算协方差矩阵的特征值和特征向量：

通过求解|λe-x|＝0，得到n个特征值并对其降序排列：λ1≥λ2≥…λn，分别带回|λe-x|＝0，即可求出特征值对应的特征向量并归一化：[v1,v2,…,vn]；

3-3.选取主成分：

最终选择多少个主成分，要通过信息的累积贡献率g(d)来确定；其中d为保留的主成分向量个数；当g(d)＞85％时就足以表达原信息；

步骤6具体实现如下：对于待测样本图像，提取其模式噪声，按照步骤2-4的方法在随机子空间中表示为新特征后，再通过以下步骤来检测这个待测样本图像是否是数据库中特定的照相机拍摄的，具体实现如下：

6-1.计算参考spn

通过对所有训练样本进行随机子空间特征提取，每个随机子空间r^l里将生成一系列特征随机子空间r^l中相机cj的参考模式噪声通过平均属于该相机的所有训练模式噪声进行评估：

6-2.计算相关系数

对于每一个待测样本图像的spn向量xq，通过公式在l个子空间中获得一系列特征一旦生成待测样本图像和相机cj的参考样本图像计算二者的相关系数ρ：

其中分子为协方差：

e(x)表示向量x的期望；分母为待测样本图像spn和相机cj的参考样本图像spn的标准差之积：

根据ρ和阈值t的关系，相机来源鉴别问题就可以认为是一个双向假设问题：

h0:ρ＜t(待测样本图像不是相机cj拍摄的)

h1:ρ≥t(待测样本图像是相机cj拍摄的)

6-3.多数表决

在每个子空间r^l中，步骤5-2的鉴别过程都将被执行一次，因此一共会生成l个结果；根据其中多数的结果作为最终结果：超过l/2的结果投票赞成h1，最终认为该待测图像是由相机cj拍摄的；反之则认为不是相机cj拍摄的。

实施例：

实验采用dresden图像数据库中的4个型号共10个相机个体，如表2所示。每个相机个体选取120幅图像，其中50幅图像作为训练图像，剩余70幅作为测试图像。直接提取模式噪声为会使计算量过于庞大，因此从每幅图像的中心部分截取256×256的像素块提取模式噪声进行实验。性能评价指标为数字图像相机来源鉴别的准确率。分别对直接相关法、主成分分析法、随机子空间法以及样本选择法四种方法计算准确率。实验中准确率结果均保留一位小数。

表2实验中选用的相机列表

在鉴别过程的开始阶段，评估图像区域复杂度，提取出较为可靠的模式噪声。将每一幅图像从左上角裁剪成2048×2048大小，即每幅图像能裁剪出8×8个256×256的像素块，得到8×8大小的相关性矩阵。为简化灰度共生矩阵计算，图像灰度级压缩至16级。对于实验中所用的共计1200幅图像，每幅图像重复上述计算过程，相加得到实验所用图像集的相关性矩阵。实验结果如表3所示。

表3实验图像集的相关性矩阵

从表3可以看出，图像中相关性最大，即复杂度最小的区域是第一行第二列的像素块。因此，提取该像素块的模式噪声观察样本选择法的鉴别准确率。

进行两次实验分别观察l及m/d对准确率的影响。第一次实验中固定l＝100，m/d由0.1至1变化。实验结果如图5(a)所示。由图中可以看出，当m/d＝0.3时，准确率相对最高。第二次实验中，固定m/d＝0.3，l的值由100至1000变化。实验结果如图5(b)所示。由图中可以看出，当l＝400时准确率相对最高。

选择参数m/d＝0.3，l＝400。此时实验结果如表4所示。

表4m/d＝0.3，l＝400时样本选择法实验结果(％)

由表4可以计算得到样本选择法的平均鉴别准确率为90％。

与其他方法的准确率对比结果如表5所示。随机子空间法在一定程度上具有抑制场景细节干扰的能力，可以在主成分分析的基础上提高鉴别准确率。样本选择法可以提取到更纯净的模式噪声，使鉴别的准确率得到进一步的提升。从结果中可以明显看出，样本选择法能够得到更好的准确率。

表5对比准确率结果

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。