一种基于多尺度特征融合的源相机识别方法和装置

本发明属于源相机识别，具体涉及一种基于多尺度特征融合的源相机识别方法和装置。

背景技术：

1、近年，随着移动智能设备的普及，图像的摄制和编辑变得轻而易举。伴随而来的，是如何可靠地验证图像来源和完整性的问题。图像取证是防止恶意篡改图像以获取非法利益的技术，源相机识别任务则正是数字图像取证领域的研究热点之一，其目的是追踪图像来自何处。

2、追溯图像来源的方法主要围绕着图像生成过程展开：光信号经过镜头，由感光元件将其转变为电信号，再经一系列图像处理技术，如颜色插值，白平衡，伽马校正，边缘平滑，jpeg压缩等，最终得到数字图像。受限于生产工艺和算法模式，这些步骤会在数字图像中留下其固有特征，即使设备品牌和型号完全一致，也可通过这些特征进行追踪溯源。分析传感器模式噪声来溯源相机传感器的方法首次由lukás和goljan等人提出，传感器模式噪声是数字相机或其他成像设备在捕获图像时，由于传感器内在性能限制而引入的随机噪声。通过理论和实验证明，类比法医鉴定中使用指纹追踪嫌疑人、使用弹道检测追溯枪支器械，可以使用图像中所包含的传感器模式噪声作为其成像设备的唯一指纹，也称之为相机指纹。

3、基于传感器模式噪声的源相机识别方法，主要包含两大类：基于传统数字图像的方法和基于深度学习的方法。其中，基于深度学习的方法是指利用监督学习和神经网络降采样的方式，将图像转变为高维向量表征，通过softmax层得到不同类别的概率，选取其中概率最值对应的类别作为结果输出。

4、freire-obregon d等人于2019年在pattern recognition letters期刊发表了基于深度学习的移动设备源相机识别(deep learning for source camera identificationon mobile devices)一文，提出davnet，提升了移动设备上的源相机识别精度，同时降低计算资源消耗和提升推理识别速度。davnet本质上使用深度卷积神经网络(convolutionalneural network，cnn)作为特征提取器，通过大量带有标签的图像样本训练得到的模型，并利用leaky relu层和dropout层进行优化，能够有效地提取高层次的特征表示。相较于传统方法，该方案拥有更高的溯源准确率和溯源效率。但现有基于深度学习的源相机识别方法仅实现了小规模数据集(10台以内)中的高精度溯源，但在更大规模的实验中表现一般，并且在类别扩充的情况下，需要在完整数据集上重新训练或者在新增数据集上微调以适应，而这将耗费大量的时间和计算资源。

技术实现思路

1、本发明的目的是提供一种基于多尺度特征融合的源相机识别方法，通过多尺度特征融合构建溯源模型进行源相机识别，并抽取高维向量构建相机指纹库进行匹配检索以适应类别扩充情形，实现微弱精度丢失的高效设备溯源。

2、为实现上述发明目的，本发明提供的技术方案如下：

3、第一方面，本发明实施例提供的一种基于多尺度特征融合的源相机识别方法，包括以下步骤：

4、基于多尺度特征融合构建溯源模型，包括多尺度特征提取模块和特征融合模块以及分类器；

5、利用训练图像集对溯源模型进行监督学习，提取监督学习后的多尺度特征提取模块和特征融合模块组成特征提取器；

6、利用特征提取器提取测试图像集中每个测试图像的高维向量，并以高维向量作为测试图像对应源相机类别的指纹索引，构建相机指纹库；

7、利用特征提取器提取待测图像的高维向量，基于高维向量与相机指纹库中的指纹索引进行匹配检索，基于匹配检索的指纹索引得到待测图像的源相机类别。

8、所述多尺度特征提取模块包括并行的多个不同尺度的特征提取分支，每个特征提取分支将输入图像经过对应尺度的卷积进行处理后，通过卷积层、批归一化层、激活层和池化层后送入残差网络，以提取深层向量。

9、所述残差网络包括依次连接的池化层、第一卷积块和两个第二卷积块、激活层+池化层，在池化层的输出端与第一个第二卷积块的输入端之间构建第一残差连接，且第一残差连接经过卷积层+批归一化层，在第一卷积块的输出端与第二个第二卷积块的输入端构建第二残差连接，第一个第二卷积块的输出端与激活层+池化层的输入端构建第三残差连接；

10、其中，第一卷积块包括依次连接的第一尺寸卷积层+批归一化层+激活层、第二尺寸卷积层+批归一化层+激活层、第一尺寸卷积层+批归一化层；

11、第二卷积块包括依次连接的激活层+池化层、第一尺寸卷积层+批归一化层+激活层、第二尺寸卷积层+批归一化层+激活层、第一尺寸卷积层+批归一化层。

12、所述特征融合模块将多尺度特征提取模块中每个特征提取分支输出的深层向量拼接得到高维向量。

13、所述分类器采用全连接层和softmax层对特征融合模块输出的高维向量进行映射和激活得到源相机识别结果。

14、所述基于高维向量与相机指纹库中的指纹索引进行匹配检索，包括：计算高维向量与相机指纹库中每个指纹索引的相似度，筛选高相似度对应的指纹索引作为匹配检索的指纹索引。

15、优选的，采用欧式距离、余弦距离或切比雪夫距离衡量高维向量与相机指纹库中每个指纹索引的相似度。

16、第二方面，为实现上述发明目的，本发明实施例还提供了一种基于多尺度特征融合的源相机识别装置，包括模型构建单元、监督学习单元、相机指纹库构建单元、匹配检索单元；

17、所述模型构建单元用于基于多尺度特征融合构建溯源模型，包括多尺度特征提取模块和特征融合模块以及分类器；

18、所述监督学习单元用于利用训练图像集对溯源模型进行监督学习，提取监督学习后的多尺度特征提取模块和特征融合模块组成特征提取器；

19、所述相机指纹库构建单元用于利用特征提取器提取测试图像集中每个测试图像的高维向量，并以高维向量为测试图像对应源相机类别的指纹索引，构建相机指纹库；

20、所述匹配检索单元用于利用特征提取器提取待测图像的高维向量，基于高维向量与相机指纹库中的指纹索引进行匹配检索，基于匹配检索的指纹索引得到待测图像的源相机类别。

21、第三方面，为实现上述发明目的，本发明实施例还提供了一种基于多尺度特征融合的源相机识别设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现第一方面本发明实施例提供的基于多尺度特征融合的源相机识别方法。

22、第四方面，为实现上述发明目的，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序使用计算机时，实现第一方面本发明实施例提供的基于多尺度特征融合的源相机识别方法。

23、与现有技术相比，本发明具有的有益效果至少包括：

24、(1)采用基于多尺度特征融合构建溯源模型进行源相机识别，由于能够提取多尺度的深层向量并拼接成高维向量，基于高维向量进行分类能够提高源相机溯源准确率。

25、(2)利用特征提取器提取的高维向量构建相机指纹库，并基于高维向量进行匹配检索来识别源相机类别，这样在面对类别扩充的问题时，能够保证溯源精度的前提下避免了反复训练和微调模型，降低时间开销。