一种基于颜色和纹理特性的风格迁移伪造图像检测方法和装置与流程

本发明属于图像处理技术领域，尤其涉及一种基于颜色和纹理特性的风格迁移伪造图像检测方法和装置。

背景技术：

在过去的20年中，图像处理技术获得了极大的发展，许多图像修改工具的诞生与改进使得现在的人们极易对图像进行修改，这也为攻击者伪造图像提供了极大的便利，有影响力的图像伪造事件亦于近年来层出不穷。当前，伪造图像可能存在于政治丑闻、武器装备宣传、办案证据等不同用途的图像之中，甚至网络上大量的个人照片也可能经过修改(伪造)，可见伪造图像已经危及到新闻公信度、公检法办案乃至人与人之间的信任。

检测图像是否可信目前的主流方法可分为主动式和被动式两类。主动式检测方法首先对可信图像嵌入水印，随后，欲再次检测该图像可信度时可提取该图像中水印从而检测。被动式检测方法主要基于图像的不同特性如压缩效应、相机、物理、几何、区域相似度等，通过检测这些特性在图像被伪造时所受到的修改进行可信度检测。主动式方法由于需要对图像提前嵌入水印，因此在实际应用中存在局限性，可见被动式方法在实际应用中的潜力更大。

随着人工智能技术的发展，新型图像处理(伪造)技术不断出现，为图像伪造提供了更多的选择。在过去的几年中，研究者在图像风格迁移伪造技术(styletransfer)方面取得了较大的进展，基于风格迁移所伪造的部分图像与自然风格图像已难以用肉眼区分。而当前，已有的被动式检测方法主要针对通过复制移动(copy-move)、拼接(splicing)、图像修补(imageretouching)等方式篡改伪造的图像进行检测研究。这些方法通常依赖于不同特性的假设，难以普适高效的检测风格迁移伪造图像，现今也并无针对风格迁移伪造图像的研究检测技术，而专家以人眼检测又过于耗时耗力，不适用于数据量较大的情况。因此，研究风格迁移伪造图像的检测方法可为伪造图像检测领域填补空白，为检测风格迁移伪造图像提供有效解决方案。

技术实现要素：

本发明的目的在于提供一种基于颜色和纹理特性的风格迁移伪造图像检测方法和装置，从而对抗存在的多种图像风格迁移伪造方法。

针对上述目的，本发明所采用的技术方案为：

一种基于颜色和纹理特性的风格迁移伪造图像检测方法，其步骤包括：

1)构建含有自然风格图像和风格迁移伪造图像的训练图像集的颜色统计分布图以及该训练图像集中所有训练图像的颜色统计分布图；

2)根据差异最大化原则，基于上述训练图像集的颜色统计分布图计算颜色检测特征参数，基于所述颜色检测特征参数构建得到第一部分检测特征；并计算每幅训练图像的颜色统计分布图的分布特性，得到第二部分检测特征；

3)提取每幅训练图像的纹理特征，从而计算每幅训练图像的纹理统计特性，根据纹理统计特性构建第三部分检测特征；

4)合并步骤2)和步骤3)中所述第一部分、第二部分、第三部分的检测特征，得到完整检测特征，并将每幅训练图像的完整检测特征与其对应的训练图像标签进行模型训练得到检测分类器；

5)构建待检测图像的颜色统计分布图；

6)基于步骤2)中所述颜色检测特征参数提取待检测图像的第一部分检测特征；并计算待检测图像的颜色统计分布图的分布特性，提取第二部分检测特征；

7)提取待检测图像的纹理特征，从而计算其纹理统计特性，根据纹理统计特性构建第三部分检测特征；

8)合并步骤6)和步骤7)中所述第一部分、第二部分、第三部分检测特征得到待检测图像的完整检测特征，并将其输入步骤4)所述检测分类器进行检测。

进一步地，步骤1)中所述训练图像集包括风格迁移伪造图像子集和自然风格图像子集。

更进一步地，步骤2)中根据差异最大化原则，利用差异性计算度量分别计算风格迁移伪造图像子集与自然风格图像子集的每一对统计分布图中相应组之间的差异性，选取差异性最大的前k组作为第一部分检测特征；其中k由实验结果调试确定或由用户自由选取。

更进一步地，所述差异性计算度量为但不仅仅限于欧式距离。

进一步地，步骤2)和步骤6)中计算颜色统计分布图的分布特性，并利用不同的差异性计算度量构建第二部分检测特征。

更进一步地，所述分布特性为但不仅仅限于1阶导数、2阶导数；所述差异性计算度量为但不仅仅限于总变分(totalvariations)、总方差。

进一步地，步骤3)和步骤7)中所述的图像纹理特征提取方法为但不仅仅限于方向梯度直方图(histogramoforientedgradient)、局部二值模式(localbinarypatterns)。

进一步地，步骤4)中所述模型训练的方法步骤包括：

4-1)将训练图像标签表示为一个由0和1组成的标签向量；其中0代表自然风格图像，1代表风格迁移伪造图像；

4-2)将每幅训练图像的完整检测特征构成特征矩阵；

4-3)将每幅训练图像的特征矩阵和其对应的标签向量输入分类器进行训练得到检测分类器。

更进一步地，步骤4-3)中所述检测分类器为但不仅仅限于支持向量机(supportvectormachine)、集成分类器(ensembleclassifier)。

进一步地，步骤1)和步骤5)中所述颜色统计分布图为但不仅仅限于hue(色调)通道统计分布图、saturation(饱和度)通道统计分布图。

一种基于颜色和纹理特性的风格迁移伪造图像检测装置，其包括：

颜色统计分布图构建模块，负责在训练阶段构建含有自然风格图像和风格迁移伪造图像的训练图像集的颜色统计分布图以及该训练图像集中所有训练图像的颜色统计分布图；并负责在检测阶段构建待检测图像的颜色统计分布图；

第一部分检测特征构建模块，负责根据差异最大化原则，基于颜色统计分布图计算颜色检测特征参数，基于所述颜色检测特征参数构建得到训练图像或者待检测图像的第一部分检测特征；

第二部分检测特征构建模块，负责计算每幅训练图像或待检测图像的颜色统计分布图的分布特性，得到训练图像或者待检测图像的第二部分检测特征；

纹理特征提取模块，负责提取每幅训练图像或待检测图像的纹理特征；

第三部分检测特征构建模块，负责计算每幅训练图像或待检测图像的纹理统计特性，根据纹理统计特性构建训练图像或者待检测图像的第三部分检测特征；

模型训练模块，负责合并训练图像的第一部分、第二部分、第三部分的检测特征，得到完整检测特征，并将每幅训练图像的完整检测特征与其对应的训练图像标签进行模型训练得到检测分类器；

图像检测模块，负责合并待检测图像的第一部分、第二部分、第三部分检测特征得到待检测图像的完整检测特征，并将其输入所述模型训练模块得到的检测分类器进行检测。

本发明提出了一种基于颜色和纹理特性的风格迁移伪造图像检测方法和装置，为风格迁移伪造图像地检测提供了有效地解决办法，也为伪造图像检测领域填补了空白。该方法和装置首先构建训练图像集的颜色统计分布图以及训练图像集中所有训练图像的颜色统计分布图；之后根据差异最大化原则，基于上述训练图像集的颜色统计分布图计算颜色检测特征参数，基于所述颜色检测特征参数计算每幅训练图像的颜色统计分布图的部分检测特征，计算每幅训练图像的颜色统计分布图的分布特性，计算每幅训练图像的纹理特征从而计算其纹理统计特性，从而基于颜色与纹理特性构建训练图像的有效完整的检测特征；最后利用训练图像的完整检测特征和对应的训练图像标签训练分类器，从而得到有效的检测分类器，即可针对待检测图像提取其完整检测特征，从而利用训练好的检测分类器进行检测。同时，实验验证结果显示本发明所涉及的风格迁移伪造图像检测方法可以成功区分风格迁移伪造图像与自然风格图像。

附图说明

图1是本发明提供的一种基于颜色和纹理特性的风格迁移伪造图像检测方法的训练阶段的流程图。

图2是本发明提供的一种基于颜色和纹理特性的风格迁移伪造图像检测方法的检测阶段的流程图。

图3是本发明提供的一种基于颜色和纹理特性的风格迁移伪造图像检测装置的模块构成示意图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

本实施例提供一种基于颜色和纹理特性的风格迁移伪造图像检测方法，该方法步骤包括训练阶段和检测阶段，如图1所示，所述训练阶段包括以下步骤：

1)将训练图像集(包括风格迁移伪造图像和自然风格图像)分为风格迁移伪造图像子集和自然风格图像子集，并构建所述两个子集的多种颜色通道的统计分布图以及训练图像集中每幅训练图像的多种颜色通道的统计分布图；其中所述统计分布图包括hue通道统计分布图、saturation通道统计分布图等。

2)根据风格迁移伪造图像与自然风格图像间的差异最大化原则，基于上述两个子集的颜色统计分布图计算检测特征参数，并基于每幅训练图像的颜色统计分布图与所述颜色检测特征参数计算并构建适宜检测风格迁移伪造图像的第一部分检测特征。

3)计算每幅训练图像的颜色统计分布图的分布特性，以构建适宜检测风格迁移伪造图像的第二部分检测特征。

4)提取每幅训练图像的纹理特征，计算其纹理统计特性，以构建适宜检测风格迁移伪造图像的第三部分检测特征。

5)合并上述第一部分、第二部分、第三部分检测特征，得到完整检测特征。

6)将每幅训练图像的完整检测特征与其对应的训练图像标签一起输入分类器进行模型训练得到检测分类器。

所述构建第一部分检测特征的具体过程为：根据差异最大化原则，利用差异性计算度量(如欧式距离等)分别计算风格迁移伪造图像子集与自然风格图像子集的每一对颜色统计分布图中相应组之间的差异性，选取差异性最大的k组(如k＝1)作为第一部分检测特征；其中k由实验结果调试确定或由用户自由选取。

所述构建第二部分检测特征的具体过程为：计算每幅训练图像的颜色统计分布图的分布特性(如1阶导数、2阶导数等)，并利用不同的差异性计算度量(如总变分、总方差等)构建第二部分检测特征。

所述构建第三部分检测特征的具体过程为：提取每幅训练图像的纹理特征(如方向梯度直方图、局部二值模式等)，计算纹理统计特性，构建第三部分检测特征。

所述模型训练的方法步骤包括：

6-1)将训练图像标签表示为一个由0和1组成的标签向量；其中0为负例即代表自然风格图像，1为正例即代表风格迁移伪造图像，反之亦可；

6-2)将每幅训练图像的完整检测特征构成特征矩阵；

6-3)将每幅训练图像的特征矩阵和其对应的标签向量一起输入分类器(如支持向量机、集成分类器等)进行训练。

所述检测阶段包括以下步骤：

a)构建待检测图像的多种颜色通道的统计分布图。

b)基于训练阶段步骤2)中所述颜色检测特征参数与待检测图像的颜色统计分布图构建待检测图像的第一部分检测特征。

c)计算待检测图像的颜色统计分布图的分布特性，提取待检测图像的第二部分检测特征。

d)计算待检测图像的纹理统计特性，提取待检测图像的第三部分检测特征。

e)将上述第一部分、第二部分、第三部分检测特征合并得到待检测图像的完整检测特征。

f)将上述完整检测特征输入训练阶段得到的检测分类器进行检测，以得到检测结果。

下面举一具体实施例来更好的解释说明本发明。该实施例步骤包括：

1)构建统计分布图。

首先将包括600幅风格迁移伪造图像和600幅自然风格图像的训练图像集(每幅训练图像有对应的训练图像标签表明是风格迁移伪造图像还是自然风格图像)分为风格迁移伪造图像子集和自然风格图像子集，并构建所述两个子集以及训练图像集中所有训练图像的hue通道、saturation通道的直方图(每个直方图内含128个组)，并将直方图归一化得到颜色统计分布图。

2)构建第一部分检测特征。

根据差异最大化原则，在所述两个子集的颜色统计分布图中选取风格迁移伪造图像和自然风格图像间组概率差别最大的组索引作为检测特征参数νc，如公式(1)所示。

vc＝argmaxx|distc，n(x)-distc，f(x)|，c＝h，s，(1)

其中νc的下角标c代表hue(h)、saturation(s)通道，distc，n(x)和distc，f(x)分别代表自然风格图像子集和风格迁移伪造图像子集的颜色统计分布图中的第x组，其中x＝{1，2，...，128}。再对每幅训练图像的颜色统计分布图提取第一部分检测特征，如公式(2)所示。

其中代表从第α幅训练图像中提取的第一部分检测特征，代表第α幅训练图像hue通道、saturation通道的统计分布图中的第νc组，其中α＝{1，2，...，600}。

3)构建第二部分检测特征。

计算每幅训练图像的统计分布图的一阶导数如公式(3)所示。

其中中的α与上述公式(2)代表的含义相同，且与中的l代表每幅训练图像的颜色统计分布图的组数，在本实施例中l＝{1，2，...，127}。

随后计算该颜色统计分布图的总变分作为第二部分检测特征，如公式(4)所示。

其中代表从第α幅训练图像中提取的第二部分检测特征。

4)构建第三部分检测特征。

计算每幅训练图像的纹理特征hog^α。

随后计算该纹理特征的统计特性，如公式(4)所示。

其中代表从第α幅训练图像中提取的第三部分检测特征，m代表hog^α中的第m个块(共有m块)，l＝{1，2，...，31}代表每块中第l个位置。最终通过归一化构建第三部分检测特征

5)构建完整检测特征。

将上述步骤2)中所得的第一部分检测特征、步骤3)中所得的第二部分检测特征、步骤4)中所得的第三部分检测特征合并，即可得到每幅训练图像的完整检测特征如公式(5)、(6)所示。

其中代表合并的所述hue通道、saturation通道中的每个通道的完整检测特征，代表合并的所述hue通道特征、saturation通道特征、纹理检测特征的完整检测特征。

6)模型训练。

将训练图像标签表示为一个由0和1组成的标签向量，其中0为负例(即代表自然风格图像)，1为正例(即代表风格迁移伪造图像)，并将每幅训练图像所提取的完整检测特征构成特征矩阵，和所述标签向量一起输入支持向量机进行训练，并利用gridsearch(网格搜索)的方法对支持向量机进行调参，选取最好的cost和gamma参数。

7)检测未知图像(即待检测图像)。

对未知图像首先构建其hue通道、saturation通道的颜色统计分布图；再基于步骤2)所述颜色检测特征参数对未知图像的颜色统计分布图进行计算，提取未知图像的第一部分检测特征；计算未知图像的颜色统计分布图的分布特性，提取未知图像的第二部分检测特征，提取未知图像的纹理特征，计算未知图像的纹理统计特性并构建未知图像的第三部分检测特征；合并上述第一部分、第二部分、第三部分检测特征得到未知图像的完整检测特征；并将所述完整检测特征输入步骤6)所训练的支持向量机进行检测，以得到检测结果。

为了验证本发明方法的有效性和实用性，以600幅风格迁移伪造图像和600幅自然风格图像作为训练图像集，根据步骤1)-步骤6)训练了一个检测分类器，并对另外200幅待检测图像根据步骤7)提取每一幅待检测图像的完整检测特征，并将其输入检测分类器进行检测，得到一个由0和1组成的标签向量，再与该200幅待检测图像的实际(真实)标签向量做对比，检测分类器所得的结果的正确率为78.5％，可见本发明方法有效可行。

本发明另一实施例提供一种基于颜色和纹理特性的风格迁移伪造图像检测装置，如图3所示，其包括：

颜色统计分布图构建模块，负责在训练阶段构建含有自然风格图像和风格迁移伪造图像的训练图像集的颜色统计分布图以及该训练图像集中所有训练图像的颜色统计分布图；并负责在检测阶段构建待检测图像的颜色统计分布图；

第一部分检测特征构建模块，负责根据差异最大化原则，基于颜色统计分布图计算颜色检测特征参数，基于所述颜色检测特征参数构建得到训练图像或者待检测图像的第一部分检测特征；

第二部分检测特征构建模块，负责计算每幅训练图像或待检测图像的颜色统计分布图的分布特性，得到训练图像或者待检测图像的第二部分检测特征；

纹理特征提取模块，负责提取每幅训练图像或待检测图像的纹理特征；

第三部分检测特征构建模块，负责计算每幅训练图像或待检测图像的纹理统计特性，根据纹理统计特性构建训练图像或者待检测图像的第三部分检测特征；

模型训练模块，负责合并训练图像的第一部分、第二部分、第三部分的检测特征，得到完整检测特征，并将每幅训练图像的完整检测特征与其对应的训练图像标签进行模型训练得到检测分类器；

图像检测模块，负责合并待检测图像的第一部分、第二部分、第三部分检测特征得到待检测图像的完整检测特征，并将其输入所述模型训练模块得到的检测分类器进行检测。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。