一种基于风格迁移和深度特征融合的生成式图像隐写术

本发明属于图像处理领域，尤其涉及空间域图像信息隐藏和生成式图像隐写。

背景技术：

1、与加密技术不同，图像隐写术对于监管者来说是不可见的，隐藏信息后的载密图像与普通图像无可见差异，因此可在公共信道中传输载密图像而无需加密信道。传统的图像隐写术通过修改图像的空域或频域特征来隐藏信息，根据特定的嵌入规则来修改图像域中的特征，实现信息的嵌入，如hogu、wow、s-uniward和hill等方法。虽然此类方法在尽可能小的修改域中的特征，但信息的仍然会破坏图像原有的数据分布，导致此类方法易被隐写分析方法检测到修改痕迹。生成式图像隐写技术在图像生成过程中完成了秘密信息的嵌入，随着生成模型的训练，嵌入的痕迹会逐渐被覆盖，生成的载密图像与真实图像在数据分布中无差别，具有较强的抗检测能力并且大幅提高隐写术的安全性。

2、衡量图像隐写术的性能指标大致包含以下几点：(1)隐写容量：隐写容量较大的隐写术可以使用更少的图像嵌入指定长度的秘密信息，少量的载密图像在传输过程中更不易引起监管者的警觉；(2) 隐写安全性：具有更强抗检测的隐写术在公共信道中传输的时候可以躲避隐写分析的检测，保证信息传递的隐蔽安全性；(3)隐写鲁棒性：公共信道中存在各类的攻击，具有一定鲁棒性的隐写术可以在受到攻击后的载密图像中提取到嵌入的秘密信息，保证了信息传递的完整性。根据生成式图像隐写技术的嵌入特点，现有的生成式隐写术可以分为两类：基于映射的生成式隐写和基于合成的生成式隐写；其中基于映射的生成式隐写术构建了生成图像与秘密信息间的关联关系，如采用生成图像的标签、噪声和图像的纹理与二进制的秘密信息关联映射来隐藏信息；基于合成的生成式隐写主要在图像的生成过程中嵌入秘密信息，通过将秘密信息与生成图像中的属性、特征和风格中隐藏秘密信息。生成式隐写术弥补了传统隐写术的抗检测能力弱的缺陷，但现存的生成式隐写术仍然存在图像生成质量低、隐写容量小等问题。

3、图像风格迁移是将一张内容图像的风格向目标图像的风格转换，在保证原始内容图像结构的前提下，生成图像的整体风格尽可能贴近目标风格。卷积神经网络提取的图像的特征从低层特征到高层特征，其中低层特征主要包含图像的颜色、纹理和笔触等浅层特征，而高层特征中主要包含图像的结构和语义信息等深度特征。在图像迁移时，采用内容图像的深层特征和风格图像的浅层特征融合即可生成保留内容结构的风格化图像。由于图像结构特征的稳定性和空间的丰富性，结构特征可以用作隐写术中的载体。通过风格迁移网络中生成器和判别器的对抗性训练，可以逐步优化风格迁移的效果，现有的风格迁移模型已经可以实现高质量的风格迁移效果，优异的迁移效果为生成式隐写术提供了有力的技术支撑。

技术实现思路

1、本发明提出一种基于风格迁移和深度特征融合的生成式图像隐写算法，通过采用深度特征融合技术将秘密信息隐藏在生成图像的结构特征中，采用风格迁移技术将载密的结构特征融合到生成的风格迁移图像中。

2、本发明提供一种基于风格迁移和深度特征融合的生成式图像隐写方法，包括以下步骤：

3、1)使用vgg编码器网络将内容图像从rgb(c×h×w)空域中抽取图像内容特征fc＝{fc1,fc2,…,fcn}(c×h×w)，将提取的内容特征fc进行压缩得到图像结构特征fc′，将秘密信息转换为秘密矩阵与fc′在通道层叠加，叠加后的特征输入融合网络得到融合秘密信息的结构特征fm；

4、2)使用vgg编码器对内容图像和风格图像进行特征提取fc和 fs，将提取的特征分别输入到特征网络进行迁移矩阵学习，将输出的内容和风格特征相乘并通过gram矩阵学习多尺度的表征信息，将学习后的特征作为风格迁移中的迁移特征fd；

5、3)将融合秘密信息的结构特征fm与迁移特征fd相加得到最终的目标特征，将目标特征输入vgg解码器中得到风格迁移后的载密图像istego；

6、4)将载密图像istego输入特征提取网络提取载密图像中的内容特征fstego，并将提取的内容特征fstego输入秘密提取网络中提取秘密特征fsecret，最后采用提取规则将秘密特征转换为秘密信息 s′；

7、5)在训练过程中引入攻击后样本，对模型的提取网络进行鲁棒性训练，提升模型整体的隐写鲁棒性。

8、进一步地，秘密信息嵌入结构特征过程中的深度特征融合包括：

9、a)使用vgg编码器对内容图像icontent提取其中的内容特征，并将维度为c×h×w的特征进行压缩，去除颜色、纹理等特征，只保留图像结构得到1×h×w维度的压缩后特征：

10、fc′＝ereduce(fc)

11、其中fc′为压缩后的结构特征，ereduce()为特征压缩网络，fc为内容特征；

12、b)将压缩后的特征与秘密信息矩阵在通道层面进行叠加，叠加后的维度为2×h×w的特征输入特征融合网络，并对融合后的特征增维得到载密的结构特征fm：

13、fm＝efusion(cat(fc′,s))

14、其中，fm为载密结构特征，efusion()融合网络，cat()为通道叠加操作，fc′为压缩后的结构特征，s为秘密信息；

15、进一步地，所述风格迁移过程中的迁移特征的合成过程包括：

16、a)将选取的内容图像和风格图像输入vgg编码器，得到提取后的内容和风格图像特征fc和fs，并将fc和fs分别自乘并得到自乘后的特征：

17、

18、其中t为迁移矩阵，covs()为卷积操作，代表自乘操作，fc和fs为内容图像和风格图像的特征；

19、b)将自乘后的特征在特征间继续相乘，得到内容和风格混合的特征，将该特征与压缩后的内容图像的特征相乘，并将得到的特征与归一化后的风格图像特征相加，得到风格迁移后的迁移特征fd：

20、

21、其中：t为迁移矩阵，为压缩后的内容图像特征，mean() 为求均值操作；

22、进一步地，所述从载密结构特征和迁移特征合成风格迁移图像的过程包括：

23、a)将载密的结构特征fm与迁移特征fd在特征层相加，得到最终的风格迁移特征：

24、b)将融合后的特征输入vgg解码器，得到最终的风格迁移的载密图像istego，整体过程如下：

25、

26、

27、

28、

29、fm＝efusion(cat(ereduce(fc),s)),

30、fs＝e(is).

31、其中，ic和is为内容图像和风格图像，s为秘密信息，istego为载密图像，d()和e()分别为vgg解码器和编码器， ereduce()是特征压缩网络，efusion()为特征融合网络，cat()为特征通道叠加操作，normal()和mean()为归一化操作和均值操作，fc和fs为内容图像和风格图像的特征，为迁移特征；

32、进一步地，所述秘密信息提取的过程包括：

33、a)将生成的istego载密图像输入特征提取网络，提取载密图像中的内容特征，将提取后的内容特征输入秘密提取网络，提取嵌入在图像结构中的秘密信息特征fsecret，提取的过程可描述为；

34、fsecret＝esecret(efeature(istego))

35、其中，efeature和esecret()分别为特征提取网络和秘密提取网络；

36、b)将提取出的秘密特征fsecret根据区间映射为二进制比特，恢复出嵌入的秘密信息s′，提取过程为：

37、

38、其中istego为载密图像，efeature()为特征提取网络，esecret()为秘密提取网络，fsecret为提取出的秘密特征，s′为恢复的秘密信息；

39、进一步地，所述所提隐写模型鲁棒性训练的过程包括：

40、a)对于正常的载密样本进行攻击，生成攻击后的载密图像，攻击的方法包含：center cropping，edge cropping，rotation， compression，gauss noise，salt andpepper noise，speckle noise，median filtering，mean filtering，gauss filtering，scaling，gramma correction，color histogram equalization；

41、b)将上面图像攻击产生的样本与正常样本混合，构建出一个混合样本的数据集；

42、c)将该数据集使用到所提模型的训练过程中，训练过程中采用的损失函数如下所示：

43、

44、

45、

46、

47、其中，为总损失函数，和分别为内容损失、风格损失和秘密损失，α、β和γ为训练过程中使用的权重参数，ft为迁移后的载密图像提取的特征，fc和fs为原始内容图像和风格图像的特征，b、c、h和w分别为每批数据数量、通道数、图像高度和图像宽度，lnum为网络中计算风格损失的层数，cov()为特征协方差的卷积操作，s′为提取后的秘密信息，s为嵌入的秘密信息，slen为秘密信息的长度。

48、利用本发明的方法可以很好地将秘密信息嵌入到需要合成的风格迁移图像的结构中，与现有技术相比具有以下优点：

49、1、本发明采用风格迁移技术作为图像隐写的支撑技术，风格迁移后的艺术图像在互联网中较为常见，且风格迁移技术可合成质量较好的艺术图像，为载密图像的传输提供了较好的隐写隐蔽性，解决了生成式图像隐写的生成图像质量低的问题；

50、2、本发明采用图像结构特征作为载体来隐藏秘密信息，将秘密信息与图像的结构特征深度融合，并将载密的结构特征融入到图像的迁移过程中，由于图像的结构特征在迁移过程中稳定且包含大量的特征空间，解决了生成式隐写的载密图像嵌入容量小的问题；

51、3、本发明在隐写隐写过程中不需要共享图像数据集和密码本，只需发送和接收方共享预训练的隐写模型即可完成信息的隐藏、传输和提取，实施的过程更加方便；

52、4、本发明对图像数据集进行了数据增强，增加了攻击样本并采用增强的数据集对模型进行训练，增强了模型的鲁棒性，提高了隐写模型在图像攻击下的秘密信息提取准确率。