一种基于物体局部生成对抗网络的大数据权属保护方法与流程

本发明属于大数据技术处理技术领域，具体的说是一种基于物体局部生成对抗网络的大数据权属保护方法。

背景技术：

在大数据时代，数据是科学研究的驱动。深度学习、人工智能等学科的迅速发展离不开数据科学的发展。互联网用户在使用相似图像搜索、推荐算法、语音识别等人工智能技术带来方便的同时，离不开各种各样的数据集。在深度学习的研究中，围绕带有特殊意义的数据集训练一个带有特定功能的模型，是当下大部分智能产品的开发流程。然而，在大数据和云计算的背景下，数据被云服务商所存储。用户在使用云服务商提供的软件或服务时，产生的隐私数据存储与云服务商的服务器中。用户要想使用该软件或服务，只能默认信任云服务商。然而，单纯的信任并不会带来永远的安全，近年来常有云服务商的数据被窃取的事件发生。因此，对有安全需要的用户而言，数据的安全性不可以在当前环境下受到影响，数据的权属需要被保障。本方法利用信息隐藏技术，将用户的敏感信息和权属信息隐藏于用户的日常数据（例如图像）中，这些日常数据本身具有意义，表达用户的传达的信息。但是，在信息隐藏领域，隐藏信息的隐写算法更倾向于选择图像的复杂纹理区域隐藏信息，用户的日常图像数据可能不具备足够的复杂纹理区域。因此，本方法在用户的日常图像数据作为背景的基础上，利用生成对抗网络生成符合当前语境的前景物体，该前景物体具备复杂纹理的特点，故可以用生成的前景来隐藏用户的秘密信息，达到提升用户信息安全的目的。

在深度学习的浪潮下，生成对抗网络（generativeadversarialnetworks，gan）得到了迅速的发展，从gan[1]提出至今，利用其对抗思想，涌现了各种优秀衍生算法和技术。例如wgan[2]提升了gan的效果；conditionalgan[3]在gan的基础上，增加了生成图像的生成条件；stackgan[4]实现了从文本生成图像，该生成图像满足文本描述。

信息隐藏是信息安全领域重要的分支，期望在相对不安全的信道传输中，利用用户产生的数据（例如文本、图像、视频）等信息，隐藏用户不希望公开的数据。其中，比较基础的信息隐藏算法，例如最低有效位（leastsignificantbit，lsb）隐写算法，通过修改像素的最低有效位，来嵌入信息，完成信息隐藏。其原理依据人眼对微小像素值的不敏感性，即使像素最低有效位被修改，不会对图像本身造成人眼可识别的改变。例如，常见的单通道图像每个像素由8位2进制数字组成，转换成10进制后，其像素值区间为0到255，最低有效位的修改使得像素值的改变区间为-1，1或0。由于这种算法无法抵抗简单的图像统计分析，因此，在lsb隐写的基础上，隐写算法的改进方向为自适应和抗统计分析。例如uniward[5]、wow[6]这类算法通过定义隐写的代价函数计算失真率，通过降低失真率，达到自适应和抗统计分析的目的。

技术实现要素：

本发明要解决的技术问题是提供一种基于物体局部生成对抗网络的大数据权属保护方法，该方法通过在生成网络中增加隐写网络模块，在判别网络中增加隐写分析判别网络。在背景重建的同时，在前景区域生成纹理相对复杂的物体作为安全区域，进行信息隐藏。同时，在含密图像的生成过程中进行图像质量分析和隐写分析。

为解决上述技术问题，本发明采用的技术方案为：

一种基于物体局部生成对抗网络的大数据权属保护方法，其特征是：具体步骤如下：

步骤1，预处理；输入原始载体图像，原始载体图像在预处理网络模块内经过四层的卷积网络，依次得到四组不同尺寸的特征图；

步骤2，图像生成；输入随机噪声z和生成条件c进入生成网络模块作为生成条件，经过尺度变化与预处理网络模块输出的最后一层特征图的尺度保持一致，并一起输入背景重建模块，分别结合对应尺寸的特征图依次经过四个背景重建模块，生成网络模块输出新生成的载体图像和掩膜，所述的载体图像为以原始载体图像为基础的具有生成物体的图像，所述的掩膜用于指示载体图像中生成物体的位置；

步骤3，信息隐写；将载体图像和掩膜输入到隐写网络模块中，向隐写网络模块中输入秘密信息，所述的隐写网络模块用于通过隐写算法对掩膜指示的生成物体区域内进行秘密信息隐藏，输出含密图像；

步骤4，结果判别；将掩膜和含密图像通过下采样提取的特征输入到判别网络模块中，所述的判别网络模块用于判断输出的含密图像是否生成了符合训练图像的物体，以及输出的含密图像是否含有秘密信息；

步骤5，重复训练；判别网络模块输出对比后的误差损失，根据偏差的梯度方向，更新判别网络模块的参数，调整生成网络模块内的参数，经过多次训练过程，最终得到精确的网络模型参数；

步骤6，发送方和接收方共享微弱特征卷积神经网络的参数模型和其对应的网络结构，发送方将原始载体图像经过预处理网络模块预处理后传入生成网络模块，输出含密图像，接收方利用参数模型和其对应的网络结构，复原所有的隐写区域，再利用隐写算法的可逆提取算法，将秘密信息提取出来。

所述的步骤1中得到的四组特征图尺度分别不同，每个特征图均带有原始载体图像的特征。

所述的随机噪声z为一段维度为100维的随机序列，所述的随机噪声z用于作为生成图像的初始分布，所述的生成条件c为一段16维的one-hot编码，所述的生成条件c用于指示生成物体的图像种类。

所述的步骤4中判别网络模块的输入为生成的含密图像和非生成的真实图像，所述的判别网络模块用于判别图像质量与隐写分析，所述的判别网络模块通过结构为不同尺寸卷积核的人工卷积神经网络进行判别图像质量，所述的判别网络模块通过隐写分析网络进行判别生成的含密图像的隐写失真，所述的隐写分析网络内设置有可以提取微弱特征的卷积核。

所述的背景重建模块中，输入为生成网络模块中前一层卷积层的m维特征图，通过扩增特征图的深度为2m，其中m深度的特征图经过sigmoid激活后与背景图像点乘，之后与另m深度的特征图相加，输出的特征图的深度是m。

所述的秘密信息隐藏通过将可逆隐写函数整合到生成网络中，实现隐写，在信息提取时，利用掩膜图像找到隐藏信息的位置，可以得到所有隐写区域，再利用隐写函数对应的提取函数，提取出秘密信息。

该种基于物体局部生成对抗网络的大数据权属保护方法能够产生的有益效果为：本方法通过修改生成器，使其在生成时不仅可以生成前景物体，还可以重建背景，实现在背景上生成前景。背景图像为用户的载体图像，生成的图像为最终的目标载体图像，前景物体是结合背景语义生成的。同时，前景物体比背景图像纹理更加复杂，从而更加适用于隐写任务；通过修改判别器，加入隐写分析网络，实现对视觉特性和隐写特性的判别和分析。通过生成器与判别器之间的对抗训练，达到隐写的有效性和鲁棒性。本专利利用了载体图像，而不是直接生成，一方面保证了载体图像原有的含义；另一方面，由于本专利引入了多粒度判别网络，生成图像质量得到了提升。在提取方面，相比于上述方法，本方法给出了明确的提取方案，实现有效地提取秘密信息。

附图说明

图1为本发明一种基于物体局部生成对抗网络的大数据权属保护方法的流程图。

图2为本发明一种基于物体局部生成对抗网络的大数据权属保护方法中预处理网络模块和生成网络模块的结构示意图。

图3为本发明一种基于物体局部生成对抗网络的大数据权属保护方法中判别网络模块的结构示意图。

图4为本发明一种基于物体局部生成对抗网络的大数据权属保护方法中背景重建模块的结构示意图。

图5为发明一种基于物体局部生成对抗网络的大数据权属保护方法载体中图像与重构后的目标载体图像的例图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述。

一种基于物体局部生成对抗网络的大数据权属保护方法，其特征是：具体步骤如下：

步骤1，预处理；输入原始载体图像，原始载体图像在预处理网络模块内经过四层的卷积网络，依次得到四组不同尺寸的特征图；

步骤2，图像生成；输入随机噪声z和生成条件c进入生成网络模块作为生成条件，经过尺度变化与预处理网络模块输出的最后一层特征图的尺度保持一致，并一起输入背景重建模块，分别结合对应尺寸的特征图依次经过四个背景重建模块，生成网络模块输出新生成的载体图像和掩膜，所述的载体图像为以原始载体图像为基础的具有生成物体的图像，所述的掩膜用于指示载体图像中生成物体的位置；

步骤3，信息隐写；将载体图像和掩膜输入到隐写网络模块中，向隐写网络模块中输入秘密信息，所述的隐写网络模块用于通过隐写算法对掩膜指示的生成物体区域内进行秘密信息隐藏，输出含密图像；

步骤4，结果判别；将掩膜和含密图像通过下采样提取的特征输入到判别网络模块中，所述的判别网络模块用于判断输出的含密图像是否生成了符合训练图像的物体，以及输出的含密图像是否含有秘密信息；

步骤5，重复训练；判别网络模块输出对比后的误差损失，根据偏差的梯度方向，更新判别网络模块的参数，调整生成网络模块内的参数，经过多次训练过程，最终得到精确的网络模型参数；

步骤6，发送方和接收方共享微弱特征卷积神经网络的参数模型和其对应的网络结构，发送方将原始载体图像经过预处理网络模块预处理后传入生成网络模块，输出含密图像，接收方利用参数模型和其对应的网络结构，复原所有的隐写区域，再利用隐写算法的可逆提取算法，将秘密信息提取出来。

如图1所示，输入由四个部分组成，输入1为生成条件c，指示生成物体的种类；输入2为随机自动初始的噪声，用来作为生成过程的初始值；输入3为原始载体图像；输入4为转换为2进制的秘密信息。输出为含密图像，在物体掩膜区域含有秘密信息。其中，输入3作为预处理网络的输入，经过四层卷积神经网络提取分别得到4组不同尺度的特征图，这些特征图带有原始载体图像的特征，为生成网络完成在载体图像的基础上增加物体提供了可能。输入1和输入2作为生成网络的初始条件输入到生成网络中，经过尺度变化与预处理网络输出的最后一层的尺度保持一致，并一起输入背景重建模块。依次经过4个背景重建模块后，生成网络输出在原始载体基础上生成物体的图像和相应的掩膜，该掩膜指示了生成的载体图像中，新增加物体的位置。接下来，将生成的载体图像和掩膜输入到隐写网络中，使用隐写算法对掩膜的生成物体区域内进行信息隐藏，输出含密图像。之后，掩膜和含密图像经过下采样提取特征后输入到判别网络中，判别网络分别判断输出的图像是否生成了符合训练图像的物体输出的图像是否含有秘密信息。判断后得到误差损失，将该误差重新传递给生成网络，完成一次训练。

本实施例中，采用的硬件平台的参数为：inteli9cpu，32gb运行内存，nvidia1080tigpu和2tb的存储空间。

如图2所示，生成器包括预处理网络模块和图像生成模块，生成器的输入包括原始载体图像cover和随机噪声z以及生成条件c。reshape代表维度变化。deconv代表反卷积层，conv代表卷积层。目标载体为四通道，其中前三通道作为彩色图像的rbg三个通道另一个通道作为掩模。其中，随机噪声为一段维度为100维的随机序列，作为生成图像的初始分布。生成条件为一段16维的one-hot（独热）编码，指示了生成物体图像的种类。例如，0000000000000001代表种类狗，0000000000000010代表种类鸟。原始载体图像cover依次通过四层卷积层，卷积层的作用是提取图像的局部特征，这些局部特征代表了图像在不同层次上的特性，这些不同层次的特征图与接下来生成过程中同等层次的特征图相融合有利于生成图像的合成重建。得到的特征图分别输入到各自的背景重建模块r1到r4。同时，随机噪声z与生成条件c作为生成条件输入到生成网络中，依次通过四层反卷积层，反卷积层的作用是将输入的特征图的尺度扩大，同时由于反卷积操作，使输出的特征图继续保持局部特征。得到的特征图分别输入到背景重建模块r1到r4，与原始载体图像cover的卷积特征图进行背景重建。最终，生成网络输出一个4维的特征图张量，代表一副生成的4通道图像。由于特征图张量在-1到1的浮点数数值区间之间，需要将其转换为8bit深度的图像像素数值区间的整数，图像像素数值区间为0到255。经处理后，前3维作为r、g、b通道组成目标载体图像，第4维作为目标载体图像的前景物体掩模。目标载体图像的前景物体掩模的作用是为后续隐写函数提供初步隐写区域。mask的获取过程是通过腐蚀操作，使得mask张量的值分为0或者1，其中，0代表隐写区域，其转换后的像素值为0；1代表非隐写区域，其转换后的像素值为255。

如图3所示，判别网络模块的输入为生成的含密图像和非生成的真实，经过判别网络。判别网络的作用为判别图像质量与隐写分析。图3右侧为图像质量的判别网络，结构为不同尺寸卷积核的人工卷积神经网络，任务为判别生成含密图像的图像质量。分别经过3组不同的卷积结构，目的是使用不同大小的卷积核提取不同的卷积特征，例如，将3维（rgb），长宽分别为64和64像素的图像经过第一组卷积神经网络的第一层后得到32维，长宽分别为32和32像素的特征图，继续经卷积层处理下去，最后得到256维。长宽分别为4和4的特征图。最后这些特征图组合在一起变形成为预测函数softmax函数的输入，预测的输出作为判断是否符合条件的结果，最终转化为网络的损失值。图3左侧为隐写分析网络，任务为判别生成含密图像的隐写失真。其结果与右侧类似，但是增加了可以提取微弱特征的卷积核，目的是提取隐写后带来的微小改变。

生成的图像输入到判别网络模块中，对其分别在图像微弱特征和图像质量上判别，根据偏差的梯度方向，更新多粒度判别网络的参数；再通过调整生成网络的参数，更新生成网络的参数。至此，完成了一次训练过程。在训练次数达到1,000次，其中，每个训练含有1,000次迭代后，结束训练，得到网络模型参数并保存。

如图4所示，在载体重建时，输入为生成网络中前一层卷积层的m维特征图，通过扩增特征图的深度为2m，其中m深度的特征图经过sigmoid激活后与背景图像点乘，所述的背景图像即为载体图像，之后与另m深度的特征图相加，输出的特征图的深度是m。在获取隐写区域部分，通过生成的目标载体图像和掩膜图像隐藏信息。在信息隐藏部分，通过将可逆隐写函数整合到生成网络中，实现隐写。在信息提取部分，利用掩膜图像找到隐藏信息的位置，可以得到所有隐写区域，再利用隐写函数对应的提取函数，提取出秘密信息。

本实施例中吗，在载体重建时能够进行尺寸调整，所述的尺度调整的功能用于调整生成的前景物体的尺度，使其与背景合理地融合。

如图5所示，图5左侧为原始载体图像，右侧为生成目标载体含密图像。接收方利用参数模型和其对应的网络结构，复原所有的隐写区域；最后，利用隐写算法的可逆提取算法，将秘密信息提取出来。

本方法通过生成对抗网络在背景图像上生成前景物体来合成图像作为新的目标载体，通过生成网络中的隐写模块将秘密信息隐藏到前景物体中，由于前景物体通过对抗生成，更适合用于隐写。提取时利用之前训练好的模型装填到网络结构中，提取出秘密信息。因此，整个过程提高了载体图像的安全性，同时易于实现。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。