一种端到端的基于深度学习的文本图像水印模型建立方法

本发明涉及数字媒体版权保护领域，具体涉及一种端到端的基于深度学习的文本图像水印模型建立方法。

背景技术：

随着计算机技术的飞速发展，具有易传播、低成本等特点的电子办公和电子政务得到广泛应用。人们在高效便捷地使用数字化媒体时，也面临着数字媒体内容的泄露和盗版等风险。因此需要对数字媒体内容适当地处理，数字水印技术是一种行之有效的版权保护技术，能够对数字媒体内容进行版权保护，甚至是泄密追踪。以文本图像为载体的数据内容是数字化文本传播的主体部分，其格式有电子文档，电子签名、电子发票、电子合同、电子证明等载体。

传统的文本图像水印算法按照嵌入位置可分为空间域算法和变换域算法。空间域算法主要有利用人眼对微小改变的不可察觉性，通过改变行间距和字间距等方法嵌入水印。还有通过改变词汇，语法或结构等算法嵌入水印。这类算法是将水印信息直接嵌入到文本图像的像素中，操作简单，但大部分算法是非盲提取水印算法，嵌入容量低，对旋转，缩放、添加噪声等攻击抵抗能力差，并不适用于实际使用过程。变换域算法主要是将文本图像像素变换到频域内，然后设计特定的算法，修改频域中频系数或添加强度因子，以达到嵌入水印的目的。这类算法在抗噪声和抗压缩方面性能很好，但比空间域算法的设计更为复杂，但大部分算法是非盲提取水印算法，针对不同格式内容的文本图像，需要单独设计相应的算法，无法抵抗在网络传播过程中受到的噪声攻击，不适合实际应用。

随着深度学习的广泛使用以及深度学习能够自适应的选择嵌入位置的特点，基于深度学习的信息隐藏获得了巨大的发展。因而文本图像水印算法结合深度学习方法，能够自适应学习文本图像的纹理特征，嵌入水印并盲提取水印是目前所需要的。

技术实现要素：

本发明针对现有技术中的不足，即为解决传统的空间域水印算法和变换域水印算法的不可见性、鲁棒性、非盲提取、实用性差的问题，提供一种端到端的基于深度学习的文本图像水印模型建立方法。

为实现上述目的，本发明采用以下技术方案：

一种端到端的基于深度学习的文本图像水印模型建立方法，包括如下步骤：

s1.准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，并进行分批训练数据流程；

s2.将训练集放入文本图像水印的嵌入和提取算法框架内，对模型展开训练，利用深度学习训练出文本图像水印模型；

s3.将准备好的测试集放入文本图像水印模型中进行测试。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤s1中准备适合深度学习的文本图像集，分为互不相同的训练集和测试集，具体为：选取具有代表性且不同期刊的论文集及电子书籍，并截图为各不相同的文本图像，分成训练集和测试集；所述文本图像尺寸为400*400像素，文本图像总数为11万张，其中训练集10万张，测试集1万张。

进一步地，步骤s2中训练文本图像水印模型，具体为：基于分批训练数据，按批次送进文本图像水印模型训练，训练次数为10万批次；

在训练过程中，文本图像水印模型利用adamoptimizer优化器对嵌入水印信息的文本图像进行图像质量优化，缩减文本图像与含水印信息的文本图像之间的差异以及水印信息与被恢复的水印信息之间的差异；同时在训练过程中，还引入图像噪声攻击的补偿算法。

进一步地，步骤s3中将准备好的测试集放入文本图像水印模型中进行测试，包括：将测试集按张送入文本图像水印模型中，生成含水印信息的文本图像后，对含水印信息的文本图像进行恢复水印信息的操作，并在无噪声攻击情况下以及有噪声攻击情况下测试水印信息恢复的正确率。

进一步地，所述分批训练数据流程具体如下：

定义一个文本图像集合和一个水印信息集合；

对于文本图像集合，利用随机函数随机从训练集中选择4张文本图像，作为1个批次，转化为rgb格式图像，设置尺寸为400*400，并将其转化为浮点型数据类型，且进行归一化操作，最后存放到文本图像集合；

对于水印信息集合，使用二项式分布原理随机生成4组长度为100bit的一维0、1数组，存放到水印信息集合。

进一步地，所述文本图像水印模型包括水印嵌入网络、图像变换网络、水印提取网络；

水印嵌入网络从分批训练数据流程中获取文本图像集合和水印信息集合并将水印信息嵌入至文本图像，生成含水印信息的文本图像；

图像变换网络对在网络信道传播过程中受到噪声干扰的含水印信息的文本图像进行图像变换，生成含水印的变换图像；

水印提取网络对含水印的变换图像进行水印信息提取。

进一步地，通过水印嵌入网络生成含水印信息的文本图像，包括如下步骤：

s2.1获取到分批训练的文本图像集合和水印信息集合，将水印信息集合中长度为100bit的水印信息经过一个全连接层，生成7500个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将这7500个单元重定义尺寸为50*50*3的特征图；对卷积结果进行上采样从而将特征图放大8倍，特征图尺寸为400*400*3，与文本图像集合中的文本图像尺寸相同；将扩大8倍后水印信息的特征图与文本图像进行拼接操作，生成尺寸为400*400*6的input张量图；

s2.2对input张量图进行卷积操作，其中卷积通道为32，卷积核尺寸为1*1，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400*400*32；

s2.3经过卷积层的张量图conv1与扩大8倍后水印信息的特征图进行拼接操作，然后进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400*400*32；

s2.4经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为400*400*32；

s2.5经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为400*400*64；

s2.6经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为400*400*64；

s2.7经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为400*400*64；

s2.8经过卷积层的张量图conv6进行卷积操作，其中卷积通道为3，卷积核尺寸为1*1，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3；

s2.9含水印图像残差图与文本图像原图相加，生成含水印信息的文本图像。

进一步地，通过图像变换网络生成含水印的变换图像，包括如下步骤：

s3.1将在网络信道传播过程中受到噪声干扰的含水印信息的文本图像经过卷积层的张量图conv1进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像尺寸大小为200*200*32；

s3.2经过卷积层的张量图conv2进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像尺寸大小为100*100*64；

s3.3经过卷积层的张量图conv3进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印信息的文本图像大小为50*50*128；

s3.4默认按行的方向降维为1维数组，经过一个全连接层，生成128个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将128个单元与随机变量进行矩阵相乘，然后通过stn_transformer网络，生成含水印的变换图像，尺寸为400*400*3。

进一步地，所述水印提取网络包括如下步骤：

s4.1将含水印的变换图像经过卷积层的张量图conv1进行卷积操作，其中卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32；

s4.2经过卷积层的张量图conv2进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64；

s4.3经过卷积层的张量图conv3进行卷积操作，其中卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64；

s4.4经过卷积层的张量图conv4进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128；

s4.5经过卷积层的张量图conv5进行卷积操作，其中卷积通道为128，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128；

s4.6默认按行的方向降维为1维数组，经过一个全连接层，生成512个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法；

s4.7默认按行的方向降维为1维数组，经过一个全连接层，生成100个单元，提取并得到水印信息。

本发明的有益效果是：本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法具有不可见性高、鲁棒性强、实用性优的特点。在实际使用过程中，成本更低、检测精度更高、耗时更短。

附图说明

图1为基于深度学习的文本图像水印的嵌入和提取算法框架示意图；

图2为深度神经网络的嵌入水印模型结构示意图；

图3为深度神经网络的中间图像变换层模型结构示意图；

图4为深度神经网络的提取水印模型结构示意图；

图5为深度神经网络的文本图像示意图；

图6为深度神经网络的嵌入水印的文本图像示意图；

图7为深度神经网络的水印图像示意图；

图8为深度神经网络的恢复的水印图像示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

为实现上述发明的目的，本发明所采用的技术方案是一种端到端的基于深度学习的文本图像水印模型建立方法。包括如下步骤：

(1)准备适合深度学习训练和测试的文本图像集，其中要求训练集和测试集互不相同，保证测试集的独立性。

(2)将训练集放入框架内对文本图像水印模型展开训练，利用深度学习训练出一个文本图像水印模型。文本图像水印模型需要使得载体图像(原始图像、文本图像)损失差异不影响使用要求，并保证载密图像(含水印信息的文本图像、含水印图像)在网络信道传播过程中抵抗各种噪声攻击。

(3)将准备好的测试集放入文本图像水印模型中进行测试。测试集与训练集不同，不存在过拟合问题，即在测试集的文本图像中嵌入水印依然能以相当高的准确率提取出水印。

在步骤(1)中，准备训练集与测试集的方法如下：在数字化媒体使用过程中，以文本图像为载体的数据内容是数字化文本传播的主体部分，其格式有电子文档，电子签名、电子发票、电子合同、电子证明等载体。因此选择具有代表性不同期刊的论文集及电子书籍，将其截图为文本图像，文本图像各不相同，文本图像的尺寸为400*400像素，文本图像总数达到11万张，其中训练集10万张，测试集为1万张。

在步骤(2)中，将训练集放入框架内对文本图像水印模型展开训练，深度学习出一个文本图像水印模型：将制作好的含有10万张文本图像的训练集按批次随机分出4张文本图像，同时随机生成4个100bit大小的水印信息，将其作为1个批次送进文本图像水印模型训练，训练次数设置为10万次。在训练过程中，文本图像水印模型利用adamoptimizer优化器对嵌入水印信息的文本图像进行图像质量的优化，缩减载体图像与含水印信息的文本图像之间的差异，使人眼无法分辨出文本载体图像与含水印信息的文本图像之间的差异性。同时，缩减水印信息与被恢复的水印信息之间的差异。在训练过程中，引入各种常见图像噪声攻击的补偿算法，使得算法能够适应于实际使用的环境，对所涉及的攻击达到较高的鲁棒性。

在步骤(3)中，将准备好的测试集放入文本图像水印模型中进行测试：将准备好的1万张文本图像的测试集按张送入文本图像水印模型中，生成含水印信息的文本图像后，对含水印信息的文本图像进行恢复水印信息的操作。首先测试含水印信息的文本图像在无噪声攻击情况下的水印信息恢复的正确率，然后测试含水印信息的文本图像在有噪声攻击情况下的水印信息恢复的正确率。若正确率均高于设定值，则文本图像水印模型建立完成，若正确率均低于设定值，则对文本图像水印模型的参数进行优化。

本发明所用的文本图像数据集分为训练集和测试集(见表1)，分别用来训练和测试水印系统。

表1数据集说明

在本发明实现过程中，采用了基于神经网络的autoencoder模型架构，使用python语言进行编程。基于神经网络的autoencoder模型架构使用图描述计算过程，通过构建和运行图即可实现对数据的计算。

参考图1，本发明公开的一种端到端的基于深度学习的文本图像水印模型建立方法：首先，水印系统在嵌入阶段时，水印信息与载体图像送入水印嵌入网络，生成一张含水印图像。然后，水印系统在提取阶段时，含水印图像经过网络传输信道进行传输，储存等操作时，受到一些噪声攻击，此时的含水印图像中含有一些噪声。含水印图像经过水印提取网络，提取出水印信息。其具体步骤如下：

(1)分批训练数据流程：首先，定义一个文本图像集合和一个水印信息集合。然后，利用随机函数随机从文本图像训练集中选择4张文本图像，转化为rgb格式图像，设置尺寸为400*400，接着将其转化为浮点型数据类型，并进行归一化操作，最后存放到文本图像集合。对于水印信息，使用二项式分布原理随机生成4组长度为100bit的一维0、1数组，存放到水印信息集合。

其中将训练集数据分批次进行训练是常见的图像训练方式，是为了加快训练文本图像水印模型。例如单个3通道图像尺寸为h×w×c＝400×400×3，4张3通道图像尺寸为4×400×400×3。本发明对训练集数据进行分为4张文本图像作为一个批次训练，一方面可以加快训练文本图像水印模型，另一方面可以缩短文本图像水印模型训练时间。

(2)水印嵌入网络(参考图2)：

(2.1)首先，获取到分批训练的文本图像集合和水印信息集合，长度为100bit的水印信息经过一个全连接层，生成7500个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将这7500个单元重定义尺寸为50*50*3的特征图。接下来，对卷积结果进行上采样从而将特征图放大8倍，特征图尺寸为400*400*3，与文本图像尺寸相同。随后，将扩大8倍后的水印信息特征图与文本图像进行拼接操作，生成尺寸为400*400*6的input张量图。

(2.2)对input张量图进行卷积操作，卷积通道为32，卷积核尺寸为1*1，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv1尺寸大小为400*400*32。

(2.3)经过卷积层的张量图conv1与扩大8倍后的水印信息特征图进行拼接，尺寸，然后进行卷积操作，卷积通道为32，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv2尺寸大小为400*400*32。

(2.4)经过卷积层的张量图conv2和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3尺寸大小为400*400*32。

(2.5)经过卷积层的张量图conv3和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv4尺寸大小为400*400*64。

(2.6)经过卷积层的张量图conv4和扩大8倍后的水印信息特征图与文本图像进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv5尺寸大小为400*400*64。

(2.7)经过卷积层的张量图conv5和扩大8倍后的水印信息特征图进行拼接操作，然后进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv6尺寸大小为400*400*64。

(2.8)经过卷积层的张量图conv6进行卷积操作，卷积通道为3，卷积核尺寸为1*1，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像残差图尺寸大小为400*400*3。

(2.9)含水印图像残差图与文本图像原图相加，生成含水印图像。

其中，水印嵌入网络是为了将水印信息嵌入到文本图像。

(3)图像变换网络(参考图3)：

(3.1)首先，在网络信道传播过程中受到噪声干扰的含水印图像，经过卷积层的张量图conv1进行卷积操作，卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像尺寸大小为200*200*32。

(3.2)经过卷积层的张量图conv2进行卷积操作，卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印图像尺寸大小为100*100*64。

(3.3)经过卷积层的张量图conv3进行卷积操作，卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的conv3张量图大小为50*50*128。

(3.4)默认按行的方向降维为1维数组，经过一个全连接层，生成128个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，将128个单元与随机变量进行矩阵相乘，然后通过stn_transformer网络，生成含水印的变换图像，尺寸为400*400*3。

其中，图像变换网络是为了对嵌入水印的文本图像进行纠正，提升嵌入水印的文本图像抵抗攻击的鲁棒性。

(4)水印提取网络(参考图4)：

(4.1)首先，将经过图像变换网络生成的含水印的变换图像，经过卷积层的张量图conv1进行卷积操作，卷积通道为32，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为200*200*32。

(4.2)经过卷积层的张量图conv2进行卷积操作，卷积通道为64，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64。

(4.3)经过卷积层的张量图conv3进行卷积操作，卷积通道为64，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为100*100*64。

(4.4)经过卷积层的张量图conv4进行卷积操作，卷积通道为128，卷积核尺寸为3*3，水平滑动和垂直滑动步长值为2，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128。

(4.5)经过卷积层的张量图conv5进行卷积操作，卷积通道为128，卷积核尺寸为3*3，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法，池化层像素填充使用“same”方式，保证图像的尺寸不变，经过卷积层进行操作后的含水印的变换图像尺寸大小为50*50*128。

(4.6)默认按行的方向降维为1维数组，经过一个全连接层，生成512个单元，激活函数为“relu”函数，卷积核初始化使用“he_normal”方法。

(4.7)默认按行的方向降维为1维数组，经过一个全连接层，生成100个单元，提取出水印信息。

其中，水印提取网络是为了从嵌入水印的文本图像中提取出水印信息。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。