基于双通道差分卷积网络的图片隐形水印检测方法与流程

1.本发明涉及图像分类技术领域，特别涉及一种基于双通道差分卷积网络的图片隐形水印检测方法。


背景技术：

2.具有版权的图片是指著作权持有人，或者是创作图片的作者或机构，授权可以用于商业、出版、展览等用途的图像作品。著作权所有者为了避免图片被盗用，通常会在图片添加水印，水印技术是知识产权保护以及公司涉密信息维护的重要手段，能够减少图片在网络传播中被盗用侵权现象的发生。
3.目前常见的图片水印技术主要分为两种。第一种是可见水印，即在图片中添加可见的信息或图标，这种方法是相对比较简单且速度较快，缺点是视觉可见且容易被攻击擦除，客户观看图片的体验较差，通常用于对视觉效果要求不高但需要标识作品所有者身份的场景。第二种是隐形水印，图片隐形水印具有不可见、不易察觉和不易擦除等诸多优点，常见的做法是将图像从空间域转为频域，然后在频域中进行水印嵌入，之后再恢复到空间域，通常用于视觉要求较高的场景。隐形水印由于其不可见，并且安全可靠，而被广泛使用。
4.由于水印的隐形效果，隐形水印在提取时需要消耗较多时间，提取速度较慢。在互联网购物网站中，比较优质的商品图片可能会被竞争对手盗用，这些网站中有海量的图片，其中有的已经购买了版权，有的没有购买过，我们在确定是否侵权时需要明确所有这些图片的水印信息，但若直接对所有图片进行水印提取，一方面会消耗大量的算力，另一方面水印提取的速度远跟不上图片产生的速度。因此，急需一种可快速判断图片中是否嵌入了隐形水印的方法，能够实时地判断这些图片里有无隐形水印，当判断有隐形水印时，再进行水印提取，这样就能快速的明确这些图片有无侵权。


技术实现要素：

5.本发明的首要目的在于提供一种平均差分卷积计算方法，可减小局部噪声对特征的干扰。
6.为实现以上目的，本发明采用的技术方案为：一种平均差分卷积计算方法，包括如下步骤：以待处理像素点为中心点，根据卷积核大小提取对应区域中像素点的像素值得到n*n大小的第一矩阵，其中n为奇数；计算除中心点以外其他像素点像素值的均值；将第一矩阵中每个元素均减去该均值后得到第二矩阵；将第二矩阵与卷积核权重矩阵进行点乘后得到第三矩阵；对第三矩阵中每个元素进行求和后作为中心点卷积后的结果输出。
7.与现有技术相比，本发明存在以下技术效果：差分卷积相较于普通卷积而言，可以在不增加额外训练参数的前提下提取局部像素区域的梯度信息，引入平均差分卷积可以有效的减小局部噪声对特征的干扰。
8.本发明的第二个目的在于提供一种基于双通道差分卷积分类网络，可以更好的进行分类。
9.为实现以上目的，本发明采用的技术方案为：一种基于双通道差分卷积分类网络，该分类网络包括特征提取模块和分类模块，特征提取模块中包括多个卷积层且采用双分支结构，其中第一分支中的卷积层替换为前述的平均差分卷积与普通卷积的加权平均，第二分支中的卷积层替换为中心差分卷积。
10.与现有技术相比，本发明存在以下技术效果：中心差分卷积能够学习中心像素与附近领域像素之间的差异，即梯度信息；平均差分卷积可以有效的减小局部噪声对特征的干扰；更重要的是，这两个差分卷积具有一定的互补性，这样，在分类网络的低层利用双分支结构进行特征提取，在分类网络的高层，对两个分支输出的特征图融合之后，通过softmax分类概率判断是否有水印，该检测算法具有较低的虚警率和漏检率。
11.本发明的第三个目的在于提供一种基于双通道差分卷积网络的图片隐形水印检测方法，可以快速准确的判断图片中是否有隐形水印。
12.为实现以上目的，本发明采用的技术方案为：一种基于双通道差分卷积网络的图片隐形水印检测方法，包括如下步骤：准备数据集：选择不同大小和背景的自然图片分别嵌入不同参数的水印得到含水印和不含水印的rgb格式图片，将rgb格式图片转换成灰度图得到第一通道图，从rgb格式图片中提取出水印敏感通道得到第二通道图；根据前述步骤构建分类网络，确定分类网络的参数和损失函数，利用准备好的数据集对分类网络进行训练优化，其中第一通道图输入到第一分支中，第二通道图输入到第二分支中；将待检测图片的第一通道图和第二通道图并行输入到训练好的分类网络中进行分类得到检测结果。
13.与现有技术相比，本发明存在以下技术效果：针对嵌入水印的特点，对嵌入水印的通道使用中心差分卷积代替原始的卷积，中心差分卷积能够学习到水印的特征，同时，平均差分卷积可以减弱水印边界附近的边缘对水印的干扰；通过少量样本，就能搭建起高效的检测网络，在检测时，只需要将图片导入即可快速输出是否含水印的结果，使用非常的方便。
附图说明
14.图1是基于双通道差分卷积分类网络结构图；图2是vgg网络示意图；图3是常见的vgg网络结构图；图4是图片隐形水印检测方法的流程图。
具体实施方式
15.下面结合图1和图4，对本发明做进一步详细叙述。
16.本发明公开了一种平均差分卷积计算方法，包括如下步骤：以待处理像素点为中心点，根据卷积核大小提取对应窗口中像素点的像素值得到n*n大小的第一矩阵，其中n为奇数，这样可以确保中心点位于对应区域的中心，这里的对应窗口也称为滑动窗口；计算除中心点以外其他像素点像素值的均值；将第一矩阵中每个元素均减去该均值后得到第二矩阵；将第二矩阵与卷积核权重矩阵进行点乘后得到第三矩阵，矩阵的点乘和叉乘会得到不同的结果，下面的具体实施例中会有详细说明；对第三矩阵中每个元素进行求和后作为中心点卷积后的结果输出。差分卷积相较于普通卷积而言，可以在不增加额外训练参数的前
提下提取局部像素区域的梯度信息，引入平均差分卷积可以有效的减小局部噪声对特征的干扰。
17.我们以n=3为例进行说明，为了更好的理解平均差分卷积的计算过程，这里还对普通卷积、中心差分卷积进行阐述。
18.（1）普通卷积，第一矩阵记为：其中为中心点的像素值，卷积权重矩阵记为：那么，普通卷积的计算结果为：。
19.（2）中心差分卷积，会先根据第一矩阵计算得到如下矩阵：然后，再根据如下公式计算中心差分卷积的结果：。
20.（3）平均差分卷积，会根据第一矩阵计算得到第二矩阵：式中，；然后，再根据如下公式计算平均差分卷积的结果：。平均差分卷积和中心差分卷积的差别，在于差分的对象不是滑动窗口的中心，而是滑动窗口除中心像素值以外其他位置像素值的平均。
21.进一步地，所述的n大于等于5，所述的计算除中心点以外其他像素点像素值的均值包括：计算中心点外侧第k层像素点的均值得到第k个均值；根据得到的k个均值，利用预设的权重计算k个均值的加权和，并将计算得到的结果作为最终的均值结果输出。中心点外侧不同层的像素点影响不同，这里通过对不同层设置不同的阈值，使得对于特征提取的效果更佳。
22.参阅图1，本发明还公开了一种基于双通道差分卷积分类网络，该分类网络包括特征提取模块和分类模块，特征提取模块中包括多个卷积层且采用双分支结构，其中第一分支中的卷积层替换为前述平均差分卷积与普通卷积的加权平均，第二分支中的卷积层替换为中心差分卷积。中心差分卷积能够学习中心像素与附近领域像素之间的差异，即梯度信息；平均差分卷积可以有效的减小局部噪声对特征的干扰；更重要的是，这两个差分卷积具有一定的互补性，这样，在分类网络的低层利用双分支结构进行特征提取，在分类网络的高层，对两个分支输出的特征图融合之后，通过softmax分类概率判断是否有水印，该检测算法具有较低的虚警率和漏检率。
23.参阅图2，分类网络有很多种结构，本发明中优选地，所述的分类网络为vgg网络，特征提取模块包括多组卷积层、激活函数以及池化层，图2中的convolution即卷积层、relu即激活函数、max pooling即池化层；分类模块包括多个全连接层以及softmax，图2中的fully connected即全连接层。
24.参阅图3，图3中展示了常见的vgg网络结构，我们以vgg11为例详细阐述如何将平均差分卷积融入其中。所述的分类网络为vgg11，vgg11的前四个卷积层采用双分支结构且这两个分支的参数不共享，后四个卷积层为一个分支且该分支参数共享；前四个卷积层采用的双分支结构输出的两个特征图进行叠加后输入至后面的分支中。
25.进一步地，对于灰度图网络分支，为了融合强度信息和平均梯度信息，本发明中引入了超参数，利用超参数控制着平均差分卷积和普通卷积的贡献，具体地，所述的平均差分卷积和普通卷积按如下公式加权平均：其中，表示中心点卷积后的结果，和分别表示第一矩阵、卷积核权重矩阵中的元素值，即除中心点以外其他像素点像素值的均值，为预先设定的超参数，其取值范围为[0,1]，的值越大意味着平均差分卷积占比越重，当取0时，就成了普通卷积。这个公式中，第一项就是第一矩阵和卷积核权重矩阵点乘后求和，第二项就是卷积核权重矩阵中的每个元素求和后，再乘以均值和超参数，第一项减去第二项即得到该中心点经过平均差分卷积与普通卷积的加权平均后的结果。
[0026]
参阅图4，本发明还公开了一种基于双通道差分卷积网络的图片隐形水印检测方法，包括如下步骤：准备数据集：选择不同大小和背景的自然图片分别嵌入不同参数的水印得到含水印和不含水印的rgb格式图片，将rgb格式图片转换成灰度图得到第一通道图，从rgb格式图片中提取出水印敏感通道得到第二通道图；根据前述步骤构建分类网络，确定分类网络的参数和损失函数，利用准备好的数据集对分类网络进行训练优化，其中第一通道图输入到第一分支中，第二通道图输入到第二分支中；将待检测图片的第一通道图和第二通道图并行输入到训练好的分类网络中进行分类得到检测结果。针对嵌入水印的特点，对嵌入水印的通道使用中心差分卷积代替原始的卷积，中心差分卷积能够学习到水印的特征，其更倾向于聚集采样值的中心梯度，同时，平均差分卷积可以减弱水印边界附近的边缘对水印的干扰；通过少量样本，就能搭建起高效的检测网络，在检测时，只需要将图片导入即可快速输出是否含水印的结果，使用非常的方便。
[0027]
这里说的水印敏感通道，是指隐形水印在嵌入时，影响最大的那个通道，根据水印嵌入算法的不同，水印敏感通道也可能有所不同，按实际情况选择合适的通道即可。
[0028]
vgg网络是比较典型的分类网络，主要应用于图像分类领域且类别数较大，比如imagenet数据集1000种类别，针对本文应用场景（即水印检测），其为二分类，即检测水印的有无，因此，本方法的网络参数相比标准的vgg网络均进行降低，防止过拟合，对于卷积层，
输入尺寸减半，对应通道数减半，全连接层的节点数变为256、128、2。这些参数只是本发明中进行水印检测场景下的一种选择，并不代表只能选择这样的参数。
[0029]
本发明还公开了一种计算机可读存储介质和一种电子设备。其中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如前所述的平均差分卷积计算方法或者实现如前所述的基于双通道差分卷积网络的图片隐形水印检测方法。一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序时，实现如前所述的平均差分卷积计算方法或者实现如前所述的基于双通道差分卷积网络的图片隐形水印检测方法。