一种基于深度学习的视频数字水印嵌入与提取方法及系统

1.本发明涉及数字水印领域，具体涉及一种基于深度学习的视频数字水印嵌入与提取方法及系统。


背景技术：

2.随着计算机和网络技术的发展，多媒体产品正日益数字化，数字化音像产品正日益走进人们的生活。虽然数字化使多媒体信息更容易编辑、制作、保存、传输，提高了音像制品的质量，但也带来了新的版权问题。如，在未得到作品所有者同意情况下，对具有高度价值的作品，无限制地复制将会给制作者和内容提供者造成相当大的经济损失。而且由于数字化的优点使其对视频信息的篡改变得异常容易，更使原作品的完整性受到严重威胁。而一些具有特殊意义的信息，如涉及司法诉讼、政府机要等等信息，则会遭到恶意攻击和篡改伪造。这一系列数字化技术本身特性所带来的负面效应，已成为信息产业健康持续发展的一大障碍。
3.因此，对于数字产品的版权保护便显得日益重要。人们常常认为版权保护的实现可以通过加密来完成。即首先将多媒体数据文件加密成密文后发布，使得网络传递过程中出现的非法攻击者无法从密文获得机密信息，从而达到版权保护和信息安全的目的，但这并不能完全解决问题。一方面加密后的文件因其不可理解性妨碍多媒体信息的传播；另一方面多媒体信息经过加密后容易引起攻击者的好奇和注意，并有被破解的可能性而且一旦加密文件经过破解后其内容就完全透明了。密码学一直被认为是在通信研究应用领域中主要的信息安全手段并受到极大重视，直到最近几年这种情况才有了改变。现有版权保护系统多采用密码认证技术(例如dvd光盘的安全密码)，但仅采用密码并不能完全解决版权保护问题，密码仅能在数据从发送者到接受者的传输过程中进行数据加密保护。但当信息被接收并进行解密后，所有加密的文档就与普通文档一样，将不再受到保护，无法幸免于盗版。因此，如何进行数字产品版权保护和数据安全维护成为一个亟待解决的问题。


技术实现要素：

4.为了解决上述技术问题，本发明提供一种基于深度学习的视频数字水印嵌入与提取方法及系统。
5.本发明技术解决方案为：一种基于深度学习的视频数字水印嵌入与提取方法，包括：
6.步骤s1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将所述输入图像和所述水印信息数据一起构建训练集；
7.步骤s2：将所述训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，所述视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印w嵌入输入图像img，得到含水印的图像img
encoded
；图像变换模块用于将img
encoded
进行攻击变换，得到img'
encoded
；以及视频数
字水印提取网络用于提取img'
encoded
中水印w'，基于img
encoded
与img以及w'与w分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
8.步骤s3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将所述嵌入水印的关键帧放回至所述待嵌入水印视频中；
9.步骤s4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
10.本发明与现有技术相比，具有以下优点：
11.本发明公开了一种基于深度学习的视频数字水印嵌入与提取方法，通过基于dwt(discrete wavelet transform)域以及深度学习的视频数字水印算法以及基于sift特征的图像配准方法实现，本发明提供的方法对抵抗裁剪、翻拍、打印、jpeg图像压缩和模糊等攻击具有强鲁棒性，提供了可追溯源头的数字水印嵌入和提取方法，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
附图说明
12.图1为本发明实施例中一种基于深度学习的视频数字水印嵌入与提取方法的流程图；
13.图2为本发明实施例中视频数字水印嵌入网络结构示意图；
14.图3为本发明实施例中视频数字水印提取网络结构示意图；
15.图4为本发明实施例中一种基于深度学习的视频数字水印嵌入与提取系统的结构框图。
具体实施方式
16.本发明提供了一种基于深度学习的视频数字水印嵌入与提取方法，为视频嵌入与提取可追溯源头的水印，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
17.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
18.为了更好地理解本发明实施例，对本发明实施例中所用的离散小波变换(dwt)进行阐述：
19.离散小波变换(discrete wavelet transform,dwt)可以同时在频域以及时域表示图像的信息，是一种便捷的图像处理方式。小波变换是对傅里叶变换和短时傅里叶变换的一个突破，其改变在于使用有限长的会衰减的小波替代了无限长的三角函数基，在数值分析和泛函分析中，离散小波变换是对小波进行离散采样的任意小波变换。与其他小波变换一样，离散小波变换与傅里叶变换相比的一个关键优势是时间分辨能力，即离散小波变换基于时间捕获频率和位置信息。在计算机视觉系统中，为了便于存储和计算，需要对输入变量进行离散化，这就要求对小波进行离散化，也就是dwt。dwt是将小波变换中的比例因子和移动因子离散化而得到的。
20.其中，dwt的变换公式如下：
[0021][0022][0023]
其中为近似系数，w
ψ
为小波细节系数；为尺度函数，ψ(t)为小波函数，求和范围n为0,1,2,...,m-1，基本的尺度函数与小波函数的表示如下：
[0024][0025]
ψ
j,k
(t)＝2
j/2
ψ(2jt-k),j,k≥0
[0026]
其中j表示频域上小波函数的伸缩及尺度，k表示时域中函数的平移。
[0027]
二维图像经过dwt变换，被分解为四个不同的分量，分别为水平lh(低频、高频)、垂直hl(高频、低频)、对角hh(高频、高频)和低频ll(低频、低频)，其中低频分量集中在左侧，可以继续递归的对四个分量进行dwt变换。其中低频分量包含的图像信息更为重要，若扰动过大会很强的影响图像的质量；高频分量则为图像的一些细节，若进行图像压缩时舍去也不会很影响图像的质量。
[0028]
逆变换idwt的公式如下：
[0029][0030]
其中在计算时，一般将j0置0，m为2的幂，求和范围k为0,1,2,...,2
j-1。
[0031]
通过对dwt变换过的图像进行分析发现，若图像收到攻击，一般低频区域是不会受到太大影响的，几乎能保留完整的信息，所以基于dwt的水印通常将内容写在低频区域，以应对可能出现的攻击。但随之而来的问题是图像的质量可能会受到比较大的影响。
[0032]
实施例一
[0033]
如图1所示，本发明实施例提供的一种基于深度学习的视频数字水印嵌入与提取方法，包括下述步骤：
[0034]
步骤s1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将输入图像和水印信息数据一起构建训练集；
[0035]
步骤s2：将训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印w嵌入输入图像img，得到含水印的图像img
encoded
；图像变换模块用于将img
encoded
进行攻击变换，得到img'
encoded
；以及视频数字水印提取网络用于提取img'
encoded
中水印w'，基于img
encoded
与img以及w'与w分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
[0036]
步骤s3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将嵌入水印的关键帧嵌入至待嵌入水印视频；
[0037]
步骤s4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
[0038]
在一个实施例中，上述步骤s1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到关键帧构建输入图像的训练集，具体包括：
[0039]
从公开视频中抽取一定数量的视频帧作为关键帧，将这些关键帧按照预定的尺寸进行裁剪，并进行归一化，得到预处理后的关键帧，得到输入图像；同时，生成包含用户信息的随机二进制串作为水印信息数据，将输入图像和水印信息数据一起构建训练集。
[0040]
在一个实施例中，上述步骤s2中视频数字水印嵌入网络将水印w嵌入输入图像img，得到含水印的图像img
encoded
，具体包括：
[0041]
步骤s201：获取水印信息数据并转换为水印数组w∈{0,1}n，n为w长度；若水印数组长度不足时，在其后补0直到预定长度n；在w的第一位设有标志位，用于标识是否为正确的水印；
[0042]
步骤s202：获取训练集中图片img，在img中心选出预设大小的区域，将该区域从rgb色彩空间变换到ycbcr色彩空间，提取其中的y分量矩阵h，其中h大小为h
×
w；将分量矩阵h分割成8
×
8大小的子块集by(i)，i∈n，n＝(h
×
w)/(8
×
8)；对by(i)进行dwt变换得到变换子块集b
dwt
(i)；
[0043]
如图2所示，w(i)表示水印数组w中的第i位二进制水印，w(i)经过扩展后变成1
×4×
4的数据块；by(i)表示ycbcr色彩空间的y通道数据分块，大小为1
×8×
8；by(i)经过dwt变换后变成4
×4×
4的数据块；
[0044]
步骤s203：将二维水印数组w和变换子块集b
dwt
(i)输入视频数字水印嵌入网络，经过水印嵌入卷积模块运算后输出含水印的变换子块集b'
dwt
(i)，其中，如图2所示，水印嵌入卷积模块中包含5个二维卷积层，二维卷积层间使用批标准化(batch normalization)层和relu激活层，5个二维卷积层的输出通道深度分别为16、16、16、16和4；
[0045]
将步骤s202得到的1
×4×
4的数据块和4
×4×
4的数据块一起输入视频数字水印嵌入网络后，在第一维度上进行拼接后，生成大小为5
×4×
4的数据块；然后经过5个二维卷积层生成大小为4
×4×
4的数据块b'
dwt
(i)。
[0046]
步骤s204：对编码后的变换子块集b'
dwt
(i)中每个子块分别进行逆dwt变换得到含有水印的y'分量，将其合并到ycbcr色彩空间后再转换到rgb色彩空间；得到含水印的图像img
encoded
；
[0047]
步骤s205：根据公式(1)计算img
encoded
与img损失值loss
img
：
[0048]
loss
img
＝lpips(img,img
encoded
)
ꢀꢀꢀ
(1)。
[0049]
在一个实施例中，上述步骤s2中图像变换模块用于将img
encoded
进行变换增强，得到img'
encoded
，具体包括：
[0050]
将img
encoded
输入图像变换模块，对img
encoded
添加随机噪声、高斯模糊、jpeg图像压缩或者改变亮度，得到变换增强后的含水印图像img'
encoded
。
[0051]
为了在训练过程中提高视频数字水印提取网络的鲁棒性，对含水印图像添加攻击性，比如增加随机噪声、高斯模糊、jpeg图像压缩或者改变亮度。使用训练好的视频数字水印嵌入与提取网络时，无需使用图像变换模块。
[0052]
在一个实施例中，上述步骤s2中视频数字水印提取网络用于提取img'
encoded
中水印w'，具体包括：
[0053]
步骤s211：将img'
encoded
从rgb色彩空间变换到ycbcr色彩空间，提取其中的y分量
矩阵h，其中h大小为h
×
w；将分量矩阵h分割成8
×
8大小的子块集by(i)，i∈n，n＝(h
×
w)/(8
×
8)；对b(i)进行dwt变换得到变换子块集b
dwt
(i)；
[0054]
如图3所示，by(i)表示ycbcr色彩空间的y通道数据分块，大小为1
×8×
8；by(i)经过dwt后变成4
×4×
4的数据块b
dwt
(i)；
[0055]
步骤s212：将变换子块集b
dwt
(i)传入视频数字水印提取网络，经过水印提取卷积模块运算后输出水印数组w'，其中，如图3所示，水印提取卷积模块中包含4个二维卷积层、1个平均池化层和1个全连接层，4个二维卷积层间使用批标准化(batch normalization)层和relu激活层，4个二维卷积层的输出通道深度分别为16、16、16和1；
[0056]
将步骤s211得到4
×4×
4的数据块b
dwt
(i)输入视频数字水印提取网络，经过4个二维卷积生成大小为1
×4×
4的数据块b'
dwt
(i)；然后经过全局平均池化(mean pooling)和全连接层(fully connected layers)生成大小为1的w'(i)；
[0057]
步骤s213：根据公式(2)计算w'与w均方差损失值loss
msg
；
[0058][0059]
步骤s214：构建总损失函数如公式(3)所示，通过反向传播，更新视频数字水印嵌入网络和视频数字水印提取网络的参数：
[0060]
loss
total
＝γ
img
loss
img
+γ
msg
loss
msg
ꢀꢀꢀ
(3)
[0061]
其中，γ
img
、γ
msg
分别为loss
img
和loss
msg
权重。
[0062]
利用，根据总损失函数，不断更新和优化视频数字水印嵌入网络和视频数字水印提取网络的参数，直到得到训练好的视频数字水印嵌入与提取网络。
[0063]
在一个实施例中，上述步骤s3：抽取待嵌入水印视频的关键帧，与水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将嵌入水印的关键帧嵌入至待嵌入水印视频，具体包括：
[0064]
步骤s301：对待嵌入水印视频按照抽取帧规则：每间隔预定帧，抽取一帧作为关键帧f
origin
，将待嵌入的水印字符串转换为二进制串水印数组w；
[0065]
步骤s302：将f
origin
和w输入训练好的视频数字水印嵌入网络，得到含水印视频帧f
water
；
[0066]
步骤s303：按照抽取帧规则将含水印视频帧f
water
放回待嵌入水印视频中。
[0067]
在一个实施例中，上述步骤s4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，具体包括：
[0068]
步骤s401：获取含水印视频的前200帧作为水印待检测帧f；
[0069]
步骤s402：将f输入训练好的视频数字水印提取网络，当提取出来的水印序列的标志位与嵌入的水印标志位相匹配，则结束水印提取操作，转至步骤s406；若对f提取结束仍无法提取出匹配的水印，则转至步骤s403，进行视频深度提取水印；
[0070]
步骤s403：将每个待检测视频帧f与所有关键帧f
origin
进行比对和校正；
[0071]
步骤s404：基于sift特征比对图像相似度，使用k近邻算法匹配，再使用单应性矩阵将待检测视频通过旋转、变换方式将其与校正帧进行对齐；其中，单应性矩阵h如公式(4)所示：
[0072][0073]
其中，[x
1 y11]
t
和[x
2 y21]
t
分别表示待检测视频帧和校正帧的齐次坐标，将h
22
设为1，则单应性矩阵有8个未知参数，每一个对应的像素点可以产生2个方程，一个x方程，一个y方程，因此总共需要四个像素点来求解单应性矩阵h；通过随机抽样一致算法选取符合条件的像素点作为内群点；
[0074]
步骤s405：比对每个待检测视频帧f与校正帧f
origin
的内群点值，若设定内群点数量小于等于全部特征点的25％则会跳过当前校正帧；若大于25％，则将匹配到的校正帧暂存；在该待检测视频帧与所有校正帧比对完成之后，将上述待检测视频帧前后的帧按照由内到外的匹配策略依次通过与校正帧对齐后通过步骤s401、s402提取水印，若没有提取出来，则切换到下一个待检测视频帧重复以上步骤，直到提取出水印或检测完全部待检测视频帧为止；
[0075]
步骤s406：提取水印所包含的用户信息。
[0076]
本发明公开了一种基于深度学习的视频数字水印嵌入与提取方法，通过基于dwt(discrete wavelet transform)域以及深度学习的视频数字水印算法以及基于sift特征的图像配准方法实现，本发明提供的方法对抵抗裁剪、翻拍、打印、jpeg图像压缩和模糊等攻击具有较强鲁棒性，提供了可追溯源头的水印嵌入和提取方法，为新媒体环境下数字视频泄露溯源以及视频知识产权保护做出贡献。
[0077]
实施例二
[0078]
如图4所示，本发明实施例提供了一种基于深度学习的视频数字水印嵌入与提取系统，包括下述模块：
[0079]
构建训练集模块1：使用公开视频中抽取预设数量的视频帧并进行裁剪，得到输入图像；生成随机二进制串作为水印信息数据，将输入图像和水印信息数据一起构建训练集；
[0080]
网络训练模块2：将训练集中输入图像与水印信息数据一起输入视频数字水印嵌入与提取网络进行训练，得到训练好的视频数字水印嵌入与提取网络；其中，视频数字水印嵌入与提取网络包括：视频数字水印嵌入网络用于将水印w嵌入输入图像img，得到含水印的图像img
encoded
；图像变换模块用于将img
encoded
进行攻击变换，得到img'
encoded
；以及视频数字水印提取网络用于提取img'
encoded
中水印w'，基于img
encoded
与img以及w'与w分别构建损失函数，更新网络参数，直至得到训练好的视频数字水印嵌入与提取网络；
[0081]
视频数字水印嵌入模块3：抽取待嵌入水印视频的关键帧，与包含用户信息的水印一起输入训练好的视频数字水印嵌入网络，输出嵌入水印的关键帧，将嵌入水印的关键帧放回至待嵌入水印视频中；
[0082]
视频数字水印提取模块4：抽取含水印视频的待检测帧，输入训练好的视频数字水印提取网络，提取水印，获取其中的用户信息。
[0083]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。