一种控制比特率增加的抗重压缩视频水印方法

1.本发明涉及一种视频水印方法，尤其是涉及一种控制比特率增加的抗重压缩视频水印方法。


背景技术：

2.随着数字技术和网络技术的快速发展，图像、音频、视频等形式的多媒体数字作品纷纷在网络上发布，其版权保护与信息完整性保证已成为迫切需要解决的重要问题。当多媒体数据通过不安全网络传输时，多媒体数据必须得到保护，以避免通过网络侵入多媒体数据并被未经授权的第三方使用。数字水印技术作为信息水印技术研究领域的重要分支，其是实现多媒体数字作品版权保护与信息完整性保证的有效方法，也是当前信息领域的一个研究热点。
3.对于数字水印技术而言，水印用于将数字代码嵌入到宿主多媒体内容中，该数字代码显示了该多媒体内容的所有权，以防止未经授权或非法复制。在实际应用中，用户对视频文件存储大小的需求不同，视频编码时，量化参数(qp)越小，视频文件占有的存储空间越大，反之越小。而现有的压缩域水印方案在量化参数qp改变时，它们对于重压缩攻击是脆弱的，无法保证视频文件的版权问题。如何保证在进行视频重压缩的过程中改变量化参数qp的大小时，嵌入的水印不受到影响，已经成为了目前比较有意义的研究方向。


技术实现要素：

4.本发明所要解决的技术问题是提供一种控制比特率增加的抗重压缩视频水印方法，其在视频嵌入水印后不会使得视频比特率增加，且具有很好的抗重压缩攻击的鲁棒性。
5.本发明解决上述技术问题所采用的技术方案为：一种控制比特率增加的抗重压缩视频水印方法，包括水印嵌入和水印提取两部分，其特征在于所述的水印嵌入的具体过程为：
6.步骤1_1：设定原始hevc视频中的gop的大小为4且gop的组成结构为ippp；然后提取出原始hevc视频中的每个gop中的每帧p帧所采用的帧内预测模式、每帧p帧所属的gop在原始hevc视频中的位置索引、每帧p帧中的每个编码块的块划分深度、每帧p帧中的每个编码块对应的预测单元的划分模式、每帧p帧中的每个编码单元在帧中的位置索引、每帧p帧中的每个编码单元中的每个像素点的qdst系数、每帧p帧中包含的编码单元的个数；其中，原始hevc视频中的gop的位置索引从0开始编号，p帧中的编码单元的位置索引从0开始编号；
7.步骤1_2：针对原始hevc视频中的每个gop中的每帧p帧中的每个编码块，判定该编码块是否为4
×
4块，判定方式为：若该编码块的块划分深度为3且该编码块对应的预测单元的划分模式的数字标识为3，那么判定该编码块为4
×
4块；
8.步骤1_3：计算原始hevc视频中的每个gop中的每帧p帧中的每个4
×
4块的纹理复杂度，对于任一个4
×
4块，将其纹理复杂度记为texture，texture＝nnc+eng+nnc
×
eng；其
中，nnc表示该4
×
4块中的所有像素点的qdst系数中的非零系数的个数，eng表示该4
×
4块的信息熵，eng的值为该4
×
4块中的所有像素点的qdst系数的绝对值之和；
9.步骤1_4：按纹理复杂度从大到小的顺序排序原始hevc视频中的所有4
×
4块；然后从排序结果中选择前n个4
×
4块作为水印载体，并存储每个水印载体的位置索引；其中，100≤n≤3000；
10.步骤1_5：按水印载体的位置索引的先后顺序依次遍历每个水印载体，在每个水印载体中的第1个像素点的qdst系数和第2个像素点的qdst系数中嵌入1位水印信息，嵌入规则如下：当待嵌入的1位水印信息为“1”时，如果当前遍历的水印载体中的第1个像素点的qdst系数大于第2个像素点的qdst系数，则保持第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数小于第2个像素点的qdst系数，且第1个像素点的qdst系数大于或等于0，则保持第1个像素点的qdst系数的符号不变，改变第2个像素点的qdst系数的符号，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数小于第2个像素点的qdst系数，且第1个像素点的qdst系数和第2个像素点的qdst系数均小于0，则改变第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号，实现水印信息的嵌入；在除上述情况外的其他情况下，改变第1个像素点的qdst系数的符号，保持第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；
11.当待嵌入的1位水印信息为“0”时，如果当前遍历的水印载体中的第1个像素点的qdst系数小于第2个像素点的qdst系数，则保持第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数大于第2个像素点的qdst系数，且第1个像素点的qdst系数和第2个像素点的qdst系数均大于或等于0，则改变第1个像素点的qdst系数的符号，保持第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数大于第2个像素点的qdst系数，且第1个像素点的qdst系数大于或等于0，第2个像素点的qdst系数小于0，则改变第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号，实现水印信息的嵌入；在除上述情况外的其他情况下，保持第1个像素点的qdst系数的符号不变，改变第2个像素点的qdst系数的符号，实现水印信息的嵌入；
12.步骤1_6：在步骤1_5执行完毕后得到每个水印载体对应的含水印4
×
4块；然后根据步骤1_1中提取出的所有信息及所有含水印4
×
4块，对原始hevc视频进行重新编码，得到含水印hevc视频；
13.所述的水印提取的具体过程为：
14.步骤2_1：按水印嵌入过程中所有水印载体的位置索引，从含水印hevc视频中提取出对应位置的4
×
4块；
15.步骤2_2：按水印嵌入过程中水印载体的位置索引的先后顺序依次遍历从含水印hevc视频中提取出的对应位置的4
×
4块，在每个4
×
4块中的第1个像素点的qdst系数和第2个像素点的qdst系数中提取出1位水印信息，提取规则如下：如果当前遍历的4
×
4块中的第1个像素点的qdst系数大于第2个像素点的qdst系数，则提取出的1位水印信息为“1”；如果当前遍历的4
×
4块中的第1个像素点的qdst系数小于第2个像素点的qdst系数，则提取出的1位水印信息为“0”。
16.所述的步骤1_3中，nnc＝‖c‖0，其中，c表示该4
×
4块经qdst后得到的qdst系数矩阵，‖c‖0为c的第一范式，表示c中的非零系数的个数。
17.所述的步骤1_3中，其中，符号“| |”为取绝对值符号，1≤u≤4,1≤v≤4且u＝1时v≠1、v＝1时u≠1，dc表示c中下标位置为(1,1)的qdst系数，ac
(u,v)
表示c中下标位置为(u,v)的qdst系数。
18.所述的步骤1_4中，每个水印载体的位置索引由该水印载体在其所属的p帧中的位置索引、所属的p帧在其所属的gop中的位置索引及所属的gop在原始hevc视频中的位置索引组成。
19.所述的步骤1_5中，当前遍历的水印载体中的第1个像素点和第2个像素点对应为按z字型扫描方式对当前遍历的水印载体中的所有像素点进行排序时确定的第1个像素点和第2个像素点。
20.与现有技术相比，本发明的优点在于：
21.1)本发明方法在hevc视频压缩编码标准下对hevc视频进行水印，根据非零qdst系数的个数和信息熵选择“稳定”的4
×
4块作为水印载体，通过保留或改变水印载体中的第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号实现水印的嵌入，且水印的嵌入不影响视频码率，并能够保证水印在解码端hevc视频中有效地被提取出。
22.2)通过对hevc视频的主观质量和客观质量的分析，水印嵌入后没有明显的失真，说明本发明方法具有良好的不可感知性，对于比特率增加率方面可以实现0比特的增加。
23.3)本发明方法在重压缩的qp不变的情况下，具有高鲁棒性；当qp降低时进行重压缩，水印提取正确率基本可以达到90％以上；当qp逐渐增大时，鲁棒性才逐渐降低。
24.4)hevc视频进行压缩的初始qp的大小设置，对于重压缩的效果会产生影响，当qp分别为24和16时，嵌入相同比特个数的水印序列进行qp不变重压缩的实验结果，可以看出初始qp设置的越小，在qp不变的情况下进行重压缩的水印正确提取率越好。
附图说明
25.图1为本发明方法中的水印嵌入的总体实现框图；
26.图2为本发明方法中的水印嵌入的具体实现框图；
27.图3为本发明方法中的水印提取的总体实现框图；
28.图4为初始qp分别为24和16时，6个标准视频序列中嵌入相同位数的比特信息后进行qp不变重压缩的实验结果；
29.图5为初始qp为16时6个标准视频序列中嵌入相同位数的比特信息后进行qp在10～22范围内变化重压缩的实验结果。
具体实施方式
30.以下结合附图实施例对本发明作进一步详细描述。
31.本发明方法一种控制比特率增加的抗重压缩视频水印方法，其包括水印嵌入和水印提取两部分；如图1和图2所示，水印嵌入的具体过程为：
32.步骤1_1：设定原始hevc视频中的gop(group of picture，图像组)的大小为4且
gop的组成结构为ippp；然后提取出原始hevc视频中的每个gop中的每帧p帧所采用的帧内预测模式、每帧p帧所属的gop在原始hevc视频中的位置索引、每帧p帧中的每个编码块的块划分深度、每帧p帧中的每个编码块对应的预测单元的划分模式、每帧p帧中的每个编码单元在帧中的位置索引、每帧p帧中的每个编码单元中的每个像素点的qdst(quantized discrete sine transform，量化离散正弦变换)系数、每帧p帧中包含的编码单元的个数；其中，原始hevc视频中的gop的位置索引从0开始编号，p帧中的编码单元的位置索引从0开始编号。
33.步骤1_2：针对原始hevc视频中的每个gop中的每帧p帧中的每个编码块，判定该编码块是否为4
×
4块，判定方式为：若该编码块的块划分深度为3且该编码块对应的预测单元的划分模式的数字标识为3，那么判定该编码块为4
×
4块。
34.步骤1_3：计算原始hevc视频中的每个gop中的每帧p帧中的每个4
×
4块的纹理复杂度，对于任一个4
×
4块，将其纹理复杂度记为texture，texture＝nnc+eng+nnc
×
eng；其中，nnc表示该4
×
4块中的所有像素点的qdst系数中的非零系数的个数，eng表示该4
×
4块的信息熵，eng的值为该4
×
4块中的所有像素点的qdst系数的绝对值之和；当nnc和eng值都很大时，它们的联合作用可能会增加视觉敏感区域，因此本发明方法计算纹理复杂度时涉及nnc和eng的加性和乘性组合。
35.具体的，的步骤1_3中，nnc＝‖c‖0，其中，c表示该4
×
4块经qdst后得到的qdst系数矩阵，‖c‖0为c的第一范式，表示c中的非零系数的个数。
36.具体的，步骤1_3中，其中，符号“| |”为取绝对值符号，1≤u≤4,1≤v≤4且u＝1时v≠1、v＝1时u≠1，dc表示c中下标位置为(1,1)的qdst系数(该qdst系数为直流系数)，ac
(u,v)
表示c中下标位置为(u,v)的qdst系数(该qdst系数为交流系数)。
37.由于在视频编码过程中，信息将被集中到低频系数中，中频或高频系数经过量化和变换之后大多数为零，因此本发明方法在计算4
×
4块的纹理复杂度时与qdst系数中的非零系数的个数有关。虽然改变量化参数qp之后，也将会改变4
×
4块中的像素点的qdst系数，但是qdst系数中的非零系数的个数相对稳定。nnc值大的4
×
4块更容易被人注意到，内容结构也更复杂，在视频传输过程中不易丢失。
38.信息熵是图像领域中的一个概念，它表示块中的信息能量，在视频编码过程中，信息熵是4
×
4块中的所有像素点的qdst系数的绝对值的总和。在本发明方法中，信息熵与4
×
4块的纹理复杂度有关。尽管改变量化参数qp极大地改变了每个4
×
4块中的像素点的qdst系数，但4
×
4块的信息熵分布相对稳定，换句话说，在用不同的量化参数qp重新压缩后，具有大信息熵的区域仍然具有大信息熵。
39.步骤1_4：按纹理复杂度从大到小的顺序排序原始hevc视频中的所有4
×
4块；认为排序结果中在前的一部分4
×
4块为“稳定”的4
×
4块，因此然后从排序结果中选择前n个4
×
4块作为水印载体，并存储每个水印载体的位置索引；其中，100≤n≤3000，n的取值实际与视频的内容的运动属性有关，一般运动剧烈的视频，n值可取大些，而对于运动缓慢的视频，n值可取小些，在本实施例中取n＝1000。
40.具体的，步骤1_4中，每个水印载体的位置索引由该水印载体在其所属的p帧中的
位置索引、所属的p帧在其所属的gop中的位置索引及所属的gop在原始hevc视频中的位置索引组成。假设该水印载体为位置索引编号为5的p帧中的索引编号为12的4
×
4块、该p帧所属的gop为原始hevc视频中位置索引编号为2的gop，那么该水印载体的位置索引可表示为(2,5,12)。在实际操作时也可采用其他位置索引方式，目的是清楚地表达所有水印载体的位置。
41.步骤1_5：按水印载体的位置索引的先后顺序依次遍历每个水印载体，在每个水印载体中的第1个像素点的qdst系数和第2个像素点的qdst系数中嵌入1位水印信息，嵌入规则如下：当待嵌入的1位水印信息为“1”时，如果当前遍历的水印载体中的第1个像素点的qdst系数大于第2个像素点的qdst系数，则保持第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数小于第2个像素点的qdst系数，且第1个像素点的qdst系数大于或等于0，则保持第1个像素点的qdst系数的符号不变，改变第2个像素点的qdst系数的符号，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数小于第2个像素点的qdst系数，且第1个像素点的qdst系数和第2个像素点的qdst系数均小于0，则改变第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号，实现水印信息的嵌入；在除上述情况外的其他情况下，改变第1个像素点的qdst系数的符号，保持第2个像素点的qdst系数的符号不变，实现水印信息的嵌入。
42.当待嵌入的1位水印信息为“0”时，如果当前遍历的水印载体中的第1个像素点的qdst系数小于第2个像素点的qdst系数，则保持第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数大于第2个像素点的qdst系数，且第1个像素点的qdst系数和第2个像素点的qdst系数均大于或等于0，则改变第1个像素点的qdst系数的符号，保持第2个像素点的qdst系数的符号不变，实现水印信息的嵌入；如果当前遍历的水印载体中的第1个像素点的qdst系数大于第2个像素点的qdst系数，且第1个像素点的qdst系数大于或等于0，第2个像素点的qdst系数小于0，则改变第1个像素点的qdst系数的符号和第2个像素点的qdst系数的符号，实现水印信息的嵌入；在除上述情况外的其他情况下，保持第1个像素点的qdst系数的符号不变，改变第2个像素点的qdst系数的符号，实现水印信息的嵌入。
43.具体的，步骤1_5中，当前遍历的水印载体中的第1个像素点和第2个像素点对应为按z字型扫描方式对当前遍历的水印载体中的所有像素点进行排序时确定的第1个像素点和第2个像素点。
44.步骤1_6：在步骤1_5执行完毕后得到每个水印载体对应的含水印4
×
4块；然后根据步骤1_1中提取出的所有信息及所有含水印4
×
4块，对原始hevc视频进行重新编码，得到含水印hevc视频。
45.如图3所示，水印提取的具体过程为：
46.步骤2_1：按水印嵌入过程中所有水印载体的位置索引，从含水印hevc视频中提取出对应位置的4
×
4块。
47.步骤2_2：按水印嵌入过程中水印载体的位置索引的先后顺序依次遍历从含水印hevc视频中提取出的对应位置的4
×
4块，在每个4
×
4块中的第1个像素点的qdst系数和第2个像素点的qdst系数中提取出1位水印信息，提取规则如下：如果当前遍历的4
×
4块中的第
1个像素点的qdst系数大于第2个像素点的qdst系数，则提取出的1位水印信息为“1”；如果当前遍历的4
×
4块中的第1个像素点的qdst系数小于第2个像素点的qdst系数，则提取出的1位水印信息为“0”。
48.为验证本发明方法的性能，对本发明方法进行实验。
49.在hevc的参考软件模型hm16.20上实现本发明方法并进行仿真实验，实验中使用了不同分辨率和纹理复杂度的标准视频序列，标准视频序列的分辨率如表1所列。表2给出了hevc的参考软件模型hm16.20的主要编码配置参数，其它参数按照默认配置。
50.表1标准视频序列的分辨率
51.标准视频序列分辨率racehorses416
×
240basketballdrilltext832
×
480partyscene832
×
480bqmall832
×
480chinaspeed1024
×
768basketballdrive1920
×
1080
52.表2 hevc的参考软件模型hm16.20的主要编码配置参数
53.参数配置versionhm16.20gop structurei-p-p-pqp24intraperiod4intraqpoffset0
54.实验中在每个标准视频序列的前60帧的p帧中的4
×
4块中嵌入水印，水印是大小为50
×
20的二值图像，即水印含有1000位水印信息即比特信息。
55.为了验证本发明方法的有效性，通过几个实验评估了本发明方法的不可感知性、鲁棒性、比特率增长率。
56.利用本发明方法对6个标准视频序列进行处理(qp＝24)，得到对应的含水印视频，然后分别用qp＝18、qp＝20、qp＝22、qp＝24和qp＝26对6个含水印视频进行重压缩，再提取水印信息，将提取的1000位比特信息恢复成二值图像，结果如表3所示。从表3中可以看出，在重压缩的qp不变的情况下，提取的二值图像含有的噪声较少；当qp降低时，提取的二值图像的效果更好；当qp增大时，提取的二值图像含有的噪声较多。
57.表3不同qp重压缩下提取的二值图像
58.标准视频序列原始水印qp＝18qp＝20qp＝22qp＝24qp＝26bqmallnbutnbutnbutnbutnbutnbutchinaspeednbutnbutnbutnbutnbutnbutracehorsesnbutnbutnbutnbutnbutnbutbasketballdrivenbutnbutnbutnbutnbutnbutbasketballdrilltextnbutnbutnbutnbutnbutnbut
partyscenenbutnbutnbutnbutnbutnbut
59.初始qp的设置对重压缩的影响，从表3所列的结果可分析得到，视频进行压缩的初始qp的大小设置，对于重压缩的效果会产生影响，主要是qp的增加会导致量化步长qstep也随之增加，4
×
4块的个数将会减少且更多的qdst系数趋近于0。图4给出了初始qp分别为24和16时，6个标准视频序列中嵌入相同位数的比特信息后进行qp不变重压缩的实验结果，从图4中可以看出，初始qp设置的越小，在qp不变的情况下进行重压缩的水印提取正确率越好。在图4中，水印提取正确率简写为wea(watermark extraction accuracy)，wea用于测量水印的鲁棒性，根据dutta t and gupta h p.2016.a robust watermarking framework for high efficiency video co ding(hevc)-encoded video with blind extraction process.journal of visual communication and image representation,38:29-44[doi:10.1016/j.jvcir.2015.12.007](一种用于高效视频编码的鲁棒水印框架
‑‑
盲提取过程编码，《可视化通信与图像显示》)和maloo s,lakshmi n and pareek n k.2018.study of digital watermarking techniques for agai nst security attacks.smart innovation,systems and technologies,83:2190-3018[doi:10.100 7/978-3-319-63673-3_61](抗安全攻击的数字水印技术研究，《智能创新、系统和技术》)，水印的鲁棒性定义为：其中，eb表示错误位数，tb表示嵌入的总位数。
[0060]
为了验证本发明方法在重压缩qp变化时提取的水印的鲁棒性，测试了6个标准视频序列的初始qp为16时而在重压缩过程中重压缩qp变化范围为10～22时提取的水印的鲁棒性。图5给出了初始qp为16时6个标准视频序列中嵌入相同位数的比特信息后进行qp在10～22范围内变化重压缩的实验结果，从图5中可以看出，在这个qp变化范围内，水印提取正确率基本可以达到80％以上。当qp为10、12、14和16时qstep分别为2.00、2.52、3.18和4，从图5中还可以看出，对含水印视频选择qp＝10进行重压缩的效果较好，主要是因为qstep越小，在qdst量化变换过程之后，qdst系数较大，对水印提取造成的误差较小；另外qp＝12和14时，其qstep都是小数，而qdst量化变换是取整操作，得到的qdst系数对水印提取造成的误差相较于qp＝10时更大。
[0061]
表4给出了当初始qp＝16和初始qp＝24时，liu等人提出的方法和本发明方法在重压缩下的wea结果，由于本发明方法是半盲性的，为了实现在同一条件下的实验设置，这里将liu等人提出的方法也修改成半盲性的算法，即将嵌入水印的载体位置信息也记录下来传输给解码端，这样解码端可根据记录下来的位置进行水印提取。liu等人提出的方法为y x liu,s y liu,h g zhao,et al,“a new data hiding method for h.265/hevc video stream s without intra-frame distortion drift,”multimedia tools and applications,vol.78no.6,pp:64 59-6486,2019.(一种新的无帧内失真漂移的h.265/hevc视频流数据隐藏方法”，《多媒体工具与应用》)。
[0062]
表4 liu等人提出的方法和本发明方法在重压缩下的wea结果比较
[0063][0064]
从表4中可以看出，本发明方法对含水印视频重压缩的效果更好，本发明方法在初始qp＝16的情况下在qp＝14、qp＝16和qp＝18下进行重压缩的平均wea分别为89.57％、97.58％和84.45％，而liu等人提出的方法在初始qp＝16的情况下在qp＝14、qp＝16和qp＝18下进行重压缩的平均wea分别为52.17％、94.97％和48.87％；本发明方法在初始qp＝24的情况下在qp＝22、qp＝24和qp＝26下进行重压缩的平均wea分别为92.55％、95.78％和78.95％，而liu等人提出的方法在初始qp＝24的情况下在qp＝22、qp＝24和qp＝26下进行重压缩的平均wea分别为56.03％、89.45％和48.33％。
[0065]
表5给出了当初始qp＝16和初始qp＝24时，liu等人提出的方法和本发明方法在嵌入水印前后的视频比特率增加率结果。比特率增加率(bir，bit rate increase ratio)是用于测量视频水印技术效率的另一个重要指标，定义bir为水印嵌入前后比特率变化的百分比，即：其中，wv
br
表示含水印视频的比特率，o
br
表示原始视频的比特率。
[0066]
表5 liu等人提出的方法和本发明方法在嵌入水印前后的视频比特率增长率结果比较
[0067][0068][0069]
从表5中可以看出，本发明方法可以保持比特率在水印嵌入前后不变，即充分说明了本发明方法在比特率增加率这一方面上，可以实现0比特增加，这主要是因为非零qdst系数的符号位采用旁路编码方式，qdst系数的符号信息用语法元素coeff_sign_flag表示，其中非零qdst系数是正值时，用“1”表示，负值时用“0”表示。xu d w.2019.commutative encryption and data hiding in hevc video compression.ieee access,7:66028-66041[doi:10.1109/access.2019.2916484](hevc视频压缩中的加密和数据隐藏，《ieee access》)指出在旁路模式下编码，coeff_sign_flag从“0”改成“1”，或者从“1”改为“0”，不会影响压缩过程的比特数，所以比特率在嵌入前后将保持不变。