H.264/AVC视频视觉质量无损可逆信息隐藏方法与流程

本发明涉及视频压缩域的隐写技术领域，具体涉及一种h.264/avc视频视觉质量无损可逆信息隐藏方法，是一种基于宏块cbp系数值的h.264/avc视频视觉质量无损可逆信息隐藏方法。

背景技术：

21世纪，人类社会进入了信息时代，互联网及通信技术的蓬勃发展导致信息数量爆炸式增长。“互联网+”理念给人们提供多元化选择的同时，也带来了越来越多的潜在威胁。网络是一个公开的平台，保密级别再高的网络也存在被破解的风险。从民生问题到国家安全，信息的重要性越发得到体现。在机遇与挑战并存的信息时代，如何保障信息安全成了世界性研究课题。多媒体信息隐写是信息安全领域的重要分支。数字视频因其数据量大，能容纳密信数量多的特点，成为理想的隐写载体。h.264/avc是目前使用最广泛的视频编码标准，广泛应用在互联网的各种产品中，因此研究以其为载体的隐写方法有重要的理论意义和实际应用价值。

传统的信息隐藏方法在信息嵌入过程中多多少少会修改载体的某些特征值，且这种变化通常不可逆，从而造成载体的永久失真。但在某些应用场景中，载体的原始数据需要完整地保留，任何一点失真都会造成不可估量的影响，比如在医学图像中嵌入病人信息、在机密文件中隐藏访问权限等。针对这种无法接受载体失真的信息隐藏场景，可逆信息隐藏技术得以发挥作用。

可逆信息隐藏是以可逆的方式将信息隐藏到数字媒体中，通过设计合理的调制策略，使得信息嵌入过程造成的载体失真可逆。差值扩展和直方图平移算法是两种主要的可逆信息隐藏技术，可以应用于图像、视频等载体。

可逆信息隐藏技术在图像信息隐藏领域发展的较为成熟，其中基于空间域的成果最为丰富。2003年8月juntian在期刊ieeetransactionsoncircuits&systemsforvideotechnology中发表文章《reversibledataembeddingusingadifferenceexpansion》，首次提出了差值扩展可逆隐写算法模式，利用整数哈尔(haar)小波变换扩展相邻像素对的差值嵌入密信。2006年ni等人在期刊ieeetransactionsoncircuits&systemsforvideotechnology中发表文章《reversibledatahiding》，提出了基于直方图平移理论的可逆信息隐藏算法，与其他可逆隐写算法相比，直方图平移算法具有较低的计算复杂度且具有较好的隐藏性能。

图像可逆信息隐藏很多研究理论可被推广到视频可逆信息隐藏当中。选择qdct系数来嵌入密信是以视频为载体的可逆信息隐藏算法中最为常见的做法。2012年lin等人在期刊proceedingsofworldacademyofscienceengineering&technology中发表文章《reversiblewatermarkingforh.264/avcvideos》，提出了基于直方图平移理论的可逆水印算法，该算法收集了所有4×4块qdct系数的最后一个非零系数，并用前一个系数预测后一个系数得到预测残差，在预测残差的直方图中进行修改嵌入水印信息。2012年liu等人在journalofsoftware上发表文章《reversibledatahidingschemebasedonh.264/avcwithoutdistortiondrift》，针对修改i帧引入的漂移误差提出了消除漂移误差的可逆信息隐藏算法。2016年zhao等人在期刊multimediatools&applications上发表文章《anoveltwo-dimensionalhistogrammodificationforreversibledataembeddingintostereoh.264video》，对传统一维直方图平移技术上进行了改进，提出了二维直方图平移策略在h.264/avc视频qdct系数上嵌入密信，系数修改幅度为1时最多可嵌入3比特密信。此算法大大提高了嵌入效率，提升嵌入容量的同时也能获得较好的视觉质量。

目前基于视频的可逆信息隐藏算法普遍存在以下不足：

1、嵌入过程中的修改使得载体视频像素值发生变化，引入失真造成视频视觉质量下降。尽管按照可逆信息隐藏的定义，此类失真可以在提取过程中完全地恢复，但在接收方提取密信之前，载体中仍然存在失真。因此含密载体文件在信道传输时仍然需要考虑视频视觉质量下降带来的安全性问题。

2、可逆信息隐藏算法在设计调制策略时，为了保证可逆普遍存在无效修改，即对载体进行修改但不携带任何密信。例如直方图平移算法中需要对峰值点和零点之间所有点进行平移，不嵌入密信；差值扩展算法中需要在载体中额外嵌入位置图来实现可逆，同样属于无效修改。无效修改降低了算法效率。

技术实现要素：

本发明针对可逆隐写技术在视频隐写领域存在的不足，提供了一种基于宏块cbp系数值的h.264/avc视频视觉质量无损可逆信息隐藏方法；本方法在嵌入密信的同时不引入任何失真，嵌入后能得到视频视觉质量完全无损的视频，大大提高了方法的安全性。

本发明的目的可以通过如下技术方案实现：

h.264/avc视频视觉质量无损可逆信息隐藏方法，包括密信嵌入和密信提取两个部分，其特征在于，所述的密信嵌入包括以下步骤：

1)对h.264视频压缩码流进行熵解码，读取当前解码帧的第一个宏块，获得其宏块预测模式；

2)判断当前宏块预测模式是否为i4、p16×16、p16×8、p8×16或p8×8：若是，读取当前宏块的cbp系数值，执行步骤3)；否则，读取下一个宏块，重新执行步骤2)；

3)依次读取cbp系数的低4位，若当前位等于1，则跳过此位，不嵌入密信；若当前位等于0，则嵌入1比特密信；嵌入规则是将当前位修改为与待嵌密信值一致；

4)读取cbp系数的高2位，按以下三种情况进行处理：第一，若其值为10，则跳过此两位，不嵌入密信；第二，若其值为00，可嵌入2比特或1比特密信，嵌入规则是：当密信为1时，将当前两位修改为10；当密信为00时，不作修改；当密信为01时，将当前两位修改为01；第三，若其值为01，可嵌入1比特密信；嵌入规则是：当密信为1时，将当前两位修改为10；当密信为0时，不作修改；

5)读取下一个宏块，获得其宏块预测模式，跳到步骤2)；若当前帧遍历完毕，重新对该帧进行熵编码，读取下一帧，跳到步骤1)，若视频序列中所有帧均已处理完毕，或者密信全部嵌入完毕，则结束嵌入过程，输出嵌密后的视频码流；

所述的密信提取过程包括以下步骤：

(1)对h.264视频压缩码流进行熵解码，读取当前解码帧的第一个宏块，获得其宏块预测模式；

(2)判断当前宏块预测模式是否为i4、p16×16、p16×8、p8×16或p8×8：若是，读取当前宏块的cbp系数值，执行步骤(3)；否则，读取下一个宏块，重新执行步骤(2)；

(3)依次读取cbp系数的低4位，若当前位等于0，则提取1比特密信，其值为0；若当前位等于1，则进一步读取该位所对应的8×8亮度子块，判断其所含系数是否全为0：若是，则提取1比特密信，其值为1，同时将当前cbp系数位重置为0；否则，认为该位无密信隐藏，不作提取；

(4)读取cbp系数的高2位，按以下三种情况进行处理；a)若其值为00，则提取2比特密信，其值为00，无需修改当前2位cbp系数；b)若其值为01，需读取该宏块的色度分量，若其dc系数全为0，可提取2比特密信，其值为01，同时将当前2位cbp系数重置为00；若其dc系数不全为0，可提取1比特密信，其值为0，无需修改当前2位cbp系数；c)若其值为10，需读取该宏块的色度分量，若其所有系数均为0，可提取1比特密信，其值为1，并将当前2位cbp系数重置为00；若其ac系数全为0但dc系数不全为0，可提取1比特密信，其值为1，并将当前2位cbp系数重置为01；若其ac系数不全为0，则跳过当前宏块不进行密信提取，也无需修改当前2位cbp系数；

(5)读取下一个宏块，获得其宏块预测模式，跳到步骤(2)，若当前帧遍历完毕，重新对该帧进行熵编码，读取下一帧，跳到步骤(1)，若视频序列中所有帧均已处理完毕，或者密信全部提取完毕，则结束提取过程，输出密信提取后的视频码流。

为进一步实现本发明目的，优选地，步骤1)中，所述的h.264视频的分辨率大小为352×288。

优选地，步骤1)中，所述的宏块预测模式的测试序列的帧结构为ipppp，每个gop组含有5帧；编码测试序列时，i帧、p帧均采用固定量化参数28，编码帧率为25帧/秒，均编码100帧；宏块预测模式保存在currmb->mb_type变量当中，cbp系数保存在currmb->cbp变量当中。

优选地，步骤1)中，所述的宏块的cbp系数值共6位，最高两位用来表示色度分量的情况；色度cbp系数值为00时表示所有色度系数全为0，不用传输系数；色度cbp系数值为01时表示cb和cr分量中ac系数全为0，但至少有一个dc系数不为0，只需要传输dc系数；色度cbp系数值为10时表示cb和cr分量中至少有一个ac系数不为0，dc系数和ac系数都传输；cbp系数值的低4位用来表示亮度分量的情况，4位系数从低到高分别对应从上到下从左到右的4个8×8亮度块；如果某位系数为1，表示该位对应的8×8亮度块中至少有一个量化dct系数不为0；反之则表示该8×8亮度块中量化dct系数全为0。

优选地，步骤1)中，所述的宏块预测模式为i4、i16、ipcm、p16×16、p16×8、p8×16、p8×8和pskip模式；其中，i16宏块的cbp系数值是与帧内预测模式联合编码的，i16宏块不可嵌入密信；ipcm宏块直接传输图像的像素值，不存在qdct系数和cbp系数值；pskip模式为copy模式，通过运动向量获得预测像素值，令宏块的重构像素值直接等于预测像素值；pskip宏块没有qdct系数和cbp系数值；ipcm宏块和pskip宏块都不使用cbp系数值来嵌入密信。

优选地，用block8×8表示8×8亮度子宏块的序号，cbp_block8×8表示cbp系数中第block8×8位的系数值；嵌入时，读取8×8亮度子宏块对应的cbp_block8×8值，若cbp_block8×8等于1，不嵌入密信；若cbp_block8×8等于0，嵌入1比特密信，密信值为1时将cbp_block8×8修改为1，否则不作修改。

优选地，用block8×8表示8×8亮度子宏块的序号，cbp_block8×8表示cbp系数中第block8×8位的系数值；提取时，读取8×8亮度子宏块对应的cbp_block8×8值，若cbp_block8×8等于0，提取1比特密信，密信值为0；若cbp_block8×8等于1，判断当前8×8亮度子宏块系数值是否全为0；若是则提取1比特密信，密信值为1，将cbp_block8×8恢复为0；若8×8亮度子宏块中存在非零系数值，不提取密信。

本发明将熵解码模块和熵编码模块进行整合，在熵解码之后、熵编码之前执行嵌入和提取操作，跳过了复杂的预测、变换过程，大大降低了方法的时间复杂度。

所述步骤1)和步骤2)中，只选择预测模式为i4、p16×16、p16×8、p8×16、p8×8的宏块进行密信嵌入或提取操作，其它预测模式的宏块不符合本方法的嵌入/提取条件。

所述步骤3)和步骤4)中，先对宏块cbp系数中对应亮度分量的低4位系数进行密信嵌入，再对cbp系数中对应色度分量的高2位系数进行密信嵌入。

所述步骤(3)和步骤(4)中，先对宏块cbp系数中对应亮度分量的低4位系数进行密信提取，再对cbp系数中对应色度分量的高2位系数进行密信提取。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明创新性地选择了h.264/avc视频宏块的cbp系数进行嵌入。cbp系数值决定了量化dct系数是否需要编码，本发明通过调制cbp系数，在量化dct系数不需要编码时进行嵌入。嵌入完成后，某些原本不需要传输的零系数被另外编码，但量化dct系数值不受影响。视频像素值由量化dct系数重建得到，因此视频视觉质量也不受任何影响。

2、本发明结合cbp系数特点设计了隐写策略。宏块的cbp系数值共6位，最高两位用来表示色度分量的情况；低4位用来表示亮度分量的情况，4位系数从低到高分别对应从上到下从左到右的4个8×8亮度块。该策略在亮度cbp系数和色度cbp系数中各自嵌入密信，其中亮度cbp系数为0时，嵌入1比特密信；亮度cbp系数为1时，不嵌入密信；色度cbp系数为00时，嵌入1到2比特密信；色度cbp系数为01时，嵌入1比特密信；色度cbp系数为10时，不嵌入密信。该策略只在嵌入密信时才对载体进行修改，不存在无效修改，嵌入效率较高。

3、本发明将熵解码模块和熵编码模块进行整合，在熵解码之后、熵编码之前执行嵌入和提取操作，跳过了复杂的预测、变换过程，大大降低了方法的时间复杂度。

附图说明

图1为本发明一种基于宏块cbp系数值的h.264/avc视频视觉质量无损可逆信息隐藏方法的嵌入和提取过程流程框图。

图2(a)为亮度cbp系数(低4位)嵌入策略状态转移图。

图2(b)色度cbp系数(高2位)嵌入策略状态转移图。

图3为本发明方法有效性验证方式流程框图。

具体实施方式

为更好地理解本发明，下面结合实施例及附图对本发明作进一步的描述，但本发明的实施方式不限于此。

实施例：

本实施例提供了一种基于宏块cbp系数值的h.264/avc视频视觉质量无损可逆信息隐藏方法，嵌入(或提取)流程框图如图1所示，嵌密(或提取)过程主要分为五个步骤，包括获取cbp系数和宏块预测模式、选择符合要求的宏块、对亮度cbp系数进行嵌入(或提取)、对色度cbp系数进行嵌入(或提取)、继续熵编码得到压缩视频。下面以9个cif视频组成的视频库作为实施例来详细介绍本发明的实施过程。实施例中采用h.264/avc官方测试模型jm-18.6作为编解码器，所有测试视频的分辨率大小为352×288。测试序列的帧结构为ipppp，每个gop组含有5帧。编码测试序列时，i、p帧均采用固定量化参数28，编码帧率为25帧/秒，均编码100帧。

第一步，获取cbp系数和宏块预测模式。

对h.264/avc视频文件进行熵解码操作，得到cbp系数和宏块预测模式。在jm-18.6中，宏块的预测模式保存在currmb->mb_type变量当中，cbp系数保存在currmb->cbp变量当中。宏块的cbp系数值共6位，最高两位用来表示色度分量的情况。色度cbp系数值为00时表示所有色度系数全为0，不用传输系数；色度cbp系数值为01时表示cb和cr分量中ac系数全为0，但至少有一个dc系数不为0，只需要传输dc系数；色度cbp系数值为10时表示cb和cr分量中至少有一个ac系数不为0，dc系数和ac系数都传输。cbp系数值的低4位用来表示亮度分量的情况，4位系数从低到高分别对应从上到下从左到右的4个8×8亮度块。如果某位为1，表示该位对应的8×8亮度块中至少有一个量化dct系数不为0；反之则表示该8×8亮度块中量化dct系数全为0。编码过程中，遇到cbp系数值某一位为0的情况，可以直接跳过对应块量化dct系数的编码过程，只需保存cbp系数值。对应的，解码过程中若发现cbp系数值某一位为0，直接将对应块的量化dct系数全部置为0即可。

第二步，选择符合要求的宏块。

考虑只使用i帧和p帧进行编码的情况，宏块有如下几种基本的预测类型：i4、i16、ipcm、p16×16、p16×8、p8×16、p8×8和pskip模式。其中，i16宏块的cbp系数值是与帧内预测模式联合编码的，因此i16宏块不可嵌入密信。ipcm宏块直接传输图像的像素值，不经过预测和变换过程也就不存在qdct系数和cbp系数值。pskip模式也叫copy模式，通过运动向量获得预测像素值，令宏块的重构像素值直接等于预测像素值。pskip宏块同样没有qdct系数和cbp系数值。因此ipcm宏块和pskip宏块都不可使用cbp系数值来嵌入密信。本发明选择i4、p16×16、p16×8、p8×16、p8×8类型的宏块作为载体来嵌入密信。

第三步，对亮度cbp系数进行嵌入和提取。

宏块cbp系数值中低4位为亮度分量cbp系数值，分别表示四个8×8大小的亮度块中系数值情况。用block8×8表示8×8亮度子宏块的序号，cbp_block8×8表示cbp系数中第block8×8位的系数值。

嵌入时，状态转移图如图2(a)所示。读取8×8亮度子宏块对应的cbp_block8×8值，若cbp_block8×8等于1，不嵌入密信；若cbp_block8×8等于0，嵌入1比特密信，密信值为1时将cbp_block8×8修改为1，否则不作修改。

提取时，读取8×8亮度子宏块对应的cbp_block8×8值，若cbp_block8×8等于0，提取1比特密信，密信值为0；若cbp_block8×8等于1，判断当前8×8亮度子宏块系数值是否全为0。若是则提取1比特密信，密信值为1，将cbp_block8×8恢复为0；若8×8亮度子宏块中存在非零系数值，不提取密信；

第四步，对色度cbp系数进行嵌入和提取。

宏块cbp系数值中高2位为色度分量cbp系数值，两个色度分量共用一个色度cbp变量。

嵌入时，状态转移图如图2(b)所示。读取色度cbp系数值，若色度cbp系数值等于00，可嵌入2比特或1比特密信。当密信为00时，不作修改；当密信为01时，将色度cbp系数值修改为01；当密信为1时，将色度cbp系数值修改为10。若色度cbp系数值等于01，可嵌入1比特密信。当密信为1时，将色度cbp系数值修改为10，否则不作修改。若色度cbp系数值等于10，不嵌入密信，不修改色度cbp系数值。

提取时，读取色度cbp系数值，若色度cbp系数值等于00，提取2比特密信，密信值为00；若色度cbp系数值等于01，可提取2比特或1比特密信。当色度分量dc系数全为0时，提取密信01，将色度cbp系数值恢复为00；当色度分量dc系数不全为0时，提取密信0，不修改色度cbp系数值；若色度cbp系数值等于10，读取该宏块的色度分量，当色度分量所有系数均为0，提取1比特密信，密信值值为1，将色度cbp系数值恢复为00；当色度分量ac系数全为0但dc系数不全为0时，提取1比特密信，密信值值为1，将色度cbp系数值恢复为01；当色度分量ac系数不全为0，则跳过当前宏块不进行密信提取，也不修改色度cbp系数值；

第五步，继续熵编码得到压缩视频。

熵编码得到嵌入密信后的压缩视频。本实例选取了akiyo、bus、city、crew、foreman、ice、mobile、paris、students一共9段视频序列作为测试视频。包括了背景单一、复杂，画面缓慢移动、快速运动等各种典型视频序列，所有测试视频的分辨率大小为352×288。测试序列的帧结构为ipppp，每个gop组含有5帧。编码测试序列时，i、p帧均采用固定量化参数28，编码帧率为25帧/秒，均编码100帧。隐写过程对视频主观视觉质量无任何影响，具有绝佳的视觉隐蔽性。以亮度分量为例，如图3所示，本发明只在cbp系数为0时进行嵌入，即使cbp被修改为1，编码器也只是多此一举地编码了全0亮度子块系数，解码时同样能得到的全为0的量化dct系数，色度分量同理。因此本发明嵌入完成后能得到完全无损的视频。

本发明的实施方式并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及构思加以等同替换或改变，都属于本发明专利的保护范围。