专利名称：一种基于h264的语义信息传输与保护方法
技术领域：
本发明属于数字视频信息安全技术领域，更为具体地讲，涉及一种基于H264的语义信息传输与保护方法。
背景技术：
随着电子集成技术、计算机网络技术、多媒体技术等多项技术的快速发展，多媒体信息(文本、图像、音频和数字视频等)尤其是可视化的数字视频在互联网中得到了广泛的传播和应用。但由于数字视频具有可编辑、复制性，使得越来越多的人在享受数字视频给人们带来便利的同时，也给出于不同目的的盗版和侵权行为可乘之机。因此采取有效手段来保障数字视频作者的版权及其经济利益，保障数字视频的安全、可信，已经成为日益严重的社会问题。
同时随着数字视频压缩技术的飞速发展，数字视频在互联网上的交流、传播达到前所未有的深度和广度，其发布形式也愈加丰富，人们正面临一个巨大的数字视频海洋。中国互联网络信息中心2012年I月发布的《第29次中国互联网络发展状况统计报告》显示，中国网络视频用户数量增至3. 25亿，年增至率达到14. 6%，数字视频的数据量和使用率都在急剧增加。但人们的满意程度并没有随着数字视频信息量的增多而提高，对用户来说，大量的数字视频信息并不是引起兴趣的关键，如何能够在众多的数字视频信息中寻找到自己需要的内容才是兴趣所在。数字视频承载着丰富的信息内容，但原始数字视频数据除了含有采样频率、量化精度、编码方法等有限的注册信息外，本身仅仅是一种非语义符号表示和非结构化的二进制流，缺乏内容语义的描述，因此，如何跨越“语义鸿沟”，用人类的思维语言高效快速的找到所需信息已成为数字视频领域亟待解决的问题。利用密码算法加密内容是最早解决数字视频产品版权保护的方法，但是该方法只能在传输过程中保护数字产品的安全，一旦数据被解密后就无法保证数字产品的安全。自九十年代开始，数字水印技术的出现大大弥补了密码学方法的不足。数字水印技术将隐蔽信息嵌入在数字多媒体中，既可保护多媒体作者的知识产权和防止多媒体被篡改，也可实现语义信息的有效传输。但数字水印技术随着技术的进步，但安全性、可靠性需要进一步提闻。当前，语义标引是解决互联网信息资源发现、查找、识别、传输、控制和主动服务等问题的有效方法。在信息空间中，URL (Uniform Resource Locator)按地址定位方式完全没有根据数字视频的语义信息来定位该视频，造成了数字视频出现大量信息冗余。因此在复杂的网络环境中，使得语义标引技术在数字视频信息共享中的应用价值变得越来越明显。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于H264的语义信息传输与保护方法，既保障对数字视频版权和内容语义信息的有效传输，又充分保障了其安全性、可靠性。为实现上述目的，本发明基于H264的语义信息传输与保护方法，其特征在于，包括以下步骤(I)、对H264规范的数字视频根据语义规范与语义标引技术进行语义信息标引，得到其包括版权语义信息以及内容语义的n维语义信息，将n维语义信息分别进行预处理，得到n幅二值图像，每幅二值图像为一个鲁棒语义水印；(2)、将每个鲁棒水印依次嵌入到H264规范的数字视频I帧DCT域的中频系数中，同时将嵌入鲁棒水印的中频系数作为特征信息转化为脆弱水印；(3)、将脆弱水印嵌入到H264规范的数字视频I帧P帧的运动矢量中。 本发明的发明目的是这样实现的本发明基于H264的语义信息传输与保护方法，首先对H264规范的数字视频进行语义信息标引，得到n维语义信息并预处理为n幅二值图像，作为鲁棒水印嵌入在H264规范数字视频I帧DCT域的中频系数中，以实现数字视频分类和共享，解决普遍存在的带宽瓶颈、信息垃圾以及用户数字鸿沟等问题。由于I帧中语义水印具有较好的鲁棒性，保证了语义信息传输的稳健性，有利于用户终端的各种扩展应用，保证鲁棒水印即语义信息的安全性、完整性。同时将该中频系数作为特征信息转化为脆弱水印，最后将此脆弱水印嵌入在P帧的运动矢量中，由于P帧的运动向量具有好的脆弱性，可利用脆弱水印验证鲁棒语义水印，即语义信息的完整性、可靠性，充分保证了语义信息的安全。
图I是本发明基于H264的语义信息传输与保护方法一具体实施方式
流程图；图2是鲁棒语义水印的生成过程流程图；图3是鲁棒语义水印嵌入位置的选择流程图；图4是Zig-zag扫描流程图；图5是1/4像素运动估计搜索图；图6是脆弱水印提取与认证流程图；图7是Akiyo序列中I、P帧水印嵌入前后对比8是Mother-Daughter序列中I、P帧水印嵌入前后对比9是Mother-Daughter序列QP=26时水印嵌入前后PSNR的变化曲线10是Mother-Daughter序列QP=28时水印嵌入前后PSNR的变化曲线11是Mother-Daughter序列在经过各种攻击后提取出来的水印图像
具体实施例方式下面结合附图对本发明的具体实施方式
进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。图I是本发明图I是本发明基于H264的语义信息传输与保护方法一具体实施方式
流程图。
在本实施例中，如图I所示，本发明基于H264的语义信息传输与保护方法包括步骤步骤101、语义信息标引对H264规范的数字视频根据语义规范与语义标引技术进行语义信息标引，得到其包括版权语义信息以及内容语义的n维语义信息步骤102、预处理将n维语义信息分别进行预处理，得到n幅二值图像，每幅二值图像为一个鲁棒语义水印；步骤103、鲁棒语义水印的嵌入
将每个鲁棒水印依次嵌入到H264规范的数字视频I帧DCT域的中频系数中，步骤104、脆弱水印的提取将嵌入鲁棒水印的中频系数作为特征信息转化为脆弱水印；步骤105、脆弱水印的嵌入将脆弱水印嵌入到H264规范的数字视频P帧的运动矢量中。通过上述嵌入后的H264规范的数字视频中I帧为含有鲁棒语义水印的I帧，P帧为含有脆弱水印的P帧，最后得到的是含鲁棒语义水印以及脆弱水印的码流，即数字视频。在本实施例中，各个步骤的具体实现如下I、语义标引针对数字视频语义空间中不考虑低层语义描述，如画面中颜色、纹理，也不考虑太高层的语义描述，这样的检索留待深入语义检索的研究来做，在本实施例中，标引的语义信息如表I所示
~H 分量名称中文名称miIi
m- f/iGroup--级分类信息资源首级分类
语义信息
t/2Subject二级分类明星信息资源次级分类
t/3Titie题目Sdiirn伤后复出信息内容标题
t/4:Keywords 关键词两会、维稳资源主题关键词
C/5Description 内容概述最近，…内容文本简介描述
"《Language 描述语言简体中文信息内容使用语言
版权 [/^Creator 创作者高大军资源创作者或组织
语义信窗、
C/8:Publisher 出版者优酷资源信息发布实体
U9Me日期2012-03-11资源相关日期
其它语义信t/ioType类型H264、AVl资源编码类型
息 t/nrFormat 传播级别允许、禁止信息传播级别
t/i2Expansion 扩充部分如大小等自定义表I数字视频的内容语义信息、版权语义信息及其它语义信息都可用矢量来表达，通过对语义矢量的关联或映射计算，在浩瀚的信息空间中按内容准确定位文件。语义信息可以用向量表示为U= IU1, U2，…，Ui,…，UJ(I)式中Ui, i e n ；n是语义信息的分量数，即多维矢量表示的语义信息的维度。2、语义信息的预处理与鲁棒语义水印嵌入2. I、语义信息预处理，即鲁棒语义水印的生成根据语义规范与语义标引技术对数字视频进行语义标引，可以得到视频资源的n维语义信息U。由于二值图像中的所有像素都由0、1代替，且占用的空间极少，因此，在本实 施例中，利用MATLAB将n维语义信息转换为n幅二值图像，大大方便了语义信息的嵌入与提取。同时由于二值图像相邻像素必然具有一定的相关性，假设鲁棒语义水印的提取算法被不法分子得到，二值图像信息将很容易被攻击者得到，所以，在本实施例中，将二值图像作为鲁棒语义水印之前，对其进行预处理，使得语义水印信息能量分散，消除语义水印信息中相邻像素的相关性，提高语义水印的鲁棒性。在本实施例中，采用混沌加密对二值图像进行预处理，具体的预处理过程如图2所示。由图2可知，为了保证语义水印的安全性、鲁棒性，可以对二值图像进行混沌加密，具体加密过程如下步骤201、利用MATLAB将语义信息Ui转化为二值图像，步骤202、按例对二值图像进行扫描，将其映射为一维二值序列Ti ；步骤203、为了加强置乱的效果，用Logistic映射混沌加密算法对二值序列Ti进行混沌加密产生跟一维二值序列Ti同等长度的两列一维混沌序列S1和S2,用这两列混沌序列的异或结果作为加密信号，根据公式(2)，对二值序列Ti进行混沌加密，得到加密后二值图像Ti的一维二值序列，并作为鲁棒语义水印WiR =7；十 A S2(2)2. 2、鲁棒语义水印嵌入位置的选择数字视频用户将利用语义信息在终端进行扩展应用，必需保证鲁棒语义水印信息的完整性、可靠性，保证鲁棒语义水印信息在传输中可以抵抗正常的处理和一般的攻击，即该鲁棒语义水印信息必须具有较高的鲁棒性。在本实施例中，鲁棒语义水印嵌入位置的选择如图3所示。因为在H264格式的数字视频编码过程中，I、P、B各编码帧的编码模式和数据特征各不相同，I帧采用帧内预测编码模式，与P帧和B帧相比较独立；因此将鲁棒语义水印嵌入到I帧中，其受损坏的概率要小，有助于提高鲁棒语义水印的鲁棒性，同时数字视频的处理单位是宏块，而一个宏块又可以分为一个16X 16的亮度块和两个8X8的色度块，根据HVS (Human Visual System,即人类视觉系统)模型，人眼对视频帧中的色度信息的变化最为敏感，如果鲁棒语义水印嵌入在色度信息中，很容易引起人们的察觉，影响鲁棒语义水印不可感知性。因此，在本实施例中，确定数字视频帧序列的I帧宏块的亮度块作为鲁棒水印的嵌入位置。在Baseline (基本)档次中，每个4X 4子块经过DCT变换和量化处理之后都会得到16个变换系数，这些系数经过如图4的Zig-zag扫描之后，会将得到从低频到高频排列的系数。其中最低的系数为DCO系数，也称为直流分量。AC1至AC15为交流系数分量。Zig-zag扫描后排在前面的系数是低频和中频系数，代表了预测残差的主要能量分布，排在后面的系数为高频系数，代表了预测残差块的一些纹理、细节信息主要分布。由于低频系数中代表了预测残差块的主要能量，如果将鲁棒语义水印嵌入在这里，可以保证鲁棒语义水印的鲁棒性，不法分子如果对低频系数中的数字水印进行破坏的话，将很容易破坏视频的质量，而被别人发现，同理在低频系数中嵌入鲁棒语义水印也会很大程度的影响视频的质量。因此这里鲁棒语义水印的鲁棒性是以牺牲视频的质量为代价的。相反由于低频系数代表了预测残差的纹理、细节信息，如果将鲁棒语义水印嵌入在这里，其水印的鲁棒性将特别差，因为不法分子对预测残差高频信息的改变，对视频的质量变化很小。将鲁棒语义水印嵌入在预测残差的中频系数中，可以实现鲁棒性和视频质量之间的均衡。同时考虑到Zig-zag扫描后的第五个非零系数位于残差矩阵对角线的概率较大，将鲁棒语义水印嵌在对角线系数上可增加其抗几何攻击性，因此将鲁棒语义水印嵌入在第五个非零系数中。2. 3、鲁棒语义水印的嵌入宏块的亮度子块经过整数DCT变换后，它的细节纹理信息丰富程度可以用交流系数的能量来衡量。如果交流系数的能量越大，则代表该子块区域表征细节的信息比较多，如果在这里嵌入鲁棒语义水印，可以提高鲁棒语义水印的不可感知性；同时也说明该子块区域的编码码率较大，嵌入水印后对视频编码码率影响较小。因此交流系数的能量值大的子块适合嵌入数字水印。定义一个4X4子块的能量为
权利要求
1.一种基于H264的语义信息传输与保护方法，其特征在于，包括以下步骤 (1)、对H264规范的数字视频根据语义规范与语义标引技术进行语义信息标引，得到其包括版权语义信息以及内容语义的n维语义信息，将n维语义信息分别进行预处理，得到n幅二值图像，每幅二值图像为一个鲁棒语义水印； (2)、将每个鲁棒水印依次嵌入到H264规范的数字视频I帧DCT域的中频系数中，同时将嵌入鲁棒水印的中频系数作为特征信息转化为脆弱水印； (3)、将脆弱水印嵌入到H264规范的数字视频I帧P帧的运动矢量中。
2.根据权利要求I所述的语义信息传输与保护方法，其特征在于，所述步骤(2)中将每个鲁棒水印依次嵌入到H264规范的数字视频I帧DCT域的中频系数为 al、在空间域对数字视频帧序列的I帧进行帧内预测,对宏块中4X4亮度子块进行4x4整数DCT变换，然后计算变换后每个亮度子块的交流系数能量，其中宏块中交流系数能量最大的4X4亮度子块用于嵌入鲁棒语义水印； a2、将4X4亮度子块的一系列频率域系数，按照Zig-zag扫描顺序从低频到高频排列； a3、若非零频率域系数的个数大于等于5，通过改变第5个频率域系数使其奇偶性与嵌入水印的奇偶性相同，以此来嵌入鲁棒水印信息，即将第5个非零频率域系数n4进行如下修改 ”4 = J ”4 + 1 n mo{|2 丰 wmod2, "4ti4 mod 2 = M■’ mod 2 其中mod为取余运算符，w为鲁棒语义水印Wi的一位。公式(4)的含义为如果第5个非零频率域系数n4与w为鲁棒语义水印Wi嵌入位w奇偶性相同，则n4的值不变，如果不同，第5个非零频率域系数n4的值进行加I处理； a4、每个宏块都进行步骤af 3，将鲁棒语义水印Wi的每一位分别嵌入到宏块中； a5、依次对I帧进行步骤a4的操作，直到鲁棒语义水印Wi所有位都嵌入到I帧为止。
3.根据权利要求I所述的语义信息传输与保护方法，其特征在于，所述步骤(2)中将嵌入鲁棒水印的中频系数作为特征信息转化为脆弱水印为 嵌入位置的亮度子块的DCT系数经过Zig-zag扫描后，如果非零系数的个数大于等于5则说明该子块中嵌有水印信息，选出它的第5个非零系数，最后根据该系数的绝对值的大小生成一个三位的认证码，每一个嵌入位置的亮度子块的DCT系数对应的认证码组合为脆弱水印。
全文摘要
本发明公开了一种基于H264的语义信息传输与保护方法，首先对H264规范的数字视频进行语义信息标引，得到n维语义信息并预处理为n幅二值图像，作为鲁棒水印嵌入在H264规范数字视频I帧DCT域的中频系数中。由于I帧中语义水印具有较好的鲁棒性，保证了语义信息传输的稳健性，有利于用户终端的各种扩展应用，保证鲁棒水印即语义信息的安全性、完整性。同时将该中频系数作为特征信息转化为脆弱水印，最后将此脆弱水印嵌入在P帧的运动矢量中，由于P帧的运动向量具有好的脆弱性，可利用脆弱水印验证鲁棒语义水印，即语义信息的完整性、可靠性，充分保证了语义信息的安全。
文档编号H04N5/913GK102801947SQ20121022481
公开日2012年11月28日 申请日期2012年7月2日 优先权日2012年7月2日
发明者邢玲, 李国斌, 张琦, 何燕玲 申请人:西南科技大学