专利名称：面向avs视频格式的视频数字水印嵌入方法及装置的制作方法
技术领域：
本发明设计ー种数字水印技术领域，特别是指一种面向AVS视频格式的、采用对视频进行部分解码处理的视频数字水印嵌入方法及装置。
背景技术：
随着网络和多媒体技术的发展，特别是各种Web2. O应用(如视频共享网站)的 普及和视频编码技术的进步，视频的传输、拷贝和共享变得越来越容易，从而导致了视频侵权现象的日益严重，严重损害了视频合法拥有者的合法权益，阻碍了整个音/视频产业的发展。作为我国具有自主知识产权的第一个视频编码标准，AVS(Audio Video codingStandard，数字音视频编解码技术标准)具有和H. 264 (视频编解码技术)一祥的编码效率，但其计算复杂度却大大減少，已被广泛应用于数字电视、手机电视等领域。为了促进整个AVS音/视频产业的健康发展，我们有必要研究AVS视频版权保护技木，而作为ー种常用视频版权保护技术——可视视频数字水印技木，可直接将版权信息嵌入到多媒体载体中，以达到保护知识产权的目的。由于可视视频水印的可见性，其能够直接标明版权的归属，由于可视视频水印检测非常容易，其经常被用于标识各类视频的版权保护。因此，研究AVS视频流可视频水印快速嵌入技木，对于保护AVS视频版权、促进AVS视频编码技术的应用和普及具有重要的意义。目前所采用的可视视频数字水印嵌入方法为“全解码——水印嵌入——重编码”，其嵌入速率比较低，无法满足水印实时嵌入的需求。
发明内容
本发明的目的在于克服现有技术的不足，提供ー种采用对视频进行部分解码处理的面向AVS视频格式的视频数字水印嵌入方法及装置，实现了快速、实时嵌入水印图像的方法。本发明的一种面向AVS视频格式的视频数字水印嵌入方法，包括以下步骤SlOl :读取水印图像；S102 :对所述的水印图像进行灰度处理，得到所述的水印图像的灰度图像；S103 :调整所述的灰度图像的像素值，其调整过程为将所述的灰度图像中像素值的最大值设置为基准值，对其余像素值进行反转，使得所述的原灰度图像的最大值为0，其余值为基准值与其对应的像素值之差；以及S104 :扩展调整后的灰度图像，其扩展过程为将所述的调整后的灰度图像的下边缘和右边缘区域扩展4列和4行的数值均为O的区域，通过扩展实现了对于未嵌入水印的宏块的补偿，从而防止了可视水印的扩散；S105 :针对预测模式将S104得到的水印图像生成水印预测模板，并得到所述的水印预测模板的块系数矩阵；S106:提取原始视频的水印嵌入位置的宏块的第一残差系数矩阵，根据所述的水印预测模板的块系数矩阵对所述的第一残差系数矩阵进行修改，得到所述的水印嵌入位置的宏块的第二残差系数矩阵；以及S107:将所述的第二残差系数矩阵作为所述的原始视频的水印嵌入位置的宏块的系数矩阵，并在预测模式变化时调整所述的水印嵌入位置的宏块的编码方式，未嵌入水印的宏块则直接重写码流，从而得到嵌入水印图像后的视频；其中，如果残差非零而且原预测模式为跳过模式，需要修改为直接模式，反之，如果残差变为了 0，则需要将直接模式修改为跳过模式。其中，所述的预测模式包括帧内预测模式和帧间预测模式，其中所述的帧间预测模式包括帧间单向预测模式和帧间双向预测模式。优选地，若S105中采用帧内预测模式，则将水印图像生成水印预测模板的公式为Wres' (i, j) = ff(i, j)-ffpre(i, j)其中，(i，j)为生成的帧内预测模板的块系数矩阵，W(i，j)为扩展调整后的水印图像的块系数矩阵，Wpre (i, j)为S104得到的水印图像的块系数进行帧内预测模式之后的块系数矩阵，其是利用编码标准进行计算的；其中，i，j为O或自然数。优选地，若S105中采用帧间预测模式的帧间预测模板的块系数矩阵由S104得到的水印图像进行1/4像素差值产生。优选地，S106中的帧内预测模式的嵌入算法采用如下公式对所述的第一残差系数矩阵进行修改Res' (i, j) = Res (i, j) + ^nffres/ (i, j)其中，Res' (i, j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵，1为水印嵌入強度，其取值范围为0 1，(i，j)为生成的帧内预测模板的块系数矩阵；其中，i，j为O或自然数。优选地，S106中的P帧及B帧的帧间单向预测模式的嵌入算法采用如下公式对所述的第一残差系数矩阵进行修改Res' (i, j) = Res (i, j)-a *ffp(i, j) + ^ *Wres(i, j)其中，Res' (i, j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵，
はSIS为嵌入率，u水印嵌人強度，
a η的数值根据视频嵌入位置的βη值进行确定；Wp(i，j)为视频嵌入位置的块系数矩阵进行1/4像素插值所得到的系数矩阵，Wres (i, j)为S104得到的水印图像进行1/4像素插值所得到的系数矩阵；其中，i, j为O或自然数。优选地，S106中的B帧的帧间双向预测模式的嵌入算法采用如下公式对所述的第一残差系数矩阵进行修改Res' (i, j) = Res (i, j)-(a ^ffpl (i, j) + a 2*ffp2(i, j))/2+^ *ffres(i, j)其中，Wpl(i，j)、Wp2(i，j)分别为视频嵌入位置前向和后向的块系数矩阵进行1/4像素插值所得到的系数矩阵，aいa2分别为是视频嵌入位置的对应块嵌入水印图像时的嵌入率；其中，i，j为O或自然数。本发明还提供了一种面向AVS视频格式的视频数字水印嵌入装置，其包括读取模块，读取水印图像；
灰度处理模块，其与所述的读取模块连接，用以对所述的水印图像进行灰度处理，得到所述的水印图像的灰度图像；调整处理模块，其与所述的灰度处理模块连接，用以调整所述的灰度图像的像素值；扩展处理模块，其与所述的调整处理模块连接，用以扩展调整后的灰度图像；水印模板生成模块，其与所述的扩展处理模块连接，针对预测模式将所述的图像处理模块得到的水印图像生成水印预测模板，并得到所述的水印预测模板的块系数矩阵；水印嵌入模块，其与所述的水印模板生成模块连接，提取原始视频的水印嵌入位置的宏块的第一残差系数矩阵，根据所述的水印预测模板的块系数矩阵对所述的第一残差系数矩阵进行修改，得到所述的水印嵌入位置的宏块的第二残差系数矩阵；以及
视频重写模块，其与所述的水印嵌入模块连接，将所述的第二残差系数矩阵作为所述的原始视频的水印嵌入位置的宏块的系数矩阵，并在预测模式变化时调整所述的水印嵌入位置的宏块的编码方式，未嵌入水印的宏块则直接重写码流。其中，所述的预测模式包括帧内预测模式和帧间预测模式，其中所述的帧间预测模式包括帧间单向预测模式和帧间双向预测模式。实施吋，只需要对水印嵌入位置的宏块及其相关宏块进行部分重新编码，未嵌入水印的宏块则无需进行操作，直接重写码流即可。其中水印嵌入位置的宏块为给定视频水印大小及嵌入位置所确定的宏块，相关宏块为參考块属于嵌入水印块时对应的宏块。针对编码宏块，只需修改残差系数以及预测模式，即可达到重新编码的目的，无需完全进行重编码过程。本发明与现有技术相比的优点在于本发明具有与原有的嵌入算法相同的嵌入效果，但由于本发明无需重新编码，仅需要对视频进行部分解码处理即可实现水印图像的嵌入，从而大大的提高了嵌入的速率，而且对原始视频的损害也较小；本发明能够实现对于AVS视频的实时嵌入，从而实现了对于实时视频直播中的可视视频数字水印的嵌入。
图I为本发明的面向AVS视频格式的视频数字水印嵌入方法的流程图；图2为本发明的面向AVS视频格式的视频数字水印嵌入方法的一实施例；图3为本发明的面向AVS视频格式的视频数字水印嵌入装置的结构图；图4A为本发明的一示例的水印图像；图4B为本发明的一示例的水印图像嵌入前的视频图像；图4C为本发明的一示例的水印图像嵌入后的视频图像。
具体实施例方式为使本发明的特征和优点能够更加明显易懂，下面结合附图和具体实施例对本发明作进ー步详细的说明。请參阅图1，本发明提出的面向AVS视频格式的视频数字水印嵌入方法，用于构建AVS视频水印服务器，其包括以下步骤SlOl :读取水印图像；
S102 :对所述的水印图像进行灰度处理，得到所述的水印图像的灰度图像；S103 :调整所述的灰度图像的像素值，其调整过程为将所述的灰度图像中像素值的最大值设置为基准值，对其余像素值进行反转，使得所述的原灰度图像的最大值为0，其余值为基准值与其对应的像素值之差；以及S104 :扩展调整后的灰度图像，其扩展过程为将所述的调整后的灰度图像的下边缘和右边缘区域扩展4列和4行的数值均为O的区域；S105 :针对预测模式将S104得到的水印图像生成水印预测模板，并得到所述的水印预测模板的块系数矩阵；S106:提取原始视频的水印嵌入位置的宏块的第一残差系数矩阵，根据所述的水 印预测模板的块系数矩阵对所述的第一残差系数矩阵进行修改，得到所述的水印嵌入位置的宏块的第二残差系数矩阵；以及S107:将所述的第二残差系数矩阵作为所述的原始视频的水印嵌入位置的宏块的系数矩阵，并在预测模式变化时调整所述的水印嵌入位置的宏块的编码方式，未嵌入水印的宏块则直接重写码流；其中，若调整后的编码模块中，残差系数发生了变化，需要根据残差和宏块信息，使用编码格式重新调整编码方式，主要指如果残差非零而且原预测模式为跳过模式，需要修改为直接模式，反之，如果残差变为了 0，则需要将直接模式修改为跳过模式。本发明的面向AVS视频格式的视频数字水印嵌入方法的针对帧内预测模式的一实施例，包括以下步骤针对帧内预测模式将水印图像生成水印预测模板的公式为Wres' (i, j) = ff(i, j)-ffpre(i, j)其中，(i，j)为生成的帧内预测模板的块系数矩阵，W(i，j)为扩展调整后的水印图像的块系数矩阵，Wpre (i, j)为S104得到的水印图像的块系数进行帧内预测模式之后的块系数矩阵；将原始视频的嵌入位置的第一残差系数矩阵根据所述的水印预测模板的块系数矩阵进行修改，得到第二残差系数矩阵，公式如下Res' (i, j) = Res (i, j) + ^nffres/ (i, j)其中，Res' (i, j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵，1为水印嵌入強度，其取值范围为0 1，(i，j)为生成的帧内预测模板的块系数矩阵；其中，0 为水印嵌入強度，其取值范围为0 1，可根据用户的需要确定其值的大小，需要说明的是，嵌入亮度越大，则βη值越大，反之，嵌入亮度越小，则@ 值越小；以及通过所述的第一残差系数矩阵与第二残差系数矩阵调整原始视频的宏块系数矩阵，并调整所述的宏块的编码方式，得到帧内预测模式下的嵌入水印图像的视频。本发明的面向AVS视频格式的视频数字水印嵌入方法的针对帧间预测模式的一实施例，包括以下步骤针对帧间预测模式的预测模板的块系数矩阵为对S104得到的水印图像进行1/4像素插值所得到的块系数矩阵，所述的块系数矩阵记为W_(i，j)；将原始视频的嵌入位置的第一残差系数矩阵根据所述的水印预测模板的块系数矩阵进行修改，得到第二残差系数矩阵，公式如下
Res' (i，j) = Res (i, j) - a *Wp (i，j) + β *Wres (i，j)其中，Res' (i, j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵，
はSIS为嵌入率，u水印嵌人強度，
αη的数值根据视频嵌入位置的βη值进行确定；Wp(i，j)为视频嵌入位置的块系数矩阵进行1/4像素插值所得到的系数矩阵，W_(i，j)为水印图像进行1/4像素插值所得到的系数矩阵；
其中，0 为水印嵌入強度，其取值范围为0 1，可根据用户的需要确定其值的大小，需要说明的是，嵌入亮度越大，则βη值越大，反之，嵌入亮度越小，则@ 值越小；以及通过所述的第一残差系数矩阵与第二残差系数矩阵调整原始视频的宏块系数矩阵，并调整所述的宏块的编码方式，得到帧间单向预测模式下的嵌入水印图像的视频。本发明的面向AVS视频格式的视频数字水印嵌入方法的针对帧间预测模式的另ー实施例，包括以下步骤针对帧间预测模式的预测模板的块系数矩阵为对S104得到的水印图像进行1/4像素插值所得到的块系数矩阵，所述的块系数矩阵记为w_(i，j)；将原始视频的嵌入位置的第一残差系数矩阵根据所述的水印预测模板的块系数矩阵进行修改，得到第二残差系数矩阵，公式如下Res' (i, j) = Res (i, j)-(a ^ffpl (i, j) + a 2*ffp2(i, j))/2+^ *ffres(i, j)其中，Wpl (i, j)、Wp2(i，j)分别为视频嵌入位置前向和后向的块系数矩阵进行1/4像素插值所得到的系数矩阵，aいa 2分别为是视频嵌入位置的对应块嵌入水印图像时的嵌入率。其中，Res, (i，j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵，
iはsis为嵌入率，^为水印嵌入強度，
a η的数值根据视频嵌入位置的β值进行确定；W_(i，j)为水印图像进行1/4像素插值所得到的系数矩阵；其中，0 为水印嵌入強度，其取值范围为0 1，可根据用户的需要确定其值的大小，需要说明的是，嵌入亮度越大，则βη值越大，反之，嵌入亮度越小，则@ 值越小；以及通过所述的第一残差系数矩阵与第二残差系数矩阵调整原始视频的宏块系数矩阵，并调整所述的宏块的编码方式，得到帧间双向预测模式下的嵌入水印图像的视频。请參阅图2，本发明的面向AVS视频格式的一种视频数字水印的嵌入方法的另ー具体实施例，首先，将所需嵌入的水印视频流进行输入，解码得到预测向量、预测模式、残差等系数；其中，如果不是水印嵌入块及其相关块，则直接将码流重写；如果是水印嵌入块，需要对残差进行量化以及DCT变换，针对不同的预测模式，产生相应的水印系数。然后，将求得的水印系数与解码得到的残差系数求和得到嵌入水印后的残差系数，进行DCT变换，量化以及最后的编码。最后，将解码得到的系数以及修改的系数进行编码，得到嵌入水印后的视频。本发明的面向AVS视频格式的一种视频数字水印的嵌入方法，其基于系数修改和补偿的嵌入思想能够用到很多其他格式的视频格式进行视频中，说明书中提到的方法是单纯针对AVS视频格式所提出的，在AVS格式的视频中能够正确的快速嵌入视频可视数字水印。请參阅图3，本发明还提供了一种面向AVS视频格式的视频数字水印嵌入装置，其包括 读取模块I，用以读取水印图像；灰度处理模块2，其与所述的读取模块I连接，用以对所述的水印图像进行灰度处理，得到所述的水印图像的灰度图像；调整处理模块3，其与所述的灰度处理模块2连接，用以调整所述的灰度图像的像
素值；
扩展处理模块4，与所述的调整处理模块3连接，用以扩展调整后的灰度图像；水印模板生成模块5，其与所述的扩展处理模块4连接，针对预测模式将所述的图像处理模块得到的水印图像生成水印预测模板，并得到所述的水印预测模板的块系数矩阵；水印嵌入模块6，其与所述的水印模板生成模块5连接，提取原始视频的水印嵌入位置的宏块的第一残差系数矩阵，根据所述的水印预测模板的块系数矩阵对所述的第一残差系数矩阵进行修改，得到所述的水印嵌入位置的宏块的第二残差系数矩阵；以及视频重写模块7，其与所述的水印嵌入模块6连接，将所述的第二残差系数矩阵作为所述的原始视频的水印嵌入位置的宏块的系数矩阵，并在预测模式变化时调整所述的水印嵌入位置的宏块的编码方式，未嵌入水印的宏块则直接重写码流。其中，所述的预测模式包括帧内预测模式和帧间预测模式，其中所述的帧间预测模式包括帧间单向预测模式和帧间双向预测模式。实施吋，只需要对水印嵌入位置的宏块及其相关宏块进行部分重新编码，未嵌入水印的宏块则无需进行操作，直接重写码流即可。其中水印嵌入位置的宏块为给定视频水印大小及嵌入位置所确定的宏块，相关宏块为參考块属于嵌入水印块时对应的宏块。针对编码宏块，只需修改残差系数以及预测模式，即可达到重新编码的目的，无需完全进行重编码过程。请參阅图4A、图4B及图4C，分别为本发明ー示例的水印图像，嵌入水印图像前的视频图像及嵌入水印图像后的视频图像。显然，以上实施例仅用以说明本发明的技术方案，而非对其进行限制；本领域的普通技术人员可以对本发明的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例技术方案的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。
权利要求
1.一种面向AVS视频格式的视频数字水印嵌入方法，其特征在于，包括以下步骤 5101:读取水印图像； 5102:对所述的水印图像进行灰度处理，得到所述的水印图像的灰度图像； 5103:调整所述的灰度图像的像素值；以及 5104:扩展调整后的灰度图像； 5105:针对预测模式将S104得到的水印图像生成水印预测模板，并得到所述的水印预测模板的块系数矩阵； S106:提取原始视频的水印嵌入位置的宏块的第一残差系数矩阵，根据所述的水印预测模板的块系数矩阵对所述的第一残差系数矩阵进行修改，得到所述的水印嵌入位置的宏块的第二残差系数矩阵；以及 S107 :将所述的第二残差系数矩阵作为所述的原始视频的水印嵌入位置的宏块的系数矩阵，并在预测模式变化时调整所述的水印嵌入位置的宏块的编码方式，未嵌入水印的宏块则直接重写码流。
2.根据权利要求I所述的面向AVS视频格式的视频数字水印嵌入方法，其特征在于，若S105中采用帧内预测模式，则将水印图像生成水印预测模板的公式为Wres' (i, j) = ff(i, j)-ffpre(i, j) 其中，Wms' (i，j)为生成的帧内预测模板的块系数矩阵，W(i，j)为扩展调整后的水印图像的块系数矩阵，Wpre(i, j)为S104得到的水印图像的块系数进行帧内预测模式之后的块系数矩阵。
3.根据权利要求I所述的面向AVS视频格式的视频数字水印嵌入方法，其特征在于，若S105中采用帧间预测模式的帧间预测模板的块系数矩阵由S104得到的水印图像进行1/4像素差值产生。
4.根据权利要求2所述的面向AVS视频格式的视频数字水印嵌入方法，其特征在于，S106中的帧内预测模式的嵌入算法采用如下公式对所述的第一残差系数矩阵进行修改Res' (i, j) = Res (i, j) + ^nffres/ (i, j) 其中，Res' (i, j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵，Pn为水印嵌入强度，Pn的取值范围为0 1，Wms' (i，j)为生成的帧内预测模板的块系数矩阵。
5.根据权利要求3所述的面向AVS视频格式的视频数字水印嵌入方法，其特征在于，S106中的P帧及B帧的帧间单向预测模式的嵌入算法采用如下公式对所述的第一残差系数矩阵进行修改 Res' (i, j) = Res (i, j)-a *ffp(i, j) + ^ *ffres(i, j) 其中，Res ' (i, j)为第二残差系数矩阵，Res (i, j)为第一残差系数矩阵， Un参考块嵌入了水印参考块嵌入了水印叫。参考块未嵌入水印,Hf参J块未嵌入W为嵌入率，I为水印嵌入强度，a n的数值根据视频嵌入位置的Pn值进行确定；Wp(i，j)为视频嵌入位置的块系数矩阵进行1/4像素插值所得到的系数矩阵，Wres(i, j)为S104得到的水印图像进行1/4像素插值所得到的系数矩阵。
6.根据权利要求3所述的面向AVS视频格式的视频数字水印嵌入方法，其特征在于，S106中的B帧的帧间双向预测模式的嵌入算法采用如下公式对所述的第一残差系数矩阵进行修改 Res, (i，j) = Res (i，j) _ ( a ^ffpl (i，j) + a 2*Wp2 (i，j)) /2+ ^ *Wres (i，j) 其中，Wpl(i，j)、Wp2(i，j)分别为视频嵌入位置前向和后向的块系数矩阵进行1/4像素插值所得到的系数矩阵，ap a2分别为是视频嵌入位置的对应块嵌入水印图像时的嵌入率。
7.一种面向AVS视频格式的视频数字水印嵌入装置，其特征在于，包括 读取模块，读取水印图像； 灰度处理模块，其与所述的读取模块连接，所述的灰度处理模块对所述的水印图像进行灰度处理，得到所述的水印图像的灰度图像； 调整处理模块，其与所述的灰度处理模块连接，所述的调整处理模块用以调整所述的灰度图像的像素值； 扩展处理模块，其与所述的调整处理模块连接，所述的扩展处理模块用以扩展调整后的灰度图像； 水印模板生成模块，其与所述的扩展处理模块连接，所述的水印模板生成模块针对预测模式将所述的图像处理模块得到的水印图像生成水印预测模板，并得到所述的水印预测模板的块系数矩阵； 水印嵌入模块，其与所述的水印模板生成模块连接，所述的水印嵌入模块提取原始视频的水印嵌入位置的宏块的第一残差系数矩阵，根据所述的水印预测模板的块系数矩阵对所述的第一残差系数矩阵进行修改，得到所述的水印嵌入位置的宏块的第二残差系数矩阵；以及 视频重写模块，其与所述的水印嵌入模块连接，所述的视频重写模块将所述的第二残差系数矩阵作为所述的原始视频的水印嵌入位置的宏块的系数矩阵，并在预测模式变化时调整所述的水印嵌入位置的宏块的编码方式，未嵌入水印的宏块则直接重写码流。
8.根据权利要求7所述的面向AVS视频格式的视频数字水印嵌入装置，其特征在于，所述的预测模式包括帧内预测模式和帧间预测模式；其中，所述的帧间预测模式包括帧间单向预测模式和帧间双向预测模式。
全文摘要
本发明提供了一种面向AVS视频格式的视频数字水印嵌入方法，包括以下步骤针对预测模式将水印图像生成水印预测模板，并得到水印预测模板的块系数矩阵；提取原始视频的嵌入位置的宏块的第一残差系数矩阵，根据水印预测模板的块系数矩阵对第一残差系数矩阵进行修改，得到第二残差系数矩阵；以及将第二残差系数矩阵作为原始视频的嵌入位置的宏块的系数矩阵，并在预测模式变化时调整该宏块的编码方式，未嵌入水印的宏块则直接重写码流，从而得到嵌入水印图像后的视频。本发明无需重新编码，仅需要对视频进行部分解码处理即可实现水印图像的嵌入，从而大大的提高了嵌入的速率，而且对原始视频的损害也较小。
文档编号H04N7/46GK102685470SQ20111005376
公开日2012年9月19日 申请日期2011年3月7日 优先权日2011年3月7日
发明者丁瑶, 于志强, 吴渊, 唐凌, 张飚, 王杰斌, 罗世新, 郭宝安, 鲁昱 申请人:航天信息股份有限公司