实时性场景下鲁棒视频水印的方法及装置与流程

1.本发明涉及视频技术领域，具体涉及一种实时性场景下鲁棒视频水印的方法及装置，特别适用于实时环境下的不可见视频水印嵌入。


背景技术：

2.视频水印的目的是在不改变视频内容的质量的前提下，通过一种难以移除或者篡改的方法，将信息隐藏在视频流中。应用场景包括视频版权保护、视频指纹跟踪等。
3.对于传统的视频水印嵌入方法，根据水印嵌入的域，可以大致分为三种方案：空间域（在原始未压缩视频上嵌入）、变换域（在视频编解码器网络中嵌入）和压缩域（在压缩视频流中嵌入）。除了传统的视频水印方法，近年来深度学习在水印上的应用也备受关注。目前深度学习的水印嵌入方法主要应用在图像上，如hidden模型，redmark模型等。
4.当嵌入水印的视频没有遭受攻击时，传统方法的表现尚可，然而基于离散余弦变换（dct)或离散小波变换等算法的经典水印技术对于裁剪和缩放等视频处理操作抵抗性较差。如果泄露的视频经历了这些几何变换中的任何一种，水印都可能被破坏。
5.现有的基于深度学习的水印方法对于上述几何变换的鲁棒性较强，然而现有方法大都应用于图像上，对于视频，有两点不可忽视的缺陷：1.由于视频的传输不可避免的会将原始数据进行压缩，这一类不可微分的噪声使得深度神经网络难以在训练过程中对此进行建模，这也成为了图像方法迁移至视频的最大阻碍；2.实时性的需求，水印在视频上的应用常常需要考虑到实时性，深度神经网络的庞大的计算量使得现有的深度学习模型都难以满足该需求。


技术实现要素：

6.针对现有技术的不足，本发明提出一种实时性场景下鲁棒视频水印的方法及装置，解决了现有技术中深度神经网络难以对压缩视频进行建模，且无法满足实时性需求带来的其庞大的计算量的缺陷。
7.本发明的技术方案是这样实现的：一种实时性场景下鲁棒视频水印的方法，包括：构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器-解码器模块；训练所述深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；训练所述深度神经网络以使编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
8.在其中一个实施例中，上述所述训练所述深度神经网络以使编码器-解码器模块
可以在无视频压缩干扰下完成水印的无损嵌入提取的步骤，包括：提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印；计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器-解码器模块；重复上述步骤，直至编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取。
9.在其中一个实施例中，上述所述训练所述深度神经网络以使编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取的步骤，包括：随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印；计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器-解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络；重复上述步骤，直至编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取。
10.在其中一个实施例中，上述所述对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频的步骤，包括：获取原视频的帧数n；设定嵌入间隔k和连续嵌入帧数b；根据每间隔k帧提取b帧的规则对原视频进行抽样提取操作，得到连续帧；将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
11.在其中一个实施例中，上述所述对原视频进行抽样提取得到连续帧的方法，包括：获取原视频的分辨率h
×
w；设定比例因子k；通过比例因子计算切角块的分辨率r=h
×
w，其中：h=h
×
k，h为切角的高度分辨率；w=w
×
k，w为切角的高度分辨率；在同一原视频帧的左上、右上、左下、右下角处分别提取出共四个切角块；提取连续视频帧的各切角块，与待添加水印输入至编码器网络中，得到连续视频帧的水印切角块；将水印切角块覆盖至对应原视频帧的对应位置，生成水印视频。
12.在其中一个实施例中，上述所述训练集视频通过hollywood2数据集获取，所述构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器-解码器模块的步骤，具体为：
使用mobilenet为backbone设计并构造包括编码器-解码器模块的神经网络模型。
13.本发明还提供了一种实时性场景下鲁棒视频水印的装置，包括：构造模块，用于构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器-解码器模块；第一训练模块，用于训练所述深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；第二训练模块，用于训练所述深度神经网络以使编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；生成模块，用于对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
14.在其中一个实施例中，上述所述所述第一训练模块，具体用于：提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印；计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器-解码器模块；重复上述步骤，直至编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；所述第二训练模块，具体用于：随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印；计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器-解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络；重复上述步骤，直至编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；所述生成模块，具体用于：获取原视频的帧数n；设定嵌入间隔k和连续嵌入帧数b；根据每间隔k帧提取b帧的规则对原视频进行抽样提取操作，得到连续帧；将所述连续帧和待添加水印输入至编码器网络中，生成水印视频；或所述生成模块，具体用于：获取原视频的分辨率h
×
w；设定比例因子k；通过比例因子计算切角块的分辨率r=h
×
w，其中：h=h
×
k，h为切角的高度分辨率；
w=w
×
k，w为切角的高度分辨率；在同一原视频帧的左上、右上、左下、右下角处分别提取出共四个切角块；提取连续视频帧的各切角块，与待添加水印输入至编码器网络中，得到连续视频帧的水印切角块；将水印切角块覆盖至对应原视频帧的对应位置，生成水印视频。
15.本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的实时性场景下鲁棒视频水印的方法。
16.本发明还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的实时性场景下鲁棒视频水印的方法。
17.本发明实施例通过在深度学习网络中将编码器网络和解码器网络构建模块化，在噪声模拟层加入常见视频噪声模拟，分别训练深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取，以及在有视频压缩干扰下完成水印的无损嵌入提取，无视频压缩干扰下完成水印的无损嵌入提取作为有视频压缩干扰下完成水印的无损嵌入提取的基础，保障了深度神经网络各个训练阶段的合理性和可靠性，实现了实时性场景下鲁棒视频水印的方法，解决了现有技术中深度神经网络对压缩视频建模过程中存在的难题，同时，通过对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频，减少了计算量，可以满足实时性需求。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明第一实施例的实时性场景下鲁棒视频水印的方法的流程图；图2为本发明第一实施例中s14的一个优选实施方案的流程图；图3为本发明第一实施例中s14优选实施方案的抽取连续帧进行嵌入的方案的示意图；图4本发明第二实施例的实时性场景下鲁棒视频水印的方法的流程图；图5为发明第二实施例的深度神经网络训练的过程的示意图；图6为本发明第二实施例中s210-s214的采用切角嵌入水印的方案的示意图；图7为本发明第三实施例的实时性场景下鲁棒视频水印的装置的结构框图；图8为本发明的又一实施方式的计算机内部构造示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，众所周知的模块、单元及其相互之间的连接、链接、通信或操作没有示出或未作详细说明。并且，所描述的特征、架构或功能可在一个或一个以上实施方式中以任何方式组合。本领域技术
人员应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。还可以容易理解，本文所述和附图所示的各实施方式中的模块或单元或处理方式可以按各种不同配置进行组合和设计。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.第一实施例：请参照图1至图3所示，本发明实施例公开了一种实时性场景下鲁棒视频水印的方法，包括：s11，构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器-解码器模块。
22.在本实施例中，通过使用mobilenet为backbone设计并构造包括编码器-解码器模块的神经网络模型，编码器-解码器模块包括编码器网络和解码器网络，编码器网络用于根据输入的视频帧和水印生成水印视频帧，解码器网络用于将水印视频帧解码获得解码水印。
23.s12，训练所述深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取。
24.本步骤通过对神经网络的训练，使得编码器-解码器模块可以通过重复多次的训练，实现非压缩视频水印的无损嵌入提取，具体方式可以是通过在添加常见的图像扰动噪声基础之上，添加包括但不限于视频随机剪切、视频组合的方式对神经网络进行训练。
25.s13，训练所述深度神经网络以使编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取。
26.本步骤通常建立与s12的基础之上，在神经网络完成非压缩视频水印的无损嵌入提取训练之后，进一步对压缩视频水印进行无损嵌入提取训练，保障了深度神经网络各个训练阶段的合理性和可靠性，实现了实时性场景下鲁棒视频水印的方法。压缩方式包括但不限于mpeg压缩。
27.s14，对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
28.在s11-s13完成神经网络的训练之后，即可将神经网络用于水印的嵌入和提取操作，基于水印嵌入实时性的需求且针对视频帧间压缩对原始帧的扰乱，本发明提出一种间隔抽取连续帧进行嵌入的方法，s14进一步包括s141-s144，其中：s141，获取原视频的帧数n。
29.作为一种示例而非限定，本步骤假设原视频的帧数为100000帧。
30.s142，设定嵌入间隔k和连续嵌入帧数b。
31.作为一种示例而非限定，本步骤假设k=500，b=10。
32.s143，根据每间隔k帧提取b帧的规则对原视频进行抽样提取操作，得到连续帧。
33.对应于上述s141-s142的具体示例，本步骤按每隔500帧进行一次水印嵌入，每次连续嵌入10帧，将所有嵌入水印帧作为连续帧。
34.s144，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
35.s141-s144通过在原视频中间隔采样，并嵌入水印的方式，极大的减少了神经网络的计算量，可以满足水印嵌入的实时性需求。
36.本实施例在提取水印时，由于不作实时性需求，可以按照原设定参数n、k和b进行跨帧提取，也可以逐帧进行水印的提取。
37.对应于上述s141-s144的抽取连续帧进行水印嵌入的方案，在提取水印时，可以参照原设定参数n、k和b进行跨帧提取，实现了水印不可见但可被检测的效果，使得视频水印更加隐蔽，可有效避免第三方恶意除去水印，利于实现视频版权保护、视频指纹跟踪等目的。
38.本发明实施例通过在深度学习网络中将编码器网络和解码器网络构建模块化，在噪声模拟层加入常见视频噪声模拟，分别训练深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取，以及在有视频压缩干扰下完成水印的无损嵌入提取，无视频压缩干扰下完成水印的无损嵌入提取作为有视频压缩干扰下完成水印的无损嵌入提取的基础，保障了深度神经网络各个训练阶段的合理性和可靠性，实现了实时性场景下鲁棒视频水印的方法，解决了现有技术中深度神经网络对压缩视频建模过程中存在的难题，同时，通过对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频，减少了计算量，可以满足实时性需求。
39.第二实施例：请参照图4至图6所示，本发明实施例公开了另一种实时性场景下鲁棒视频水印的方法。包括：s201，构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器-解码器模块。
40.s201与第一实施例的对应步骤相同，这里不再赘述。
41.s202，提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧。
42.作为一种优选方案而非限定，所述训练集视频通过hollywood2数据集获取，设定batch_size为12，本步骤采用随机提取训练视频帧，并随机生成随机位数水印的方式，输入编码器网络中，可以较大程度保障神经网络训练的随机性和兼容性，保障后续水印嵌入提取的可靠性。
43.s203，分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印。
44.本实施例通过的可微分噪声层进行扰乱的方式可以是通过在添加常见的图像扰动噪声基础之上，添加包括但不限于视频随机剪切和视频组合。当本步骤的解码器网络输出后，获得无噪声水印和可微分噪声水印。
45.s204，计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器-解码器模块。
46.本步骤比较原输入水印和s203获得的无噪声水印和可微分噪声水印，计算损失函数，而后将损失函数反向传输至编码器-解码器模块以达到校正的目的。
47.s205，重复上述步骤s202-s204，直至编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取。
48.当判定无噪声水印和可微分噪声水印与原输入水印的相似度符合阈值时，确定编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入和提取。
49.作为对本发明的一种改进而非限定，提出下述s206-s209，用于实现编码器-解码器模块可以在有视频压缩干扰（不可微分计算）下完成水印的无损嵌入提取。
50.s206，随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧。
51.本步骤与s202相同，不同的是，此时的编码器-解码器模块已经可以在无视频压缩干扰下完成水印的无损嵌入提取。
52.s207，分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印。
53.本步骤将经过视频压缩扰乱后的水印视频帧输入至解码器网络，视频压缩扰乱的方式包括但不限于mpeg压缩。当本步骤的解码器网络输出后，获得无噪声水印、可微分噪声水印和不可微分噪声水印。
54.s208，计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器-解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络。
55.本步骤比较原输入水印和s207获得的无噪声水印、可微分噪声水印和不可微分噪声水印，计算损失函数，而后将损失函数反向传输至编码器-解码器模块以达到校正的目的。
56.s209，重复上述步骤s206-s208，直至编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取。
57.当判定无噪声水印、可微分噪声水印和不可微分噪声水印与原输入水印的相似度符合阈值时，确定编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入和提取。
58.基于水印嵌入实时性以及水印提取准确性的需求，本发明进一步提出一种用于实时嵌入的多切角嵌入方法，包括s210-s214，其中：s210，获取原视频的分辨率h
×
w。
59.作为一种示例而非限定，本步骤假设原视频的分辨率为1920*1080。
60.s211，设定比例因子k，通过比例因子计算切角块的分辨率r=h
×
w，其中：h=h
×
k，h为切角的高度分辨率；w=w
×
k，w为切角的高度分辨率。
61.作为一种示例而非限定，本步骤假设k=0.05，可得切角块的分辨率r=96*54。
62.s212，在同一原视频帧的左上、右上、左下、右下角处分别提取出共四个切角块。
63.本步骤可以对原视频的所有帧执行s212操作，各视频帧分别提取四个切角块。
64.s213，提取连续视频帧的各切角块，与待添加水印输入至编码器网络中，得到连续视频帧的水印切角块。
65.经过s213可以得到原视频视频帧的各切角块包含水印的图像，同一视频帧可以得到对应的四个角的水印图像。
66.s214，将水印切角块覆盖至对应原视频帧的对应位置，生成水印视频。
67.本步骤中水印视频的水印同样以不可见但可被检测的形式存在，本实施例不对覆盖的具体方式进行限定。
68.s215，提取水印时，可以通过h、w和k来计算切角位置，并将4个切角块的提取结果取众数，以此获得更为精准的提取水印。
69.对应于上述s210-s214的采用切角嵌入水印的方案，在提取水印时，可以通过h、w和k来计算切角位置，并将4个切角块的提取结果取众数，以此获得更为精准的提取水印。
70.本实施例公开了另一种同时实现可微分水印和不可微分水印嵌入提取的神经网络及其训练方式，提升模型对常见视频噪声类型的鲁棒性且在保证实时性的前提下，保证嵌入到视频中的水印不可见且可被检测。同时，通过实时对视频帧各切角嵌入水印，能够在减少了神经网络的计算量的前提下，满足水印嵌入实时性和水印提取准确性的需求。
71.需要说明的是，本领域技术人员可以根据实时性/准确性/鲁棒性权衡来选取不同深度/架构的神经网络模型。对于本发明实施例不同参数也可以做出调整，来进行不同的实时性权衡。
72.第三实施例：请参照图7所示，本发明还提供了一种实时性场景下鲁棒视频水印的装置100，包括构造模块110、第一训练模块120、第二训练模块130和生成模块140，其中：构造模块110，与第一训练模块120连接，用于构造用于训练水印嵌入的深度神经网络，所述深度神经网络包括编码器-解码器模块；第一训练模块120，与第二训练模块130连接，用于训练所述深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；第二训练模块130，与生成模块140连接，用于训练所述深度神经网络以使编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；生成模块140，用于对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频。
73.作为一种优选方案而非限定，所述第一训练模块120，具体用于：提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入和可微分噪声层进行扰乱后输入至解码器网络，获得两种输出解码水印；计算两种解码水印与原输入水印的信息损失，并将损失反向传输至编码器-解码器模块；重复上述步骤，直至编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取；所述第二训练模块130，具体用于：随机提取训练集视频的单独帧，并随机生成水印，将所述单独帧和水印共同输入至编码器网络中，获取水印视频帧；分别将水印视频帧通过直接输入、可微分噪声层进行扰乱后输入以及经过视频压缩扰乱后输入至解码器网络，获得三种输出解码水印；计算三种解码水印与原输入水印的信息损失，将可微分噪声层进行扰乱后输入的损失反向传播至编码器-解码器模块，将视频压缩扰乱后输入的损失反向传输至解码器网络；
重复上述步骤，直至编码器-解码器模块可以在有视频压缩干扰下完成水印的无损嵌入提取；所述生成模块140，具体用于：获取原视频的帧数n；设定嵌入间隔k和连续嵌入帧数b；根据每间隔k帧提取b帧的规则对原视频进行抽样提取操作，得到连续帧；将所述连续帧和待添加水印输入至编码器网络中，生成水印视频；或所述生成模块140，具体用于：获取原视频的分辨率h
×
w；设定比例因子k；通过比例因子计算切角块的分辨率r=h
×
w，其中：h=h
×
k，h为切角的高度分辨率；w=w
×
k，w为切角的高度分辨率；在同一原视频帧的左上、右上、左下、右下角处分别提取出共四个切角块；提取连续视频帧的各切角块，与待添加水印输入至编码器网络中，得到连续视频帧的水印切角块；将水印切角块覆盖至对应原视频帧的对应位置，生成水印视频。
74.本实施例的模块与上述两个方法实施例中的步骤一一对应，在此不再赘诉。
75.本发明实施例通过在深度学习网络中将编码器网络和解码器网络构建模块化，在噪声模拟层加入常见视频噪声模拟，分别训练深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取，以及在有视频压缩干扰下完成水印的无损嵌入提取，无视频压缩干扰下完成水印的无损嵌入提取作为有视频压缩干扰下完成水印的无损嵌入提取的基础，保障了深度神经网络各个训练阶段的合理性和可靠性，实现了实时性场景下鲁棒视频水印的方法，解决了现有技术中深度神经网络对压缩视频建模过程中存在的难题，同时，通过对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频，减少了计算量，可以满足实时性需求。
76.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
77.本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述各实施例中的实时性场景下鲁棒视频水印的方法。
78.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各实时性场景下鲁棒视频水印的方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。
易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
79.或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、终端、或者网络设备等）执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ram、rom、磁碟或者光盘等各种可以存储程序代码的介质。
80.与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的实时性场景下鲁棒视频水印的方法。
81.该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种实时性场景下鲁棒视频水印的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
82.本发明实施例通过在深度学习网络中将编码器网络和解码器网络构建模块化，在噪声模拟层加入常见视频噪声模拟，分别训练深度神经网络以使编码器-解码器模块可以在无视频压缩干扰下完成水印的无损嵌入提取，以及在有视频压缩干扰下完成水印的无损嵌入提取，无视频压缩干扰下完成水印的无损嵌入提取作为有视频压缩干扰下完成水印的无损嵌入提取的基础，保障了深度神经网络各个训练阶段的合理性和可靠性，实现了实时性场景下鲁棒视频水印的方法，解决了现有技术中深度神经网络对压缩视频建模过程中存在的难题，同时，通过对原视频进行抽样提取得到连续帧，将所述连续帧和待添加水印输入至编码器网络中，生成水印视频，减少了计算量，可以满足实时性需求。
83.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
84.以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。