一种视频帧流处理方法、视频服务器及终端设备与流程

本发明涉及多媒体安全技术领域，特别涉及一种视频帧流处理方法、视频服务器及终端设备。

背景技术：

当今社会是高度信息化的社会，信息安全问题对国民经济、社会发展和人民生活显得愈发重要，在信息安全问题中，网络多媒体的保密技术占有非常重要的地位。随着计算机技术、网络技术和多媒体技术的快速发展和广泛应用，为人们获取信息提供了极大的方便，同时也蕴涵着巨大的商业利益，如何保护多媒体信息的安全成为国际研究热点。

随着计算机网络技术及硬件设备的飞速发展，网络视频流媒体也日渐流行，如我们常见的在线视频服务网站、付费视频、网上电影等，用户不仅可以观看自身使用的终端设备中存储的视频文件，还可以观看网络侧的视频文件，当用户想要观看网络侧的视频服务器中存储的视频文件时，可以通过使用的终端设备向视频服务器发送视频传输请求，视频服务器接收到视频传输请求后，将对应的视频文件传输给该终端设备，终端设备将接收到的视频文件进行播放。但由于互联网的开放性、共享性、动态性等特点使得网络信息的安全受到了严重的威胁和干扰，存在着非法攻击、篡改、下载和盗版等安全问题，现有专利申请号为201110293983.9公开的视频帧流处理方法、视频服务器及终端设备通过对视频帧流分组后进行乱序化处理，同时获得乱序化处理后的帧顺序信息，然后将加密后的帧顺序信息及乱序化后的视频帧流发送给终端设备，终端设备进行解密后，再进行排序处理，即形成完整视频，该技术在应用过程中，视频帧流分组后容易出现丢包，这样视频将无法排序完整，严重影响用户的观看，此外，乱序化处理后的帧顺序信息加密后也有可能被盗用，这将完全起不到视频加密的效果。

技术实现要素：

为了解决现有流媒体加密技术无法完全避免非法攻击、篡改、下载和盗版，安全性较低等问题，本发明提供了一种能够有效针对视频流内每帧图片进行加密处理，提高破译难度，多层加密处理的视频帧流处理方法、视频服务器及终端设备。

本发明具体技术方案如下：

本发明提供了一种视频帧流处理方法，所述处理方法包括以下步骤：

S1、视频服务器采集终端设备请求的视频帧流中的各视频帧的静态画面图像；

S2、对所述静态画面图像在视频帧流中的位置进行编码；

S3、对所述静态画面图像进行模糊处理，得到模糊图像和差值图像；

S4、根据与所述终端设备预先协商的加密算法和加密密钥，将获得的所述差值图像进行加密，生成加密文件；

S5、将图像处理后的视频帧流以及生成的加密文件传输至所述终端设备。

进一步的，步骤S1中，视频服务器采集终端设备请求的视频帧流中的各视频帧的静态画面图像的具体方法包括：

S1-1：在所述视频服务器内预存所述终端设备的设备信息与视频帧流的观看时间段之间的对应关系列表；

S1-2：采集当前所述终端设备的设备信息，并在所述对应关系列表中查找当前所述终端设备在视频帧流中能够观看的时间段；

S1-3：根据查找的观看时间段采集所述终端设备能够观看的视频帧流。

进一步的，步骤S3中，对采集的所述静态画面图像进行模糊处理的具体方法包括：

S3-1：通过图像模糊算法对所述静态画面图像进行模糊处理得到模糊图像，所述模糊图像算法为高斯模糊算法；

S3-2：将所述静态画面图像减去所述模糊图像即得到差值图像；

S3-3：通过预设的阀值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有画面区域的差值图像。

进一步的，步骤S4中，根据与所述终端设备预先协商的加密算法和加密密钥，将获得的所述差值图像进行加密，具体包括：

S4-1：确定所述差值图像与模糊处理前的所述静态画面图像对应的位置编码信息；

S4-2：对所述差值图像进行处理形成图像数据，具体包括：将所述差值图像分解为若干个像素点；对每个所述像素点进行色彩数值标记，顺序地抽取每个所述像素点的所述色彩数值形成一个离散的陈列即为图像数据；

S4-3：根据与所述终端设备预先协商的加密算法和加密密钥，将确定的所述位置编码信息与所述图像数据信息进行加密，生成与视频帧流对应的加密文件。

优选的，所述处理方法还包括：

S6、所述视频服务器将所述终端设备请求的视频帧流中插入若干弹跳窗，所述弹跳窗的显示界面上设有解码问题，同时所述视频服务器内存储有与所述解码问题对应的解码答案，并根据与所述终端设备预先协商的加密算法和加密密钥，将解码答案进行加密形成加密附件，发送至所述终端设备；

S7、预先设定所述弹跳窗的弹跳时间点，到达预设的所述弹跳时间点，所述弹跳窗自动弹出；

S8、所述视频服务器对所述终端设备在所述弹跳窗的显示界面上输入的解码答案进行判断，若答案正确，则所述弹跳窗自动隐藏，若答案错误，则视频播放位置跳转至最初开始时间点，并停止播放。

本发明同时提供了一种视频服务器，包括相通讯的存储模块、图像采集模块、位置编码模块、模糊处理模块、加密模块及传输模块；

所述存储模块内保存有若干视频帧流；

所述图像采集模块用于采集所述存储模块中终端设备请求的视频帧流中的各视频帧的静态画面图像；

所述位置编码模块用于对所述静态画面图像在视频帧流中的位置进行编码；

所述模糊处理模块用于对所述静态画面图像进行模糊处理，得到模糊图像和差值图像；

所述加密模块用于根据与所述终端设备预先协商的加密算法和加密密钥，将获得的所述差值图像进行加密，生成加密文件；

所述传输模块用于将图像处理后的视频帧流以及生成的加密文件传输至所述终端设备。

进一步的，所述视频服务器还包括与所述存储模块、所述图像采集模块相通讯的视频帧流确定模块，所述视频帧流确定模块包括设备信息采集单元、查找单元、视频帧流采集单元；

所述设备信息采集单元用于采集当前所述终端设备的设备信息

所述查找单元用于根据所述设备信息在所述存储模块预存的所述对应关系列表中查找当前所述终端设备在视频帧流中能够观看的时间段；

所述视频帧流采集单元用于根据查找的观看时间段采集所述终端设备能够观看的视频帧流，并发送至所述图像采集模块。

进一步的，所述加密模块包括相通讯的位置信息确定单元、图像数据处理单元、加密子单元；

所述位置信息确定单元用于确定所述差值图像与模糊处理前的所述静态画面图像对应的位置编码信息；

所述图像数据处理单元用于对所述差值图像进行处理形成图像数据；

所述加密子单元用于根据与所述终端设备预先协商的加密算法和加密密钥，将确定的所述位置编码信息与所述图像数据信息进行加密，生成与视频帧流对应的加密文件。

优选的，所述视频服务器还包括与所述存储模块、所述加密模块、所述传输模块相通讯的弹跳窗插入模块、弹跳模块、答案判断模块、视频帧跳转模块，其中，

所述弹跳窗插入模块用于在所述终端设备请求的视频帧流中插入若干弹跳窗，所述弹跳窗的显示界面上设有解码问题；

所述存储模块内还存储有与所述解码问题对应的解码答案；所述加密模块还用于根据与所述终端设备预先协商的加密算法和加密密钥，将解码答案进行加密形成加密附件，并通过所述传输模块发送至所述终端设备；

所述弹跳模块用于预先设定所述弹跳窗的弹跳时间点，到达预设的所述弹跳时间点，所述弹跳模块用于将所述弹跳窗弹出；

所述答案判断模块用于对所述终端设备在所述弹跳窗的显示界面上输入的解码答案进行判断，若答案正确，则所述弹跳窗自动隐藏，若答案错误，则视频播放位置通过所述视频帧跳转模块跳转至最初开始时间点，并停止播放。

本发明还提供了一种终端设备，包括相通讯的获取模块、解密模块、合成还原模块、播放模块，其中，

所述获取模块用于获取模糊处理后的视频帧流以及与视频帧流对应的加密文件；

所述解密模块用于根据与对所述视频帧流进行模糊处理前的终端设备预先协商的加密算法和加密密钥，对所述获取模块获得的所述加密文件进行解密，得到所述差值图像与模糊处理前的所述静态画面图像对应的位置编码信息和所述差值图像进行处理形成的图像数据；

所述合成还原模块用于将所述解密模块解密的所述差值图像的图像数据和所述位置编码信息，与所述模糊图像进行合成处理以还原成模糊处理前的所述静态画面图像，即得到模糊处理前的视频帧流；

所述播放模块用于播放所述合成还原模块还原后得到的模糊处理前的视频帧流。

本发明的有益效果如下：与现有技术相比，本发明克服了视频帧流分组后容易出现丢包，且乱序化处理后的帧顺序信息加密后也有可能被盗用，这将完全起不到视频加密的效果等缺陷，本发明将视频帧的静态画面图像进行了模糊处理获得模糊图像和差值图像，并对差值图像进行加密，避免他人直接查看或获取清晰的视频帧图像，实现了对视频的有效加密，提高了视频传输的安全性，避免视频被盗用，通过该方法有效地保护了视频文件的版权，防止了盗版、倒链等问题的发生。

附图说明

图1为实施例1所述的一种视频帧流处理方法，所述处理方法的方法流程示意图；

图2为实施例2所述的一种视频帧流处理方法，所述处理方法中步骤S1的方法流程示意图；

图3为实施例2所述的一种视频帧流处理方法，所述处理方法中步骤S3的方法流程示意图；

图4为实施例2所述的一种视频帧流处理方法，所述处理方法中步骤S4的方法流程示意图；

图5为实施例3所述的一种视频帧流处理方法的进一步流程图；

图6为实施例4所述的一种视频服务器的结构框图；

图7为实施例5所述的一种视频服务器的结构框图；

图8为实施例5所述的一种视频服务器中加密模块的结构框图；

图9为实施例5所述的一种视频服务器的结构框图；

图10为实施例6所述的一种终端设备的结构框图。

其中：1、存储模块；2、图像采集模块；3、位置编码模块；4、模糊处理模块；5、加密模块；501、位置信息确定单元；502、图像数据处理单元；503、加密子单元；6、传输模块；7、视频帧流确定模块；701、设备信息采集单元；702、查找单元；703、视频帧流采集单元；8、弹跳窗插入模块；9、弹跳模块；10、答案判断模块；11、视频帧跳转模块；12、获取模块；13、解密模块；14、合成还原模块；15、播放模块。

具体实施方式

下面结合附图和以下实施例对本发明作进一步详细说明。

实施例1

如图1所示，本发明实施例1提供了一种视频帧流处理方法，所述处理方法包括以下步骤：

S1、视频服务器采集终端设备请求的视频帧流中的各视频帧的静态画面图像；根据终端设备的请求，视频服务器接收请求，并将请求的文件进行处理，采集请求的视频帧流中的各视频帧的静态画面图像，所述视频帧即为单幅的静态画面。

S2、对所述静态画面图像在视频帧流中的位置进行编码；每张所述静态画面图像均按照播放时间顺序进行位置编号，位置编号不能错乱。

S3、对所述静态画面图像进行模糊处理，得到模糊图像和差值图像；具体的，通过图像模糊算法对每一张所述静态画面图像进行模糊处理获得图像的模糊数据即为模糊图像，将原始的所述静态画面图像的数据减去所述模糊图像的数据即得到所述差值图像的数据，在存储时，将所述模糊图像和所述差值图像存储在一起。

S4、根据与所述终端设备预先协商的加密算法和加密密钥，将获得的所述差值图像进行加密，生成加密文件；

S5、将图像处理后的视频帧流以及生成的加密文件传输至所述终端设备。

本发明通过将视频中每一个视频帧的画面进行了模糊处理，然后将差值图像进行加密后同模糊处理后的模糊图像一起发送至终端设备，终端设备对加密后的文件进行解密后，再将差值图像和模糊图像合成为处理前的视频，因此进行视频播放。

本发明提供的方法不仅简单，而且能够有效避免视频被盗版、篡改，其通过对视频帧画面的处理，对视频帧的静态画面进行有效保护，为此，通过该方法实现了对视频的有效加密，防止视频在传输过程中被视频泄露，只有通过视频再合成才能形成有效视频。

实施例2

如图2所示，本发明实施例2在实施例1的基础上进一步限定了，步骤S1中，视频服务器采集终端设备请求的视频帧流中的各视频帧的静态画面图像的具体方法包括：

S1-1：在所述视频服务器内预存所述终端设备的设备信息与视频帧流的观看时间段之间的对应关系列表；

由于有些视频仅供某些终端设备去观看或下载，因此，根据设备信息确认播放的视频帧流，例如，第一终端设备仅能观看第10-20分钟，第二终端设备仅能观看第5-15分钟。

S1-2：采集当前所述终端设备的设备信息，并在所述对应关系列表中查找当前所述终端设备在视频帧流中能够观看的时间段；采集当前终端设备的设备信息，根据该设备信息在对应关系列表中查询能够观看的时间段。

S1-3：根据查找的观看时间段采集所述终端设备能够观看的视频帧流。根据观看时间段从而确认能够观看的视频帧流。

视频帧流的确定起到了对终端设备的审核和判断，仅供通过审核的终端设备，才能采集对应的视频帧流，否则无法进行视频下载或播放。

该方法的设计杜绝了未通过认证的终端设备对视频的下载，有效提高了视频下载或观看的安全性，防止视频任意被下载、篡改或盗版等。

如图3所示，进一步的，步骤S3中，对采集的所述静态画面图像进行模糊处理的具体方法包括：

S3-1：通过图像模糊算法对所述静态画面图像进行模糊处理得到模糊图像，所述模糊图像算法为高斯模糊算法；其中，高斯模糊是美国Adobe图像软件公司开发的一个图像处理软件:Adobe Photoshop(系列)中的一个滤镜，高斯模糊的原理中，它是根据高斯曲线调节象素色值，它是有选择地模糊图像，也就是高斯模糊能够把某一点周围的像素色值按高斯曲线统计起来，采用数学上加权平均的计算方法得到这条曲线的色值，最后能够留下人物的轮廓，即曲线。

S3-2：将所述静态画面图像减去所述模糊图像即得到差值图像；将静态画面图像的数据减去高斯模糊处理后得到的模糊图像的数据即得到差值图像的数据；

S3-3：通过预设的阀值将所述差值图像中剔除面积较小的噪声和背景区域，即得到仅含有画面区域的差值图像。将差值图像进行噪声和背景区域划分和剔除，即得到仅含有人物或具体画面区域的差值图像，该图像为有效图像。

如图4所示，进一步需要说明的是，步骤S4中，根据与所述终端设备预先协商的加密算法和加密密钥，将获得的所述差值图像进行加密，具体包括：

S4-1：确定所述差值图像与模糊处理前的所述静态画面图像对应的位置编码信息；根据所述静态画面图像的位置编码信息，确定所述差值图像对应的位置编码信息。

S4-2：对所述差值图像进行处理形成图像数据信息，具体包括：将所述差值图像分解为若干个像素点；对每个所述像素点进行色彩数值标记，顺序地抽取每个所述像素点的所述色彩数值形成一个离散的陈列即为图像数据信息；获取差值图像内的图像数据。

S4-3：根据与所述终端设备预先协商的加密算法和加密密钥，将确定的所述位置编码信息与所述图像数据信息进行加密，生成与视频帧流对应的加密文件。通过对差值图像的位置编码信息和图像数据信息进行加密，有效实现了对差值图像的加密，从而防止信息泄密。

实施例3

如图5所示，本发明实施例3在实施例1的基础上除了用于对视频帧的图像进行模糊处理外，还进行了视频帧的处理，实现了视频的二次加密。所述处理方法还包括：

S6、所述视频服务器将所述终端设备请求的视频帧流中插入若干弹跳窗，所述弹跳窗的显示界面上设有解码问题，同时所述视频服务器内存储有与所述解码问题对应的解码答案，并根据与所述终端设备预先协商的加密算法和加密密钥，将解码答案进行加密形成加密附件，发送至所述终端设备；弹跳窗以视频帧的形式与终端设备请求的视频帧流内的视频帧进行关联，在弹跳窗的视频帧上插入解码问题，同时将关联的弹跳窗的视频帧与解码答案加密后发送至终端设备。

S7、预先设定所述弹跳窗的弹跳时间点，到达预设的所述弹跳时间点，所述弹跳窗自动弹出；优选的可以设置弹跳窗的视频帧与哪个视频流内的视频帧关联，预先设定所述弹跳窗的弹跳时间点，当播放视频至弹跳时间点时，自动跳出弹跳窗。

S8、在弹跳窗上输入解码答案，所述视频服务器对所述终端设备在所述弹跳窗的显示界面上输入的解码答案进行判断，若答案正确，则所述弹跳窗自动隐藏，若答案错误，则视频播放位置跳转至最初开始时间点，并停止播放。

该方法用于通过在视频流中关联问题视频帧，当只有输入解码答案正确的前提下，才能够进行视频播放，为此，通过该方法实现了视频的二次加密，提高了视频传输的安全性。

实施例4

如图6所示，本发明同时提供了一种视频服务器，包括相通讯的存储模块1、图像采集模块2、位置编码模块3、模糊处理模块4、加密模块5及传输模块6；

所述存储模块1内保存有若干视频帧流，视频服务器用于存储视频，同时用于对传输视频的加密处理。

所述图像采集模块2用于采集所述存储模块1中终端设备请求的视频帧流中的各视频帧的静态画面图像；所述位置编码模块3用于对所述静态画面图像在视频帧流中的位置进行编码；所述模糊处理模块4用于对所述静态画面图像进行模糊处理，得到模糊图像和差值图像；所述加密模块5用于根据与所述终端设备预先协商的加密算法和加密密钥，将获得的所述差值图像进行加密，生成加密文件；所述传输模块6用于将图像处理后的视频帧流以及生成的加密文件传输至所述终端设备。

本发明提供的视频服务器结构简单，通过模糊处理模块4对视频帧的静态图像进行模糊处理，并将处理后的模糊图像和差值图像加密后发送给终端设备，只有当终端设备解密后才能合成视频，进而播放视频，为此，提高了视频传输的安全性，防止视频任意下载、播放、盗用、篡改等。

实施例5

如图7所示，本发明实施例5在实施例4的基础上进一步限定了所述视频服务器还包括与所述存储模块1、所述图像采集模块2相通讯的视频帧流确定模块，所述视频帧流确定模块包括设备信息采集单元701、查找单元702、视频帧流采集单元703；

所述设备信息采集单元701用于采集当前所述终端设备的设备信息；所述查找单元702用于根据所述设备信息在所述存储模块1预存的所述对应关系列表中查找当前所述终端设备在视频帧流中能够观看的时间段；所述视频帧流采集单元703用于根据查找的观看时间段采集所述终端设备能够观看的视频帧流，并发送至所述图像采集模块2。

通过对终端设备的设备信息进行采集，然后进行识别认证，通过识别的终端设备，将根据设备信息与播放时间段的关系确定播放的视频帧流，进而确定播放的视频段，为此，通过该结构的限定，有效提高了视频传输的安全性。

如图8所示，需要进一步说明的是，所述加密模块5包括相通讯的位置信息确定单元501、图像数据处理单元502、加密子单元503；所述位置信息确定单元501用于确定所述差值图像与模糊处理前的所述静态画面图像对应的位置编码信息；所述图像数据处理单元502用于对所述差值图像进行处理形成图像数据；所述加密子单元503用于根据与所述终端设备预先协商的加密算法和加密密钥，将确定的所述位置编码信息与所述图像数据信息进行加密，生成与视频帧流对应的加密文件。

如图9所示，优选的，所述视频服务器还包括与所述存储模块1、所述加密模块5、所述传输模块6相通讯的弹跳窗插入模块8、弹跳模块9、答案判断模块10、视频帧跳转模块11，其中，所述弹跳窗插入模块8用于在所述终端设备请求的视频帧流中插入若干弹跳窗，所述弹跳窗的显示界面上设有解码问题；所述存储模块1内还存储有与所述解码问题对应的解码答案；所述加密模块5还用于根据与所述终端设备预先协商的加密算法和加密密钥，将解码答案进行加密形成加密附件，并通过所述传输模块6发送至所述终端设备；所述弹跳模块9用于预先设定所述弹跳窗的弹跳时间点，到达预设的所述弹跳时间点，所述弹跳模块9用于将所述弹跳窗弹出；所述答案判断模块10用于对所述终端设备在所述弹跳窗的显示界面上输入的解码答案进行判断，若答案正确，则所述弹跳窗自动隐藏，若答案错误，则视频播放位置通过所述视频帧跳转模块11跳转至最初开始时间点，并停止播放。

该方法用于通过在视频流中关联问题视频帧，当只有输入解码答案正确的前提下，才能够进行视频播放，为此，通过该方法实现了视频的二次加密，提高了视频传输的安全性。

实施例6

如图10所示，本发明还提供了一种终端设备，包括相通讯的获取模块12、解密模块13、合成还原模块14、播放模块15，其中，

所述获取模块12用于获取模糊处理后的视频帧流以及与视频帧流对应的加密文件；所述解密模块13用于根据与对所述视频帧流进行模糊处理前的终端设备预先协商的加密算法和加密密钥，对所述获取模块12获得的所述加密文件进行解密，得到所述差值图像与模糊处理前的所述静态画面图像对应的位置编码信息和所述差值图像进行处理形成的图像数据；所述合成还原模块14用于将所述解密模块13解密的所述差值图像的图像数据和所述位置编码信息，与所述模糊图像进行合成处理以还原成模糊处理前的所述静态画面图像，即得到模糊处理前的视频帧流；

所述播放模块15用于播放所述合成还原模块14还原后得到的模糊处理前的视频帧流。

终端设备接收到加密文件后，用于将加密文件进行解密，获得解密后的差值图像，通过将差值图像与模糊图像进行合成组成加密前的视频帧的静态图像，从而形成视频，进而将视频进行播放，提高了视频的安全性和有效性，有效防止视频被盗用，一旦终端设备之间相互传输时，由于不同的终端设备播放的时间段不同，所以，视频不会被任意播放，只有当设备信息与播放时间段对应上，且图像合成准确后才能够进行播放，该结构提高了视频播放和传输的安全性。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。