基于HadoopMapReduce的Block数据透明加扰方法与流程

本发明涉及数据处理技术领域，尤其涉及一种基于Hadoop MapReduce的Block数据透明加扰方法。

背景技术：

近年来，数字视频技术迅猛发展，从视频会议到视频点播，从数字电视到多视点电视，相关的数字视频应用层出不穷，且已经走进千家万户。然而，从视频服务商的角度出发，面临着一个难题：如何保障已付费或已授权的用户可接受高质量的数字视频服务，而未付费或未授权用户只能看低质量但又能分辨内容的数字视频服务？这就是数字视频透明加扰技术。由于视频信号的数据量大，而网络带宽有限，因此数字视频总是以压缩的形式进行传播的。随着Hadoop大数据工具的出现，如何在Hadoop MapReduce过程中结合视频编码的特点，实现加扰之后的数据格式兼容性，又不影响数据的编码效率和有效传输，是一项具有挑战性的难题。

众所周知，Hadoop由许多元素构成，其最底部是Hadoop Distributed File System(HDFS)，它存储Hadoop集群中所有存储节点上的文件。HDFS的上一层是MapReduce引擎。目前，针对Hadoop MapReduce的数据加密方法相对较少，而主要侧重于HDFS。例如，论文《一种具有数据隐私加密功能的Hadoop系统》(江苏船舶，2013，30(6)：25-27)提出了基于HDFS的混合加密算法；论文《Hadoop下混合加密算法的研究》(数字技术与应用，2015)提出一种三重加密方案，使用AES加密HDFS，然后通过RSA加密密钥，最后使用指纹识别技术将RSA的私钥存储在云端。

对于视频大数据而言，如果在HDFS进行加密，则会难以保证视频数据格式兼容性。因此，有必要提供一种改进的基于Hadoop MapReduce的Block数据透明加扰方法来克服上述缺陷。

技术实现要素：

本发明所要解决的技术问题是：提供一种基于Hadoop MapReduce的Block数据透明加扰方法，以保证视频数据格式的兼容性。

为解决上述技术问题，本发明采用的技术方案如下：

提供一种基于Hadoop MapReduce的Block数据透明加扰方法，包括：

根据视频图像的离散余弦变换编码特点对离散余弦变换系数进行Zigzag映射及行程编码；

对经过Zigzag映射及行程编码后的离散余弦变换系数引入加扰算法以实现对所述视频图像的数据的透明加扰。

与现有技术相比，本发明的方法先根据视频图像的离散余弦变换编码特点对离散余弦变换系数进行Zigzag映射及行程编码，再引入加扰算法以实现对视频图像的数据的透明加扰。该方法中充分考虑了视频图像的离散余弦变换(DCT)编码特点，且是在Zigzag映射和行程编码之后引入的加扰算法，没有改变视频原有格式，从而保证了视频数据格式的兼容性，非常适合于在线视频点播、数字电视等视频服务应用。

具体地，根据视频图像的离散余弦变换特点对离散余弦变换系数进行Zigzag映射及行程编码具体地包括：

将每个视频图像的16×16块按Zigzag顺序划分为16个4×4块；

将每个4×4块采用Zigzag映射方式形成B(i,0)、B(i,1)、......、B(i,15)，其中，B表示块，i表示块中第i个4×4块；

将16个4×4块相对应的数据采用Map过程映射到16个对应的Reduce端以形成块B(i，j)，每一块B(i，j)中具有16个数据；

采样行程编码技术将每个块B(i，j)中的16个数据合并为新的第j个Block；

对新的第j个Block进行Reduce数据处理以形成Block0‘、Block1‘、......、Block15‘。

具体地，对经过Zigzag映射及行程编码后的离散余弦变换系数引入加扰算法具体为：

对Block0‘、Block1‘、......、Block15‘逐一引入加扰算法以实现对视频图像的数据的透明加扰。

可选地，加扰算法为Blocki’中系数符号的随机翻盘。具体地，假设系数为B(i,j)(0≤i,j≤15)，随机密钥为K(i,j)(0≤i,j≤15，K(i,j)＝±1)，则翻盘后的系数为B(i,j)‘＝E(B(i,j))＝B(i,j)×K(i,j)。这种方法虽然没有改变系数的统计特性，加扰效果不显著，但算法简单，易于实现，对计算资源消耗少。

可选地，加扰算法为Blocki’随机洗牌。具体地，将Blocki’(0≤i≤15)作为一个基本单位进行随机置乱，而Blocki’中系数的相对位置不变。这种洗牌改变了块间相关性，总体效果优于符号的随机翻盘。

可选地，加扰算法为Blocki’中系数B(i,j)(0≤i,j≤15)的随机洗牌。具体地，将每个Blocki’中系数B(i,j)进行随机置乱，破坏了系统的统计特性，其置乱效果总体上最优，但对计算资源和密钥开销也大，适合于高安全性的视频保密需求。

通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。

附图说明

图1为Zigzag映射过程示意图。

图2为本发明基于Hadoop MapReduce的Block数据透明加扰方法的主流程图。

图3为本发明方法一实施例的流程图。

图4为本发明MapReduce过程的示意图。

具体实施方式

现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件。

为了更好地阐述本发明，先对其所涉及的基本技术做如下介绍：

(1)行程编码技术

其基本原理是：用一个符号值或串长代替具有相同值的连续符号(连续符号构成了一段连续的“行程”，行程编码因此而得名)，使符号长度少于原始数据的长度。例如：999999777775500000,行程编码为：(9，6)(7，5)(5，2)(3，4)(0，5)。可见，行程编码的位数远远少于原始字符串的位数。

(2)Zigzag映射技术

在JPEG、MEPG、H.26X等视频图像编码中，普遍采用了离散余弦变换(DCT)变换编码算法，将图像从像素域变换到频率域。由于一般视频图像都存在很多冗余和相关性，所以DCT转换到频率域之后，只有很少的一部分频率分量的系数才不为0，大部分系数都为0(或者说接近于0)，这样就可以进行高效的编码，以达到压缩的目的。DCT变换以Block(块)为单位，块大小可定义为M×N，通常具有4×4、8×8、16×16三种块大小。以8×8块为例，如图1所示，通过DCT变换得到的系数矩阵图将具体如下特征：从左上角依次到右下角，频率越来越高，左上角的值比较大，到右下角的值就很小很小了，而且绝大部分均为0或接近于0。换句话说，图像的能量几乎都集中在左上角这个地方的低频系数上面。

在这种背景下，采用Zigzag映射和行程编码技术可以极大地提升图像编码效率，也是目前图像编码普通采用的编码方式。

因此，基于上述技术，本发明的工作原理是：结合视频DCT变换编码的特点，如JPEG、MEPG、H.26X等，在DCT系数经过Zigzag映射和行程编码之后，通过引入加扰算法，以实现视频图像数据的透明加扰，可应用于在线视频点播、数字电视等视频服务。需要说明的是，在本发明中，加扰过程是指在reduce之后、output之前的过程。

具体地，请参考图2，本发明的方法主要包括：

S201，根据视频图像的离散余弦变换编码特点对离散余弦变换系数进行Zigzag映射及行程编码；

S202，对经过Zigzag映射及行程编码后的离散余弦变换系数引入加扰算法以实现对视频图像的数据的透明加扰。

具体地，再请参考图3及图4，在本发明的一优选实施例中，该方法具体包括：

S301，将每个视频图像16×16Block块按Zigzag顺序(如图1)分为16个4×4块。

S302，针对每个4×4块，采用Zigzag映射方式形成B(i,0)、B(i,1)、......、B(i,15)，其中，i表示Block中第i个4×4块。

S303，采用Map过程将16个4×4块相对应数据映射到16个对应的Reduce端。由于图像的DCT变换特点，B(i,j)(任一个block中，j取值不变)中的16个数据具有很强的相关性。

S304，在合并过程中，采用行程编码技术，将每个B(i,j)(任一个block中，j取值不变)中的16个强相关性数据合并为新的第j个Block。

S305，做Reduce数据处理，形成Block0‘、Block1‘、......、Block15‘。

S306，针对每个Blocki‘(即Block0‘、Block1‘、......、Block15‘)逐一引入加扰算法以实现对所述视频图像的数据的透明加扰，其中0≤i≤15。

具体地，加扰算法分别包括以下三种：

算法1：Blocki’中系数符号的随机翻盘。假设系数为B(i,j)(0≤i,j≤15)，随机密钥为K(i,j)(0≤i,j≤15，K(i,j)＝±1)，则翻盘后的系数为B(i,j)‘＝E(B(i,j))＝B(i,j)×K(i,j)。这种方法虽然没有改变系数的统计特性，加扰效果不显著，但算法简单，易于实现，对计算资源消耗少。

算法2：Blocki’随机洗牌。将Blocki’(0≤i≤15)作为一个基本单位进行随机置乱，而Blocki’中系数的相对位置不变。这种洗牌改变了块间相关性，总体效果优于符号的随机翻盘。

算法3：Blocki’中系数B(i,j)(0≤i,j≤15)的随机洗牌。将每个Blocki’中系数B(i,j)进行随机置乱，破坏了系统的统计特性，其置乱效果总体上最优，但对计算资源和密钥开销也大，适合于高安全性的视频保密需求。

从以上描述可以看出，与现有技术相比，本发明具有以下优点：充分考虑了图像的DCT变换特点，针对不同应用对加扰效果的需求，给出了三种加扰方法，且由于没有改变视频原有格式，保证了视频数据格式兼容性，非常适合于在线视频点播、数字电视等视频服务的应用。

此外，就本发明的技术方案，还做了相关的实验比较。具体地，在进行试验时，采用的实验环境为：Hadoop-1.2.1，Ubuntu 14.04，联想四核CPU，主频2.6GHz，内存8G，硬盘512G。所得到的实验结果为：实验以信噪比、运行时间及码率作为观察变量，为了保证实验的准确度，实验中以H.264标准视频格式作为测试视频，每帧为704×576像素(D1)，并将Map和Reduce数量均设为16。取128M大小的H.264标准视频进行测试，与未采用加扰算法相比较，如下表所示：

以上结合最佳实施例对本发明进行了描述，但本发明并不局限于以上揭示的实施例，而应当涵盖各种根据本发明的本质进行的修改、等效组合。