数据处理方法及其设备与流程

本发明涉及一种互联网数据传输技术领域，特别涉及一种数据处理方法及其设备。

背景技术：

随着科学技术的不断发展，信息技术和计算机互联网分别在极大程度地改变了人们的日常的生活。如今，人们获取信息的主要来源于互联网。互联网数据传输占据用户数字生活的主导地位。

互联网的传输数据包括：网页框架、文本数据、图片和音视频等等。其中，网页框架的数据包括：css，html，javascript脚本等各种元素数据，这些数据的重用性非常大，但往往忽视了对这类数据的压缩。文本数据也是网页数据中的重要数据，文本数据的压缩主要是采用utf-8编码的方式，需要2字节来传输字符，压缩性能不佳。对于网页中的图片与音视频数据类型众多，数据量也非常大，需要压缩。

如何针对互联网中数据的不同类型对于数据进行压缩编码成为亟待解决的问题。

技术实现要素：

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种基于帧内预测的视频压缩方法及其设备。

具体地，本发明一个实施例提出的一种数据处理方法，包括：

获取初始传输数据；其中，所述初始传输数据包括网页框架数据、文本数据、图像数据和音视频数据；

对初始传输数据进行压缩编码；其中，根据所述初始数据的不同类型，对所述初始传输数据进行不同的压缩编码，压缩编码之后得到目标传输数据；

将所述目标传输数据在服务器和客户端之间进行传输。

在本发明的一个实施例中，根据所述初始数据的不同类型，对所述初始传输数据进行不同的压缩编码，包括：

对所述网页框架数据进行第一压缩编码；

对所述文本数据进行第二压缩编码；

对所述图像数据进行第三压缩编码；

对所述音视频数据进行第四压缩编码。

在本发明的一个实施例中，对所述网页框架数据进行第一压缩编码，包括：

利用霍夫曼编码方式对所述网页框架数据进行第一压缩编码。

在本发明的一个实施例中，对所述文本数据进行第二压缩编码，包括：

获取所述文本数据中的全部字符；

将每个字符分解为n×n的矩阵区域；其中，矩阵区域将每个字符分解成多个斑点，n为大于1的正整数；

依次将每个字符的矩阵区域的第i行的n个子区域中存在斑点的区域标识为第一数值，并将n个子区域中不存在斑点的区域标识为第二数值，得到每个字符的第i行的目标数值，其中，i依次取1至n；

基于全部字符中首字符的n个目标数值确定首字符的编码值；

基于首字符的编码值依次确定全部字符中的其他字符编码结果。

在本发明的一个实施例中，对所述图像数据进行第三压缩编码，包括：

建立自适应模板；

根据当前mb更新所述自适应模板；

获取更新后的所述自适应模板的最优重建值；

根据所述最优重建值获取所述当前mb中每个像素的预测残差。

在本发明的一个实施例中，建立自适应模板，包括：

建立第一自适应模板包括定义所述第一自适应模板的表位数量以及表位序号，对所述第一自适应模板进行初始化填充后并更新；

建立第二自适应模板包括定义所述第二自适应模板表位数量以及表位序号，更新所述第二自适应模板。

在本发明的一个实施例中，对所述音视频数据进行第四压缩编码，包括：

分别对所述音视频数据中的视频数据和音频数据进行第四压缩编码；其中，对所述音频数据采用aac、mp3、wma中的一种格式进行压缩编码，视频编码格式采用h.263、h.264中的一种格式进行压缩编码。

在本发明的另一个实施例提出的一种数据处理设备，包括：

获取模块，用于获取初始传输数据；其中，所述初始传输数据包括网页框架数据、文本数据、图像数据和音视频数据；

压缩编码模块，用于对初始传输数据进行压缩编码；其中，根据所述初始数据的不同类型，对所述初始传输数据进行不同的压缩编码，压缩编码之后得到目标传输数据；

传输模块，用于将所述目标传输数据在服务器和客户端之间进行传输。基于此，本发明具备如下优点：

本发明针对互联网传输的各类数据设计了相应的压缩方法，该方法能够有效地提高了传输性能，节省互联网的能源成本，提高设备的寿命。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种数据处理方法流程示意图；

图2为本发明实施例提供的一种第一自适应模板的示意图；

图3为本发明实施例提供的一种第二自适应模板的示意图；

图4为本发明实施例提供的一种数据处理设备示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种数据处理方法流程示意图；该方法包括：

步骤1、获取初始传输数据；其中，所述初始传输数据包括网页框架数据、文本数据、图像数据和音视频数据；

步骤2、对初始传输数据进行压缩编码；其中，根据所述初始数据的不同类型，对所述初始传输数据进行不同的压缩编码，压缩编码之后得到目标传输数据；

步骤3、将所述目标传输数据在服务器和客户端之间进行传输。

进一步地，步骤2中根据所述初始数据的不同类型，对所述初始传输数据进行不同的压缩编码，包括：

步骤21、对所述网页框架数据进行第一压缩编码；

步骤22、对所述文本数据进行第二压缩编码；

步骤23、对所述图像数据进行第三压缩编码；

步骤24、对所述音视频数据进行第四压缩编码。

进一步地，步骤21可以包括：

利用霍夫曼编码方式对所述网页框架数据进行第一压缩编码。

在本发明的一个实施例中，对所述文本数据进行第二压缩编码，包括：

获取所述文本数据中的全部字符；

将每个字符分解为n×n的矩阵区域；其中，矩阵区域将每个字符分解成多个斑点，n为大于1的正整数；

依次将每个字符的矩阵区域的第i行的n个子区域中存在斑点的区域标识为第一数值，并将n个子区域中不存在斑点的区域标识为第二数值，得到每个字符的第i行的目标数值，其中，i依次取1至n；

基于全部字符中首字符的n个目标数值确定首字符的编码值；

基于首字符的编码值依次确定全部字符中的其他字符编码结果。

进一步地，步骤23可以包括：

建立自适应模板；

根据当前mb更新所述自适应模板；

获取更新后的所述自适应模板的最优重建值；

根据所述最优重建值获取所述当前mb中每个像素的预测残差。

进一步地，步骤23中建立自适应模板可以包括：

建立第一自适应模板包括定义所述第一自适应模板的表位数量以及表位序号，对所述第一自适应模板进行初始化填充后并更新；

建立第二自适应模板包括定义所述第二自适应模板表位数量以及表位序号，更新所述第二自适应模板。

进一步地，步骤24可以包括：

分别对所述音视频数据中的视频数据和音频数据进行第四压缩编码；其中，对所述音频数据采用aac、mp3、wma中的一种格式进行压缩编码，视频编码格式采用h.263、h.264中的一种格式进行压缩编码。

实施例二

本实施例在上述实施例的基础上对本发明提供的一种数据处理方法进行详细描述，该方法包括如下步骤：

步骤1、获取初始传输数据

初始传输数据为互联网中服务器和客户端之间传输的数据，初始传输数据包括以下类型：网页框架数据、文本数据、图像数据和音视频数据。

步骤2、对初始传输数据进行压缩编码

根据初始数据的不同类型，对初始传输数据进行不同的压缩编码，压缩编码之后得到目标传输数据。进一步地，对网页框架数据进行第一压缩编码，对文本数据进行第二压缩编码，对图像数据进行第三压缩编码，对音视频数据进行第四压缩编码。

步骤3、传输目标传输数据

将编码之后得到的目标传输数据在服务器和客户端之间进行传输。

在本发明实施例中，对获取到的互联网传输数据中的网页框架数据、文本数据、图像数据和音视频数据分别按照不同的压缩编码方式进行压缩编码，得到目标传输数据，并对编码之后的目标传输数据在互联网和客户端之间传输，通过按照不同的方法对传输数据进行分别处理，可以高效地对传输数据进行压缩编码，从而实现了提高数据压缩率的技术效果。

在一个实施例中，对网页框架数据进行第一压缩编码，其中，网页框架数据包括css脚本、html脚本和javascript脚本，第一压缩编码包括霍夫曼编码方式，该方法包括如下步骤：

步骤201、对css脚本、html脚本和javascript脚本进行整合，得到目标集合；

css脚本、html脚本和javascript脚本等数据可以看作是一个有限数据集合，因此，可以按照一定的语法元素进行排列整合，得到一个集合(即目标集合)

步骤202、在目标集合中提取至少一个关键字；

步骤203、统计每个关键字在目标集合中出现的频率；

步骤204、按照霍夫曼编码方式对频率进行编码，得到编码之后的网页框架数据。

在一个实施例中，对文本数据执行第二压缩编码包括如下步骤：

步骤s211、获取文本数据中的全部字符；

步骤s212、对每个字符分解为n×n的矩阵区域，其中，矩阵区域将每个字符分解成多个斑点，n为大于1的正整数；

步骤s213、依次将每个字符的矩阵区域的第i行的n个子区域中存在斑点的区域标识为第一数值，并将n个子区域中不存在斑点的区域标识为第二数值，得到每个字符的第i行的目标数值，其中，i依次取1至n；

步骤s214、基于全部字符中首字符的n个目标数值确定首字符的编码值；

步骤s215、基于首字符的编码值依次确定全部字符中的其他字符编码结果。

本领域技术人员均知晓中文是可以拆解成笔划的，并且笔划的数目远远低于汉字的数目，英文也可以拆解成基本的笔划。然而，笔划再往细分，文字可以看作是斑点的组合。本发明把互联网上的通用文本结构分解为横竖n×n的矩阵区域，例如，分解成16×16的256个区域，每个区域可以存在一个斑点，其中，区域的划分方法在编解码器中共享。

在对字符按照上述方法进行分解之后，任何一个字符可用斑点的组合表示，例如，可以将该字符的矩阵区域的第i行的16个子区域中存在斑点的区域用1(第一数值)标识，不存在斑点的区域用0(第二数值)标识。

具体地，在本发明实施例中，首先，可以通过上述方法确定文本数据中首字符的n个(例如，16个)目标数据确定该首字符的编码值，其中，该目标数值即为该首字符n行(例如，16行)的斑点组合。在确定首字符的编码值之后，就可以依次确定文本中其他字符的编码结果。

在一个实施例中，对图像数据进行编码处理的流程图，如图3所示，对图像数据第三压缩编码包括如下步骤：

图像数据即为一幅幅的图像，在对图像进行压缩编码时，通常将图像划分为多个图像块，每个图像块称为宏块(macroblock,简称mb)。

步骤1、建立自适应模板

自适应模板包括第一自适应模板和第二自适应模板如图2和图3所示，图2为本发明实施例提供的一种第一自适应模板的示意图；图3为本发明实施例提供的一种第二自适应模板的示意图；具体地，第一自适应模板的建立过程如下步骤：

步骤101、定义第一自适应模板的表位数量以及表位序号

优选地，可以定义第一自适应模板的表位数量为4个、8个、16个或32个；本实施例以表位数量为16个为例说明，其它数量的表位同理。第一自适应模板的表位数量为16，表位序号从0到15依次排列，序号越小，优先级越高，每个表位记录一个mb的一组重建值。mb大小可设定，本实施例以16*1为例，即每个mb的大小为16*1个像素，即每个mb有16个重建值。

步骤102、第一自适应模板的初始化填充

第一自适应模板的初始状态为空，将某一mb的重建值填充到序号为0的表位；继续填充第一自适应模板，将序号为0的表位中的重建值顺序移位到序号为1的表位中，将下一个mb的重建值填充到序号为0的表位；以此类推，每次填充第一自适应模板时，将已填充的n个表位位置顺序向后移位，移一个表位位置，将待填充的mb的重建值填充到序号为0的表位，直到第一自适应模板中的16个表位填充完毕。具体为：每次进行mb的重建值填充前，按序号从小到大，检测当前mb的重建值与列表中所有已填充的重建值的一致性；若不具备一致性，那么列表从序号0到序号n-1，共n个有效位置顺序向后移位，当前mb的重建值放在列表0位置。若具备一致性，列表中模板表位位置不变，可选择将第一自适应模板中与当前mb重建值一致的表位中已填充重建值更新为当前mb的重建值或者不更新。检测一致性的公式如下所示：

其中，cur为当前mb的原始像素值，currec为当前mb的重建值，abs为求绝对值，pred为模板中填充的重建值，mbnum为当前mb中像素数量，a1和a2为权重系数，thr0为阈值，thr0的取值根据用户需求确定。a1和a2的取值可以是预先设定的固定值，进一步地，a1+a2＝1，优选地，a1可以选取为0.5，a2可以选取为0.5，a1和a2也可以灵活调整大小。当的值小于thr0时，k的取值为1，1代表具备一致性，则可以判断为具备一致性；反之，当的值大于thr0时，k的取值为0，则可以判断为不具备一致性。

步骤103、第一自适应模板初始化填充后的更新

第一自适应模板初始化填充后，检测图像中的其余mb，更新第一自适应模板，更新方法如下：

若当前mb存在上参考mb，检测正上参考mb与第一自适应模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应模板所有表位序号从0开始顺序移位，表位序号最后一个移除列表，再将上参考mb的重建值更新到第一自适应模板表位序号为0的位置；若具备一致性，将一致的第一自适应模板中已填充重建值与表位序号为0的位置的重建值对换，并可以更新模板中所有重建值。

同理，若当前mb存在左参考mb，检测左侧参考mb与第一自适应模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应模板中以表位序号为1开始的表位序号顺序移位，表位序号最后一个移除列表，再将左参考mb的重建值更新到第一自适应模板表位序号为1的位置；若具备一致性，将一致的第一自适应模板中已填充重建值与表位序号为1的位置的重建值对换，并可以更新模板中所有重建值。

若当前mb存在左上参考mb，检测左上参考mb与第一自适应模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应模板中以表位序号为2开始的表位序号顺序移位，表位序号最后一个移除列表，再将上参考mb的重建值更新到第一自适应模板表位序号为2的位置；若具备一致性，将一致的第一自适应模板中已填充重建值与表位序号为2的位置的重建值对换，并可以更新第一自适应模板中所有重建值。

若当前mb存在右上参考，检测右上参考mb与第一自适应模板中已填充的重建值的一致性，若不具备一致性，先将第一自适应模板中以表位序号为3开始的表位序号顺序移位，表位序号最后一个移除列表，再将右参考mb的重建值更新到第一自适应模板表位序号为3的位置；若具备一致性，将一致的第一自适应模板中已填充重建值与表位序号为3的位置的重建值对换，并可以更新第一自适应模板中所有重建值。

其中，一致性检测方法参考步骤102中检测一致性的公式。

进一步地，第二自适应模板的建立包括如下步骤：

步骤111、定义第二自适应模板表位数量以及表位序号

优选地，可以定义第二自适应模板表位数量为4个、8个、16个或32个；本实施例以第二自适应模板表位数量为8个为例说明，其它数量的第二自适应模板表位同理。数量为8的第二自适应模板表位，表位序号从0到8依次排列，序号越小，优先级越高，每个表位记录一个mb的一组重建值。mb大小可设定，本实施例以8*2大小为例，即每个mb的大小为8*2个像素，即每个mb有8*2个重建值。

步骤112、第二自适应模板更新

第二自适应模板表位序号为4～7的位置存储预先设定的4组重建值；检测当前mb上相邻mb的重建值与第二自适应模板中已填充的重建值的一致性，若不具备一致性，将上相邻mb的重建值填充到第二自适应模板表位序号为0的位置；若具备一致性，将一致的第二自适应模板中已填充重建值与表位序号为0的位置的重建值对换，并可以更新模板中所有重建值。

检测当前mb左相邻mb的重建值与第二自适应模板中已填充的重建值的一致性，若不具备一致性，将左相邻mb的重建值填充到第二自适应模板表位序号为1的位置；若具备一致性，将一致的第二自适应模板中已填充重建值与表位序号为1的位置的重建值对换，并可以更新模板中所有重建值。

检测当前mb左上相邻mb的重建值与第二自适应模板中已填充的重建值的一致性，若不具备一致性，将左上相邻mb的重建值填充到第二自适应模板表位序号为2的位置；若具备一致性，将一致的第二自适应模板中已填充重建值与表位序号为2的位置的重建值对换，并可以更新模板中所有重建值。

检测当前mb右上相邻mb的重建值与第二自适应模板中已填充的重建值的一致性，若不具备一致性，将右上相邻mb的重建值填充到第二自适应模板表位序号为3的位置；若具备一致性，将一致的第二自适应模板中已填充重建值与表位序号为3的位置的重建值对换，并可以更新模板中所有重建值。

其中，一致性检测方法参考步骤102中检测一致性的公式。

步骤2、获取自适应模板最优重建值

根据当前mb按照上述步骤更新自适应模板，该自适应模板可以选取第一自适应模板或第二自适应模板中的任意一个，自适应模板更新完成之后，将当前mb与列表中每个表位的重建值进行匹配，根据公式，选取最优的m个表位。公式如下：

其中，cur为当前mb的原始像素，pred为自适应模板中每个表位填充的重建值；mbnum为当前mb中像素数量，c1和c2为权重系数，最终rdo越小，则该自适应模板表位中的重建值越优。

在一种实施方式中，c1和c2的取值可以是预先设定的固定值，进一步地，为了便于计算，可以直接将c1设定为1，将c2设定为0。

步骤3、确定加权预测像素值

分别对m个表位中的重建值中任一重建值加权处理得到预测像素值。如下公式：

predwi＝(w1*predi-1+w2*predi+w3*predi+1+w4)/4

其中，w1、w2、w3、w4为一组预测参数，predw为预测像素值，pred为模板中m个表位中任一表位填充的重建值，i为pred在表位中的排序。

预设t种w1、w2、w3、w4的不同组合，针对一个表位可以生成t种预测像素值，m个表位有m*t种预测像素值，最终在m*t种可能性中，根据rdo公式，选出最优的表位和对应的w1、w2、w3、w4。根据w1、w2、w3、w4计算该最优表位中的重建值的预测像素值，作为当前mb的参考值。

在一种实施方式中，w1、w2、w3、w4的取值可以是预先设定的固定值，进一步地，w1+w2+w3＝3，优选地，w1、w2、w3分别选取为1，w1、w2、w3分别选取为0.5，2，0.5，w1、w2、w3可以根据实际情况，灵活调整大小。进一步地，w4可以选取为当前表位中所有填充的重建值的平均值，也可以选取为表位中与当前预测像素值排序对应的重建值。

进一步地，最优表位即为rdo中的最小值对应的表位。

步骤4、求残差

可选择点对点求差方式或自适应预测方式求残差。最终将残差值、列表表位序号和w1、w2、w3、w4的值进行编码，其中，点对点求差方式为将当前mb中的每个像素值对应减去最优表位中的每个重建值对应的预测像素值。进一步地，重建像素指已压缩图像解压重建得到的像素，重建像素的像素值通常称为重建值。根据预测残差可以得到重建值，即将参考值加上预测残差可以得到重建值。

定义不同的自适应模板对应不同的纹理区域，更容易提高当前mb中的像素与自适应模板中选定的像素匹配的概率，能够提高对复杂纹理区域求预测残差值的精度，进一步降低压缩编码的理论极限熵，增大带宽压缩率。

在一个实施例中，对音视频数据进行第四压缩编码包括：可以分别对音视频数据中的视频数据和音频数据进行压缩编码。可选地，音频编码格式可以采用aac(advancedaudiocoding，高级音频编码)、mp3、wma等格式，视频编码格式可以采用h.263，h.264等格式。

综上，本发明针对互联网传输的各类数据设计了相应的压缩方法，该方法能够有效地提高了传输性能，节省互联网的能源成本，提高设备的寿命。

实施例三

本实施例在上述实施例的基础上，对本发明提出的数据处理设备进行详细描述，该设备如图4所示，图4为本发明实施例提供的一种数据处理设备示意图；包括：

获取模块11，用于获取初始传输数据；其中，所述初始传输数据包括网页框架数据、文本数据、图像数据和音视频数据；

压缩编码模块12，用于对初始传输数据进行压缩编码；其中，根据所述初始数据的不同类型，对所述初始传输数据进行不同的压缩编码，压缩编码之后得到目标传输数据；

传输模块13，用于将所述目标传输数据在服务器和客户端之间进行传输。

综上所述，本文中应用了具体个例对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。