数据传输过程中自适应压缩方法及系统与流程

本发明涉及数据通信，特别是数据传输过程中自适应压缩方法及系统。

背景技术：

1、在进行数据通信的过程中，为了降低所使用的计算资源(例如，带宽或存储空间)的量，在数据被通过网络传送之前，数据可以被压缩或被编码而使用比原始数据更少的比特，经压缩的数据可以使用各种通信协议而被从源传送至目的地。

2、现有技术中的压缩方案虽然会根据网速、数据自身的特点等因素选择最优的压缩算法，但是只会使用单一的压缩算法完成数据处理，处理方式比较机械，不能进行灵活调整。

技术实现思路

1、为了解决现有技术中压缩处理比较机械，不能进行灵活调整的技术问题，本发明提出的数据传输过程中自适应压缩方法具体包括如下步骤：

2、s1、系统初始化，设置常规压缩算法集合和通信压缩算法集合，初始化比较字典，将历史测速时间戳设置为none，将当前网络速率设置为0，将比较缓冲存储器中的数据清空，将当前误差最优算法和当前比例最优算法设置为none；

3、s2、进行网络速率检测，设置所述当前网络速率，将所述历史测速时间戳设置为当前时间戳；

4、s3、获取当前传输数据，计算当前传输数据的特征数据，基于特征数据从所述比较字典中寻找是否存在相似记录，如果存在，则进入s4，否则，进入s5；

5、s4、将所述当前误差最优算法和所述当前比例最优算法设置为所述比较字典中相似记录记载的误差最优算法和比例最优算法，进入s6；

6、s5、调用所述通信压缩算法集合，通过运算确定当前误差最优算法和当前比例最优算法，增加所述比较字典的记录；

7、s6、判断当前网络速率是否大于速率阈值，若当前网络速率大于速率阈值，进入s7，否则，进入s8；

8、s7、将所述比较缓冲存储器中的数据清空，存入当前传输数据，采用当前误差最优算法对当前传输数据进行压缩，获得最终的压缩数据，进入s12；

9、s8、判断所述比较缓冲存储器中是否存在数据，如果存在，进入s9，否则，进入s11；

10、s9、将所述当前传输数据与所述比较缓冲存储器中存储的前次传输数据进行比较，若两者相似，进入s10，否则进入s11；

11、s10、将所述比较缓冲存储器中的数据清空，存入当前传输数据，对当前传输数据进行重新编码，采用所述当前比例最优算法对编码后的数据进行压缩，获得最终的压缩数据，进入s12；

12、s11、将所述比较缓冲存储器中的数据清空，存入当前传输数据，采用所述当前误差最优算法对当前传输数据进行压缩，再采用所述当前比例最优算法对压缩后的数据继续进行压缩，获得最终的压缩数据；

13、s12、传输最终的压缩数据；

14、s13、根据当前时间戳和所述历史测速时间戳判断是否需要进行网络速率检测，如果需要进行速率检测，进入s2，否则，进入s3。

15、优选的，在所述s1中，向接收信息的客户端发送压缩算法协商请求，获取客户端所支持的压缩算法，在常规压缩算法集合中挑选客户端所支持的压缩算法组成通信压缩算法集合。

16、优选的，在所述s3中，分别采用md5算法、sha1算法和crc32算法对当前传输数据进行运算获得三种不同的特征参数，组成传输数据特征向量，将传输数据特征向量与比较字典中的数据特征向量进行比较，判断是否存在相似的记录，如果存在，则进入s4，否则，进入s5。

17、优选的，判断是否存在相似的记录的方法为采用二进制表示特征向量中的特征参数，若进行比较的两个特征参数中对应位置二进制数值相同的比例占到80％以上，则认为特征参数相似，当相似特征参数的数量≥2时，认定存在相似的记录。

18、优选的，在所述s5中，利用通信压缩算法集合中的所有算法针对当前传输数据进行压缩，比较压缩结果，选出误差率最低的误差最优算法和压缩比例最高的比例最优算法，将当前传输数据的特征向量和确定的压缩算法作为一条记录存入比较字典，将当前误差最优算法和当前比例最优算法设置为计算得到的误差最优算法和比例最优算法。

19、优选的，在所述s9中，采用二进制表示当前传输数据和前次传输数据，如果两者的数据长度相同，且对应位置二进制数值相同的比例大于70％，则认定当前传输数据与前次传输数据相似。

20、优选的，在所述s10中，提取出当前传输数据与前次传输数据不同的数据段，在每个数据段之前添加位置信息，将添加过位置信息的数据段按照顺序整合在一起，在首尾分别添加传输起始字符和传输结束字符，作为重新编码后的数据，采用当前比例最优算法对编码后的数据进行压缩，获得最终的压缩数据，进入s12。

21、优选的，所述位置信息的构成为位置起始标识符+数据段中首个比特位在当前传输数据中所处的位置+位置终止标识符。

22、优选的，在所述s13中，获取当前时间戳，在当前时间戳与历史测速时间戳之间的时间差大于时间阈值的情况下，进入s2，否则，进入s3。

23、本发明提出的数据传输过程中自适应压缩系统包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过运行所述计算机程序能够实现上述数据传输过程中自适应压缩方法。

24、相对于现有技术，本发明具有如下有益效果：

25、根据实时的网络速率选择不同的压缩方式，实现数据的灵活高效处理，并且，在当前传输数据和前次传输数据相互关联的情况下，对于当前传输数据进行重新编码，减少需要传输的信息量，在保证传输准确性的情况下降低数据传输的压力。

技术特征：

1.一种数据传输过程中自适应压缩方法，其特征在于，所述数据传输过程中自适应压缩方法具体包括如下步骤：

2.根据权利要求1所述的数据传输过程中自适应压缩方法，其特征在于，在所述s1中，向接收信息的客户端发送压缩算法协商请求，获取客户端所支持的压缩算法，在常规压缩算法集合中挑选客户端所支持的压缩算法组成通信压缩算法集合。

3.根据权利要求1所述的数据传输过程中自适应压缩方法，其特征在于，在所述s3中，分别采用md5算法、sha1算法和crc32算法对当前传输数据进行运算获得三种不同的特征参数，组成传输数据特征向量，将传输数据特征向量与比较字典中的数据特征向量进行比较，判断是否存在相似的记录，如果存在，则进入s4，否则，进入s5。

4.根据权利要求3所述的数据传输过程中自适应压缩方法，其特征在于，判断是否存在相似的记录的方法为采用二进制表示特征向量中的特征参数，若进行比较的两个特征参数中对应位置二进制数值相同的比例占到80％以上，则认为特征参数相似，当相似特征参数的数量≥2时，认定存在相似的记录。

5.根据权利要求1所述的数据传输过程中自适应压缩方法，其特征在于，在所述s5中，利用通信压缩算法集合中的所有算法针对当前传输数据进行压缩，比较压缩结果，选出误差率最低的误差最优算法和压缩比例最高的比例最优算法，将当前传输数据的特征向量和确定的压缩算法作为一条记录存入比较字典，将当前误差最优算法和当前比例最优算法设置为计算得到的误差最优算法和比例最优算法。

6.根据权利要求1所述的数据传输过程中自适应压缩方法，其特征在于，在所述s9中，采用二进制表示当前传输数据和前次传输数据，如果两者的数据长度相同，且对应位置二进制数值相同的比例大于70％，则认定当前传输数据与前次传输数据相似。

7.根据权利要求1所述的数据传输过程中自适应压缩方法，其特征在于，在所述s10中，提取出当前传输数据与前次传输数据不同的数据段，在每个数据段之前添加位置信息，将添加过位置信息的数据段按照顺序整合在一起，在首尾分别添加传输起始字符和传输结束字符，作为重新编码后的数据，采用当前比例最优算法对编码后的数据进行压缩，获得最终的压缩数据，进入s12。

8.根据权利要求7所述的数据传输过程中自适应压缩方法，其特征在于，所述位置信息的构成为位置起始标识符+数据段中首个比特位在当前传输数据中所处的位置+位置终止标识符。

9.根据权利要求1所述的数据传输过程中自适应压缩方法，其特征在于，在所述s13中，获取当前时间戳，在当前时间戳与历史测速时间戳之间的时间差大于时间阈值的情况下，进入s2，否则，进入s3。

10.一种数据传输过程中自适应压缩系统，其特征在于,数据传输过程中自适应压缩系统包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过运行所述计算机程序能够实现权利要求1-9中任一项所述的数据传输过程中自适应压缩方法。

技术总结
本发明提出一种数据传输过程中自适应压缩方法及系统，数据传输过程中自适应压缩方法在当前网络速率大于速率阈值时，采用当前误差最优算法对当前传输数据进行压缩，在当前网络速率小于等于速率阈值时，判断当前传输数据与前次传输数据是否相似，若两者相似，对当前传输数据进行重新编码，采用当前比例最优算法对编码后的数据进行压缩，若两者不相似，采用当前误差最优算法对当前传输数据进行压缩，再采用当前比例最优算法对压缩后的数据继续进行压缩。本发明能够根据实时的网络速率选择不同的压缩方式，实现数据的灵活高效处理。

技术研发人员：赵俊州,严冰寒
受保护的技术使用者：西藏万豪信息科技有限公司
技术研发日：
技术公布日：2024/1/14