一种数据流压缩方法、系统及存储介质与流程

本申请实施例涉及大数据，涉及但不限于一种数据流压缩方法、系统及存储介质。

背景技术：

1、在大数据应用场景中，由于实时数据流的高效传输对于保障系统性能至关重要，因此，需要对实时数据流进行压缩处理。现有技术中，通常为采用固定压缩算法对实时数据流进行压缩，即在系统设计阶段确定压缩算法，且在数据流压缩处理过程中保持不变。然而，这种固定的压缩策略难以适应实时数据流不断变化这一特性，也无法保障数据传输的稳定性和可靠性。

技术实现思路

1、有鉴于此，本申请实施例提供一种数据流压缩方法、系统及存储介质，本申请实施例提供的一种数据流压缩方法、系统及存储介质是这样实现的：

2、本申请实施例提供的一种数据流压缩方法，所述方法包括：

3、获取目标数据流的目标压缩性能参数，所述目标压缩性能参数是按照第一压缩算法对所述目标数据流进行压缩处理得到的；

4、判断所述目标压缩性能参数是否满足预设压缩策略调整条件；

5、在所述目标压缩性能参数满足所述预设压缩策略调整条件的情况下，确定第二压缩算法，所述第一压缩算法与所述第二压缩算法不同；

6、按照所述第二压缩算法对所述目标数据流的剩余数据流进行压缩处理。

7、本申请实施例，在数据流压缩处理过程中可以动态地调整压缩算法，提高了数据流压缩处理的灵活性，以及提高了数据传输效率以及数据压缩处理的稳定性和可靠性。

8、在一些实施例中，所述目标压缩性能参数包括所述目标数据流的数据流量、目标运行环境剩余内存以及目标数据传输延迟时长中的至少一种。

9、该实施例中，可以多维度实时监测当前压缩算法的压缩性能参数，可以更准确、快速的对当前压缩算法进行调整，也提高了数据流压缩处理的灵活性。

10、在一些实施例中，所述目标压缩性能参数包括所述目标数据流的数据流量时，所述判断所述目标压缩性能参数是否满足预设压缩策略调整条件，包括：

11、判断所述目标数据流的数据流量是否大于预设数据流量；

12、所述在所述目标压缩性能参数满足所述预设压缩策略调整条件的情况下，确定第二压缩算法，包括：

13、在所述目标数据流的数据流量大于所述预设数据流量的情况下，从预设多策略压缩算法库中确定所述第二压缩算法，所述第二压缩算法的压缩比高于所述第一压缩算法的压缩比。

14、该实施例中，通过判断当前数据流的流量的大小，来确定是否对当前的压缩算法进行动态调整，能够及时调整压缩算法，还提高了压缩算法调整的可靠性。

15、在一些实施例中，所述目标压缩性能参数包括所述目标数据传输延迟时长时，所述判断所述目标压缩性能参数是否满足预设压缩策略调整条件，包括：

16、判断所述目标数据传输延迟时长是否大于预设数据传输延迟时长；

17、所述在所述目标压缩性能参数满足所述预设压缩策略调整条件的情况下，确定第二压缩算法，包括：

18、在所述目标数据传输延迟时长大于所述预设数据传输延迟时长的情况下，从预设多策略压缩算法库中确定所述第二压缩算法，所述第二压缩算法的压缩耗时和解压缩耗时低于所述第一压缩算法的压缩耗时和解压缩耗时。

19、该实施例中，通过判断当前数据传输是否存在延迟，来确定是否对当前的压缩算法进行动态调整，能够及时调整压缩算法，降低系统延迟，还提高了压缩算法调整的可靠性。

20、在一些实施例中，在所述获取目标数据流的目标压缩性能参数之前，所述方法还包括：

21、获取所述目标数据流，并提取所述目标数据流的目标数据特征；

22、将所述目标数据特征输入到目标压缩策略选择模型，确定所述第一压缩算法，所述目标压缩策略是根据训练样本对预设压缩策略选择模型进行训练得到的；

23、按照所述第一压缩算法对所述目标数据流进行压缩处理。

24、该实施例中，可以根据训练好的预设压缩策略选择模型快速确定压缩算法，提高数据流压缩处理的效率，从而保证了数据传输的可靠性和稳定性。

25、在一些实施例中，在所述将所述目标数据特征输入到目标压缩策略选择模型之前，所述方法还包括：

26、获取数据流样本，并提取所述数据流样本对应的数据特征样本，所述数据特征样本至少包括数据复杂度、数据类型、数据大小；

27、获取预设压缩算法匹配策略，所述预设压缩算法匹配策略中每种数据特征匹配唯一的预设压缩算法；

28、根据所述预设压缩算法匹配策略，对所述数据特征样本进行标注，得到所述训练样本，所述训练样本包括所述数据特征样本以及与所述数据特征样本匹配的所述预设压缩算法；

29、根据所述数据特征样本以及与所述数据特征样本匹配的所述预设压缩算法，对所述预设压缩策略选择模型进行训练，得到所述目标压缩策略选择模型。

30、该实施例中，通过提取数据流的数据特征对模型进行训练得到目标压缩策略选择模型，提高了压缩算法选择的准确性，保障了数据流压缩的可靠性。

31、在一些实施例中，在所述按照所述第一压缩算法对所述数据流进行压缩处理之后，所述方法还包括：

32、将所述目标数据流的目标数据特征、所述第一压缩算法的标识信息以及已压缩的数据流的数据流量信息存储到预设压缩算法执行库，所述目标数据流包括所述已压缩的数据流以及所述剩余数据流。

33、该实施例中，可以实时将当前压缩算法的处理状态等信息存储到预设压缩算法执行库，便于后续快速获取压缩算法的处理状态，以便对当前压缩算法的适应性进行评估。

34、本申请实施例提供的一种数据流压缩系统，所述系统包括获取模块、判断模块、确定模块以及处理模块，其中：

35、所述获取模块，用于获取目标数据流的目标压缩性能参数，所述目标压缩性能参数是按照第一压缩算法对所述目标数据流进行压缩处理得到的；

36、所述判断模块，用于判断所述目标压缩性能参数是否满足预设压缩策略调整条件；

37、所述确定模块，用于在所述目标压缩性能参数满足所述预设压缩策略调整条件的情况下，确定第二压缩算法，所述第一压缩算法与所述第二压缩算法不同；

38、所述处理模块，用于按照所述第二压缩算法对所述目标数据流的剩余数据流进行压缩处理。

39、本申请实施例提供的一种数据流压缩系统，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

40、本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。

技术特征：

1.一种数据流压缩方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标压缩性能参数包括所述目标数据流的数据流量、目标运行环境剩余内存以及目标数据传输延迟时长中的至少一种。

3.根据权利要求2所述的方法，其特征在于，所述目标压缩性能参数包括所述目标数据流的数据流量时，所述判断所述目标压缩性能参数是否满足预设压缩策略调整条件，包括：

4.根据权利要求2所述的方法，其特征在于，所述目标压缩性能参数包括所述目标数据传输延迟时长时，所述判断所述目标压缩性能参数是否满足预设压缩策略调整条件，包括：

5.根据权利要求1所述的方法，其特征在于，在所述获取目标数据流的目标压缩性能参数之前，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，在所述将所述目标数据特征输入到目标压缩策略选择模型之前，所述方法还包括：

7.根据权利要求5所述的方法，其特征在于，在所述按照所述第一压缩算法对所述数据流进行压缩处理之后，所述方法还包括：

8.一种数据流压缩系统，其特征在于，所述系统包括获取模块、判断模块、确定模块以及处理模块，其中：

9.一种数据流压缩系统，其特征在于，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本申请实施例公开了一种数据流压缩方法、系统及存储介质，所述方法包括：获取目标数据流的目标压缩性能参数，所述目标压缩性能参数是按照第一压缩算法对所述目标数据流进行压缩处理得到的；判断所述目标压缩性能参数是否满足预设压缩策略调整条件；在所述目标压缩性能参数满足所述预设压缩策略调整条件的情况下，确定第二压缩算法，所述第一压缩算法与所述第二压缩算法不同；按照所述第二压缩算法对所述目标数据流的剩余数据流进行压缩处理。本申请实施例在数据流压缩处理过程中可以动态地调整压缩算法，提高了数据流压缩处理的灵活性，以及提高了数据传输效率以及数据压缩处理的稳定性和可靠性。

技术研发人员：龙磊,魏明东,吴明奇,钟炳汉
受保护的技术使用者：联通（广东）产业互联网有限公司
技术研发日：
技术公布日：2024/4/17