一种混合云的监控数据压缩方法和系统与流程

本发明属于数据处理，具体涉及一种混合云的监控数据压缩方法和系统。

背景技术：

1、随着混合云越来越精细化的发展，数据跨地域传输对网络带宽的消耗不断提升，特别是在混合云建设中，资源、业务、应用监控数据量是非常海量的，在跨地域传输时往往因为数据包大、频次高，导致传输的时效慢，而且带宽的运营费用高，所以如何压缩监控数据，提高监控时效性和降低运营成本变得非常重要且有现实意义。

2、目前监控数据管理的方案普遍采用的是字典式字段映射方式进行数据压缩，该方法采用的字段进行简化处理，但是当字段较多的时候，字段整体占的整体数据包比例偏高，不利于海量、高频次的数据传输，即估计还是有20-30％左右的冗余空间，特别是在跨地域混合云的场景下，这种海量数据的传输，成本会更大，效率很低。

3、对于字段简单映射的方式存在两个问题：

4、(1)数据压缩比例低，由于监控数据是非常海量的，不同指标，如果到秒级，每个数据结构在数据中占比高，整体量算下来，也是一个天文数字，这样会导致整体监控数据传输效率低；

5、(2)成本高，混合云的集群多，跨地域传输，特别是这种集中式的监控数据统一处理模式，又要追求监控数据的及时性，所以对网络带宽的延时要要求较高，如果不对数据本身进行极限压缩，需要消耗巨大的网络带宽，投入更大的成本。

技术实现思路

1、本发明的目的在于提供一种混合云的监控数据压缩方法和系统，将分散的监控数据进行本地压缩，然后根据实际需要分场景压缩。

2、为实现上述目的，本发明采用了如下技术方案：一种混合云的监控数据压缩方法，包括：采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。

3、优选地，所述监控数据的采集，包括：按照约定的顺序采集客户端的数据，并对所述数据进行数据格式编码，并传输至服务端的接口；所述服务端的接口接收到数据后进行反编码，按照约定的数据顺序，将数据进行结构复原，数据复原后再进行存储，获得监控数据。

4、优选地，所述自适应数据压缩模式包括连续去重压缩模式和加权平均数据压缩模式。

5、优选地，所述不同场景包括：time>1和time≤1；

6、其中，time为监控数据采集上报周期，1为上报周期参考基数；time>1为长周期，time≤1为短周期。

7、优选地，所述自动匹配不同场景，包括：采用自适应数据压缩函数和数据重复度参数k进行判断；

8、当time＞1，数据重复度系数k>2，匹配所述连续去重压缩模式；

9、当load≤1，数据重复度系数k<2，匹配所述加权平均数据压缩模式。

10、优选地，所述自适应数据压缩函数：

11、

12、其中，time为监控数据采集上报周期(0≤load≤10)，k为数据重复度系数。

13、优选地，所述连续去重压缩模式用于对周期长、状态稳定的监控数据进行压缩。

14、优选地，所述加权平均数据压缩模式用于对短周期内、数据状态起伏相对不稳定的监控数据进行压缩。

15、优选地，所述无结构化处理包括：对所述监控数据的结构体的字段进行去除。

16、另一方面，本发明提出一种混合云的监控数据压缩系统，包括：

17、数据结构处理模块，用于采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理，获得精简数据；

18、数据恢复模块，用于将所述精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组，恢复数据的完整性和结构化，获得适时数据；

19、数据压缩模块，用于通过自适应数据压缩模式对所述适时数据自动匹配不同场景，对数据体本身进行压缩。

20、本发明的技术效果和优点：本发明提出的一种混合云的监控数据压缩方法和系统，与现有技术相比，具有以下优点：

21、本发明通过去结构化的非字典压缩数据模式，将监控采集到的数据按既定顺序进行无结构化处理，使得海量数据的结构体实现最简化，保证数据包最小网络传输效率最快；其次，通过自适应数据压缩模式，自动匹配不同场景，对数据体本身进行压缩，使得数据体本身实现极限压缩，降低传输的数据包，降低运营成本。

技术特征：

1.一种混合云的监控数据压缩方法，其特征在于，包括：

2.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述监控数据的采集，包括：

3.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述自适应数据压缩模式包括连续去重压缩模式和加权平均数据压缩模式。

4.根据权利要求3所述的一种混合云的监控数据压缩方法，其特征在于，所述不同场景包括：time>1和time≤1；

5.根据权利要求4所述的一种混合云的监控数据压缩方法，其特征在于，所述自动匹配不同场景，包括：采用自适应数据压缩函数和数据重复度参数k进行判断；

6.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述自适应数据压缩函数：

7.根据权利要求6所述的一种混合云的监控数据压缩方法，其特征在于，所述连续去重压缩模式用于对周期长、状态稳定的监控数据进行压缩。

8.根据权利要求6所述的一种混合云的监控数据压缩方法，其特征在于，所述加权平均数据压缩模式用于对短周期内、数据状态起伏相对不稳定的监控数据进行压缩。

9.根据权利要求1所述的一种混合云的监控数据压缩方法，其特征在于，所述无结构化处理包括：对所述监控数据的结构体的字段进行去除。

10.一种混合云的监控数据压缩系统，其特征在于，包括：

技术总结
本发明属于数据处理技术领域，具体涉及一种混合云的监控数据压缩方法和系统，包括：采用去结构化的非字典压缩数据模式，将监控采集到的监控数据按既定顺序进行无结构化处理；将精简数据传递到服务端后再通过数据排序的顺序进行数据结构重组；通过自适应数据压缩模式对适时数据自动匹配不同场景，对数据体本身进行压缩。本发明通过去结构化的非字典压缩数据模式，将监控采集到的数据按既定顺序进行无结构化处理，使得海量数据的结构体实现最简化，保证数据包最小网络传输效率最快；通过自适应数据压缩模式，自动匹配不同场景，对数据体本身进行压缩，使得数据体本身实现极限压缩，降低传输的数据包，降低运营成本。

技术研发人员：吴晓清,陈丽娜,潘晓东
受保护的技术使用者：天翼云科技有限公司
技术研发日：
技术公布日：2024/4/17