一种多业务集群场景下的监控数据迁移方法和系统与流程

本技术涉及云计算和大数据，尤其涉及一种多业务集群场景下的监控数据迁移方法和系统。

背景技术：

1、随着云计算技术和大数据技术的广泛应用，企事业组织的数据系统和业务运营也日趋复杂。

2、为应对上述情况，许多组织分别在各业务集群中部署独立的监控系统，以监控各业务集群的运行状态和性能指标。

3、然而分布式的监控系统难以做到数据的统一管理和全局监管。

4、为解决上述问题，实现跨集群的监控分析能力，现有技术通常将各分布式监控系统的数据迁移到一个统一的集中式监控系统中。

5、在集中式监控系统中，监控数据能够实现统一的存储和管理，方便用户查询和分析所有监控数据，同时降低系统部署和维护成本。

6、现有的集中式监控系统通常基于 prometheus技术实现。

7、prometheus是一种时序数据库，通过配置的方式能够主动抓取性能指标，以时序数据的方式将监控数据存储在本地文件系统中。

8、prometheus的时序数据库技术通常都实现了远程读写协议。

9、在将多集群的分布式监控系统的数据迁移到集中式监控系统的过程中，现有技术通常的做法如下：启动多个代理程序，设定源端（历史监控系统）和目标端（集中式监控系统），以及需要迁移的监控数据的开始时间和结束时间。

10、代理程序利用时序数据库的远程读写能力，按照时间顺序分别以多批次的方式从源端通过远程读协议读取数据，再将数据通过远程写协议写入目标端监控系统。

11、现有的基于远程读写协议的监控数据迁移方案通常存在以下问题：1. 网络带宽占用大，无法控制代理程序所占用的最大带宽；2. 无法利用时序数据库的高压缩比；3. 容易产生报警抖动。

12、综上，现有的基于远程读写协议的监控数据迁移方案，由于网络占用大、压缩比低且可靠性较差，难以应对大规模多集群的监控数据迁移场景，无法满足用户的实际需求。

13、这也进一步凸显了新的监控数据迁移方案的必要性。

技术实现思路

1、本技术提供一种多业务集群场景下的监控数据迁移方案，能够解决现有技术中网络占用大、压缩比低且可靠性较差，难以应对大规模多集群的监控数据迁移场景，无法满足用户的实际需求的问题。

2、为解决上述问题，根据本技术的第一方面，本技术提出了一种多业务集群场景下的监控数据迁移方法，包括：

3、控制多业务集群中每一业务集群的时序数据库创建快照文件，其中，快照文件代表预定时段内的监控数据；

4、根据预设带宽占用最大值，生成带宽占用限制指令；

5、根据带宽占用限制指令，控制时序数据库将携带有迁移标记位的快照文件迁移至集中式监控系统；

6、将快照文件切分为多个时间片，根据时间片的导入优先级，将快照文件中的监控数据导入集中式监控系统，其中，所述时间片的新旧程度越新，则所述时间片的导入优先级越高。

7、优选的，上述监控数据迁移方法中，控制多业务集群中每一业务集群的时序数据库创建快照文件的步骤，包括：

8、访问每一业务集群的时序数据库的快照接口；

9、使用时序数据库的快照接口，创建快照文件；

10、按照时间顺序将快照文件存储至时序数据库目录下。

11、优选的，上述监控数据迁移方法中，根据预设带宽占用最大值，生成带宽占用限制指令的步骤，包括：

12、集中式监控系统侧的迁移任务控制节点获取文件迁移进程对应的预设带宽占用最大值；

13、迁移任务控制节点将预设带宽占用最大值下发至多业务集群中每一业务集群；

14、当存在业务集群迁移快照文件时，控制业务集群生成预设带宽占用最大值对应的带宽占用限制指令。

15、优选的，上述监控数据迁移方法中，根据带宽占用限制指令，控制时序数据库将携带有迁移标记位的快照文件迁移至集中式监控系统的步骤，包括：

16、扫描时序数据库中所有快照文件的元数据信息；

17、将元数据信息上报至集中式监控系统侧的迁移任务控制节点；

18、迁移任务控制节点从所有快照文件中选取迁移优先级最高的快照文件，为迁移优先级最高的快照文件设置迁移标记位；其中，同一时间迁移标记位唯一；

19、业务集群将携带有迁移标记位的快照文件从时序数据库迁移至集中式监控系统。

20、优选的，上述监控数据迁移方法中，迁移任务控制节点从快照文件中选取迁移优先级最高的快照文件，为迁移优先级最高的快照文件设置迁移标记位的步骤，包括：

21、迁移任务控制节点记录每个业务集群所上报所有快照文件的元数据信息；

22、遍历所有快照文件的元数据信息，筛选得到所有未完成迁移的快照文件；

23、根据快照文件对应监控数据的最小起始时间，计算所有未完成迁移的快照文件的迁移优先级，其中，快照文件对应监控数据的最小起始时间越新，则快照文件的迁移优先级越高；

24、选择迁移优先级最高的快照文件，设置快照文件的迁移标记位。

25、优选的，上述监控数据迁移方法中，根据带宽占用限制指令，控制时序数据库将携带有迁移标记位的快照文件迁移至集中式监控系统的步骤，包括：

26、业务集群接收到迁移标记位时，控制携带有迁移标记位的快照文件进行迁移；

27、业务集群根据带宽占用限制指令规定的预设带宽占用最大值，对快照文件进行限速传输；

28、业务集群当确定快照文件迁移完成时，向迁移任务控制节点发送标记位释放请求；

29、迁移任务控制节点根据标记位释放请求释放迁移标记位，按照迁移优先级将迁移标记位设置到下一待迁移的快照文件。

30、优选的，上述监控数据迁移方法中，将快照文件切分为多个时间片，根据时间片的导入优先级，将快照文件中的监控数据导入集中式监控系统的步骤，包括：

31、按照预定时间间隔将已迁移的快照文件切分为多个时间片；

32、根据多个时间片的新旧程度分别计算每个时间片的导入优先级，其中，时间片的新旧程度越新，则时间片的导入优先级越高；

33、根据时间片的导入优先级，依次将时间片范围内的监控数据导入集中式监控系统。

34、优选的，上述监控数据迁移方法中，根据时间片的导入优先级，依次将时间片范围内监控数据导入集中式监控系统的步骤，包括：

35、迁移任务控制节点遍历所有快照文件的元数据信息，根据元数据信息筛选得到所有已迁移的快照文件；

36、根据监控数据的已迁移时间指针，计算所有已迁移的快照文件的导入优先级；

37、选取已迁移时间指针的前预定时段的监控数据作为快照文件的时间片；

38、对导入优先级最高的快照文件，导入时间片范围内的监控数据。

39、优选的，上述监控数据迁移方法中，将快照文件中的监控数据导入集中式监控系统的步骤之后，方法还包括：

40、使用状态机实时跟踪快照文件迁移过程中、快照文件的迁移状态；

41、当快照文件的迁移状态为失败时，迁移任务控制节点重置快照文件的迁移状态；

42、迁移任务控制节点为迁移状态重置后的快照文件下发迁移标记位，重新执行控制时序数据库将携带有迁移标记位的快照文件迁移至集中式监控系统的步骤。

43、根据本技术的第二方面，本技术还提供了一种多业务集群场景下的监控数据迁移系统，包括：分布式的多业务集群和集中式监控系统，其中，集中式监控系统侧设有迁移任务控制节点；监控数据迁移系统包括：

44、多业务集群中每一业务集群的时序数据库，用于创建快照文件，其中，快照文件代表预定时段内的监控数据；

45、迁移任务控制节点，用于根据预设带宽占用最大值，控制业务集群生成带宽占用限制指令；

46、业务集群，用于根据带宽占用限制指令，控制时序数据库将携带有迁移标记位的快照文件迁移至集中式监控系统；

47、迁移任务控制节点，用于将快照文件切分为多个时间片，根据时间片的导入优先级，将快照文件中的监控数据导入集中式监控系统。

48、优选的，上述监控数据迁移系统中，多业务集群中每一业务集群的时序数据库，具体用于访问每一业务集群的时序数据库的快照接口，使用时序数据库的快照接口，创建快照文件，按照时间顺序将快照文件存储至时序数据库目录下。

49、优选的，上述监控数据迁移系统中，迁移任务控制节点具体用于：获取文件迁移进程对应的预设带宽占用最大值，将预设带宽占用最大值下发至多业务集群中每一业务集群；当存在业务集群迁移快照文件时，控制业务集群生成预设带宽占用最大值对应的带宽占用限制指令。

50、优选的，上述监控数据迁移系统中，业务集群具体用于扫描时序数据库中所有快照文件的元数据信息；将元数据信息上报至集中式监控系统侧的迁移任务控制节点；迁移任务控制节点，具体用于从所有快照文件中选取迁移优先级最高的快照文件，为迁移优先级最高的快照文件设置迁移标记位；其中，同一时间迁移标记位唯一；业务集群，具体还用于将携带有迁移标记位的快照文件从时序数据库迁移至集中式监控系统。

51、优选的，上述监控数据迁移系统中，迁移任务控制节点，具体用于记录每个业务集群所上报所有快照文件的元数据信息，遍历所有快照文件的元数据信息，筛选得到所有未完成迁移的快照文件，根据快照文件对应监控数据的最小起始时间，计算所有未完成迁移的快照文件的迁移优先级，其中，快照文件对应监控数据的最小起始时间越新，则快照文件的迁移优先级越高，选择迁移优先级最高的快照文件，设置快照文件的迁移标记位。

52、优选的，上述监控数据迁移系统中，业务集群，具体用于接收到迁移标记位时，控制携带有迁移标记位的快照文件进行迁移；业务集群，具体用于根据带宽占用限制指令规定的预设带宽占用最大值，对快照文件进行限速传输；业务集群，具体用于当确定快照文件迁移完成时，向迁移任务控制节点发送标记位释放请求；迁移任务控制节点，具体还用于根据标记位释放请求释放迁移标记位，按照迁移优先级将迁移标记位设置到下一待迁移的快照文件。

53、优选的，上述监控数据迁移系统中，迁移任务控制节点，具体用于按照预定时间间隔将已迁移的快照文件切分为多个时间片；迁移任务控制节点具体用于根据多个时间片的新旧程度分别计算每个时间片的导入优先级，其中，时间片的新旧程度越新，则时间片的导入优先级越高；迁移任务控制节点具体用于根据时间片的导入优先级，依次将时间片范围内的监控数据导入集中式监控系统。

54、优选的，上述监控数据迁移系统中，迁移任务控制节点，具体还用于遍历所有快照文件的元数据信息，根据元数据信息筛选得到所有已迁移的快照文件，根据监控数据的已迁移时间指针，计算所有已迁移的快照文件的导入优先级，选取已迁移时间指针的前预定时段的监控数据作为快照文件的时间片，对导入优先级最高的快照文件，导入时间片范围内的监控数据。

55、优选的，上述监控数据迁移系统还包括状态机，用于实时跟踪快照文件迁移过程中、快照文件的迁移状态；

56、迁移任务控制节点，具体还用于当快照文件的迁移状态为失败时，重置快照文件的迁移状态；迁移任务控制节点，具体还用于为迁移状态重置后的快照文件下发迁移标记位，重新控制时序数据库将携带有迁移标记位的快照文件迁移至集中式监控系统。

57、综上，本技术提供的多业务集群场景下的监控数据迁移方案，通过快照多业务集群中每一业务集群的时序数据库创建快照文件，该快照文件代表预定时段内的监控数据，因为快照文件具有高压缩比特性，能够将迁移时的带宽占用缩减至原有的7倍左右，所以快照文件具有小体积特性。

58、通过传输快照文件而不是原始的监控数据，能够明显减小网络带宽的占用。

59、另外，根据预设带宽占用最大值，生成带宽占用限制指令，这样使用该带宽占用限制指令能够对快照文件迁移过程进行限速，实现全局带宽的控制，解决现有技术中难以控制最大带宽占用的问题。

60、另外，该快照文件还设置有迁移标记位，只有携带该迁移标记位的快照文件才能从时序数据库迁移至集中式监控系统，其他业务集群的快照文件只能待命，这样进一步减少了代理程序所占用的最大带宽，减少了数据迁移过程中的带宽占用。

61、最后在快照文件迁移至集中式监控系统侧时，将该快照文件切分为多个时间片，根据每个时间片的导入优先级将快照文件中的监控数据导入集中式监控系统。

62、通常时间片的新旧程度越新，时间片的导入优先级越高，快照文件中的监控数据优先导入，这样就能够减少数据断层的持续时间，减少数据断层代理的报警抖动影响。

63、综上，本技术提供的技术方案，能够解决现有技术中网络带宽占用过大，无法控制代理程序占用的最大带宽，无法利用时序数据库的高压缩比特性，容易产生报警抖动，难以应对大规模多集群的监控数据迁移的问题。