分布式消息平台数据处理方法及装置与流程

本申请涉及分布式领域，也可用于金融领域，具体涉及一种分布式消息平台数据处理方法及装置。

背景技术：

1、目前分布式消息系统已经被应用在很多大型公司的实际业务中。在kafka集群维护过程中，存在需要停止某些节点进行一些维护操作的情况，如删除log文件等操作。这些操作需要停止topic所有副本所在的kafka节点，导致涉及到的所有topic将无法正常对外提供服务，对相关业务造成影响。现有的解决方法是对操作进行规划，通过人工评估实施，但由于很多操作都是对应用有感知的，难以做到对应用使用无影响，所以操作计划通常难以落实。

2、发明人发现，现有技术方案由于需要人工评估实施，对停止节点的时间点进行沟通规划，通知生产者消费者配合停机，导致处理过程影响涉及topic无法正常对外提供服务，可能对相关业务造成影响，且处理过程中评估沟通成本大。

技术实现思路

1、针对现有技术中的问题，本申请提供一种分布式消息平台数据处理方法及装置，能够有效提高分布式消息平台的维护效率。

2、为了解决上述问题中的至少一个，本申请提供以下技术方案：

3、第一方面，本申请提供一种分布式消息平台数据处理方法，包括：

4、获取生产环境上消息服务集群节点的运行状态数据；

5、根据所述运行状态数据执行对应的综合评估决策；

6、根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

7、进一步地，所述获取生产环境上消息服务集群节点的运行状态数据，包括：

8、接收用户发送的操作指令并启动预设监控组件；

9、通过所述监控组件对消息服务集群节点的cpu负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

10、进一步地，所述根据所述运行状态数据执行对应的综合评估决策，包括：

11、根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

12、根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

13、进一步地，所述根据所述综合评估决策的结果进行节点迁移，包括：

14、当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

15、当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

16、进一步地，所述根据所述综合评估决策的结果进行节点迁移，还包括：

17、当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

18、根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

19、进一步地，在所述根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群之前，包括：

20、向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

21、向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

22、第二方面，本申请提供一种分布式消息平台数据处理装置，包括：

23、集群数据获取模块，用于获取生产环境上消息服务集群节点的运行状态数据；

24、评估决策模块，用于根据所述运行状态数据执行对应的综合评估决策；

25、节点迁移模块，用于根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群。

26、进一步地，所述集群数据获取模块包括：

27、监控组件调用单元，用于接收用户发送的操作指令并启动预设监控组件；

28、状态数据采集单元，用于通过所述监控组件对消息服务集群节点的cpu负载、流入流出量、存储消息堆积情况、生产消费情况进行采集监控，得到所述消息服务集群节点的运行状态数据。

29、进一步地，所述评估决策模块包括：

30、节点数据确定单元，用于根据所述运行状态数据确定消息服务集群节点的流入流出情况和生产消费情况；

31、决策确定执行单元，用于根据所述流入流出情况和所述生产消费情况确定并执行对应的综合评估决策。

32、进一步地，所述节点迁移模块包括：

33、连接恢复监测单元，用于当无生产消费连接时，进行异步操作以不断检测生产消费连接是否已经恢复；

34、连接恢复执行单元，用于当监测到连接恢复时，将生产消费连接投入到设定缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

35、进一步地，所述节点迁移模块还包括：

36、执行时机评估单元，用于当有生产消费连接时，则根据用户发送的操作命令执行情况和执行时间要求，评估命令执行时机；

37、连接投入执行单元，用于根据生产消费连接情况在无生产消费连接时进行操作，或将生产消费连接投入到缓冲集群，执行完成后再将缓冲集群中的连接切回原消息服务集群节点。

38、进一步地，所述节点迁移模块还包括：

39、第一缓冲连接建立单元，用于向设定缓冲集群发送迁移切换指令，以使所述缓冲集群与对应的生产者节点和消费者节点建立连接；

40、第二缓冲连接建立单元，用于向与所述消息服务集群节点对应的应用客户端发送迁移切换指令，以使所述应用客户端与所述缓冲集群建立连接。

41、第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的分布式消息平台数据处理方法的步骤。

42、第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的分布式消息平台数据处理方法的步骤。

43、第五方面，本申请提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的分布式消息平台数据处理方法的步骤。

44、由上述技术方案可知，本申请提供一种分布式消息平台数据处理方法及装置，通过获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群，由此能够有效提高分布式消息平台的维护效率。

技术特征：

1.一种分布式消息平台数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述获取生产环境上消息服务集群节点的运行状态数据，包括：

3.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述根据所述运行状态数据执行对应的综合评估决策，包括：

4.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述根据所述综合评估决策的结果进行节点迁移，包括：

5.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，所述根据所述综合评估决策的结果进行节点迁移，还包括：

6.根据权利要求1所述的分布式消息平台数据处理方法，其特征在于，在所述根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群之前，包括：

7.一种分布式消息平台数据处理装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述的分布式消息平台数据处理方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述的分布式消息平台数据处理方法的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至6任一项所述的分布式消息平台数据处理方法的步骤。

技术总结
本申请实施例提供一种分布式消息平台数据处理方法及装置，涉及分布式领域，也可用于金融领域，方法包括：获取生产环境上消息服务集群节点的运行状态数据；根据所述运行状态数据执行对应的综合评估决策；根据所述综合评估决策的结果进行节点迁移，将对应的生产者节点和消费者节点连接迁移至设定的缓冲集群；本申请能够有效提高分布式消息平台的维护效率。

技术研发人员：蔡佳纯,杨旭杰,蒋子豪,江炜轩
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：
技术公布日：2024/1/15