消息集群管理方法和系统与流程

1.本发明涉及消息集群管理技术领域，具体涉及一种消息集群管理方法和系统。


背景技术：

2.现如今，快递行业发展迅速，快递公司的业务量也逐渐增长，消息服务需求不断增多，主题和消费者组增加至5000个以上，客户端与集群服务地址的管理、主题与消费组的迁移也变得复杂。
3.现有技术中，主题和消费者组切换集群时需要更改客户端配置的集群的服务地址，然后再进行重启才可实现主题和消费者组集群的迁移。但是，更改客户端配置的集群服务地址以及重新启动导致迁移过程复杂，而且还会浪费主题和消费者组进行集群迁移的时间，导致迁移效率较低。
4.因此，如何提高主题和消费者组进行集群迁移的迁移效率，降低迁移复杂度是本领域技术人员亟需解决的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种消息集群管理方法和系统，以解决现有技术中更改客户端配置的集群服务地址以及重新启动导致迁移过程复杂，而且还会浪费主题和消费者组进行集群迁移的时间，导致迁移效率较低的问题。
6.为实现以上目的，本发明采用如下技术方案：
7.一种消息集群管理方法，包括：
8.将预先搭建zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为所述迁移服务地址；
9.将客户端发送的待迁移信息存储到所述zookeeper集群中；
10.利用所述zookeeper集群监测所述待迁移信息的数据变化，确定所述待迁移信息的待迁移集群；
11.从所述zookeeper集群中存储的集群服务地址集合中，匹配出所述待迁移集群的目标服务地址；
12.将所述待迁移信息迁移到所述目标服务地址对应的目标集群，以完成所述待迁移信息的平滑迁移。
13.进一步地，上述消息集群管理方法中，所述将预先搭建zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为所述迁移服务地址之前，还包括：
14.搭建所述zookeeper集群；
15.将与所述客户端相匹配的各个集群的服务地址集合，得到所述集群服务地址集合；
16.将所述集群服务地址集合存储到所述zookeeper集群。
17.进一步地，上述消息集群管理方法中，所述客户端包括：发送客户端和消费客户
端；
18.所述将客户端的应用服务地址配置为所述迁移服务地址，包括：
19.将所述发送客户端的应用服务地址和所述消费客户端的应用服务地址均配置为所述迁移服务地址。
20.进一步地，上述消息集群管理方法中，所述待迁移信息包括：所述发送客户端发送的主题集群信息、所述消费客户端发送的消费者组集群信息以及主题与消费者组的订阅关系信息。
21.本发明还提供了一种消息集群管理系统，包括：处理器以及与所述处理器相连的存储器；
22.所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述消息集群管理方法；
23.所述处理器用于调用并执行所述计算机程序。
24.一种消息集群管理方法和系统，方法包括：将预先搭建zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为迁移服务地址；将客户端发送的待迁移信息存储到zookeeper集群中；利用zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群；从zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址；将待迁移信息迁移到目标服务地址对应的目标集群，以完成待迁移信息的平滑迁移。采用本发明的技术方案，设置存储有集群服务地址集合的zookeeper集群，利用zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。
25.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是本发明的消息集群管理方法一种实施例提供的流程图；
28.图2是本发明的消息集群管理系统一种实施例提供的结构示意图。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
30.图1是本发明的消息集群管理方法一种实施例提供的流程图，如图1所示，本实施例的消息集群管理方法具体包括如下步骤：
31.s101、将预先搭建zookeeper集群的服务地址作为迁移服务地址，将客户端的应用
服务地址配置为迁移服务地址。
32.本实施例预先搭建有zookeeper集群，并将该zookeeper集群的服务地址作为迁移服务地址。本实施例需要将客户端的应用服务地址配置为迁移服务地址。其中，客户端包括：发送客户端和消费客户端，发送客户端可以发送主题集群信息，消费客户端可以发送消费者组集群信息。具体地，本实施例需要将发送客户端的应用服务地址和消费客户端的应用服务地址均配置为迁移服务地址。
33.s102、将客户端发送的待迁移信息存储到zookeeper集群中。
34.本实施例中，客户端需要进行信息迁移时，需要将客户端发送的待迁移信息存储的预先搭建的zookeeper集群中。其中，待迁移信息包括：发送客户端发送的主题集群信息、消费客户端发送的消费者组集群信息以及主题与消费者组的订阅关系信息。
35.s103、利用zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群。
36.本实施例可以通过zookeeper集群对待迁移信息的数据变化进行监测，从而确定待迁移信息需要迁移到的待迁移集群。
37.s104、从zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址。
38.zookeeper集群中预先存储有多个集群的服务地址，将这些集群的服务地址集合在一起，得到集群服务地址结合，其中，多个集群可以包括：rocketmq集群和kafka集群等。本实施例需要从集群服务地址集合中匹配出待迁移集群的服务地址作为目标服务地址。
39.s105、将待迁移信息迁移到目标服务地址对应的目标集群，以完成待迁移信息的平滑迁移。
40.通过zookeeper集群确定了目标服务地址后，直接根据该目标服务地址将待迁移信息迁移到该目标服务地址对应的目标集群，从而实现待迁移信息的平滑迁移，无需进行重启，也无需对客户端配置的集群服务地址进行修改，实现一次配置终身适用，降低了集群迁移的复杂度，减少了迁移时长，从而提高了迁移效率。
41.本实施例的消息集群管理方法，将预先搭建zookeeper集群的服务地址作为迁移服务地址，将客户端的应用服务地址配置为迁移服务地址；将客户端发送的待迁移信息存储到zookeeper集群中；利用zookeeper集群监测待迁移信息的数据变化，确定待迁移信息的待迁移集群；从zookeeper集群中存储的集群服务地址集合中，匹配出待迁移集群的目标服务地址；将待迁移信息迁移到目标服务地址对应的目标集群，以完成待迁移信息的平滑迁移。采用本发明的技术方案，设置存储有集群服务地址集合的zookeeper集群，利用zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。
42.进一步地，本实施例的消息集群管理方法，在执行步骤s101之前，还包括如下步骤：
43.第一，搭建zookeeper集群。
44.第二，将与客户端相匹配的各个集群的服务地址集合，得到集群服务地址集合。
45.第三，将集群服务地址集合存储到zookeeper集群。
46.图2是本发明的消息集群管理系统一种实施例提供的结构示意图。如图2所示，本
实施例的消息集群管理系统包括：处理器21和存储器22，处理器21与存储器22相连。其中，存储器22用于存储计算机程序，计算机程序至少用于执行上述实施例所述的消息集群管理方法；处理器21用于调用并执行存储器22中存储的计算机程序。
47.本实施例的消息集群管理系统，设置存储有集群服务地址集合的zookeeper集群，利用zookeeper集群可以直接将待迁移信息迁移到目标服务地址，无需更改客户端配置的集群服务地址，也无需重启，减少了集群迁移时长和迁移复杂度，提高了集群迁移效率。
48.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
49.需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
50.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
51.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
52.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
53.此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
54.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
55.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
56.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。