一种集群配置动态探测合并加载方法与流程

本发明涉及数据处理集群管理领域，具体涉及一种集群配置动态探测合并加载方法。

背景技术

随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。人们提出了大数据的概念。随着谷歌mapreduce和googlefilesystem(gfs)的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。大数据处理是一种通过internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。集群管理是这种计算模式必不可少的一部分。

现有分布式集群在管理上存在着这样一些缺陷：

1、在集群管理过程中，对于某一配置的修改，需要对集群的每一个节点都做相同的修改。很容易出现由于失误或对系统不熟，只修改了部分节点的情况，导致系统配置状态不一致。

2、修改配置过程中，需要重启集群才能使配置生效，这样会使部分任务由于节点重启，进行重复计算，浪费计算资源，降低效率。

3、大多数情况都是直接以文本编辑的方式直接修改配置文件，进一步增加了出现人为错误的可能性。

4、一些由于配置不正确导致的错误很难追溯。

技术实现要素：

本发明为了解决上述技术问题，目的在于提供一种集群配置动态探测合并加载方法。

本发明通过下述技术方案实现：

一种集群配置动态探测合并加载方法，包括：

步骤1，通过配置管理客户端管理集群配置；

步骤2，配置管理服务器端接收配置管理客户端的配置修改请求并把配置按指定格式写入配置管理中心；

步骤3，配置探测模块实时监听配置管理中心的集群配置节点；当配置探测模块检测到节点的内容出现变化时，集群同步新的配置到本地，并更新相应节点的状态；

步骤4，主节点集群配置状态维护模块从集群的各工作节点获取各工作节点的配置状态；工作节点的配置状态包括节点的配置版本号、配置已应用状态、配置同步未应用状态；当各工作节点启动或者配置更新时，各工作节点将自己的状态注册到主节点；

步骤5，重载模块位于每个节点上；当重载模块位于集群的主节点上，执行步骤6；当重载模块位于集群的工作节点上，执行步骤7；

步骤6，重载模块处于主节点时，重载模块分配任务给工作节点之前先查看相应的工作节点的状态，如果相应的工作节点配置更新且配置已应用，则重载模块分配任务给相应的工作节点；

步骤7，重载模块处于工作节点时，

重载模块查看相应的工作节点的配置版本号是否最新，如果相应的工作节点的配置版本号不是最新，则执行步骤3；

如果相应的工作节点的配置版本号是最新，重载模块查看相应的工作节点是否处于配置同步未应用状态，如果相应的工作节点处于配置同步未应用状态，重载模块通知主节点该相应的工作节点拒绝接受新任务；

如果相应的工作节点处于配置已应用状态，则重载模块分配任务给该相应的工作节点。

本发明为所有配置提供版本管理和日志，维护过程中能够应用任一版本的配置；集群配置文件动态探测加载的同时，保证不中断当前正执行的任务；提供统一的配置修改入口，对修改的配置增加合法性检查；配置管理流量控制和配置合并应用，保证集群不会因为配置修改而频繁重启。

进一步地，步骤1中的配置管理客户端管理集群配置包括修改集群配置、为各配置项输入增加合法性检查和权限控制、查看配置应用的所有历史版本及相关信息、将任意版本的配置应用合并到任意集群状态。

进一步地，步骤2中的配置管理服务器端具有流量控制功能。

进一步地，流量控制功能包括抛弃不合理的配置管理客户端请求。

进一步地，步骤3中的节点包括主节点和工作节点，其中配置探测模块位于集群的每个节点上。

进一步地，步骤3中的配置探测模块利用api接口对配置管理中心的集群配置节点进行实时监听。

进一步地，步骤4中的主节点集群配置状态维护模块位于集群的主节点中。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明利用配置管理客户端，提交相关配置参数到配置管理中心。客户端具有合法性检测和权限控制的功能，保证配置被正确修改；

2、本发明利用配置管理中体的监听机制，集群各节点实时地探测到配置的更改并同步到本地。各节点根据各自负载的情况决定更新配置的时机，更新时合并所有存在更新或冲突的配置项，并把配置更新的完成状态提交给主节点。主节点根据配置更新状态表进行任务调度和资源分配；

3、本发明的配置管理客户端提供配置历史回溯功能，可查看集群任意节点的所有历史配置应用及其相关信息，包括配置应用日期，配置生效时间和配置应用集群状态等。可通过管理客户端将任意版本任意集群状态的配置合并应用到当前集群状态。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明工作节点配置动态探测加载流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1所示，一种集群配置动态探测合并加载方法，包括：

步骤1，通过配置管理客户端管理集群配置；步骤1中的配置管理客户端管理集群配置包括修改集群配置、为各配置项输入增加合法性检查和权限控制、查看配置应用的所有历史版本及相关信息、将任意版本的配置应用合并到任意集群状态。

通过配置管理客户端管理集群配置，只能通过配置管理客户端修改集群配置，同时为各配置项输入增加合法性检查和权限控制，极大地保证了配置的有效性；同时能够查看配置应用的所有历史版本及相关信息，可将任意版本的配置应用合并到任意集群状态。

步骤2，配置管理服务器端接收配置管理客户端的配置修改请求并把配置按指定格式写入配置管理中心；步骤2中的配置管理服务器端具有流量控制功能。

流量控制功能包括抛弃不合理的配置管理客户端请求。

配置管理服务器端接收客户端配置修改请求并把配置按指定格式写入配置管理中心；同时增加了流量控制功能，抛弃不合理的客户端请求，避免集群由于流量攻击等异常出现频繁重启甚至瘫痪的情况。

步骤3，配置探测模块实时监听配置管理中心的集群配置节点；当配置探测模块检测到节点的内容出现变化时，集群同步新的配置到本地，并更新相应节点的状态；步骤3中的节点包括主节点和工作节点，其中配置探测模块位于集群的每个节点上。步骤3中的配置探测模块利用api接口对配置管理中心的集群配置节点进行实时监听。

步骤4，主节点集群配置状态维护模块从集群的各工作节点获取各工作节点的配置状态；工作节点的配置状态包括节点的配置版本号、配置已应用状态、配置同步未应用状态，如表1所示，nodeid作为各节点的唯一标识；version作为各节点的配置版本号，该版本号必须是最新的，该节点的配置才是有效的；state作为各节点的配置应用状态，在state中还分为applied和synced，其中applied：配置已应用，该节点可以接受新任务；synced：该节点已同步配置到本地，但还未应用；当各工作节点启动或者配置更新时，各工作节点将自己的状态注册到主节点；步骤4中的主节点集群配置状态维护模块位于集群的主节点中。

表1

步骤5，重载模块位于每个节点上；当重载模块位于集群的主节点上，执行步骤6；当重载模块位于集群的工作节点上，执行步骤7；

步骤6，重载模块处于主节点时，重载模块分配任务给工作节点之前先查看相应的工作节点的状态，如果相应的工作节点配置更新且配置已应用，则重载模块分配任务给相应的工作节点；

步骤7，重载模块处于工作节点时，

重载模块查看相应的工作节点的配置版本号是否最新，即version是否是最新的，如果相应的工作节点的配置版本号不是最新，则执行步骤3；

如果相应的工作节点的配置版本号是最新，重载模块查看相应的工作节点是否处于配置同步未应用状态，即synced，如果相应的工作节点处于配置同步未应用状态，重载模块通知主节点该相应的工作节点拒绝接受新任务；等到该相应的节点所有任务完成后，应用新的配置，应用完成后，修改状态为applied并通知主节点。

如果相应的工作节点处于配置已应用状态，即synced，则重载模块分配任务给该相应的工作节点。

本发明避免了由于维护人员对集群不熟悉或者由于人为过失导致的集群配置不一致的情况，客户端对配置项的参数作合法性检查，保证所有配置正确有效；利用配置管理中心管理集群配置，保证配置的一致性和实时性；基于节点负载状态的重载模块，保证了新的配置能够正确应用到所有新的任务的同时也不会影响现有任务的正常执行。保证正确性的同时提高了集群的资源利用率。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。