配置信息的热加载方法及装置、分布式集群系统的制作方法_3

文档序号:9790832阅读:来源:国知局
待处理任务的需求在分布式集群系统中选择最合适的终端设备,将待处理的任务分配至该终端设备,在该终端设备完成任务后,将任务结果返回。在整个过程中,对使用者而言分布式集群系统就像是一个终端设备,而使用者不会意识到有多个终端设备的存在。分布式集群系统可以单独执行一个任务,也可以同时多个任务并行执行。当其中一个终端设备发送故障时,不影响整个系统的运行。
[0082]工作节点,指分布式集群系统中的终端设备。每个终端设备为一个工作节点。配置信息,对应工作节点运行时需要配置的信息。如网络IP、端口号、延时信息、最大线程数、监听器设置、各种路径配置信息等。
[0083]在分布式集群系统中包含多个工作节点,每个工作节点都有其对应的配置信息。当多个工作节点中的一个或多个或所有工作节点的配置信息需要更新时,首先通过配置模块501获取待更新的配置信息。
[0084]推送模块502,适于将待更新的配置信息推送给目标工作节点,通知目标工作节点将待更新的配置信息加载到内存中以替换从本地落盘的配置文件读取的配置信息,使目标工作节点利用待更新的配置信息运行程序。
[0085]目标工作节点即需要更新配置信息的工作节点,本地落盘的配置文件即配置文件上传至本地磁盘后落地保存的配置文件,或内存中的配置信息修改后落地保存至本地磁盘的配置文件。
[0086]获取待更新的配置信息后,推送模块502将待更新的配置信息推送给目标工作节点。推送时将待更新的配置信息加载至内存,直接替换内存中从本地落盘的配置文件读取的配置信息。替换后,目标工作节点可以直接利用内存更新后的配置信息运行程序。
[0087]根据本发明提供的配置信息的热加载装置,在分布式集群系统中所有工作节点运行过程中,获取待更新的配置信息。将待更新的配置信息推送给目标工作节点,将待更新的配置信息加载到内存中替换从本地落盘的配置文件读取的配置信息,使目标工作节点可以直接利用内存更新后的配置信息运行程序。本发明的配置信息的热加载装置缩短了工作节点配置信息的加载时间,改善了配置文件修改过程中产生的卡顿问题。
[0088]图6示出了本发明提供的配置信息的热加载装置的另一个实施例的功能框图,如图6所示,本实施例的装置包括如下模块:
[0089]配置模块601,适于在分布式集群系统中所有工作节点运行过程中,获取待更新的配置信息。该模块的具体功能描述同配置模块501,描述见上文,此处不再赘述。
[0090]判断模块602,适于判断待更新的配置信息是否为所有工作节点的公有配置信息。
[0091]配置模块601获取待更新的配置信息后,判断模块602判断待更新信息是否是所有工作节点公有的配置信息。工作节点的公有配置信息即工作节点配置都相同的配置信息,公有配置信息保证了分布式集群系统在处理任务的方式上的一致性。所有工作节点的配置如延迟时间、最大线程数、磁盘属性、权限配置等。
[0092]若判断模块602判断待更新的配置信息为所有工作节点的公有配置信息,调用推送模块603。
[0093]推送模块603,适于在判断模块602判断出待更新的配置信息为所有工作节点的公有配置信息的情况下,将待更新的配置信息推送给所有工作节点。这些工作节点即目标工作节点,通知目标工作节点将待更新的配置信息加载到内存中以替换从本地落盘的配置文件读取的配置信息,使目标工作节点利用待更新的配置信息运行程序。
[0094]若判断模块602判断待更新的配置信息不是所有工作节点的公有配置信息,调用第一目标工作节点确定模块605。
[0095]第一目标工作节点确定模块605,适于在判断模块602判断出待更新的配置信息不是所有工作节点的公有配置信息的情况下,根据预先搜集的各个工作节点的状态信息,确定目标工作节点,待更新的配置信息为目标工作节点的私有配置信息。
[0096]每个工作节点都有自己的私有配置信息,这些信息与其他工作节点的配置信息不一致。如网络IP地址、端口号、各种路径设置等,这些配置信息标识该工作节点与其他工作节点不一致。当判断出待更新的配置信息不是公有配置信息后,可预先搜集的各个工作节点的状态信息,如工作节点的网络IP地址、端口号、执行状态等,根据这些状态信息,及待更新配置信息中的如附加逻辑,确定哪些工作节点的配置信息需要更新,这些工作节点即目标工作节点。
[0097]第一目标工作节点确定模块605确定目标工作节点后,调用推送模块603,将待更新的配置信息推送给目标工作节点。推送时将待更新的配置信息加载至内存,直接替换内存中从本地落盘的配置文件读取的配置信息。替换后,目标工作节点可以直接利用内存更新后的配置信息运行程序。
[0098]通知模块604,适于通知目标工作节点将待更新的配置信息写入本地落盘的配置文件中。
[0099]目标工作节点内存中的配置文件被待更新的配置信息替换后,这时内存中的配置文件与本地落盘的配置文件以及不一致,需要进一步将待更新的配置信息写入本地落盘的配置文件中,使内存中的配置文件与本地落盘的配置文件保持一致。这样工作节点重新启动时,读取本地落盘的配置文件至内存时,不会发生由于内存配置文件版本的更新被原旧版配置文件内容覆盖,导致目标工作节点配置信息更新失败。
[0100]根据本发明提供的配置信息的热加载装置,与上述实施例相比,增加了判断模块602,在判断待更新的配置信息是否为所有工作节点的公有配置信息,确定目标节点为所有工作节点或某些工作节点后,将待更新的配置信息推送给目标工作节点,将待更新的配置信息加载到内存中替换从本地落盘的配置文件读取的配置信息,使目标工作节点可以直接利用内存更新后的配置信息运行程序。并增加通知模块604进一步将待更新的配置信息写入本地落盘的配置文件中。本发明的配置信息的热加载装置明确了推送目标,减少了推送时可能发生的误推送,进一步缩短了工作节点更新配置信息后加载花费的时间,改善了配置文件修改过程中产生的卡顿问题。同时将待更新的配置信息写入本地落盘的配置文件,避免了内存中的配置文件与本地落盘的配置文件不一致,工作节点重新启动时,导致目标工作节点配置信息更新失败的问题。
[0101]图7示出了本发明提供的配置信息的热加载装置的又一个实施例的功能框图,如图7所示,本实施例的装置包括如下模块:
[0102]配置模块701,适于在分布式集群系统中所有工作节点运行过程中,获取待更新的配置信息。该模块的具体功能描述同配置模块501,描述见上文,此处不再赘述。
[0103]第二目标工作节点确定模块702,适于根据待更新的配置信息,选择用于进行性能测试工作的目标工作节点
[0104]为测试待更新的配置信息在更新后是否对分布式集群系统的性能有所改善或解决原有问题,第二目标工作节点确定模块702选择一个或一部分工作节点,对其配置信息进行更新,更新的配置信息用于性能测试。这些工作节点为进行性能测试工作的目标工作节点。
[0105]推送模块703,适于将待更新的配置信息推送给目标工作节点,通知目标工作节点将待更新的配置信息加载到内存中以替换从本地落盘的配置文件读取的配置信息,使目标工作节点利用所述待更新的配置信息运行程序。
[0106]推送模块703进一步适于:将待更新的配置信息推送给用于进行测试工作的目标工作节点,以供目标工作节点利用所述待更新的配置信息运行程序以进行性能测试。
[0107]将待更新的配置信息推送给第二目标工作节点确定模块702选择的目标工作节点。推送时将待更新的配置信息加载至内存,直接替换内存中从本地落盘的配置文件读取的配置信息。替换后,目标工作节点可以直接利用内存更新后的配置信息运行程序,这时对这些目标工作节点进行性能测试。监控新配置信息运行的目标工作节点的性能,收集性能测试数据。如运行速度、接收速度、原有问题是否解决等。
[0108]接收模块704,适于接收目标工作节点反馈的性能测试结果信息。
[0109]接收模块704接收目标工作节点进行性能测试反馈的性能测试结果信息,如系统运行速度、任务接收/处理速度、原有问题是否解决等信息。
[0110]接收模块704接收到性能测试结果信息后,根据性能测试结果信息,如已经提升了原有系统的运行速度、解决了原有问题等,确定待更新的配置信息可以进一步推送,继续调用推送模块703。
[0111]推送模块703还适于:根据性能测试结果信息,将待更新的配置信息推送给除了目标工作节点以外其它需要待更新的配置信息的工作节点。
[0112]将待更新的配置信息推送给除已经推送的用于进行测试工作的目标工作节点以外其它需要待更新的配置信息的工作节点。这些其它需要待更新的配置信息的工作节点为本次推送的新的目标工作节点。在调用推送模块703进行进一步推送前,调用判断模块705进行判断。
[0113]判断模块705,适于判断待更新的配置信息是否为所有工作节点的公有配置信息。
[0114]工作节点的公有配置信息即工作节点配置都相同的配置信息,公有配置信息保证了分布式集群系统在处理任务的方式上的一致性。所有工作节点的配置如延迟时间、最大线程数、磁盘属性、权限配置等。在进一步推送时,先调用判断模块705进行判断,若待更新信息是所有工作节点公有的配置信息,可以将待更新的配置信息推送给除了目标工作节点以外其它的工作节点。若待更新信息不是所有工作节点公有的配置信息,则需要将待更新信息推送给需要更新配置信息的工作节点。判断模块705进行判断后,继续调用推送模块703。
[0115]推送模块703进一步适于:若判断模块705判断出待更新的配置信息为所有工作节点的公有配置信息,则将待更新的配置信息推送给除了目标工作节点以外其它的工作节点。
[0116]若判断模块705判断出待更新的配置信息不是所有工作节点的公有配置信息,则根据预先搜集的各个工作节点的状态信息,将待更新的配置信息推送给除了目标工作节点以外其它需要待更新的配置信息的工作节点,待更新的配置信息为需要待更新的配置信息的工作节点的私有配置信息。
[0117]通知模块706,适于通知目标工作节点将待更新的配置信息写入本地落盘的配置文件中。该模块的具体功能描述同通知模块604,描述见上文,此处不再赘述。
[0118]根据本发明提供的配置信息的热加载装置,与上述实施例相比,增加了选择性能测试工作的目标工作节点进行性能测试的模块。先选择一部分用于进行性能测试工作的目标工作节点更新配置信息,测试更新后的性能。当测试性能满足测试要求,如提升了运行速度、缩短了运行时间、解决了原有问题等。进一步再将待更新的配置信息推送给除了目标工作节点以外其它需要待更新的配置信息的工作节点。本发明的配置信息的热加载装置验证了配置信息修改的正确性,减少了配置信息修改不正确而导致多次推送所花费的时间、人力、物力。
[0119]图8示出了本发明提供的配置信息的热加载装置的又一个
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1