高性能计算中负载均衡与节点状态监控方法
【专利摘要】本发明涉及一种高性能计算中负载均衡与节点状态监控方法，其适于降低的占用集群系统的资源，并提高资源的利用率，有效提升服务器集群的性能，为用户提供高质量的服务。该方法具体是：根据服务器节点的运行状态及其负载、性能参数，通过计算得到各个节点的负载权值，并选取下次分配任务时备选的节点集合；根据负载差值、分配概率计算备选节点集合中各节点分配任务的概率，并使用随机概率分配的方式，将新的请求分配到选择的节点之上，以解决负载分配不均的问题；最后利用负载修正公式对分配任务的节点负载进行修正，以提高负载均衡效果，增强集群系统的可靠性和稳定性。
【专利说明】高性能计算中负载均衡与节点状态监控方法
【技术领域】
[0001]本发明涉及计算机网络负载均衡处理的领域，尤其是高性能计算中负载均衡与节点状态监控方法。
【背景技术】
[0002]随着网络应用的日益普及和互联网业务的急剧增长，无论在企业网、园区网还是在广域网，业务量的发展都超出了过去的估计。企业对网络的依赖性越来越强，对具有可扩展性和可靠性的分布式系统的应用需求也越来越大。当企业为用户提供Web服务时，随着访问者数量的快速增加，网络服务器需要具备提供大量并发访问服务的能力。其数据流量和计算强度之大，使得单一设备根本无法承担；另一方面，如何在完成同样功能的多个网络设备之间实现合理的业务量分配，使之不至于出现一台设备过忙、而别的设备却未充分发挥处理能力的情况，也是迫切需要解决的问题。负载均衡机制就是在这种情况下产生的。企业对网络系统的响应时间及所提供内容、服务的可靠性、即时性等要求也越来越高，使得以单台服务器来支撑整个网站的系统已无法满足客户需求，取而代之的是一组服务器群。
[0003]负载均衡(ServerLoadBalance)是由多台服务器以对称方式组成一个服务器群集，每台服务器都具有同等地位，均能单独对外提供服务。通过特定的负载均衡技术，将外部请求根据服务器群集中各服务器上的负载状况合理分配到某台服务器上，籍此大幅提高获取数据的速度，提高服务器的整体处理能力，解决海量并发访问问题，并提高可靠性，可用性，可维护性，最终目的是加快服务器的响应速度，从而提高用户的体验度。此种群集技术可以用最少的投资获得接近于大型主机的性能。
[0004]一种合理可行的解决方案便是采用服务器集群加负载均衡技术。服务器集群是指将很多服务器通过局域网连接成一个整体，构成机群对外提供服务，在客户端看来就像传统的单个服务器。集群系统能充分利用现有的各种资源，有效增强网络数据的处理能力，提高系统的整体服务性能，使系统更加稳定可靠，但解决服务器集群的负载均衡问题是提高集群性能的关键所在。
[0005]负载均衡技术主要用来提高服务器上执行关键任务的服务程序的可伸缩性和可用性，其按照实现方法的不同通常分为硬件实现和软件实现两种。负载均衡硬件实现的系统的处理能力和负载性能较强，但价格昂贵；虽然集成多种负载均衡算法，但是灵活性不强，不支持更优化的负载均衡策略和更复杂的应用协议，此外它只是从网络层来判断数据流量，无法有效掌握服务器及应用的状态。软件
实现能够更好地根据系统与应用的状况来分配负载，灵活性大，性价比高，并且易于更新最新的、优秀的负载均衡策略，但负载均衡算法会对服务器的性能造成一定的影响，所以对算法的复杂度要求较高。
[0006]在软件实现中，实现集群负载均衡的核心部件是负载均衡算法，根据设计思想的不同其主要分成静态均衡算法与动态均衡算法两类。静态均衡算法只是利用集群的统计信息以固定的概率分配任务，而不考虑系统实际的运行情况，负载效果很不理想；动态均衡算法则通过采集集群的实时运行信息来评估系统的负载状态，进而调整任务的分配，避免系统长时间运行下发生倾斜。实验表明，动态均衡算法可以取得比静态均衡算法更好的性能，即使在极端的情形中，动态均衡算法仍然能取得比较理想的性能。一般情况下，相对于较静态均衡算法而言，动态算法能获得309Γ40%的性能改善，随着对动态负载均衡算法的研究，动态均衡技术必将取代静态均衡技术。
[0007]然而，如何更方便的获取系统运行信息、尽量减少交互行为的资源消耗以及努力降低动态均衡算法本身对集群系统产生的影响将成为动态负载均衡技术所必须解决的问题，因此有必要寻找一种更优化的负载均衡算法，尽可能低的占用集群系统的资源，提高资源的利用率，有效提升服务器集群的性能，为用户提供高质量的服务。
【发明内容】
[0008]本发明首要解决的技术问题是提供一种高性能计算中负载均衡与节点状态监控方法，其适于降低的占用集群系统的资源，并提高资源的利用率，有效提升服务器集群的性能，为用户提供高质量的服务。
[0009]为了解决上述技术问题，本发明提供的高性能计算中负载均衡与节点状态监控方法，其包括:运用服务器节点的负载、性能信息，将集群系统的请求均匀分配到各个节点之上，并使各节点分担的负载与其性能成正比，进而使得系统的资源得到充分利用，最大程度的提高集群的性能。
[0010]具体是:根据服务器节点的运行状态及其负载、性能参数，通过计算得到各个节点的负载权值，并选取下次分配任务时备选的节点集合；根据负载差值、分配概率计算备选节点集合中各节点分配任务的概率，并使用随机概率分配的方式，将新的请求分配到选择的节点之上，以解决负载分配不均的问题；最后利用负载修正公式对分配任务的节点负载进行修正，以提高负载均衡效果，增强集群系统的可靠性和稳定性。
[0011]基于负载权值的负载均衡算法描述如下:
①设定一个阈值ε；
②每到来一个新的请求，根据计时器检查是否需要更新服务器节点的状态，若需要则进行更新；
③根据节点的运行状态计算节点的性能C(Si)和负载L(Si),并根据其结果计算负载权值W (Si)及负载差值AL(Si)；
④根据各节点的负载权值选取候选分配节点集合J;首先选取节点Sm，其满足条件:W (Sm) =min {ff (Si)}, i=0, I,…，η-1 ；
如果其他任意节点Si满足以下条件:W(Si)〈W(Sm)+ ε，i=0, I,…，n_l ；
则将节点Si加入到集合J中；
⑤计算候选分配节点集合J中各个节点负载分配的概率P(Si)；
⑥按照随机概率分配的方法从集合J中选择合适的节点，并将任务分配到该节点上；
⑦修正选定节点的负载，供下次分配请求时使用。
[0012]从服务器节点的CPU数量n、CPU频率C(Ci)、磁盘I/O速率C(Di)、内存大小C(Mi)、网络带宽C(Ni)指标来评价节点Si的性能C(Si)，使用如下公式(8.1)来计算:
【权利要求】
1.一种高性能计算中负载均衡与节点状态监控方法，其特征在于包括: A、根据服务器节点的运行状态及其负载、性能参数，通过计算得到各个节点的负载权值，并选取下次分配任务时备选的节点集合； B、根据负载差值、分配概率计算备选节点集合中各节点分配任务的概率，并使用随机概率分配的方式，将新的请求分配到选择的节点之上； C、利用负载修正公式对分配任务的节点负载进行修正。
2.根据权利要求1所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:基于负载权值的负载均衡算法包括: ①设定一个阈值ε； ②每到来一个新的请求，根据计时器检查是否需要更新服务器节点的状态，若需要则进行更新； ③根据节点的运行状态计算节点的性能C(Si)和负载L(Si)，并根据其结果计算负载权值W(Si)及负载差值AL(Si)； ④根据各节点的负载权值选取候选分配节点集合J;首先选取节点Sm，其满足条件:W (Sm) =min {ff (Si)}, i=0, I,…，n_l ； 如果其他任意节点Si满足以下条件:W(Si)〈W(Sm)+ ε，i=0, I,…，n_l ； 则将节点Si加入到集合J中； ⑤计算候选分配节点集合J中各个节点负载分配的概率P(Si)； ⑥按照随机概率分配的方法从集合J中选择合适的节点，并将任务分配到该节点上； ⑦修正选定节点的负载，供下次分配请求时使用。
3.根据权利要求2所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:从服务器节点的CPU数量n、CPU频率C(Ci)、磁盘I/O速率C(Di)、内存大小C(Mi)、网络带宽C(Ni)指标来评价节点Si的性能C(Si)，使用如下公式(8.1)来计算: CIS1 l-kt*w*a ) 4- k: * Cl M1) O l)J + k4* O i￥;)
,….(8.I)
? =0.1.,.,.μ -L /.= t
;..τ 其中，k是各项指标的权值参数，反映各个指标对服务器节点性能的影响程度。
4.根据权利要求2所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:从CPU使用率L(Ci)、内存使用率L(Mi)、磁盘I/O使用率L(Di)、网络带宽使用率L(Ni)指标来评价节点Si的负载L(Si)，并使用如下公式(8.2)来计算: HS I = Tl^sLiC HT,*LiM Kr, ?￡{￡> i^r, 1- ! ^1-1 -Ji ■i? --t'-
; ……(8.2)
i^ri =:
j Λ r是各项指标的权值参数，反映各个指标对不同类型服务的影响程度。
5.根据权利要求2所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:节点的负载权值W(Si)定义为节点负载L(Si)与节点性能C(Si)的比值，采用公式(8.3)来计算；
f.v(s,? = us,f/as,Ij= ο,ι.....?-?......(8.3)。
6.根据权利要求5所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:所谓节点的负载差值AL(Si),定义为所有节点负载权值的最大值WMAX与该节点的负载权值之差乘以该节点性能，采用公式(8.4)来计算:
AUS,) = (H\l l% ^ W(S1)I* C{%, ).1 =......(8.4)。
7.根据权利要求5所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:节点的负载 差值AL(Si)占所有节点负载差值之和的百分比为节点的负载分配概率P(Si)，采用公式(8.5)来计算:
8.根据权利要求5所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:计算集合J中节点的分配概率，从中选取合适的节点分配负载；节点分配概率采用公式(8.6)来计算:
9.根据权利要求5所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:负载增量S是指某种服务类型的一个请求分配到某服务器节点上，对该节点增加的负载量，采用公式配到某服务器节点上，对该节点增加的负载量，采用公式配到某服务器节点上，对该节点增加的负载量，采用公式配到某服务器节点上，对该节点增加的负载量，采用公式:δ =L (S)/N……(8.7) 其中，N为该服务类型在该节点上的请求数，L(S)为N个请求对节点带来的负载。
10.根据权利要求5所述的高性能计算中负载均衡与节点状态监控方法，其特征在于:对服务器节点负载的修正采用公式(8.8)来计算，其中δ为负载增量值，C(S)为计算负载增量时用到的节点的性能，L(Si)和C(Si)分别为该节点的负载和性能；
【文档编号】H04L12/26GK104168332SQ201410440328
【公开日】2014年11月26日 申请日期:2014年9月1日 优先权日:2014年9月1日
【发明者】杨漾, 张若曦, 刘文彬, 苏凯, 董召杰 申请人:广东电网公司信息中心