专利名称：基于多环网络拓扑结构的大规模集群系统的制作方法
技术领域：
本发明涉及大规模集群系统，尤其涉及一种基于多环网络拓扑结构的大规模集群系统，属于属于信息系统和计算机网络的交叉技术应用领域。
背景技术：
大规模集群系统通过将计算任务均衡分布在由大规模计算节点构成的资源池上， 使各种应用系统能够根据按需透明的获取高性价比的计算能力、存储资源和信息服务。大规模集群系统平台上可以承载了信息检索、数据挖掘、商业信息处理和科学计算等大规模的数据处理工作。目前的集群系统都强调良好的可管理性，一般倾向于采用集中式拓扑结构，从而保障服务质量。即使用一个或几个主控服务器加大量集群服务器构成，主控服务器来负责监控各节点的状态，进行失效检测和实现负载均衡等。基于集中式拓扑结构的控制管理机制的主要缺陷就是系统存在瓶颈问题和单点故障，因此单点需要高可用性，如记录恢复日志或双机备份等，优点是可控性强、维护方便灵活。可见，在大规模集群系统中如果采用集中控制管理的策略，作为任务执行者的计算节点需要主动向管理节点定期发送信息以汇报当前工作状态，防止节点失效带来的延误，这显然是不可行的，因为数量庞大的计算节点向管理节点发送周期信息将会带来大量额外的网络通信负担，并容易大量消耗管理节点的资源，造成类似于分布式拒绝服务攻击的效果。如果采用分布式控制管理机制，以减少管理节点收到的心跳信息数量，则需要一种高效的适合大规模集群系统的网络拓扑结构来支撑系统的正常运行。
发明内容
本发明所要解决的技术问题在于克服现有大规模集群系统由于节点的数量庞大， 系统的稳定性、可伸缩性和可管理性难以保障的缺陷，提供一种基于多环网络拓扑结构的大规模集群系统，能够实现对数量庞大的计算节点进行高效管理。本发明采用以下技术方案解决上述技术问题
一种基于多环网络拓扑结构的大规模集群系统，所述大规模集群系统包括管理节点和计算节点，所述计算节点按照节点在线的时间段分为多个组，每个组具有一个唯一的环标识，每个组中的计算节点具有一个唯一的节点标识符；每个组的计算节点按以下方法连接为一个环形拓扑结构对该组内的计算节点网络地址进行散列运算，以散列运算得到的关键值作为组内节点标识符，并沿顺时针方向按节点标识符从小到大的次序将各计算节点排列起来，从而构成环型拓扑；管理节点上保存每个环的全环节点列表。进一步地，所述环中的每个节点上均存储有一张局部环节点列表，保存了与该节点直接和间接相邻的节点的信息，包括节点所属环标识符、前驱与后继节点的节点标识、 前驱与后继节点与本节点的相对网络距离、前驱与后继节点的状态；各节点定期向其直接前驱结点和直接后继节点发送自身状态消息。节点加入按照以下方法
步骤1、节点加入网络时，首先向管理节点发送一个请求加入网络的消息，管理节点收到节点请求加入消息后，计算或验证节点的标识，并返回给该节点一张数字证书和回应消息，回应消息中包含了环中直接前驱节点和直接后继节点的信息；
步骤2、节点收到回应消息后，与回应消息中的直接前驱节点和直接后继节点进行联系，并通过回应消息中的直接前驱节点和直接后继节点的局部环节点列表来初始化本节点的局部环节点列表；
步骤3、回应消息中的直接前驱节点和直接后继节点在获得该节点的节点更新请求信息后，也更新各自的局部环节点列表，直接前驱节点通知其直接前驱节点更新自己的局部环节点列表，直接后继节点通知其直接后继节点更新自己的局部环节点列表。节点退出按照以下方法 节点主动退出的情况
退出节点首先向管理节点发送信息，要求注销其注册信息；然后通知他的前驱节点和后继节点，要退出这个网络；当前驱节点和后继节点知道收到通知后，分别更新各自的局部环节点列表中跟该退出节点有关的数据，管理节点也更新全环节点列表； 节点被动退出的情况
当有节点非正常被动退出网络，它的直接前驱节点和后继节点未接收到该节点应定期发来的状态信息，则直接前驱节点和后继节点向管理节点报告该节点已经非正常被动退出网络；管理节点收到报告后向该节点发信息，如果在规定时间内得不到该节点反馈的信息， 则确认该节点已退出网络，并向该节点的直接前驱节点和后继节点回应确认信息；该节点的直接前驱节点和后继节点更新各自的局部环节点列表，管理节点更新全环节点列表，网络拓扑重建。本发明具有以下有益效果
(1)系统实现了负载均衡，计算节点向管理节点发送的报告在线情况的信息量减少， 减轻了管理节点的负载；
(2)系统具有较强的可伸缩性，即既可支持小规模网络系统，也可支持大规模集群系
统；
(3)本发明提出的多环网络拓扑结构既适用于稀疏节点失效，也适用于连续节点失效。
图1为本发明的大规模集群系统的一个环型拓扑的结构示意图。
具体实施例方式下面结合附图对本发明的技术方案进行详细说明
本发明的大规模集群系统包括管理节点和计算节点，所述大规模集群系统包括管理节点和计算节点，所述计算节点按照节点在线的时间段分为多个组，每个组具有一个唯一的环标识，每个组中的计算节点具有一个唯一的节点标识符；每个组的计算节点按以下方法连接为一个环形拓扑结构对该组内的计算节点网络地址进行散列运算，以散列运算得到的关键值作为组内节点标识符，并沿顺时针方向按节点标识符从小到大的次序将各计算节点排列起来，从而构成环型拓扑；管理节点上保存每个环的全环节点列表。Mmmm^m-^^mm-^^ ,环标识指明了环的类型，并确定是哪一个环；在每个环中，再为每个节点创建一个环内唯一的节点标识符M^feZD。因此实际上每个节点标识符由两部分组成- g/Dlifeife/D。环内节点标识符采用散列算法将归入特定环的节点
的网络地址进行散列运算，基于散列运算得到的关键值按顺时针方向从小到大将节点排列起来，从而构成一个标识空间为(Γ 2s9 (m为节点标志的位数)的环型拓扑，即环内最多可容纳的节点个数为个。在规定的区间内，对于环内节点标识符为k的节点来说，环中顺时针方向的在线节点称为节点k的后继节点；逆时针方向在线节点称为k的前驱节点。显然对于环中的节点来说，需要尽可能实时地了解与之互相监管的直接前驱与后继节点的情况。然而，如果节点仅了解其当前的直接前驱与直接后继节点情况，则如果节点当前的直接前驱或直接后继节点失效时，节点将不能迅速与其新的直接前驱或直接后继节点建立互相监管的关系，特别是发生环中连续成片的节点失效时，这种情况将更加难以解决。为此，本发明在每个环内节点上部署局部环节点列表来解决这一问题。本发明的大规模集群系统中，除管理节点上保存有每个环的全环节点列表外，环中的每个节点上均存储有一张局部环节点列表，保存了与该节点直接和间接相邻的节点的信息，包括节点所属环标识符、前驱与后继节点的节点标识、前驱与后继节点与本节点的相对网络距离、前驱与后继节点的状态；节点数为《的环中，每张局部环节点列表空间复杂度为。局部环节点列表的各表项定义如表1所示
表权利要求
1.一种基于多环网络拓扑结构的大规模集群系统，所述大规模集群系统包括管理节点和计算节点，其特征在于，所述计算节点按照节点在线的时间段分为多个组，每个组具有一个唯一的环标识，每个组中的计算节点具有一个唯一的节点标识符；每个组的计算节点按以下方法连接为一个环形拓扑结构对该组内的计算节点网络地址进行散列运算，以散列运算得到的关键值作为组内节点标识符，并沿顺时针方向按节点标识符从小到大的次序将各计算节点排列起来，从而构成环型拓扑；管理节点上保存每个环的全环节点列表。
2.如权利要求1所述基于多环网络拓扑结构的大规模集群系统，其特征在于，所述环中的每个节点上均存储有一张局部环节点列表，保存了与该节点直接和间接相邻的节点的信息，包括节点所属环标识符、前驱与后继节点的节点标识、前驱与后继节点与本节点的相对网络距离、前驱与后继节点的状态；各节点定期向其直接前驱结点和直接后继节点发送自身状态消息。
3.如权利要求2所述基于多环网络拓扑结构的大规模集群系统，其特征在于，节点加入按照以下方法步骤1、节点加入网络时，首先向管理节点发送一个请求加入网络的消息，管理节点收到节点请求加入消息后，计算或验证节点的标识，并返回给该节点一张数字证书和回应消息，回应消息中包含了环中直接前驱节点和直接后继节点的信息；步骤2、节点收到回应消息后，与回应消息中的直接前驱节点和直接后继节点进行联系，并通过回应消息中的直接前驱节点和直接后继节点的局部环节点列表来初始化本节点的局部环节点列表；步骤3、回应消息中的直接前驱节点和直接后继节点在获得该节点的节点更新请求信息后，也更新各自的局部环节点列表，直接前驱节点通知其直接前驱节点更新自己的局部环节点列表，直接后继节点通知其直接后继节点更新自己的局部环节点列表。
4.如权利要求2所述基于多环网络拓扑结构的大规模集群系统，其特征在于，节点退出按照以下方法节点主动退出的情况退出节点首先向管理节点发送信息，要求注销其注册信息；然后通知他的前驱节点和后继节点，要退出这个网络；当前驱节点和后继节点知道收到通知后，分别更新各自的局部环节点列表中跟该退出节点有关的数据，管理节点也更新全环节点列表；节点被动退出的情况当有节点非正常被动退出网络，它的直接前驱节点和后继节点未接收到该节点应定期发来的状态信息，则直接前驱节点和后继节点向管理节点报告该节点已经非正常被动退出网络；管理节点收到报告后向该节点发信息，如果在规定时间内得不到该节点反馈的信息， 则确认该节点已退出网络，并向该节点的直接前驱节点和后继节点回应确认信息；该节点的直接前驱节点和后继节点更新各自的局部环节点列表，管理节点更新全环节点列表，网络拓扑重建。
全文摘要
本发明公开了一种基于多环网络拓扑结构的大规模集群系统。本发明中，计算节点按照节点在线的时间段分为多个组，每个组具有一个唯一的环标识，每个组中的计算节点具有一个唯一的节点标识符；每个组的计算节点按以下方法连接为一个环形拓扑结构对该组内的计算节点网络地址进行散列运算，以散列运算得到的关键值作为组内节点标识符，并沿顺时针方向按节点标识符从小到大的次序将各计算节点排列起来；管理节点上保存每个环的全环节点列表。环中的每个节点上均存储有一张局部环节点列表，保存了与该节点直接和间接相邻的节点的信息，各节点定期向其直接前驱结点和直接后继节点发送自身状态消息。本发明具有更好的稳定性、可伸缩性、可管理性。
文档编号H04L29/08GK102215123SQ201110150538
公开日2011年10月12日 申请日期2011年6月7日 优先权日2011年6月7日
发明者孔媛媛, 徐小龙, 李梦娥, 李玲娟, 杨庚, 杨李婷, 王娟, 邱国霞, 韦伟 申请人:南京邮电大学