一种实现元数据集群的方法及元数据集群的制作方法_2

文档序号:9436144阅读:来源:国知局
个节点编号靠前的从节点协商获取主节点权限,多个节点编号靠前的从节点为上述目录中的从节点。
[0040]在正常情况下master节点一直在发组播包给元数据集群中的其他slave节点,并携带了元数据修改信息,如果master宕机,则由事先约定好的编号大的节点协商获取master权限,当然这个slave节点是上述的正常返回给master节点的正常节点。
[0041]进一步的,主节点接收客户端发送的查询命令,采用哈希的方式将查询命令转发给从节点,完成客户端请求的查询。
[0042]如果客户端执行查询操作,则master获取查询命令后,采用哈希的方式直接转发给正常slave节点,如果客户端频繁的查询,单个master对于简单的查询操作的转发能力是很强大的,可以实现千万级的转发,将高负载分散到其他节点。
[0043]本发明实现了密集查询的负载均衡,同时实现了密集查询的性能的线性扩展。也实现了对于元数据修改、增加和删除操作的强一致性,保证了元数据集群的高性能的同时,也高可用性的需求。
[0044]本发明还提供了另一种实现元数据集群的方法,元数据集群包含N(N > I)个节点,N个节点共享同一个虚拟IP地址,N个节点中包含一个主节点和至少一个从节点,所述方法包括:
[0045]从节点接收主节点发送的组播包,组播包中携带元数据修改信息,根据组播包修改元数据;
[0046]从节点向主节点返回成功消息。
[0047]进一步的,从节点接收主节点采用哈希的方式转发的查询命令,根据查询命令完成客户端请求的查询。
[0048]本发明还提供了一种元数据集群,本发明中集群中至少存在两个节点,并且可以根据实际性能需求进行扩展,master节点为管理节点,根据配置文件的node number进行指定,数字大的为master,保证集群中的节点号不重复,master宕机保证下一个节点号大的数字的节点接管,以此类推。
[0049]Slave节点为热备节点,在正常情况下进行的是提供客户端的查询服务和实现master节点异步同步数据服务,master节点实现的是转发客户端的查询服务和实现客户端的修改元数据并且同步发送给集群其他节点的修改请求等待修改成功返回。
[0050]如图2所示,本发明的元数据集群包含N(N > I)个节点,N个节点共享同一个虚拟IP地址,N个节点中包含一个主节点和至少一个从节点,其中:
[0051]主节点,用于接收客户端发送的操作元数据命令,在根据操作元数据命令修改元数据的同时,向元数据集群中的从节点发送组播包,组播包中携带元数据修改信息,指示从节点修改元数据;并接收从节点返回的成功消息,在返回成功消息的从节点的数目达到配置的数量M(M > O)时,即确认组播包发送成功,向客户端返回成功结果,并记录返回成功消息的从节点的目录。
[0052]进一步的,从节点,用于在主节点宕机时,多个节点编号靠前的从节点协商获取主节点权限,多个节点编号靠前的从节点为目录中的从节点。
[0053]进一步的,主节点,还用于接收客户端发送的查询命令,采用哈希的方式将查询命令转发给从节点,完成客户端请求的查询。
[0054]进一步的,从节点,用于接收主节点发送的组播包,组播包中携带元数据修改信息,根据组播包修改元数据;并向主节点返回成功消息。
[0055]进一步的,从节点,还用于接收主节点采用哈希的方式转发的查询命令,根据查询命令完成客户端请求的查询。
[0056]虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
【主权项】
1.一种实现元数据集群的方法,其特征在于,所述元数据集群包含N(N> I)个节点,所述N个节点共享同一个虚拟IP地址,所述N个节点中包含一个主节点和至少一个从节点,所述方法包括: 所述主节点接收客户端发送的操作元数据命令; 所述主节点在根据所述操作元数据命令修改元数据的同时,向元数据集群中的从节点发送组播包,所述组播包中携带元数据修改信息,指示所述从节点修改元数据; 所述主节点接收从节点返回的成功消息,在返回成功消息的从节点的数目达到配置的数量M(M > O)时,即确认所述组播包发送成功,向所述客户端返回成功结果,并记录返回成功消息的从节点的目录。2.根据权利要求1所述的方法,其特征在于,所述方法还包括: 如果所述主节点宕机,则多个节点编号靠前的从节点协商获取主节点权限,所述多个节点编号靠前的从节点为所述目录中的从节点。3.根据权利要求1所述的方法,其特征在于,所述方法还包括: 所述主节点接收客户端发送的查询命令,采用哈希的方式将查询命令转发给从节点,完成客户端请求的查询。4.一种实现元数据集群的方法,其特征在于,所述元数据集群包含N(N> I)个节点,所述N个节点共享同一个虚拟IP地址,所述N个节点中包含一个主节点和至少一个从节点,所述方法包括: 所述从节点接收主节点发送的组播包,所述组播包中携带元数据修改信息,根据所述组播包修改元数据; 所述从节点向所述主节点返回成功消息。5.根据权利要求4所述的方法,其特征在于,所述方法还包括: 所述从节点接收主节点采用哈希的方式转发的查询命令,根据所述查询命令完成客户端请求的查询。6.—种元数据集群,其特征在于,包含N (N > I)个节点,所述N个节点共享同一个虚拟IP地址,所述N个节点中包含一个主节点和至少一个从节点,其中: 所述主节点,用于接收客户端发送的操作元数据命令,在根据所述操作元数据命令修改元数据的同时,向元数据集群中的从节点发送组播包,所述组播包中携带元数据修改信息,指示所述从节点修改元数据;并接收从节点返回的成功消息,在返回成功消息的从节点的数目达到配置的数量M(M > O)时,即确认所述组播包发送成功,向所述客户端返回成功结果,并记录返回成功消息的从节点的目录。7.根据权利要求6所述的元数据集群,其特征在于: 所述从节点,用于在所述主节点宕机时,多个节点编号靠前的从节点协商获取主节点权限,所述多个节点编号靠前的从节点为所述目录中的从节点。8.根据权利要求6所述的元数据集群,其特征在于: 所述主节点,还用于接收客户端发送的查询命令,采用哈希的方式将查询命令转发给从节点,完成客户端请求的查询。9.根据权利要求6所述的元数据集群,其特征在于: 所述从节点,用于接收主节点发送的组播包,所述组播包中携带元数据修改信息,根据所述组播包修改元数据;并向所述主节点返回成功消息。10.根据权利要求8所述的元数据集群,其特征在于: 所述从节点,还用于接收主节点采用哈希的方式转发的查询命令,根据所述查询命令完成客户端请求的查询。
【专利摘要】本发明公开了一种实现元数据集群的方法及元数据集群,所述方法包括:主节点接收客户端发送的操作元数据命令;在根据操作元数据命令修改元数据的同时,向元数据集群中的从节点发送组播包,组播包中携带元数据修改信息,指示从节点修改元数据;接收从节点返回的成功消息,在返回成功消息的从节点的数目达到配置的数量M(M>0)时,即确认组播包发送成功,向客户端返回成功结果,并记录返回成功消息的从节点的目录。本发明为分布式系统以及分布式文件系统的元数据信息查询、定位和修改等提供了优越的性能和高可用性。本发明在权衡性能和一致性的前提下,实现了工业上的应用需求。
【IPC分类】H04L29/08, G06F17/30
【公开号】CN105187517
【申请号】CN201510516048
【发明人】王欢
【申请人】浪潮(北京)电子信息产业有限公司
【公开日】2015年12月23日
【申请日】2015年8月20日
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1