数据存储方法、数据库存储节点故障处理方法及装置与流程

文档序号:12927067阅读:来源:国知局
数据存储方法、数据库存储节点故障处理方法及装置与流程

技术特征:
1.一种数据存储方法,其特征在于,所述方法包括:将分布式非关系型NOSQL数据库中的一个表的一个分区部署在数据库中的第一存储节点;将所述分区的数据文件划分为N个数据块,所述N个数据块位于所述第一存储节点,其中,所述分区的数据文件由所述分区的从节点调用;将所述N个数据块的备份数据块部署在第二存储节点上,所述第二存储节点与所述第一存储节点为不同存储节点;其中,N为自然数,并且N不小于2。2.如权利要求1所述的方法,其特征在于,在将数据库中的一个表的一个分区部署在数据库中的第一存储节点之前,还包括:为所述数据库中所述分区分配分区标识;根据所述分区标识为所述分区的所述N个数据块命名。3.如权利要求1或2所述的方法,其特征在于,所述将所述N个数据块的备份数据块部署在第二存储节点上,所述第二存储节点与所述第一存储节点为不同节点具体包括:按照部署策略,在所述部署策略对应的第二存储节点上对所述分区的第一个数据块进行数据块备份;获取所述分区的第一个数据块的备份数据块的存储节点分布信息;备份所述分区的N-1个数据块至所述存储节点分布信息指示的节点。4.一种数据库存储节点故障处理方法,其特征在于,所述方法包括:获取存储节点集群中故障的第一存储节点的分区信息以及分区对应的数据块的分布信息;根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息,在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的M个数据块的非故障第二存储节点;其中,M为自然数;将所述第一存储节点的所述分区重新分布到所述第二存储节点。5.如权利要求4所述的方法,其特征在于,当所述第一存储节点故障为从节点进程故障时,所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前,还包括:如果所述第二存储节点的分区负载超过负载均衡阈值,则将所述第二存储节点上的L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点;其中L为自然数。6.如权利要求4所述的方法,其特征在于,当所述第一存储节点上故障为数据节点进程故障时,所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括:将所述第二存储节点上的所述M个数据块备份到所述存储节点集群中的第三存储节点,所述第三存储节点为非故障存储节点。7.一种数据存储装置,其特征在于,包括:第一部署单元,用以将分布式非关系型NOSQL数据库中一个表中的一个分区部署在数据库中的第一存储节点;划分单元,用以将所述分区的数据文件划分为N个数据块,所述N个数据块位于所述第一存储节点,其中,所述分区的数据文件由所述分区的从节点调用;第二部署单元,用以将所述N个数据块的备份数据块部署在第二存储节点上,所述第二存储节点与所述第一存储节点为不同存储节点;其中,N为自然数,并且N不小于2。8.如权利要求7所述的装置,其特征在于,还包括处理单元,用以在将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前,为所述数据库中所述分区分配分区标识;根据所述分区标识为所述分区的所述N个数据块命名。9.如权利要求7或8所述的装置,其特征在于,所述第二部署单元具体用于:按照部署策略,在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份;获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息;备份所述分区的数据文件中的N-1个数据块至所述存储节点分布信息指示的存储节点。10.一种数据库存储节点故障处理装置,其特征在于,所述装置包括:获取单元,用以获取存储节点集群中故障的第一存储节点的分区信息以及所述分区对应的数据块的分布信息;确定单元,用以根据所述第一存储节点的分区信息以及分区对应的数据块的分布信息,在所述存储节点集群中确定备份有所述第一存储节点的分区对应的M个数据块的非故障第二存储节点;其中,M为自然数;处理单元,用以将所述第一存储节点的所述分区重新分布到所述第二存储节点。11.如权利要求10所述的装置,其特征在于,当所述第一存储节点故障为从节点进程故障时,所述处理单元还用以在将所述第一存储节点的所述分区重新分布到所述第二存储节点之前:如果所述第二存储节点的分区负载超过负载均衡阈值,则将所述第二存储节点上的L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点;其中L为自然数。12.如权利要求10所述的装置,其特征在于,当所述第一存储节点上故障为数据节点进程故障时,所述处理单元还用以在将所述第一存储节点的所述分区重新分布到所述第二存储节点之后:将所述第二存储节点上的所述M个数据块备份到所述存储节点集群中的第三存储节点,所述第三存储节点为非故障存储节点。13.一种数据存储装置,其特征在于,所述装置包括:网络接口;中央处理器;存储器;物理存储在所述存储器中的应用程序,所述中央处理器执行所述应用程序,使得所述数据存储装置执行以下步骤:将分布式非关系型NOSQL数据库中的一个表的一个分区部署在数据库中的第一存储节点;将所述分区的数据文件划分为N个数据块,所述N个数据块位于所述第一存储节点,其中,所述分区的数据文件由所述分区的从节点调用;将所述N个数据块的备份数据块部署在第二存储节点上,所述第二存储节点与所述第一存储节点为不同存储节点;其中,N为自然数,并且N不小于2。14.如权利要求13所述的装置,其特征在于,在将数据库中的一个表中的一个分区部署在数据库中的第一存储节点之前,还包括:为所述数据库中所述分区分配分区标识;根据所述分区标识为所述分区的所述N个数据块命名。15.如权利要求13或14所述的装置,其特征于,所述将所述N个数据块的备份数据块部署在第二存储节点上,所述第二存储节点与所述第一存储节点为不同节点具体包括:按照部署策略,在所述部署策略对应的第二存储节点上对所述分区的数据文件中的第一个数据块进行数据块备份;获取所述分区的数据文件中第一个数据块的备份数据块的存储节点分布信息;备份所述分区的数据文件中的N-1个数据块至所述存储节点分布信息指示的存储节点。16.一种数据库存储节点故障处理装置,其特征在于,所述装置包括:网络接口;中央处理器;存储器;物理存储在所述存储器中的应用程序,所述中央处理器执行所述应用程序,使得所述数据库存储节点故障处理装置执行以下步骤:获取存储节点集群中故障的第一存储节点的分区信息以及分区对应的数据块的分布信息;根据所述第一存储节点的分区信息以及所述分区对应的数据块的分布信息,在所述存储节点集群中确定备份有所述第一存储节点的所述分区对应的M个数据块的非故障第二存储节点;其中,M为自然数;将所述第一存储节点的所述分区重新分布到所述第二存储节点。17.如权利要求16所述的装置,其特征在于,当所述第一存储节点故障为从节点进程故障时,所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之前,还包括:如果所述第二存储节点的分区负载超过负载均衡阈值,则将所述第二存储节点上的L个分区迁移至所述存储节点集群中除第二存储节点外的其它非故障存储节点;其中L为自然数。18.如权利要求16所述的装置,其特征在于,当所述第一存储节点上故障为数据节点进程故障时,所述将所述第一存储节点的所述分区重新分布到所述第二存储节点之后还包括:将所述第二存储节点上的所述M个数据块备份到所述存储节点集群中的第三存储节点,所述第三存储节点为非故障存储节点。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1