一种分布式数据集的子节点管理方法及相关方法和装置与流程

文档序号:17627433发布日期:2019-05-10 23:48阅读:174来源:国知局
一种分布式数据集的子节点管理方法及相关方法和装置与流程

本申请涉及分布式数据存储技术领域,特别涉及一种分布式数据集的子节点管理方法、子节点挂接方法、管理节点、子节点、服务器以及计算机可读存储介质。



背景技术:

随着信息技术的不断发展,出现了去中心化的分布式数据存储技术。在分布式数据存储的基础上出现了基于分布式数据存储技术的分布式数据集技术,一般的该分布式数据集是基于全网同副本的泛中心或多中心的管理架构基础上,在该管理架构下,参与方在大多数情况下都是地位平等,并共同管理同一个副本的分布式数据集数据。或者是一般采用层级分布式数据集,其按照一定的层级结构进行分布式数据集的分布,每一层中的所有节点管理一个数据子集,以减少每个节点中管理节点的压力。

目前,在使用分布式数据集的过程中,每个节点存储的数据均由于该节点硬件存储性能存在上限,而在使用分布式数据集时,会经常出现数据过多而转向其他存储设备进行存储的情况。主要是因为分布式数据集没有动态调整的能力,当需要存储过多的数据会受到硬件性能的限制,而组织其继续保存数据。或者是当存在此时保存的数据需要与该层级中的其他数据子集进行隔离,而现有的分布式技术,只能将该数据与其他子节点中数据子集的数据混为一谈,无法做到隔离。

因此,如何在分布式数据集中添加新的子节点,也就是添加新的数据子集,以应对更多的存储需求,是本领域技术人员关注的重点问题。



技术实现要素:

本申请的目的是提供一种分布式数据集的子节点管理方法、子节点挂接方法、管理节点、子节点、服务器以及计算机可读存储介质,通过确定的挂接信息,查找到对应的挂接位置,再进行子节点挂接操作,实现了在分布式数据集中增加子节点,扩大了分布式数据集的应用范围。

为解决上述技术问题,本申请提供一种分布式数据集的子节点管理方法,包括:

当接收到子节点增加请求时,管理节点根据所述子节点增加请求确定父节点id、子节点id以及子节点证书;

将所述父节点id、所述子节点id以及所述子节点证书发送至子节点,以使所述子节点根据所述父节点id、所述子节点id以及所述子节点证书将所述子节点的注册页挂接在对应的位置。

可选的,还包括:

当接收到子节点删除请求时,所述管理节点将对应的子节点的合法关系记录进行剔除处理。

可选的,当接收到子节点删除请求时,所述管理节点将对应的子节点的合法关系记录进行剔除处理,包括:

当接收到子节点删除请求时,所述管理节点将所述子节点的子节点id和所述子节点的子节点证书添加到黑名单中。

可选的,还包括:

当所述管理节点将对应的子节点的合法关系记录进行剔除处理时,所述子节点对应的父节点将所述剔除处理的信息进行记录。

本申请还提供一种分布式数据集的子节点挂接方法,包括:

当接收到的管理节点发送的父节点id、子节点id以及子节点证书时,子节点根据所述父节点id和所述子节点id,确定挂接位置;

根据所述子节点证书与所述挂接位置的节点进行安全验证;

当验证通过时,将子节点的注册页挂接在所述挂接位置,以便建立数据同步关系。

本申请还提供一种管理节点,包括:

挂接信息确定模块,用于当接收到子节点增加请求时,管理节点根据所述子节点增加请求确定父节点id、子节点id以及子节点证书;

挂接信息发送模块,用于将所述父节点id、所述子节点id以及所述子节点证书发送至子节点,以使所述子节点根据所述父节点id、所述子节点id以及所述子节点证书将所述子节点的注册页挂接在对应的位置。

本申请还提供一种子节点,包括:

挂接位置确定模块,用于当接收到的管理节点发送的父节点id、子节点id以及子节点证书时,子节点根据所述父节点id和所述子节点id,确定挂接位置;

安全验证模块,用于根据所述子节点证书与所述挂接位置的节点进行安全验证;

挂接处理模块,用于当验证通过时,将子节点的注册页挂接在所述挂接位置,以便建立数据同步关系。

本申请还提供一种服务器,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如上所述的子节点管理方法的步骤或如上所述的子节点挂接方法的步骤。

本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的子节点管理方法的步骤或如上所述的子节点挂接方法的步骤。

本申请所提供的一种分布式数据集的子节点管理方法,包括:当接收到子节点增加请求时,管理节点根据所述子节点增加请求确定父节点id、子节点id以及子节点证书;将所述父节点id、所述子节点id以及所述子节点证书发送至子节点,以使所述子节点根据所述父节点id、所述子节点id以及所述子节点证书将所述子节点的注册页挂接在对应的位置。

通过在接收到子节点增加请求后,根据子节点增加请求确定父节点id、子节点id以及子节点证书,并将父节点id、子节点id以及子节点证书发送至子节点,该子节点就可以通过这些获取的信息将子节点的注册也挂接在对应位置,也就是将子节点的信息记注册在父节点的注册页中,实现了在对应位置挂接新的子节点,就可以向该子节点保存对应的数据,也就是在分布式数据集中添加新的子节点,扩大了分布式数据集的使用范围。

本申请还提供一种分布式数据集的子节点挂接方法、管理节点、子节点、服务器以及计算机可读存储介质,具有以上有益效果,在此不做赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种分布式数据集的子节点管理方法的流程图;

图2为本申请实施例所提供的一种分布式数据集的子节点挂接方法的流程图;

图3为本申请实施例所提供的一种管理节点的结构示意图;

图4为本申请实施例所提供的一种子节点的结构示意图。

具体实施方式

本申请的核心是提供一种分布式数据集的子节点管理方法、子节点挂接方法、管理节点、子节点、服务器以及计算机可读存储介质,通过确定的挂接信息,查找到对应的挂接位置,再进行子节点挂接操作,实现了在分布式数据集中增加子节点,扩大了分布式数据集的应用范围。

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

现有技术在使用分布式数据集的过程中,每个节点存储的数据均由于该节点硬件存储性能存在上限,会经常出现数据过多而转向其他存储设备进行存储的情况。主要是因为分布式数据集没有动态添加子节点的能力,当需要存储过多的数据会受到硬件性能的限制,只能使用其他的存储设备对新增的数据子集数据进行存储。或者是当存在此时保存的数据需要与该层级中的其他子节点进行隔离,也就是期望采用新的子节点对数据进行保存,而现有的分布式技术,只能将该数据与其他子节点中数据子集的数据混为一谈,无法做到采用新的子节点对数据进行保存,也就是现有技术中当分布式数据集运行后无法按照一定的需求在节点之下,新增新的子节点,降低了现有的分布式数据集使用范围。

因此,本申请提供一种分布式数据集的子节点管理方法,通过在接收到子节点增加请求后,根据子节点增加请求确定父节点id、子节点id以及子节点证书,并将父节点id、子节点id以及子节点证书发送至子节点,该子节点就可以通过这些获取的信息将子节点的注册也挂接在对应位置,也就是将子节点的信息记注册在父节点的注册页中,实现了在对应位置挂接新的子节点,就可以向该子节点保存对应的数据,也就是在分布式数据集中添加新的子节点,扩大了分布式数据集的使用范围。

请参考图1,图1为本申请实施例所提供的一种分布式数据集的子节点管理方法的流程图。

本实施例中,该方法可以包括:

s101,当接收到子节点增加请求时,管理节点根据子节点增加请求确定父节点id、子节点id以及子节点证书;

本步骤旨在管理节点接收到子节点增加请求,然后根据该子节点增加请求确定增加子节点挂接位置的父节点id,以及挂接后该子节点对应的子节点id和子节点证书。

其中,通过父节点id可以确定该子节点挂接的位置,通过子节点id可以使得该子节点可以合法的注册在父节点的注册页中,通过子节点证书可以在子节点挂接时进行安全验证,避免非法节点挂接在分布式数据集的网络中。

其中,子节点增加请求是待挂接子节点向管理节点发送的请求消息,以使管理节点获得具体是哪一个子节点需要进行节点挂接处理,并且获取挂接的目标位置。其中,挂接的目标位置可能是某一数据子集的最高节点,而此时只需要将子节点挂接在该最高节点的底部,因此,需要根据该目标位置,也就是从最高节点的从属节点中匹配到一个父节点作为挂接的位置,具体的,可以根据需求确定该父节点与最高节点的距离,例如,子节点增加请求的需求是将子节点挂接在最高节点以下第3层的位置,那么就从该最高节点以下第3层的位置按照预设规则匹配一个节点作为父节点。

其中,预设规则可以是随机选定该层节点中的任意一个节点作为父节点,也可以是选择挂接子节点最少的节点作为父节点,还可以是选择挂接子节点最多的节点作为父节点。可见,此处从目标位置选择父节点的方式并不唯一,可以选择合适的方式从目标位置中选取到父节点,在此不做具体限定。

s102,将父节点id、子节点id以及子节点证书发送至子节点,以使子节点根据父节点id、子节点id以及子节点证书将子节点的注册页挂接在对应的位置。

在s101的基础上,本步骤旨在将确定的父节点id、子节点id以及子节点证书发送至子节点中,以便子节点根据接收到的信息进行挂接处理。

其中,本步骤具体执行的挂接处理的方式可以参考下一实施例的内容,在此不做赘述。

可选的,本实施例还可以包括:

当接收到子节点删除请求时,管理节点将对应的子节点的合法关系记录进行剔除处理。

本可选方案主要是说明当将该子节点进行删除时,是对子节点对应的合法关系进行剔除。具体的,是在数据同步机制中将该子节点的合法关系进行剔除。当在数据同步机制中将合法关系删除时,管理节点就不会对该子节点继续进行数据同步操作,也即将该子节点排除在了分布式数据集之外。

可选的,上一可选方案可以包括:

当接收到子节点删除请求时,管理节点将子节点的子节点id和子节点的子节点证书添加到黑名单中。

具体的,上一可选方案中对合法关系进行剔除的操作,可以选择现有技术提供的任意一种剔除方法,还可以采用本可选方案中将子节点的子节点证书添加到黑名单中,以实现将该子节点的合法关系进行剔除的操作。

可选的,上一可选方案还可以包括:

当管理节点将对应的子节点的合法关系记录进行剔除处理时,子节点对应的父节点将剔除处理的信息进行记录。

本可选方案主要是在将合法关系进行剔除时,该子节点对应的父节点将此次剔除处理的信息进行记录,也就是父节点中将该子节点被剔除的信息进行相应的记录,以便生成相应的操作日志,进行查找或溯源操作。

综上,本实施例通过在接收到子节点增加请求后,根据子节点增加请求确定父节点id、子节点id以及子节点证书,并将父节点id、子节点id以及子节点证书发送至子节点,该子节点就可以通过这些获取的信息将子节点的注册也挂接在对应位置,也就是将子节点的信息记注册在父节点的注册页中,实现了在对应位置挂接新的子节点,就可以向该子节点保存对应的数据,也就是在分布式数据集中添加新的子节点,扩大了分布式数据集的使用范围。

上一实施例主要是在管理节点的角度介绍子节点管理方法,本实施例主要是在子节点的角度,提供一种分布式数据集的子节点挂接方法。通过该方法可以实现在分布式数据集中按照需求添加子节点,以便对分布式数据集进行动态调整,以适应更多的应用环境。

请参考图2,图2为本申请实施例所提供的一种分布式数据集的子节点挂接方法的流程图。

本实施例中,该方法可以包括:

s201,当接收到的管理节点发送的父节点id、子节点id以及子节点证书时,子节点根据父节点id和子节点id,确定挂接位置;

s202,根据子节点证书与挂接位置的节点进行安全验证;

s203,当验证通过时,将子节点的注册页挂接在挂接位置,以便建立数据同步关系。

本实施例中,先根据获取的信息确定挂接位置,再进行安全验证,当验证通过时进行挂接操作。其中,挂接操作也就是将子节点的注册页挂接在挂接位置中,也就是在该挂接位置对应的父节点的注册页将该子节点进行注册。

可见,本实施例通过获取的信息确定子节点的挂接位置,实现了将新的子节点挂接在目标位置,使得分布式存储系统拥有更广的应用场景。

在以上所有实施例的基础上,本实施例提供一种更加具体的子节点管理方法,也即将该子节点应用在分布式电子账本的环境中,通过该方法可以实现将子节点根据增加请求挂接在期望的位置,以便符合更多的电子账本的存储需求。

本实施例主要分为子节点增加和子节点剔除。

1、子节点(子账本)增加:

步骤1,由管理节点指定并下发父节点id、子节点(子账本)id及子节点(子账本)证书,并在该父节点管理账本中留存相关变更记录;

步骤1,新增子节点(子账本)根据下发的父节点id、子节点id,寻找本子节点(子账本)的挂接位置。并通过引用该父节点注册页的hash值,建立与父节点之间的密码学验证关系。通过新增子节点(子账本)的公钥证书,归档记账机制验证该新增子节点(子账本)所提交的账页的签名信息,决定是否将增节点产生的新账页纳入总账本。当签名验证不通过是,则舍弃该子节点。

2、子节点(子账本)剔除:

步骤1,由管理节点废除该子节点(子账本)的id及证书,并在该父节点管理子账本中留存相关变更记录;

步骤2,归档记账机制据此将该子节点(子账本)排除出记账范围。即该子节点(子账本)的相关账页数据将停止更新。

本实施例中也可以是对子账本进行相应的操作。其中的操作细节与以上实施例大体相同,相同部分可以相互参考,在此不做赘述。

本申请实施例提供了子节点管理方法,可以通过在接收到子节点增加请求后,根据子节点增加请求确定父节点id、子节点id以及子节点证书,并将父节点id、子节点id以及子节点证书发送至子节点,该子节点就可以通过这些获取的信息将子节点的注册也挂接在对应位置,也就是将子节点的信息记注册在父节点的注册页中,实现了在对应位置挂接新的子节点,就可以向该子节点保存对应的数据,也就是在分布式账本中添加新的子节点,提高了分布式账本的使用范围。

下面对本申请实施例提供的一种管理节点进行介绍,下文描述的一种管理节点与上文描述的一种分布式数据集的子节点管理方法可相互对应参照。

请参考图3,图3为本申请实施例所提供的一种管理节点的结构示意图。

本实施例中,该节点可以包括:

挂接信息确定模块110,用于当接收到子节点增加请求时,管理节点根据子节点增加请求确定父节点id、子节点id以及子节点证书;

挂接信息发送模块120,用于将父节点id、子节点id以及子节点证书发送至子节点,以使子节点根据父节点id、子节点id以及子节点证书将子节点的注册页挂接在对应的位置。

本申请实施例还提供一种子节点。

请参考图4,图4为本申请实施例所提供的一种子节点的结构示意图。

本实施例中,该节点可以包括:

挂接位置确定模块210,用于当接收到的管理节点发送的父节点id、子节点id以及子节点证书时,子节点根据父节点id和子节点id,确定挂接位置;

安全验证模块220,用于根据子节点证书与挂接位置的节点进行安全验证;

挂接处理模块230,用于当验证通过时,将子节点的注册页挂接在挂接位置,以便建立数据同步关系。

本申请实施例还提供一种服务器,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如以上实施例所述的子节点管理方法的步骤或如以上实施例所述的子节点挂接方法的步骤。

本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如以上实施例所述的子节点管理方法的步骤或如以上实施例所述的子节点挂接方法的步骤。

该计算机可读存储介质可以包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种分布式数据集的子节点管理方法、子节点挂接方法、管理节点、子节点、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1