一种分布式系统中的数据读写方法与流程

本发明属于数据共享领域，尤其涉及分布式系统中的数据读写方法。

背景技术：

近年来随着网络技术的发展，分布式技术得到了深入的研究和广泛的应用，分布式系统中的各个计算机都存储有数据，数据可以在各个计算机之间进行共享和交换。

现有的数据交换方式，通常是在数据请求方和数据提供方之间直接进行数据交换，这对作为数据提供方的服务器的读写和传输速度要求很高，但是对于硬盘读写速度通常比较慢，影响服务器自身的数据处理。

基于上述问题，现在亟需一种新的分布式系统中的数据读写方法，减轻数据提供方服务器的处理负载，提高系统数据交换速度。

技术实现要素：

为了解决现有技术中的上述问题，本发明提出了一种分布式系统中的数据读写方法。

本发明采用的技术方案如下：

一种分布式系统中的数据读写方法，分布式系统中包括多个节点，所述数据以树结构存储，其特征在于，该方法包括如下步骤：

(1)节点a向节点b发送数据集合g的数据交换请求，数据集合g以树结构存储在节点b中；

(3)节点b将数据集合g中的数据d的树结构分成n棵子树，依次发送给节点a；

(4)节点a将接收的n棵子树依次写入其内存预设的缓存区；

(5)节点a对缓存区中的多个子树合并成数据d的完整树结构；

(6)重复上述步骤(3)-(5)，将数据集合g中的数据的树结构依次进行子树分解、写入缓存区和完整树合并，直至数据集合g中的所有数据均完成上述分解、写入和合并操作。

本发明的有益效果包括：

本技术：
将数据集合g中的数据d的树结构分成n棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据d的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明系统的结构图。

图2是本发明分布式系统中的数据读写方法的流程图。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，是本发明所应用的系统，在一个实施例中，系统为分布式系统，该系统包括一个控制节点和多个计算节点。在其他实施方式中，也可以是云系统等多节点系统。

参见附图2，实施例1，分布式系统中的数据读写方法，分布式系统中包括多个节点，所述数据以树结构存储，该方法包括如下步骤：

(1)节点a向节点b发送数据集合g的数据交换请求，数据集合g以树结构存储在节点b中；

(3)节点b将数据集合g中的数据d的树结构分成n棵子树，依次发送给节点a；

(4)节点a将接收的n棵子树依次写入其内存预设的缓存区；

(5)节点a对缓存区中的多个子树合并成数据d的完整树结构；

(6)重复上述步骤(3)-(5)，将数据集合g中的数据的树结构依次进行子树分解、写入缓存区和完整树合并，直至数据集合g中的所有数据均完成上述分解、写入和合并操作。

实施例2，该方法包括如下步骤：

(1)节点a向节点b发送数据集合g的数据交换请求。

在一个实施方式中，所述数据集合g中包括若干数据d，其中数据d以树结构存储在节点b中，节点a为数据请求节点，节点b为数据发送节点；

(2)从其他节点中选择一个节点c作为缓存节点，

在一个实施方式中，选择一个当前运行负载最低的一个节点作为缓存节点，以便最低限度降低对其他节点运行的影响，然后在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；

(3)将数据集合g中的数据d的树结构分成n棵子树，依次写入内存的上述缓存区；

(4)对缓存区中的多个子树合并成数据d的完整树结构；

(5)重复上述步骤(3)(4)，将数据集合g中的数据的树结构依次进行子树分解、写入缓存区和完整树合并；

(6)监控缓冲区中存储的数据量是否超过缓存阈值，如果超过缓存阈值，则将缓存区中存储的数据集合e传送给节点a，并将缓冲区中存储的数据量删除；

(7)节点a接收上述传送的数据集合e并存储在其内存中；

(8)如果数据集合e是数据集合g的子集，再继续执行上述步骤(5)-(7)，如果数据集合e和数据集合g相同，则执行步骤(9)-(12)；

(9)节点a为防止数据丢失，需要将数据存储在暂时持久化磁盘，在节点a硬盘中划分一块区域作为暂时持久化区域；

(10)将数据集合e中的数据f的树结构分成m棵子树，依次写入上述暂时持久化区域；

(11)对暂时持久化区域中的子树合并处理成数据f的完整树结构；

(12)重复上述步骤(10)(11)，将数据集合e中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。

通过上述方法，本发明将数据集合g中的数据d的树结构分成n棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据d的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

技术特征：

技术总结
本发明提供了一种分布式系统中的数据读写方法，本发明将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。

技术研发人员：曾飞传;徐凤桐;安西民
受保护的技术使用者：航天星图科技（北京）有限公司
技术研发日：2016.12.23
技术公布日：2018.07.03