一种基于分布式存储的文件备份系统的制作方法

本发明涉及计算机，尤其涉及一种基于分布式存储的文件备份系统。

背景技术：

1、随着互联网信息技术的迅速发展，针对出现的大量数据，传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。

2、为达到良好的数据保护和体现最佳经济效益，分布式存储应运而生，分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。即便如此，在分布式存储时，数据及时有效备份归档仍面临着艰巨挑战，无法实现多个对等方之间的全局引脚集对大量分布式存储守护进程提供数据编排。

技术实现思路

1、为解决分布式存储时的文件备份的问题，本发明提供了一种基于分布式存储的文件备份系统，通过分布式集群进行分配、复制和跟踪分布在多个对等方之间的全局引脚集来对大量分布式存储守护进程提供数据编排。

2、为实现上述目的，本发明实施例提供了如下的技术方案：

3、第一方面，在本发明提供的一个实施例中，提供了一种基于分布式存储的文件备份系统，包括：

4、节点集群，所述节点集群为分布式存储集群的集群服务运行一个集群对等点，集群对等点形成有单独的、与分布式存储网络分开运行的私有网络；

5、共享状态模块，所述共享状态模块用于通过分布式存储集群中的所有集群对等点维护一个全局引脚集；

6、引导集群，用于在第一次启动分布式存储集群对等点时，确保对等点之间相互联系，用于发现对等点并加入集群；

7、共识组件，所述共识组件用于接收对等方的修改并发布用来管理全局集群；用于持久存储磁盘上引脚集数据；还用于管理集群对等点集以及设置对等点信任。

8、在本发明提供的一些实施例中，所述分布式存储集群为一个完全分布式的应用程序，所述集群对等点中所有对等点均是平等的，每个对等点的配置中存在有32位十六进制编码密码。

9、在本发明提供的一些实施例中，所述私有网络用于集群对等方通信和操作，不与主分布式存储网络以及私有分布式存储网络交互。

10、在本发明提供的一些实施例中，第一次启动分布式存储集群对等点时，对等点之间具有连通性，用于发现对等点并加入集群。

11、在本发明提供的一些实施例中，所述分布式存储集群对等点在成功启动一次后，再次启动时使用上次启动保存的命令重新启动，所述分布式存储集群对等点在关闭期间，每个对等点的对等备份文件进行更新并记录其余对等点的已知地址。

12、在本发明提供的一些实施例中，所述共识组件包括crdt，所述crdt是基于分布式存储驱动的集群，集群为分布式键值存储，所述crdt用于通过libp2p-pubsub向pinset发布更新，通过dht+bitswap定位和交换数据；所述crdt用于将所有持久数据存储在cluster/badger文件夹中的本地badgerdb数据存储中。

13、在本发明提供的一些实施例中，所述crdt用于使用merkle-crdts通过ds-crdt获得最终一致性；还用于信任trusted_peers配置选项中定义的对等点。

14、在本发明提供的一些实施例中，所述crdt在单个更新上批处理若干pin/unpin操作，从而允许扩展pin摄取功能。

15、在本发明提供的一些实施例中，所述共识组件包括raft，所述raft是基于raft共识集群的共识组件实现，所述raft用于通过将更新直接连接并发送到每个集群对等方来发布更新，还用于将所有持久数据存储在本地boltdb存储和cluster/raft文件夹中的常规快照上。

16、在本发明提供的一些实施例中，所述raft还用于信任所有同行，允许所有对等点请求加入基于raft的集群，并且允许所有对等点访问任意rpc端点。

17、在本发明提供的一些实施例中，所述基于分布式存储的文件备份系统还包括集群秘钥secret，secret文件中采用32字节十六进制编码service.json充当libp2p网络保护器，用于对预共享密钥的对等点之间的所有通信提供额外的加密。

18、在本发明提供的一些实施例中，所述基于分布式存储的文件备份系统还包括：

19、在trusted_peerscrdt模式下，文件中的trusted_peers选项提供对等rpc端点的访问控制，允许修改由数组中的对等点发出的pinset；

20、在trusted_peerscrdt模式下，受信任的同行允许修改pinset，进行间接触发pin/unpin操作、触发状态同步操作以及向对等方添加内容；不受信任的对等点只能访问id和版本端点。

21、本发明提供的技术方案，具有如下有益效果：

22、本发明提供的基于分布式存储的文件备份系统，具有通过分布式集群分配、复制和跟踪分布在多个对等方之间的全局pinset来跨大量分布式存储守护进程提供数据编排特征；本系统在分布式存储集群节点发现采用了特定的secret文件标准作为安全基础，以及特殊的引导节点模式；在节点数据备份，信息传递过程中，采用了可拔插的共识模块，主要是crdt和raft模式。

23、本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种基于分布式存储的文件备份系统，其特征在于，所述基于分布式存储的文件备份系统包括：

2.如权利要求1所述的基于分布式存储的文件备份系统，其特征在于，所述分布式存储集群为一个完全分布式的应用程序，所述集群对等点中所有对等点均是平等的，每个对等点的配置中存在有32位十六进制编码密码。

3.如权利要求1所述的基于分布式存储的文件备份系统，其特征在于，所述私有网络用于集群对等方通信和操作，不与主分布式存储网络以及私有分布式存储网络交互。

4.如权利要求1所述的基于分布式存储的文件备份系统，其特征在于，第一次启动分布式存储集群对等点时，对等点之间具有连通性，用于发现对等点并加入集群。

5.如权利要求4所述的基于分布式存储的文件备份系统，其特征在于，所述分布式存储集群对等点在成功启动一次后，再次启动时使用上次启动保存的命令重新启动，所述分布式存储集群对等点在关闭期间，每个对等点的对等备份文件进行更新并记录其余对等点的已知地址。

6.如权利要求1所述的基于分布式存储的文件备份系统，其特征在于，所述共识组件包括crdt，所述crdt是基于分布式存储驱动的集群，集群为分布式键值存储，所述crdt用于通过libp2p-pubsub向pinset发布更新，通过dht+bitswap定位和交换数据；所述crdt用于将所有持久数据存储在cluster/badger文件夹中的本地badgerdb数据存储中。

7.如权利要求6所述的基于分布式存储的文件备份系统，其特征在于，所述crdt用于使用merkle-crdts通过ds-crdt获得最终一致性；还用于信任trusted_peers配置选项中定义的对等点。

8.如权利要求7所述的基于分布式存储的文件备份系统，其特征在于，所述crdt在单个更新上批处理若干pin/unpin操作，从而允许扩展pin摄取功能。

9.如权利要求1所述的基于分布式存储的文件备份系统，其特征在于，所述共识组件包括raft，所述raft是基于raft共识集群的共识组件实现，所述raft用于通过将更新直接连接并发送到每个集群对等方来发布更新，还用于将所有持久数据存储在本地boltdb存储和cluster/raft文件夹中的常规快照上。

10.如权利要求9所述的基于分布式存储的文件备份系统，其特征在于，所述raft还用于信任所有同行，允许所有对等点请求加入基于raft的集群，并且允许所有对等点访问任意rpc端点。

技术总结
本发明涉及计算机技术领域，具体涉及一种基于分布式存储的文件备份系统。该系统包括节点集群，所述节点集群为分布式存储集群的集群服务运行一个集群对等点，集群对等点形成有单独的、与分布式存储网络分开运行的私有网络；还包括共享状态模块、引导集群以及共识组件。本申请具有通过分布式集群分配、复制和跟踪分布在多个对等方之间的全局p i nset来跨大量分布式存储守护进程提供数据编排特征；本系统在分布式存储集群节点发现采用了特定的secret文件标准作为安全基础，以及特殊的引导节点模式；在节点数据备份，信息传递过程中，采用了可拔插的共识模块，主要是CRDT和RAFT模式。

技术研发人员：刘朝阳
受保护的技术使用者：河南中创算力信息科技有限公司
技术研发日：
技术公布日：2024/1/15