一种增量数据备份检索的方法及系统与流程

文档序号:25543661发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种增量数据备份检索的方法,其特征在于,包括:

构建分布式的备份增量数据检索集群,集群数量满足基数节点的要求,并且不小于3节点;

在增量数据写入过程中,分布式节点提供写服务;

在增量数据的读取过程及增量数据的检索过程中,分布式节点提供读服务。

2.如权利要求1所述的一种增量数据备份检索的方法,其特征在于,所述构建分布式的备份增量数据检索集群,集群数量满足基数节点的要求,并且不小于3节点包括:

集群由分布式调度程序、集群指纹库、块索引map、块号数据堆构成。

3.如权利要求2所述的一种增量数据备份检索的方法,其特征在于,所述分布式调度程序包括:

分布式调度程序负责对增量的数据写入、更新、读取、检索提供一致性的服务。

4.如权利要求2所述的一种增量数据备份检索的方法,其特征在于,所述集群指纹库包括:

集群指纹库为基于google时间检索优化的hashmap结构,用于对增量数据进行hash存储的结构,其中key为数据hash计算的64位唯一特征码,value数据部分,存放的结构体包含块号、块设备物理id。

5.如权利要求2所述的一种增量数据备份检索的方法,其特征在于,所述块索引map包括:

块索引map为基于时间检索优化的hashmap结构,通过指纹map得到块的块设备物理id,进而基于块设备物理id检索到当前的块索引map,块索引map的key是块设备物理id,value部分数据结构包含块号指针。

6.如权利要求2所述的一种增量数据备份检索的方法,其特征在于,所述块号数据堆包括:

块号数据堆为存放增量块实际数据的结构,其中块号数据堆基于时间戳为key的大根堆,这样可以快速检索某个时间点内最新的块数据,同时提供区间索引,其中块号数据堆的value部分由时间戳、增量数据存储区、reference、数据块的访问计数器、数据块的引用计数器。

7.如权利要求1所述的一种增量数据备份检索的方法,其特征在于,所述在增量数据写入过程中,分布式节点提供写服务包括:

计算当前增量数据的指纹,检索集群指纹库;

若存在,则访问块索引map找到对应的块号数据堆地址指针,通过块号数据堆地址指针访问对应的块号下的数据堆,更新堆,并标记当前的块和引用记录;

若不存在,则访问块索引map找到对应的块号数据堆地址指针,通过块号数据堆地址指针访问对应的块号下的数据堆,将数据拷贝到堆中的增量数据存储区,并标记当前的块和引用记录。

8.一种增量数据备份检索的系统,其特征在于,包括:

构建模块,用于构建分布式的备份增量数据检索集群,集群数量满足基数节点的要求,并且不小于3节点;

写入模块,用于在增量数据写入过程中,分布式节点提供写服务;

读取模块,用于在增量数据的读取过程及增量数据的检索过程中,分布式节点提供读服务。

9.如权利要求8所述的一种增量数据备份检索的系统,其特征在于,包括:

用于存储计算机指令的至少一个存储器;

与所述存储器通讯的至少一个处理器,其中当所述至少一个处理器执行所述计算机指令时,所述至少一个处理器使所述系统执行:构建模块、写入模块以及读取模块。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。


技术总结
本发明提出了一种增量数据备份检索的方法及系统,涉及数据处理领域。一种增量数据备份检索的方法包括:构建分布式的备份增量数据检索集群,集群数量满足基数节点的要求,并且不小于3节点;在增量数据写入过程中,分布式节点提供写服务;在增量数据的读取过程及增量数据的检索过程中,分布式节点提供读服务;其能够通过引入分布式的设计,对备份节点的块设备建立多级索引关系,提供分布式的一致性保护,这样相同数据指纹的数据可以被高效检索。此外本发明还提出了一种增量数据备份检索的系统,包括:构建模块、写入模块以及读取模块。

技术研发人员:赵熙
受保护的技术使用者:南京云信达科技有限公司
技术研发日:2021.05.08
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1