一种海量小文件备份热数据的方法、系统、设备及介质与流程

文档序号:25543666发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种海量小文件中盘活备份热数据的方法,其特征在于,包括客户端和备份存储服务器,在所述客户端安装有备份服务模块和基于文件系统的文件元数据追踪模块,所述备份存储服务器安装有b+树模块、备份数据的数据存储模块、用于存储热数据的红黑树存储模块和副本数据同步模块;具体包括如下步骤:

文件元数据全量备份:所述备份服务模块发起备份指令通知所述文件元数据追踪模块进行文件索引节点追踪,所述文件元数据追踪模块查找并备份所述客户端的所有元数据;

索引表备份:所述b+树模块在所述文件元数据全量备份过程中构建索引表结构,所述b+树模块通过所述副本数据同步模块将所述索引表存储于磁盘,并将当前未写入的元数据写入日志;

映射数据备份:所述b+树模块对所述客户端的所有所述文件索引节点建立映射关系,所述b+树模块将所述映射关系共享到所述文件元数据追踪模块、所述备份服务模块和所述数据存储模块;

索引数据学习:所述红黑树存储模块按照预设周期生成位图,将多个位图进行学习得到搜索频率高的热数据;

热数据备份:所述红黑树存储模块利用缓存空间存储搜索频率高的所述文件索引节点,并将位图缓存到所述数据存储模块中。

2.如权利要求1所述一种海量小文件中盘活备份热数据的方法,其特征在于,还包括增量数据备份:在所述热数据备份后所述备份服务模块发送增量备份指令获取所述文件元数据追踪模块上一个周期内的map映射数据,扫描变化的文件数据并进行远程数据同步,所述b+树模块更新所述索引表结构,并通过所述副本数据同步模块存储于磁盘。

3.如权利要求2所述一种海量小文件中盘活备份热数据的方法,其特征在于,还包括热数据学习:所述增量数据备份步骤经过多次备份后,所述红黑树存储模块根据当前位图和上一次位图的相同位进行逻辑与操作,并将操作后的结果数据进行堆排序,从堆中选择所述文件索引节点,并从所述备份存储服务器中读取所述文件索引节点对应的文件数据缓存到所述数据存储模块中。

4.如权利要求2所述一种海量小文件中盘活备份热数据的方法,其特征在于,所述热数据备份中,所述红黑树存储模块存储搜索频率高的所述文件索引节点前删除位图上一次存储的搜索频率高的所述文件索引节点。

5.如权利要求1所述一种海量小文件中盘活备份热数据的方法,其特征在于,所述映射数据备份包括建立所述映射关系后根据所述映射关系构建索引引擎。

6.如权利要求1所述一种海量小文件中盘活备份热数据的方法,其特征在于,所述热数据备份包括所述红黑树存储模块查找合并后的位图中的缓存空间,利用缓存空间存储搜索频率高的所述文件索引节点。

7.如权利要求6所述一种海量小文件中盘活备份热数据的方法,其特征在于,所述红黑树存储模块根据缓存空间的大小选择搜索频率高的所述文件索引节点。

8.一种应用权利要求1~7任一项所述海量小文件中盘活备份热数据的方法的系统,其特征在于,包括客户端和备份存储服务器,所述客户端安装有备份数据集,所述备份数据集包括备份服务模块以及基于文件系统的文件元数据追踪模块,所述备份存储服务器安装有b+树模块、备份数据的数据存储模块、用于存储热数据的红黑树存储模块和副本数据同步模块;所述备份服务模块分别连接所述文件元数据追踪模块和所述b+树模块,所述b+树模块分别连接所述文件元数据追踪模块、所述副本数据同步模块、所述数据存储模块以及所述红黑树存储模块。

9.一种电子设备,其特征在于,包括:存储器,用于存储一个或多个程序;处理器;当所述一个或多个程序被所述处理器执行时,实现如权利要求1-7中任一项所述方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述方法。


技术总结
本发明提出了一种海量小文件备份热数据的方法、系统、设备及介质,涉及数据备份领域。一种海量小文件中盘活备份热数据的方法,具体包括如下步骤:文件元数据全量备份:备份服务模块发起备份指令通知文件元数据追踪模块进行文件索引节点追踪,所述文件元数据追踪模块查找并备份客户端的所有元数据;索引表备份:B+树模块在文件元数据全量备份过程中构建索引表结构,所述B+树模块通过副本数据同步模块将所述索引表存储于磁盘,并将当前未写入的元数据写入日志;映射数据备份:所述B+树模块对所述客户端的所有所述文件索引节点建立映射关系。本发明实现了对海量小文件的备份,有利于数据一致性的保护,并且实现数据的快速定位。

技术研发人员:赵熙
受保护的技术使用者:南京云信达科技有限公司
技术研发日:2021.05.12
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1