一种分布式存储系统中解决数据块访问热点的方法及装置与流程

文档序号:12135307阅读:来源:国知局

技术特征:

1.一种分布式存储系统中解决数据块访问热点的方法,其特征在于,包括:

确定所述分布式存储系统中存在热点数据块,且确定所述热点数据块所属的激活服务器和备份服务器;

当确定所述激活服务器可使用的固态硬盘容量不满足所述热点数据块的转移要求且所述备份服务器可使用的固态硬盘容量满足所述热点数据块的转移要求时,将所述备份服务器中的所述热点数据块从所述备份服务器的机械硬盘中转移到所述备份服务器的固态硬盘中并激活所述备份服务器中的所述热点数据块;

其中,所述分布式存储系统中存在多个节点服务器,每个数据块的数据分别存储在至少两个节点服务器中,所述至少两个节点服务器包括所述数据块的激活服务器以及所述数据块的备份服务器。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

当确定所述热点数据块所属的激活服务器可使用的固态硬盘容量满足所述热点数据块的转移要求时,则将所述激活服务器中的所述热点数据块从所述激活服务器的机械硬盘中转移到所述激活服务器的固态硬盘中。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

若确定冷点数据块存放在所述冷点数据块所属的激活服务器的固态硬盘中,则将所述冷点数据块从所述激活服务器的固态硬盘转移到所述激活服务器的机械硬盘中。

4.根据权利要求3所述的方法,其特征在于,所述确定所述分布式存储系统中存在热点数据块,包括:

实时统计所述分布式存储系统中每个数据块的每秒访问次数以及请求响应时间;

针对每个数据块,当确定所述数据块的每秒访问次数大于热点访问次数阈值时或者请求响应时间大于热点响应时间阈值时,则确定所述数据块为热点数据块;

针对每个数据块,当确定所述数据块的每秒的访问次数小于冷点访问次数阈值时或者请求响应时间小于冷点访问时间阈值时,则确定所述数据块为冷点数据块。

5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:

当确定所述热点数据块所属的激活服务器可使用的固态硬盘容量不满足所述热点数据块的转移要求且所述热点数据块所属的备份服务器可使用的固态硬盘容量也不满足所述热点数据块的转移要求时,则确定满足所述热点数据块的转移要求并且与所述热点数据块所属的节点服务器距离最近的节点服务器为所述热点数据块的待激活服务器;

将所述热点数据块复制到所述待激活服务器的固态硬盘中,并激活所述待激活服务器中的所述热点数据块。

6.根据权利要求5所述的方法,其特征在于,所述确定满足所述热点数据块的转移要求并且与所述热点数据块所属的节点服务器距离最近的节点服务器为所述热点数据块的待激活服务器,包括:

确定除所述热点数据块所属的节点服务器外的所有节点服务器中满足所述所述热点数据块的转移要求的可选服务器集合,所述热点数据块所属的节点服务器包括所述热点数据块的激活服务器和所述热点数据块的备份服务器;

确定所述热点数据块所属的每一个节点服务器与所述可选服务器集合中的每一个节点服务器的距离;

将最短距离对应的所述可选服务集合中的节点服务器确定为所述热点数据块的待激活服务器。

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

当确定所述分布式存储系统中所有节点服务器都不满足所述所述热点数据块的转移要求时,将所述热点数据块拆分成N个子热点数据块,其中N大于2;

确定所述热点数据块所属的每一个节点服务器与除所述热点数据块所属的节点服务器外的所有节点服务器的距离,并确定距离最近的N个节点服务器为待激活服务器;

将所述子热点数据块复制到所述待激活服务器中,并激活所述待激活服务器中的所述子热点数据块。

8.一种分布式存储系统中解决数据块访问热点的装置,其特征在于,包括:

热点数据块确定单元,用于确定所述分布式存储系统中存在热点数据块,且确定所述热点数据块所属的激活服务器和备份服务器;

转移单元,用于当确定所述激活服务器可使用的固态硬盘容量不满足所述热点数据块的转移要求且所述备份服务器可使用的固态硬盘容量满足所述热点数据块的转移要求时,将所述备份服务器中的所述热点数据块从所述备份服务器的机械硬盘中转移到所述备份服务器的固态硬盘中并激活所述备份服务器中的所述热点数据块;

其中,所述分布式存储系统中存在多个节点服务器,每个数据块的数据分别存储在至少两个节点服务器中,所述至少两个节点服务器包括所述数据块的激活服务器以及所述数据块的备份服务器。

9.根据权利要求8所述的装置,其特征在于,所述转移单元还用于:

当确定所述热点数据块所属的激活服务器可使用的固态硬盘容量满足所述热点数据块的转移要求时,则将所述激活服务器中的所述热点数据块从所述激活服务器的机械硬盘中转移到所述激活服务器的固态硬盘中。

10.根据权利要求8所述的装置,其特征在于,所述转移单元,还用于:

若确定冷点数据块存放在所述冷点数据块所属的激活服务器的固态硬盘中,则将所述冷点数据块从所述激活服务器的固态硬盘转移到所述激活服务器的机械硬盘中。

11.根据权利要求10所述的装置,其特征在于,所述热点数据块确定单元,具体用于:

实时统计所述分布式存储系统中每个数据块的每秒访问次数以及请求响应时间;

针对每个数据块,当确定所述数据块的每秒访问次数大于热点访问次数阈值时或者请求响应时间大于热点响应时间阈值时,则确定所述数据块为热点数据块;

针对每个数据块,当确定所述数据块的每秒的访问次数小于冷点访问次数阈值时或者请求响应时间小于冷点访问时间阈值时,则确定所述数据块为冷点数据块。

12.根据权利要求8至11任一项所述的装置,其特征在于,所述装置还包括:

待激活服务器确定单元,用于当确定所述热点数据块所属的激活服务器可使用的固态硬盘容量不满足所述热点数据块的转移要求且所述热点数据块所属的备份服务器可使用的固态硬盘容量也不满足所述热点数据块的转移要求时,则确定满足所述热点数据块的转移要求并且与所述热点数据块所属的节点服务器距离最近的节点服务器为所述热点数据块的待激活服务器;

复制单元,用于将所述热点数据块复制到所述待激活服务器的固态硬盘中,并激活所述待激活服务器中的所述热点数据块。

13.根据权利要求12所述的装置,其特征在于,所述待激活服务器确定单元具体用于:

确定除所述热点数据块所属的节点服务器外的所有节点服务器中满足所述所述热点数据块的转移要求的可选服务器集合,所述热点数据块所属的节点服务器包括所述热点数据块的激活服务器和所述热点数据块的备份服务器;

确定所述热点数据块所属的每一个节点服务器与所述可选服务器集合中的每一个节点服务器的距离;

将最短距离对应的所述可选服务集合中的节点服务器确定为所述热点数据块的待激活服务器。

14.根据权利要求13所述的装置,其特征在于,所述装置还包括:

拆分单元,用于当确定所述分布式存储系统中所有节点服务器都不满足所述所述热点数据块的转移要求时,将所述热点数据块拆分成N个子热点数据块,其中N大于2;

所述待激活服务器确定单元还用于:

确定所述热点数据块所属的每一个节点服务器与除所述热点数据块所属的节点服务器外的所有节点服务器的距离,并确定距离最近的N个节点服务器为待激活服务器;

所述复制单元还用于:

将所述子热点数据块复制到所述待激活服务器中,并激活所述待激活服务器中的所述子热点数据块。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1