一种基于分布式存储的磁盘空间管理方法及系统与流程

文档序号:29086548发布日期:2022-03-02 01:32阅读:来源:国知局

技术特征:
1.一种基于分布式存储的磁盘空间管理方法,其特征在于,包括:将整个磁盘的物理空间按照不同的空间粒度划分为多层,最上层的空间粒度最小,每下一层的空间粒度均是上一层空间粒度的相同倍数,各层分别构建该层的bitmap;写入数据时,选择空间粒度不大于待写入数据、且最接近待写入数据的一层,为待写入数据分配存储空间,若该层没有足够的存储空间进行分配,则向上一层查找存储空间并重新分配,直至在最上层完成存储空间的分配;删除数据时,对已经分配的存储空间进行回收。2.如权利要求1所述的基于分布式存储的磁盘空间管理方法,其特征在于,将整个磁盘的物理空间按照不同的空间粒度划分为多层,包括:磁盘初始化时,以预设的最小空间粒度将所有存储空间划分为多个数据块,并构造最上层的bitmap,根据最上层的bitmap,在内存中构建其他层的bitmap。3.如权利要求2所述的基于分布式存储的磁盘空间管理方法,其特征在于,最上层的bitmap采用1个bit代表最上层数据块的使用情况,1表示已使用,0表示未使用;其余层的bitmap采用2个比特代表该层数据块的使用情况,00完全未使用、01表示部分未使用和11表示全部已使用。4.如权利要求3所述的基于分布式存储的磁盘空间管理方法,其特征在于,存储空间分配完成、以及存储空间回收后,更新每一层的bit位;最上层的bitmap更新后进行持久化保存。5.如权利要求4所述的基于分布式存储的磁盘空间管理方法,其特征在于,相邻两层中,下一层的一个数据块对应上一层一组数据块,当上一层的同组数据块全都是1或11时,下一层对应的数据块为11;当上一层同组的数据块全都是0或00时,下一层对应的数据块为00;当上一层同组的数据块属于其他情况时,下一层对应的数据块为01。6.如权利要求5所述的基于分布式存储的磁盘空间管理方法,其特征在于,数据读取时,查询数据每个分片的元数据信息,按照元数据中记录的数据存储位置,读取数据;所述元数据信息在数据写入时同步生成,记录每个分片在磁盘上的位置信息。7.如权利要求6所述的基于分布式存储的磁盘空间管理方法,其特征在于,删除数据时,查询数据对应的元数据,在最上层将元数据对应位置的数据块置0,然后根据与该数据块同组的其他数据块的bit位,对下一层对应数据块的bit位进行更新,直至最下层对应的数据块更新完毕。8.一种基于分布式存储的磁盘空间管理系统,其特征在于,包括:分配器,其用于将整个磁盘的物理空间按照不同的空间粒度划分为多层,最上层的空间粒度最小,每下一层的空间粒度均是上一层空间粒度的相同倍数,各层分别构建该层的bitmap;所述分配器还包括写入模块和删除模块,写入模块用于写入数据时,选择空间粒度不大于待写入数据、且最接近待写入数据的一层,为待写入数据分配存储空间,若该层没有足够的存储空间进行分配,则向上一层查找存储空间并重新分配,直至在最上层完成存储空间的分配;删除模块用于删除数据时,对已经分配的存储空间进行回收。9.如权利要求8所述的基于分布式存储的磁盘空间管理系统,其特征在于,所述分配器包括:
第一划分模块,用于在磁盘初始化时,以预设的最小空间粒度将所有存储空间划分为多个数据块,并构造最上层的bitmap,第二划分模块,用于加载最上层的bitmap,根据最上层的bitmap,在内存中构建其他层的bitmap。10.如权利要求8所述的基于分布式存储的磁盘空间管理系统,其特征在于,最上层的bitmap采用1个bit代表最小空间粒度的使用情况,1表示已使用,0表示未使用;其余层的bitmap采用2个比特代表该层空间粒度的使用情况,00表示完全未使用、01表示部分未使用和11表示全部已使用。11.如权利要求10所述的基于分布式存储的磁盘空间管理系统,其特征在于,所述写入模块完成存储空间的分配后,更新每一层的bit位;所述删除模块完成存储空间回收后,更新每一层的bit位;最上层的bitmap更新后进行持久化保存。

技术总结
一种基于分布式存储的磁盘空间管理方法及系统,涉及分布式存储领域,方法包括:将整个磁盘的物理空间按照不同的空间粒度划分为多层,最上层的空间粒度最小,每下一层的空间粒度均是上一层空间粒度的相同倍数,各层分别构建该层的bitmap;写入数据时,选择空间粒度不大于待写入数据、且最接近待写入数据的一层,为待写入数据分配存储空间,若该层没有足够的存储空间进行分配,则向上一层查找存储空间并重新分配,直至在最上层完成存储空间的分配;删除数据时,对已经分配的存储空间进行回收。本发明提高数据写入磁盘的空间连续性,数据写入磁盘和从磁盘读取时,减少写入和读取的次数,提升存储性能。提升存储性能。提升存储性能。


技术研发人员:陈双喜 王振宇 汤鸿飞 王筱橦 徐博 季小庭
受保护的技术使用者:烽火通信科技股份有限公司
技术研发日:2021.11.23
技术公布日:2022/3/1
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1