一种基于分布式存储的分层存储方法与流程

本发明涉及分布式异构存储，尤其涉及一种基于分布式存储的分层存储方法。

背景技术：

1、分布式存储是一种数据存储技术，其通过网络使用企业中的每台机器上的存储盘，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落，通过上述存储方式，可以保证文件均匀分布在每个存储盘中，保证分布式节点之间的容量均衡，可以理解，在异构存储场景中，尤其是当存储盘的结构、规格、性能均不一致的场景下，这样做存在一个问题，当进行批量文件存储时，有些文件会被存储到性能很差的存储盘上，因此产生的周期性存储性能抖动会使得存储体验非常差。

技术实现思路

1、本发明的目的是针对背景技术中存在的的技术问题，提出一种基于分布式存储的分层存储方法。

2、具体地，本发明的一种基于分布式存储的分层存储方法，包括如下步骤：

3、于glusterfs分布式文件系统中，通过dht组件聚合多台机器的物理存储空间，以形成全局存储空间volume，将存储空间volume划分若干子卷，用以存储数据；

4、将子卷划分为高性能子卷以及低性能子卷；

5、数据存储时，先将数据存储到高性能子卷上，低性能子卷则用以接收从高性能子卷上迁移而至的数据。

6、进一步地，“将子卷分为高性能子卷以及低性能子卷”的步骤还包括：

7、并通过dht组件，分别将高性能子卷以及低性能子卷聚合，以建立高性能hash环以及低性能hash环。

8、进一步地，“数据存储时，先将数据存储到高性能子卷上，低性能子卷则用以接收从高性能子卷上迁移而至的数据”的步骤还包括：

9、数据存储时，通过glusterfs集群的dht层，针对高性能hash环，采样一致性hash算法，计算出文件的存储位置，以将文件存储于高性能子卷上；

10、数据迁移时，可通过制定迁移策略，当文件满足迁移策略时，则将高性能子卷上的数据周期性的迁移到低性能子卷上。

11、进一步地，数据迁移是将冷数据从高性能子卷上迁移至低性能子卷上，以释放高性能子卷的存储空间。

12、进一步地，子卷包括若干存储节点node，存储节点node以构成glusterfs中的最基本的存储单元；“将子卷划分为高性能子卷以及低性能子卷”的步骤还包括：

13、将存储节点node划分为高性能节点node以及低性能节点node，高性能节点node用以组成高性能子卷，低性能节点node用以组成低性能子卷。

14、进一步地，子卷包括副本子卷和/或纠删子卷。

15、与现有技术相比，本发明具有如下有益的技术效果：本发明通过在glusterfs的dht组件中新建两个hash环，一个为高性能hash环，一个为低性能hash环，其中高性能hash环由集群中所有的高性能存储节点node组成的高性能子卷构成，低性能hash环由集群中所有的低性能存储节点node组成的低性能子卷构成，当进行业务数据存储时，会先在glusterfs集群的dht层计算文件的存储位置，计算时使用的hash环为高性能hash环，这样就可以保证文件存储的输入以及输出都落在高性能存储节点node上，避免了服务器性能差异带来的存储性能抖动，当需要进行数据迁移时，迁移任务会检索高性能子卷上的文件，当文件满足迁移策略，则将文件从高性能子卷上迁移到低性能子卷上，以释放高性能子卷的存储空间。

16、综上，在使用glusterfs的分布式异构存储场景下，如果存在性能差异很大的服务器节点，可以采用本发明的分层存储技术方案，在提供高性能存储能力的同时，也能将冷数据迁移到低性能存储服务器上，在充分利用存储容量的同时也能为客户提供优异的存储性能。

技术特征：

1.一种基于分布式存储的分层存储方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于分布式存储的分层存储方法，其特征在于，所述“将所述子卷分为高性能子卷以及低性能子卷”的步骤还包括：

3.根据权利要求2所述的一种基于分布式存储的分层存储方法，其特征在于，所述“数据存储时，先将数据存储到高性能子卷上，低性能子卷则用以接收从高性能子卷上迁移而至的数据”的步骤还包括：

4.根据权利要求3所述的一种基于分布式存储的分层存储方法，其特征在于，数据迁移是将冷数据从高性能子卷上迁移至低性能子卷上，以释放高性能子卷的存储空间。

5.根据权利要求1所述的一种基于分布式存储的分层存储方法，其特征在于，所述子卷包括若干存储节点node，所述存储节点node以构成所述glusterfs中的最基本的存储单元；所述“将所述子卷划分为高性能子卷以及低性能子卷”的步骤还包括：

6.根据权利要求1所述的一种基于分布式存储的分层存储方法，其特征在于，所述子卷包括副本子卷和/或纠删子卷。

技术总结
本发明公开一种基于分布式存储的分层存储方法，包括如下步骤：于GlusterFS分布式文件系统中，通过DHT组件聚合多台机器的物理存储空间，以形成全局存储空间Volume，将存储空间Volume划分若干子卷，用以存储数据；将子卷划分为高性能子卷以及低性能子卷；数据存储时，先将数据存储到高性能子卷上，低性能子卷则用以接收从高性能子卷上迁移而至的数据，可以理解，本发明在进行数据存储时，可保证文件的输入以及输出都落在高性能子卷上，避免了服务器性能差异带来的存储性能抖动，此外还可通过数据迁移，将文件从高性能子卷迁移到低性能子卷，以释放高性能子卷的存储空间，在提供高存储性能的同时，亦能将冷数据迁移至低性能存储服务器，以提供优异的存储性能。

技术研发人员：何松,刘毅,蓝振志,吴燚端
受保护的技术使用者：深圳市瑞驰信息技术有限公司
技术研发日：
技术公布日：2024/3/11