一种磁盘存储管理方法与流程

本发明涉及计算机存储技术领域，特别是涉及一种磁盘存储管理方法。

背景技术：

目前，当今社会已经进入到数据社会，各种各样的数据非常大，在这样的大数据时代数据的存储成了重要的问题，如同小区的停车位一样，这些数据存储在哪里，才能更好的利用存储空间即磁盘空间，并且对这些数据的管理又能非常方便。存储系统中磁盘容量是至关重要的，但是目前多数厂商不重视存磁盘的合理利用，导致在大数据时代磁盘的使用率大大降低。目前大多数存储厂商都是通过虚拟化技术将底层的单个磁盘或者磁盘阵列做成卷组，然后在卷组上面划分逻辑卷，最后将逻辑卷映射到缓存。这种操作方法只是对后端磁盘进行了统一管理，对磁盘的扩容起到了一定的作用，但是磁盘的空间利用率仍然没有得到最大限度发挥，磁盘空间利用率仍然较低。

技术实现要素：

本发明的目的是提供一种磁盘存储管理方法，以实现提高磁盘空间利用率。

为解决上述技术问题，本发明提供一种磁盘存储管理方法，包括：

利用虚拟化层对后端磁盘进行管理，将后端磁盘加入到管理模式或者映像模式，进行统一管理；

通过虚拟化技术将处于管理模式或者映像模式的后端磁盘划分成多个区块extent；

将所述多个区块extent组织起来形成虚拟磁盘，将虚拟磁盘提供给上层接口。

优选的，所述虚拟化层设置在磁盘阵列层和缓存层之间。

优选的，所述后端磁盘包括磁盘阵列、单个磁盘或者逻辑卷；所述上层接口为缓存层。

优选的，所述将所述多个区块extent组织起来形成虚拟磁盘，包括：

采用区块管理策略将所述多个区块extent组织起来形成虚拟硬盘。

优选的，所述区块管理策略包括映像策略、序列化策略或者条带化策略。

优选的，所述映像策略为：将后端磁盘空间映射成虚拟磁盘，由区块extent进行IO数据管理。

优选的，所述序列化策略为：将连续的区块extent组成虚拟磁盘进行管理。

优选的，所述条带化策略为：将分散的区块extent组成虚拟磁盘进行管理。

优选的，所述区块extent为IO管理单元，用于在虚拟化层进行IO数据管理；每个区块extent的数据容量是相等的。

本发明所提供的一种磁盘存储管理方法，利用虚拟化层对后端磁盘进行管理，将后端磁盘加入到管理模式或者映像模式，进行统一管理；通过虚拟化技术将处于管理模式或者映像模式的后端磁盘划分成多个区块extent；将所述多个区块extent组织起来形成虚拟磁盘，将虚拟磁盘提供给上层接口。可见，在缓存层和磁盘阵列层之间加入磁盘虚拟化层，从虚拟化层看到的是磁盘阵列或者单个磁盘甚至是逻辑卷，通过虚拟化层进行处理后得到虚拟磁盘并提供给上层接口，上层接口即为缓存层，且通过虚拟化技术对处于管理模式或者映像模式的磁盘划分区块extent，区块extent是管理IO的数据单位，将后端磁盘分割成不同的区块extent，达到磁盘空间的最大利用，如此采用虚拟化技术将磁盘空间利用起来，达到磁盘空间最大限度利用，所以该方法实现提高磁盘空间利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的一种磁盘存储管理方法的流程图；

图2为虚拟化层数据管理结构示意图；

图3为磁盘模式切换示意图。

具体实施方式

本发明的核心是提供一种磁盘存储管理方法，以实现提高磁盘空间利用率。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种磁盘存储管理方法的流程图，该方法包括：

S11：利用虚拟化层对后端磁盘进行管理，将后端磁盘加入到管理模式或者映像模式，进行统一管理；

S12：通过虚拟化技术将处于管理模式或者映像模式的后端磁盘划分成多个区块extent；

S13：将所述多个区块extent组织起来形成虚拟磁盘，将虚拟磁盘提供给上层接口。

可见，在缓存层和磁盘阵列层之间加入磁盘虚拟化层，从虚拟化层看到的是磁盘阵列或者单个磁盘甚至是逻辑卷，通过虚拟化层进行处理后得到虚拟磁盘并提供给上层接口，上层接口即为缓存层，且通过虚拟化技术对处于管理模式或者映像模式的磁盘划分区块extent，区块extent是管理IO的数据单位，将后端磁盘分割成不同的区块extent，达到磁盘空间的最大利用，如此采用虚拟化技术将磁盘空间利用起来，达到磁盘空间最大限度利用，所以该方法实现提高磁盘空间利用率。

基于上述方法，具体的，虚拟化层设置在磁盘阵列层和缓存层之间。

其中，后端磁盘包括磁盘阵列、单个磁盘或者逻辑卷。上层接口为缓存层。对于后端磁盘划分为多个区块，是将后端磁盘中每一个磁盘划分为多个区块，将由一个磁盘划分的多个区块组织成一个虚拟磁盘，提供给上层接口。

具体的，通过虚拟化技术对处于管理模式或者映像模式的磁盘划分区块extent，其中，管理IO的数据单位是区块extent，此管理的目的是将磁盘分割成不同的区块，从而达到存储空间的最大利用。通过不同的区块extent，然后将其中一个或者多个区块extent映射到上层形成虚拟磁盘即vdisk，通过vdisk为上层接口提供服务。本方法在缓存层和磁盘阵列层之间加入磁盘虚拟化层，虚拟化层看到的是磁盘阵列或者单个磁盘甚至是逻辑卷，通过虚拟化层进行处理后将vdisk即虚拟磁盘提供给上层接口，即缓存层，如此通过存储虚拟化技术将空间利用起来，达到空间最大限度利用。

本方法主要通过虚拟化技术应用到存储设备例如磁盘上。在大数据时代通过虚拟化技术将后端磁盘映射给缓存模块，从而达到最大限度利用磁盘空间的目的，本方法提高磁盘利用率，降低整个存储设备的成本。目前，多个存储节点即多个磁盘的场景下，其中有些数据直接写到一个控制器对应的磁盘上，而另外控制器的后端磁盘处于比较空闲的状态，此时磁盘的利用率非常低，并且负载非常不均衡，本方法充分利用多个节点即多个磁盘的存储空间，即对后端磁盘统一RAID管理形成磁盘阵列，在磁盘阵列的基础上进行虚拟化管理，达到提高磁盘利用率的目的。

具体的，在虚拟化层通过虚拟化技术对底层的磁盘、逻辑卷或者是磁盘阵列进行管理，将这些被管理的磁盘设置为管理模式，或者是映像模式，然后对处于上述两种模式的磁盘划分IO管理单元，IO管理单元为extent区块，然后通过数量不等的区块组成虚拟磁盘，最后提供给上层接口，区块划分详见图2，图2为虚拟化层数据管理结构示意图。

后端磁盘是实现数据存储的最终介质，所有的数据，包括：元数据、管理数据等最终都要下发到磁盘上才能保证数据的一致性和安全性，当数据需要读取的时候再从后端磁盘读取出来。为了扩展虚拟化层的功能，对后端磁盘兼容类型为各种物理磁盘、逻辑卷和磁盘阵列。虚拟化层将后端磁盘加入到管理模式或者映像模式，进行统一管理，没有加入到此两种模式的后端磁盘不受虚拟化层管理，即不能通过虚拟化技术将其映射给缓存使用，同时管理模式和映像模式在一定的条件下可以进行切换，从而达到高效利用磁盘空间的目的。磁盘没有进行管理之前处于非管理模式，非管理模式可以通过创建进入到管理者模式，也可以通过创建映像进入映像模式；进入管理模式或者映像模式的磁盘可以通过数据迁移，即一个存储池的数据块内的数据移到另一个存储池数据块中存储，在管理模式和映像模式之间进行切换，关于模式之间切换详见图3，图3为磁盘模式切换示意图。

步骤S13中，所述将所述多个区块extent组织起来形成虚拟磁盘的过程具体为：采用区块管理策略将所述多个区块extent组织起来形成虚拟硬盘。

其中，所述区块管理策略包括映像策略、序列化策略或者条带化策略。

进一步的，映像策略为：将后端磁盘空间映射成虚拟磁盘，由区块extent进行IO数据管理。

序列化策略为：将连续的区块extent组成虚拟磁盘进行管理。

条带化策略为：将分散的区块extent组成虚拟磁盘进行管理。

进一步的，区块extent为IO管理单元，用于在虚拟化层进行IO数据管理。每个区块extent的数据容量是相等的。

对于确定管理模式或者映像模式的磁盘，首先将这些磁盘放到一个磁盘管理组即成为存储池，然后会通过虚拟化技术将同一个存储池中的磁盘其划分为许多区块extent，这些区块的大小必须相等，这些区块就是在虚拟化层进行IO管理的数据单位。同时区块extent的大小可以从8M、16M、一直到8G大小，区块的大小决定了存储池总容量的大小，这个区块大小在存储池创建之初就已经确定，确定后不能进行修改。

虚拟化层对磁盘按区块进行了划分，但是还需要将这些区块管理起来。区块extent的管理技术采用了映像、序列化和条带化三种策略，通过上述三种策略将区块组织起来形成虚拟磁盘映射缓存。其中映像策略是将后端磁盘空间1:1映射给虚拟磁盘，但是IO数据管理单位依然是区块；顺序化策略是将连续的区块组成虚拟磁盘进行管理；条带化策略是将分散的区块组成虚拟磁盘进行管理，最终呈现给缓存的虚拟磁盘。

综上，本发明所提供的一种磁盘存储管理方法，利用虚拟化层对后端磁盘进行管理，将后端磁盘加入到管理模式或者映像模式，进行统一管理；通过虚拟化技术将处于管理模式或者映像模式的后端磁盘划分成多个区块extent；将所述多个区块extent组织起来形成虚拟磁盘，将虚拟磁盘提供给上层接口。可见，在缓存层和磁盘阵列层之间加入磁盘虚拟化层，从虚拟化层看到的是磁盘阵列或者单个磁盘甚至是逻辑卷，通过虚拟化层进行处理后得到虚拟磁盘并提供给上层接口，上层接口即为缓存层，且通过虚拟化技术对处于管理模式或者映像模式的磁盘划分区块extent，区块extent是管理IO的数据单位，将后端磁盘分割成不同的区块extent，达到磁盘空间的最大利用，如此采用虚拟化技术将磁盘空间利用起来，达到磁盘空间最大限度利用，所以该方法实现提高磁盘空间利用率。

以上对本发明所提供的一种磁盘存储管理方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。