基于云海OS系统的二级存储缓冲区数据管理方法及装置与流程

本发明涉及存储管理技术领域，特别是涉及一种基于云海os系统的二级存储缓冲区数据管理方法及其装置。

背景技术：

随着云计算技术的发展，以及云海os系统中计算节点的增加和云海系统中组织和用户的增加，云海os系统中的模版和镜像文件规模同时在飞速增加。模版和镜像所在的二级存储的容量空间正在受到挑战。因此，增加对多块二级存储的支持势在必行，但是，虚拟化平台支持的二级存储挂载点个数有限，比如vmware虚拟化支持的存储挂载点仅有9个、ics虚拟化平台支持一个二级存储挂载点等等。

为了解决两者之间的冲突问题，参见图1所示，在虚拟化平台和二级存储间设置二级存储缓冲区作为多块二级存储对虚拟化平台提供模版镜像服务的唯一存储接口。通过该方法，一方面缓解vmware等虚拟化因为存储挂载点数量限制导致与多块二级存储之间的矛盾，另一方面，解决云海系统二级存储空间不足的问题。但是，由于二级存储缓冲区的容量有限，需要有效的策略实现数据的进入和移除二级存储缓冲区。

因此，如何提供一种有效管理缓冲区内数据的基于云海os系统的二级存储缓冲区数据管理方法及其装置是本领域技术人员目前需要解决的问题。

技术实现要素：

本发明的目的是提供一种基于云海os系统的二级存储缓冲区数据管理方法及其装置，能够有效管理二级存储缓冲区内数据的进入和移除，管理效率和可靠性高。

为解决上述技术问题，本发明提供了一种基于云海os系统的二级存储缓冲区数据管理方法，包括：

接收虚拟化平台发送的模板或镜像的使用请求后，查询二级存储缓冲区内是否存在所述虚拟化平台请求的模板或镜像；

若存在，将所述请求的模板或镜像的使用路径返回所述虚拟化平台；

若不存在，从二级存储内获取所述请求的模板或镜像拷贝至所述二级存储缓冲区，并生成符合所述虚拟化平台的使用路径返回所述虚拟化平台；若拷贝前检测到所述二级存储缓冲区存储空间不足，按照预设移除策略将所述二级存储缓冲区中的部分数据进行移除。

优选地，还包括：

记录所述二级存储缓冲区内各个模板或镜像的使用频率和当前被使用的次数；

其中，将所述请求的模板或镜像的使用路径返回所述虚拟化平台后，所述请求的模板或镜像的当前被使用的次数加1；接收到所述虚拟化平台使用完毕所述请求的模板或镜像的响应后，所述请求的模板或镜像的当前被使用的次数减1。

优选地，判断拷贝过程中所述二级存储缓冲区存储空间是否不足的过程具体为：

当确定所述二级存储缓冲区内不存在所述请求的模板或镜像时，检查所述二级存储缓冲区的剩余空间以及所述请求的模板或镜像的所需空间大小，若所述请求的模板或镜像的所需空间大于所述二级存储缓冲区的剩余空间，则所述二级存储缓冲区存储空间不足。

优选地，所述按照预设移除策略将所述二级存储缓冲区中的部分数据进行移除的过程具体为：

将所述二级存储缓冲区中当前未使用的模板或镜像，按照自当前时刻起之前预设时间段内的使用频率从小到大依次删除；

每删除一个模板或镜像，则检查所述二级存储缓冲区的当前剩余空间是否大于所述请求的模板或镜像的所需空间大小，若大于，则开始进行拷贝，否则，继续删除下一个模板或镜像。

优选地，判断所述二级存储缓冲区存储空间不足之后，按照预设移除策略将所述二级存储缓冲区中的部分数据进行移除之前还包括：

判断所述二级存储缓冲区的总空间是否小于所述请求的模板或镜像的所需空间，若是，发出错误提示，否则，则按照预设移除策略将所述二级存储缓冲区中的部分数据进行移除。

为解决上述技术问题，本发明还提供了一种基于云海os系统的二级存储缓冲区数据管理装置，包括：

请求接收模块，用于接收虚拟化平台发送的模板或镜像的使用请求后，查询二级存储缓冲区内是否存在所述虚拟化平台请求的模板或镜像；若存在，触发路径返回模块，若不存在，触发空间检测模块；

所述路径返回模块，用于将所述请求的模板或镜像的使用路径返回所述虚拟化平台；

空间检测模块，用于检测所述二级存储缓冲区存储空间是否足够，若存储控制不足，触发移除模块；若存储空间足够，触发拷贝模块；

所述拷贝模块，用于从二级存储内获取所述请求的模板或镜像拷贝至所述二级存储缓冲区，并生成符合所述虚拟化平台的使用路径发送至所述路径返回模块；

所述移除模块，用于按照预设移除策略将所述二级存储缓冲区中的部分数据进行移除，并在每次移除完成后，触发所述空间检测模块。

优选地，还包括：

参数记录模块，用于记录所述二级存储缓冲区内各个模板或镜像的使用频率和当前被使用的次数；其中，将所述请求的模板或镜像的使用路径返回所述虚拟化平台后，所述请求的模板或镜像的当前被使用的次数加1；接收到所述虚拟化平台使用完毕所述请求的模板或镜像的响应后，所述请求的模板或镜像的当前被使用的次数减1。

优选地，所述空间检测模块具体包括：

缓冲区空间检查单元，当确定所述二级存储缓冲区内不存在所述请求的模板或镜像时，检查所述二级存储缓冲区的剩余空间；

负载空间检查单元，用于检查所述请求的模板或镜像的所需空间大小；

比较单元，用于比较所述请求的模板或镜像的所需空间与所述二级存储缓冲区的剩余空间的大小，若所述请求的模板或镜像的所需空间大于所述二级存储缓冲区的剩余空间，则所述二级存储缓冲区存储空间不足。

优选地，所述移除模块具体包括：

排序单元，用于将所述二级存储缓冲区中当前未使用的模板或镜像，按照自当前时刻起之前预设时间段内的使用频率从小到大进行排序；

删除单元，用于将所述二级存储缓冲区中当前未使用的模板或镜像，按照自当前时刻起之前预设时间段内的使用频率从小到大依次删除；每删除一个模板或镜像，触发所述空间检测模块。

优选地，还包括：

错误判断模块，用于判断所述二级存储缓冲区的总空间是否小于所述请求的模板或镜像的所需空间，若是，发出错误提示，否则，触发所述移除模块；

相应的，所述空间检测模块判断所述二级存储缓冲区存储空间不足之后，触发所述错误判断模块。

本发明提供了一种基于云海os系统的二级存储缓冲区数据管理方法及其装置，在二级存储缓冲区内包含虚拟化平台请求的模板或镜像时，返回相应的使用路径，在不包含时，从二级存储内拷贝相应的模板或镜像，若拷贝前二级存储缓冲区内空间不足，则按照预设移除策略从二级存储缓冲区内删除部分数据，使其能够完成拷贝操作。可见，本发明能够有效地管理数据进入和移除该二级存储缓冲区，避免由于二级存储缓冲区容量有限导致的频繁空间不足的情况出现，尽可能保证了虚拟化平台发起的请求的成功执行，管理效率和可靠性高。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为二级存储缓冲区的设置示意图；

图2为本发明提供的一种基于云海os系统的二级存储缓冲区数据管理方法的过程的流程图；

图3为本发明提供的另一种基于云海os系统的二级存储缓冲区数据管理方法的过程的流程图；

图4本发明提供的一种基于云海os系统的二级存储缓冲区数据管理装置的结构示意图。

具体实施方式

本发明的核心是提供一种基于云海os系统的二级存储缓冲区数据管理方法及其装置，能够有效管理二级存储缓冲区内数据的进入和移除，管理效率和可靠性高。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于云海os系统的二级存储缓冲区数据管理方法，参见图2所示，图2为本发明提供的一种基于云海os系统的二级存储缓冲区数据管理方法的过程的流程图；该方法包括：

步骤s1：接收虚拟化平台发送的模板或镜像的使用请求后，查询二级存储缓冲区内是否存在虚拟化平台请求的模板或镜像；

上述操作由二级存储管理节点进行。

另外，接收使用请求后，二级存储管理节点会将该使用请求放置于请求队列中，唤醒处理线程。

步骤s2：若存在，将请求的模板或镜像的使用路径返回虚拟化平台；

步骤s3：若不存在，从二级存储内获取请求的模板或镜像拷贝至二级存储缓冲区，并生成符合虚拟化平台的使用路径返回虚拟化平台；若拷贝前检测到二级存储缓冲区存储空间不足，按照预设移除策略将二级存储缓冲区中的部分数据进行移除。

步骤s2和步骤s3的操作一般由二级存储管理节点控制二级存储缓冲区进行，步骤s3中，二级存储缓冲区发送查询请求至二级存储，将查到的的模版或者镜像拷贝到二级存储缓冲区中，并且记录模版或者镜像的信息之后生成模版或者镜像的使用路径供虚拟化平台使用。

可以理解的是，二级存储缓冲区类似于驿站，暂时存储来自二级存储的数据和来自虚拟化平台的数据，然后在特定条件下将虚拟化平台的数据保存到二级存储，将二级存储拷贝进来的数据删除。因此，二级存储缓冲区的移除包括两部分，一部分是将来自二级存储的数据删除；另一部分是将来自虚拟化的数据保存到二级存储。

二级存储中存放数据的特点有：第一，读多写少；第二，顺序读写；第三，一次请求的数据量大，第四，写入数据后，不进行任何的修改。二级存储是一个存放iso和模版数据的存储服务器。二级存储通过网络与各虚拟化平台之间建立关系。当有多个二级存储时，二级存储与云海的二级存储管理节点进行关联，这种关联关系包含通过管理网络和数据网络的两种关联关系。在二级存储管理节点中，划分适量的存储做为二级存储缓冲区的存储空间。二级存储管理节点通过二级存储缓冲区向虚拟化平台提供模版或镜像的使用服务。二级存储缓冲区是二级存储管理节点的一部分存储，其存储空间根据云海os系统中资源和用户的规模而定。二级存储缓冲区根据虚拟化平台支持的存储类型，提供nfs和cifs两种存储类型的服务。

作为优选地，该方法还包括：

记录二级存储缓冲区内各个模板或镜像的使用频率和当前被使用的次数；

其中，将请求的模板或镜像的使用路径返回虚拟化平台后，请求的模板或镜像的当前被使用的次数加1；接收到虚拟化平台使用完毕请求的模板或镜像的响应后，请求的模板或镜像的当前被使用的次数减1。

可以理解的是，这里的当前被使用的次数，是用于判断该模板或镜像当前是否有虚拟化平台正在使用，记录当前被使用的次数为优选方案，也可仅记录使用状态，即当前是否被使用的状态，具体采用哪种方式本发明不作限定。

另外，使用频率的记录方式具体为记录使用次数及使用时间，之后在后续需要时，根据一段时间内的使用次数即可计算出使用频率。

作为优选地，步骤s3中，判断拷贝过程中二级存储缓冲区存储空间是否不足的过程具体为：

步骤s301：当确定二级存储缓冲区内不存在请求的模板或镜像时，检查二级存储缓冲区的剩余空间以及请求的模板或镜像的所需空间大小；

步骤s302：若请求的模板或镜像的所需空间大于二级存储缓冲区的剩余空间，则二级存储缓冲区存储空间不足；

步骤s303：若请求的模板或镜像的所需空间不大于二级存储缓冲区的剩余空间，则从二级存储内获取请求的模板或镜像拷贝至二级存储缓冲区，并生成符合虚拟化平台的使用路径返回虚拟化平台。

其中，向二级存储查询请求的模板或镜像的所需空间大小时，可同时获取请求的模板或镜像在二级存储的路径等信息。

作为优选地，步骤s3中，按照预设移除策略将二级存储缓冲区中的部分数据进行移除的过程具体为：

步骤s305：将二级存储缓冲区中当前未使用的模板或镜像，按照自当前时刻起之前预设时间段内的使用频率从小到大依次删除；

每删除一个模板或镜像，则检查二级存储缓冲区的当前剩余空间是否大于请求的模板或镜像的所需空间大小，若大于，则开始进行拷贝，否则，继续删除下一个模板或镜像。

进一步可知，步骤s305之后还包括：

步骤s306：若将当前未使用的全部模板或镜像删除完毕后，二级存储缓冲区的当前剩余空间仍小于请求的模板或镜像的所需空间大小，则等待二级存储缓冲区中正在使用的模板或镜像使用完毕后继续进行移除操作。

作为优选地，步骤s3中，判断二级存储缓冲区存储空间不足之后，按照预设移除策略将二级存储缓冲区中的部分数据进行移除之前还包括：

步骤s304：判断二级存储缓冲区的总空间是否小于请求的模板或镜像的所需空间，若是，发出错误提示，否则，则按照预设移除策略将二级存储缓冲区中的部分数据进行移除。

例如，假设目前二级存储缓冲区中有模板或者镜像a、b、c、d，其中a正在被使用。b、c、d处于空闲状态，在缓冲区中模板镜像使用频率分别是tb<ta<td<tc。待拷贝的模板为e。

移除过程中，按照模板镜像的使用频率的大小，由小到达进行排序，b、d、c并获取c、d、b占用的空间大小sc、sd、sb。

依次将模版b、d、c移除二级存储缓冲区，每次移除后，比较二级存储缓冲区的当前剩余空间是否能够置入模版e。

一旦空间足够，则根据模版e的信息，将模版e从二级存储中拷贝到二级存储缓冲区，并且生成符合虚拟化平台的路径反馈给虚拟化平台。

如果移除全部空闲模板或镜像b、d、c后，二级存储缓冲区的当前剩余空间仍不够，sb+sd+sc<se，那么使用模板e的请求将继续在队列中等待，等待正在使用的模板a使用结束后被移除。如果模板e的需要空间大小大于二级存储缓冲区总的空间大小，则发出错误提示提醒管理员。

本发明提供了一种基于云海os系统的二级存储缓冲区数据管理方法，在二级存储缓冲区内包含虚拟化平台请求的模板或镜像时，返回相应的使用路径，在不包含时，从二级存储内拷贝相应的模板或镜像，若拷贝前二级存储缓冲区内空间不足，则按照预设移除策略从二级存储缓冲区内删除部分数据，使其能够完成拷贝操作。可见，本发明能够有效地管理数据进入和移除该二级存储缓冲区，避免由于二级存储缓冲区容量有限导致的频繁空间不足的情况出现，尽可能保证了虚拟化平台发起的请求的成功执行，管理效率和可靠性高。

本发明还提供了一种基于云海os系统的二级存储缓冲区数据管理装置，参见图4所示，该装置包括：

请求接收模块1，用于接收虚拟化平台发送的模板或镜像的使用请求后，查询二级存储缓冲区内是否存在虚拟化平台请求的模板或镜像；若存在，触发路径返回模块2，若不存在，触发空间检测模块3；

路径返回模块2，用于将请求的模板或镜像的使用路径返回虚拟化平台；

空间检测模块3，用于检测二级存储缓冲区存储空间是否足够，若存储控制不足，触发移除模块5；若存储空间足够，触发拷贝模块4；

拷贝模块4，用于从二级存储内获取请求的模板或镜像拷贝至二级存储缓冲区，并生成符合虚拟化平台的使用路径发送至路径返回模块2；

移除模块5，用于按照预设移除策略将二级存储缓冲区中的部分数据进行移除，并在每次移除完成后，触发空间检测模块3。

作为优选地，该装置还包括：

参数记录模块6，用于记录二级存储缓冲区内各个模板或镜像的使用频率和当前被使用的次数；其中，将请求的模板或镜像的使用路径返回虚拟化平台后，请求的模板或镜像的当前被使用的次数加1；接收到虚拟化平台使用完毕请求的模板或镜像的响应后，请求的模板或镜像的当前被使用的次数减1。

其中，空间检测模块3具体包括：

缓冲区空间检查单元，当确定二级存储缓冲区内不存在请求的模板或镜像时，检查二级存储缓冲区的剩余空间；

负载空间检查单元，用于检查请求的模板或镜像的所需空间大小；

比较单元，用于比较请求的模板或镜像的所需空间与二级存储缓冲区的剩余空间的大小，若请求的模板或镜像的所需空间大于二级存储缓冲区的剩余空间，则二级存储缓冲区存储空间不足。

另外，移除模块5具体包括：

排序单元，用于将二级存储缓冲区中当前未使用的模板或镜像，按照自当前时刻起之前预设时间段内的使用频率从小到大进行排序；

删除单元，用于将二级存储缓冲区中当前未使用的模板或镜像，按照自当前时刻起之前预设时间段内的使用频率从小到大依次删除；每删除一个模板或镜像，触发空间检测模块3。

作为优选地，该装置还包括：

错误判断模块7，用于判断二级存储缓冲区的总空间是否小于请求的模板或镜像的所需空间，若是，发出错误提示，否则，触发移除模块5；

相应的，空间检测模块3判断二级存储缓冲区存储空间不足之后，触发错误判断模块7。

本发明提供了一种基于云海os系统的二级存储缓冲区数据管理装置，在二级存储缓冲区内包含虚拟化平台请求的模板或镜像时，返回相应的使用路径，在不包含时，从二级存储内拷贝相应的模板或镜像，若拷贝前二级存储缓冲区内空间不足，则按照预设移除策略从二级存储缓冲区内删除部分数据，使其能够完成拷贝操作。可见，本发明能够有效地管理数据进入和移除该二级存储缓冲区，避免由于二级存储缓冲区容量有限导致的频繁空间不足的情况出现，尽可能保证了虚拟化平台发起的请求的成功执行，管理效率和可靠性高。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。