一种扩容方法、预测模型创建方法、装置、设备及介质与流程

文档序号:17925532发布日期:2019-06-15 00:23阅读:144来源:国知局
一种扩容方法、预测模型创建方法、装置、设备及介质与流程

本申请涉及存储技术领域,特别涉及一种扩容方法、预测模型创建方法、装置、设备及介质。



背景技术:

当前,对于一个存储产品来说,随着时间的推移,扩容是必不可少的。但是需要扩容多少,才能保证满足后续几年甚至十几年的使用需求,是一个比较难的问题。现有常规的做法是,根据历史使用情况,做一个大致的估计,而估计方法也基本采用等比例估计法。

然而,通过上述等比例估计法确定出来的需扩充容量并非十分准确,经常会出现估计的需扩充容量明显过多或过少的问题。



技术实现要素:

有鉴于此,本申请的目的在于提供一种扩容方法、预测模型创建方法、装置、设备及介质,能够有效提高扩充容量的预测准确度。其具体方案如下:

第一方面,本申请公开了一种扩容方法,包括:

获取第一预测模型;其中,所述第一预测模型为利用基于存储系统的历史容量消耗量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的;

利用所述第一预测模型,预测与容量消耗时长期望值对应的待扩充容量信息;

根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。

可选的,所述获取第一预测模型之前,还包括:

获取所述存储系统的历史容量消耗量的第一时序数据;

利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本;

利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

可选的,所述利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型,包括:

将所述第一训练样本中的时间片段信息作为模型输入侧数据,以及将所述第一训练样本中的历史容量消耗量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

可选的,所述利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型,包括:

将所述第一训练样本中的历史容量消耗量作为模型输入侧数据,以及将所述第一训练样本中的时间片段信息作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

可选的,所述预测与容量消耗时长期望值对应的待扩充容量信息之后,以及所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之前,还包括:

获取第二预测模型;其中,所述第二预测模型为利用第二训练样本对基于机器学习算法构建的待训练模型进行训练后得到的,并且,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息;

采集所述存储系统的当前硬件信息,并将所述待扩充容量信息和所述当前硬件信息输入至所述第二预测模型,以得到所述第二预测模型输出的扩容时长预测值。

可选的,所述获取第二预测模型之前,还包括:

获取所述第二训练样本;

将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数据,以及将所述第二训练样本中的扩容时长信息作为输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第二预测模型。

可选的,所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之前,还包括:

获取第三预测模型;其中,所述第三预测模型为利用基于所述存储系统的历史读写吞吐量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的;

将扩容时间段期望值输入至所述第三预测模型,得到所述第三预测模型输出的所述扩容时间段期望值上的每一时间点的读写吞吐量预测值;

根据所述扩容时间段期望值和所述读写吞吐量预测值之间的对应关系,创建相应的曲线图;

从所述曲线图中选取出对应时间段的时长与所述扩容时长预测值相一致的,并且与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段;

将所述目标曲线段对应的时间段确定为最佳扩容时间段。

可选的,所述获取第三预测模型之前,还包括:

获取所述存储系统的历史读写吞吐量的第二时序数据;

利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量,构建第三训练样本;

将所述第三训练样本中的时间片段信息作为模型输入侧数据,以及将所述第三训练样本中的历史读写吞吐量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第三预测模型。

可选的,所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作,包括:

根据所述待扩充容量信息和所述最佳扩容时间段,对所述存储系统进行相应的扩容操作。

第二方面,本申请公开了一种预测模型创建方法,包括:

获取存储系统的历史容量消耗量的第一时序数据;

利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本;

利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到第一预测模型。

可选的,所述预测模型创建方法,还包括:

获取第二训练样本;其中,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息;

将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数据,以及将所述第二训练样本中的扩容时长信息作为输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到第二预测模型。

可选的,所述预测模型创建方法,还包括:

获取所述存储系统的历史读写吞吐量的第二时序数据;

利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量,构建第三训练样本;

将所述第三训练样本中的时间片段信息作为模型输入侧数据,以及将所述第三训练样本中的历史读写吞吐量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到第三预测模型。

第三方面,本申请公开了一种扩容装置,包括:

第一模型获取模块,用于获取第一预测模型;其中,所述第一预测模型为利用基于存储系统的历史容量消耗量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的;

第一预测模块,用于利用所述第一预测模型,预测与容量消耗时长期望值对应的待扩充容量信息;

扩容模块,用于根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。

第四方面,本申请公开了一种预测模型创建装置,包括:

第一数据获取模块,用于获取存储系统的历史容量消耗量的第一时序数据;

第一样本构建模块,用于利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本;

第一模型训练模块,用于利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到第一预测模型。

第五方面,本申请公开了一种扩容设备,包括:

存储器,用于保存计算机程序;

处理器,用于执行所述计算机程序,以实现前述公开的扩容方法。

第六方面,本申请公开了一种预测模型创建设备,包括:

存储器,用于保存计算机程序;

处理器,用于执行所述计算机程序,以实现前述公开的预测模型创建方法。

第七方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的扩容方法。

第八方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的预测模型创建方法。

可见,本申请先获取到第一预测模型,其中,上述第一预测模型为利用基于存储系统的历史容量消耗量的时序数据构建的训练样本进行机器学习训练之后得到的预测模型,然后利用上述第一预测模型预测与容量消耗时长期望值对应的待扩充容量信息。由此可见,本申请是基于历史容量消耗量的时序数据来训练上述基于机器学习算法的预测模型的,由于历史容量消耗量的时序数据能够客观地反映出存储系统的容量消耗量的实际变化趋势,这种变化趋势通常是一种非线性的变化趋势,相比于现有的基于简单的等比例线性变化趋势进行估计的方式,本申请由于能够在预测的过程中考虑了存储系统的容量消耗量的实际非线性变化趋势,所以使得利用上述第一预测模型预测的待扩充容量信息能够更加符合用户的日常实际容量需求,避免出现明显过多或过少的情况,提高了扩充容量的预测准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种扩容方法流程图;

图2为本申请公开的一种扩容方法子流程图;

图3为本申请公开的一种扩容方法子流程图;

图4为本申请公开的一种扩容方法子流程图;

图5为本申请公开的一种扩容方法子流程图;

图6为本申请公开的一种扩容装置结构示意图;

图7为本申请公开的一种扩容装置部分结构示意图;

图8为本申请公开的一种扩容装置部分结构示意图;

图9为本申请公开的一种扩容装置部分结构示意图;

图10为本申请公开的一种扩容装置部分结构示意图;

图11为本申请公开的一种扩容装置部分结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

当前,对于一个存储产品来说,需要扩容多少,才能保证满足后续几年甚至十几年的使用需求,是一个比较难的问题。现有常规的做法是采用等比例估计法。然而,通过上述等比例估计法确定出来的需扩充容量并非十分准确,经常会出现估计的需扩充容量明显过多或过少的问题。为此,本申请提供了一种扩容方案,能够使得预测的待扩充容量信息能够更加符合用户的日常实际容量需求,避免出现明显过多或过少的情况,提高了扩充容量的预测准确度。

参见图1所示,本申请实施例公开了一种扩容方法,包括:

步骤s11:获取第一预测模型;其中,所述第一预测模型为利用基于存储系统的历史容量消耗量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的。

可以理解的是,在上述步骤s11之前,已经预先将上述第一预测模型训练完毕,后续只需直接调用上述第一预测模型即可。本实施例具体是基于存储系统的历史容量消耗量的时序数据来训练上述第一预测模型的,其中,存储系统的历史容量消耗量的时序数据具体是指存储系统的历史容量消耗量随着使用时长的变化情况,能够客观地反映出存储系统的容量消耗量的实际变化趋势,例如,存储系统在过去5年内的容量消耗量变化情况,或存储系统在过去10年内的容量消耗量变化情况等。

本实施例中,上述存储系统具体可以是基于存储集群的形式构建的存储系统。另外,本实施例中的机器学习算法可以根据实际情况来进行选择,在此不对其进行具体限定。

步骤s12:利用所述第一预测模型,预测与容量消耗时长期望值对应的待扩充容量信息。

步骤s13:根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。

由此可见,本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器学习算法的预测模型的,由于历史容量消耗量的时序数据能够客观地反映出存储系统的容量消耗量的实际变化趋势,这种变化趋势通常是一种非线性的变化趋势,相比于现有的基于简单的等比例线性变化趋势进行估计的方式,本申请实施例由于能够在预测的过程中考虑了存储系统的容量消耗量的实际非线性变化趋势,所以使得利用上述第一预测模型预测的待扩充容量信息能够更加符合用户的日常实际容量需求,避免出现明显过多或过少的情况,提高了扩充容量的预测准确度,从而具备更高的可靠性。

在前述实施例的基础上,本申请实施例对技术方案进行进一步的说明和优化。具体的:

参见图2所示,所述获取第一预测模型之前,还包括:

步骤s21:获取所述存储系统的历史容量消耗量的第一时序数据。

可以理解的是,上述步骤s21中,可以获取存储系统在不同的容量消耗时间段内的历史容量消耗量的第一时序数据,相应地得到多组第一时序数据。其中,上述不同的容量消耗时间段之间可以相互重叠,当然也可以不重叠,并且,通过上述步骤s21得到的第一时序数据的组数越大,也有利于提高第一预测模型的预测准确度。

本实施例中,上述第一时序数据具体可以用diamond、zabbix等开源工具来获取,也可以直接利用iostat来采集,另外,对于ceph等软件定义存储系统,也可以直接从对应软件中获取。

步骤s22:利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本。

需要指出的是,上述第一时序数据中的时间片段可以与上述第一时序数据对应的时间段相同,也可以是上述第一时序数据对应的时间段的随机节选片段。

步骤s23:利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

在第一种具体实施方式中,所述利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型,具体可以包括:将所述第一训练样本中的时间片段信息作为模型输入侧数据,以及将所述第一训练样本中的历史容量消耗量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

可以理解的是,通过上述第一种具体实施方式得到的第一预测模型,在实际预测应用时,向该第一预测模型输入的信息是时间信息,该第一预测模型输出的则是容量信息。

在第二种具体实施方式中,所述利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型,具体可以包括:将所述第一训练样本中的历史容量消耗量作为模型输入侧数据,以及将所述第一训练样本中的时间片段信息作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

可以理解的是,通过上述第二种具体实施方式得到的第一预测模型,在实际预测应用时,向该第一预测模型输入的信息是容量信息,该第一预测模型输出的则是时间信息。

进一步的,本实施例中,所述预测与容量消耗时长期望值对应的待扩充容量信息之后,以及所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之前,还可以包括:

获取第二预测模型;其中,所述第二预测模型为利用第二训练样本对基于机器学习算法构建的待训练模型进行训练后得到的,并且,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息;

采集所述存储系统的当前硬件信息,并将所述待扩充容量信息和所述当前硬件信息输入至所述第二预测模型,以得到所述第二预测模型输出的扩容时长预测值。

需要指出的是,本实施例中的上述待扩充容量信息具体可以通过容量数值大小来直接表示,也可以通过磁盘数量或其他存储节点的数量来间接表示。

参见图3所示,所述获取第二预测模型之前,还可以包括:

步骤s31:获取第二训练样本;其中,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息。

本实施例中,所述存储系统硬件信息具体可以包括硬件参数信息和集群规模信息。其中,硬件参数信息的获取过程具体可以包括通过现有开源方法、工具或直接读取系统配置文件的方式,来获取cpu、内存、网口、硬盘等对象的详细参数信息。集群规模信息的获取过程具体可以通过存储产品提供的接口来进行获取,以确定存储集群中存储节点的构成信息。

步骤s32:将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数据,以及将所述第二训练样本中的扩容时长信息作为输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第二预测模型。

需要指出的是,上述步骤s32中的机器学习算法可以根据实际情况进行选择,在此不对其进行限定。

进一步的,参见图4所示,本实施例中,所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作之前,还可以包括:

步骤s41:获取第三预测模型;其中,所述第三预测模型为利用基于所述存储系统的历史读写吞吐量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的。

可以理解的是,本实施例中所述存储系统的历史读写吞吐量的时序数据具体是指存储系统的历史读写吞吐量随时间的变化情况,能够客观地反映出读写吞吐量的实际变化趋势,例如,存储系统在每天下午5点至晚上12点之间的读写吞吐量变化情况,或存储系统在每周周末的读写吞吐量变化情况等。

步骤s42:将扩容时间段期望值输入至所述第三预测模型,得到所述第三预测模型输出的所述扩容时间段期望值上的每一时间点的读写吞吐量预测值。

步骤s43:根据所述扩容时间段期望值和所述读写吞吐量预测值之间的对应关系,创建相应的曲线图。

步骤s44:从所述曲线图中选取出对应时间段的时长与所述扩容时长预测值相一致的,并且与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段。

可以理解的是,本实施例之所以要选取与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段,目的是在于为了尽量确保相应时间段内的读写吞吐量处于较低水平,从而降低了后续扩容操作对正常的读写业务所产生的干扰影响。

进一步的,本实施例还可以基于上述目标曲线段与时间轴之间所形成的面积,估算出后续扩容操作对正常的读写操作所产生的干扰影响程度,并可以对上述干扰影响程度进行输出,以便用户进行查看。

步骤s45:将所述目标曲线段对应的时间段确定为最佳扩容时间段。

本实施例中的上述扩容时间段确定方式,相对于现有的基于业务侧工程师的个人经验来确定扩容时间段的方式,具有更高的准确度和稳定性。

本实施例中,在得到上述最佳扩容时间段之后,可以将上述最佳扩容时间段在上述曲线图中标注出来。

可以理解的是,本实施例中,上述扩容时间段期望值具体可以由用户进行设定,例如可以设为当天晚上8点至次日凌晨4点,并假设扩容时长预测值为3小时,则可以将上述扩容时间段期望值输入至上述第三预测模型,以得到所述第三预测模型输出的当天晚上8点至次日凌晨4点之间的每一时间点的读写吞吐量预测值,然后根据所述扩容时间段期望值和读写吞吐量预测值之间的对应关系,创建相应的曲线图,并从上述曲线图中选取出对应时间段的时长为3小时的,并且与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段,进而将所述目标曲线段对应的时间段确定为最佳扩容时间段。

进一步的,所述根据所述待扩充容量信息对所述存储系统进行相应的扩容操作,具体可以包括:根据所述待扩充容量信息和所述最佳扩容时间段,对所述存储系统进行相应的扩容操作。这样可以使得能够在最佳的扩容时间段内将存储系统的容量扩充至合适水平。

参见图5所示,所述获取第三预测模型之前,还可以包括:

步骤s51:获取所述存储系统的历史读写吞吐量的第二时序数据。

本实施例中,上述第二时序数据具体可以用diamond、zabbix等开源工具来获取,也可以直接利用iostat来采集,另外,对于ceph等软件定义存储系统,也可以直接从对应软件中获取。

步骤s52:利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量,构建第三训练样本。

需要指出的是,上述第二时序数据中的时间片段可以与上述第二时序数据对应的时间段相同,也可以是上述第二时序数据对应的时间段的随机节选片段。

步骤s53:将所述第三训练样本中的时间片段信息作为模型输入侧数据,以及将所述第三训练样本中的历史读写吞吐量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第三预测模型。

另外,上述步骤s53中的机器学习算法可以根据实际情况来进行选择,在此不对其进行具体限定。

另外,本申请实施例还公开了一种预测模型创建方法,包括:

获取存储系统的历史容量消耗量的第一时序数据;利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本;利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到第一预测模型。

由此可见,本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器学习算法的预测模型的,由于历史容量消耗量的时序数据能够客观地反映出存储系统的容量消耗量的实际变化趋势,这种变化趋势通常是一种非线性的变化趋势,相比于现有的基于简单的等比例线性变化趋势进行估计的方式,本申请实施例由于能够在预测的过程中考虑了存储系统的容量消耗量的实际非线性变化趋势,所以使得利用上述第一预测模型预测的待扩充容量信息能够更加符合用户的日常实际容量需求,避免出现明显过多或过少的情况,提高了扩充容量的预测准确度,从而具备更高的可靠性。

进一步的,本实施例中的预测模型创建方法,还可以包括:

获取第二训练样本;其中,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息;将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数据,以及将所述第二训练样本中的扩容时长信息作为输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到第二预测模型。

进一步的,本实施例中的预测模型创建方法,还可以包括:

获取所述存储系统的历史读写吞吐量的第二时序数据;利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量,构建第三训练样本;将所述第三训练样本中的时间片段信息作为模型输入侧数据,以及将所述第三训练样本中的历史读写吞吐量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到第三预测模型。

其中,关于本实施例的预测模型创建方法的更多细节以及各个预测模型的具体应用过程可以参考前述实施例中的公开的相应内容,在此不再进行赘述。

相应的,参见图6所示,本申请实施例还公开了一种扩容装置,包括:

第一模型获取模块11,用于获取第一预测模型;其中,所述第一预测模型为利用基于存储系统的历史容量消耗量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的;

第一预测模块12,用于利用所述第一预测模型,预测与容量消耗时长期望值对应的待扩充容量信息;

扩容模块13,用于根据所述待扩充容量信息对所述存储系统进行相应的扩容操作。

由此可见,本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器学习算法的预测模型的,由于历史容量消耗量的时序数据能够客观地反映出存储系统的容量消耗量的实际变化趋势,这种变化趋势通常是一种非线性的变化趋势,相比于现有的基于简单的等比例线性变化趋势进行估计的方式,本申请实施例由于能够在预测的过程中考虑了存储系统的容量消耗量的实际非线性变化趋势,所以使得利用上述第一预测模型预测的待扩充容量信息能够更加符合用户的日常实际容量需求,避免出现明显过多或过少的情况,提高了扩充容量的预测准确度,从而具备更高的可靠性。

进一步的,参见图7所示,所述扩容装置还可以包括:

第一数据获取模块21,用于获取所述存储系统的历史容量消耗量的第一时序数据;

第一样本构建模块22,用于利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本;

第一模型训练模块23,用于利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

在第一种具体实施方式中,所述第一模型训练模块23,具体用于将所述第一训练样本中的时间片段信息作为模型输入侧数据,以及将所述第一训练样本中的历史容量消耗量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

在第二种具体实施方式中,所述第一模型训练模块23,具体用于将所述第一训练样本中的历史容量消耗量作为模型输入侧数据,以及将所述第一训练样本中的时间片段信息作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第一预测模型。

进一步的,参见图8所示,所述扩容装置还可以包括:

第二模型获取模块31,用于获取第二预测模型;其中,所述第二预测模型为利用第二训练样本对基于机器学习算法构建的待训练模型进行训练后得到的,并且,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息;

第二预测模块32,用于采集所述存储系统的当前硬件信息,并将所述待扩充容量信息和所述当前硬件信息输入至所述第二预测模型,以得到所述第二预测模型输出的扩容时长预测值。

进一步的,参见图9所示,所述扩容装置还可以包括:

第二数据获取模块41,用于获取所述第二训练样本;

第二模型训练模块42,用于将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数据,以及将所述第二训练样本中的扩容时长信息作为输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第二预测模型。

进一步的,参见图10所示,所述扩容装置还可以包括:

第三模型获取模块51,用于获取第三预测模型;其中,所述第三预测模型为利用基于所述存储系统的历史读写吞吐量的时序数据构建的训练样本,对基于机器学习算法构建的待训练模型进行训练后得到的;

第三预测模块52,用于将扩容时间段期望值输入至所述第三预测模型,得到所述第三预测模型输出的所述扩容时间段期望值上的每一时间点的读写吞吐量预测值;

曲线图创建模块53,用于根据所述扩容时间段期望值和所述读写吞吐量预测值之间的对应关系,创建相应的曲线图;

曲线段选取模块54,用于从所述曲线图中选取出对应时间段的时长与所述扩容时长预测值相一致的,并且与时间轴之间所形成的面积最小的一个曲线段作为目标曲线段;

最佳扩容时间段确定模块55,用于将所述目标曲线段对应的时间段确定为最佳扩容时间段。

进一步的,参见图11所示,所述扩容装置还可以包括:

第三数据获取模块61,用于获取所述存储系统的历史读写吞吐量的第二时序数据;

第二样本构建模块62,用于利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量,构建第三训练样本;

第三模型训练模块63,用于将所述第三训练样本中的时间片段信息作为模型输入侧数据,以及将所述第三训练样本中的历史读写吞吐量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到所述第三预测模型。

本实施例中,所述扩容模块13,具体可以根据所述待扩充容量信息和所述最佳扩容时间段,对所述存储系统进行相应的扩容操作。

另外,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。

相应的,本申请实施例还公开了一种预测模型创建装置,包括:

第一数据获取模块,用于获取存储系统的历史容量消耗量的第一时序数据;

第一样本构建模块,用于利用所述第一时序数据中的时间片段信息以及相应的历史容量消耗量,构建第一训练样本;

第一模型训练模块,用于利用所述第一训练样本对基于机器学习算法构建的待训练模型进行训练,得到第一预测模型。

由此可见,本申请实施例是基于历史容量消耗量的时序数据来训练上述基于机器学习算法的预测模型的,由于历史容量消耗量的时序数据能够客观地反映出存储系统的容量消耗量的实际变化趋势,这种变化趋势通常是一种非线性的变化趋势,相比于现有的基于简单的等比例线性变化趋势进行估计的方式,本申请实施例由于能够在预测的过程中考虑了存储系统的容量消耗量的实际非线性变化趋势,所以使得利用上述第一预测模型预测的待扩充容量信息能够更加符合用户的日常实际容量需求,避免出现明显过多或过少的情况,提高了扩充容量的预测准确度,从而具备更高的可靠性。

进一步的,本实施例中的所述预测模型创建装置,还可以包括:

第二数据获取模块,用于获取第二训练样本;其中,所述第二训练样本包括存储系统硬件信息、历史扩充容量信息以及相应的扩容时长信息;

第二模型训练模块,用于将所述第二训练样本中的存储系统硬件信息和历史扩充容量信息作为模型输入侧数据,以及将所述第二训练样本中的扩容时长信息作为输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到第二预测模型。

进一步的,本实施例中的所述预测模型创建装置,还可以包括:

第三数据获取模块,用于获取所述存储系统的历史读写吞吐量的第二时序数据;

第二样本构建模块,用于利用所述第二时序数据中的时间片段信息以及相应的历史读写吞吐量,构建第三训练样本;

第三模型训练模块,用于将所述第三训练样本中的时间片段信息作为模型输入侧数据,以及将所述第三训练样本中的历史读写吞吐量作为模型输出侧数据,对基于机器学习算法构建的待训练模型进行训练,得到第三预测模型。

另外,关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容,在此不再进行赘述。

进一步的,本申请还公开了一种扩容设备,包括:

存储器,用于保存计算机程序;

处理器,用于执行所述计算机程序,以实现前述实施例公开的扩容方法。

其中,关于上述扩容方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。

进一步的,本申请还公开了一种预测模型创建设备,包括:

存储器,用于保存计算机程序;

处理器,用于执行所述计算机程序,以实现前述实施例公开的预测模型创建方法。

其中,关于上述预测模型创建方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。

进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述实施例公开的扩容方法。

其中,关于上述扩容方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。

进一步的,本申请还公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述实施例公开的预测模型创建方法。

其中,关于上述预测模型创建方法的具体步骤可以参考前述实施例中公开的相应内容,在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种扩容方法、预测模型创建方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1