一种集群配置恢复时间预测方法、装置、设备及存储介质与流程

文档序号:36322582发布日期:2023-12-09 02:44阅读:26来源:国知局
一种集群配置恢复时间预测方法与流程

本技术实施例涉及存储,具体而言,涉及一种集群配置恢复时间预测方法、装置、设备及存储介质。


背景技术:

1、存储集群在遇到某些故障时,可能会导致集群配置丢失,需要根据预先备份的配置文件对集群的各项服务和配置进行恢复,这种恢复被称为t4恢复,集群配置恢复需要耗费一定的时间,在该时间段内无法对存储集群进行操作。

2、目前还没有效的方式可以准确估测集群配置恢复时间。


技术实现思路

1、本技术实施例提供一种集群配置恢复时间预测方法、装置、设备及存储介质,旨在准确预测集群配置的恢复时间。

2、本技术实施例第一方面提供一种集群配置恢复时间预测方法,所述方法包括:

3、当检测到存储集群重启之后,获取所述存储集群的配置参数,所述配置参数包括磁盘阵列种类、磁盘阵列数量、磁盘读写速率、存储池个数、存储卷种类、存储卷个数、主机个数、文件系统个数、缓存分区个数;

4、将所述配置参数输入预先训练好的卷积神经网络模型中;

5、所述卷积神经网络模型根据所述配置参数,得到所述存储集群的集群配置恢复预测时间。

6、可选地,对所述卷积神经网络模型的训练步骤包括:

7、收集所述存储集群的历史配置参数数据以及对应的集群配置恢复时间数据;

8、将所述历史配置参数数据以及所述集群配置恢复时间数据中的部分数据作为训练集,其余数据作为验证集;

9、对所述训练集和所述验证集中的数据进行归一化处理,得到处理后的训练集和处理后的验证集;

10、将所述处理后的训练集输入所述卷积神经网络模型中,对所述卷积神经网络模型进行训练;

11、将所述处理后的验证集输入所述卷积神经网络模型中,对所述卷积神经网络模型进行测试,得到训练好的所述卷积神经网络模型。

12、可选地,将所述训练集输入所述卷积神经网络模型中,对所述卷积神经网络模型进行训练,包括:

13、所述卷积神经网络模型根据所述训练集中的历史配置参数,得到所述存储集群对应的集群配置恢复预测时间;

14、通过预设的损失函数对所述集群配置恢复预测时间与所述集群配置恢复时间数据进行运算,得到所述卷积神经网络模型的损失值;

15、根据所述损失值,对所述卷积神经网络模型进行参数调整;

16、响应于所述损失值不再发生变化,结束训练。

17、可选地,所述根据所述损失值,对所述卷积神经网络模型进行参数调整,包括:

18、将所述损失值在所述卷积神经网络模型中进行反向传播;

19、通过预设的优化算法,根据所述损失值,对所述卷积神经网络模型进行迭代调整。

20、可选地,所述方法还包括:

21、通过所述预设的优化算法,确定每个参数对应的学习率;

22、根据所述每个参数对应的学习率,对预设的学习率进行调整。

23、可选地,所述卷积神经网络模型根据所述配置参数,得到所述存储集群的集群配置恢复预测时间,包括:

24、通过双层卷积层对所述配置参数进行特征提取,得到第一配置参数特征;

25、通过relu激活函数对所述第一配置参数特征进行非线性处理,得到第二配置参数特征;

26、通过池化层对所述第二配置参数特征进行降维处理,得到第三配置参数特征;

27、将所述第三配置参数特征进行展开,得到展开后的配置参数特征;

28、通过全连接层对所述展开后的配置参数特征进行特征综合分类,得到所述存储集群的集群配置恢复预测时间。

29、可选地,所述方法还包括:

30、将所述提示信息展示在所述存储集群对应的后台设备中,或者,按照预设的消息发送方式将所述提示信息发送至预设的网络地址或移动设备中;

31、将所述提示信息展示在所述存储集群对应的后台设备中,或者,按照预设的消息发送方式将所述提示信息发送至预设的网络地址或移动设备中。

32、本技术实施例第二方面提供一种集群配置恢复时间预测装置,所述装置包括:

33、参数获取模块,用于当检测到存储集群重启之后,获取所述存储集群的配置参数,所述配置参数包括磁盘阵列种类、磁盘阵列数量、磁盘读写速率、存储池个数、存储卷种类、存储卷个数、主机个数、文件系统个数、缓存分区个数;

34、参数输入模块,用于将所述配置参数输入预先训练好的卷积神经网络模型中;

35、预测时间获得模块,用于所述卷积神经网络模型根据所述配置参数,得到所述存储集群的集群配置恢复预测时间。

36、可选地,所述装置还包括卷积神经网络训练模块,所述模块包括:

37、数据收集子模块,用于收集所述存储集群的历史配置参数数据以及对应的集群配置恢复时间数据;

38、集合获得子模块,用于将所述历史配置参数数据以及所述集群配置恢复时间数据中的部分数据作为训练集,其余数据作为验证集;

39、数据集处理子模块,用于对所述训练集和所述验证集中的数据进行归一化处理,得到处理后的训练集和处理后的验证集;

40、模型训练子模块,用于将所述处理后的训练集输入所述卷积神经网络模型中,对所述卷积神经网络模型进行训练;

41、模型验证子模块,用于将所述处理后的验证集输入所述卷积神经网络模型中,对所述卷积神经网络模型进行测试,得到训练好的所述卷积神经网络模型。

42、可选地,所述模型训练子模块包括:

43、预测子模块,用于所述卷积神经网络模型根据所述训练集中的历史配置参数,得到所述存储集群对应的集群配置恢复预测时间;

44、损失值获取子模块,用于通过预设的损失函数对所述集群配置恢复预测时间与所述集群配置恢复时间数据进行运算,得到所述卷积神经网络模型的损失值;

45、参数调整子模块,用于根据所述损失值,对所述卷积神经网络模型进行参数调整;

46、训练结束子模块,用于响应于所述损失值不再发生变化,结束训练。

47、可选地,所述参数调整子模块包括:

48、反向传播子模块,用于将所述损失值在所述卷积神经网络模型中进行反向传播;

49、迭代调整子模块,用于通过预设的优化算法,根据所述损失值,对所述卷积神经网络模型进行迭代调整。

50、可选地,所述模型训练子模块还包括:

51、学习率确定子模块,用于通过所述预设的优化算法,确定每个参数对应的学习率;

52、学习率调整子模块,用于根据所述每个参数对应的学习率,对预设的学习率进行调整。

53、可选地,所述预测时间获得模块包括:

54、第一配置参数特征确定子模块,用于通过双层卷积层对所述配置参数进行特征提取,得到第一配置参数特征;

55、第二配置参数特征确定子模块,用于通过relu激活函数对所述第一配置参数特征进行非线性处理,得到第二配置参数特征;

56、第三配置参数特征确定子模块,用于通过池化层对所述第二配置参数特征进行降维处理,得到第三配置参数特征;

57、特征展开子模块,用于将所述第三配置参数特征进行展开,得到展开后的配置参数特征;

58、综合分类子模块,用于通过全连接层对所述展开后的配置参数特征进行特征综合分类,得到所述存储集群的集群配置恢复预测时间。

59、可选地,所述装置还包括:

60、提示信息生成模块,用于根据所述集群配置恢复预测时间,生成对应的提示信息,所述提示信息用于提醒集群管理人员或用户集群配置恢复所需要的时间;

61、提示信息显示模块,用于将所述提示信息展示在所述存储集群对应的后台设备中,或者,按照预设的消息发送方式将所述提示信息发送至预设的网络地址或移动设备中。

62、本技术实施例第三方面提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现如本技术第一方面所述的方法中的步骤。

63、本技术实施例第四方面提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现本技术第一方面所述的方法的步骤。

64、采用本技术提供的集群配置恢复时间预测方法,当检测到存储集群重启之后,获取所述存储集群的配置参数,所述配置参数包括磁盘阵列种类、磁盘阵列数量、磁盘读写速率、存储池个数、存储卷种类、存储卷个数、主机个数、文件系统个数、缓存分区个数。将所述配置参数输入预先训练好的卷积神经网络模型中;所述卷积神经网络模型根据所述配置参数,得到所述存储集群的集群配置恢复预测时间。本方法中,在存储集群中加入了检测模块,当检测到存储集群进行重启时,获取该存储集群的配置参数,通过预先训练好的卷积神经网络模型,对该存储集群的配置参数进行分析,进而确定该存储集群的集群配置恢复预测时间,卷积神经网络模型可以通过非线性的方式,利用卷积层参数共享和稀疏连接以及卷积层的平移不变性的特性,能够实现准确的存储集群配置恢复时间的预测。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1