一种模型训练方法、装置、计算机设备及存储介质与流程

本发明实施例涉及分布式存储系统，尤其涉及一种模型训练方法、装置、计算机设备及存储介质。

背景技术：

1、ceph存储系统是一个分布式的、高性能的、高可靠的、高扩展的存储系统，它可以提供对象、块和文件三种存储方式，适用于各种不同的应用场景。ceph存储系统的可配置参数繁多，可达上千个，参数的调整对系统性能和稳定性有较大的影响。默认参数配置针对不同的硬件和应用通常不是最优配置，不同的硬件条件(如机械硬盘和固态硬盘)通常需要不同的参数配置才能发挥较优的性能，不同的业务应用场景，如对象，块，文件存储，大文件或小文件为主的场景，也需要不同的配置来提供不同的读写性能。然而，目前的参数配置和调优方案需要人为设计和计算，手动调整ceph参数配置是一项复杂而耗时的工作，需要对ceph存储系统有深入的了解和丰富的实践经验，并且需要进行大量的测试和分析，才能找到合适的参数配置方案。

2、因此，如何根据ceph存储系统最优的参数配置方案训练性能预测模型成为现在亟待解决的问题。

技术实现思路

1、鉴于此，为解决上述根据ceph存储系统最优的参数配置方案训练性能预测模型的技术问题，本发明实施例提供一种模型训练方法、装置、计算机设备及存储介质。

2、第一方面，本发明实施例提供一种模型训练方法，包括：

3、生成分布式存储系统的参数配置方案；

4、将所述参数配置方案输入训练好的梯度提升树模型，以通过所述梯度提升树模型预测所述分布式存储系统的第一性能指标；

5、将所述参数配置方案输入训练好的神经网络模型，以通过所述神经网络模型预测所述分布式存储系统的第二性能指标；

6、根据所述第一性能指标和所述第二性能指标的差值对所述参数配置方案进行调节，以使损失函数减小至预设阈值，得到新参数配置方案；

7、根据所述新参数配置方案更新所述梯度提升树模型和所述神经网络模型，以通过更新后的所述梯度提升树模型和所述神经网络模型预测所述分布式存储系统的第三性能指标。

8、在一个可能的实施方式中，所述根据所述第一性能指标和所述第二性能指标的差值对所述参数配置方案进行调节，包括：

9、将所述第一性能指标和所述第二性能指标之间的差值作为所述损失函数；

10、确定损失函数对所述参数配置方案的梯度；

11、根据所述梯度和学习率对所述参数配置方案进行调节，得到新参数配置方案，所述新参数配置方案用于使所述分布式存储系统的性能指标达到目标值。

12、在一个可能的实施方式中，所述根据所述梯度和学习率对所述参数配置方案进行调节，得到新参数配置方案，包括：

13、根据梯度和学习率更新所述参数配置方案的值，以使所述损失函数减小；

14、当所述损失函数减小至预设阈值时，或，迭代次数达到最大值时，停止更新所述参数配置方案的值，得到所述新参数配置方案。

15、在一个可能的实施方式中，所述生成所述分布式存储系统的参数配置方案，包括：

16、设置所述分布式存储系统中待调节的目标参数，以及所述目标参数对应的目标性能指标；

17、获取所述分布式存储系统中的应用场景和硬件条件；

18、根据所述目标参数、目标性能指标、应用场景和硬件条件生成所述分布式存储系统的参数配置方案。

19、在一个可能的实施方式中，所述梯度提升树模型通过以下方式训练：

20、获取所述分布式存储系统在不同应用场景和硬件条件下的历史性能指标，以及获取每个所述历史性能指标对应的历史参数配置方案；

21、根据所述历史性能指标和所述历史参数配置方案对第一初始模型进行训练，直至所述第一初始模型收敛，得到训练好的所述梯度提升树模型。

22、在一个可能的实施方式中，所述神经网络模型通过以下方式训练：

23、将所述历史参数配置方案作为第二初始模型的输入层，将所述历史性能指标作为所述第二初始模型的输出层；

24、设置所述第二初始模型的隐藏层和激活函数；

25、根据所述历史性能指标和所述历史参数配置方案对所述第二初始模型进行训练，直至所述第二初始模型收敛，得到训练好的所述神经网络模型。

26、在一个可能的实施方式中，所述根据所述新参数配置方案训练所述梯度提升树模型和所述神经网络模型，包括：

27、将所述新参数配置方案输入性能优化工具，以通过所述性能优化工具对所述新参数配置方案配置后的分布式存储系统进行性能测试，得到第四性能指标；

28、将所述第四性能指标作为训练样本输入所述梯度提升树模型，以通过所述训练样本重新训练所述梯度提升树模型，得到新梯度提升树模型；

29、将所述第四性能指标作为训练样本输入所述神经网络模型，以通过所述训练样本重新训练所述神经网络模型，得到新神经网络模型。

30、第二方面，本发明实施例提供一种模型训练装置，包括：

31、生成模块，用于生成分布式存储系统的参数配置方案；

32、第一预测模块，用于将所述参数配置方案输入训练好的梯度提升树模型，以通过所述梯度提升树模型预测所述分布式存储系统的第一性能指标；

33、第二预测模块，用于将所述参数配置方案输入训练好的神经网络模型，以通过所述神经网络模型预测所述分布式存储系统的第二性能指标；

34、调节模块，用于根据所述第一性能指标和所述第二性能指标的差值对所述参数配置方案进行调节，以使损失函数减小至预设阈值，得到新参数配置方案；

35、根据所述新参数配置方案更新所述梯度提升树模型和所述神经网络模型，以通过更新后的所述梯度提升树模型和所述神经网络模型预测所述分布式存储系统的第三性能指标。

36、第三方面，本发明实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的分布式存储系统的模型训练程序，以实现上述第一方面中任一项所述的模型训练方法。

37、第四方面，一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中任一项所述的模型训练方法。

38、本发明实施例提供的模型训练方案，通过生成分布式存储系统的参数配置方案；将所述参数配置方案输入训练好的梯度提升树模型，以通过所述梯度提升树模型预测所述分布式存储系统的第一性能指标；将所述参数配置方案输入训练好的神经网络模型，以通过所述神经网络模型预测所述分布式存储系统的第二性能指标；根据所述第一性能指标和所述第二性能指标的差值对所述参数配置方案进行调节，以使损失函数减小至预设阈值，得到新参数配置方案；根据所述新参数配置方案更新所述梯度提升树模型和所述神经网络模型，以通过更新后的所述梯度提升树模型和所述神经网络模型预测所述分布式存储系统的第三性能指标。由此，可以实现根据两个模型的预测值之间的差异，来更新优化参数配置方案的值。用来优化模型，使得模型能给出更精准和符合实际场景的参数配置方案，以使得性能预测模型更贴近实际情况，从而提高预测的准确性和鲁棒性。优化ceph系统的性能，使得ceph系统能够在不同的应用场景下提供更高的吞吐量、延迟和iops等性能指标，从而满足不同类型的数据访问需求，提高用户的体验和满意度。