一种云存储系统的参数配置优化方法及优化系统与流程

[0001]
本发明属于智能电网技术领域，具体涉及一种云存储系统的参数配置优化方法及优化系统。


背景技术：

[0002]
智能电网的信息系统是保障电力行业正常运行的基础，而智能电网中各种数据的高效存储是电力系统的数据命脉。云存储系统平台已经成为当前主流的系统架构之一，大量的企业开始大规模运用云存储平台部署自己的应用。但是大量的问题也随之而来，ceph云存储系统性能受ceph配置参数的显著影响问题就是其中之一。在优化云存储系统性能时，并不是优化所有的参数，而是根据专家的经验选取影响度大的参数进行优化。在构建系统参数优化体系时，由于系统的配置参数种类繁多、含义复杂，导致容易遗失关键参数，难以实现快速准确的调整优化参数。如何快速准确的调整系统的参数配置就成为云存储环境下的性能优化的重要组成部分。
[0003]
传统的存储参数优化方法，在一定程度上解决存储系统繁琐的参数配置调整问题，但未能考虑存储系统参数之间的空间关联性，不能很好地解决ceph系统的参数配置优化问题。


技术实现要素：

[0004]
发明目的：为解决现有云存储平台参数配置综合性能提升不明显的问题，本发明提出了一种云存储系统的参数配置优化方法及优化系统。
[0005]
技术方案：本发明公开了一种云存储系统的参数配置优化方法，包括以下步骤：
[0006]
步骤1：采用主成分分析算法对云存储系统进行有效特征提取；
[0007]
步骤2：对有效特征进行高维采样，得到参数样本，获取参数样本对应的性能值，基于参数样本和其对应的性能值构建样本集；
[0008]
步骤3：构建预测性能模型；
[0009]
步骤4：采用预测性能模型，对参数样本的性能值进行预测，将参数样本及其对应的性能预测值作为步骤5的参数配置及其对应的性能预测值的参与计算；
[0010]
步骤5：将参数配置作为遗传算法的输入值，将参数配置的性能预测值作为适应度值，执行交叉、变异操作，生成新的参数配置，将新的参数配置作为预测性能模型的输入，得到与其对应的性能预测值；重复执行步骤5，直至达到设定迭代次数，得到最优参数配置；
[0011]
步骤6：将当前电网运行的有效负载所用的参数与步骤5得到的最优参数配置进行相似度计算，选出相似度符合预设条件的参数配置进行推荐。
[0012]
进一步的，所述步骤1具体包括：
[0013]
s101：获取原始数据矩阵x，所述原始数据矩阵x为由m
×
n个排成的m行n列构成的m
×
n的矩阵，其中，j＜m，i＜n；原始数据矩阵x中处于同一列的数据对应一个特征；
[0014]
s102：根据式(1)计算各个特征的均值；
[0015][0016]
式中，u
j
表示第j个特征均值，表示第j行第i列的数据；
[0017]
s103：将原始数据矩阵x中的元素减去其所在行的均值，并用相减得到的数据替换原先元素；
[0018]
s104：根据式(2)对经过s103替换后的矩阵中的元素进行缩放；
[0019][0020]
式中，max_x
j
表示位于第j行的数据的最大值，min_x
j
表示位于第j行的数据的最小值；
[0021]
s105：基于s104的结果，根据式(3)计算经数据缩放后的矩阵的协方差矩阵，并求解协方差矩阵的特征值及其对应的特征向量；
[0022][0023]
s106：将s105求解得到的特征向量按大小从上到下排列，取前k行构成变换矩阵p；
[0024]
s107：根据式(4)得到有效数据矩阵y，有效数据矩阵y中各列即为有效特征：
[0025]
y＝px
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)。
[0026]
进一步的，所述步骤2具体包括：
[0027]
对有效特征进行高维采样，得到参数样本x＝(x
1
，x
2
，...,x
k
)；
[0028]
将参数x＝(x
1
，x
2
，...,x
k
)分别输入至云存储系统中，获取各自对应的读写性能值iops和延迟性能值latency；
[0029]
根据下式得到参数样本对应的综合性能指标：
[0030][0031]
式中，w
1
表示读写性能值iops的权重，w
2
表示延迟性能的权重；
[0032]
采用参数x＝(x
1
，x
2
，...,x
k
)及其对应的综合性能指标，构建样本集s，所述样本集s中的每个样本表示为s
i
＝{x
i
，perf
i
}。
[0033]
进一步的，所述步骤3包括：
[0034]
采用样本集对随机森林模型进行训练和测试，得到预测性能模型。
[0035]
进一步的，所述步骤6中的相似度根据下式计算得到：
[0036][0037]
式中，i
u
和i
v
表示系统性能特征对参数u和v评分结果的项目集合，i
u,v
表示共同评分项目集合，表示参数u和v评分的均值，r
u,i
,r
v,i
表示参数u和v对在性能特征i下的评分，w
i
数值越高表示越越贴合当前用户的需求，w
3
，w
4
分别表示权重。
[0038]
本发明还公开了一种云存储系统的参数配置优化系统，包括：
[0039]
特征提取模块，用于采用主成分分析算法对云存储系统进行有效特征提取；
[0040]
样本集构建模块，用于对特征提取模块输出的有效特征进行高维采样，得到参数样本，获取参数样本对应的性能值，基于参数样本和其对应的性能值构建样本集；
[0041]
预测性能模块，用于进行性能预测；
[0042]
参数配置寻优模块，用于利用遗传算法和预测性能模块，以样本集构建模块输出的参数样本为初始输入，以其对应的性能预测值作为初始适应度值进行寻优，得到最优参数配置；
[0043]
参数配置推荐模块，用于将当前电网运行的有效负载所用的参数与参数配置寻优模块输出的最优参数配置进行相似度计算，选出相似度符合预设条件的参数配置进行推荐。
[0044]
进一步的，所述性能值为综合性能指标，所述综合性能指标根据下式得到：
[0045][0046]
式中，w
1
表示读写性能值iops的权重，w
2
表示延迟性能的权重。
[0047]
进一步的，所述预测性能模块采用样本集构建模块输出的样本集对随机森林模型进行训练和测试得到。
[0048]
进一步的，相似度根据下式计算得到：
[0049][0050]
式中，i
u
和i
v
表示系统性能特征对参数u和v评分结果的项目集合，i
u,v
表示共同评分项目集合，表示参数u和v评分的均值，r
u,i
,r
v,i
表示参数u和v对在性能特征i下的评分，w
i
数值越高表示越越贴合当前用户的需求，w
3
，w
4
分别表示权重。
[0051]
有益效果：本发明与现有技术相比，具有以下优点：
[0052]
(1)本发明方法通过对参数进行降维，选取其中对系统影响度最大的参数，确保参数采样的高效性；通过gibbs采样算法有效挖掘参数之间的关联性，确保数据集的有效性；通过遗传算法来搜寻最优参数配置列表，最后针对当前系统安全态下利用推荐算法进行有效的参数配置推荐，能够有效解决现有云存储平台参数配置综合性能提升不明显的问题；
[0053]
(2)本发明方法通过建立综合性能指标，综合考虑了系统的读写和延迟性能；
[0054]
(3)本发明方法根据ceph配置参数以复杂的非线性关系相互作用，通过选取随机森林来为ceph文件系统构建性能预测模型；
[0055]
(4)实验结果表明，本发明方法可以很好的进行ceph的参数配置优化，在保障系统稳定运行的情况下，使得ceph文件系统综合性能平均提升1.5-3倍。
附图说明
[0056]
图1为本发明的流程图。
具体实施方式
[0057]
现进一步阐述本发明的技术方案。
[0058]
如图1所示的一种云存储系统的参数配置优化方法，具体包括以下步骤：
[0059]
步骤1：云存储系统的参数众多，种类复杂，本发明仅选取对系统影响较大的特征，进而可降低需要优化的特征的维度，有效保障系统配置优化的效率；具体的，收集云存储系统的一系列特征集合列表(参数名称parameter name，参数最大值max_value，参数最小值min_value，性能值performance)，通过主成分分析算法(pca算法)进行特征选择，选出对云存储系统性能影响较大的特征；
[0060]
现对通过主成分分析算法(pca算法)进行特征选择，说明如下：
[0061]
s101：获取原始数据矩阵x，原始数据矩阵x为由m
×
n个排成的m行n列构成的m
×
n的矩阵，其中，j＜m，i＜n；原始数据矩阵x中处于同一列的数据对应一个特征；
[0062]
s102：根据式(1)计算各个特征的均值；
[0063][0064]
s103：将原始数据矩阵x中的元素减去其所在行的均值，并用相减得到的数据替换原本元素，即：采用代替
[0065]
s104：根据式(2)对经过s103替换后的矩阵中的元素进行缩放；
[0066][0067]
式中，max_x
j
表示位于第j行的数据的最大值，min_x
j
表示位于第j行的数据的最小值；
[0068]
s105：基于s140的结果，根据式(3)计算经缩放后的矩阵的协方差矩阵，并求解协方差矩阵的特征值及其对应的特征向量；
[0069][0070]
s106：将s105求解得到的特征向量按大小从上到下排列，取前k行构成变换矩阵p；
[0071]
s107：根据式(4)得到有效数据矩阵y：
[0072]
y＝px
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)。
[0073]
步骤2：对有效数据矩阵y进行分布拟合和通过吉布斯采样算法(gibbs)进行高维采样，得到参数x＝(x
1
，x
2
，...,x
k
)，将参数x＝(x
1
，x
2
，...,x
k
)分别输入至云存储系统中，获取各自对应的读写性能值iops和延迟性能值latency，在本发明中，通过建立综合性能指标perf来表征各参数所对应的性能值：
[0074][0075]
式中，w
1
表示读写性能值iops的权重，w
2
表示延迟性能的权重，在一些实施例中，w
1
＝0.5，w
2
＝0.5。
[0076]
采用参数x＝(x
1
，x
2
，...,x
k
)及其对应的综合性能指标(perf)，构建样本集s，样本
集s中的每个样本表示为s
i
＝{x
i
，perf
i
}。
[0077]
现对通过吉布斯采样算法(gibbs)进行高维采样，得到参数样本x＝(x
1
，x
2
，...,x
k
)，说明如下：
[0078]
输入拟合参数的平稳分布π(x
1
，x
2
，...，x
k
)，设定状态转移次数阈值n1，需要的样本个数n2；
[0079]
随机初始化初始化迭代次数t＝0；
[0080]
for t＝0 to n1+n2-1：
[0081]
从条件概率分布中采样得到参数样本
[0082]
从条件概率分布采样得到参数样本
[0083]
...
[0084]
从条件概率分布中采样得到参数样本
[0085]
步骤3：本发明采用随机森林构建性能预测模型，随机森林是一种强大的集成模型，是bagging算法的一种扩展，对过度拟合具有很强的鲁棒性，并且它没有对预测变量做出任何假设；将样本集s经过交叉取样后，分成训练集s
tr
和测试集s
te
，最终目标是采用经过训练和测试后的随机森林模型进行综合指标性能预测。
[0086]
现对随机森林建模过程说明如下：
[0087]
输入训练集s
tr
，从训练集s
tr
全部样本中选取大小为b的bootstrap样本，对b个bootstrap样本选择k个特征，用建立决策树的方式获得最佳分割点，重复m次，产生m棵决策树，通过聚合b个bootstrap样本树来预测新数据。
[0088]
现对上述过程提供如下伪代码：
[0089]
输入：训练集s
tr
；训练样本b
[0090][0091][0092]
输出：预测性能perf
i
[0093]
步骤4：现通过伪代码进行说明。
[0094]
输入：初始种群p(0)，迭代计数器t，交叉发生的概率p
c
，变异发生的概率p
m
，种群规模m，终止进化的代数t；
[0095][0096]
根据上述伪代码可知，本步骤是将步骤2得到的参数x＝(x
1
，x
2
，...,x
k
)作为性能预测模型的输入，得到其对应的性能预测值，将参数x＝(x
1
，x
2
，...,x
k
)作为遗传算法的输入，其对应的性能预测值作为遗传算法的适应度值，通过采用遗传算法，将参数x＝(x
1
，x
2
，...,x
k
)进行交叉、变异，得到一组新的参数配置，新的参数配置经过性能预测模型预测，得到其对应的性能预测值，再将该新的参数配置作为遗传算法的输入，其对应的性能预测值作为遗传算法的适应度值，通过采用遗传算法，将该新的参数配置进行交叉、变异，得到另一组新的参数配置，重复上述过程，直至找到最优参数配置。
[0097]
将一组参数配置x＝(x
1
，x
2
，...,x
k
)作为遗传算法中的一条染色体，其中的每一个参数值代表一个基因，性能值作为遗传算法的适应度值。变异概率p
m
变异实质上是对参数配置取值空间的深度搜索，变异概率取值太大则会使遗传算法成为随机搜索算法，并且由于随机性太大，遗传算法在搜索上会花费会更多的时间，故p
m
取值为0.01；交叉概率p
c
交叉概率影响了配置方案的交替速度，选取较高的交叉概率使算法效率更高，这里p
c
取0.8；种群规模m与迭代次数t越大，可以增加搜索规模，提高搜索精度，但是太大会增加时间开销，降低搜索的效率，本发明将m和t均设置为150。
[0098]
步骤5：针对当前的电网运行有效负载，将负载所用参数与步骤4得到的最优参数配置根据式(6)进行相似度计算，如果仅仅考虑系统参数之间的相似性情况，容易导致系统性能误差大，同时会造成严重的性能瓶颈，故而将负载运行的安全性能情况考虑进相似度计算中，可以在保证系统安全稳定性的前提下，有效提高系统的性能最后选择出系统安全稳定状态下的参数配置进行推荐，在一些实施例中，通过提供5组参数配置供用户选择。
[0099][0100]
式中，i
u
和i
v
表示系统性能特征对参数u和v评分结果的项目集合，i
u,v
表示共同评分项目集合，表示参数u和v评分的均值，r
u,i
,r
v,i
表示参数u和v对在性能特征i下的评分，w
i
数值越高表示越越贴合当前用户的需求，w
3
，w
4
分别表示权重。
[0101]
在上述方法的基础上，本发明还提出了一种云存储系统的参数配置优化系统，包括：
[0102]
特征提取模块，用于采用主成分分析算法对云存储系统进行有效特征提取；
[0103]
样本集构建模块，用于对特征提取模块输出的有效特征进行高维采样，得到参数样本，获取参数样本对应的性能值，基于参数样本和其对应的性能值构建样本集；
[0104]
预测性能模块，用于进行性能预测；
[0105]
参数配置寻优模块，用于利用遗传算法和预测性能模块，以样本集构建模块输出的参数样本为初始输入，以其对应的性能预测值作为初始适应度值进行寻优，得到最优参数配置；
[0106]
参数配置推荐模块，用于将当前电网运行的有效负载所用的参数与参数配置寻优模块输出的最优参数配置进行相似度计算，选出相似度符合预设条件的参数配置进行推荐。
[0107]
上述提及的性能值为综合性能指标，该综合性能指标根据下式得到：
[0108][0109]
式中，w
1
表示读写性能值iops的权重，w
2
表示延迟性能的权重。
[0110]
上述提及的预测性能模块采用样本集构建模块输出的样本集对随机森林模型进行训练和测试得到。
[0111]
上述提及的相似度根据下式计算得到：
[0112][0113]
式中，i
u
和i
v
表示系统性能特征对参数u和v评分结果的项目集合，i
u,v
表示共同评分项目集合，表示参数u和v评分的均值，r
u,i
,r
v,i
表示参数u和v对在性能特征i下的评分，w
i
数值越高表示越越贴合当前用户的需求，w
3
，w
4
分别表示权重。
[0114]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0115]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。