一种分布式云存储平台性能参数的智能调优系统的制作方法

1.本发明涉及系统参数调节技术领域，具体的说是一种分布式云存储平台性能参数的智能调优系统。


背景技术：

2.分布式云存储往往通过多参数调节其系统性能，不同参数值的设置会直接影响系统性能，例如rockesdb、cache tier和bcache等系统。为获取不同应用场景、不同参数下系统的性能极值，人工调节各项参数存在场景多、参数多、测试量大的问题。


技术实现要素：

3.本发明针对目前技术发展的需求和不足之处，提供一种分布式云存储平台性能参数的智能调优系统。
4.本发明的一种分布式云存储平台性能参数的智能调优系统，解决上述技术问题采用的技术方案如下：
5.一种分布式云存储平台性能参数的智能调优系统，该系统包括服务端和客户端两部分；
6.服务端为多参数系统；
7.客户端包括场景识别模块、数据训练模块和数据交互模块，其中：
8.场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；
9.数据训练模块选用svr算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；
10.数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用svr算法进行参数寻优，最终实现性能参数的自动调优。
11.进一步的，数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用cvt算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用svr算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。
12.具体的，本智能调优系统对ceph集群的cache tier池参数进行调优，调优过程如下：
13.(1)使用场景识别模块自动识别ceph集群的业务场景，获取当前业务场景的block size参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测；
14.(2)数据交互模块根据ceph集群的多组cache tier参数x1(x
11
,x
12
…
x
1i
)
…
xn(x
n1
,
x
n2
…
x
ni
)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的io性能值y1…yn
；
15.(3)数据训练模块根据cache tier参数x1…
xn和对应的集群性能y1…yn
，应用svr算法计算集群io参数的性能模型f(x)；
16.(4)数据训练模块采用拟牛顿法计算性能模型f(x)的极值点yh以及对应的集群参数xh；
17.(5)数据训练模块选用cvt算法在性能模型f(x)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用svr算法计算集群io参数的性能模型f(x)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。
18.优选的，所涉及数据训练模块选用cvt算法在性能模型f(x)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(x)的极值点yh移动。
19.可选的，执行步骤(3)，数据训练模块应用svr算法计算集群io参数的性能模型f(x)，具体流程如下：
20.(3.1)数据训练模块在cache tier参数可选范围q∈r2中预选n个观测点，表示为xi＝[x
i1
,x
i2
…
x
im
]，各参数对应的集群io性能点表示为yi；
[0021]
(3.2)引入非线性映射x
→
φ(x)，将数据映射到高维空间，那么，在精度ε下，集群io参数的性能模型f(x)的非线性拟合函数可表示为：
[0022][0023]
其中，w表示函数的影响因子，b表示函数的偏移量；
[0024]
(3.3)引入rbf高斯核函数：
[0025][0026]
支持向量为svs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据svr算法的最优回归方程：
[0027][0028]
可得出集群io参数的性能模型为：
[0029][0030]
其中，x代表cache tier参数选择(x1,x2…
xm)，
[0031]
σ参数控制函数的宽度，可选取cache tier参数设置的最大值，
[0032]
αi和αi*为拉格朗日函数的参数，为svr算法推导的过程参数，svr算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。
[0033]
可选的，执行步骤(4)，数据训练模块采用拟牛顿法计算性能模型f(x)的极值点yh以及对应的集群参数xh，具体流程如下：
[0034]
(4.1)数据训练模块首先利用性能模型f(x)当前两次迭代之间的位移和目标函数的梯度差构造hessen矩阵近似阵的逆矩阵；
[0035]
(4.2)数据训练模块随后使用拟牛顿法求解性能模型f(x)的极值点yh以及对应的集群参数xh。
[0036]
进一步可选的，执行步骤(4.1)，数据训练模块构造hessen矩阵近似阵的逆矩阵，具体操作为：
[0037]
(4.1.1)将f(x)在x
k+1
处展成taylor级数，取二阶近似，得到：
[0038][0039]
(4.1.2)两边关于x求梯度，得到：
[0040][0041]
(4.1.3)令x＝xk，sk＝x
k+1-xk，且jk＝g
k+1-gk则有：
[0042][0043]
其中，为hessen矩阵；
[0044]
(4.1.4)通过bfgs法构造hessen矩阵的近似阵b
k+1
，并计算近似阵b
k+1
的逆矩阵h
k+1
，如下：
[0045][0046]
逆矩阵h
k+1
满足方程：
[0047]
sk＝h
k+1jk
，
[0048]
该方程即为拟牛顿方程，利用拟牛顿方程沿拟牛顿方向dk＝-h
k gk进行搜索即可产生新的迭代点。
[0049]
进一步可选的，执行步骤(4.2)，数据训练模块使用拟牛顿法求解性能模型f(x)的极值点yh以及对应的集群参数xh，具体操作为：
[0050]
(4.2.1)令k＝0，h0为单位矩阵i，给定初始点x0＝(x0，y0)，设定收敛阈值为τ，迭代次数为n；
[0051]
(4.2.2)计算性能模型f(x)的梯度确定搜索方向dk＝-h
k gk；
[0052]
(4.2.3)从xk出发沿dk搜索，满足令x
k+1
＝xk+λ
kdk
；
[0053]
(4.2.4)若
║
f(x
k+1
)
║
≤τ，则停止迭代，得到最优解x＝x
k+1
，进行步骤(4.2.6)，否则进行步骤(4.2.5)；
[0054]
(4.2.5)若k＝n，则令x＝x
k+1
，进行步骤(4.2.6)，否则令k＝k+1，返回步骤(4.2.2)；
[0055]
(4.2.6)输出最优解x和最优解处的性能模型f(x)，即求得最优cache tier参数xh以及极值点yh。
[0056]
本发明的一种分布式云存储平台性能参数的智能调优系统，与现有技术相比具有的有益效果是：
[0057]
(1)本发明可以实现云存储平台全流程的自动化监测、自动化测试和自动化调优，降低了测试工作量；
[0058]
(2)本发明的智能调优过程中，根据业务场景生成特定的测试命令，能更准确的获得所需性能，使用svr算法计算系统参数和集群性能模型，可以量化两者的数量关系，根据性能模型应用拟牛顿法，可以计算性能模型的极值点，以判断最优的性能参数选择以及理论上的性能极值，根据性能模型使用cvt算法，可多次优化取样点位置，获得更准确的参数及性能模型。
附图说明
[0059]
附图1是本发明实施例一的系统架构图；
[0060]
附图2是本发明实施例一的系统调优流程图。
具体实施方式
[0061]
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
[0062]
实施例一：
[0063]
结合附图1，本实施例提出一种分布式云存储平台性能参数的智能调优系统，该系统包括服务端和客户端两部分。
[0064]
服务端为多参数系统。
[0065]
客户端包括场景识别模块、数据训练模块和数据交互模块，其中：
[0066]
场景识别模块自动识别业务场景，获取当前业务场景的业务参数，并根据识别的业务场景生成特定的测试命令，实现自动化监测；
[0067]
数据训练模块选用svr算法构建系统参数及对应参数的性能模型，选用拟牛顿算法计算性能模型的极值点，获取当前最优的参数配置；
[0068]
数据交互模块实现客户端和服务端的数据交互，首先利用数据训练模块得到的最优参数在服务端自动构建系统可调节模块，随后将场景识别模块根据业务场景生成的特定测试命令发送至服务端，服务端执行该测试命令，并将执行结果反馈至数据训练模块，数据训练模块利用svr算法进行参数寻优，最终实现性能参数的自动调优。
[0069]
数据训练模块选用拟牛顿算法获取当前最优的参数配置后，继续选用cvt算法在性能模型的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次使用svr算法获取性能模型，并使用拟牛顿算法获取性能模型的极值点；数据训练模块多次迭代获取性能模型极值点的过程，并在前后两次迭代的性能极值点比值达到设定阈值时，将最后一次构建的性能模型和取得的极值点作为最优的参数配置。
[0070]
结合附图2，基于本实施例的智能调优系统，以对ceph集群的cache tier池参数进行调优为例，具体调优过程如下：
[0071]
(1)使用场景识别模块自动识别ceph集群的业务场景，获取当前业务场景的block size参数，并针对当前业务场景生成特定的fio测试命令，实现自动化监测。
[0072]
(2)数据交互模块根据ceph集群的多组cache tier参数x1(x
11
,x
12
…
x
1i
)
…
xn(x
n1
,x
n2
…
x
ni
)，分别在服务端自动构建n个存储池作为系统可调节模块，并配置cache tier池，使用场景识别模块生成的fio测试命令分别测得n个存储池对应的io性能值y1…yn
。
[0073]
(3)数据训练模块根据cache tier参数x1…
xn和对应的集群性能y1…yn
，应用svr
算法计算集群io参数的性能模型f(x)，具体流程如下：
[0074]
(3.1)数据训练模块在cache tier参数可选范围q∈r2中预选n个观测点，表示为xi＝[x
i1
,x
i2
…
x
im
]，各参数对应的集群io性能点表示为yi；
[0075]
(3.2)引入非线性映射x
→
φ(x)，将数据映射到高维空间，那么，在精度ε下，集群io参数的性能模型f(x)的非线性拟合函数可表示为：
[0076][0077]
其中，w表示函数的影响因子，b表示函数的偏移量；
[0078]
(3.3)引入rbf高斯核函数：
[0079][0080]
支持向量为svs，在计算过程中，假设在i个观测点中共有k个支持向量，则根据svr算法的最优回归方程：
[0081][0082]
可得出集群io参数的性能模型为：
[0083][0084]
其中，x代表cache tier参数选择(x1,x2…
xm)，
[0085]
σ参数控制函数的宽度，可选取cache tier参数设置的最大值，
[0086]
αi和αi*为拉格朗日函数的参数，为svr算法推导的过程参数，svr算法采用工具箱实现，并不需要对其人工赋值，b表示函数的偏移量。
[0087]
(4)数据训练模块采用拟牛顿法计算性能模型f(x)的极值点yh以及对应的集群参数xh，具体流程如下：
[0088]
(4.1)数据训练模块首先利用性能模型f(x)当前两次迭代之间的位移和目标函数的梯度差构造hessen矩阵近似阵的逆矩阵，具体操作为：
[0089]
(4.1.1)将f(x)在x
k+1
处展成taylor级数，取二阶近似，得到：
[0090][0091]
(4.1.2)两边关于x求梯度，得到：
[0092][0093]
(4.1.3)令x＝xk，sk＝x
k+1-xk，且jk＝g
k+1-gk则有：
[0094][0095]
其中，为hessen矩阵；
[0096]
(4.1.4)通过bfgs法构造hessen矩阵的近似阵b
k+1
，并计算近似阵b
k+1
的逆矩阵h
k+1
，如下：
[0097][0098]
逆矩阵h
k+1
满足方程：
[0099]
sk＝h
k+1jk
，
[0100]
该方程即为拟牛顿方程，利用拟牛顿方程沿拟牛顿方向dk＝-h
k gk进行搜索即可产生新的迭代点。
[0101]
(4.2)数据训练模块随后使用拟牛顿法求解性能模型f(x)的极值点yh以及对应的集群参数xh，具体操作为：
[0102]
(4.2.1)令k＝0，h0为单位矩阵i，给定初始点x0＝(x0，y0)，设定收敛阈值为τ，迭代次数为n；
[0103]
(4.2.2)计算性能模型f(x)的梯度确定搜索方向dk＝-h
k gk；
[0104]
(4.2.3)从xk出发沿dk搜索，满足令x
k+1
＝xk+λ
kdk
；
[0105]
(4.2.4)若
║
f(x
k+1
)
║
≤τ，则停止迭代，得到最优解x＝x
k+1
，进行步骤(4.2.6)，否则进行步骤(4.2.5)；
[0106]
(4.2.5)若k＝n，则令x＝x
k+1
，进行步骤(4.2.6)，否则令k＝k+1，返回步骤(4.2.2)；
[0107]
(4.2.6)输出最优解x和最优解处的性能模型f(x)，即求得最优cache tier参数xh以及极值点yh。
[0108]
(5)数据训练模块选用cvt算法在性能模型f(x)的极值点周围重新取点，重新获取新的系统参数，并测试对应参数的性能，随后再次应用svr算法计算集群io参数的性能模型f(x)，并返回执行步骤(4)，直至前后两个极值点处的性能比值达到设定阈值时，认为集群性能达到最优，取该点处的参数来配置集群cache tier池。
[0109]
需要补充的是：数据训练模块选用cvt算法在性能模型f(x)的极值点周围重新取点的过程中，新的取样点会逐渐向性能模型f(x)的极值点yh移动。
[0110]
综上可知，采用本发明的一种分布式云存储平台性能参数的智能调优系统，可以实现云存储平台全流程的自动化监测、自动化测试和自动化调优，降低了测试工作量。
[0111]
基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。