本发明涉及电力信息系统领域,尤其涉及一种电力信息系统资源调配系统及方法。
背景技术:
随着电力系统信息化的不断建设及云计算虚拟化技术的发展与进步,越来越多的电力信息系统都部署在虚拟化平台上,伴随着线上业务的不断运行,系统面临高并发访问和海量数据流的情况屡见不鲜,这就要求承载系统的资源所负担的处理能力和计算强度增强。
现有技术基于任务调度方式的资源调度是应用最广泛的传统资源调度技术,适应性很强,是实现大规模计算的一种重要方式,在虚拟化集群环境下,也有着广泛的应用。
然而,该技术是一种应用级别的调度技术,具有应用针对性和对象分布式特性,它的调度虚拟机对象集合需要是提供相同个计算应用的逻辑集群。对于大型企业,尤其是电力企业体系庞大,分支机构众多,使用多家厂商的设备,随着电力企业业务发展,数据规模越来越大,需要一套适合电力企业的专业的资源调配方法及系统对庞大的资源进行专业、高效、简易的管理。
现有的资源调配方法虽然能够资源的动态调配,但是仅限于在发现系统资源发生不足或过剩的情况下,进行针对结果的调整与措施,缺乏对预测性资源评估,无法对信息系统资源容量提前进行预测与评估,无法指导资源预算,极大的浪费人力资源成本。
技术实现要素:
针对现有技术的不足,本发明的目的是提供一种电力信息系统资源调配方法及系统,配置设定后,无需人工干涉,自主独立对电力系统资源匹配进行精准分析并预测;对资源做精准的管理,提升电网资源管理的合理性及精确性。
为了实现上述目的,本发明的一方面提供了一种电力信息系统资源调配系统,该系统包括电力信息系统资源器、存储容量控制器以及系统状态预警器,其中电力信息系统资源器与存储容量控制器相连,存储容量控制器与系统状态预警器相连。
所述电力信息系统资源器,用于对云资源虚拟化资源的实时调配,连接it运维系统中的实时资源数据,输出调配方案,达到各信息系统资源平衡,稳定运行的目的。
所述存储容量控制器,用于对各信息系统中的硬盘及数据库的容量预测,并根据设定的阈值进行终端报警及提示,根据资源占有率情况进行及时增容或减容。
所述系统状态预警器,用于对信息系统目前的状态进行评价及分析,根据系统的各综合评判指标对系统处在正常、注意、异常、危险等状态进行分析及预警,指导信息系统运维人员及时发现问题并处理问题,使系统安全有效的运行。
为了解决上述目的,本发明的另一方面提供了一种电力信息资源调配方法,该方法针对目前电力信息系统资源调度和资源动态调配中存在的系统性能、容量不足方面的隐患,提出一种基于时间序列的云资源容量资源调配方法,通过时间序列模型,预测未来业务周期内电力信息系统资源使用的变化情况,针对电网业务中各信息系统的特点,制定准确、灵活的资源调配策略,使信息系统性能的利用率提升30%,同时使信息系统的非计划中断时长降低50%,确保电网各业务流程的有效运转,为电网信息系统运维人员的工作提供了参考依据。
具体方法包括如下步骤:
步骤s11、数据收集与预处理
记部件类别数为m,数据为当前时刻全部设备某类部件的采集指标,样本容量为n,即样本包含n个该类部件的指标数据,第i类部件上的指标数量为pi(i=1,2,..,m)。为了便于衡量指标偏离标准值或指标标准范围值的程度,进而衡量部件的健康程度,制定转换规则:
对于有标准值的指标,将采集值转化为偏差率,则偏差率越小设备状态越稳定。记采集值为v,标准值为u,记偏差率为x,则:
对于有标准区间的指标,可以将采集值偏离区间的程度转换为:
记采集值为v,标准区间上限为uu,标准区间下限为ul,记偏离程度为x,根据统计分析得出一个区间,再根据专家经验判断和业界标准修正该区间。
对于同类型的设备,某类部件在数量上存在多个,对应指标值也会有多个,该情况下需要将多个指标值转换为1个综合指标值。模型最终输入如下:
xi=(x1ix2i…xni)t,i=1,2,...,pi
其中xi为指标i的样本值,xij为第i个部件第j个指标的取值。
不同指标的数量级和量纲可能会有所不同,需要进行标准化处理以消除数量级和量纲的影响。
对于正向指标,即越大越好的指标,作如下转换:
对于负向指标,即越小越好的指标,作如下转换:
标准化后的指标均属于区间[0,1],为了便于理解起见,记标准化处理后的数据仍为xij。
第j个指标与其他指标的冲突性量化指标为:(1-rij),其中rij评价指标i和j之间的相关系数,记指标xi与xj的相关系数为rij,则rij为:
其中
计算得r的结果在区间[-1,1],r<0认为xi与xj是负相关的,r>0认为xi与xj是正相关的,r=0说明xi与xj无直线关系,r越接近于0,则认为xi与xj相关性越低。
各个指标的客观权重就是以对比强度和冲突性来综合衡量的。设cj表示第j个评价指标所包含的信息量,则cj可以表示为:
其中σj表示指标xi的标准差,σj未知的情况下,可根据样本标准差估算,记
cj越大,第j个评价指标所包含的信息量越大,该指标的相对重要性也就越大,计算第j个指标的客观权重:
采用critic算法建模得到某类部件的指标权重向量记为wc。
步骤s12、采用时间序列算法构建模型,对电力业务系统进行分析。
该模型研究所涉及的指标全部随时间而变化,采用arima模型即差分自回归滑动平均模型,具体技术方案如下:
记指标x对应的时间序列可表示为:
{xt:t=0,±1,±2,...}
如果x是平稳序列,则:
其中e表示期望。
如果x是非平稳序列则需要先对{xt}进行差分运算,记δ为差分算子,差分计算过程如下:
δxt=xt-xt-1=xt-bxt=(1-b)xt
δ2xt=δxt-δxt-1=(1-b)xt-(1-b)xt-1=(1-b)2xt
δdxt=(1-b)dxt
将差分结果记为wt:
wt=δdxt=(1-b)dxt
则wt是平稳序列,所得到的模型称为xt~arima(p,d,q),模型形式是
其中δ为常量,ut为白噪声序列(期望和方差均为常数的序列),可将模型简化表示为以下形式:
φ(b)δdxt=δ+θ(b)ut
其中φ(b)为p阶自回归系数多项式:
θ(b)为q阶移动平均系数多项式:
θ(b)=1-θ1b-θ2b2-…-θqbq
当δ=0时,上述模型为中心化的arima(p,d,q)模型。
针对arima(a,b,c)来说,当模型中a和c均为0时,应适用自回归模型ar(p),当b和c均为0时,应适用移动平均模型ma(q)。
自回归模型ar(p)为:
移动平均模型ma(q)为:
对于arima(p,d,q)模型当d和q均为0时,得到自回归模型ar(p),当d和p均为0时得到滑动平均模型ma(q)。
时间序列在信息系统资源调配中主要应用于数据库、服务器硬盘及中间件等存储设备容量的预测及评估。首先通过散点图、自相关及偏相关图形判断其趋势性变化规律,辨识其属于平稳性或非平稳性序列,若属于非平稳性时间序列,则需要对其进行平稳化处理,对数据进行异方差消除,使上述参数趋近与零,达到平稳性序列的分析要求。
具体构建方法如下:
第一步,根据时间序列的散点图、自相关函数和偏自相关函数图以adf单位根检验其方差、趋势及其季节性变化规律,对序列的平稳性进行识别。
第二步,对非平稳序列进行平稳化处理:如果数据序列是非平稳的,并存在一定的增长或下降趋势,则需要对数据进行差分处理,如果数据存在异方差,则需对数据进行技术处理,直到处理后的数据的自相关函数值和偏相关函数值无显著地异于零。
第三步,根据时间序列模型的识别规则,建立相应的模型:若平稳序列的偏相关函数是截尾的,而自相关函数是拖尾的,可断定序列适合ar模型;若平稳序列的偏相关函数是拖尾的,而自相关函数是截尾的,则可断定序列适合ma模型;若平稳序列的偏相关函数和自相关函数均是拖尾的,则序列适合arma模型。
第四步,进行参数估计,检验是否具有统计意义。
第五步,进行假设检验,诊断残差序列是否为白噪声。
第六步,利用已通过检验的模型进行预测分析。
记需要预测指标数为p,指标i历史数据序列为:
xi={xt,i,xt-1,i,...,xt-n,i},i=1,2,...,p,
对序列xi,根据arima预测t+1时刻的指标为xt+1,i,最终得到t+1时刻指标估计向量为
其中
根据上述公式判断其适合的模型,若偏相关函数截尾,则适合ar模型(自回归模型),若自相关截尾,偏相关拖尾,则适合ma模型(滑动平均模型),若自相关及偏相关系数均截尾,则适合arma模型(差分自回归滑动平均模型)。
步骤s13、分层次进行电力信息系统资源调配
通过对业务系统的分析,将系统有关的资源调度进行分析归类,按照各种调度技术针对的资源抽象层次、目标等特点的不同,把虚拟化环境下的资源调度技术自下向上分为物理层资源调度、虚拟层资源调度和应用层资源调度。
物理层资源调度的目标对象为物理机的负载,通过调节虚拟机的分布来改变物理机的资源负载,分为负载平衡或节能;负载平衡调度通过调节虚拟机的分布而使物理机集群的负载趋向于平衡;而节能调度通过调节虚拟机的分布而使物理机集群的负载趋向于饱和,释放不需要的资源,达到节能的效果。
虚拟层的资源调度主要针对虚拟机的负载,通过调节虚拟机的资源,从而改变虚拟机的负载状况,进而改变虚拟机中的应用性能。
应用层的资源调度主要针对具体的应用,传统的任务调度就是基于应用层的资源调度,通过调节不同节点上应用的任务量,从而改变整个应用整体的服务能力。
为了实现上述目标,本发明还提供一种有效的容量评估方法,基于云资源应用状态评价模型,进行云资源容量的分析和评估,容量评估模型构建方法,根据历史数据训练结果,结合业务系统指标管理要求,确定出系统应用指标和资源指标基线;根据大量历史数据,结合业务时间窗口,预测下一个业务周期的数据,掌握下一个业务周期数据的变化情况;通过业务下一个业务周期预测数据与基线数据的对比,发现下一个业务周期来临时的数据是否超过历史基线数据,如果超过,需要调整资源来满足业务的要求;掌握调整时间后,对调整量进行分析,结合系统业务架构,定义服务单元,找到服务器单元与系统应用数据和资源数据之间的关系,结合业务周期预测结果,得出具体的调整量。
具体步骤如下:
步骤s21、建立基线
(1)、筛选业务系统一段历史周期的在线用户数数据;
(2)、绘制在线用户数的散点图,观察在线用户数的分布情况;
(3)、根据历史数据训练结果,结合业务系统指标管理要求,确定出系统应用指标和资源指标基线,基线确定后,后期系统运行将在这个基线的范围内运行,如果不满足基线要求,则认为系统不稳定。
步骤s22、业务周期数据预测
使用时间序列算法发现时间指标随时间变化的规律,并能预测未来时刻的指标值,以用于解决实际问题,容量评估及资源调整流程如下:
(1).指标基线建立
容量评估需要建立基线来判断是否需要进行资源调整,建立的基线包括:在线用户数基线和资源使用率的基线。首先,筛选业务系统一段历史周期的在线用户数数据;其次,绘制在线用户数的散点图,观察在线用户数的分布情况;其次,计算指标值的标准差,基线的建立可以通过指标预测值加减标准差来构造。
(2).指标预测
根据时间序列的散点图、自相关函数和偏自相关函数图以adf单位根检验其方差、趋势及其季节性变化规律,对序列的平稳性进行识别;对非平稳序列进行平稳化处理;根据时间序列模型的识别规则,建立相应的模型,并进行参数估计,检验是否具有统计意义,利用已通过检验的模型进行预测分析。
(3).资源调整判断
对系统资源的调整是在一个业务周期结束下一个业务周期开始时进行调整,对下一个业务周期的预测在上面通过arima模型已经实现,现在根据预测的结果来确实是否要进行资源调整。
判断依据如下:
当预测的在线用户数或资源利用率只要有任何一个超过限制(最大支持在线用户数或资源使用率),则都需要调整(增加资源)。
当预测的资源利用率低于标准资源利用率最小值时,则需要进行调整(资源释放)。
业务系统对资源的使用情况存在以下几种情况:
资源不足:使用性能测试方法中的负载测试和压力测试方法,在系统平均响应时间和系统资源利用率在运行性能参数的范围内,测试出系统支持的最大用户数,我们用u表示。
根据判断依据,当r’>r(b)或u’>u时,需要进行资源调整,调整策略为:增加资源。
资源过盛:在系统平均响应时间在指定的范围内,只要资源利用率小于标准最小值,那么就需要考虑释放资源,这时与在线用户数的多少无关。
根据判断依据,当r’<r(a)时,需要进行资源调整,调整策略为:释放资源。
资源满足:在线用户数和资源利用率都在标准值范围时,则不进行调整。
根据判断依据,当s<5并且r’∈[a,b]时,则不需要进行资源调整。
(4).资源调整
通过预测下一个业务周期的情况并作出判断后,需要根据判定结果给出相应的调整策略,并能够结合系统架构给出定量的策略。
本发明的业务系统是解耦的具备横向扩展能力架构的系统,在此架构中,我们在状态评价模型中,定义了服务单元的概念,每个服务单元中的服务器由若干个配置信息相同的服务器组成,系统具备负载均衡能力,即每个服务单元将均摊所有负载。以下将针对资源调整,给出定量的评价。
系统资源的动态调整是基于大量的历史运维数据,利用大数据技术和可视化技术,构建对系统资源状态诊断和预测的模型,填补电网信息系统运维数据资产管理、信息系统架构评价和运行状态预测的空白,为信息系统运行管理做出决策分析,提升运维管理水平,利用诊断和预测模型,对系统资源的增长量进行预估,判断未来数据容量是否满足应用要求,及时调整资源配置。
步骤23、容量评估
对信息系统资源的调整是在一个业务周期结束下一个业务周期开始时进行调整,对下一个业务周期的预测在上面通过arima模型已经实现,现在根据预测的结果来确定是否要进行资源调整。
通过系统资源动态分析与调配工具,系统运维人员可实时监控及分析数据库、服务器硬盘及中间件等空间占用情况,根据增长量及时间的评估做出正确及时的判断,提高系统运维水平。
对于交互式应用,系统性能对用户的体验是直接通过“系统响应时间”来体现,对于系统来说性能通过“并发用户数”或“吞吐量”来表示。吞吐量在交互式应用中,反映的是服务器的承受压力,用来解释系统级别的负载能力。
根据系统业务周期,动态调整资源,提高资源利用率。模型评估采取模拟实验进行资源调整,模型有效率评价采用准确率的平均值,稳定性评价采用有效率的均方误差。记共进行了n次实验,某次实验资源调整次数为ni,有效率为ri,则:
其中xj表示第j次资源调整有效与否
则n次实验的平均有效率为:
准确率均方误差为:
mse越接近于0,则说明模型越稳定。
本次试验中系统平均响应时间小于5秒并且预测的资源利用率为7.4%,不需要进行资源调整。
步骤s24、容量调整
当我们通过预测下一个业务周期的情况并作出判断后,需要根据判定结果给出相应的调整策略,并能够结合系统架构给出定量的策略。
在状态评价模型中,定义了服务单元的概念,每个服务单元中的服务器由若干个配置信息相同的服务器组成,系统具备负载均衡能力,即每个服务单元将均摊所有负载。以下将针对资源调整,给出定量的评价。
定义全局参数:
n0:表示当前服务单元数量
nt:表示未来t时刻服务单元数量
m:表示调整的服务单元数量
一.增加资源情况分析
定义以下参数:
umax:表示系统最大支持在线用户数或最大并发量
那么,每个单元的服务能力我们用p表示:p=u/n
ut:表示下一个业务周期在线用户数预测值或系统并发量预测值。
那么,需要至少增加的单元数量为:
当m出现小数时,考虑到我们调整的都是服务单元,因此应该调整为整数,向上取整。
二.释放资源情况分析
定义以下参数:
rmax:表示资源利用率上限
rmin:表示资源利用率下限
m:表示调整的服务单元数量
rt:表示下一个业务周期在系统资源利用率预测值
mmax:最多需要释放的单元数量为:
mmin:最少需要释放的单元数量为:
如果mmax,,mmin出现小数,同样采用取整,因为此时是释放资源,因此向下取整。
附图说明
图1为本发明提供的一种电力信息系统资源调配系统结构框架图。
图2为本发明提供的一种电力信息资源调配流程图。
图3为本发明提供的一种差分自回归滑动平均模型构建流程图
图4为本发明提供的一种容量评估模型构建方法图
图5为本发明提供的一种在线用户数分布散点图
图6为本发明提供的一种容量评估及资源调整流程图
具体实施方式
如图1所示,本发明提供了一种电力信息系统资源调配系统,该系统包括电力信息系统资源器、存储容量控制器以及系统状态预警器,其中电力信息系统资源器与存储容量控制器相连,存储容量控制器与系统状态预警器相连。
所述电力信息系统资源器,用于对云资源虚拟化资源的实时调配,连接it运维系统中的实时资源数据,输出调配方案,达到各信息系统资源平衡,稳定运行的目的。
所述存储容量控制器,用于对各信息系统中的硬盘及数据库的容量预测,并根据设定的阈值进行终端报警及提示,根据资源占有率情况进行及时增容或减容。
所述系统状态预警器,用于对信息系统目前的状态进行评价及分析,根据系统的各综合评判指标对系统处在正常、注意、异常、危险等状态进行分析及预警,指导信息系统运维人员及时发现问题并处理问题,使系统安全有效的运行。
如图2所示,本发明公开了一种电力信息资源调配方法,该方法包括:
步骤s11、数据收集与预处理
记部件类别数为m,数据为当前时刻全部设备某类部件的采集指标,样本容量为n,即样本包含n个该类部件的指标数据,第i类部件上的指标数量为pi(i=1,2,..,m)。为了便于衡量指标偏离标准值或指标标准范围值的程度,进而衡量部件的健康程度,制定以下转换规则:
对于有标准值的指标。可以将采集值转化为偏差率,则偏差率越小设备状态越稳定。
记采集值为v,标准值为u,记偏差率为x,则:
对于有标准区间的指标。可以将采集值偏离区间的程度转换为:
记采集值为v,标准区间上限为uu,标准区间下限为ul,记偏离程度为x,则:
表-1指标转换规则
标准值和标准区间的确定一方面根据专家经验判断和业界标准确定,一方面可以根据大量历史数据统计指标数据分布找出取值发生频率最高或者取值集中的区间作为标准值和标准区间。在实际操作中,我们可以将两者结合起来使用,先根据统计分析得出一个区间,再根据专家经验判断和业界标准修正该区间。
对于同类型的设备,某类部件在数量上可能会存在多个,对应指标值也会有多个,该情况下需要将多个指标值转换为1个综合指标值。转换规则如下:
表-2同一设备某类部件存在多个的情形
经过以上处理后的模型最终输入如下:
xi=(x1ix2i…xni)t,i=1,2,...,pi
其中xi为指标i的样本值,xij为第i个部件第j个指标的取值。
不同指标的数量级和量纲可能会有所不同,需要进行标准化处理以消除数量级和量纲的影响。
对于正向指标,即越大越好的指标,作如下转换:
对于负向指标,即越小越好的指标,作如下转换:
标准化后的指标均属于区间[0,1],为了便于理解起见,记标准化处理后的数据仍为xij。
第j个指标与其他指标的冲突性量化指标为:(1-rij),其中rij评价指标i和j之间的相关系数,记指标xi与xj的相关系数为rij,则rij为:
其中
计算得r的结果在区间[-1,1],r<0认为xi与xj是负相关的,r>0认为xi与xj是正相关的,r=0说明xi与xj无直线关系,r越接近于0,则认为xi与xj相关性越低。
各个指标的客观权重就是以对比强度和冲突性来综合衡量的。设cj表示第j个评价指标所包含的信息量,则cj可以表示为:
其中σj表示指标xi的标准差,σj未知的情况下,可根据样本标准差估算,记
cj越大,第j个评价指标所包含的信息量越大,该指标的相对重要性也就越大,计算第j个指标的客观权重:
采用critic算法建模得到某类部件的指标权重向量记为wc。
步骤s12、采用时间序列算法构建模型,对电力业务系统进行分析。
该模型所涉及的指标全部随时间而变化,以arima模型即差分自回归滑动平均模型为例,具体方法如下:
记指标x对应的时间序列可表示为:
{xt:t=0,±1,±2,...}
如果x是平稳序列,则:
其中e表示期望。
如果x是非平稳序列则需要先对{xt}进行差分运算,记δ为差分算子,差分计算过程如下:
δxt=xt-xt-1=xt-bxt=(1-b)xt
δ2xt=δxt-δxt-1=(1-b)xt-(1-b)xt-1=(1-b)2xt
δdxt=(1-b)dxt
将差分结果记为wt:
wt=δdxt=(1-b)dxt
则wt是平稳序列,所得到的模型称为xt~arima(p,d,q),模型形式是
其中δ为常量,ut为白噪声序列(期望和方差均为常数的序列),可将模型简化表示为以下形式:
φ(b)δdxt=δ+θ(b)ut
其中φ(b)为p阶自回归系数多项式:
θ(b)为q阶移动平均系数多项式:
θ(b)=1-θ1b-θ2b2-…-θqbq
当δ=0时,上述模型为中心化的arima(p,d,q)模型。
针对arima(a,b,c)来说,当模型中a和c均为0时,应适用自回归模型
ar(p),当b和c均为0时,应适用移动平均模型ma(q)。
自回归模型ar(p)为:
移动平均模型ma(q)为:
对于arima(p,d,q)模型当d和q均为0时,得到自回归模型ar(p),当d和p均为0时得到滑动平均模型ma(q)。
时间序列在信息系统资源调配中主要应用于数据库、服务器硬盘及中间件等存储设备容量的预测及评估。首先通过散点图、自相关及偏相关图形判断其趋势性变化规律,辨识其属于平稳性或非平稳性序列,若属于非平稳性时间序列,则需要对其进行平稳化处理,对数据进行异方差消除,使上述参数趋近与零,达到平稳性序列的分析要求。
如图3所示,具体构建方法如下:
第一步,根据时间序列的散点图、自相关函数和偏自相关函数图以adf单位根检验其方差、趋势及其季节性变化规律,对序列的平稳性进行识别。
第二步,对非平稳序列进行平稳化处理。如果数据序列是非平稳的,并存在一定的增长或下降趋势,则需要对数据进行差分处理,如果数据存在异方差,则需对数据进行技术处理,直到处理后的数据的自相关函数值和偏相关函数值无显著地异于零。
第三步,根据时间序列模型的识别规则,建立相应的模型。若平稳序列的偏相关函数是截尾的,而自相关函数是拖尾的,可断定序列适合ar模型;若平稳序列的偏相关函数是拖尾的,而自相关函数是截尾的,则可断定序列适合ma模型;若平稳序列的偏相关函数和自相关函数均是拖尾的,则序列适合arma模型。
第四步,进行参数估计,检验是否具有统计意义。
第五步,进行假设检验,诊断残差序列是否为白噪声。
第六步,利用已通过检验的模型进行预测分析。
记需要预测指标数为p,指标i历史数据序列为:
xi={xt,i,xt-1,i,...,xt-n,i},i=1,2,...,p,
对序列xi,根据arima预测t+1时刻的指标为xt+1,i,最终得到t+1时刻指标估计向量为
其中
根据上述公式判断其适合的模型,若偏相关函数截尾,则适合ar模型(自回归模型),若自相关截尾,偏相关拖尾,则适合ma模型(滑动平均模型),若自相关及偏相关系数均截尾,则适合arma模型(差分自回归滑动平均模型)。
步骤s13、分层次进行电力信息系统资源调配
通过对业务系统的分析,将系统有关的资源调度进行分析归类,按照各种调度技术针对的资源抽象层次、目标等特点的不同,把虚拟化环境下的资源调度技术自下向上分为物理层资源调度、虚拟层资源调度和应用层资源调度。
物理层资源调度的目标对象为物理机的负载,通过调节虚拟机的分布来改变物理机的资源负载,分为负载平衡或节能;负载平衡调度通过调节虚拟机的分布而使物理机集群的负载趋向于平衡;而节能调度通过调节虚拟机的分布而使物理机集群的负载趋向于饱和,释放不需要的资源,达到节能的效果。
虚拟层的资源调度主要针对虚拟机的负载,通过调节虚拟机的资源,从而改变虚拟机的负载状况,进而改变虚拟机中的应用性能。
应用层的资源调度主要针对具体的应用,传统的任务调度就是基于应用层的资源调度,通过调节不同节点上应用的任务量,从而改变整个应用整体的服务能力。
为了实现上述目标,本发明还提供一种有效的容量评估方法,如图4所示,基于云资源应用状态评价模型,进行云资源容量的分析和评估,容量评估模型构建方法,根据历史数据训练结果,结合业务系统指标管理要求,确定出系统应用指标和资源指标基线,基线确定后,后期系统运行将在这个基线的范围内运行,如果不满足基线要求,则认为系统不稳定。
根据大量历史数据,结合业务时间窗口,预测下一个业务周期的数据,掌握下一个业务周期数据的变化情况。
前面的两个步骤实现对下一个业务周期数据的预测,同时也建立了基线,通过业务下一个业务周期预测数据与基线数据的对比,能够发现下一个业务周期来临时的数据是否超过历史基线数据,如果超过,那么是需要调整资源来满足业务的要求。掌握了调整时间点后,就需要对调整量进行分析,结合系统业务架构,定义服务单元,找到服务器单元与系统应用数据和资源数据之间的关系,结合业务周期预测结果,得出具体的调整量。
通过建立基线、下一个业务周期数据预测、与基线对比、容量评估四个步骤完成,具体步骤如下:
步骤s21、建立基线
首先,筛选业务系统一段历史周期的在线用户数数据;其次绘制在线用户数的散点图,观察在线用户数的分布情况。如图5所示,横轴为时间(天),竖轴为指标值,黄色曲线为指标的预测值曲线;再次,计算指标值的标准差,基线的建立可以通过指标预测值加减标准差来构造,如图5所示。
根据历史数据训练结果,结合业务系统指标管理要求,确定出系统应用指标和资源指标基线,基线确定后,后期系统运行将在这个基线的范围内运行,如果不满足基线要求,则认为系统不稳定。
s22、业务周期数据预测
使用时间序列算法发现时间指标随时间变化的规律,并能预测未来时刻的指标值,以用于解决实际问题,容量评估及资源调整流程如图6所示,如下:
(1).指标基线建立
容量评估需要建立基线来判断是否需要进行资源调整,建立的基线包括:在线用户数基线和资源使用率的基线。首先,筛选业务系统一段历史周期的在线用户数数据;其次,绘制在线用户数的散点图,观察在线用户数的分布情况。如图5所示,横轴为时间(天),竖轴为指标值,黄色曲线为指标的预测值曲线;其次,计算指标值的标准差,基线的建立可以通过指标预测值加减标准差来构造。
(2).指标预测
根据时间序列的散点图、自相关函数和偏自相关函数图以adf单位根检验其方差、趋势及其季节性变化规律,对序列的平稳性进行识别。对非平稳序列进行平稳化处理。根据时间序列模型的识别规则,建立相应的模型,并进行参数估计,检验是否具有统计意义,利用已通过检验的模型进行预测分析。
(3).资源调整判断
对系统资源的调整是在一个业务周期结束下一个业务周期开始时进行调整,对下一个业务周期的预测在上面通过arima模型已经实现,现在根据预测的结果来确实是否要进行资源调整。
我们判定一个系统是否资源过盛或闲置可以通过这两个指标的来判断,判断依据如下:
当预测的在线用户数或资源利用率只要有任何一个超过限制(最大支持在线用户数或资源使用率),则都需要调整(增加资源)。
当预测的资源利用率低于标准资源利用率最小值时,则需要进行调整(资源释放)。
业务系统对资源的使用情况存在以下几种情况:
资源不足:使用性能测试方法中的负载测试和压力测试方法,在系统平均响应时间和系统资源利用率在运行性能参数的范围内,测试出系统支持的最大用户数,我们用u表示。
根据判断依据,当r’>r(b)或u’>u时,需要进行资源调整,调整策略为:增加资源。
资源过盛:在系统平均响应时间在指定的范围内,只要资源利用率小于标准最小值,那么就需要考虑释放资源,这时与在线用户数的多少无关。
根据判断依据,当r’<r(a)时,需要进行资源调整,调整策略为:释放资源。
资源满足:在线用户数和资源利用率都在标准值范围时,则不进行调整。
根据判断依据,当s<5并且r’∈[a,b]时,则不需要进行资源调整。
(4).资源调整策略
当我们通过预测下一个业务周期的情况并作出判断后,需要根据判定结果给出相应的调整策略,并能够结合系统架构给出定量的策略。
本发明的业务系统是解耦的具备横向扩展能力架构的系统,在此架构中,我们在状态评价模型中,定义了服务单元的概念,每个服务单元中的服务器由若干个配置信息相同的服务器组成,系统具备负载均衡能力,即每个服务单元将均摊所有负载。以下将针对资源调整,给出定量的评价。
系统资源的动态调整是基于大量的历史运维数据,利用大数据技术和可视化技术,构建对系统资源状态诊断和预测的模型,填补电网信息系统运维数据资产管理、信息系统架构评价和运行状态预测的空白,为信息系统运行管理做出决策分析,提升运维管理水平,利用诊断和预测模型,对系统资源的增长量进行预估,判断未来数据容量是否满足应用要求,及时调整资源配置。
步骤23、容量评估
如图4所示,对信息系统资源的调整是在一个业务周期结束下一个业务周期开始时进行调整,对下一个业务周期的预测在上面通过arima模型已经实现,现在根据预测的结果来确定是否要进行资源调整。
通过系统资源动态分析与调配工具,系统运维人员可实时监控及分析数据库、服务器硬盘及中间件等空间占用情况,根据增长量及时间的评估做出正确及时的判断,提高系统运维水平。
对于交互式应用,系统性能对用户的体验是直接通过“系统响应时间”来体现,对于系统来说性能通过“并发用户数”或“吞吐量”来表示。吞吐量在交互式应用中,反映的是服务器的承受压力,用来解释系统级别的负载能力。
根据系统业务周期,动态调整资源,提高资源利用率。模型评估采取模拟实验进行资源调整,模型有效率评价采用准确率的平均值,稳定性评价采用有效率的均方误差。记共进行了n次实验,某次实验资源调整次数为ni,有效率为ri,则:
其中xj表示第j次资源调整有效与否
则n次实验的平均有效率为:
准确率均方误差为:
mse越接近于0,则说明模型越稳定。
本次试验中系统平均响应时间小于5秒并且预测的资源利用率为7.4%,不需要进行资源调整。
步骤s24、容量调整策略
当我们通过预测下一个业务周期的情况并作出判断后,需要根据判定结果给出相应的调整策略,并能够结合系统架构给出定量的策略。
在状态评价模型中,定义了服务单元的概念,每个服务单元中的服务器由若干个配置信息相同的服务器组成,系统具备负载均衡能力,即每个服务单元将均摊所有负载。以下将针对资源调整,给出定量的评价。
定义全局参数:
n0:表示当前服务单元数量
nt:表示未来t时刻服务单元数量
m:表示调整的服务单元数量
1.增加资源情况分析
定义以下参数:
umax:表示系统最大支持在线用户数或最大并发量
那么,每个单元的服务能力我们用p表示:p=u/n
ut:表示下一个业务周期在线用户数预测值或系统并发量预测值。
那么,需要至少增加的单元数量为:
当m出现小数时,考虑到我们调整的都是服务单元,因此应该调整为整数,向上取整。
2.释放资源情况分析
定义以下参数:
rmax:表示资源利用率上限
rmin:表示资源利用率下限
m:表示调整的服务单元数量
rt:表示下一个业务周期在系统资源利用率预测值
mmax:最多需要释放的单元数量为:
mmin:最少需要释放的单元数量为:
如果mmax,,mmin出现小数,同样采用取整,因为此时是释放资源,因此向下取整。
以上给出了具体的实施方式,但本发明不局限于所描述的实施方式。本发明的基本思路在于上述基本方案,对本领域普通技术人员而言,根据本发明的教导,设计出各种变形的模型、公式、参数并不需要花费创造性劳动。在不脱离本发明的原理和精神的情况下对实施方式进行的变化、修改、替换和变型仍落入本发明的保护范围内。