一种分布式系统中的性能异常预测方法及系统的制作方法
【专利摘要】本发明涉及一种分布式系统中的性能异常预测方法及系统，通过分布式环境的监控系统采集历史性能数据以及实时性能数据，采用特征值提取描述数据的特征，构建出性能变量的模式，并通过朴素贝叶斯分类训练出分类模型，由当前数据模式从历史数据模式进行比较，并在历史数据模式中找到一个与当前数据模式最相似的模式，最后根据贝叶斯预测模型推断出当前数据模式是否是异常状态。本发明本针对分布式系统中的性能异常预测，全面考虑变量的特征的问题，准确率更高，采用机器学习方法贝叶斯模型来指导预测，并实时检测出性能异常情况，并对检测出的预测通过之前得出的贝叶斯模型进行了评估分析，提供了预测的置信度，自动化程度高，提高了预测的可靠性与实用性。
【专利说明】一种分布式系统中的性能异常预测方法及系统
【技术领域】
[0001] 本发明涉及一种性能异常检测预测方法及系统，尤其涉及一种分布式系统中的性 能异常预测方法及系统。
【背景技术】
[0002] 在分布式系统中，各个计算机是相互独立的，可以是物理上相邻的，也可以是地理 上分散的，它们通过网络或者其他方式进行连接，组成一个整体。从研究上来讲，分布式计 算具有以下特点：1.资源共享；2.可伸缩性；3.容错性；4.并发性。
[0003] 为了更好地体现分布式计算的强大的处理数据计算的能力，对分布式计算环境进 行监控将变得尤为重要和关键。系统必须协调这些任务的运行、合理分配资源使资源得到 充分的利用并提升整个系统的性能。通常情况下，系统采用调度程序来管理这些任务。调 度程序会采集系统中各种资源的相关信息以确定资源是否可用，然后调度算法根据资源的 可用性、任务的运行时间等来确定任务的优先级并分配给它们可用的资源。然而随着任务 的运行，各种资源的状态，如CPU负载、剩余内存、硬盘剩余空间等会随时发生改变，如果在 实行调度之前，就能预测到资源在未来某个时间是否依然可用，并合理地避开异常时段对 资源的使用，那么系统的调度结果将更加理想。因此，对系统中的资源进行实时监控，并在 异常发生之前探测到异常的预兆具有重要的意义。
[0004] 系统性能异常是指在软件运行期间，由于资源逐渐耗尽或者运行错误逐渐累积所 导致的计算机系统性能逐渐下降，最终下降到人们所不能容忍的程度的现象。系统性能异 常通常是系统状态行为（如，CPU负载，内存使用率等）不能维持现有的应用程序工作。大 多数异常预测模型都只是基于回归技术的模型，而回归技术具有其特定的局限性，因此此 类模型存在着各自的缺陷，或者只适用于特定的数据，或者预测误差较大等。而基于已存在 的基于分类的异常预测模型，仍需要人工对历史数据分配标识，自动化程度不高，并且只是 从变量值的角度去观察，不能全面考虑变量的特征，因此预测结果会存在一定的误差。
【发明内容】
[0005] 本发明的目的在于提供一种分布式系统中的性能异常预测方法及系统，解决了对 分布式环境性能预测自动化程度不高、只是从变量值的角度去观察而不能全面考虑变量的 特征的问题。
[0006] 为了解决上述问题，本发明涉及了一种分布式系统中的性能异常预测方法，包括 以下步骤：
[0007] S1 :从监控系统中的若干监控结点得到的历史性能数据中提取出目标数据值作为 训练的数据源，并计算出数据源中各历史数据模式的特征值；
[0008] S2:根据各历史数据模式的特征值来分别得到各种状态下各历史数据模式的先验 概率分布，并统计各种状态的概率分布，从而训练出各种数据模式的状态的贝叶斯模型；
[0009] S3 :根据监控系统获取的实时性能数据计算出当前数据模式的特征值；
[0010] S4 :从所述历史数据模式中找到与当前数据模式最相似的数据模式；
[0011] S5:根据S4的输出结果通过S2中训练的贝叶斯模型来预测，分别得出所述多种状 态的概率分布；
[0012] S6 :根据S5中结果来设置自信因子和异常阈值，若自信因子超出异常阈值则预测 为异常状态。
[0013] 较佳地，所述特征值包括性能值变化量、性能值变化率和性能值。
[0014] 较佳地，S2中将所有历史数据模式的各种特征值方差按取值大小排列，并划分为 若干子空间，计算各子空间所对应的特征值方差的特定状态的先验概率。
[0015] 较佳地，S2中根据所述各历史数据模式的特征值训练出各历史数据模式的贝叶斯 模型，分别得到各模式的多种状态的先验概率。
[0016] 较佳地，S4中进一步包括：
[0017] 计算当前数据模式与各历史正常模式之间的特征值的标准方差；
[0018] 得出与当前数据模式所有标准方差之和最小的历史数据模式为当前数据模式的 最相似模式。
[0019] 较佳地，所述状态为异常状态，警告状态以及正常状态。
[0020] 较佳地，S6中还包括设置报警阈值，若自信因子在报警阈值与异常阈值之间，则预 测为报警状态，若自信因子小于报警阈值则预测为正常状态。
[0021] 为了解决上述问题，本发明还涉及了一种分布式系统中的性能异常预测系统，与 分布式系统的监控系统相连，包括：
[0022] 历史特征值计算模块，从监控系统中的若干监控结点得到的历史性能数据中提取 出目标数据值作为训练的数据源，并计算出数据源中各历史数据模式的特征值；
[0023] 先验概率模块，与历史特征值计算模块的输出端相连接，根据各历史数据模式的 特征值来分别得到各种状态下各历史数据模式的先验概率分布，并统计各种状态的概率分 布，从而训练出各种数据模式的状态的贝叶斯模型；
[0024] 实时特征值计算模块，根据监控系统中的若干监控结点获取的实时性能数据计算 出当前数据模式的特征值；
[0025] 相似模式模块，与历史特征值计算模块的输出端以及实时特征计算模块的输出端 相连接，从所述历史数据模式中找到与当前数据模式最相似的数据模式；
[0026] 概率计算模块，根据相似模式模块的输出结果通过先验概率模块中训练的贝叶斯 模型来预测，分别得出所述多种状态的概率分布；以及
[0027] 异常报警模块，根据概率计算模块中结果来设置自信因子和异常阈值，若自信因 子超出异常阈值则预测为异常状态。
[0028] 较佳地，所述特征值包括性能值变化量、性能值变化率和性能值。
[0029] 较佳地，所述状态包括异常状态，警告状态以及正常状态。
[0030] 本发明由于采用以上技术方案，与现有技术相比，具有以下的优点和积极效果：
[0031] 1)本发明本针对分布式系统中的性能异常预测，通过对分布式节点的性能通过特 制值和划分数据模式进行分析，全面考虑变量的特征的问题，准确率更高；
[0032] 2)本发明采用机器学习方法贝叶斯模型来指导预测，并实时检测出性能异常情 况，并对检测出的预测通过之前得出的贝叶斯模型进行了评估分析，提供了预测的置信度， 自动化程度高，提高了预测的可靠性与实用性；
[0033] 3)本发明将各历史数据模式的特征值标准方差转化成多个子空间，将这些子空间 作为贝叶斯模型的参数进行训练，计算个子空间所对应的特定状态的先验概率，进一步提 升了异常预测的准确率。
【专利附图】
【附图说明】
[0034] 图1为本发明一种分布式系统中的性能异常预测方法的流程图；
[0035] 图2为本发明一种分布式系统中的性能异常预测系统的系统框图。
【具体实施方式】
[0036] 以下将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述， 显然，这里所描述的仅仅是本发明的一部分实例，并不是全部的实例，基于本发明中的实施 例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属 于本发明的保护范围。
[0037] 为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的 解释说明，且各个实施例不构成对本发明实施例的限定。
[0038] 实施例一
[0039] 请参考图1，本发明提供了一种分布式系统中的性能异常预测方法，主要包括以下 步骤：
[0040] S1 :从监控系统中的若干监控结点得到的历史性能数据中提取出目标数据值作为 训练的数据源，并计算出数据源中各历史数据模式的特征值；
[0041] 本实施例中，用三个方面的特征值来描述一个数据点，包括性能值变化量（Change Value，CV)、性能值变化率（Change Rate，CR)和性能值（Value，V)。性能值是一个时刻心 的性能度量的值。
[0042] 性能值变化量是一个时刻h与另一个时刻t2的性能度量的差值：
[0043]
【权利要求】
1. 一种分布式系统中的性能异常预测方法，其特征在于，包括以下步骤： 51 :从监控系统中的若干监控结点得到的历史性能数据中提取出目标数据值作为训练 的数据源，并计算出数据源中各历史数据模式的特征值； 52 :根据各历史数据模式的特征值来分别得到各种状态下各历史数据模式的先验概率 分布，并统计各种状态的概率分布，从而训练出各种数据模式的状态的贝叶斯模型； 53 :根据监控系统获取的实时性能数据计算出当前数据模式的特征值； 54 :从所述历史数据模式中找到与当前数据模式最相似的数据模式； 55 :根据S4的输出结果通过S2中训练的贝叶斯模型来预测，分别得出多种状态的概率 分布； 56 :根据S5中结果来设置自信因子和异常阈值，若自信因子超出异常阈值则预测为异 常状态。
2. 如权利要求1所述的一种分布式系统中的性能异常预测方法，其特征在于， 所述特征值包括性能值变化量、性能值变化率和性能值。
3. 如权利要求1所述的一种分布式系统中的性能异常预测方法，其特征在于，S2中将 所有历史数据模式的各种特征值方差按取值大小排列，并划分为若干子空间，计算各子空 间所对应的特征值方差的特定状态的先验概率。
4. 如权利要求3所述的一种分布式系统中的性能异常预测方法，其特征在于，S2中根 据所述各历史数据模式的特征值训练出各历史数据模式的贝叶斯模型，分别得到各模式的 多种状态的先验概率。
5. 如权利要求3所述的一种分布式系统中的性能异常预测方法，其特征在于，S4中进 一步包括： 计算当前数据模式与各历史正常模式之间的特征值的标准方差； 得出与当前数据模式所有标准方差之和最小的历史数据模式为当前数据模式的最相 似模式。
6. 如权利要求3所述的一种分布式系统中的性能异常预测方法，其特征在于，所述状 态为异常状态，警告状态以及正常状态。
7. 如权利要求3所述的一种分布式系统中的性能异常预测方法，其特征在于，S6中还 包括设置报警阈值，若自信因子在报警阈值与异常阈值之间，则预测为报警状态，若自信因 子小于报警阈值则预测为正常状态。
8. -种分布式系统中的性能异常预测系统，与分布式系统的监控系统相连，其特征在 于，包括： 历史特征值计算模块，从监控系统中的若干监控结点得到的历史性能数据中提取出目 标数据值作为训练的数据源，并计算出数据源中各历史数据模式的特征值； 先验概率模块，与历史特征值计算模块的输出端相连接，根据各历史数据模式的特征 值来分别得到各种状态下各历史数据模式的先验概率分布，并统计各种状态的概率分布， 从而训练出各种数据模式的状态的贝叶斯模型； 实时特征值计算模块，根据监控系统中的若干监控结点获取的实时性能数据计算出当 前数据模式的特征值； 相似模式模块，与历史特征值计算模块的输出端以及实时特征计算模块相连接，从所 述历史数据模式中找到与当前数据模式最相似的数据模式； 概率计算模块，根据相似模式模块的输出结果通过先验概率模块中训练的贝叶斯模型 来预测，分别得出所述多种状态的概率分布；以及 异常报警模块，根据概率计算模块中结果来设置自信因子和异常阈值，若自信因子超 出异常阈值则预测为异常状态。
9. 如权利要求8所述的一种分布式系统中的性能异常预测系统，其特征在于，所述特 征值包括性能值变化量、性能值变化率和性能值。
10. 如权利要求8所述的一种分布式系统中的性能异常预测系统，其特征在于，所述状 态包括异常状态，警告状态以及正常状态。
【文档编号】G06Q10/04GK104063747SQ201410294472
【公开日】2014年9月24日 申请日期:2014年6月26日 优先权日:2014年6月26日
【发明者】曹健, 杨定裕, 仇沂, 顾骅, 沈琪骏, 王烺 申请人:上海交通大学