一种主、备调系统中异常数据关联分析预警方法与流程

本发明涉及数据分析，具体涉及一种主、备调系统中异常数据关联分析预警方法。

背景技术：

1、随着网页应用发展迅速，传统的各类客户端应用程序已经逐步被简单易用的web系统所替代，web为全球广域网的简称，在部署各类web系统时,为了保障web系统的持续性运行，通常会采用双机集群系统来部署web系统，双机集群系统包括主服务器和备服务器，在web系统中，由主服务器提供web服务，在需要切换时，则切换到备服务器，主备系统往往交互时往往存在异常数据，需要对其进行分析和预警，本方案具体涉及一种主、备调系统中异常数据关联分析预警方法；

2、但是现有的主、备调系统中异常数据关联分析预警方法没有用关联分析方法研究主备系统数据构成的时间序列的内在关联特征，无法确定基于实时监测数据的预警指标及其预警阈值，不便于分析数据异常情况，对于单一的检测点无法适用，主备系统难以进行有效的决策，没有进行异常点进行检测，会导致系统数据分析过程中受到干扰，影响异常数据关联分析预警方法的准确性。

技术实现思路

1、本发明的主要目的在于提供一种主、备调系统中异常数据关联分析预警方法，可以有效解决背景技术中提出的没有用关联分析方法研究主备系统数据构成的时间序列的内在关联特征，无法确定基于实时监测数据的预警指标及其预警阈值，不便于分析数据异常情况，对于单一的检测点无法适用，主备系统难以进行有效的决策，没有进行异常点进行检测，会导致系统数据分析过程中受到干扰，影响异常数据关联分析预警方法的准确性的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、一种主、备调系统中异常数据关联分析预警方法，包括以下步骤：

4、步骤一、数据统计及关联分析，主备系统数据统计参数主要是其构成样本数据的均值和方差，求取监测数据的统计特征；

5、步骤二、预警等级划分，经过关联性分析后对预警等级进行划分；

6、步骤三、预警阈值确定，预警等级的划分需要确定每个等级的预警阈值,预警阈值是划分预警等级的依据，对应于每个预警等级，预警阈值是定量化的数值并且附加时间序列关联分析结果作为异常分析的依据，预警阈值的确定以规程规定的数据作为依据，预警阈值的确定要分析数据的统计特征和实时监测值结合所在时段的样本进行关联分析；

7、步骤四、异常数据分析，异常分析是确定预警阈值和划分预警等级的关键，依据监测数据本身关联程度的强弱来判断异常情况，当监测点实时监测值持续偏大时，通过采用灰色关联分析方法，分析监测数据的关联特征，并计算实时监测值所属样本与其他样本数据的灰色关联度来确定预警阈值，关联程度较强表明属于正常状态或异常情况不明显，关联程度较弱则表明可能存在异常情况；

8、步骤五、异常点检测，对主备系统数据关联性进行异常点检测，确保主备系统数据关联性的准确性；

9、步骤六、进行预警，得到主备系统异常数据情况，并进行预警。

10、优选的，所述步骤一中统计特征即样本数据在一定置信水平下的置信区间，在监测点某一时刻的主备系统的关联性，其表现在主备系统数据构成的时间序列的内在关联性。

11、优选的，所述步骤二中预警等级划分为3个等级，报警界限值作为报警和预警的分界，预警i级代表异常值偏大，需要关注当前异常数据动态并查明原因，预警ⅱ级代表异常值明显偏大，需要特别关注并采取处理措施，预警iii级代表异常值接近但未达到规程规定的界限值，通过对预警等级划分可以提高主备系统异常数据分析预警的效率。

12、优选的，所述内在关联性用灰色关联度表达，由时间t时刻的监测值xt形成的数据序列{xt,t＝1,2,…,nx}作为分析样本，其中nx为序列长度，样本维数为m，生成的样本数据组x＝{xi,i＝1,2,…,n}，其中xi＝(xi,xi+1,…,xi+m-1)，n＝nx-m+1，得到m维样本空间中的n个样本点，对每个样本点数据采用均值标准化处理，得到均值标准化样本：式中：xi(k)为第i个样本中的第k个分量，x’i和数据组中另一个均值标准化样本x’j(j＝1,2,…,n)的相关系数为式中ρ为分辨系数，x’i和x’j的灰色关联度为

13、优选的，所述步骤五中在对异常点检测过程中对数据集s进行聚类分析，将数据对象s分成n个簇，记为c1,c2,…,cn，并剔除m个异常点，记为o1,o2,…,on，则s＝{c1,c2,…,cn}u{o1,o2,…,on}，每个簇中位置最中心的对象称为簇心，记为ci+，oi+到簇心ci+的距离记为dij，任一被剔除的对象oi到各簇心的ci+的距离dij用矩阵r表示，令di为矩阵r中第i行的和，表示第i个被剔除的点到簇心的距离和，di值越大到各聚心的距离越远，

14、当m≥k时，d值最大的前k个被剔除的对象即为异常点，当m<k时，这m个被剔除的点即为异常点，再从各个簇中检测出其余的(k-m)个异常点，簇ci中任一数据对象sj到所在簇心距离为rij，从个簇中选取rij值最大的前(k-m)个对象作为新的被剔除点，从n个簇中共剔除n×(k-m)个点，再从n×(k-m)个被剔除点中检测出(k-m)个异常点。

15、优选的，所述异常检测就是发现与大部分其他对象不同的对象，异常的成因包括，数据来源于不同的类，自然变异即许多数据集可以用一个统计分布建模，用正态分布建模其中数据对象的概率随到分布中心距离的增加而急剧减少，数据测量和收集的失误。

16、优选的，所述步骤三中监测数据预警基本指标表明实时监测值时间序列的整体统计特征，将实时监测值表现出的小概率现象归结为存在异常情况，通过计算时间序列均值和方差来确定基本指标的量化值。

17、优选的，所述针对具体系统数据预警分析应用，对于预警基本指标阈值的确定根据实际情况设置适合的置信区间，结合预警关联性指标分析数据异常，划分预警等级。

18、优选的，所述对主备系统数据异常分析后预警关联性指标进行变化，根据变化调控预警等级。

19、优选的，所述预警分析流程为对监测数据进行处理，确定预警基本指标和关联性指标并量化，结合分析异常情况发布预警信息，目的为得到数据关联特征。

20、与现有技术相比，本发明具有如下有益效果：

21、用关联分析方法研究主备系统数据构成的时间序列的内在关联特征，并在此基础上确定基于实时监测数据的预警指标及其预警阈值，进而分析数据异常情况，对于单一的检测点具有较好的适用性，可为主备系统提供有效的决策依据，通过对异常点进行检测可以避免系统数据分析过程中受到干扰，提高了异常数据关联分析预警方法的准确性。

技术特征：

1.一种主、备调系统中异常数据关联分析预警方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述步骤一中统计特征即样本数据在一定置信水平下的置信区间，在监测点某一时刻的主备系统的关联性，其表现在主备系统数据构成的时间序列的内在关联性。

3.根据权利要求2所述的一种科技成果评价方法，其特征在于：所述步骤二中预警等级划分为3个等级，报警界限值作为报警和预警的分界，预警i级代表异常值偏大，需要关注当前异常数据动态并查明原因，预警ⅱ级代表异常值明显偏大，需要特别关注并采取处理措施，预警iii级代表异常值接近但未达到规程规定的界限值。

4.根据权利要求2所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述内在关联性用灰色关联度表达，由时间t时刻的监测值xt形成的数据序列{xt,t＝1,2,…,nx}作为分析样本，其中nx为序列长度，样本维数为m，生成的样本数据组x＝{xi,i＝1,2,…,n}，其中xi＝(xi,xi+1,…,xi+m-1)，n＝nx-m+1，得到m维样本空间中的n个样本点，对每个样本点数据采用均值标准化处理，得到均值标准化样本：式中：xi(k)为第i个样本中的第k个分量，x’i和数据组中另一个均值标准化样本x’j(j＝1,2,…,n)的相关系数为式中ρ为分辨系数，x’i和x’j的灰色关联度为

5.根据权利要求1所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述步骤五中在对异常点检测过程中对数据集s进行聚类分析，将数据对象s分成n个簇，记为c1,c2,…,cn，并剔除m个异常点，记为o1,o2,…,on，则s＝{c1,c2,…,cn}u{o1,o2,…,on}，每个簇中位置最中心的对象称为簇心，记为ci+，oi+到簇心ci+的距离记为dij，任一被剔除的对象oi到各簇心的ci+的距离dij用矩阵r表示，令di为矩阵r中第i行的和，表示第i个被剔除的点到簇心的距离和，di值越大到各聚心的距离越远。

6.根据权利要求5所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述异常检测就是发现与大部分其他对象不同的对象，异常的成因包括，数据来源于不同的类，自然变异即许多数据集可以用一个统计分布建模，用正态分布建模其中数据对象的概率随到分布中心距离的增加而急剧减少，数据测量和收集的失误。

7.根据权利要求1所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述步骤三中监测数据预警基本指标表明实时监测值时间序列的整体统计特征，将实时监测值表现出的小概率现象归结为存在异常情况，通过计算时间序列均值和方差来确定基本指标的量化值。

8.根据权利要求7所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述针对具体系统数据预警分析应用，对于预警基本指标阈值的确定根据实际情况设置适合的置信区间，结合预警关联性指标分析数据异常，划分预警等级。

9.根据权利要求1所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述对主备系统数据异常分析后预警关联性指标进行变化，根据变化调控预警等级。

10.根据权利要求8所述的一种主、备调系统中异常数据关联分析预警方法，其特征在于：所述预警分析流程为对监测数据进行处理，确定预警基本指标和关联性指标并量化，结合分析异常情况发布预警信息。

技术总结
本发明公开了一种主、备调系统中异常数据关联分析预警方法，包括以下步骤：步骤一、数据统计及关联分析，主备系统数据统计参数主要是其构成样本数据的均值和方差，求取监测数据的统计特征，步骤二、预警等级划分，经过关联性分析后对预警等级进行划分，本发明所述的一种主、备调系统中异常数据关联分析预警方法，用关联分析方法研究主备系统数据构成的时间序列的内在关联特征，并在此基础上确定基于实时监测数据的预警指标及其预警阈值，进而分析数据异常情况，对于单一的检测点具有较好的适用性，可为主备系统提供有效的决策依据，通过对异常点进行检测可以避免系统数据分析过程中受到干扰，提高了异常数据关联分析预警方法的准确性。

技术研发人员：叶华,杨亚洲,卢欣辰,张维,张敏,杜凡,宫鑫淼,李继演,林莉,徐佳宁,赵莹,陈飞,路学刚,董诗焘,史文博
受保护的技术使用者：云南电网有限责任公司
技术研发日：
技术公布日：2024/1/22