一种时序数据非预期故障检测方法与流程

本发明属于智能信息处理和计算机技术领域，具体涉及一种时序数据非预期故障检测方法。

背景技术：

复杂的时序系统由很多部件构成，每个部件又有很多个观测参数。一般而言，部件各参数的不同态势会呈现出系统整体或局部的运行情况。需要对已知数据所呈现出的不同态势进行学习，建立起事件特征库。然后，分析出不同事件的特征组合模式与时序系统运行状况的关系。这样就可以根据当前数据的组合特征实时反映出时序系统当前的运行状况。如果检测到了事件特征库中并未出现过的组合模式，那么就是发生了非预期事件。非预期事件可能代表着新出现的情况，更可能代表着以前未知的故障特征。现有方法大多以基于案例推理(即Case Based Reasoning,CBR)的方法对数据属性进行分析，将其与案例库中的案例特征进行对比然后判定出具体故障；对于新的非预期案例要么判定错误，要么无能为力。现有方法收集整理案例库往往比较困难，需要消耗大量人力。

技术实现要素：

本发明的目的在于提供了一种时序数据非预期故障检测方法，能够用于实时检测非预期事件或者故障，并提供相关辅助信息，帮助系统用户去判断该非预期事件所反映的系统运行状况。

为达到上述目的，本发明采用的技术方案是：

一种时序数据非预期故障检测方法，实现该方法的系统包括数据预处理模块、TK-Means聚类模块、特征库生成模块、检测判定模块，其具体步骤是：

1)首先，采用数据预处理模块对原始数据进行去野值、等间隔处理文件以及归一化处理，获取标准化的数据，并且提取相关多特征向量；

2)其次，采用TK-Means聚类模块对特征向量进行聚类，然后基于聚类结果，将原始数据表示成特征字符串；

3)然后，采用特征库生成模块对每个参数在数据预处理和聚类过程中的基本数据记录到参数信息库中，包括每个参数的最大值、最小值、簇中心向量和特征字符对应情况，然后生成一个用于记录所有参数组合特征的出现次数与频率的事件特征库；

4)最后，通过检测判定模块对新数据实时获得其特征向量，并对同一时刻多个参数特征的组合与特征库中数据进行对比，如果该组合特征在特征库中已有记录，那么就是已知模式，否则就是检测到非预期模式，非预期模式就是潜在的非预期故障。

所述的数据预处理模块“去野值处理”是指删除无效野值，保留有效值；对数据进行等间隔处理保证在连续时间段内任意两个数据点之间的时间间隔相同；数据经过等间隔处理之后进行归一化处理消除不同量纲对结果的影响从而获取标准化的数据。

所述的TK-Means聚类模块采用申请号：2015105516228，一种时序数据异常特征的挖掘系统及方法，其中，‘a’表示最频繁出现的特征，‘b’表示次频繁出现的特征，依此类推；出现概率小于给定阈值0.02的特征被表示为‘？’；空数据，即未记录数据的区间或者被删除的区间，则用‘#’来表示。

所述的特征库生成模块生成一个参数信息库和一个事件特征库：

所述的参数信息库的建立包括：

2-1)取一个待处理参数；

2-2)在参数信息库中创建该参数的记录；

2-3)记录该参数的最大值和最小值特征；

2-4)记录该参数均值、方差、小波系数、傅立叶系数、频率特征的最大值和最小值；

2-5)获得该参数TK-Means聚类的结果；

2-6)聚类结果记录该参数每个簇中心向量及其对应的特征字符；

2-7)判断当前是否处理完所有的参数；如果未处理完所有参数，则转至步骤2-1重复执行上述过程；如果已经处理完所有参数，则执行步骤2-8)；

2-8)输出结果，更新参数信息库内容；生成参数信息库过程结束；

所述的事件特征库的建立过程：

3-1)对齐所有参数的特征字符序列；

3-2)记录特征库统计起止时间、窗口数目、参数组成；

3-3)置当前字符位置i为0；

3-4)判断当前字符位置i是否小于序列长度，如果当前字符位置i小于序列长度，则执行步骤3-5)，如果当前字符位置i大于或者等于序列长度则执行步骤3-10)；

3-5)取所有参数在i位置上的特征字符组合成特征模式t；

3-6)判定特征模式t是否已经存在于事件特征库中；如果模式t已经存在于事件特征库中，则执行步骤3-7)，特征模式t没有存在于事件特征库中，则执行步骤3-8)；

3-7)把特征模式t的出现次数加1；

3-8)把特征模式t的出现次数置为1；

3-9)把当前字符位置i加1；然后转至步骤3-4)重复执行上述循环直至当前字符位置i大于或者等于序列长度；

3-10)更新所有模式的出现频率，即用该模式的出现次数除以序列长度；

3-11)输出结果，更新事件特征库内容；生成事件特征库过程结束。

所述的检测判定模块的检测判定包括以下步骤：

4-1)取所有参数在当前窗口的数据；

4-2)取当前参数在当前窗口的特征向量；

4-3)计算该参数特征向量与该参数信息库中各簇中心向量的欧几里得距离d_i；

4-4)求取d_i中的最小值d；

4-5)判断d是否小于给定阈值δ，δ＝0.2)；如果d<δ，则执行步骤4-6)，否则

执行步骤4-7)；

其中，h(w)表示当前窗口w的特征字符，T表示该参数特征字符的集合，d_i表示w与某个簇中心向量c_i之间的欧几里得距离,δ表示给定的阈值；

4-6)当前参数在当前窗口的特征字符为距离d所对应的特征字符；

4-7)当前参数在当前窗口的特征字符记为“？”；

4-8)判断所有参数是否已经处理完；如果参数未处理完则执行步骤4-9)，如果所有参数都已经处理完，则执行步骤4-10)；

4-9)取下一个参数；然后转至步骤重复执行4-2)至4-8)至所有参数都处理完；

4-10)把所有参数在当前窗口的特征字符组合成一个特征模式V；

4-11)判断事件特征库中是否包含当前特征模式V；

4-11)如果事件特征库中没有包含当前特征模式V，则执行步骤4-12)，如果事件特征库中已经包含了当前特征模式V，则执行步骤4-14)

4-12)当前窗口出现了一个非预期事件N，其特征模式为V；

4-13)记录并输出该非预期事件N的相关信息,非预期故障检测判定过程结束；

4-14)当前窗口出现了已知事件K，即特征库中模式V所对应的事件；

4-14)输出已知事件K的相关信息；非预期故障检测判定过程结束。

相对于现有技术，本发明采用数据挖掘策略可以自动学习扩充事件特征库，只要有大量数据就能实现自适应式学习，不需要人工干预。用特征字符的组合对故障模式进行了高度抽象，能够检测出新的未知的非预期事件/故障模式，而且还同时记录了新事件/故障所对应的特征模式。本发明方法不但为分析新故障提供了详细特征信息和结构信息，而且还使系统具备了自动扩充特征库的能力。

附图说明

图1是本方法模块框架图。

图2是生成参数信息库的流程图。

图3是生成事件特征库的流程图。

图4是检测判定模块的流程图。

图5是一个示例参数信息库。

图6是一个示例事件特征库。

图7是对新数据进行实时检测判定的示例结果。

具体实施方式

本发明实现了一种时序数据非预期故障检测方法，该方法利用历史数据学习出数据基本特征以及特征组合模式并保存到信息库和特征库中，然后对待检测数据提取特征，并查看其特征组合是否与特征库中已有模式相匹配。如果待检测特征模式与库中已有模式匹配，那么待检测数据出现的就是已知事件，否则就检测到了非预期事件。非预期事件就是潜在的非预期故障，一般反映了系统运行异常或故障。

参照图1，实现本发明的系统包括数据预处理模块1-1、TK-Means聚类模块1-2、特征库生成模块1-3、检测判定模块1-4，其具体步骤是：

1)首先，采用数据预处理模块1-1对原始数据进行去野值、等间隔处理文件以及归一化处理，获取标准化的数据，并且提取相关多特征向量；

“去野值处理”是指删除无效野值，保留有效值；对数据进行等间隔处理保证在连续时间段内任意两个数据点之间的时间间隔相同；数据经过等间隔处理之后进行归一化处理消除不同量纲对结果的影响从而获取标准化的数据。

2)其次，采用TK-Means聚类模块1-2对特征向量进行聚类，然后基于聚类结果，将原始数据表示成特征字符串；

采用申请号：2015105516228，一种时序数据异常特征的挖掘系统及方法，其中，‘a’表示最频繁出现的特征，‘b’表示次频繁出现的特征，依此类推；出现概率小于给定阈值0.02的特征被表示为‘？’；空数据，即未记录数据的区间或者被删除的区间，则用‘#’来表示。

3)然后，采用特征库生成模块1-3对每个参数在数据预处理和聚类过程中的基本数据记录到参数信息库中，包括每个参数的最大值、最小值、簇中心向量和特征字符对应情况，然后生成一个用于记录所有参数组合特征的出现次数与频率的事件特征库；

参见图2，所述的参数信息库的建立包括：

2-1)取一个待处理参数；

2-2)在参数信息库中创建该参数的记录；

2-3)记录该参数的最大值和最小值特征；

2-4)记录该参数均值、方差、小波系数、傅立叶系数、频率特征的最大值和最小值；

2-5)获得该参数TK-Means聚类的结果；

2-6)聚类结果记录该参数每个簇中心向量及其对应的特征字符；

2-7)判断当前是否处理完所有的参数；如果未处理完所有参数，则转至步骤2-1重复执行上述过程；如果已经处理完所有参数，则执行步骤2-8)；

2-8)输出结果，更新参数信息库内容；生成参数信息库过程结束；

参见图3，所述的事件特征库的建立过程：

3-1)对齐所有参数的特征字符序列；

3-2)记录特征库统计起止时间、窗口数目、参数组成；

3-3)置当前字符位置i为0；

3-4)判断当前字符位置i是否小于序列长度，如果当前字符位置i小于序列长度，则执行步骤3-5)，如果当前字符位置i大于或者等于序列长度则执行步骤3-10)；

3-5)取所有参数在i位置上的特征字符组合成特征模式t；

3-6)判定特征模式t是否已经存在于事件特征库中；如果模式t已经存在于事件特征库中，则执行步骤3-7)，特征模式t没有存在于事件特征库中，则执行步骤3-8)；

3-7)把特征模式t的出现次数加1；

3-8)把特征模式t的出现次数置为1；

3-9)把当前字符位置i加1；然后转至步骤3-4)重复执行上述循环直至当前字符位置i大于或者等于序列长度；

3-10)更新所有模式的出现频率，即用该模式的出现次数除以序列长度；

3-11)输出结果，更新事件特征库内容；生成事件特征库过程结束。

4)最后，通过检测判定模块1-4对新数据实时获得其特征向量，并对同一时刻多个参数特征的组合与特征库中数据进行对比，如果该组合特征在特征库中已有记录，那么就是已知模式，否则就是检测到非预期模式，非预期模式就是潜在的非预期故障。

参见图4，检测判定模块1-4的检测判定包括以下步骤：

4-1)取所有参数在当前窗口的数据；

4-2)取当前参数在当前窗口的特征向量；

4-3)计算该参数特征向量与该参数信息库中各簇中心向量的欧几里得距离d_i；

4-4)求取d_i中的最小值d；

4-5)判断d是否小于给定阈值δ，δ＝0.2)；如果d<δ，则执行步骤4-6)，否则执行步骤4-7)；

其中，h(w)表示当前窗口w的特征字符，T表示该参数特征字符的集合，d_i表示w与某个簇中心向量c_i之间的欧几里得距离,δ表示给定的阈值；

4-6)当前参数在当前窗口的特征字符为距离d所对应的特征字符；

4-7)当前参数在当前窗口的特征字符记为“？”；

4-8)判断所有参数是否已经处理完；如果参数未处理完则执行步骤4-9)，如果所有参数都已经处理完，则执行步骤4-10)；

4-9)取下一个参数；然后转至步骤重复执行4-2)至4-8)至所有参数都处理完；

4-10)把所有参数在当前窗口的特征字符组合成一个特征模式V；

4-11)判断事件特征库中是否包含当前特征模式V；

4-11)如果事件特征库中没有包含当前特征模式V，则执行步骤4-12)，如果事件特征库中已经包含了当前特征模式V，则执行步骤4-14)

4-12)当前窗口出现了一个非预期事件N，其特征模式为V；

4-13)记录并输出该非预期事件N的相关信息,非预期故障检测判定过程结束；

4-14)当前窗口出现了已知事件K，即特征库中模式V所对应的事件；

4-14)输出已知事件K的相关信息；非预期故障检测判定过程结束。

参照图5，其为一个参数信息库示例。图中0下面的数据代表了该参数的最大值和最小值区间，用于归一化处理。1下面的数据代表了该参数所提取特征向量的最大值和最小值区间，用于特征向量的归一化处理。2下面的数据代表了该参数聚类生成的特征字符，及其所对应的簇中心向量，即该特征字符的特征向量。

参照图6，其为一个事件特征库示例。该库中记录了多个参数特征字符的组合情况，包含窗口总数、开始时间、结束时间、特征组合模式及特征模式出现的次数和频率等内容。

参照图7，其为对新数据进行实时检测判定的示例结果。包括，特征组合出现的时间、特征组合模式内容、该特征组合是已知事件模式还是未知事件模式。若出现已知事件模式，则显示该事件模式出现的次数和概率。若出现未知事件模式，则报告发现非预期事件。