一种道岔缺口监测设备异常数据检出方法、装置及系统与流程

文档序号:17590055发布日期:2019-05-03 21:42阅读:616来源:国知局
一种道岔缺口监测设备异常数据检出方法、装置及系统与流程

本申请涉及数据监测技术领域,主要涉及一种道岔缺口监测设备异常数据检出方法、装置及系统。



背景技术:

目前,道岔缺口的监测方式为基于图像识别的监测技术,当监测设备发生硬件损害时,上级监测系统能对其进行检知,但是对于由监测设备异常导致的监测状态改变,比如油污等造成摄像头缺口识别不准确、照明条件不佳以及监测摄像头位置发生偏移所导致的监测状态改变的情况却无法进行有效检知,导致缺口值测量不准确的问题。



技术实现要素:

本申请的目的在于提供一种道岔缺口监测设备异常数据检出方法、装置及系统,用于解决道岔缺口监测设备异常导致监测数据异常的问题。

为了实现上述目的,本申请提供了技术方案如下:

第一方面:本申请提供了一种道岔缺口监测设备异常数据检出方法,所述方法包括:

获取道岔缺口监测设备的监测数据,将所述监测数据按照时间顺序插入固定窗口形成序列,并判断所述固定窗口是否填满;

若所述固定窗口填满,则将所述固定窗口内的序列转换成预设模式空间中的多个模式矢量,并将所述固定窗口填入滑动窗口,所述滑动窗口的长度大于所述固定窗口;

判断所述滑动窗口是否填满;

若所述滑动窗口填满,根据所述滑动窗口内多个模式矢量计算出各个模式的异常因子,判断所述各个模式的异常因子是否超过预设的模式异常因子阈值范围;

若是,则判定为异常模式,同时产生监测数据异常检出告警。

上述方案设计的方法,通过使用大数据处理方式处理监测数据,对缺口监测设备的时间序列进行有效分析,提取与时间序列对应的模式空间上的特征,从而有效判断模式上的离群点,进而准确发觉时间序列上的异常序列段,解决了缺口监测设备异常导致的监测数据异常问题,同时避免了引入附加硬件设备造成的冗余配置。

在第一方面的可选实施方式中,将所述固定窗口内的序列转换成预设模式空间中的多个模式矢量,包括:

将所述监测数据划分为由等时间间隔构成的固定窗口,并在固定窗口内再进一步划分成由多个边缘点分段的线性函数。

提取多个所述边缘点分段的线性函数的斜率、截距以及边缘点间的长度构成预设模式空间中对应的多个模式矢量。

在第一方面的可选实施方式中,所述根据滑动窗口内多个模式矢量计算出各个模式的异常因子,包括:

通过模式异常因子算法将所述固定窗口的各个模式矢量计算成各个模式的异常因子。

在第一方面的可选实施方式中,在判断所述滑动窗口是否填满之后,所述方法还包括:

若所述滑动窗口填满,则删除所述滑动窗口内的最先进的固定窗口,并将当前固定窗口填入所述滑动窗口。

上述方案设计的方法,使得滑动窗口内的固定窗口不断进行更新,也就是监测数据不断进行更新再计算异常因子,使得异常检出能够跟上时间变化趋势,根据相关性最高的局部影响区域做出异常判断。

在第一方面的可选实施方式中,在所述产生监测数据异常检出告警之后,所述方法还包括:

确定被判定为异常模式下的模式矢量,并将所述模式矢量存储入数据库,并对模式矢量进行报警处理。在第一方面的可选实施方式中,在所述获取道岔缺口监测设备的监测数据之前,所述方法还包括:

初始化固定窗口以及滑动窗口。

第二方面:本申请提供一种道岔缺口监测设备异常数据检出装置,所述装置包括:

获取模块,用于获取道岔缺口监测设备的监测数据;

插入模块,用于将所述监测数据按照时间顺序插入固定窗口形成序列;

判断模块,用于判断所述固定窗口是否填满;

转换模块,用于在所述判断模块判断所述固定窗口填满后,将所述固定窗口内的序列转换成预设模式空间中的多个模式矢量;

填入模块,用于将固定窗口填入滑动窗口,所述滑动窗口的长度大于所述固定窗口;

所述判断模块,还用于判断所述滑动窗口是否填满;

计算模块,用于在所述判断模块判断所述滑动窗口填满时,根据所述滑动窗口内多个模式矢量计算出固定窗口下各个模式的异常因子;

所述判断模块,还用于判断所述各个模式的异常因子是否超过预设的模式异常因子阈值范围;

告警模块,用于在所述判断模块判断所述各个模式的异常因子超过预设的模式异常因子阈值范围时,判定为异常模式,将所述模式矢量存储入数据库,同时产生监测数据异常检出告警。

在第二方面的可选实施方式中,该装置还包括删除模块,用于在所述判断模块判断该滑动窗口填满之后,删除该滑动窗口内最先进的固定窗口;

所述填入模块,还用于将当前固定窗口填入该滑动窗口。

在第二方面的可选实施方式中,该装置还包括初始化模块,用于在所述获取模块获取道岔缺口监测设备的监测数据之前,初始化固定窗口以及滑动窗口。

第三方面:本申请提供一种道岔缺口监测设备异常数据检出系统,所述系统包括分机、站机以及平台,所述分机与所述站机连接,所述站机与所述平台连接。

所述分机分别与所述道岔转辙机内的多个传感器连接,并用于获取多个传感器对道岔缺口的采集数据,并将所述采集数据发送给所述站机;

所述站机,用于解析所述分机采集形成的道岔缺口监测设备的监测数据,并将所述监测数据发送给所述平台;

所述平台,用于获取道岔缺口监测设备的监测数据,将所述监测数据按照时间顺序插入固定窗口形成序列,并判断所述固定窗口是否填满;若是,则将所述固定窗口内的序列转换成预设模式空间中的多个线性分段模式的矢量,以及将所述固定窗口填入滑动窗口,所述滑动窗口的长度内包含数个预设的所述固定窗口;在所述固定窗口填满滑动窗口后,根据所述滑动窗口内多个模式矢量计算出固定窗口下各个模式的异常因子,判断所述各个模式的异常因子是否超过预设的模式异常因子阈值范围,若是,则判定为异常模式,将所述模式矢量存储入数据库,同时产生监测数据异常检出告警。

第四方面:本申请提供一种电子设备和由上述电子设备组成的集群,包括:处理器,以及分别与处理器连接的存储器和通信模块,和电子设备集群,所述存储器存储有所述处理器可执行的机器可读指令,所述通信模块用于与外部设备进行通信传输;所述电子设备集群,由多个上述电子设备通过网络连接形成的计算集群,对海量监测数据进行处理,形成并行化处理能力。当所述计算设备运行时,所述处理器执行所述机器可读指令,以执行时执行第一方面、第一方面的任一可选实施方式中的所述方法。

第五方面:本申请提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行第一方面、第一方面的任一可选实施方式中的所述方法。

第六方面:本申请提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行第一方面、第一方面的任一可选实施方式中的所述方法。

本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例了解。本申请的目的和其他优点可在所写的说明书、权利要求书、以及附图中所特别指出的结构中实现和获得。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中,相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本申请的主旨。

图1是本申请第一实施例提供的道岔缺口监测设备异常数据检出方法第一流程示意图;

图2是本申请第一实施例提供的道岔缺口监测设备异常数据检出方法第二流程示意图;

图3是本申请第一实施例提供的多种模式密度下的模式离群点例图;

图4是本申请第二实施例提供的道岔缺口监测设备异常数据检出装置结构示意图;

图5是本申请第三实施例提供的道岔缺口监测设备异常数据检出系统结构示意图;

图6是本申请第四实施例提供的电子设备结构示意图。

具体实施方式

为使本申请实施方式的目的、技术方案和优点更加清楚,下面将结合本申请实施方式中的附图,对本申请实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本申请一部分实施方式,而不是全部的实施方式。基于本申请中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。因此,以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施方式。基于本申请中的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本申请保护的范围。

在本申请的描述中,需要理解的是,术语“中心”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。

此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

在本申请中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。

在本申请中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。

第一实施例

如图1所示,本申请提供一种道岔缺口监测设备异常数据检出方法,该方法包括:

步骤101:获取道岔缺口监测设备的监测数据,转到步骤102。

步骤102:将监测数据按照时间顺序插入固定窗口形成序列,并判断固定窗口是否填满,若是,转到步骤103。

步骤103:将固定窗口内的序列转换成预设模式空间中的多个模式矢量,并将固定窗口填入滑动窗口,判断滑动窗口是否填满,若填满,转到步骤104。

步骤104:根据滑动窗口内多个模式矢量计算出固定窗口下各个模式的异常因子,判断各个模式的异常因子是否超过预设的模式异常因子阈值范围,若超出阈值范围,则转到步骤105。

步骤105:判定为异常模式,同时产生监测数据异常检出告警。

这里需要说明的是,本发明的主要应用场景为轨道交通的道岔缺口监测设备的异常监测数据检出。

对于步骤102中的将监测数据按照时间顺序插入固定窗口形成时间序列,其中,一个固定窗口内可插入多个监测数据组成一个序列,固定窗口的数量也为多个,每个固定窗口内的监测数据数量一致。例如,每个固定窗口内存在n个监测数据,即成为1个x=<x1,x2,….,xn>这样的固定窗口集合。

对于步骤103中的将固定窗口内的序列转换成预设模式空间中的多个线性分段模式的矢量,指的是将一个固定窗口内的时间序列转换成多个模式矢量,这些模式矢量由基于斜率提取的边缘点分段线性函数中抽取的线段斜率、线段截距和线段间端点长度构成。另外将固定窗口填入滑动窗口,其中滑动窗口包含数个预设的所述固定窗口。

对于步骤104中的判断各个模式的异常因子是否超过预设的模式异常因子阈值范围,其具体判定方式可为但不限于:针对任意一种模式p,通过pof(poutlierfactor,模式p异常因子)计算得出它对应的异常因子,当这个异常因子大于或等于预设的异常因子阈值时,例如,预设的异常因子阈值为λ,那么当p大于或者等于λ时,则判定为p模式所对应的序列区间的监测数据存在异常并产生告警。

上述方案设计的方法,通过使用大数据处理方式处理监测数据,对缺口监测设备的时间序列进行有效分析,提取与时间序列对应的模式空间上的特征,从而有效判断模式上的离群点,进而准确发觉时间序列上的异常序列段,解决了缺口监测设备异常导致的监测数据异常问题,同时避免了引入附加的硬件设备造成的冗余配置。

可选的,对于步骤103中的将固定窗口内的时间序列转换成预设模式空间中的多个线性分段模式矢量,包括:

将所述监测数据划分为由等长时间间隔构成的固定窗口,并在固定窗口内进一步划分为由多个边缘点分段的线性函数;

提取多个所述边缘点分段的线性函数的斜率、截距以及边缘点间的长度构成预设模式空间中对应的多个线性分段模式的矢量。

其中,预设的模式空间表示上,方案引入滑动窗口下的fkd模式表示法(fixwindowk-d-lmodel,固定窗口下线性分段的k斜率+d截距+l长度表示法)。

针对上述对固定窗口的举例,在进行fkd模式转化时其具体操作可为:

固定窗口的数量为多个,每个固定窗口内的监测数据数量一致。例如,每个固定窗口内存在n个监测数据,即成为1个x=<x1,x2,….,xn>样式的固定窗口集合,通过fkd模式表示法,将时间序列表示为以下xe={xi1,xi2,xi3……xik},其中的xik代表固定窗口下的边缘点:

其中l(x,y)表示连接两个边缘点x和y之间的线性函数。

在对1个固定窗口的时间序列划分为上述边缘点连接线性函数后,从上述这些线性函数中抽取每一个线性函数中的模式的3个特征:l(x,y)的斜率(k)、l(x,y)的截距(d)、l(x,y)的x,y端点间长度(l)。

在此之后,一个固定窗口下的时间序列最终转换为固定窗口的fkd模式,为x=<w1,w2,….,wk>,当转换成fkd模式后,fkd模式表示如下:

其中,(li,ki,di)表示fkd模式空间下一个固定窗口内第i个模式点,ki表示这个模式点连接端点的斜率,di表示这个模式下的截距,而li表示这个模式下连接点之间的线段长度。

其中,li=|ti-ti-1|;ki=(xi-xi-1)/i;di=xi-ki×li;

其中,ti表示1个固定窗口内,经过斜率提取边缘点的时间序列分段线性表示后的第i个时间轴上的时间点。

上述方法设计的方案,fkd模式对时间序列有很好的表达能力和序列压缩能力,可将时间序列的尺寸压缩到原有时间序列的1/10,同时具有很强的适应性,克服了其他时间序列表示方法存在的不可逆性且无法表示趋势持续特性的缺陷。

可选的,对于步骤104中的根据滑动窗口内多个模式矢量计算出各个模式的异常因子,包括:通过pof算法根据滑动窗口内多个模式矢量计算出固定窗口下各个模式的异常因子,其具体可根据如下方法来进行计算:

作为pof算法的理论基础是基于局部领域的模式密度理论。模式密度理论会对lof(localoutlierfactor,局部离群点因子)进行计算,lof表示一个模式空间中对象的异常程度,lof值越高,对象是异常值的可能性就视为较大,通常指定一个异常阈值,当lof值大于该异常阈值时,这个对象就被视为异常。lof作为一种基于密度的离群点判断方式,它可以监测出基于距离的异常算法所不能识别的一类异常,尤其对于由复杂因素下的多因素混合模式下时间序列,它善于发现稀疏密度下模式和异常模式间区别。如图3所示,是一个多样性模式构成的模式数据集,其中包含两个模式簇c1、c2以及两个离群点o1、o2,其中c2稠密,c1稀疏。显然o2是一个全局离群点,但对于o1,从距离判断标准看,o1距离c2簇内各点的距离,实际比较c1簇内各点间距离更小,所以需要通过密度监测,才能断定o1作为一种局域异常点。

作为对象点p的lof异常度指标的计算公式:

局部离群点因子:

而其中,局部可达密度lrdk(p):

这里对于nk(p)的定义,我们需要从对象p的k距离概念解释,对于正整数k,对象p的第k距离可记作k-distance(p)。在模式空间中,存在对象o,它与对象p之间的距离记作d(p,o)。如果满足以下两个条件,定义k-distance(p)=d(p,o):

第一,在样本空间中,至少存在k个对象q,使得d(p,q)<=d(p,o);

第二,在样本空间中,至多存在k-1个对象q,使得d(p,q)<d(p,o)。

显而易见,如果k-distance(p)来量化对象p的局部空间区域范围,那么对于对象密度较大的区域,k-distance(p)值较小,而对于对象密度较小的区域,k-distance(p)值较大。那么,与对象p之间距离小于等于k-distance(p)的对象集合成为对象p的第k距离领域,记作nk(p),从集合意义上说,nk(p)相当于在样本空间中,以p为中心,k-distance(p)为半径的区域内所有对象的集合,可以想象,离群度较大的对象,其nk(p)范围往往比较大,而离群度较小的对象nk(p),则范围往往比较小。作为任意fkd空间中两点之间距离公式d(o,p),我们在本专利方案中建议采用简易的fkd距离,简易fkd距离,可以视作一种简单的加权曼哈顿距离,任意对象o在fkd模式中表现为(lo,ko,do),p在fkd模式中表现为(lp,kp,dp):

则o,p间的kdf距离

这里,我们再定义对象p相对于对象o的可达距离:

reach_distk(p,o)=max{k-distance(o),||p-o||}

作为公式含义,如果模式空间里对象p远离o,则两点之间的可达距离就是它们之间的实际距离;而如果p到o之间足够近(当p位于o的k距离所包围的对象簇领域内),则实际距离用o的k距离统一代替。

基于以上对象p的第k距离领域nk(p)定义、对象p相对于对象o的可达距离reach_distk(p,o),我们可视公式lrdk(p)就是p的第k距离领域内各个对象o的k最近临点的平均可达距离的倒数,可见对于离群点,这个平均距离会较大(因而lrdk会较小)。而作为公式lof(p)的含义,则是在对象p的第k距离领域内,对象p和其他对象的k-可达密度的平均比值。可以想象,如果对象p不是局部离群点,这个距离比例大多接近1,平均后,仍可以看作lof(p)会接近1(换句话,就是对象o的局部k可达密度和对象p的局部k可达密度相似),此时即p是局部离群点的离群程度较小。然而,当lof(p)比较“1”越大时,则p的局部可达距离相对对象o的局部可达距离越大,就是它的局部可达密度越小,则p点为离群点程度就越大。

但对于上述局部离群因子的lof,计算复杂度较高,并且计算结果无法归一化,在现实的实时监控领域,较难应用,所以我们在本专利方案中,实际使用了以下的pof异常因子,来代替上述lof,表征时间序列中一种模式的异常度:

pofk(p)=max{1-lrdk(p),0}

对于pof值,当对象位于聚簇中心时,其可达距离平均值较小,密度也相对较高,作为局部可达密度lrd的值会较大,此时该对象的pof会比较低,最终接近于“0”;反之,如果对象偏离聚簇时,该对象的可达距离平均值大,密度相对较低,作为局部可达密度lrd值也会较小,上面的数值会接近“1”。为定量描述某一模式的异常判断规则,当pof异常因子值大于某个异常阈值λ时,我们就判定这个模式点为异常模式点。

这里我们可以看到,基于pof的异常因子计算的计算复杂度可以控制在o(k2*n*f)内,其中n是滑动窗口内时间序列的长度,而k是k距离定义中的k值,f是固定窗口下fkd模式数目,当k=10,n=100(5分钟滑动窗口长度,每秒1个采集点,设fkd模式压缩率为1/3,即100=60*5*1/3),f=20(设fkd模式压缩率为1/3,即20=60*1/3),计算1个固定窗口的计算量在o(=102*100*20=200,000)级。

可选的,在步骤102中的判断固定窗口是否填满之后,该方法还包括:若判断固定窗口没有填满,则继续获取监测数据并将监测数据插入固定窗口内直至填满该固定窗口。

可选的,如图2所示,在步骤103中的判断滑动窗口是否填满之后,该方法还包括:步骤106:若判断滑动窗口填满,则删除该滑动窗口内的最先填入的固定窗口,并将当前固定窗口填入该滑动窗口。

这里需要说明的是,在滑动窗口进行固定窗口更新时,删除了该滑动窗口内的第1个填入的固定窗口之后,滑动窗口内剩余的固定窗口往前滑动,即第2个填入的固定窗口滑动到被删除的第1个填入的固定窗口的位置,以此类推,当前固定窗口填入该滑动窗口后是填入到滑动窗口内最后一个固定窗口的位置。

上述方案设计的方法,使得滑动窗口内的固定窗口不断进行更新,也就是监测数据不断进行更新再计算异常因子,使得异常检出能够跟上时间变化趋势,便可根据相关性最高的局部影响区域做出异常判断。

可选的,在步骤101中的获取道岔缺口监测设备的监测数据之前,该方法还包括:初始化固定窗口以及滑动窗口。

另外,需要说明的是,在滑动窗口初始化阶段,滑动窗口在填入一个新产生的填满固定窗口后,因滑动窗口未满,所以不会发生后续进行计算模式异常因子的操作。

可选的,在步骤105中的产生监测数据异常检出告警之后,该方法还包括:确定被判定为异常模式下的模式矢量,并将所述模式矢量存储入数据库,并对模式矢量进行报警处理。

第二实施例

如图4所示,本申请提供一种道岔缺口监测设备异常数据检出装置,该装置包括:

获取模块201,用于获取道岔缺口监测设备的监测数据;

插入模块202,用于将监测数据按照时间顺序插入固定窗口形成序列;

判断模块203,用于判断固定窗口是否填满;

转换模块204,用于在判断模块203判断所述固定窗口填满后,将固定窗口内的序列转换成预设模式空间中的多个线性分段模式矢量;

填入模块205,用于将固定窗口填入滑动窗口,所述滑动窗口包含数个预设的固定窗口;

判断模块203,还用于判断滑动窗口是否填满;

计算模块206,用于在判断模块203判断固定窗口填满且新生成的已填满固定窗口也填满滑动窗口时,根据滑动窗口内多个模式矢量计算出各个模式的异常因子;

判断模块203,还用于判断各个模式的异常因子是否超过预设的模型异常因子阈值范围;

告警模块207,用于在判断模块203判断各个模式的异常因子超过预设的模型异常因子阈值范围时,判定为异常模式,将所述模式矢量存储入数据库,同时产生监测数据异常检出告警。

上述方案设计的装置,通过使用大数据处理方式处理监测数据,对缺口监测设备的时间序列进行有效分析,提取与时间序列对应的模式空间上的特征,从而有效判断模式上的离群点,进而准确发觉时间序列上的异常序列段,解决了缺口监测设备异常导致的监测数据异常问题,同时避免了引入附加的硬件设备造成的冗余配置。

在本实施例的可选实施方式中,该装置还包括删除模块208,用于在判断模块203判断该滑动窗口填满之后,删除该滑动窗口内最先填入的固定窗口;

填入模块205,还用于将当前固定窗口填入该滑动窗口。

在本实施例的可选实施方式中,该装置还包括初始化模块209,用于在获取模块201获取道岔缺口监测设备的监测数据之前,初始化固定窗口以及滑动窗口。

第三实施例

如图5所示,本申请提供一种道岔缺口监测设备异常数据检出系统,该系统包括分机301、站机302以及平台303,分机301与站机302连接,站机302与平台303连接。

分机301分别与道岔转辙机内的多个传感器连接,用于获取多个传感器对道岔缺口的采集数据,并将采集数据发送给站机302;

站机302,用于解析分机所采集形成的道岔缺口监测设备的监测数据,并将监测数据发送给平台303;

平台303,用于获取道岔缺口监测设备的监测数据,将监测数据按照时间顺序插入固定窗口形成序列,并判断固定窗口是否填满;若是,则将固定窗口内的序列转换成预设模式空间中的多个线性分段模式矢量,以及将固定窗口填入滑动窗口,所述滑动窗口包含数个预设的固定窗口;当新生成的填满的固定窗口填入滑动窗口后,若滑动窗口填满,根据滑动窗口下的多个模式矢量计算出该固定窗口下各个模式的异常因子,判断各个模式的异常因子是否超过预设的模式异常因子阈值,若是,则判定为异常模式,将所述模式矢量存储入数据库,同时产生监测数据异常检出告警。

对于平台303,这里需要说明的是,在平台303中可执行窗口封装、窗口内fkd模式转换、pof异常因子计算。作为实现框架,可以通过spark分布式框架下流处理组件和批处理组件实现。当对缺口监测数据通过流处理执行完成上述数据预处理之后,预处理后数据存入大数据存储,然后通过准批处理完成后续的数据分析、数据挖掘处理。

上述方案设计的系统,通过使用大数据处理方式处理监测数据,对缺口监测设备的时间序列进行有效分析,提取与时间序列对应的模式空间上的特征,从而有效判断模式上的离群点,进而准确发觉时间序列上的异常序列段,解决了因缺口监测设备异常导致的监测数据异常问题,同时避免了引入附加的硬件设备造成的冗余配置。

第四实施例

如图6所示,本申请提供一种电子设备和基于所述电子设备的集群,作为电子设备包括:处理器401,以及分别与处理器连接的存储器402和通信模块403,存储器402存储有处理器401可执行的机器可读指令,通信模块403用于与外部设备进行通信传输;当所述计算设备运行时,处理器401执行所述机器可读指令,以执行第一实施例的任一可选实现方式中的所述方法。电子设备集群是由多个上述电子设备基于网络连接形成的对海量监测数据进行处理的计算集群,通过集群方式,可以实现并行化处理能力,从而增强所述电子装备的处理能力、存储能力。

本申请提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行第一实施例的任一可选实现方式中的所述方法。

本申请提供一种计算机程序产品,所述计算机程序产品在计算机上运行时,使得计算机执行第一实施例的任一可选实现方式中的所述方法。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1