本发明涉及数据处理,尤其涉及基于数据驱动的燃气气量数据异常检测方法。
背景技术:
1、随着社会的发展,燃气作为一种重要的能源被广泛应用,燃气在能源结构中所占的比重与日俱增,燃气应用场景越来越多元化,对燃气输送的安全性提出了更高的要求。
2、然而,随着燃气应用越来越广泛,燃气安全问题也愈演愈烈,出现了多起燃气泄漏等燃气事故。燃气事故的有效预防成了行业内重点关注的问题。为此,关注燃气运行数据,对燃气数据进行准确、高效的异常检测对于提高能源利用率和防止资源浪费具有重要意义。
3、现有技术主要采用聚类分析的方式进行异常检测,在处理大量用户燃气数据时,可能存在漏报等问题。
技术实现思路
1、本发明要解决的技术问题在于,现有技术主要采用聚类分析的方式进行异常检测,在处理大量用户燃气数据时,可能存在漏报等问题。针对现有技术中的缺陷,提供一种基于数据驱动的燃气气量数据异常检测方法。
2、为了解决上述技术问题,本发明提供了基于数据驱动的燃气气量数据异常检测方法,包括:
3、获取待检测区域内所有用户在不同时间段内的燃气气量;
4、将同一时间段内所有用户的燃气气量以不同级别主管道为节点建立第一图形数据结构;
5、基于所述第一图形数据结构计算各个主管道的异常概率值;
6、将各个主管道的所述异常概率值以不同级别主管道为节点建立第二图形数据结构;
7、基于对所述第二图形数据结构的聚类从主管道中定位异常管道;
8、计算与每个所述异常管道直连的用户的异常值;
9、基于所述异常值完成待检测区域的燃气气量数据异常检测。
10、可选地,获取待检测区域内所有用户在不同时间段内的燃气气量,包括:
11、通过燃气气量数据管理平台,获取待检测区域内所有用户在不同时间段内的燃气气量;每个时间段的时长为3分钟。
12、可选地,将同一时间段内所有用户的燃气气量以不同级别主管道为节点建立第一图形数据结构,包括:
13、将不同级别的主管道作为节点建立基础图结构;
14、以每一用户与对应主管道之间、不同级别主管道之间的连接性作为所述基础图结构中的边,以燃气流向作为各条所述边的方向;
15、各条所述边的边权为下一级主管道或用户对应的燃气气量。
16、可选地,基于所述第一图形数据结构计算各个主管道的异常概率值,包括:
17、获取所述第一图形数据结构的邻接矩阵;
18、基于所述邻接矩阵计算各个主管道的异常概率值。
19、可选地,基于所述邻接矩阵计算各个主管道的异常概率值,包括:
20、统计所述邻接矩阵的每个数据组中有值数据点的个数;其中,将所述邻接矩阵中的一行数据或一列数据作为一个所述数据组;有值数据点的个数等于1的所述数据组属于用户数据组,有值数据点的个数大于1的所述数据组属于管道数据组;
21、计算每个所述管道数据组中除邻接矩阵对角线数据的数据累计和;
22、计算每个所述管道数据组中所述数据累计和与所述邻接矩阵对角线数据的差值绝对值;
23、获取各个所述管道数据组对应的所述差值绝对值的单高斯函数模型;
24、获取所述单高斯函数模型的峰值导数,并将所述峰值导数与所述单高斯函数模型相乘得到管道异常概率分布;
25、取所述管道异常概率分布的一半,计算所述管道异常概率分布中各个管道异常概率的概率均值,将小于所述概率均值的所述管道异常概率重置为1;
26、用1减所述管道异常概率得到各个所述管道数据组对应的主管道的异常概率值。
27、可选地,将各个主管道的所述异常概率值以不同级别主管道为节点建立第二图形数据结构,包括:
28、将不同级别的主管道作为节点建立基础图结构;
29、以每一用户与对应主管道之间、不同级别主管道之间的连接性作为所述基础图结构中的边,以燃气流向作为各条所述边的方向;
30、各条所述边的边权为下一级主管道对应的异常概率值。
31、可选地,基于对所述第二图形数据结构的聚类从主管道中定位异常管道,包括:
32、利用谱聚类对所述第二图形数据结构的节点进行分类,得到n个谱聚类类别;
33、计算每个所述谱聚类类别内所述异常概率值的均值,得到各个所述谱聚类类别对应的谱聚类均值;
34、利用k-means算法对所有所述谱聚类均值进行二分类,得到两个二分类类别;
35、计算两个所述二分类类别对应的所述异常概率值的均值;
36、选择所述异常概率值的均值最大的所述二分类类别所包含的所述谱聚类类别作为异常分析类别;
37、根据燃气流向将每个所述异常分析类别所包含的最后一级节点对应的主管道定位为异常管道。
38、可选地,计算与每个所述异常管道直连的用户的异常值,包括:
39、计算与每个所述异常管道直连的用户的燃气气量与对应的主管道的燃气气量之间的相关性系数;
40、基于所述异常管道的异常概率值和用户对应的所述相关性系数计算用户的异常值。
41、可选地,根据以下公式计算用户的异常值:
42、ym=xj*exp(-gm)
43、式中,ym为第m个用户的所述异常值,xj为第j个所述异常管道对应的所述异常概率值,gm为与第j个所述异常管道直连的第m个用户的燃气气量与第j个所述异常管道在同一时间段内燃气气量变化的所述相关性系数。
44、可选地,基于所述异常值完成待检测区域的燃气气量数据异常检测,包括:
45、通过燃气气量数据管理平台查询与每个所述异常管道直连的用户是否具有燃气停止使用申报;
46、若具有燃气停止使用申报,则消除该用户的所述异常值;
47、若不具有燃气停止使用申报,则将所述异常值大于异常阈值的用户作为异常用户;其中,所述异常阈值取值为0.8。
48、实施本发明的基于数据驱动的燃气气量数据异常检测方法,具有以下有益效果:通过构建图形数据结构,实现较为准确的异常管道定位,并基于主管道的异常程度确定用户的异常程度,有效地提高了监测范围,防止偷气漏气的异常检测。
1.一种基于数据驱动的燃气气量数据异常检测方法,其特征在于,包括:
2.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,获取待检测区域内所有用户在不同时间段内的燃气气量,包括:
3.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,将同一时间段内所有用户的燃气气量以不同级别主管道为节点建立第一图形数据结构,包括:
4.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,基于所述第一图形数据结构计算各个主管道的异常概率值,包括:
5.根据权利要求4所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,基于所述邻接矩阵计算各个主管道的异常概率值,包括:
6.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,将各个主管道的所述异常概率值以不同级别主管道为节点建立第二图形数据结构,包括:
7.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,基于对所述第二图形数据结构的聚类从主管道中定位异常管道,包括:
8.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,计算与每个所述异常管道直连的用户的异常值,包括:
9.根据权利要求8所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,根据以下公式计算用户的异常值:
10.根据权利要求1所述的基于数据驱动的燃气气量数据异常检测方法,其特征在于,基于所述异常值完成待检测区域的燃气气量数据异常检测,包括: