一种基于大数据技术的配电网运行状态评估系统及方法与流程

本发明涉及配电网运行状态评估领域，具体是一种基于大数据技术的配电网运行状态评估系统及方法。
背景技术：
：随着国家电网全力推进配电自动化建设，电力营销、生产、调度等信息系统产生了海量的电力信息数据。如何多大规模数据进行有效的处理，从中获取有用的信息，挖掘潜在的价值，成了一项严峻的挑战。现今的配电网运行状态评估以确定性方法为基础，以严重性程度为指标，以不能对频繁随机波动的实时运行状况进行全面的评估，应用中实用性不强，并且目前的电网的运行状态评估方法，缺乏对整体区域的深层次分析。传统的配电网运行状态评估缺乏对配电网整体区域的深层次分析和挖掘，并且当数据量过大，无法在单机上运行。鉴于电网结构复杂化和不确定性增加的严峻形势，为了提高电网安全运行的能力，迫切需要梳理电网运行的薄弱环节，研究基于电网结构、装备水平、供电能力、可靠性、气象信息等多时空尺度的特征提取及融合方法，采用多层次指标体系和多层次区域体系,构建电网运行状态评估指标体系及动态评估算法，提出面向大数据分析的配电网运行状态评估方法，实现电网的精准管控和实时状态评估，有助于找出现状配电网的缺陷和不足。技术实现要素：本发明的目的是解决现有技术中存在的问题。为实现本发明目的而采用的技术方案是这样的，一种基于大数据技术的配电网运行状态评估系统及方法，主要包括以下步骤：1)采集智能电网各个供电区域的数据。数据源包括两部分数据。一部分数据是配电自动化系统的海量历史数据。另一部分数据是配电自动化系统的实时流数据。进一步，采集的数据来源主要包括pms、scada、gis配电网子系统和外部天气信息。配电网的实时数据采集周期是15分钟。采用flume采集配电自动化系统的实时流数据。采用sqoop抽取关系数据库oracle中的配电自动化系统的海量历史数据。2)对来自各个系统的数据进行多源异构数据融合。开源工具kafka接收多源异构数据融合后得到的数据。开源工具kafka将接收到的数据以实时或定时的方式存储到分布式文件系统(hdfs)中。3)根据hdfs中的数据，利用spark并行计算框架逐层计算供电区域的评价指标。主要计算步骤如下：3.1)计算供电区域内各条线路的指标评价结果。主要步骤如下：3.1.1)将存储在hdfs中的原始数据集随机切分。将切分的结果保存到不同的弹性分布式数据集rdd中作为输入。3.1.2)利用内存计算中的rdd来并行计算线路指标值。利用spark的并行计算机制在各个计算节点并行计算。计算结果的输出形式为<xl_id,<zb_id,value>>。(1)其中，xl_id为线路id。zb_id为指标id。value为计算结果数值。3.1.3)以<xl_id,<zb_id,value>>作为本步骤的输入，在各个计算节点，根据线路id号将计算后的指标值利用spark的groupbykey函数进行局部聚合。3.1.4)将各个计算节点的计算数据汇总到主节点，并利用spark的groupbykey函数进行全局聚合，从而得出每条线路的指标值。将得到的每条线路指标值数据输出到hdfs中，输出形式为<xl_id,list<zb_id,value>>。(2)其中，xl_id为线路id。list为线路的指标集合。zb_id为指标id。value为计算结果数值。3.2)根据步骤3.1.4中线路指标计算的结果，结合区域层次结构模型向上计算出供电区域内a+～e类供电分区的指标值。线路指标值向上计算的方法，根据指标值含义的不同，分为两种。两种指标计算方法分别如下：针对可以在线路层面求出具体值的指标，结合区域层次结构模型向上的计算公式为：对于无法在线路层面计算的指标值，采用0或1来表示该线路是否满足该指标，满足为1，不满足为0。对于无法在线路层面计算的指标值，结合区域层次结构模型向上的计算公式为：3.3)根据步骤4.2计算出的a+～e类供电分区的指标值，按照加权系数，结合区域层次结构向上计算出整个供电区域的指标值。4)对步骤4中的评价指标计算结果，运用层次分析法，计算出各层次的权重，并得出a+～e类供电分区和当前供电区域的运行状态评估结果。层次分析法的主要步骤如下：4.1)确定需要评估的供电区域。4.2)读取待评估区域指标层的各项评价指标。4.3)构建层次结构模型。运行状态评估的层次模型分为三层，分别为目标层、准则层和指标层。准则层为电网结构评估指标、装备水平评估指标、供电能力评估指标和可靠性评估指标。目标层为配电网运行状态评估指标。指标层为电网结构评估指标、装备水平指标、供电能力指标和供电可靠性指标。4.4)构造出各个层次的判别矩阵。通过1～9互反性标度理论设定评估因素之间的相对重要性。对评估因素进行两两比较。比较结果为判别矩阵中的元素值。4.5)对目标层、准则层和指标层进行排序。确立判别矩阵后，对所述判别矩阵进行一致性校验。对所述判别矩阵进行一致性检验的步骤主要如下：4.5.1)对于所述判别矩阵，引入bi值来判断所述判别矩阵的非一致性的严重程度，即其中λmax为判别矩阵的最大特征根。n为阶数。4.5.2)引入随机一致性指标判断所述判别矩阵是否可靠。根据平均随机一致性指标(ri)来计算随机一致性比率。其中，bi值代表所述判别矩阵的非一致性的严重程度。ri为平均随机一致性指标。当br≤0.1时，则所述判别矩阵通过一致性检验，所述判别矩阵是可靠的。当br＞0.1时，则所述判别矩阵无法通过一致性检验。4.5.3)针对无法通过一致性检验的判别矩阵，不断调整未通过一致性检验的判别矩阵中的元素，直到未通过一致性检验的判别矩阵通过一致性检验。4.6)计算各层权重值并得出目标层的最终运行状态评估得分。运行状态评估分数的计算公式如下：式中，s表示评价体系结构中任一非指标层的评分。n(n＞1)表示指标s下一层指标(准则层或指标层指标)的个数。si表示非目标层指标i的评分。wi表示非目标层指标i的权重。i表示非目标层指标，1＜i＜n。5)将运行状态评估结果可视化。数据可视化主要包括实时运行状态评估结果显示和spark交互式分析查询可视化。6)可视化结合运行状态评估区域的gis数据，在地图上使用不同的颜色表示出不同的运行状态。地图数据支持向下钻取到县/区的a+～e类供电分区。地图支持点击事件，可查看准则层的各项状态评估分数。7)实时运行状态评估的可视化结合百度的开源可视化图表插件echarts制作智能仪表盘(dashboard)，通过dashboard向运维人员展示实时运行状态曲线和实时状态评估结果。本发明的技术效果是毋庸置疑的。本发明采用spark并行计算框架对数据进行处理，采用多层次指标体系和多层次区域体系，对配电网的运行状态进行深层次分析,有效提升了配电网海量数据处理的高效率。本发明将层次分析法与spark并行计算框架相结合，实现配电网运行状态评估指标权重客观、精准地确定。本发明研究配电网运行状态数据的“点-线-面”综合分析方法，结合数据可视化技术，从不同粒度不同层次对配电网运行状态进行精准把握与精细化分析，并在大数据技术的支持下，形成一种具备数据源、数据采集、数据整合、数据存储、数据挖掘分析和数据可视化的配电网运行状态评估系统。附图说明图1为系统整体框架图；图2为并行计算流程图；图3为指标体系结构图；图4为配电网多源异构数据融合图；图5为区域层次结构图；图6为线路指标值并行计算示意图；图7为运行状态评估可视化展示图。具体实施方式下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。实施例1：参见图1至图4，为实现本发明目的而采用的技术方案是这样的，一种基于大数据技术的配电网运行状态评估系统及方法，主要包括以下步骤：一种基于大数据技术的配电网运行状态评估系统及方法，主要包括以下步骤：1)采集智能电网各个供电区域的数据。数据源包括两部分数据。一部分数据是配电自动化系统的海量历史数据。另一部分数据是配电自动化系统的实时流数据。进一步，采集的数据来源主要包括pms、scada、gis配电网子系统和外部天气信息。配电网的实时数据采集周期是15分钟。采用flume采集配电自动化系统的实时流数据。采用sqoop抽取关系数据库oracle中的配电自动化系统的海量历史数据。2)对来自各个系统的数据进行多源异构数据融合。进一步，考虑多源数据的语法和语义规则，将结构化、半结构化和非结构化的多源异构配用电大数据，转换为统一标准模型的结构化数据进行存储。开源工具kafka接收多源异构数据融合后得到的数据。开源工具kafka将接收到的数据以实时或定时的方式存储到分布式文件系统(hdfs)中。优选的，开源工具kafka以时间复杂度为o(1)的方式提供消息持久化能力，即使对tb级以上数据也能保证常数时间的访问性能，这种特性保证了它能将海量的配网大数据实时的写入分布式文件系统。3)根据hdfs中的数据，利用spark并行计算框架逐层计算供电区域的评价指标。主要计算步骤如下：3.1)计算供电区域内各条线路的指标评价结果。主要步骤如下：3.1.1)将存储在hdfs中的原始数据集随机切分。将切分的结果保存到不同的弹性分布式数据集rdd中作为输入。3.1.2)利用内存计算中的rdd来并行计算线路指标值。利用spark的并行计算机制在各个计算节点并行计算。计算结果的输出形式为<xl_id,<zb_id,value>>。(1)其中，xl_id为线路id。zb_id为指标id。value为计算结果数值。3.1.3)以<xl_id,<zb_id,value>>作为本步骤的输入，在各个计算节点，根据线路id号将计算后的指标值利用spark的groupbykey函数进行局部聚合。3.1.4)将各个计算节点的计算数据汇总到主节点，并利用spark的groupbykey函数进行全局聚合，从而得出每条线路的指标值。将得到的每条线路指标值数据输出到hdfs中，输出形式为<xl_id,list<zb_id,value>>。其中，xl_id为线路id。list为线路的指标集合。zb_id为指标id。value为计算结果数值。3.2)根据步骤3.1.4中线路指标计算的结果，结合区域层次结构模型向上计算出供电区域内a+～e类供电分区的指标值。线路指标值向上计算的方法，根据指标值含义的不同，分为两种。两种指标计算方法分别如下：针对可以在线路层面求出具体值的指标，结合区域层次结构模型向上的计算公式为：对于无法在线路层面计算的指标值，采用0或1来表示该线路是否满足该指标，满足为1，不满足为0。对于无法在线路层面计算的指标值，结合区域层次结构模型向上的计算公式为：3.3)根据步骤3.2计算出的a+～e类供电分区的指标值，按照加权系数，结合区域层次结构向上计算出整个供电区域的指标值。4)对步骤3中的评价指标计算结果，运用层次分析法，计算出各层次的权重，并得出a+～e类供电分区和当前供电区域的运行状态评估结果。层次分析法的主要步骤如下：4.1)确定需要评估的供电区域。4.2)读取待评估区域指标层的各项评价指标。4.3)构建层次结构模型。运行状态评估的层次模型分为三层，分别为目标层、准则层和指标层。准则层为电网结构评估指标、装备水平评估指标、供电能力评估指标和可靠性评估指标。目标层为配电网运行状态评估指标。指标层为电网结构评估指标、装备水平指标、供电能力指标和供电可靠性指标。4.4)构造出各个层次的判别矩阵。通过1～9互反性标度理论设定评估因素之间的相对重要性。对评估因素进行两两比较。比较结果为判别矩阵中的元素值。互反性标度如表1所示。表1互反性标度4.5)对目标层、准则层和指标层进行排序。确立判别矩阵后，对所述判别矩阵进行一致性校验。对所述判别矩阵进行一致性检验的步骤主要如下：4.5.1)对于所述判别矩阵，引入bi值来判断所述判别矩阵的非一致性的严重程度，即其中λmax为判别矩阵的最大特征根。n为阶数。4.5.2)引入随机一致性指标判断所述判别矩阵是否可靠。根据平均随机一致性指标(ri)来计算随机一致性比率。其中，bi值代表所述判别矩阵的非一致性的严重程度。ri为平均随机一致性指标。当br≤0.1时，则所述判别矩阵通过一致性检验，所述判别矩阵是可靠的。当br＞0.1时，则所述判别矩阵无法通过一致性检验。4.5.3)针对无法通过一致性检验的判别矩阵，不断调整未通过一致性检验的判别矩阵中的元素，直到未通过一致性检验的判别矩阵通过一致性检验。4.6)计算各层权重值并得出目标层的最终运行状态评估得分。运行状态评估分数的计算公式如下：式中，s表示评价体系结构中任一非指标层的评分。n(n＞1)表示指标s下一层指标(准则层或指标层指标)的个数。si表示非目标层指标i的评分。wi表示非目标层指标i的权重。i表示非目标层指标，1＜i＜n。5)将运行状态评估结果可视化。数据可视化主要包括实时运行状态评估结果显示和spark交互式分析查询可视化。6)可视化结合运行状态评估区域的gis数据，在地图上使用不同的颜色表示出不同的运行状态。地图数据支持向下钻取到县/区的a+～e类供电分区。地图支持点击事件，可查看准则层的各项状态评估分数，以便于有针对性的找出供电区域内配电网的缺陷和不足。7)实时运行状态评估的可视化结合百度的开源可视化图表插件echarts制作智能仪表盘(dashboard)，通过dashboard向运维人员展示实时运行状态曲线和实时状态评估结果，提高配电自动化系统运维人员的工作效率。8)spark交互式分析可视化。融合apachezeppelin提供的web版交互式分析可视化平台，提供给操作人员利用sql语言做一些简单的统计分析的接口。在编写sparksql、hivesql等相关程序时，能快速的将编写的程序的查询结果可视化呈现出来。实施例2：参见图5至图7，本实施例为采用spark并行计算框架计算某供电区域运行状态评估的实例应用。以计算线路结构指标中的10kv线路平均供电半径为例，对指标层指标值的计算做详细说明。指标计算方式及运行状态评估的主要步骤如下：1)某供电区域内只有a+、a、b三个供电分区，其中a+分区共有线路133条、a分区共有线路387条、b分区共有线路14条线，线路供电半径的详细数据如表2所示。序号线路名称电压等级分区供电半径(km)1a+线路1交流10kva+1.802a+线路2交流10kva+3.00...............533b线路13交流10kvb2.00534b线路14交流10kyb2.70表2线路明细表2)供电区域内各个供电分区的单条线路供电半径值如表3所示，根据区域层次结构图，向上计算出a+～b类供电分区的10kv线路平均供电半径。区域线路条数平均供电半径(km)a+1332.07a3871.62b143.10表3a+～b供电分区平均供电半径该供电区域内共有线路534条，根据各区域线路所占比例，整个大区域的10kv线路平均供电半径计算公式为：通过计算可得，整个供电区域的10kv线路平均供电半径为1.77(km)。其他指标层指标的计算方法与上述的方法类似，首先是计算线路层指标值，然后根据线路层指标值的计算结果计算出a+～b类供电分区的指标值，最后根据a+～b供电分区的指标值计算结果计算整个供电区域的指标值。3)根据上述的计算方法，结合指标体系结构和区域体系结构，计算供电区域内各条线路的指标评价结果。主要步骤如下：3.1)将存储在hdfs中的原始数据集随机切分。将切分的结果保存到不同的rdd中作为输入。3.2)利用内存计算中的弹性分布式数据集rdd来并行计算线路指标值。利用spark的并行计算机制在各个计算节点并行计算。3.3)在各个计算节点，根据线路id号将计算后的指标值进行局部聚合。3.4)将各个计算节点的计算数据汇总到主节点，并进行全局聚合，从而得出每条线路的指标值。3.5)根据步骤3.4中线路指标计算的结果，按照一定的计算规则，结合区域层次结构模型向上计算出供电区域内a+～b类供电分区的指标值。进一步，运行状态评估的层次模型分为三层，分别为目标层、准则层和指标层。目标层为配电网运行状态评估指标。准则层为电网结构评估指标、装备水平评估指标、供电能力评估指标和可靠性评估指标。指标层为电网结构评估指标、装备水平指标、供电能力指标和供电可靠性指标。电网结构评估指标主要包括10kv线路平均供电半径、10kv线路架空线路平均分数段、10kv配电网标准化结构占比、10kv线路联络率和10kv线路n-1通过率。装备水平指标主要包括10kv线路截面标准化率、10kv在运设备平均投运年限、10kv线路电缆化率、10kv架空线路绝缘化率和高损配变占比。供电能力指标主要包括10kv线路出线间隔利用率、10kv线路最大负载率平均值、10kv重载线路占比、10kv配变最大负载率平均值和10kv重载配变占比。供电可靠性指标主要包括用户平均停电时间、用户平均停电次数和预安排停电时间占比。3.6)经过spark并行计算，供电区域当前的运行状态评估的指标值如表4所示：表4供电区域指标计算结果4)对配电网运行状态评估指标的指标得分进行计算。计算方式如表5所示。其中，各个指标统一变换为[0,100]区间之间的整数。表5配电网运行状态评估指标评分细则5)根据步骤4得出的配电网运行状态评估指标的指标得分，采用层次分析法得出综合评价结果。表6综合评价结果由表6可知，对配电网运行状态的最后评估分数为85.771分，同时也可以对电网结构、装备水平、供电能力、可靠性进行评估，并获得每个指标在综合评价中的重要程度。spark在并行计算区域层次结构模型中的大区域的同时，也会并行的计算出大区域下a+～e类供电分区的运行状态评估分数。计算方法与上述方法类似。6)运行状态评估结果可视化.点击想查看区域的地图，会在地图上方浮动显示出运行状态的评估分数，并在右边以表格的形式显示出当前供电区域内a+～e类供电分区的运行状态评估分数和当前供电区域内个准则层的评估分数，以便运维人员找出现状配电网的缺陷和不足。当前第1页12