基于大数据技术的配电台区低电压监测方法及装置

1.本发明涉及电力大数据分析的技术领域，特别涉及一种基于大数据技术的配电台区低电压监测方法及装置。


背景技术：

2.以往的国内的电压质量监测的功能比较单一，传统的监测系统都采用表格形式，在页面展示和表现方面比较落后，还没有实现完全自动化，有的地方甚至采用手工抄表，实时性和准确性比较差。
3.随着我国电力行业数字化进程的加快，逐渐出现了单机监测分析的方式，此时国内电网还是抽样监测为主，采取单机分析的方式面对数据量不大的情况尚可，但如今大数据时代的到来，电网监测网络逐渐从抽样监测转变成全覆盖监测，每一台配电变压器都配备可采集电压计量数据的智能电表，仅广东省地级市的每日数据就已达亿级别。当前电网数据中心管理的数据量早已从gb上升到tb级甚至pb级，数据构成越来越复杂，不仅包括常规的关系型结构化数据，也包括半结构或无结构数据。数据结构也越来越复合化，采集的数据也从单一计量数据变成多域融合的数据，比如不仅包含基本的计量电流电压，也包含区域码、测点标识等信息。面对日趋复杂的庞大数据集与日趋丰富的数据构成，对配电变压器采集的电压数据的分析有更高的要求。以往的一些基于单机的方案，无法充分利用算力对电力大数据进行分析，在耗时方面未能让人满意。
4.如今电力大数据分析的发展趋势是使用分布式存储网络与分布式并行计算方案，即多台存储和数据处理设备通过高速通讯线路连接协同提供存储和计算服务。海量电力监测数据的存储通常使用分布式存储网络，一份数据集以数据块形式分散存储到不同设备，这样好处是可以充分利用每台服务器的容量，且同时能提供备份，提高数据的容灾能力。数据的计算使用分布式并行计算平台，如基于磁盘的方案mapreduce、基于内存的方案spark、flink等，以此摆脱单机设备的限制。其中基于磁盘的方案mapreduce，在每次计算后会将计算结果保存回磁盘，计算速度会因为磁盘的i/o而减慢，整个计算过程会消耗大量的时间在磁盘的i/o上，造成计算速度慢，而且对于低电压监测场景来说，数据量并未大至一定要使用基于磁盘的方案，所以使用内存计算不落盘的方式更为合适。基于内存的方案spark、flink由于是在内存中迭代，计算速度相对mapreduce来说快很多，也是目前大数据分析的常用方案。在实践中表明大数据存储系统中数据具有不同的访问热度，通常电力行业档案数据通常不会轻易更改，是读多写少型的热数据，访问频率高，更新率低，特别适合经过规则清洗场景后的缓存复用，本发明基于hdfs上使用档案热数据缓存来提高计算速度和数据的复用率。
5.随着国内工业数字化进程的加快和大数据时代的到来，两者的结合也会越来越紧密。目前国内的低电压监测并未形成一个完整体系，基于大数据的分布式并行电压监测分析计算方法也在逐步探索当中，并未系统性提出基于大数据解决低电压监测的理论架构，具有一定的局限性，基于分布式计算框架的电压监测分析计算方案也大多面向具体应用，
不具有普遍性。


技术实现要素：

6.本发明的目的在于克服现有技术的缺点与不足，提供一种基于大数据技术的配电台区低电压监测方法及装置，本发明解决了配电台区低电压监测问题，面对每日亿级别数据量的情况可以在合理的时间内完成计算并提供分析结果。
7.为了达到上述目的，本发明采用以下技术方案：
8.本发明一方面提供了一种基于大数据技术的配电台区低电压监测方法，包括以下步骤：
9.按时间间隔监测采集配电变压器电压状态，并上传电压状态至所对应电压监测控制器；
10.电压监测控制器将所属的采集电压数据按相同采集时间点为一批组织后上传至数据存储集群；
11.计算管理器配置任务相关参数，并在计算集群内启动分析任务；
12.在计算集群内，分析任务从数据存储集群读取计量数据与档案数据，建立档案热数据缓存，融合计量与档案数据，并进行异常电压标记与电压越限时长计算；
13.计算集群的分布式并行任务中，进行并行聚合，一部分进行电压异常率计算，另一部分进行电压越限情况计算，汇总两部分的计算结果，输出为每日同测量点电压基础分析数据；
14.根据每日同测量点电压基础分析数据生成报告，根据报告进行电压质量治理。
15.作为优选的技术方案，所述电压状态数据表示为电压计量向量vi(voltage,point,code),其中，voltage为三相电压向量，point为测量点标识，code为区域码。
16.作为优选的技术方案，所述建立档案数据缓存，具体为：
17.档案数据在计算前，需要经过规则清洗，去除一些失效数据与不必要数据，具有读多更新少的特点，建立清洗后的热数据缓存，可有效提高效率，当档案更新时才抛弃缓存重新清洗。清洗过程在数据计算集群，以分布式并行方式进行清洗，结果由数据计算集群以档案数据相同格式文件形式输出至数据存储集群的规定目录下作为档案热数据缓存；
18.所述热数据缓存建立在数据计算集群，在filter算子中，结合具体业务规则条件，以分布式并行方式进行清洗，结果由数据计算集群以档案数据相同格式文件输出至数据存储集群的规定目录下，从而建立热数据缓存。
19.作为优选的技术方案，所述进行异常电压标记与电压越限时长计算，具体为：
20.电压异常判定，其定义如下：
[0021][0022]
其中，x为电压值的判定结果，normal为正常电压，abnormal为异常电压，ref为当前配电变压器对应电压等级的参考电压，voltage为当前配电变压器的电压值，lower_rate和upper_rate分别代表下限和上限的比率；
[0023]
电压超上下限判定，其定义如下：
[0024][0025][0026]
其中，y
l
和yu表示超下限时长和超上限时长，voltage为输入电压，gap_time为电压监测器采样间隔，lower为下限电压，upper为上限电压，定义如下：
[0027][0028][0029]
其中，ref为当前配电变压器对应电压等级的参考电压，lowerlimit为配电变压器对应电压等级的下限指标,upperlimit为配变电压其对应电压等级的上限指标。
[0030]
作为优选的技术方案，所述电压异常率计算，是统计相同测量点中电压异常点数与正常点数的比率关系；
[0031]
所述电压越限情况计算，基于join算子中预计算的越上下限时间，对相同测量点标识的电压数据聚合，计算电压极值及时间、越限时长及电压越限率。
[0032]
作为优选的技术方案，在汇总两部分计算结果时，针对每个测量点生成一份的电压基础分析数据，所述电压基础分析数据包含合格率、合格时间、总超限时间、总监测时长；所述电压基础分析数据中的每一条对应单一测量点，通过对同区域编码的测量点产出日报，对低合格率测量点进行额外记录，通过日报汇总成周报、月报，对长时间不合格测量点跟踪处理。
[0033]
本发明另一方面提供了一种基于大数据技术的配电台区低电压监测系统，应用于所述的基于大数据技术的配电台区低电压监测方法，包括电压状态采集模块、数据上传模块、任务配置模块、数据处理模块、并行聚合模块以及电压质量治理模块；
[0034]
所述电压状态采集模块，用于按时间间隔监测采集配电变压器电压状态，并上传电压状态至所对应电压监测控制器；
[0035]
所述数据上传模块，用于电压监测控制器将所属的采集电压数据按相同采集时间点为一批组织后上传至数据存储集群；
[0036]
所述任务配置模块，用于计算管理器配置任务相关参数，并在计算集群内启动分析任务；
[0037]
所述数据处理模块，用于在计算集群内，分析任务从数据存储集群读取计量数据与档案数据，建立档案热数据缓存，融合计量与档案数据，并进行异常电压标记与电压越限时长计算；
[0038]
所述并行聚合模块，用于计算集群的分布式并行任务中，进行并行聚合，一部分进行电压异常率计算，另一部分进行电压越限情况计算，汇总两部分的计算结果，输出为每日同测量点电压基础分析数据；
[0039]
所述电压质量治理模块，用于根据每日同测量点电压基础分析数据生成报告，根
据报告进行电压质量治理。
[0040]
本发明又一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于大数据技术的配电台区低电压监测方法。
[0041]
本发明与现有技术相比，具有如下优点和有益效果：
[0042]
1)本发明的技术方案，针对电力行业场景档案数据读多写少，且使用前需大规模规则清洗的特点，对规则清洗后的配电变压器档案数据进行基于hdfs的缓存，只有当档案更新时，才重新清洗，否则直接读取缓存，提高了整体的计算效率。
[0043]
2)与传统的单机数据分析相比，本发明的方案提供了解决低电压监测数据分析的分布式并行计算方法，吞吐量大，且有效提高了计算效率。
[0044]
3)与基于mapreduce的方案相比，本发明基于内存计算，克服了mapreduce计算慢的缺点，降低了在磁盘i/o上的消耗，更加适合应用在配电台区低电压监测场景。
[0045]
4)本发明提出的基于大数据的配电台区低电压监测架构，通过结合物联网设备以及大数据技术，充分利用算力与存储资源，能有效解决现在的大数据情况下的电压监测分析问题，同时具有极强的灵活性，方便电压监测分析任务的横向扩展。
附图说明
[0046]
图1为本发明实施例中基于大数据技术的配电台区低电压监测方法的流程图。
[0047]
图2为本发明实施例中基于大数据的配电台区低电压监测架构图。
[0048]
图3为本发明实施例中档案热数据缓存流程图。
[0049]
图4为本发明实施例中基于flink实施例的任务计算流程图。
[0050]
图5为本发明实施例中并行聚合方法流程图。
[0051]
图6为本发明基于大数据技术的配电台区低电压监测系统的结构图。
[0052]
图7为本发明计算机可读存储介质的结构图。
具体实施方式
[0053]
为使本发明实施例的目、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
本发明利用基于分布式存储系统hdfs作为存储技术，搭建集群存储网络进行数据存储，hdfs集群中存储由各地配电变压器采集上来的计量数据，以及相关的档案数据，如配电变压器档案数据，存储集群会对所有数据容灾备份。
[0055]
如图1所示，本实施例一种基于大数据技术的配电台区低电压监测方法，具体实施步骤如下：
[0056]
s1、配电台区内的智能电表按时间间隔监测采集配电变压器计量电压数据，并上传至所对应电压监测控制器。
[0057]
如图2，基于大数据的配电台区低电压监测架构，现如今越来越多的tb级，甚至pb级的电网数据中心涌现，海量数据分析需求促进了电力大数据分析技术的发展，以往的单机模式进行数据分析，由于数据量太大，未能充分利用算力与存储资源，鉴于此提出了基于
大数据技术的低电压监测分析架构，在架构中，电压监测实例为电网内边缘端各种具备采集计量功能的物联网设备，多个电压监测实例受到一个电压监测管理器的监控，一个电压监测管理器负责收集其管理的电压监测实例的采集计量数据，电压监测控制器周期性将批量数据上传至分布式存储hdfs。此时用户与计算管理器交互，配置参数并启动任务，本实施例的计算管理器为提供参数配置的web页面，随后启动flink集群作为电压分析计算实例，并从数据存储集群hdfs读取采集计量数据与配电变压器档案数据作为flink计算源。
[0058]
进一步的，电压数据结果表示为电压计量向量vi(voltage,point,code),其中voltage为三相电压向量，point为测量点标识，code为区域码。
[0059]
s2、电压监测控制器汇总一批数据，上传至分布式存储系统hdfs，按照区域码组织存放。
[0060]
s3、通过计算任务入口程序，设定相关参数，启动flink计算任务。
[0061]
s4、从hdfs读入热缓存档案数据与采集计量数据，进行数据融合，同时对融合后的数据进行预计算，完成异常电压标记与越上下限时长标记。
[0062]
进一步的，所述档案热数据缓存，由于存在数据质量问题，档案数据在计算前，会经过规则清洗，去除一些失效数据与不必要数据，具有读多更新少的特点，建立清洗后的热数据缓存，可以有效提高效率，当档案更新时才抛弃缓存重新清洗。热数据缓存建立在数据计算集群，在filter算子中，结合具体业务规则条件，以分布式并行方式进行清洗，结果由数据计算集群以档案数据相同格式文件输出至数据存储集群的规定目录下，从而建立热数据缓存。
[0063]
如图3，所述配电变压器热数据缓存，对规则清洗后的配电变压器档案数据进行缓存，电力分析场景下的配电变压器档案具有需大规模清洗、读多写少、更新频率低等特点，使用热数据缓存可以避免重复清洗，只有当档案更新时，才重新清洗。检查更新的方案使用文件标志位，访问集群服务器上的特定文件获取当前档案的更新情况。如果检查发现并未更新，即可直接读取缓存的热数据进入flink算子计算，以此提高整体的计算效率。
[0064]
如图4，所述核心计算步骤，在本实施例中，使用分布式存储hdfs作为存储，使用flink大数据计算引擎作为计算。从hdfs读取需分析的配电变压器档案数据与采集计量数据，两种数据进入join算子，在join算子中基于测量点标识连结，针对每一条电压数据根据其测量点标识来扩充其非计量域数据，用于后续的聚合计算。同时对扩充后的数据进行预计算，标记异常电压与计算越上下限时间。此时预计算后的数据，分别进入两个代表不同分析需求的aggregate算子进行聚合计算，其一是聚合计算电压异常率，统计相同测量点中电压异常点数与正常点数的比率关系；其二是聚合计算电压越上下限情况，基于join算子中预计算的越上下限时间，对相同测量点标识的电压数据聚合，计算电压极值及时间，越限时长，电压越限率等。
[0065]
如图5，所述电压分析并行聚合方法，利用计算集群分布式并行特点对电压数据进行并行聚合，可以在这个部分横向扩展。在电压监测场景下，聚合计算是很常见的，针对该场景使用此并行聚合方案，可以充分利用分布式集群算力，提高整体的计算效率。本实施例中的电压分析需求列举为两个，包括聚合计算电压异常率与聚合计算越限情况，但本发明的实施方式并不受该实施例限制，可根据实际情况灵活扩展。
[0066]
更进一步的，异常电压判定与越限时长计算为：
[0067]
s41、电压异常判定，其定义如下：
[0068][0069]
其中，x为电压值的判定结果，normal为正常电压，abnormal为异常电压。ref为当前配电变压器的参考电压，voltage为当前配电变压器的电压值，lower_rate和upper_rate分别代表下限和上限的比率。
[0070]
s42、电压超上下限判定，其定义如下：
[0071][0072][0073]
其中，y
l
和yu表示超下限时长(分钟)和超上限时长(分钟)，voltage为输入电压，gap_time为电压监测器采样间隔。lower为下限电压，upper为上限电压，它们的定义如下：
[0074][0075][0076]
其中，ref为配电变压器对应电压等级的参考电压，lowerlimit为配电变压器对应电压等级的下限指标,upperlimit为配变电压其对应电压等级的上限指标。
[0077]
s5、基于步骤四数据，在flink子任务中，一部分进行电压异常率计算，另一部分进行电压越限情况计算，在此步骤中，基于分布式并行特点，可横向扩展需求。
[0078]
s6、汇总所有算子的数据，生成针对不同测量点标识的低电压基础分析数据，所述低电压基础分析数据为每日一份，经过一份或多份分析输出为日报、周报、月报，后续依据报告，对配电变压器进行治理。
[0079]
进一步的，在进行结果汇总时，针对每个测量点生成一份的电压基础分析数据，包含合格率、合格时间、总超限时间、总监测时长等电压监测分析汇总数据。电压基础分析数据中的每一条对应单一测量点，通过对同区域编码的测量点产出日报，对低合格率测量点进行额外记录，通过日报汇总成周报、月报，对长时间不合格测量点跟踪处理。
[0080]
更为具体的，对多个aggregate算子计算结果再进行一次join合并，对每个测量点生成一份当天的基础分析数据，sink算子将生成的基础分析数据输出到hdfs作为结果保存，基于这个结果，后续可以直接使用单机分析方案，因为此时数据量已经降低，所述电压基础分析数据中的每一条对应单一测量点，通过对同区域编码的测量点产出日报，对低合格率测量点进行额外记录，统计越限情况等等。通过日报汇总成周报、月报，对长时间不合格测量点跟踪处理。
[0081]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
[0082]
基于与上述实施例中的基于大数据技术的配电台区低电压监测方法相同的思想，本发明还提供基于大数据技术的配电台区低电压监测系统，该系统可用于执行上述基于大数据技术的配电台区低电压监测方法。为了便于说明，基基于大数据技术的配电台区低电压监测系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0083]
如图6所示，在本技术的另一个实施例中，提供了一种基于大数据技术的配电台区低电压监测系统100，该系统包括电压状态采集模块101、数据上传模块102、任务配置模块103、数据处理模块104、并行聚合模块105以及电压质量治理模块106；
[0084]
所述电压状态采集模块101，用于按时间间隔监测采集配电变压器电压状态，并上传电压状态至所对应电压监测控制器；
[0085]
所述数据上传模块102，用于电压监测控制器将采集电压数据组织后上传至数据存储集群；
[0086]
所述任务配置模块103，用于计算管理器配置任务相关参数，并在计算集群内启动分析任务；
[0087]
所述数据处理模块104，用于在计算集群内，分析任务从数据存储集群读取计量数据与档案数据，建立档案热数据缓存，融合计量与档案数据，并进行异常电压标记与电压越限时长计算；
[0088]
所述并行聚合模块105，用于计算集群的分布式并行任务中，进行并行聚合，一部分进行电压异常率计算，另一部分进行电压越限情况计算，汇总两部分的计算结果，输出为每日同测量点电压基础分析数据；
[0089]
所述电压质量治理模块106，用于根据每日同测量点电压基础分析数据生成报告，根据报告进行电压质量治理。
[0090]
需要说明的是，本发明的基于大数据技术的配电台区低电压监测系统与本发明的基于大数据技术的配电台区低电压监测方法一一对应，在上述基于大数据技术的配电台区低电压监测方法的实施例阐述的技术特征及其有益效果均适用于基于大数据技术的配电台区低电压监测系统的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0091]
此外，上述实施例的基于大数据技术的配电台区低电压监测系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于大数据技术的配电台区低电压监测系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
[0092]
如图7所示，在一个实施例中，提供了一种计算机可读存储介质200，存储有程序于存储器201中，所述程序被处理器202执行时，实现所述的基于大数据技术的配电台区低电压监测方法，具体为：
[0093]
按时间间隔监测采集配电变压器电压状态，并上传电压状态至所对应电压监测控制器；
[0094]
电压监测控制器将采集电压数据组织后上传至数据存储集群；
[0095]
计算管理器配置任务相关参数，并在计算集群内启动分析任务；
[0096]
在计算集群内，分析任务从数据存储集群读取计量数据与档案数据，建立档案热数据缓存，融合计量与档案数据，并进行异常电压标记与电压越限时长计算；
[0097]
计算集群的分布式并行任务中，进行并行聚合，一部分进行电压异常率计算，另一部分进行电压越限情况计算，汇总两部分的计算结果，输出为每日同测量点电压基础分析数据；
[0098]
根据每日同测量点电压基础分析数据生成报告，根据报告进行电压质量治理。
[0099]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0100]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0101]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。