一种基于Hadoop的输电网络节点数据分析系统及方法与流程

一种基于hadoop的输电网络节点数据分析系统及方法
技术领域
[0001]
本发明涉及输电网监测领域，具体涉及一种基于hadoop的输电网络节点数据分析系统及方法。


背景技术：

[0002]
电力系统中各种电压的变电所及输配线路组成的整体，称为电力网，简称电网，包含变电、输电、配电三个单元。输电电网的运行状态直接影响用户的用电体验及用电满意度。如何实现输电电网运行状态的有效监测和分析，从而及时发现输电电网运行过程中存在的异常，是目前迫切需要解决的问题。
[0003]
目前，在输电电网大数据分析中所使用的深度学习方法是基于基本为前馈神经网络的深度学习方法，而前馈神经网络的特点是同层神经元之间没有反馈连接，没有“时间参数”属性，所以因此，基于前馈神经网络的深度学习方法只擅长处理静态数据，却无法处理动态数据(即与时间相关的数据)，实时性较差，同时，由于输电电网运行过程中会产生大量的电力数据，因此，一般的分析系统在运行过程中很容易发生负载过大、数据冗余、容易死机、数据处理速度降低的情况。


技术实现要素：

[0004]
为解决上述问题，本发明提供了一种实时性好、准确率高的基于hadoop的输电网络节点数据分析系统及方法，实现了输电网节点数据的分布式计算分析。
[0005]
为实现上述目的，本发明采取的技术方案为：一种基于hadoop的输电网络节点数据分析系统，包括：节点数据采集模块，用于实现输电网络节点数据的采集，并利用信源编码为每一个输电网节点数据配置独立的数据标识；数据预处理模块，用于基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；数据集生成模块，用于基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；数据分析模块，用于基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果。
[0006]
进一步地，所述异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据；节点数据分类模型采用bi-lstm+attention模型。
[0007]
进一步地，还包括：分析报告生成模块，用于基于hadoop运行预设的分析报告编制算法生成对应的分析报告。
[0008]
进一步地，还包括：异常工况识别模块，用于基于hadoop运行预设的异常工况识别模型实现节点数据的处
理，从而识别处于异常工况的节点数据采集模块。
[0009]
本发明还提供了一种基于hadoop的输电网络节点数据分析方法，包括如下步骤：s1、实现输电网络节点数据的采集，并利用信源编码为每一个输电网节点数据配置独立的数据标识；s2、基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；s3、基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；s4、基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果。
[0010]
进一步地，还包括：基于hadoop运行预设的分析报告编制算法生成对应的分析报告的步骤。
[0011]
进一步地，还包括：基于hadoop运行预设的异常工况识别模型实现节点数据的处理，从而识别处于异常工况的节点数据采集模块的步骤。
[0012]
进一步地，所述异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据；节点数据分类模型采用bi-lstm+attention模型。
[0013]
本发明具有以下有益效果：基于hadoop实现了输电网节点数据的分布式计算分析，可以及时发现输电电网运行过程中存在的异常情况，实时性好、准确率高。
附图说明
[0014]
图1为本发明实施例1一种基于hadoop的输电网络节点数据分析系统的系统框图。
[0015]
图2为本发明实施例2一种基于hadoop的输电网络节点数据分析方法的流程图。
[0016]
图3为本发明实施例3一种基于hadoop的输电网络节点数据分析方法的流程图。
具体实施方式
[0017]
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0018]
实施例1如图1所示，一种基于hadoop的输电网络节点数据分析系统，包括：节点数据采集模块，用于实现输电网络节点数据的采集，并利用信源编码为每一个输电网节点数据配置独立的数据标识；数据预处理模块，用于基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；数据集生成模块，用于基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；数据分析模块，用于基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果。
[0019]
分析报告生成模块，用于基于hadoop运行预设的分析报告编制算法生成对应的分析报告。
[0020]
异常工况识别模块，用于基于hadoop运行预设的异常工况识别模型实现节点数据的处理，从而识别处于异常工况的节点数据采集模块。
[0021]
本实施例中，所述异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据；节点数据分类模型采用bi-lstm+attention模型。
[0022]
实施例2如图2所示，一种基于hadoop的输电网络节点数据分析方法，包括如下步骤：s1、实现输电网络节点数据的采集，并利用信源编码为每一个输电网节点数据配置独立的数据标识；s2、基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；s3、基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；s4、基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果。
[0023]
本实施例中，所述异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据；节点数据分类模型采用bi-lstm+attention模型。
[0024]
实施例3如图3所示，一种基于hadoop的输电网络节点数据分析方法，包括如下步骤：s1、实现输电网络节点数据的采集，并利用信源编码为每一个输电网节点数据配置独立的数据标识；s2、基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；s3、基于hadoop运行预设的异常工况识别模型实现节点数据的处理，从而识别处于异常工况的节点数据采集模块；s4、基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；s5、基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果。
[0025]
s6、基于hadoop运行预设的分析报告编制算法生成对应的分析报告。
[0026]
本实施例中，所述异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据；节点数据分类模型采用bi-lstm+attention模型。
[0027]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。