基于大数据技术的智能电网全景数据分析方法与流程

本发明涉及一种智能电网数据分析方法，具体地说是一种基于大数据技术的智能电网全景数据分析方法，属于智能电网数据分析技术领域。

背景技术：

随着电网规模的不断扩大、大规模可再生间歇性能源的接入，电网面临着严峻的安全可靠性问题。传统电力系统安全可靠性分析技术具有采集点少、运算量大的特点，随着覆盖整个系统信息采集系统逐步完善，智能电网可以实时获取整个系统的全景数据，而基于全景数据的分析评估计算量非常大，容易造成“计算灾难”，几千阶的微分方程求解，无法满足实时性要求；另一方面，随着大规模分布式间歇能源的接入，由于分布式能源的不确定性难以预测等，很容易对大电网造成冲击，从而对系统的稳定性提出了更高的要求。

智能变电站的数据采集分析都有一定的限制，不能够同时采集全站的信息，只能分层次来进行采集，而且采集到的GOOSE及SMV信息不能够实时的全景展示出来。全景数据分析方法包含全景数据记录、全景数据回放、全景数据展现过程中所采用的压缩算法、存储算法、数据记录、数据反演等技术细节,并分析了该方法的应用效果。全景数据平台统一建模技术，随着IEC61850技术的推广及广泛应用，智能变电站作为智能电网环节中智能节点，需要具有统一的信息模型和高度智能化的处理功能。

大数据引领着新一波的技术革命,对大数据查询和分析的实用性和实效性对于人们能否及时获得决策信息非常重要,决定着大数据应用的成败.但产业界面对大数据常常显得束手无策.一是因为数据容量巨大,类型多样,数据分析工具面临性能瓶颈.另一原因在于,数据分析工具通常仅为IT人员熟练使用,缺少简单易用、让业务人员也能轻松上手实现自助自主分析即时获取商业洞察的工具.因此,大数据的全景数据方法将成为成为大数据时代的显学.对大数据进行分析以后,为了方便用户理解也需要有效的可视化技术,这其中交互式的展示和超大图的动态化展示值得重点关注。

大数据的背景下，必须要考虑数据之间的关联性，一个单独的数据是没有太大意义的，故在大数据的基础上采取全景数据分析的技术，将采集到的数据放到一个框架下，这样才能够及时的发现问题。因此，利用大数据技术的全景数据分析方法是电力大数据分析面临的一项重要工作。

智能变电站仍在不断发展中，智能装置(IED)之间会传输大量数据，通过人工进行分析以及检测比较难于实现，因此，迫切需要一种基于大数据技术的全景数据分析技术，这将会给智能变电站的数据采集分析工作带来极大的便利。

技术实现要素：

针对现有技术的不足，本发明提供了一种基于大数据技术的智能电网全景数据分析方法，其不仅可以采取海量的数据，收集整个网络的数据，而且能够采用全景数据分析的技术将海量数据进行筛选、解析、分组、可视化展示，实时检测智能变电站中各智能设备的状态及信息。

本发明解决其技术问题采取的技术方案是：基于大数据技术的智能电网全景数据分析方法，它包括以下步骤：

1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；

2)数据记录：对采集的智能电网系统数据信息进行分类；

3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；

4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。

进一步地，在批量处理过程中采用数据流式计算和实时计算相结合的方式对数据信息进行处理，通过计算模型对数据流进行实时计算分析，实时产生分析结果。

进一步地，在数据采集过程中，实时监听智能电网系统内的数据变化信息，获取数据变化事件，根据数据报文格式进行分类压缩和记录处理，所述数据报文格式包括MMS、GOOSE和SMV报文。

进一步地，在数据记录过程中，将记录文件进行分类，分为单数据信息索引文件和整数据文件两类，所述单数据信息索引文件记录单标示、单名称和单类型信息，所述整数据文件记录智能变电站内所有变化数据的单数据信息。

进一步地，在数据记录过程中，定点定时生成数据信息索引文件，用以确保数据的一致性及安全性。

进一步地，在即席检索及批量处理过程中，采用单标识或者时间作为关键字进行检索。

进一步地，在批量处理过程中，首先指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数来对数据信息进行批量处理。

进一步地，在全景数据分析结果展示过程中，将不同的数据信息解析，同一间隔的SMV、GOOSE、MMS信息进行统一分析，将其间的关联数据、信息进行智能分析，并通过高可视化界面采用曲线、表格和图形三种方式将全景数据分析结果进行全景展示。

本发明的有益效果是：

大数据技术的全景数据分析方法主要应用于智能电网。智能电网组网数据的采集以及分析，然后通过大数据采集技术收集网络交换机中的GOOSE以及SMV信息，再采用全景数据分析方法将采集到的GOOSE以及SMV信息展示出来。

与现有技术相比，本发明具有以下特点：

1)采集全站的海量数据，能够实时检测智能变电站内各IED的状态。

2)全景数据的可视化展示将各个信息清晰的展示。

3)监测智能变电站内的各智能保护的虚回路，能够为日常的运行监护带来便利，同时能够为事故分析提供依据。

4)大数据的全景分析角度探讨智能电网信息分析、监控、调度技术，可促进大数据的全景数据分析技术在电力系统中广泛并深层次的应用。

5)针对智能电网对数据时效性、准确性、全景性的严格要求，基于大数据的全景数据分析技术能够提供整个电力系统的全景视图和实时动态监控。同时实现了智能变电站的厂站端的接线图、电网模型和采集信息与调度主站的信息实时共享。

附图说明

图1为本发明的方法流程图；

图2为本发明的数据采集示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，本发明的一种基于大数据技术的智能电网全景数据分析方法，它包括以下步骤：

1)数据采集：采用分布式数据采集方式采集智能电网系统内的数据信息；

2)数据记录：对采集的智能电网系统数据信息进行分类；

3)即席检索及批量处理：采用关键字进行检索，并基于MapReduce技术对采集的数据信息进行并行批量计算；

4)全景数据分析结果展示：全景数据分析结果采用多种方式对智能电网内各种数据信息进行全景展示。

进一步地，在批量处理过程中采用数据流式计算和实时计算相结合的方式对数据信息进行处理，通过计算模型对数据流进行实时计算分析，实时产生分析结果。数据的实时计算注重对于数据的快速高效处理、计算和分析，其特点是计算过程数据不落地，所有数据在内存完成。

进一步地，在数据采集过程中，实时监听智能电网系统内的数据变化信息，获取数据变化事件，根据数据报文格式进行分类压缩和记录处理，所述数据报文格式包括MMS、GOOSE和SMV报文。

如图2所示，在数据采集过程中，采用分布式数据采集方式采集智能电网系统内的数据信息，如从监控、调度系统中采集MMS报文，从智能终端中采集GOOSE报文，从合并单元中采集SMV报文，并将采集的数据信息存储在智能变电站大数据库中；智能变电站大数据库记录了智能变电站内的所有IED的信息，如合并单元SMV报文、智能终端的开关位置GOOSE报文、保护装置的跳闸信息等,但是，在长期的运行中产生的大量数据已经不是我们熟知的KB、MB为单位能够衡量的，而是以GB、Tb等为计量单位。通过人工去分析大数据文件的方法已经不适用智能变电站的需求，此时本发明所述的基于大数据技术的智能电网全景数据分析方法应用而生。

进一步地，在数据记录过程中，将记录文件进行分类，分为单数据信息索引文件和整数据文件两类，所述单数据信息索引文件记录单标示、单名称和单类型信息，所述整数据文件记录智能变电站内所有变化数据的单数据信息。为了确保数据的一致性及安全性，在数据记录过程中定点定时生成数据信息索引文件。

进一步地，在即席检索及批量处理过程中，采用单标识或者时间作为关键字进行检索。即席查询技术是用户根据自身的需求选择不同的查询条件，系统能够根据用户的查询条件生成相应的统计表，即席查询和普通的查询技术的最大不同就是普通查询技术就是单一查询，不能够应对不对的查询条件，但计息查询是可以按照用户自定义的查询条件进行搜索、查询。

进一步地，在批量处理过程中，首先指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数来对数据信息进行批量处理。批量处理的方法基于MapReduce技术,MapReduce是一种编程模式，用于大规模数据集的并行批量计算。概念Map和Reduce当前的主流实现是指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，用来保证所有映射的键值对中的每一个共享相同的键值组。

进一步地，在全景数据分析结果展示过程中，将不同的数据信息解析，同一间隔的SMV、GOOSE、MMS信息进行统一分析，将其间的关联数据、信息进行智能分析，并通过高可视化界面采用曲线、表格和图形三种方式将全景数据分析结果进行全景展示。

本发明主要应用于智能电网。智能电网组网数据的采集以及分析，然后通过大数据采集技术收集网络交换机中的GOOSE以及SMV信息，再采用全景数据分析方法将采集到的GOOSE以及SMV信息展示出来。

本发明充分利用了大数据技术，大数据技术的核心价值是数据分析，数据分析是进行决策和做出工作决定之前的重要环节。大数据的特点是数据量庞大、数据类型繁多、处理速度极快、价值极高。数据获取的原则主要是及时原则、准确原则、全面原则、适用原则。

大数据分析过程主要由以下几个基本方面组成:(1)预测性分析能力,数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。(2)数据质量和数据管理,数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。(3)可视化分析,不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。

本发明的全景数据分析方法采用分布式数据采集框架、实时压缩算法和基于文件的快速检索技术,利用C++语言、STL类库等编程工具和类库,实现了对智能电网系统中全部实时数据的连续采集、记录、回放、反演、展现和分析。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。