一种基于Spark的能源互联网信息平台及其应用的制作方法

本发明属于互联网技术领域，尤其涉及一种基于Spark的能源互联网信息平台及其应用。

背景技术：

目前，“能源互联网”(Energy Internet)是以电力系统为核心，以互联网及其它前沿信息技术为基础，以分布式可再生能源为主要一次能源，与天然气网络、交通网络等其它系统深入结合而形成的新的能源利用体系。作为电工、能源、信息、交通、环境等学科交叉的产物，能源互联网体系的建设涉及众多行业和技术领域的发展与变革。能源互联网将实现广域范围内的能源动态平衡，涉及到海量分布式设备接入、多能源网络协调及电气化交通与电网联合规划与调度等众多技术问题，而这些问题的高效、准确解决方案部分依赖于前沿信息技术的支持，实时大数据分析技术是其中的关键技术之一。能源互联网将连接海量分布式设备(分布式发电设备、储能设备、智能电器及电动机车等)、大规模用户及融合各种能源网络，对能源互联网的全景实时监控，将生成大规模的能源数据、负荷数据、状态数据及其他各种数据，由于电力系统实时动态平衡特点，对数据分析时效性具有很高的要求，从而形成能源互联网中的实时大数据。信息平台根据收集到的实时大数据，完成能源调度、安全分析、质量监测等工作，保证能源互联网高效运行。由于分布式能源随天气变化实时改变、电能光速传播、多能源互补协调等特性，能源互联网对数据分析的时效性要求很高，需要具有实时或准实时特性。当前，实时大数据分析技术内涵包括流式计算和内存计算两方面，分别应对不同类型的数据处理业务。其中，流式计算是随着实时到达的数据，进行处理，适合于在线检测、监测等；而内存计算是利用现代计算的大内存特性，将数据存储在内存中进行处理，适合机器学习、数据挖掘、暂态及稳态分析等。Spar是继Hadoop之后的高效大数据分析框架，被称为Hadoop 2.0，是类Hadoop MapReduce的通用并行体系，其融合了多种计算模式，涵盖流式计算和内存计算等，并提供了SQL和机器学习算法库的支持。Spark已经广泛应用在互联网领域，比如腾讯、京东及雅虎等公司建设基于Spark的实时大数据平台。

能源互联网作为比较新的技术，其解决方案主要针对小规模系统，而庞大的系统面临很多挑战，目前缺乏对能源互联网中实时大数据的进行高效分析的方法。

技术实现要素：

本发明的目的在于提供一种基于Spark的能源互联网信息平台及其应用，旨在解决目前缺乏对能源互联网中实时大数据的进行高效分析的方法的问题。

本发明是这样实现的，一种基于Spark的能源互联网信息平台的信息处理方法，所述基于Spark的能源互联网信息平台的信息处理方法包括：

完成数据的接收，并快速对其检测、过滤和解析；

利用Spark的内存计算技术，完成各项常用分析算法，同时对实时性要求高的计算结果推送给应用层或客户端；

实时大数据计算分析，负责完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；

为客户端提供方便快捷的能源共享及分享服务；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源，实现电力在线对等交易。

进一步，所述常用分析算法包括分层最优能源调度、发电及负荷预测、各种数据分析。

进一步，所述能源共享及分享服务包括三项核心功能：实时能源监控、清洁能源发电情况和能源市场。

本发明的另一目的在于提供一种所述基于Spark的能源互联网信息平台的信息处理方法的能源互联网信息平台，所述能源互联网信息平台包括：

Spark Streaming模块，用于完成数据的接收，并快速对其检测、过滤和解析；

内存并行计算模块，与Spark Streaming模块连接，用于利用Spark的内存计算技术，完成各项常用分析算法，同时对实时性要求高的计算结果推送给应用层或客户端；

分布式文件模块，与内存并行计算模块连接，用于实时大数据计算分析，负责完成调度算法、动态预测、安全分析；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本；

应用模块，与内存并行计算模块连接，用于为客户端提供方便快捷的能源共享及分享服务；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源，实现电力在线对等交易。

进一步，所述Spark Streaming模块包括：检测模块、过滤模块、解析模块。

进一步，所述内存并行计算模块包括：分层调度模块、实时预测模块、安全分析模块、交易平台模块、数据推送模块。

进一步，所述应用模块为Web、移动终端或其他。

本发明的另一目的在于提供一种应用所述基于Spark的能源互联网信息平台的信息处理方法的实时交易信息匹配系统。

本发明的另一目的在于提供一种应用所述基于Spark的能源互联网信息平台的信息处理方法的在线电能质量监测系统。

本发明的另一目的在于提供一种应用所述基于Spark的能源互联网信息平台的信息处理方法的K-means聚类系统。

本发明提供的基于Spark的能源互联网信息平台及其应用，基于Spark框架搭建能源互联网实时大数据信息平台，保证实时大数据的高效处理；能源互联网中的部分关键业务可以利用Spark技术实现，实时能源交易信息匹配、在线电能质量监测及监测数据聚类分析等。本发明针对支撑能源互联网的前沿信息技术展开，结合主流的融合实时大数据计算框架的Spark平台，完成能源互联网中实时大数据的高效分析。

附图说明

图1是本发明实施例提供的基于Spark的能源互联网信息平台结构示意图；

图中：1、Spark Streaming模块；2、内存并行计算模块；3、分布式文件模块；4、应用模块。

图2是本发明实施例提供的交易数据自动匹配示意图。

图3是本发明实施例提供的在线电能质量实时监控示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明从能源互联网面临的实时大数据快速分析需求为出发点，在分析能源互联网大数据特点及前沿信息技术基础上，提出了结合内存计算和流式计算的实时大数据平台，并以实时交易信息匹配、在线电能质量监测和快速数据机器学习聚类算法为例，得到了基于Spark平台的实现算例，为能源互联网信息平台的规划，实现和运行提供参考。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于Spark的能源互联网信息平台包括：Spark Streaming模块1、内存并行计算模块2、分布式文件模块3、应用模块4。

Spark Streaming模块1，用于完成数据的接收，并快速对其检测、过滤和解析。

内存并行计算模块2，与Spark Streaming模块1连接，用于利用Spark的内存计算技术，完成各项常用分析算法，包括分层最优能源调度、发电及负荷预测、各种数据分析等，同时对实时性要求高的计算结果推送给应用层或客户端。

分布式文件模块3，与内存并行计算模块2连接，用于实时大数据计算分析，负责完成调度算法、动态预测、安全分析等功能；利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本等。

应用模块4，与内存并行计算模块2连接，用于为客户端提供方便快捷的能源共享及分享服务，包括三项核心功能：实时能源监控、清洁能源发电情况和能源市场；通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源等，实现电力在线对等交易。

Spark Streaming模块1包括：检测模块、过滤模块、解析模块。

内存并行计算模块2包括：分层调度模块、实时预测模块、安全分析模块、交易平台模块、数据推送模块。

应用模块4为Web、移动终端或其他。

下面结合附图对本发明的应用原理作进一步的描述。

1、本发明实施例提供的能源互联网信息平台将是一个庞大、复杂的信息系统，是整个能源互联网的指挥中心，而实时大数据处理是系统的核心功能之一。基于Spark框架在互联网公司应用特点，可以构建Spark能源互联网实时大数据平台。如图1所示，利用Spark Streaming模块完成数据的接收，并快速对其检测、过滤和解析，基于流式计算的实时性，快速预警系统异常。利用Spark的内存计算技术，完成各项常用分析算法，包括分层最优能源调度、发电及负荷预测、各种数据分析等，同时对实时性要求高的计算结果推送给应用层或客户端。

能源互联网信息平台将是整个能源网络的核心节点，构建在云计算和大数据的基础上。而Spark框架作为成熟的互联网实时大数据解决方案，可以作为信息平台的核心组件之一，专注于实时大数据计算分析，负责完成调度算法、动态预测、安全分析等功能。

能源互联网可以利用大数据分析电力或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本等；大数据与电网的融合可组成智能电网，涉及发电到用户的整个能源转换过程和电力输送链，主要包括智能电网基础技术、大规模新能源发电及并网技术、智能输电网技术、智能配电网技术及智能用电技术等，是未来电网的发展方向。

实时大数据平台应为客户端提供方便快捷的能源共享及分享服务，包括项核心功能：实时能源监控、清洁能源发电情况和能源市场。通过实时能源监控掌握用电情况、使用清洁能源比例、调节用电，参与需求侧响应；通过清洁能源发电情况实时了解分布式能源的运行情况，并实现能源分享；通过能源市场自主购买电力，优先购买清洁能源等，实现电力在线对等交易。

2、Spark应用案例

实时交易信息匹配

在能源互联网中，能源消费者和生产者通过公共平台实现信息动态分享，并进而完成能源的实时交易、动态调度。而针对海量用户的能源动态匹配将是交易平台的一项重要工作，并具有实时性和准确性要求高等特点。在Spark平台中，完成实时交易信息匹配算法如图3所示。

能源生产和消费信息以数据流的形式在信息平台交汇，在Spark中表现为不同的RDD；然后分别对RDD依据交易贵族进行预处理，通过map、reduce及groupby等操作；最后，将两类RDD廉洁(join)为一个RDD，并完成匹配和输出。

在线电能质量监测

在将来能源互联网中清洁可再生能源占有较高的比例，同时在广域范围内涵盖众多的大规模储能装置、高耗能设备等，从而容易对电网稳定运行造成冲击，进而带来电能质量问题。因此在能源互联网时代，开展大规模的在线电能质量监测具有更高的现实意义。当前在线电能质量监测系统普遍规模较小，而省公司级别的系统，由于数据量大及通信带宽问题很难做到在线监测。随着通信系统改善，数据中心实时处理能力的提高，可以实现更大范围内的电能质量监测。

可以利用Spark Streaming实现在线电压变动现象实时监测，其中包括电压偏差、波动、暂降与暂升等。实现过程如下：多个监测点的数据以固定时间间隔发送到Streaming中，首先以map运算对数据解析、拆分，得到监测点及对应数据；然后对数据点实时计算各项数值，将结果输出。其过程如图3所示。

K-means聚类

K-means算法是基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法在能源互联网实时数据分析领域应用广泛^[13]，比如用电行为分析、设备状态及故障分类等。在Spark平台提供基于内存计算和流式计算结合的k-means算法实现，首先利用测试数据采用内存计算方式训练并生成模型；然后根据实时到达的数据，利用模型完成分类；模型随实时数据自动修正。其核心代码如下：

其融合了流式计算和内存计算两种模式，保证了采集在线数据的快速处理。

本发明针对支撑能源互联网的前沿信息技术展开，结合主流的融合实时大数据计算框架的Spark平台，完成能源互联网中实时大数据的高效分析。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。