工业用电数据处理系统的制作方法

本发明涉及一种工业用电数据处理系统。

背景技术：

随着电力行业的高速发展，电力行业越来越趋向于信息化、自动化、智能化。电力系统及其自动化在工业用电领域一直是一个热门的问题，可以说电力作为现代工业的血液是十分重要与关键的，它的稳定运行关系到生产与安全。同时如果能运用好现代检测技术、数据分析技术，对电力数据进行分析，就能获得更多的工厂运行情况信息，不仅为安全运行提供进一步保障，还能优化生产，提高产能。

工业环境会有大量的用电设备，同时工厂全天24小时运行，因此要对设备进行实时监控，每秒都会接收到大量的运行数据，数据积累起来将十分庞大，难以存储更难于分析。过去对于这种数据最多会保存几个工作日就删除了或是只保存关键的设备的运行数据，但对于想预测长期用电趋势或提高风险预警效果的工厂来说就难以为继。更进一步说，问题出在数据的存储方式与利用上。

首先，工业用电数据来自于各个大大小小的用电负荷，既要保证这些数据能够及时得到分析与利用，也要能够将其保存到本地。

其次，对于大量数据的存储运用传统的关系型数据库系统，会将大量的用电负荷数据保存在可能是单机上，这样对单机的运行要求提出更高的要求，无形间增加了成本，增加了数据处理的难度，效率低，还不便于进行拓展与维护。

最后，完成数据的存储工作后，还需要进一步分析数据，对于在线与离线分析需要建立不同的电力模型，在线实时分析需要保证分析结果高时效性，能够实时判断有无风险，离线分析需要保证分析结果高准确性，可以根据分析结果优化用电侧运行，调整运行参数。

技术实现要素：

本发明的目的在于提供一种工业用电数据处理系统。

为解决上述问题，本发明提供一种工业用电数据处理系统，包括：自底向上依次连接的用电设备控制器、底层计算主机、上层中央服务器，其中，

所述用电设备控制器，用于完成用电设备的闭环控制，并采集用电设备的用电数据上传至底层计算主机中；

所述底层计算主机，用于与相邻多个用电设备控制器组合为片区，并完成片区中用电数据的存储、实时分析反馈、通过hdfs接口上传全数据至上层中央服务器中；

所述上层中央服务器，用于从所述接收用电数据，并对接收到的用电数据进行统计分析得到计算结果，并将计算结果先反馈至底层计算主机，底层计算主机再基于所述计算结果下达相关的控制指令到用电设备控制器的控制单元中。

进一步的，在上述系统中，每个用电设备控制器通过无线2.4g网络或以太网直接或间接接入与其相临的底层计算主机，从而可以实时将数据上传至底层计算主机中。

进一步的，在上述系统中，所述用电设备控制器包括与所述用电设备连接的传感器、与所述传感器连接的控制单元、分别与所述控制单元连接的驱动器和通信模块，每个用电设备所传输的用电数据的数据量、数据字段相同或不同，用电设备控制器的控制单元根据其内部算法完成用电设备的闭环控制，并且也接收来自底层计算主机下达的控制指令并执行相应的动作。

进一步的，在上述系统中，所述底层计算主机包括：mongodb非关系数据库、通信接口、实时分析算法、hdfs接口，其中，将由通信接口接收的来自用电设备控制器的通信模块发送过来的用于数据，存储至内存中，实时分析算法会实时读取内存中缓存的数据，并送入lightgbm算法，计算出运行风险可能性的分析结果，同时通过所述通信接口将分析结果对应的限制运行的指令下达至用电设备控制器中的控制单元，mongodb数据库会定期读取缓存中的数据，并写入磁盘，同时通过hdfs数据接口，上传数据到所述上层中央服务器中。

进一步的，在上述系统中，所述上层中央服务器是由多台计算机组成的集群，所述集群中的计算机都统一部署hadoop程序，开启hdfs服务，配置namenode与datanode主机。

进一步的，在上述系统中，所述底层计算主机，用于将接收到的用电数据转存为各个小文档，将多个小文档合并为大文档后上传到上层中央服务器的集群中。

进一步的，在上述系统中，所述底层计算主机，用于接收的各个用电数据，将用电数据通过机器学习算法计算，得到风险评级，若风险评级为高风险将发送预警信号给上层中央服务器，同时发送控制信号给用电设备控制器中的执行器，以限制用电设备运行。

与现有技术相比，本发明的系统主要分为三个自底向上的层级：用电设备控制器、底层计算主机、上层中央服务器，可以用于完成用电数据的存储、在线实时预测、离线预测。

附图说明

图1是本发明一实施例的大数据存储分析系统整体架构示意图；

图2是本发明一实施例的某划分片区控制系统细节示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供一种工业用电数据处理系统，包括：自底向上依次连接的用电设备控制器、底层计算主机、上层中央服务器，其中，

所述用电设备控制器，用于完成用电设备的闭环控制，并采集用电设备的用电数据上传至底层计算主机中；

所述底层计算主机，用于与相邻多个用电设备控制器组合为片区，并完成片区中用电数据的存储、实时分析反馈、通过hdfs接口上传全数据至上层中央服务器中；

所述上层中央服务器，用于从所述接收用电数据，并对接收到的用电数据进行统计分析得到计算结果，并将计算结果先反馈至底层计算主机，底层计算主机再基于所述计算结果下达相关的控制指令到用电设备控制器的控制单元中。

在此，本系统主要分为三个自底向上的层级：用电设备控制器、底层计算主机、上层中央服务器，可以用于完成用电数据的存储、在线实时预测、离线预测。

某片区的某个底层控制主机与其相邻多个用电设备控制器组合为此片区的控制系统。选则这种划分片区而不是直接将所有用电设备全部上传至中央服务器的原因是，考虑到用电设备边缘计算量较大，且要求实时性较高，这样可以满足这些基本要求，同时，划分片区一般以某个生产车间为一个单位，不同车间数据相关度不高，所以这样并不会降低数据分析的精度。

本发明的工业用电数据处理系统一实施例中，每个用电设备控制器通过无线2.4g网络或以太网直接或间接接入与其相临的底层计算主机，从而可以实时将数据上传至底层计算主机中。

本发明的工业用电数据处理系统一实施例中，参考图2，所述用电设备控制器包括与所述用电设备连接的传感器、与所述传感器连接的控制单元、分别与所述控制单元连接的驱动器和通信模块，每个用电设备所传输的用电数据的数据量、数据字段相同或不同，用电设备控制器的控制单元根据其内部算法完成用电设备的闭环控制，并且也接收来自底层计算主机下达的控制指令并执行相应的动作。

本发明的工业用电数据处理系统一实施例中，如图2所示，所述底层计算主机包括：mongodb非关系数据库、通信接口、实时分析算法、hdfs接口，其中，将由通信接口接收的来自用电设备控制器的通信模块发送过来的用于数据，存储至内存中，实时分析算法会实时读取内存中缓存的数据，并送入lightgbm算法，计算出运行风险可能性的分析结果，同时通过所述通信接口将分析结果对应的限制运行的指令下达至用电设备控制器中的控制单元，mongodb数据库会定期读取缓存中的数据，并写入磁盘，同时通过hdfs数据接口，上传数据到所述上层中央服务器中。

在此，所述分析算法lightgbm需要输入的数据特征保持不变并在一定范围内，这就要求我们对数据需要做一定的预处理。首先会将数据进行拼接，由于来自各个用电控制器的数据都不相同，所以会选择相同时间点的各个数据进行特征的拼接。将所有这些数据以时间轴连接起来，得到完整的数据。之后使用归一化将除时间以外特征数据缩放到零与一之间。最后将数据送入算法中，得到分析结果。当某一片区用电设备出现异常情况时，分析器可以很快做出判断，并下达限制运行的指令。

本发明的工业用电数据处理系统一实施例中，所述上层中央服务器是由多台计算机组成的集群，所述集群中的计算机都统一部署hadoop程序，开启hdfs服务，配置namenode与datanode主机。

在此，基于hdfs的数据存储系统是分布式的，要求每个构成集群的主机都有大量的存储空间与一般大小的运行内存，最主要的是网络带宽要尽可能的大，这将决定数据的传输速度与能力。

当底层计算主机将用电数据上传至上层中央服务器中时，会调用hdfs客户端接口，hdfs的数据上传与备份过程对用户侧来说是不可见的，其将自动完成上传过程，并且会计算优带宽传输方案将一份数据备份至三台节点主机中，途中或上传完毕后，即使发生节点主机崩溃情况也不会影响到数据传输或数据的完整性。

所述中央服务器中运行的hadoop程序除了数据存储的hdfs程序外，还有用于数据分析的mapreduce程序。当我们需要选择性的选取一定区间内的数据或是用全部的数据进行统计计算时，就可以使用mapreduce。它将自动调用你设定的服务器中计算主机设备数量，来自动将这些数据分析工作分配至这些主机中，协同分工完成相应的计算工作。

最优运行分析是将所有存储在服务器中的来自各个划分区间用电设备数据进行进一步的分析。一般作用是将所有数据进行归纳总结出一条条运行曲线，包括单个设备以及整车间设备，在对应于生产数据曲线、盈利能力曲线、成本曲线等等数据相结合。从而调整车间运营的相关策略，即控制用电设备使用量、频度等，来达到最优化生产或能效、利润最大化。

在这套系统中不仅仅是能根据计划来调控设备，还可以使用基于深度学习网络的lstm模型来进行分析预测，从而实现在下次调整来临前，预先做出调整，既可以使调整更加平滑，没有太大的波动幅度或冲击，降低了系统调控中发生风险事故的可能。另外，也可以做到提前反馈控制效果，类似于pid控制，使系统运行更加稳定。最后由上层中央服务器分析得到的计算结果将先反馈至底层计算主机，底层计算主机再基于所述计算结果下达相关的控制指令到用电设备控制器的控制单元中。

本发明的工业用电数据处理系统一实施例中，所述底层计算主机，用于将接收到的用电数据转存为各个小文档，将多个小文档合并为大文档后上传到上层中央服务器的集群中。

本发明的工业用电数据处理系统一实施例中，所述底层计算主机，用于接收的各个用电数据，将用电数据通过机器学习算法计算，得到风险评级，若风险评级为高风险将发送预警信号给上层中央服务器，同时发送控制信号给用电设备控制器中的执行器，以限制用电设备运行。

具体的，本发明提供的应用工业用电数据处理与分析的综合软件系统，它主要包括了以下几个软件组件：大数据存储系统、大数据离线分析系统、实时数据分析预警系统。其中所述存储系统主要采用hadoop的分布式文件管理系统hdfs以及非关系数据库mongodb。其中所述分析系统中主要采用深度学习神经网络算法对电力数据进行离线分析，用机器学习算法lightgbm等对用电实时数据进行分析预警。本综合系统实现并解决了工业用电大数据的存储问题、离线分析预测问题、在线实时预警问题。

本发明解决了对于工业环境下多种用电设备所产生的大量数据进行监控、存储、分析。为了实现本发明，将引入大数据领域的数据存储工具hadoop分布式存储架构以及边缘计算概念。另外，为了使分析效果更快更好，算法将选择前沿的深度学习与机器学习。

为了实现高效、高可靠的存储，本发明所采用存储技术方案如下：

所述工厂中所有用于生产的用电设备的用电设备控制器都将发送数据信息至其最近的底层计算主机中。底层计算主机将进行两个步骤：分析反馈与数据上传。

步骤1：为了实现边缘计算，最大化利用计算设备的同时保证分析时效性、降低复杂度与不可靠性，在相邻用电设备中设置底层计算主机。相邻区域中所产生的数据都将通过各种通信装置传输至底层计算主机中。并按照底层计算主机中运行的算法完成分析工作。分析将完成用电终端是否会出现风险故障。将分析结果发送到用电设备控制器，同时上传至上层中央控制服务器。这种设置能加快处理速度，因为数据处理工作不在上传至上层中央服务器，减小了上层中央服务器对带宽需求。

步骤2：用电设备控制器将用电数据传输至底层计算主机，底层计算主机在分析用电数据的同时会将用电数据保存在本地，储存在mongodb非关系数据库中。因为考虑到有众多数据来源，并且都是与时间相关的数据，所以这里使用非关系数据库，可以更易拓展数据信息的特征、来源、便于维护管理。在保存信息至数据库的同时，会将一些关键数据上传上层中央控制服务器中。这些关键优先上传是为了全局管理系统中一些重要分析提供数据支持。这样避免在之后的数据全部上传中，可能出现的带宽限制上传速度的问题，造成一些关键控制指令迟迟无法下达。底层数据主机中的数据积累到一定量或一定时间后，将全部上传至上层中央控制服务器中。

所述上层中央服务器主要完成大数据的存储，它的核心组件是hadoop中的hdfs分布式数据文件存储系统。

所述hdfs采用它的主要原因是，首先，它可以存储超大规模tb、pb级别的数据，它的硬件层是由数台计算机组成的集群，因此其拓展性很高，只需加入计算机进入集群就可以扩展容量。另外，构成集群的计算机只需一般性能即可，成本低、性价比高；其次，它具有高可靠特性，体现在如果数据服务器中有一台计算机损坏或掉线，不会影响到集群的运行，同时也不会有数据丢失的问题。因此相比传统的数据库存储，hdfs具有相当的优势。

所述上层中央服务器主要任务是接收底层计算主机上传的所有用电数据。用电数据首先会在底层计算主机上被转存为文档，由于单个用电设备所产生的数据比较小，而hdfs对大量小文件的存储将会降低集群运存的使用效率，因此还需几个小文档合并为一个大的文档，最后上传到上层中央服务器的集群中。上传的过程是透明的，hdfs将自动将文档数据备份三份，即使上传过程出现意外中断，系统会自动判断文件是否上传成功，必要时重传，避免了文件丢失的情况。所有数据接收完后，便可以进行离线分析。

所述数据分析可以分为两个部分，发生在底层计算主机中的在线实时风险分析及其预警控制，发生在上层中央服务器中的离线预测与优化运行分析。

所述在线实时风险分析主要作用是将底层计算主机接收的各个用电设备的数据，将数据通过机器学习算法计算，得到风险评级，如果风险评级为高风险将发送预警信号给中央主机，同时可能会发送控制信号给用电设备控制器中的执行器，以限制用电设备运行。

所述机器学习算法主要采用lightgbm算法。lightgbm算法是个高效、快速的基于梯度提升的决策树算法。输入数据为各个用电设备传感器的数据，经过lightgbm分类算法，将具有风险的用电设备分别出来。

所述输入数据的特征维度具有不统一性，几个数据通过相同的时间轴拼接整合为一个以纵轴为时间轴横轴为特征轴的数据。同时对每列特征数据进行归一化处理。所有这些都存储在数据库中。将之前的数据用于训练lightgbm，其标签为每个时间轴所对应是否出现危险事故。模型能保存数据特征，当下次有类似输入相似特征的数据时，模型能自动判断出是否有出现事故的可能性。lightgbm的运算效率非常高，能很快地计算出结果，因此可以用于实时分析。每隔一段时间，系统都会自动将历史数据处理过后用于模型的训练，使之具有一定得到自适应能力。

所述风险控制主要是将lightgbm分析结果，也就是出现系统出现可能出现问题，与事先人为设定的解决方案相结合的一种控制方法。当结果给出结果为高风险时，底层计算主机会将预先设定的控制指令下达给用电设备控制器的控制单元，以限制用电设备高风险运行。并将结果上报给上层中央服务器。

所述优化运行分析主要作用是将从hdfs中存储的大量用电数据进行离线分析，从而得到优化用电设备运营曲线，即预测某个用电设备在哪个时段可能会出现用电高峰或低谷，之后对其运行进行相应得提前调整，从而得到最大的能效比。

所述离线分析系统主要采用lstm算法。lstm算法是深度学习神经网络的一种，可用于时间序列数据的分析预测。在使用lstm预测前需要将带有标签的历史数据处理后提供给lstm进行训练。数据来于上层中央服务器，通过调用hdfs接口获得。获得数据后，首先进行归一化处理，将所有数据特征缩放在零至一之间。之后需要对数据进行切片处理，划分n个时间周期的数据作为训练数据，n+1个数据作为标签数据。组成完整训练数据后需要使用m个训练数据作为训练集用于直接训练网络，大致占90％比重，n-m个数据作为验证集，用于验证模型训练效果。在离线预测阶段，将输入模型n个最新用电数据，将得到下个用电周期的预测值，这里用电周期既可以是天，也可以为小时等。如果预测出下个有用电周期用电周期将会出现相应的下调，则会相应的调整用电设备运营，大多数情况会反向调整用电设备，即在预测下调后，系统将增大或投入用电设备运行，以抵消下调影响，使生产曲线保存稳定。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。