一种基于大数据的电力优化配置方法与流程

本发明涉及电力资源分配领域，特别是一种基于大数据的电力优化配置方法。

背景技术：

电力是国民经济的基础性资源，电力数据的处理和利用对发电、输电和供电等各个环节都有重要作用。随着用电量的增长和智能电网技术的发展，电力数据呈现出爆炸性增长的态势。传统的数据处理技术已经不能适应这种情况。

大数据技术的出现可以有效地解决这种问题。“大数据”这个概念最早源于Apache的一个开源项目Nutch。到2008年，Nature出版了第一个“BigData”专刊，介绍了多个方面出现的海量大数据带来的挑战和机遇；2012年，美国政府宣布“大数据研究和发展计划”，并投入2亿美元，大数据的发展成为国家战略行为，引发了又一波大数据研究的热潮。

大数据的定义并不统一，Garnter的定义是“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产”，麦肯锡的定义是“大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合”。目前比较广泛的定义是5V定义，即Volume(规模性)、Velocity(高速性)、Variety(多样性)、Value(低价值密度性)和Veracity(真实性)。电力大数据是对大数据的概念扩展，是以业务趋势预测、数据价值挖掘为目标，利用数据集成管理、数据存储、数据计算、分析挖掘等方面核心关键技术，实现面向典型业务场景的模式创新及应用提升。电力大数据一方面有与大数据相同的特性，可概括为3V，即规模性(Volume)、多样性(Variety)和高速性(Velocity)；另一方面，由于电力系统的特殊性，电力大数据有自己的特点，概括来说就是3E，即数据即能量(Energy)、数据即交互(Exchange)、数据即共情(Empathy)。

电力大数据与传统数据处理流程的不同之处主要在于电力大数据的处理需要处理大量非结构化的数据，所以上述提到的各种大数据技术可以在电力大数据的各个环节进行并行处理。此外，电力大数据需要使用的技术主要还有：(1)集成管理技术，用于合并来自多个应用系统的数据，创建一个有更多功能的企业应用的过程。主要使用的是NoSQL数据库技术；(2)数据分析技术，用于从海量电力数据中提炼出有助于电力工作者做出决策的有用信息和模型。主要的技术有机器学习、数据挖掘、模式识别、神经网络、时间序列预测模型、遗传算法等；(3)数据处理技术，用于解决大规模分布式存储与处理、数据读取和处理解决在线实时计算、处理实时到达的速度和规模不受控制的数据等问题。主要的技术手段包括分布式计算技术、内存计算技术、流处理技术等。

目前大数据技术在电力领域的应用已经取得了很多成果，电力系统的发电、输电和配电各个环节都有大数据技术参与的例子。然而大部分的技术都是在假设发电量足够满足用电需求的前提下来进行分析和处理。但是在用电的高峰期，或者是在很多电力资源不充足的欠发达国家和地区，电力不足的情况仍然存在。如何在电力不足的情况下通过对电力数据的分析，来合理地安排电力供应是一个亟需解决的问题。本发明针对这个问题提出了一种基于大数据的电力优化配置方法。

技术实现要素：

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于大数据的电力优化配置方法。

为了解决上述问题，本发明公开了一种基于大数据的电力优化配置方法，包括以下步骤：

步骤1：采用ETL(Extract,Transform,Load,抽取、转换、装载)数据抽取技术从电力大数据中筛选出用户用电数据。初始数据包括各种结构化、半结构化和非结构化数据，抽取其中与用电量相关的部分，再删除其中的脏数据，并将处理得到的用户用电数据进行建模；

步骤2：针对建模后的用电数据，运用数据清洗技术，去除用户用电数据中存在的噪音数据，并填补其中存在的空缺数据；

步骤3，使用时间序列预测法的自回归AR(autoregression，自回归)模型及步骤2中处理得到的用户用电数据，预测负荷中心在下一时间段内的用电量；

步骤4，对步骤3中预测得到的用电量进行修正；

步骤5，根据预测的用电量、电力传输网络的部署情况和发电站装机容量安排各个发电站的发电量；

步骤6，根据发电量判断是否满足用户用电需求，若不满足，则进行电力的优化配置，得出最终的电力配置方案。

本发明步骤1包括如下步骤：

步骤1-1，通过智能电表采集用户用电数据，再通过RS485/RS232口和4线/2线MODEM调制解调器传输到系统主站，系统主站是电网数据处理中心和电力配置管理中心；

步骤1-2，采用ETL(Extract,Transform,Load,抽取、转换、装载)数据抽取技术，剔除无关数据，无关数据指各种与用电数据量不相关的数据，如生产管理过程中产生的各种结构化、半结构化数据等。并将所有脏数据插入到预先设定的脏数据表TB_SYS_ETL_DIRTYDATA中，通过WEB界面由工作人员分别处理脏数据和非脏数据，其中脏数据由管理人员通过WEB界面进行处理，删除其中确为脏数据的部分，其余部分为有效数据，加入到非脏数据中。对处理后的脏数据和非脏数据进行重抽，并把处理过的脏数据删除；

步骤1-3，对删除脏数据的用户用电数据对象进行建模：以15分钟为一个周期来统计用户的用电量，每块电表每天的用电记录条数为96条，用多元组表示为：

其中M_底度值为电量数据的二维数组，j为时间值，当j＝95时表示时间区间为天/24小时，k为用户编号，a_j,k为用户k在j时间段内的用电量。

本发明步骤2中包括如下步骤：

步骤2-1，处理噪音数据：识别噪音数据与正常数据，将噪音数据删除；

步骤2-2，采用邻近数据平均值法填充空缺值：根据权利要求1中对电力数据的建模，设第i个属性值的空缺数据为a_j,i，在j×k样本数据的M_底度值中，a_j,i的预测公式如下：

本发明步骤2-1中，采用切比雪夫Chebyshev定理将噪音数据与正常数据识别开，包括如下步骤：

步骤2-1-1)，计算出步骤1-3中各属性值的总体均值μ和方差σ，

步骤2-1-2)，用切比雪夫Chebyshev定理计算出置信区间

其中k为步骤1-3中的用户编号；

步骤2-1-3)，根据置信区间判断该数据是否为噪音数据，若数据不在置信区间中，则判定该数据为噪音数据，将该数据删除；反之保留。

本发明步骤3中，负荷中心为输电环节中与用户相连的最后一个节点，每个负荷中心负责向一定规模的用户群提供变电和供电服务。将负荷中心作为电力优化配置的基本单位，负荷中心的历史供电数据为其所服务的用户用电数据相加的结果。

用电量的预测需要考虑预测时间段，根据时间段的长短可以分为年度用电预测、月度用电预测、短期负荷预测等。本发明步骤3中基于短期用电进行预测，主要预测的是未来几小时、一天或几天之内的电力使用情况。短期预测的特点是周期性强，如：每天的24小时内整体变化具有周期性；工作日、周末具有各自的周期性；不同星期、同一星期类型日之间具有周期性；重大节假日具有周期性；等等。同时，短期预测还受到诸如天气变化、季节更替、温度、重大文体活动等的影响。自变量为筛选出的负荷中心历史用电量，用y_t-1、y_t-2…y_t-p表示，因变量为预测的用电量，用y_t表示，其中t为预测时的时间值，p代表用于预测的历史用电数据产生时的时间值与预测时刻的时间值之差，采用时间序列预测法中的自回归AR模型进行预测，AR的计算过程为利用历史数据的加权值及干扰项a_t来做有限线性组合，最后得出预测值，p阶AR模型M_AR(p)的数学表达式如下：

其中p为模型M_AR(p)的阶，为常系数，代表模型M_AR(p)的参数，参数表示模型M_AR(p)中y_t-p对预测用电量的影响因子，取值大小视具体的模型而定。

本发明步骤4中，采用自适应模型中的最小二乘法对预测得到的用电量进行修正，包括：设ε_t为实际用电量y_t与预测的用电量之差，则：

其中，Y(t)＝[Y_t-1,Y_t-2,…,Y_t-p]^T；

最小二乘法的目标是使得ε_t的平方和最小，即性能指标J取极小值的估计值，计算公式如下：

为使性能指标J取极小值，令得到最小二乘法意义下的正规解为：

其中，

本发明步骤5包括：电力作为一种不能大量存储的能源，需要保证发电量与用电量的基本相同，才能既满足需求又不造成资源浪费。在电力网络中，一个负荷中心可以由多个发电站供电，一个发电站也可以给多个负荷中心供电，因此需根据电力网络来协调各个发电站的发电量。因此每个发电站的规划发电量不得高于其装机容量，其关系表示为以下公式：

s_ps≤c_ps，

其中，负荷中心编号为1～lc，lc取值为自然数，s_ps代表发电站ps的发电量，t_ps,lc代表发电站ps给负荷中心lc的供电量，t_lc代表负荷中心lc的预测用电量，s_lc,ps代表负荷中心lc从发电站ps处得到的电量，c_ps代表发电站ps的装机容量。s_ps≤c_ps表示发电站的发电量不得高于其装机容量。

本发明步骤6包括：

步骤6-1，判断发电量是否大于预测的用电量，若是，则不进行电力的优化配置；若不是，执行步骤6-2；

步骤6-2，对部分负荷中心供电的区域中的用户实施断电来保证其他用户的电力使用，确保电力的配置达到最优，每个负荷中心被赋予相应的优先级，记为{priority₁,priority₂,…,priority_lc}，下标代表负荷中心编号，priority_lc表示负荷中心lc的优先级，采用最小堆排序minimum heap sort对优先级进行排序，将所有负荷中心的优先级使用堆排序找出优先级最小的区域，对该区域实施断电操作，在总的供电量中减去该区域用电量，并更新该区域的优先级得到priority′_j，priortity′_lc代表该区域新的优先级，且priority′_j>priority_j；

步骤6-3，重新检测发电量是否满足用电量需求，若满足，则不进行电力配置操作；否则重复步骤6-2，直至发电量满足需求为止。

本发明中，对于基于大数据技术的电力优化配置结果，根据数据抽取、清洗和时间序列预测法的预估，生成最终的电力优化配置结果，最后将结果反馈给电网公司、发电站等有关部门。

与现有技术相比，本发明具有的有益效果是：

(1)用电数据的预测经过数据抽取、数据清洗、AR模型预测以及最小二乘法修正预测数据，使得预测数据更接近真实用电数据，相比于现有预测方式，本发明的预测准确率更高；

(2)电力配置过程考虑了发电量不能满足用户用电需求的情况，并提出一种按优先级大小来配置电力的优化方案，使得电力不足时电力的配置更合理。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明电力配置流程图。

图2是本发明方法的基本框架图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

下面结合附图对本发明作具体说明。应该指出，所描述的实施例仅是为了说明的目的，而不是对本发明范围的限制。

本发明公开了一种基于大数据的电力优化配置方法，该方法流程图如图1所示，基本框架图如图2所示，本发明包括以下步骤：

步骤1，采用ETL数据抽取技术从混杂结构化、半结构化、非结构化的电力大数据中筛选出用户的用电量数据，删除其中的脏数据，并对处理后的电力数据进行建模；

抽取技术的作用是排除无关数据的干扰和用电数据中的脏数据，包括以下三个部分：

(1)采用智能电表采集用户用电数据，再通过RS485/RS232口和4线/2线MODEM将数据传输到系统主站。采集的数据包括各种结构化、半结构化、非结构化数据，以及各种脏数据、噪音数据、缺失数据等；

(2)采用数据抽取技术，剔除原始数据中的无关数据，预先设定一个脏数据表(TB_SYS_ETL_DIRTYDATA)存储其中的脏数据，再由电网工作人员通过WEB界面手动处理脏数据和非脏数据，其中脏数据是指系统中不在给定范围内的数据或是格式不正确、编码不规范、对实际操作无意义的数据。得到的数据再进行重抽，并删除处理过的脏数据；

(3)对删除脏数据的电量数据对象进行建模。以15分钟为一个周期来统计用户的用电量，每块电表每天的用电记录条数为96条(4×24)，用多元组表示为

步骤2，使用数据清洗技术，寻找电力数据中的噪音数据并做删除处理，并对其中的空缺数据进行预测并填补；

清洗操作主要分为以下两部分：

(1)处理噪音数据。噪音数据一般由各种异常情况造成，切比雪夫(Chebyshev)定理可以将其与正常数据识别开来。识别操作分为三步：

第一步，计算出各属性值的总体均值μ和方差σ；

第二步，用切比雪夫定理计算出置信区间

第三步，根据置信区间判断该数据是否为噪音数据。若数据在置信区间中，则说明数据不是噪音数据，将该数据保留；否则删除。

(2)用“邻近数据平均值法”填充空缺值。“邻近数据平均值法”使用与空缺值近似的数据来进行估计，近似数据一般选取数据矩阵中的邻近数据。根据步骤1中对电力数据的建模，设第i个属性值的空缺值为a_j,i，在j×k的样本数据M_底度值中，a_j,i的计算公式为

步骤3，运用时间序列预测法的自回归(AR)模型及步骤2中得到的用户用电数据，预测负荷中心在待预测时间段内的用电量；

负荷中心负责向一定规模的用户群提供变电和供电服务，是输电环节中与用户相连的最后一个节点，因此将负荷中心作为电力优化配置的基本单位，其所服务的用户用电数据的总和即为负荷中心的历史供电数据。

电量预测按照预测时间段的长短可分为年度用电预测、月度用电预测、短期用电预测等，本发明采用短期用电预测。在短期用电预测中，步骤3中得到的负荷中心历史用电量为自变量，用y_t-1、y_t-2…y_t-p表示；待预测的用电量为因变量，用y_t表示。本发明采用时间序列预测法中的自回归(AR)模型来进行预测。AR模型利用历史数据的加权值的有限线性组合及干扰项a_t来计算预测值。p阶AR模型M_AR(p)的数学表达式为：

其中p为模型的阶，常系数为该模型的参数。

步骤4，为减小预测误差，采用自适应模型中的最小二乘法对预测得到的用电量进行修正；

考虑到短期预测受到诸如天气变化、季节更替、温度、重大文体活动等的影响，为减少预测数据受这些因素的影响使得预测误差变大，本发明采用自适应模型中的最小二乘法来对系统进行修正。设ε_t为实际值y_t与预测值之差，有

其中，Y(t)＝[Y_t-1,Y_t-2,…,Y_t-p]^T。

最小二乘法的目标是使得ε_t的平方和最小，即性能指标

取极小值的估计值。

为使J取极小值，令可以得出最小二乘法意义下的正规解为

其中，

步骤5，根据预测的用电量、电力传输网络的部署情况和发电站装机容量安排各个发电站的发电量；

电力作为一种不能大量存储的能源，需要根据用电量来调整发电量，才能既满足需求又不造成资源浪费。在电力网络中，一个发电站也可以给多个负荷中心供电，一个负荷中心可以由多个发电站供电，因此需根据电力网络来协调各个发电站的发电量。同时，发电站的装机容量是其发电量的上限，其关系表示为以下公式：

s_ps≤c_ps

其中，s_ps代表发电站ps的发电量，t_ps,lc代表发电站ps给负荷中心lc的供电量，t_lc代表负荷中心lc的预测用电量，s_lc,ps代表负荷中心lc从发电站ps处得到的电量，c_ps代表发电站ps的装机容量。s_ps≤c_ps表示发电站的发电量不得高于其装机容量。步骤6，根据发电量和预测用电量判断是否满足用户用电需求。若不满足，则进行电力的优化配置，得出最终的电力配置方案。

判断发电量是否大于预测的用电量，若是，则不需要进行电力的优化配置；若不是，则需要对部分负荷中心供电的区域中的用户实施断电，以此来保证其他用户的电力使用，确保电力的配置达到最优。为了实现这个目标，每个负荷中心被赋予相应的优先级，记为{priority₁,priority₂,…,priority_i}，下标代表负荷中心编号。优先级的大小由负荷中心负责供电的用户性质决定，如军事机构、医院、政府机关、科研单位等所在的区域需优先保障供电，因此优先级更高；居民区等区域优先级相对较低。

为方便优先级排序及删除操作，本发明采用最小堆排序(minimum heap sort)对优先级进行排序。首先将所有负荷中心的优先级使用堆排序找出优先级最小的区域，对该区域实施断电操作。然后在总的供电量中减去该区域用电量，并更新该区域的优先级得到priority′_j，这样做的目的是防止某些区域频繁断电的情况的出现，该区域断电后其供电优先级会得到提升，即priority′_j>priority_j。再重新检测发电量是否满足用电量需求。若满足，则不再进行电力配置操作；否则重复上述步骤，直至发电量满足供电需求为止。

本发明提供了一种基于大数据的电力优化配置方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。