基于深度强化学习的微电网电能交易方法与流程

本发明涉及智能电网，尤其是涉及基于深度强化学习的微电网电能交易方法。

背景技术：

随着能源短缺和温室效应等环境问题日趋严峻，对于可再生能源的利用成为了一个重要的研究方向，智能电网的提出是为了整合可再生能源、降低电网成本及提供更好电网质量。智能电网由若干个微电网组成，微电网主要包括内部负载、可再生能源发电机及电能存储设备。

由于各微电网可再生能源产量、负荷的不确定性以及拓扑结构的复杂性,合理的电能交易方案对提高电网效益,减少损失,提高能源利用率具有重要意义。saadw等[saadw,hanz,poorhv,etal.game-theoreticmethodsforthesmartgrid:anoverviewofmicrogridsystems,demand-sidemanagement,andsmartgridcommunications[j].ieeesignalprocessingmagazine,2012,29(5):86-105.]指出微电网之间通过传输线和变压站进行电能传输的过程中，传输距离以及变压损耗是影响传输成本的直接因素，地理位置临近的微电网之间的交易可以更好地平衡其内部的电能供需关系，减少微电网对使用高污染能源的传统电网的依赖，降低电网成本。对于智能电网电能的分配问题，dalalg等[dalalg,gilboae,mannors.hierarchicaldecisionmakinginelectricitygridmanagement[c]//proceedingsofthe33rdinternationalconferenceonmachinelearning.2016:2197-2206.]提出了在长期和短期两种时间尺度上使用强化学习算法，学习微电网的产能与负荷模型，减少电网出现供电不足的情况，提高电网的可靠性的方法。guanc等[guanc,wangy,linx,etal.reinforcementlearning-basedcontrolofresidentialenergystoragesystemsforelectricbillminimization[c]//consumercommunicationsandnetworkingconference(ccnc),2015:637-642.]采用了时间差分算法来学习可再生能源的变化规律，并根据学习的结果决定电能交易量。

在电能交易中，最大的困难在于可再生能源产能和微电网负荷的不稳定性。为了解决这个问题，fathim等[fathim,bevranih.adaptiveenergyconsumptionschedulingforconnectedmicrogridsunderdemanduncertainty[j].ieeetransactionsonpowerdelivery,2013,28(3):1576-1583.]提出自适应的电能消费方案来解决不确定的负荷带来的困扰。由于可再生能源的产量受限于实际天气，不同时间的产量服从一定的状态转移概率，因此，kuznetsovae等[kuznetsovae,liyf,ruizc,etal.reinforcementlearningformicrogridenergymanagement[j].energy,2013,59:133-146.]将可再生能源的产量模拟为马尔可夫过程，并在此基础上提出了基于强化学习算法的电能管理方案。

技术实现要素：

本发明的目的是为解决微电网的电能交易问题，提供深度强化学习结合了q学习和深度卷积神经网络，克服了人工神经网络需要在训练过程中需要先对数据进行分类，缓解了q学习算法在状态集和动作集维度大的情况下学习速度会快速下降问题的基于深度强化学习的微电网电能交易方法。

本发明包括以下步骤：

1)设定区域内有n个微电网的智能电网，各微电网之间相互连接且与电厂相连，对于一个微电网i,1≤i≤n，其电池存储容量为c、储能增益系数为β，断电损失系数为p，与智能电网中其余n-1个微电网之间的电能传输损耗系数为lij，电能交易价格为ρij,1≤j≠i≤n，与电厂的传输损耗系数为lii，电能交易价格为ρii；

2)构造深度卷积神经网络；初始化深度卷积神经网络的权重参数θi，1≤i≤n、输入序列长度w以及网络更新的操作次数b；初始化深度卷积神经网络输出的q值；初始化学习因子α,折扣因子γ；

3)在k时刻，记录所有微电网前一时刻的电能产量g^(k-1)＝[gi^(k-1)]1≤i≤n与负荷d^(k-1)＝[di^(k-1)]1≤i≤n，其中，和分别表示微电网i在第k-1时刻的可再生能源产量和负荷并组成微电网在第k时刻的状态s^(k)＝[g^(k-1),d^(k-1)]；

4)在第k时刻，当k<w时，微电网i随机选取一种交易方案xi^(k)＝[xij^(k)]1≤j≠i≤n,xij^(k)∈[-a,a]，其中，1≤j≠i≤n表示微电网i与其他微电网之间的交易量，a表示微电网之间电能的最大可传输量；当k＞w时，微电网i构造深度卷积神经网络的输入序列是由当前状态s^(k)以及以往记录的w个状态和交易方案组成，将序列输入到深度卷积神经网络，根据卷积神经网络的权重参数θi^(k)，将神经网络的输出结果作为每一种交易方案的q值，根据最大q值选取交易方案xi^(k)；

5)微电网i与相连的微电网之间提出各自的交易方案，确定与微电网之间的实际交易量yij^(k),1≤j≠i≤n以及与电厂之间的交易量yii^(k)；

6)观察第k时刻所有微电网的可再生能源产量g^(k)和负荷d^(k)；

7)微电网i观察本次交易产生的效益ui^(k)；

8)记录第k时刻的经验到经验池d中；

9)对第k时刻深度学习神经网络的权重参数θ^(k)进行b次更新操作；

10)根据环境变化，重复步骤3)～9)，直到微电网i学习到稳定的交易选择策略。

在步骤1)中，所述微电网的智能电网中另一个微电网之间的电能传输损耗系数lij由两个微电网的电能传输路径的长度确定。

在步骤2)中，所述构造深度卷积神经网络包含h+m层，前h层为卷积层，后m层为全连接层，其中最后一层的输出数目与智能电网的可选交易方案数目一致。

在步骤4)中，所述交易量是有限个离散数值的集合，在第k时刻，对于一个微电网i来说,与智能电网中另一个微电网j之间的交易量xij^(k)的具体含义如下所示：

在步骤5)中，所述微电网i和微电网j之间的实际传输量yij^(k)由以下方法确定：

微电网i与其他微电网之间无法根据交易方案完成的部分由电厂承担，与电厂的交易量为yii^(k)。

在步骤6)中，在第k时刻，微电网i的效益ui^(k)由储能增益传输损耗li^(k)，交易的利润或支出ri^(k)，以及不合理的交易导致的供电不足带来的经济损失pi^(k)组成，具体公式为ui^(k)＝gi^(k)-ri^(k)-li^(k)-pi^(k)，其中

其中，i(·)是指示函数，当括号内变量为真的时候函数取值为1，否则为0。

在步骤9)中，所述对第k时刻深度学习神经网络的权重参数θ^(k)进行b次更新操作的具体方法可为：在每一次更新过程中，随机从经验池d中选取一个经验取作为输入，通过当前的神经网络，根据输出计算神经网络输出的损失值l(θi^(k))，采用随机梯度下降与神经网络的反向传播算法更新权重参数θi^(k)，使得梯度值最小化。

与已有的微电网电能交易方法不同，本发明中微电网基于深度强化学习，主动学习各微电网的可再生能源产量以及负荷模型，随着迭代学习的深入，优化交易策略，减少交易成本，提高对可再生能源的利用率与用户满意度，最终达到提高长期效益目的。

具体实施方式

下面结合实例进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。

一种基于深度强化学习的微电网电能交易方法包括以下步骤：

步骤1：构造一个深度卷积神经网络，包含4个层。第一层为卷积层，输入大小为36，包含有20个3×3的卷积核，步进为1，输出大小为20×4×4；第二层为卷积层，输入大小为20×4×4，包含有40个2×2的卷积核，步进为1，输出大小为40×3×3；第三层为全连接层，输入大小为360，输出大小为180；最后一层为全连接层，输入大小为180，输出大小为125。4层都采用relu函数作为激活函数；

步骤2：初始化深度卷积神经网络的权重参数θ1、输入序列长度w＝11以及网络更新的操作次数b＝16；初始化次用户所有动作的q值；初始化学习因子α＝0.7，折扣因子γ＝0.5；微电网个数n＝3，对于微电网1，与微电网2和3之间的传输损耗系数l12＝0.014,l13＝0.021，交易价格ρ12＝0.5元/kw·h，ρ13＝0.42元/kw·h，与电厂之间的传输损耗系数l11＝0.037，交易价格为ρ11＝0.38元/kw·h。断电损失系数p＝300，初始化微电网最大储能值c＝5×10³kw·h，最大传输限制a＝3×10³kw·h，储能增益系数为β＝2.7；

步骤3：在k时刻，记录所有微电网k-1时刻所有微电网的可再生能源产量g^(k-1)和负荷d^(k-1),并由此组成当前时刻的状态s^(k)＝[g^(k-1),d^(k-1)]；

步骤4：在第k时刻，k<w时，微电网1随机选取一组交易方案x1^(k)＝[x1j]2≤j≤3,x1j∈[-a,a]；k＞w时，构造深度卷积神经网络的输入序列并将其变为6×6的矩阵，输入到深度卷积神经网络，设置神经网络的权重参数，将神经网络的输出结果作为每一个交易方案对应的的q值。根据最大q值选择交易方案；

步骤5：微电网1与相连的微电网之间提出交易方案，确定与电网之间的实际交易量y1j,2≤j≤3以及与电厂的交易量y11；

步骤6：微电网1观察当前时刻的可再生能源产能g^(k)和负荷d^(k)；

步骤7：微电网1观察本次交易产生的效益u1^(k)；

步骤8：记录k时刻经验到经验池d中；

步骤9：对第k时刻网络的权重参数θ1^(k)进行16次更新操作。在每一次更新过程中，随机从经验池d中选取一个经验取作为输入，通过当前的神经网络，根据输出计算损失值l(θi^(k))，采用随机梯度下降法，利用神经网络反向传播算法更新深度卷积神经网络的权重参数θi^(k)，使得梯度值最小化；

步骤10：根据环境变化，重复步骤3-9，直到微电网1学习到稳定的交易策略。

本发明涉及微电网的电能交易方法，属于智能电网领域。本发明提供一种基于深度强化学习的微电网电能交易方法，制定与其他相连微电网和电厂的电能交易方案。其特征在于，微电网通过无线网络收集相连的微电网的可再生能源产量和负荷以及交易量等信息，基于深度强化学习算法，通过观察自身的电能储量，决定与其他微电网和电厂之间电能的交易量。微电网不需要预知自己与其他微电网的产能和负荷模型，即可实现最优的电能交易方案，该方案可提高可再生能源的利用率，降低对传统能源的依赖性，增加微电网的长期效益。