一种发电成本函数未知的动态经济调度方法

本发明涉及智能电网配电管理，尤其是涉及一种发电成本函数未知的动态经济调度方法。

背景技术：

1、随着分布式能源和能源管理技术等的逐渐兴起，传统电网正在发生重大变革。智能电网充分利用网络通信和传感器技术以此获得安全，有效，稳定和可持续的电力供应。与传统电力系统相比，智能电网有三个主要特征：一是实现可再生能源优先、因地制宜的多元能源结构；二是实现集中与分布并举、相互协同的可靠能源生产和供应模式；三是实现各类能源综合利用，以及供需互动、节约高效的用能方式。

2、智能配电网指智能电网中的配电网部分。与传统的配电网相比，智能配电网具有以下优点。第一，智能配电网具有较强的自我调节性。智能配电网能够及时检测出已经发生或正在发生的电网故障，从而能够进行相应的调节，使整个配电网不影响用户的正常供电或将影响降至最小。智能配电网解决了传统电网中存在的“供电间断”问题，并且有效地提高了供电的可靠性。就内涵而言，其优势远超于供电可靠性。例如，目前的供电可靠性管理不计及一些持续时间较短的断电，但是此类供电中断往往都会使得一些对供电敏感的高科技设备损坏甚至长时间停运。第二，智能配电网具有更高的安全性。智能配电网可避免出现大面积停电，能够将外部破坏造成的影响限制在一定范围内，保障重要用户的正常供电。第三，智能配电网提供更高的电能质量。智能配电网实时监测并控制电能质量，使电压有效值和波形符合用户的要求，能够保证用户设备的正常运行并且不影响其使用寿命。第四，支持与用户互动。与用户互动也是智能配电网区别于传统配电网的重要特征之一。主要体现在两个方面：一是应用智能电表，实行分时电价、动态实时电价，让用户自行选择用电时段，在节省电费的同时，为降低电网高峰负荷作贡献；二是允许并积极创造条件让拥有分布式能源的用户在用电高峰时向电网送电。第五，对配电网及其设备进行可视化管理。智能配电网全面采集配电网及其设备的实时运行数据以及电能质量扰动、故障停电等数据，为运行人员提供高级的图形界面，使其能够全面掌握电网及其设备的运行状态，克服目前配电网因“盲管”造成的反应速度慢、效率低下问题。对电网运行状态进行在线诊断与风险分析，为运行人员进行调度决策提供技术支持。

3、智能电网中的配电问题尤其重要。如何分配发电机电量使得其在满足一定的不等式约束(例如：发电机输出约束、传输接口限制约束等)和等式约束(例如：供需平衡约束等)的前提下，使得发电总成本最小？在实际场景中，由于发电机发电成本函数中的各参数受到许多因素(例如：发电机的使用寿命，设备的运行机制等)的影响，从而使得成本函数的数学表达式并不能精确获知。在考虑发电机的成本函数未知时，传统的分布式优化方法将不再适用。其原因如下：一、成本函数未知使得无法用精确的数学表达式表示问题的目标函数；二、成本函数可能具有较为复杂的非凸形式。

4、如今，强化学习是继深度学习之后，学术界和工业界又一次追捧的热点。强化学习和监督学习的共同点是两者都需要大量的数据进行训练，但是两者所需要的数据类型不同。监督学习需要的是多样化的标签数据，强化学习需要的是带有回报的交互奖励。也就是说强化学习只关心即时的奖励，并不关心它所面对的环境究竟是什么。强化学习的目标是要找到最好的策略以实现其累积奖赏的最大化(最小化)。其主要学习思想就是穷尽一切的可能，不断的训练提升自己的策略，从而找到或逼近最优的策略。现如今，越来越多的强化学习算法被用在智能电网的经济调度问题。

5、本专利从强化学习技术，特别是状态动作值函数逼近和非线性规划理论中得到启示来解决动态经济调度问题在实际中存在的发电成本函数未知的问题，主要贡献如下：(1)将强化学习中的状态动作值函数逼近技术和基于乘子分裂的分布式优化算法相结合，提出分布式强化学习优化算法处理发电成本函数未知的动态经济调度问题；(2)本专利所提出的分布式强化学习优化算法中，智能体的调度策略的采用分布式的更新方式，有利于算法向大规模场景的拓展；(3)本专利在选择近似状态动作值函数时采用时变参数，与使用时不变参数相比，选择近似状态动作值函数时采用时变参数能够减少误差并保持近似函数的凸性。

技术实现思路

1、本发明提供了一种针对发电成本函数未知的动态经济调度方法，该方法包含提出了一种新的分布式训练分布式执行的强化学习框架，并在该框架下，设计了一种融合分布式优化和强化学习方法的经济调度算法。本发明提出的分布式强化学习优化算法基于分布式优化理论和强化学习模型，使用分布式的方式解决了发电成本函数未知的动态经济调度问题，可提高智能电网的电力供应。此外，本文提出的分布式强化学习算法不仅可以有效进行智能电网中的配电管理，还可以适用于大规模的智能电网场景。通过仿真结果实例，进一步说明此分布式强化学习优化算法在动态经济调度问题的数值示例中具有良好的性能和有效性。

2、本发明针对发电成本函数未知的动态经济调度问题，首先将强化学习和分布式优化结合构建近似的分布式优化问题。然后，设计了一种融合分布式优化和强化学习方法的经济调度算法。

3、一种发电成本函数未知的动态经济调度方法，其特征在于，包括以下步骤：

4、步骤1：构建智能电网中发电成本函数未知的动态经济调度模型；

5、步骤2：用强化学习的思想将提出的动态经济调度问题转换为分布式优化问题；

6、步骤3：设计分布式强化学习优化算法，得到分布式迭代公式，并迭代求解。

7、其中，所述步骤1中动态经济调度问题模型具体为，简称模型(1)，

8、

9、

10、

11、

12、其中fi(pi,t)是发电机组i的发电成本函数，pi,t是发电机组i在t时刻的发电功率，dt是t时刻的总电力需求，是发电机组i的爬坡约束。pi和分别为最小和最大发电功率，令定义为发电机i的可行发电区间，在动态经济调度问题中，最常见的发电成本函数形如：其中ai，bi，和ci是发电机i的发电成本系数，考虑发电成本函数为正弦曲线成本函数的情形：

13、

14、其中附加的系数ei和fi与发电机i的阀点效应系数。

15、其中，所述步骤2中转换过程为：

16、步骤1中动态经济调度问题模型(1)中的发电成本函数的表达式未知，将其通过分布式强化学习转化为带有约束的近似优化问题，具体过程如下：

17、分布式估计t时刻的总电力需求：定义对每个智能体使用平均一致协议如下：

18、

19、其中l是网络通信图的拉普拉斯矩阵，根据公式(1)可知，其中1n是所有元素为1的n维列向量，根据动态经济调度问题模型(1)，每个智能体对每个时刻t的平均电力需求的估计值收敛于实际平均电力需求，并且所有智能体可以获得每个时刻t的总电力需求dt。

20、智能体分布式寻找t时刻的可行发电组合：每个智能体随机选取定义电力需求-供应之间的误差为mt[0]＝(d1,t-p1,t,…,dn,t-pn,t)t，智能体采用如下迭代：

21、mt[k+1]＝mt[k]-∈lmt[k].        (3)

22、根据公式(3)可知，通过一下方式调节pi,t：

23、

24、其中sign(·)是符号函数，min{}表示取最小值，α是需求-供应之间的误差，重复公式(3)和公式(4)直到α＝0，当α＝0时，pt＝(p1,t,p2,t,…,pn,t)t即为t时刻的可行发电组合。

25、计算t时刻的发电成本：设其中ci,t＝fi(pi,t)，令是t时刻的平均发电成本，运用平均一致协议：

26、

27、根据公式(5)可知，即智能体的局部估计收敛到了t时刻的平均发电成本，同时易得总发电成本为

28、更新t时刻的的近似函数参数：定义jt(dt,pt,θt)＝φ(pt)tθt为近似状态动作值函数，其中φ(pt)为特征向量，θt为参数。参数θt的更新如下：

29、

30、令从而公式(6)变为

31、

32、其中是智能体i在t时刻的参数。

33、智构建近似优化问题，根据近似状态动作值函数构建如下带约束的近似优化问题：

34、

35、

36、

37、

38、其中，为智能体i在t-1时刻的近似最优解，特别地

39、其中，所述步骤3中的分布式算法具体为：

40、设计分布式算优化法求解问题(8)，假设问题(8)的带系数的对偶形式为：

41、

42、根据拉普拉斯矩阵l和建立带约束的优化问题：

43、

44、问题(9)的带乘子的增广拉格朗日对偶为：

45、

46、对智能体i，设计如下分布式优化算法：

47、

48、分布式更新调度策略：定义智能体i的局部策略更新如下：

49、

50、其中

51、平衡探索和应用：为了平衡探索和应用，使用ε-贪婪策略，即以1-ε的概率选取(πi(dt),,πn(dt))t，以ε的概率选取其他的可行发电组合。

52、相对于现有技术，本发明的优点如下：1)分布式算法结构在可扩展性方面为智能电网调度过程提供了有利的特性；2)本发明所提出的分布式强化学习优化方法可以解决电力系统动态经济调度问题中发电成本函数未知的困境。

53、本发明提了新的分布式训练分布式执行的强化学习框架，并在此基础之上设计的结合强化学习和分布式优化的分布式强化学习优化算法，能高效、低成本的解决未知发电成本函数动态经济调度问题，其目标函数优化、快速收敛的特性能为电力系统带来经济、时间等上的效益。采用本发明所提出的分布式强化学习调度方法，能够达到快速建模，易于计算，快速迭代，快速收敛的效果，能够节省电力系统中的计算资源消耗，节约智能电网的计算量，最小化电力系统中电力交易的成本，为电力系统带来可观的经济效益。