一种城市配电网重构运行两阶段强化学习方法及系统

本发明涉及城市配电网动态重构，特别涉及一种城市配电网重构运行两阶段强化学习方法及系统。

背景技术：

1、随着城市配电网自动化建设逐渐完善，重构技术开始成为配电网运行优化的可靠手段，其通过改变配电网拓扑结构来转移潮流，可以起到降低网损、改善运行经济性的作用，同时也可以起到均衡各区域负荷，减少局部负荷损失的作用。此外，随着城市配电网中光伏渗透率逐渐提高，运用重构技术还可以有效提高光伏的消纳水平。

2、但是在城市配电网规模日渐庞大的同时，可控开关的数量也随之大为增长，传统的基于模型的动态重构方法难以处理如此高维度的动作空间，从而带来求解速度慢、易陷入局部解甚至无法求解的问题；考虑到强化学习方法直接以数据为驱动，通过与环境频繁交互来获取最优策略，具有强大的策略探索能力与极快的求解速度，随着环境复杂程度的增加，强化学习的优势愈加明显，可为规模逐渐庞大的复杂城市配电网动态重构策略的高效求解提供新的思路；此外，考虑到大规模配电网中可控开关数量众多，但有相当数量的可控开关并不会积极参与重构优化，甚至在整个调度周期内都不会动作，即这些开关对重构优化的贡献不够高，但智能体在和环境交互的过程中依然会对这些开关进行动作的错试学习，这无疑会造成巨大的计算资源浪费，同时也加大了智能体的学习难度，所以可以考虑摒弃这些对重构优化贡献不够高的开关，不仅可以大幅度降低智能体的动作空间，提高训练速度，也可以加强智能体对重要开关动作的感知，提高寻优能力；基于以上分析，考虑开关贡献度的城市配电网重构运行强化学习方法值得深入研究。

技术实现思路

1、本发明提供了一种城市配电网重构运行两阶段强化学习方法，用于解决现有的配电网开关动作空间让传统重构方法难以求解的技术问题。

2、本发明通过下述技术方案实现：一种城市配电网重构运行两阶段强化学习方法，包括以下步骤：

3、步骤一，构建城市配电网动态重构运行数学模型；

4、步骤二，根据光伏消纳和供电能力对开关贡献度进行量化，再由贡献度值对开关进行筛选，在重构优化时忽略被筛选掉的贡献度低的开关，从而实现开关动作空间的大幅度降维；

5、步骤三，构建weighted qmix多智能体强化学习模型，深化智能体对开关贡献度的感知，并提出两阶段强化学习框架，将筛选后所得开关根据贡献度的差异分为两组，并将强化学习训练过程分为两阶段；

6、步骤四，采用集中训练、分散执行的方法训练所述weighted qmix多智能体强化学习模型，获得城市配电网动态重构运行最优策略。

7、可选地，为了更好地实现本发明，所述城市配电网动态重构运行数学模型目标函数为：

8、

9、式中：为配电网重构优化的周期内小时数；为时刻的弃光量；为时刻的失负荷量；为时刻配电网的网络损耗；为时刻的开关操作数量；、、和分别为弃光成本系数、失负荷成本系数、网损损耗成本系数和开关操作成本系数。

10、其中，所述弃光量、所述失负荷量、所述网络损耗量以及所述开关操作数量的具体计算方法如下：

11、所述弃光量的计算公式为：

12、

13、式中：表示光伏接入节点的集合；表示时刻节点光伏的输出功率；表示在时刻光伏实际接入电网的功率；

14、所述失负荷量的计算公式为：

15、

16、式中：表示失负荷节点的集合；表示时刻节点负荷预测功率；表示时刻实际注入节点的功率；

17、所述网络损耗量的计算公式为：

18、

19、式中：为配电网所有支路的集合；为时刻支路电流的有效值；为支路的电阻值；

20、所述开关操作次数的计算公式为：

21、

22、式中：为配电网所有开关支路的集合；、分别表示时刻与时刻配电网重构对应的支路上开关的状态，值为0表示支路开关断开，值为1表示支路开关闭合。

23、可选地，为了更好地实现本发明，所述城市配电网动态重构运行数学模型的约束条件包括潮流约束、安全运行约束、重构约束、光伏出力约束以及失负荷约束，所述潮流约束的计算公式为：

24、

25、

26、式中：和分别表示时刻注入节点的有功功率和无功功率；表示时刻节点的电压；相邻节点之间的导纳为和；为电压相角差。

27、所述安全运行约束的计算公式为：

28、

29、

30、

31、所述重构约束的计算公式为：

32、

33、

34、

35、

36、式中：表示网架中一直处于闭合状态不可调节的支路总数；为表示以为初始节点的支路终端节点集合；表示以 为终端节点的支路初始节点集合；表示系统节点总数；表示优化主体的变电站数目；含有分布式光伏的配电网可能会在约束下出现孤岛运行情况，所以需要补充，在非变电站节点注入功率，并通过简化的潮流约束使节点之间保持连通状态；表示时刻支路上的辅助潮流有功功率。

37、所述光伏出力约束的计算公式为：

38、

39、式中：为时段节点处光伏的有功出力上限；为时段节点处光伏的有功出力下限。

40、所述失负荷约束的计算公式为：

41、

42、式中：为节点处失负荷量比例系数。

43、可选地，为了更好地实现本发明，所述开关贡献度量化方法包括以下步骤：

44、使用蒙特卡洛方法模拟生成个源荷样本，通过添加噪音的方法，着重体现所述源荷样本中光伏弃光与负荷削减的现象，并通过所述城市配电网动态重构运行数学模型，由个源荷样本生成个相对应动态重构开关动作样本。

45、将开关所属变电站作为获取指标的环境。

46、针对所述动态重构开关动作样本，光伏消纳以及供电能力提升的指标量化方法放入计算公式如下：

47、

48、

49、式中：表示变电站上所有光伏在时刻的光伏消纳量占总消纳量的比例，表示变电站上所有削减负荷在时刻的功率补偿量占总补偿量的比例；表示所有属于变电站的光伏节点；表示时刻光伏节点的光伏消纳量；表示所有属于变电站的失负荷节点；表示时刻失负荷节点的功率补偿量；表示动态重构开关动作样本。

50、待获得和后，对开关的24小时光伏消纳能力以及供电能力进行量化处理，其计算公式如下：

51、

52、

53、式中：表示开关在时刻的光伏消纳能力量化，表示开关在时刻的供电能力量化。如果时刻开关没有发生动作，则视为在此时刻该开关没有对光伏消纳以及改善供电做出贡献，如果时刻开关发生动作，则视为在此时刻该开关对光伏消纳以及改善供电做出了贡献。

54、待分别获得该开关在个样本中求得的和后，对其进行累加再求其平均值，即可得到在个样本下该开关的光伏消纳能力和供电提升能力量化值，其计算公式如下：

55、

56、

57、

58、式中：和表示基于个样本的联络开关的光伏消纳能力和供电提升能力量化值；表示开关的最终贡献度量化值。

59、获得所有开关的贡献度量化值后，对分段开关与联络开关分别进行评估与筛选，评估规则为：对开关的贡献度量化值进行排序，分界为50%，在开关的贡献度量化值排名高于50%时，判定该开关认定为重要开关，在开关的贡献度量化值排名低于50%时，判定该开关为非重要开关，在重构优化中，忽略非重要开关，即非重要的分段开关恒定闭合，非重要的联络开关恒定打开，而将重要开关的动作组合作为优化对象。

60、可选地，为了更好地实现本发明，所述weighted qmix多智能体深度强化学习模型的计算方法为：

61、引入权重因子来调整不同智能体对集合q值函数的贡献。

62、对于算子，为其增加权重函数得到：

63、

64、其中，参数，和的更新方法如下所示：

65、（1）的损失函数为：

66、

67、

68、（2）的损失函数为：

69、

70、（3）的表达式为：

71、

72、

73、通过添加加权函数的方式，对联合动作空间中的每个开关的动作进行加权，以突出不同开关贡献度不同的特性。

74、可选地，为了更好地实现本发明，还包括多智能体交互模型，所述多智能体交互模型包括观测空间、状态空间、动作空间、奖励函数以及状态转移概率，所述观测空间表示每一个智能体能够从环境中观测到的状态值，时刻智能体的观测空间定义为：

75、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>o</mi><mrow><mi>n</mi><mi>,</mi><mi>t</mi></mrow></msub><mi>=</mi><mi>[</mi><msub><mi>p</mi><mrow><mi>i</mi><mi>,</mi><mi>t</mi></mrow></msub><mi>,</mi><msub><mi>v</mi><mrow><mi>i</mi><mi>,</mi><mi>t</mi></mrow></msub><mi>,</mi><msub><mi>i</mi><mrow><mi>ij</mi><mi>,</mi><mi>t</mi></mrow></msub><mi>,</mi><msubsup><mi>w</mi><mrow><mi>ij</mi><mi>,</mi><mi>t</mi></mrow><mi>sw</mi></msubsup><mi>,</mi><mi>t</mi><mi>],</mi><mi>i</mi><mi>∈</mi><msup><mi>b</mi><mi>sub</mi></msup><mi></mi><mi>and</mi><mi></mi><mi>ij</mi><mi>∈</mi><msup><mi>ω</mi><mi>sub</mi></msup></mstyle>

76、式中：，，，和分别表示智能体控制开关所属变电站上时刻节点的功率和电压，支路的电流和所有开关的通断情况以及时刻。

77、所述状态空间表示所有智能体观测空间的并集，表示如下：

78、

79、其中，设定配电网动态重构问题为完全可观测问题，即。

80、所述动作空间表示每个智能体在某时刻获取观测值后做出的动作，时刻智能体的动作空间定义为：

81、<mstyle displaystyle="true" mathcolor="#000000"><msub><mi>a</mi><mrow><mi>n</mi><mi>,</mi><mi>t</mi></mrow></msub><mi>=</mi><mi>[</mi><msubsup><mi>w</mi><mrow><mi>ij</mi><mi>,</mi><mi>t</mi></mrow><mi>sw</mi></msubsup><mi>]</mi></mstyle>

82、式中：表示时刻智能体所控分段开关的状态值。

83、所述奖励函数表示智能体与环境互动后得到的一组奖励值，对于时刻智能体，所述奖励函数定义为：

84、

85、式中：、和分别表示步骤二所提的两类指标、网络损耗指标和开关动作成本指标，表示越限惩罚项。

86、

87、

88、

89、

90、所述状态转移概率<mstyle displaystyle="true" mathcolor="#000000"><mi>p</mi><mi>=</mi><mi>s</mi><mi>×</mi><mi>a</mi><mi>×</mi><mi>s</mi><mi>→</mi><mi>[</mi><mn>0</mn><mi>,</mi><mn>1</mn><mi>]</mi></mstyle>描述了多智能体的动作对环境影响，表示智能体在状态下采取动作转移到状态的概率，在当前策略下的状态转移概率为：

91、。

92、可选地，为了更好地实现本发明，该学习系统包括：

93、状态检测模块，所述状态检测模块用于检测城市配电网光伏实时出力数据与负荷实时需求数据；

94、信息存储模块，所述信息存储模块用于存储所述状态检测模块检测的数据；

95、开关贡献度量化模块，根据光伏消纳率和失负荷事件对各个开关进行贡献度量化，以为配网调度人员对开关进行筛选提供数据依据；

96、开关贡献度评估模块，所述开关贡献度评估模块用于为配网调度人员对开关进行筛选提供方法依据；

97、开关分组模块，所述开关分组模块用于将筛选过后的开关进行分组，为后续的两阶段强化学习优化提供依据；

98、多智能体集中训练模块，所述多智能体集中训练模块用于对于两阶段内的各个智能体分别通过共享观测值的方式集中进行训练；

99、单智能体分散执行模块，所述单智能体分散执行模块将训练完毕的每个智能体独立运行，以便于各个智能体独立做出各自的重构运行优化策略。

100、本发明相较于现有技术具有以下有益效果：

101、在配电网重构运行优化问题中，规模日渐庞大的城市配电网所带来的庞大开关动作空间让传统重构方法难以求解，基于此，本发明提出一种城市配电网重构运行两阶段强化学习方法，可实现开关动作空间的大幅度降维，有助于多智能体系统探寻到源荷数据与重构优化方案之间的最优非线性映射。根据部署后的强化学习模型获取重构运行方案决策结果，能够帮助配电网运行人员进行快速决策，避免计算资源浪费，具有实用价值。