一种电压控制方法、装置、终端设备及存储介质与流程

本发明实施例涉及电力系统运行优化和控制，尤其涉及一种电压控制方法、装置、终端设备及存储介质。

背景技术：

1、分布式屋顶光伏(pv)在配电网中的渗透率不断增加，对配电系统的运行和控制构成了巨大的挑战。大量pv的接入改变了传统配电网的潮流分布，导致潮流倒送，对电压质量和电力系统可靠性有着很大的影响。由于pv出力具有波动性、随机性和间歇性，随着pv的渗透率不断上升，在众多的技术挑战中，电压质量问题特别值得关注。电压质量是电力系统电能质量的重要指标之一，在诸多电能质量问题中，电压波动过大造成的危害最为广泛：不但直接影响电气设备的性能，还将给系统的稳定、安全运行带来困难。

2、现有的配电网电压控制方法，通常基于逆变器对电压调节，传统的下垂控制忽略了逆变器额定容量的差异和各种逆变器之间的协调，因此如果仍然采用传统的固定下垂控制进行无功功率控制，将导致光伏集群之间的无功功率分布不合理。此外，其它方法如传统的数学优化方法，智能优化算法和随机规划方法不能有效地应对高度不确定的环境，并存在计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题。

技术实现思路

1、本发明提供一种电压控制方法、装置、终端设备及存储介质，以充分利用各逆变器的无功功率调节电压，提供实时的电压控制策略，并应对剧烈的电压波动，自适应源荷不确定性，具有良好的实时性性能和控制经济性。

2、第一方面，本发明实施例提供了一种电压控制方法，包括：

3、建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型；

4、根据所述配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型；

5、在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用所述多智能体演员-注意力-评论家算法求解所述马尔科夫决策模型，以进行离线集中式训练；

6、在线智能体分散式执行实时无功调度策略。

7、可选的，所述电压控制模型包括：其中，m是一天中的调度指令次数，cα是电压越限的附加成本系数，n是配电网节点数，δvi,j为第i个指令周期节点j的电压偏移量。

8、可选的，所述电压控制模型的约束条件为：

9、vmin≤v≤vmax                   (1)

10、式(1)为节点电压约束，其中vmin为所述节点电压下限，vmax为所述节点电压上限；

11、

12、式(2)为逆变器有功出力约束，为所述逆变器最小无功出力，为所述逆变器最大无功出力；

13、qinv,pv2≤sinv,pv2-pinv,pv2                         (3)

14、式(3)为所述逆变器无功出力约束，qinv,pv为所述逆变器无功出力，sinv,pv为所述逆变器容量，pinv,pv为所述逆变器有功出力；

15、

16、

17、式(4)式(5)为潮流约束，pg,i和qg,i为注入所述节点i的有功功率和无功功率，pl,i和ql,i为所述节点i的有功负荷和无功负荷，gij和bij为所述节点i和j之间的电导和电纳，δij为所述节点i和j之间的电压相位差。

18、可选的，所述分散式部分可观测的马尔科夫决策模型包括：

19、m＝<n,s,a,t,o,o,r,γ>；其中，n为智能体数量，γ为折扣因子，状态集s＝{x,a}由节点特征矩阵x和图邻接矩阵a构成，观测集oi表示所有所述智能体所能获取的观测信息，观测概率函数o表示所述智能体观测到oii的概率，动作集a表示所有所述智能体的动作，状态转移函数t表示所述智能体的联合动作对环境的影响，奖励函数r表示所述智能体在执行动作后获得的奖励。

20、可选的，所述奖励函数r包括：其中，vref表示所述节点电压的参考值。

21、可选的，所述图卷积神经网络模型中，图卷积神经网络层的输入为{x,a}，所述图卷积神经网络层输出为h，函数关系为f(x,a)，所述图卷积神经网络层传播规则如下式所示：

22、

23、其中，为a的对角节点度矩阵，第i个节点的度hl为第l个所述图卷积神经网络层的输出；wl为第l个所述图卷积神经网络层的权重，σ(·)为激活函数。

24、可选的，所述多智能体演员-注意力-评论家算法为基于actor-critic的强化学习方法，critic价值网络q值的计算如下式所示：

25、

26、其中，为所述价值网络的参数，fi为两层的多层感知机，gi为单层的多层感知机，oi和ai为所述智能体i的观察值和动作值，xi为其它所述智能体价值的加权和，如下式所示：

27、

28、其中，vj为所述智能体j的内嵌函数，先由ej＝gj(oj,aj)编码，然后由共享矩阵v变换后通过激活函数h(·)得到；注意力权重aj表示ej和ei的相似度，若相似程度越大，则代表所述智能体j的价值权重越大。

29、可选的，利用所述多智能体演员-注意力-评论家算法求解所述马尔科夫决策模型，以进行离线集中式训练，包括：

30、(1)随机初始化所述智能体所述actor动作网络和所述critic价值网络的参数，以及经验池d＝(s,a,r,s')，其中，s＝(s1,...,sn)为所有所述智能体的状态值，a＝(a1,...,an)为所有所述智能体的动作值，r＝(r1,...,rn)为所有所述智能体的奖励值，s'＝(s1',...,sn')为所有所述智能体下一时刻状态；

31、(2)重置配电网环境，接收初始状态s，并获取每个所述智能体i的初始观测量；

32、(3)根据动作网络策略πθ选取每个所述智能体的动作ai；

33、(4)得到所述智能体的所述观测值oi和所述奖励值ri；

34、(5)所述智能体转换到下一个状态s'；

35、(6)将转换四元组(s,a,r,s')存储在所述经验池d中；

36、(7)重复(3)到(6)，直到所述经验池容量达到t；

37、(8)所述智能体在所述经验池d中以批尺寸随机抽取小批量的数据；

38、(9)根据最小化损失公式更新所述critic价值网络，

39、

40、其中，e为期望收益，yi为目标函数值；

41、

42、其中，和分别为目标动作网络和目标价值网络的参数，α为平衡最大熵和奖励的参数，γ为折扣因子；

43、(10)根据梯度下降公式更新所述actor动作网络

44、

45、

46、其中，为动作网络策略，b(o,a\i)为计算优势函数的基准值；

47、(11)更新所述智能体的目标网络参数

48、

49、

50、其中τ为更新权重；

51、(12)重复上述步骤(8)到(11)，直到当前回合训练结束，一个回合有若干时间步长step，可根据数据的时间尺度设定step；

52、(13)重复步骤(2)到(12)，重复次数为训练代数episode＝1，2，…，h，可根据算法收敛情况设定episode。

53、可选的，在线智能体分散式执行实时无功调度策略，包括：

54、(1)加载每个所述智能体的所述动作网络的参数θi；

55、(2)获取所述智能体的所述观测值oi；

56、(3)根据所述动作网络策略得到所述智能体的所述动作值ai；

57、(4)对所有所述智能体i＝1，2，…，n重复步骤(2)到(3)；

58、(5)输出所有所述智能体的动作a＝(a1,...,an)；

59、(6)重复上述步骤(2)到(5)，重复次数为步长step。

60、第二方面，本发明实施例还提供了一种电压控制装置，用于执行如本发明第一方面任一项所述的电压控制方法，包括：

61、电压控制模型建立模块，用于建立所述电压控制模型；

62、马尔科夫决策模型建立模块，用于建立所述分散式可观测的马尔科夫决策模型；

63、离线集中式训练模块，用于求解所述分散式可观测的马尔科夫决策模型，进行离线集中式训练，并将训练好的策略网络模型下发至在线分散式执行模块；

64、在线分散式执行模块，用于在所述在线分散式执行阶段，控制所述智能体实时生成所述逆变器的无功功率调度结果。

65、第三方面，本发明实施例还提供了一种终端设备，包括：

66、一个或多个处理器；

67、存储装置，用于存储一个或多个程序；

68、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面中任一所述的电压控制方法。

69、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面中任一所述的电压控制方法。

70、本发明实施例提供了一种电压控制方法、装置、终端设备及存储介质，首先建立分布式屋顶光伏逆变器协同调压的配电网电压控制模型，然后根据配电网电压控制模型建立分散式部分可观测的马尔科夫决策模型，将电压控制问题转换为马尔科夫决策过程，在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，并利用多智能体演员-注意力-评论家算法求解马尔科夫决策模型，以进行离线集中式训练，最后在线智能体分散式执行实时无功调度策略。本发明实施例解决了传统的固定下垂控制进行无功功率控制导致光伏集群之间的无功功率分布不合理和其它方法不能有效地应对高度不确定的环境，同时计算量大、容易陷入局部最优、依赖于准确的参数和模型和难以实现在线控制等问题，通过在多智能体演员-注意力-评论家算法中嵌入图卷积神经网络，可以更好地捕捉电网环境中的状态信息和拓扑信息；并通过在离线学习阶段通过大量样本挖掘最优策略并存储于策略网络中，使得智能体在在线执行过程中仅依据实时局部观测信息就可以提供具有协同性的最优控制策略，从而省去了在线寻优的过程，具有良好的实时性性能和控制经济性。