交直流微电网群协同互供的电压控制方法与流程

1.本发明属于电网运行技术领域，具体涉及交直流微电网群运行控制技术。


背景技术：

2.新能源在电网中的比重逐渐增加，分布式电源也发展迅速。如今，集成了 分布式电源、储能单元、用电负荷和先进电力电子设备的微电网系统已经成为 新能源消纳的主要方法。
3.微电网可分为以风机为主要电源的交流微电网和以光伏为主要电源的直流 微电网。两种微电网互联的交直流混连微电网的场景已颇为常见。多个位置相 邻的交直流微电网集群互联运行已经是常态，故交直流微电网集群的安全稳定 控制系统的结构设计与控制方法研究具有重要的现实意义。
4.智能电网中大量先进电力电子设备的使用使得数据驱动的人工智能算法的 应用越来越多。深度强化学习算法是深度学习与强化学习的结合，它使智能体 既拥有较好的环境感知能力，也拥有强大的智能决策能力，在智能电网的控制 领域中有广泛的应用前景。


技术实现要素：

5.本发明所要解决的技术问题就是提供一种交直流微电网群协同互供的电压 控制方法，有效的保持了交直流微电网群的电压稳定，并实现了各交直流微电 网间的功率协调互供。
6.为解决上述技术问题，本发明采用如下技术方案：
7.交直流微电网群协同互供的电压控制方法，包括如下步骤：
8.根据多个电压控制方法的优先级建立电压稳定控制优化模型，该模型控制优化 目标包括：微电网接入馈线点电压vi稳定，ilc功率传输的功率损耗最低，电压 稳定控制成本最低；
9.用深度强化学习的算法求解电压稳定控制优化模型，训练得到能够自主决策控 制电压稳定并优化控制策略的智能体；
10.将智能体运用到本地控制器和协调控制器中，向智能体输入监测的电网状态量， 智能体输出电压稳定控制优化策略，并根据电压稳定控制优化策略对电压进行 控制。
11.优选的，多个电压控制方法的优先级如下：
12.(1)优先控制分布式电源的无功输出调压：调节微电网光伏无功q
pv
和风机无 功q
wt
；
13.(2)然后控制储能单元调压：调节储能的有功p
ess
和无功q
ess
；
14.(3)然后控制分布式电源的有功输出调压：调节微电网光伏有功出力p
pv
和风机 有功出力p
wt
；
15.(4)最后控制交直流负荷减载调压：部分负荷p
load
减载来应对大的难以调节电 压波动。
16.优选的，电压稳定控制优化模型的目标函数为：
[0017][0018]
式中，表示n各微电网并网点电压与馈线参考电压的总偏差量，模型中越小，则表示电压越稳定在参考值v
rv
处；
[0019]
表示变流器ilc的功率损耗，其变流功率损耗计算公式为:
[0020][0021]
式中，η是变流效率，p
ref
是变换功率值；
[0022]
电压稳定控制成本函数为：
[0023]
α3(β1c
qpv
+β2c
qwt
+β3c
pess
+β4c
qess
+β5c
pwt
+β6c
ppv
+β7c
load
)(3)
[0024]
其中，c
qpv
是光伏无功调节成本，c
qwt
是风机无功调节成本，c
pess
是储能有功调节成本，c
qess
是储能无功调节成本，c
ppv
是光伏有功调节成本，c
pwt
是风机有功调节成本，c
load
是负荷调节成本；
[0025]
α1、α2、α3分别表示并网点电压稳定、ilc功率损耗、电压稳定成本三个优化目标的权重系数，α1＞α2＞α3；
[0026]
β1、β2、β3、β4、β5、β6、β7分别是光伏无功、风机无功、储能有功、储能无功、风机有功、光伏有功和负载各自参与调压的成本函数的权重系数，该权重系数满足β1＝β2＜β3＝β4＜β5＝β6＜β7；
[0027]
光伏的无功调节成本模型为：
[0028]cqpv
＝γ
pv
δq
pv
(4)
[0029]
其中q
pv
是光伏无功输出，γ
pv
是光伏管理运行成本系数；
[0030]
光伏的有功调节成本模型为：
[0031]cppv
＝γ
pv
δp
pv
+λ
pv
δp
pv
(5)
[0032]
式中p
pv
是光伏有功输出，γ
pv
是光伏管理运行成本系数，λ
pv
是光伏的弃光惩罚因数；
[0033]
风机的无功调节成本模型为：
[0034]cqwt
＝γ
wt
δq
wt
(6)
[0035]
其中q
wt
是风机无功输出，γ
wt
是风机管理运行成本系数；
[0036]
风机的有功调节成本模型为：
[0037]cpwt
＝γ
wt
δp
wt
+λ
wt
δp
wt
(7)
[0038]
其中p
wt
是风机功输出，γ
wt
是风机管理运行成本系数，λ
wt
是风机的弃风惩罚因数；储能单元的有功调节的成本模型为：
[0039]cpess
＝(γ
es.om
+γz)δp
ess
(8)
[0040]
式中p
ess
是储能单元有功变动，γ
es.om
是管理维护成本系数，γz是折旧成本系数；储能单元的无功调节的成本模型为：
[0041]cqess
＝(γ
es.om
+γz)δq
ess
(9)
[0042]
式中q
ess
是储能单元有功变动，γ
es.om
是管理维护成本系数，γz折旧成本系数；上
述电压稳定控制优化模型的约束为：
[0043][0044]
上述约束中：
[0045]
(10)是风机有功功率(无功功率)输出的范围约束；
[0046]
(11)是光伏有功功率(无功功率)输出的范围约束；
[0047]
(12)是储能系统充放电功率范围约束；
[0048]
(13)是储能系统无功调节能力约束；
[0049]
(14)和(15)是储能系统的荷电状态约束，其中δ是储能转换效率，r
es
是储 能单元总容量；
[0050]
(16)是负载减载量约束，p
load.s.max
是容许最大减载量；
[0051]
(17)是ilc变流器变流功率范围约束。
[0052]
优选的，采用多智能体深度确定性策略梯度算法求解电压稳定控制优化模 型，该算法模型包括：多个智能体动作网络actor，多个评估actor的评价网络 critic；
[0053]
其中，actor网络输入为环境的状态s，输出为智能体的动作a；critic网络的 输入包括智能体的动作前状态s、动作后状态s'、所有智能体的动作集合a、奖 励r，输出为智能体的q值。
[0054]
优选的，用θ＝[θ1,
…
,θn]表示n个智能体的策略参数，π＝[π1,
…
,πn]表示n个智 能体的策略；
[0055]
第i个智能体的累计期望奖励为：
[0056][0057]
由累计期望奖励可求确定性策略梯度为：
[0058][0059]
式中，其中oi表示第i个智能体的观测，表示第i个智能体集中式 的状态-动作函数；
[0060]
集中式critic的更新方法为：
[0061][0062]
式中，表示目标网络。
[0063]
优选的，定义actor的状态空间s：
[0064][0065]
式中，i是交流微电网个数，j是直流微电网个数，状态量依次为：t时刻的微 电网并网点电压、交直流母线电压、ilc变流器变流功率、风机无功功率、风机 有功功率、光伏无功功率、光伏有功功率、储能单元soc，负载状态；
[0066]
定义actor的动作空间a：
[0067][0068]
式中，i是交流微电网个数，j是直流微电网个数，动作依次为t时刻：交流微 电网风机无功功率、直流微电网光伏无功功率、储能单元有功功率、储能单元 无功功率，风机有功功率，光伏有功功率，负载减载量；
[0069]
定义动作奖励r：
[0070][0071]
式中，r1是电压不稳定惩罚，电压稳定范围是0.95～1.05倍于标准值；r2是变流 器损耗惩罚；r3是电压稳定控制成本，奖励为负表示控制成本越高，奖励越小； 考虑到电压不稳定惩罚、变流器损耗惩罚、控制成本优化的重要性，α1＞＞α2＞α3。
[0072]
本发明为最大程度消纳新能源发电并保证交直流多微网系统安稳运行，总 结多种电压控制方法的优先级；构建了交直流微电网群电压稳定控制优化模型； 采用maddpg的交直流微电网群电压稳定控制优化模型求解方法，能有效的解决 交直流微电网群互联的场景中，多个微电网潮流相互影响情况下的功率互供及 电压波动稳定控制的问题。在维持电压稳定的基础上，通过各种电压控制方式 成本的分析，建立经济优化模型并在控制决策中充分利用，在电压稳定控制的 同时实现了经济性的最优化。因此，提高了交直流微电网群互联系统的稳定性 和经济性。
[0073]
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附 图进行详细的说明。
附图说明
[0074]
下面结合附图和具体实施方式对本发明作进一步描述：
[0075]
图1为本发明提出的交直流微电网群的电压控制方法流程图。
[0076]
图2为本交直流微电网群协同互供及电压稳定控制系统拓扑结构图。
[0077]
图3为本发明所提电压控制稳定优先级。
具体实施方式
[0078]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的， 决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领 域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属 于本发明保护的范围。
[0079]
本发明提出了一种基于maddpg的交直流微电网群协同互供的电压控制方 法，该交直流微电网群协同互供的电压稳定控制系统的拓扑结构如图2，系统分 为电力线路和通信线路两部分。
[0080]
在电力线路中，多个交流微电网的母线通过变压器和并网开关(pcc)与馈 线相连，多个直流微电网通过双向功率变换器(ilc)和并网开关(pcc)与馈 线相连。在交流微电网中，分布式电源(风机wt)、储能系统(ess)通过变压 器与交流母线相连，交流负荷直接与交流母线连接。直流微电网中，分布式电 源(光伏pv)、储能系统(ess)通过双向隔离直流变压器与直流母线相连，直 流负荷直接与直流母线连接。
[0081]
在通信线路中，每个微电网都有一个本地控制器，该控制器拥有监测微电 网运行状态和控制电力电子设备两个功能。所有微电网的本地控制器都连接到 微电网协同控制器，协调各微电网实现微电网间的协同互供、电压稳定等控制 目标。
[0082]
为最大程度消纳交直流微电网群中新能源发电并保证系统的电压稳定，本 发明提出以下技术方案：
[0083]
一种基于maddpg的交直流微电网群协同互供的电压控制方法，用于解决多 微电网协同场景下复杂的优化问题，如图1所示，包括以下步骤：
[0084]
步骤1、通过本地控制器获取交直流微电网的运行数据和设备信息，包括： 每个微电网接入馈线节点的电压vi、馈线额定电压v
rv
、微电网母线电压u
dc
、储 能系统信息、ilc的网间传输功率p
ref
、各微电网分布式电源的无功功率q
pv
和 q
wt
、各微电网分布式电源有功功率p
pv
和p
wt
、负载大小p
load
、变流器ilc的变 流效率η等。
[0085]
步骤2、针对多微电网电压稳定控制问题，分析微电网多种电压控制方法的 经济性，从而确定各种电压控制方法的优先级，用于指导电压稳定优化策略的 设计。
[0086]
步骤3、在步骤2所述电压控制方法优先级的基础上，建立电压稳定控制优 化模型，该模型控制优化目标包括：微电网接入馈线点电压vi稳定，ilc功率传 输的功率损耗最低，电压稳定控制成本最低；
[0087]
步骤4、用深度强化学习的算法求解步骤3建立的模型，训练得到能够自主 决策控制电压稳定并优化控制策略的智能体。
[0088]
步骤5、将智能体运用到交直流微电网群协同控制系统的本地控制器和协调 控制器中，输入监测的电网状态量，得到电压稳定控制优化策略。
[0089]
进一步的，所述步骤1中，为保证最大程度消纳新能源,p
pv
和p
wt
一般设置 为光伏和风机的最大可输出功率p
pvmax
和p
wtmax
。
[0090]
在所述步骤2中，通过对各种电压控制方法的经济性与安全性分析，得到 图3所示电压稳定控制优先级，该优先级可用于指导电压稳定优化策略的设计。 多个电压控制方法的优先级如下：
[0091]
(1)优先控制分布式电源的无功输出调压：调节微电网光伏无功q
pv
和风机 无功q
wt
。
[0092]
(2)然后控制储能单元调压：调节储能的有功p
ess
和无功q
ess
。
[0093]
(3)然后控制分布式电源的有功输出调压：调节微电网光伏有功出力p
pv
和风机有功出力p
wt
。
[0094]
(4)最后控制交直流负荷减载调压：部分负荷p
load
减载来应对大的难以调节电压波动。
[0095]
在所述步骤3中，建立电压稳定控制优化模型目标函数为：
[0096][0097]
式中，表示n各微电网并网点电压与馈线参考电压的总偏差量。模型中越小，则表示电压越稳定在参考值v
rv
处。
[0098]
上述电压稳定控制优化模型中，表示变流器ilc的功率损耗.其变流功率损耗计算公式为:
[0099][0100]
式中，η是变流效率，p
ref
是变换功率值。
[0101]
上述电压稳定控制优化模型中，电压稳定控制成本函数为：
[0102]
α3(β1c
qpv
+β2c
qwt
+β3c
pess
+β4c
qess
+β5c
pwt
+β6c
ppv
+β7c
load
)(3)
[0103]
其中，c
qpv
是光伏无功调节成本，c
qwt
是风机无功调节成本，c
pess
是储能有功调节成本，c
qess
是储能无功调节成本，c
ppv
是光伏有功调节成本，c
pwt
是风机有功调节成本，c
load
是负荷调节成本。
[0104]
上述电压稳定控制优化模型中，α1、α2、α3分别表示并网点电压稳定、ilc功率损耗、电压稳定成本三个优化目标的权重系数。因为在优化目标中，重要程度是电压稳定大于功率损耗削减大于电压稳定成本优化，即：α1＞α2＞α3。
[0105]
电压稳定控制优化模型中，β1、β2、β3、β4、β5、β6、β7分别是光伏无功、风机无功、储能有功、储能无功、风机有功、光伏有功和负载各自参与调压的成本函数的权重系数。根据步骤2电压稳定控制优先级，该权重系数满足β1＝β2＜β3＝β4＜β5＝β6＜β7。
[0106]
上述电压稳定控制优化模型中，光伏的无功调节成本模型为：
[0107]cqpv
＝γ
pv
δq
pv
(4)
[0108]
其中q
pv
是光伏无功输出，γ
pv
是光伏管理运行成本系数。
[0109]
光伏的有功调节成本模型为：
[0110]cppv
＝γ
pv
δp
pv
+λ
pv
δp
pv
(5)
[0111]
式中p
pv
是光伏有功输出，γ
pv
是光伏管理运行成本系数，λ
pv
是光伏的弃光惩罚因数。
[0112]
风机的无功调节成本模型为：
[0113]cqwt
＝γ
wt
δq
wt
(6)
[0114]
其中q
wt
是风机无功输出，γ
wt
是风机管理运行成本系数。
[0115]
风机的有功调节成本模型为：
[0116]cpwt
＝γ
wt
δp
wt
+λ
wt
δp
wt
(7)
[0117]
其中p
wt
是风机功输出，γ
wt
是风机管理运行成本系数，λ
wt
是风机的弃风惩罚因数。
[0118]
储能单元的有功调节的成本模型为：
[0119]cpess
＝(γ
es.om
+γz)δp
ess
(8)
[0120]
式中p
ess
是储能单元有功变动，γ
es.om
是管理维护成本系数，γz是折旧成本系数。
[0121]
储能单元的无功调节的成本模型为：
[0122]cqess
＝(γ
es.om
+γz)δq
ess
(9)
[0123]
式中q
ess
是储能单元有功变动，γ
es.om
是管理维护成本系数，γz折旧成本系数。
[0124]
上述电压稳定控制模型的约束为：
[0125][0126]
上述约束中：
[0127]
(10)是风机有功功率(无功功率)输出的范围约束；
[0128]
(11)是光伏有功功率(无功功率)输出的范围约束；
[0129]
(12)是储能系统充放电功率范围约束；
[0130]
(13)是储能系统无功调节能力约束；
[0131]
(14)和(15)是储能系统的荷电状态约束，其中δ是储能转换效率，r
es
是储能单元总容量；
[0132]
(16)是负载减载量约束，p
load.s.max
是容许最大减载量。
[0133]
(17)是ilc变流器变流功率范围约束。
[0134]
所述步骤4中，为应对多微电网中多个控制器协调控制问题，本发明采用多智能体深度确定性策略梯度算法(maddpg)求解电压稳定控制优化模型。该算法模型包括：多个智能体动作网络actor，多个评估actor的评价网络critic。
[0135]
上述actor网络输入为环境的状态s，输出为智能体的动作a；critic网络的输入包括智能体的动作前状态s、动作后状态s'、所有智能体的动作集合a、奖励r，输出为智能体的q值。
[0136]
maddpg算法的训练基本流程为：
[0137]
1、初始化神经网络参数、状态值s、训练参数。
[0138]
2、actor随机动作选取，获得当前状态值s、奖励r、所有智能体动作集合a和下一个状态值s'，整合存入经验池d。并对智能体回合更新。
[0139]
3、critic从经验池中随机选择一批数据，计算损失函数，根据梯度更新策略更新
策略网络。集中训练给每个智能体建立动作值函数。
[0140]
4、critic根据经验池中所有智能体的训练信息，输出每个智能体的q值。
[0141]
5、actor再根据critic返回的q值更新神经网络参数，一定回合后更新到 target网络参数。
[0142]
6、在训练过程中，目标网络参数不断优化。
[0143]
7、训练结束，得到目标网络
[0144]
流程3中，用θ＝[θ1,
…
,θn]表示n个智能体的策略参数，π＝[π1,
…
,πn]表示n个 智能体的策略。
[0145]
流程3中，第i个智能体的累计期望奖励为：
[0146][0147]
由累计期望奖励可求确定性策略梯度为：
[0148][0149]
式中，其中oi表示第i个智能体的观测，表示第i个智能体集 中式的状态-动作函数。
[0150]
流程4中，集中式critic的更新方法为：
[0151][0152]
式中，表示目标网络。
[0153]
上述maddpg算法应用于交直流微电网群电压稳定控制的主要优势在于：集 中式训练，分布式执行。即critic采用集中式训练的方式，每个智能体知道其 他智能体的策略信息。即每个微电网的控制策略都考虑到其他微电网的控制策 略影响，提高了控制策略的稳定性和鲁棒性。
[0154]
结合电压稳定优化模型，定义actor的状态空间s：
[0155][0156]
式中，i是交流微电网个数，j是直流微电网个数，状态量依次为：t时刻 的微电网并网点电压、交直流母线电压、ilc变流器变流功率、风机无功功率、 风机有功功率、光伏无功功率、光伏有功功率、储能单元soc，负载状态。
[0157]
结合电压稳定优化模型，定义actor的动作空间a：
[0158][0159]
式中，i是交流微电网个数，j是直流微电网个数，动作依次为t时刻：交 流微电网风机无功功率、直流微电网光伏无功功率、储能单元有功功率、储能 单元无功功率，风机有功功率，光伏有功功率，负载减载量。
[0160]
结合电压稳定优化模型，定义动作奖励r：
[0161][0162]
式中，r1是电压不稳定惩罚，电压稳定范围是0.95～1.05倍于标准值；r2是 变流器损耗惩罚；r3是电压稳定控制成本，奖励为负表示控制成本越高，奖励越 小。
[0163]
上述奖励设置时，因考虑到电压不稳定惩罚、变流器损耗惩罚、控制成本优 化的重要性，即：α1＞＞α2＞α3。
[0164]
通过以上maddpg算法训练出的智能体运用在微电网本地控制器中，本地控 制器通过对电网的实时监测获取电网状态值，同时通过协调控制器获取其他智 能体的控制策略，以实现critic集中训练，actor分布式执行的训练要求。
[0165]
通过以上设计方案，与传统微电网控制相比，该方法能有效的解决交直流 微电网群互联的场景中，多个微电网潮流相互影响情况下的电压稳定控制复杂 的问题。在维持电压稳定的基础上，通过各种电压控制方式成本的分析，建立 经济优化模型并在控制决策中充分利用。在电压稳定控制的同时实现了经济性 的最优化。
[0166]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，熟悉该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式 中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要 求书的范围中。