一种配电网故障的柔性重合方法、装置及计算机可读存储介质与流程

本发明涉及电力系统继电保护，具体涉及一种配电网故障的柔性重合方法、装置及计算机可读存储介质。

背景技术：

1、传统交流配电系统面临线损高、电能质量扰动等一系列问题，难以满足电力用户日益增长的电力需求。与交流配电网相比，直流供电能有效解决谐波、三相不平衡等电能质量问题，且在改善供电质量方面优势明显，但是短时间内还无法完全替代交流配电网。因此，在交流配电网的基础上建设交直流混合配电网是未来配电网的发展趋势。然而，直流配电网中分布式电源、储能装置等新设备的引入，对传统继电保护的整定原则、配合方式，均形成了诸多挑战。

2、当前配电网中存在诸多交-直流馈线，某些交流馈线处连接有半桥或全桥的mmc换流器，为提升供电可靠性，可采用单相或者综合重合闸。当发生单相接地故障时，交流侧在故障后的基本目标为尽快实现故障线路的选择性重合，降低因长期不对称运行而造成mmc脱网的概率。交流线路发生单相故障后，首先由断路器断开故障相，之后故障形态由短路转变为单相断线、配电线路进入非全相运行状态，在去游离时间后重新投入故障相；在直流侧，考虑到电网电压出现不对称分量，mmc桥臂上会产生具有强耦合动态特性的多种电流信号，因此直流侧的基本目标为保障一次设备安全，实现直流侧的连续运行，等待交流故障的恢复。

3、可见，目前针对发生单相故障的交直流配电网，直流侧控制大多着眼于应对不平衡所引发的子模块电压异常，目的是保全换流器中电力电子设备的安全；交流侧主要考虑的是如何识别瞬时性故障与永久性故障，从而在瞬时性故障的工况下启动重合闸。但是，少有方法能够处理瞬时性故障工况下重合闸的安全问题，且mmc在故障期间的调控会使得上述问题变得更加复杂。工程上，在非全相运行期间，哪怕故障已消失，为避免重合闸时刻的过电流，mmc会大幅降低有功功率传输，或者直接禁用重合闸功能。但是，直接降低有功功率会无谓损失大量功率传输，这与重合闸的初衷相违背，也可能会带来功角稳定问题；同时，考虑到绝大部分架空线路故障都为瞬时性，若停用重合闸功能，可能导致线路频繁三相跳闸，这会大幅降低配网的供电可靠性。

技术实现思路

1、本发明所要解决的技术问题在于，提供一种配电网故障的柔性重合方法、装置及计算机可读存储介质，以实现一次设备安全性与供电可靠性的统一，使得配电网中与mmc直接连接的交流馈线发生单相故障后，无须大规模降低传输功率就能够实现安全的重合闸。

2、为解决上述技术问题，本发明提供一种配电网故障的柔性重合方法，包括：

3、步骤s1，构建并初始化基于深度强化学习的智能体控制架构，所述智能体控制架构用于对模块化多电平变换器mmc的d轴正序电流和q轴负序电流的调控；

4、步骤s2，利用深度确定性策略梯度ddpg算法训练所述智能体控制架构中的智能体；

5、步骤s3，在实时环境下，所述智能体根据当前的电网数据输出d轴正序电流和q轴负序电流的指令值，通过三周期完成调控后重合断开相的断路器。

6、优选地，所述步骤s2具体包括：选择状态环境集、可行动作集和奖励函数。

7、优选地，环境状态变量包括故障相断面电压差有效值δu(t)、换流器传输功率p(t)以及不对称序分量iunb(t)，状态集合st如下所示：

8、st＝{δu(t),p(t),iunb(t)}

9、选择对换流站直流控制器d轴正序电流q轴负序电流进行附加控制，动作集合被定义为向控制系统中输入的电力参考信号，可行动作集at设置为：

10、

11、其中，分别为由当前观测量，经智能体分析处理后得到待输出的d轴正序电流q轴负序电流的指令值；

12、奖励函数如下：

13、

14、urisk＝δurms-δuref

15、其中，urisk为与mmc换流器连接的配电线路单相跳闸后，断开相两侧断面电压差有效值偏移程度，δuref为断面电压基准值，iunb为不对称电流分量幅值；α1、α2为带裕度的上限前、后奖励曲线的形状系数；λ1、λ2、λ3分别为权衡系数，满足λ1+λ2+λ3＝1约束；ig为拐点电流；krel为可靠系数；p为当前观测到的传输功率。

16、优选地，所述步骤s2中，所述智能体离线学习柔性重合控制策略，通过与环境交互产生经验并储存，形成回放记忆序列用于网络训练。

17、优选地，假设随着训练过程中，智能体在各场景下的奖励为r(t)，1≤t≤nt，nt为总训练次数，t为场景编号；当满足如下判据时，判定训练收敛、ddpg算法控制下的各actor策略网络与critic目标q网络成熟：

18、

19、其中，上式第一个判据表示以当前训练场景t为中心，将t-4、t-3、t-2、t-1、t五个场景下的奖励叠加，大于-0.45表示第一个判据成立；

20、上式第二个判据表示当前场景和上一个场景得到的奖励绝对值应小于0.01；

21、上式第三个判据还表示在t≥nt时仍然不成立，则认为训练失败。

22、优选地，所述步骤s3具体包括：所述步骤s3具体包括：在实时环境下，所述智能体检测到配电网单相断线后，首先记录断开时间；然后以200ms为一个控制周期，总共建立三个控制周期；在每个控制周期内根据当前的电网数据输出d轴正序电流和q轴负序电流的指令值对电网进行调控，并在当前控制周期结束后依据电网状态得到奖励；重复三个周期后，在单相断线事件发生后的第600ms时刻重合故障相断路器。

23、本发明还提供一种配电网故障的柔性重合装置，包括：

24、构建模块，用于构建并初始化基于深度强化学习的多智能体控制架构，所述多智能体控制架构用于对模块化多电平变换器mmc的d轴正序电流和q轴负序电流的调控；

25、训练模块，用于利用深度确定性策略梯度ddpg算法训练所述多智能体控制架构中的智能体；

26、调控模块，用于在实时环境下，所述智能体根据当前的电网数据输出d轴正序电流和q轴负序电流的指令值，通过三周期完成调控后重合断开相的断路器。

27、本发明还提供一种配电网故障的柔性重合装置，所述电子设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以所述的配电网故障的柔性重合方法。

28、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行所述的配电网故障的柔性重合方法。

29、实施本发明具有如下有益效果：本发明实施例通过构建基于深度强化学习的多智能体控制架构，实现了对模块化多电平变换器mmc的d轴正序电流和q轴负序电流的精确调控，提高了电网的稳定性；还利用ddpg算法训练智能体，使其能够根据实时电网数据自适应地对d轴正序电流和q轴负序电流进行调控、从而改变断面电压差，使得配电网在馈线单相故障发生并由继电保护跳闸、且准备重合闸之前，能够借用去游离时间的600ms分三周期对mmc的运行状态进行调整，能够充分降低重合闸时刻的mmc换流器过电流风险，不但能够保障电网的安全运行，而且能够损失最小的传输功率，做到代价最小；在智能体认为没有合闸过电流风险的时候，能够以静默状态不干扰mmc及电网的正常运行，避免了盲目追求断面电压差最小带来的传输功率的无谓损失。