基于强化学习的数字孪生配网故障场景生成方法及系统与流程

本发明涉及电力系统领域，更具体的，涉及一种基于强化学习的数字孪生配网故障场景生成方法及系统。

背景技术：

1、随着配网用电需求连年攀升，用电场景从过去单一供电模式向多元化服务模式转变。配电网作为电力系统中接入终端用电用户的“最后一公里”，需要通过数字化、网络化、智能化的方式来构建“坚强配电网和数字孪生电网”，实现配电网“设备状态、运行环境、作业风险、用户用电”的全感知，解决配电网的“停电在哪里、负荷在哪里、风险在哪里”的问题，提升电网的精细化管理与运维水平。目前，通过构建配网设备数字孪生模型，能够为实现配电设备运行全景可视、设备全状态感知、故障自动诊断预测、运维检修辅助决策等业务提供技术支持。

2、在配网运行管理中，如何及时预测故障发生的可能性，并快速模拟推演故障场景及其影响，是提升配网运行可靠性的关键问题。但由于配网线路停运组合多，直接基于设备机理遍历搜索停运线路组合来生成故障场景的效率十分低下。随着配电网智能化水平的逐步提高，接入网络中实现智能控制的设备类型设备数量大幅增加，这也导致遍历搜索停运线路来获取故障场景消耗大量的网络资源，不具可行性。

3、针对上述问题，亟需一种新的配网故障场景生成方法及系统。

技术实现思路

1、为解决现有技术中存在的不足，本发明提供一种基于强化学习的数字孪生配网故障场景生成方法，通过马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型，并利用近端策略优化算法对配网数字孪生场景构建展开离线训练，从而获得检测故障的精确模型。

2、本发明采用如下的技术方案。

3、本发明第一方面，涉及一种基于强化学习的数字孪生配网故障场景生成方法，方法包括以下步骤：步骤1，获取实时配网设备设施数据；步骤2，结合马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型；步骤3，基于搭建的所述数字孪生配网故障场景的深度强化学习模型，利用近端策略优化算法对配网数字孪生场景构建展开离线训练；步骤4，将训练好的模型应用于数字孪生配网中，以生成故障场景。

4、优选的，从配电网实时量测中心采集全量配电二次监测装置上报的历史停电信号；将所述历史停电数据与配网实时运行数据结合，增加未来一天的发电计划、气象预测、负荷预测作为实时配网设备设施数据。

5、优选的，所述结合马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型还包括：将处理后的实时配网设备设施数据作为状态；将生成的故障场景的概率定义为奖励函数；将故障设备以及对应的故障类型定义为动作。

6、优选的，所述将处理后的实时配网设备设施数据作为状态还包括：数据处理并提取特征由卷积神经网络实现。

7、优选的，将奖励函数定义为生成的故障场景的概率，以及潮流约束、功率平衡约束、节点电压约束的违反量惩罚项。

8、优选的，策略网络的输出是实现的空间布局和拓扑结构，价值网络输出的是用以评估场景优劣的价值函数。

9、优选的，通过前向传播机制计算当前状态st下的价值函数vμ(st)；构造价值网络损失函数，对价值网络进行梯度更新。

10、优选的，基于时序差分算法，推导目标价值函数。

11、优选的，采用优势函数作为策略网络的损失函数；并且，

12、当优势函数时，增大场景被选择的概率，反之则降低场景被选择的概率。

13、本发明第二方面，涉及一种基于强化学习的数字孪生配网故障场景生成系统，系统用于实现本发明第一方面中基于强化学习的数字孪生配网故障场景生成方法的步骤；并且，系统包括获取模块、搭建模块、训练模块和故障生成模块；其中，获取模块，用于获取实时配网设备设施数据；搭建模块，用于结合马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型；训练模块，用于基于搭建的所述数字孪生配网故障场景的深度强化学习模型，利用近端策略优化算法对所述配网数字孪生场景构建展开离线训练；故障生成模块，用于将训练好的模型应用于实时态的数字孪生配网中，以生成故障场景。

14、本发明的有益效果在于，与现有技术相比，本发明中的一种基于强化学习的数字孪生配网故障场景生成方法，能够通过马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型，并利用近端策略优化算法对配网数字孪生场景构建展开离线训练以获得检测故障的精确模型，从而实现高概率故障场景的生成。

15、本发明的有益效果还包括：

16、1、本发明在配网实时运行数据接入后，确保智能体在数字孪生电网中基于数据自动学习出高概率设备故障等动作信息并自我反馈，是支撑后续供电分析、停电模拟、转供方案验证应用的关键技术，确保有效验证。

17、2、本发明方法，提高生成包含停运线路、负荷、配网拓扑等数据的高概率故障场景集的效率，不仅数字孪生配网故障场景生成准确度高、效率高，而且全程无需人为参与、降低人工成本。

18、3、本发明使得智能体根据环境和状态选择不同的优化动作，并依据动作后获得的奖励大小改进优化动作，实现智能体不断与环境交互，自主学习到数字孪生配网故障场景生成的方法。

技术特征：

1.一种基于强化学习的数字孪生配网故障场景生成方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

3.根据权利要求2中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

4.根据权利要求3中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

5.根据权利要求2中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

6.根据权利要求1中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

7.根据权利要求6中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

8.根据权利要求7中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

9.根据权利要求8中所述的基于强化学习的数字孪生配网故障场景生成方法，其特征在于：

10.一种基于强化学习的数字孪生配网故障场景生成系统，其特征在于：

技术总结
一种基于强化学习的数字孪生配网故障场景生成方法及系统，其特征在于，方法包括：步骤1，获取实时配网设备设施数据；步骤2，结合马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型；步骤3，基于搭建的所述数字孪生配网故障场景的深度强化学习模型，利用近端策略优化算法对配网数字孪生场景构建展开离线训练；步骤4，将训练好的模型应用于数字孪生配网中，以生成故障场景。方法通过马尔科夫决策过程搭建数字孪生配网故障场景的深度强化学习模型，并利用近端策略优化算法对配网数字孪生场景构建展开离线训练以获得检测故障的精确模型，从而实现高概率故障场景的生成。

技术研发人员：张子谦,陈俣,李盛盛,储惠,李莉,王沈亮
受保护的技术使用者：南京南瑞信息通信科技有限公司
技术研发日：
技术公布日：2024/1/15