基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法与流程

本申请涉及电网信息领域，具体涉及一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法。

背景技术：

1、电力需求侧管理的概念最早由美国在上世纪70年代所提出，并于80年代逐渐推广到西方其它发达国家。它是指电力行业在保证电力服务水平的前提下，通过采取一系列措施，引导用户科学合理用电，提高电能利用效率，以实现保护环境和减少电力服务成本的用电管理活动。

2、随着智能电网技术的不断发展，需求侧响应(demand response，dr)在电网经济、稳定运行中起着愈发重要的作用，需求响应策略可改善配电网的供电可靠性。近年来，全国各地用电需求保持较快的增长，电力紧缺时有发生，电网运行压力不断增大，因此在智能用电环境下，将更关注用户侧的用电行为特性，挖掘用户的响应意愿和潜力，针对性地制定价格信号或实施激励措施以鼓励电网用户自愿参与响应活动是十分必要的，能够科学指导用户合理用电，从而达到缓解电力供需矛盾的目的。

技术实现思路

1、本申请实施例的目的在于提供基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，该方法能够自动挖掘和提取客户用电负荷数据中的隐藏信息，预测用户参与需求侧响应的意愿和潜力，利用多智能体强化学习“集中式训练，分布式执行(ctde)”的核心框架辅助电网公司制定合适的分时电价策略，并调控负荷，引导客户合理安排用电，提升电网需求侧管理效率，从而提高电网的“削峰填谷”能力，进一步缓解电力供需关系压力，保障电力系统的安全运行与合理规划。

2、为实现上述目的，本申请提供如下技术方案：

3、本申请实施例提供一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，其特征在于，包括以下步骤：

4、步骤s1，使用改进的k-means聚类算法对客户用电数据进行聚类生成用电行为标签，将客户数据聚类为无峰、单峰和多峰三类；

5、步骤s2，将聚类后的无峰、单峰和多峰三类客户建模为多智能体强化学习模型中的三个独立的智能体，建立部分可观测的马尔可夫博弈模型；

6、步骤s3，搭建并训练多层感知机神经网络模型，以三类客户的96点工作日负荷数据和用电行为标签作为输入，挖掘输入数据与客户参与需求响应意愿和潜力之间的隐式映射关系；

7、步骤s4，利用多智能体强化学习对所构建的负荷调控模型进行求解，输出最优的分时电价制定建议和调控负荷方案。

8、所述步骤s1包括以下子步骤：

9、步骤s11，确定初始聚类中心，将样本集中所有用户的总用电负荷进行排序，均分为k类，计算每个类中样本负荷的均值作为该类的初始聚类中心；

10、步骤s12，计算所有样本到k个聚类中心的距离，按照最近距离把所有样本划分到不同类别中，重新计算并更新聚类中心；

11、步骤s13，重复步骤s12直至聚类中心不再变化。

12、所述步骤s2包括以下子步骤：

13、步骤s21，将步骤s1得到的无峰、单峰和多峰三类聚类结果客户分别建模为强化学习中一个独立的智能体，

14、步骤s22，以客户用电负荷、用电行为特征、需求响应潜力、实时电价、天气状态等作为马尔可夫状态；分时电价、可中断负荷、可调负荷等作为马尔可夫动作；将每类用户用电总成本的负值作为奖励项反馈给每类智能体，训练基于人工神经网络的深度强化学习博弈模型。

15、所述步骤s3包括以下子步骤：

16、步骤s31，搭建多层感知机mlp神经网络模型，设置网络的隐藏层数量、神经元数目、训练函数、最大迭代次数、损失函数等参数；

17、步骤s32，训练mlp神经网络模型，训练数据包括输入样本与真实响应标签，输入样本为客户96点工作日负荷数据与s1步骤获得的用电行为标签，真实响应标签包括响应意愿与响应潜力，从电网公司前期开展需求响应工作中获得用户真实响应标签。

18、所述步骤s4包括以下子步骤：

19、步骤s41，构建电网公司与电力客户双赢的需求侧负荷调控模型；

20、步骤s42，利用多智能体强化学习“集中式训练，分布式执行ctde”的核心框架求解步骤s22马尔可夫博弈模型和步骤s41的负荷转移模型，输出最优分时电价方案，辅助电网公司制定合适的分时电价引导用户参与削峰填谷。

21、与现有技术相比，本发明的有益效果是：

22、(1)对传统k-means聚类算法进行改进，针对电网客户用电负荷数据特点优化初始聚类中心选择策略，使聚类效果更为准确；

23、(2)对传统强化学习建模方法和算法进行改进，利用多智能体强化学习“集中式训练，分布式执行(ctde)”的核心框架辅助电网公司制定合适的分时电价策略。

24、(3)将客户需求响应潜能预测评估和最优分时电价、负荷调控求解统一起来，实现根据用电负荷数据自动预测客户参与需求响应的能力，同时输出最优的分时电价和负荷调控方案，对进一步缓解电力供需关系压力，保障电网安全运行和合理规划产生了有益效果。

技术特征：

1.一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，其特征在于，所述步骤s1包括以下子步骤：

3.根据权利要求2所述的一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，其特征在于，所述步骤s2包括以下子步骤：

4.根据权利要求3所述的一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，其特征在于，所述步骤s3包括以下子步骤：

5.根据权利要求4所述的一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，其特征在于，所述步骤s4包括以下子步骤：

技术总结
本申请涉及一种基于人工神经网络和多智能体强化学习的电网需求侧响应潜力评估及负荷调控方法，包括以下步骤：步骤S1，使用改进的k‑means聚类算法对客户用电数据进行聚类生成用电行为标签；步骤S2，建立部分可观测的马尔可夫博弈模型；步骤S3，搭建并训练多层感知机神经网络模型；步骤S4，利用多智能体强化学习对所构建的负荷调控模型进行求解，输出最优的分时电价制定建议和调控负荷方案。本申请对传统强化学习建模方法和算法进行改进，利用多智能体强化学习“集中式训练，分布式执行(CTDE)”的核心框架辅助电网公司制定合适的分时电价策略。

技术研发人员：张佳雯,张成,蔡文嘉,何行,董重重,肖燕婷,田猛,张芹,魏解,吴明珍,张蕾,吴悠,冉艳春,胡亚天,王兹玥
受保护的技术使用者：国网湖北省电力有限公司营销服务中心（计量中心）
技术研发日：
技术公布日：2024/1/16