一种基于强化学习的虚拟电厂光储资源聚合调控方法与流程

本发明涉及虚拟电厂，尤其涉及一种基于强化学习的虚拟电厂光储资源聚合调控方法。

背景技术：

1、虚拟电厂(virtual power plant，vpp)是实现可再生分布式发电就地接入系统以及提高系统能源利用效率最具优势的一种形式，可以整合各种分布式能源，包括分布式电源、灵活性负荷和储能系统，其基于高度集成、高速双向通信网络，融合先进的传感、控制、高端电气设备，采用于先进的信息通信技术和能量管理体系，进而灵活的调动区域内广泛的分布式能源、储能系统、灵活性负荷，从而融合成统一的新型聚集体，并为系统提供高可靠、高质量、高安全的综合能源服务。而在vpp聚合这些资源时，由于分布式光伏电源、储能系统接入虚拟电厂的方式多样，多元资源接入体的源-储特性、时空特性之间存在巨大差异，且分布式光伏具有较强的随机性和波动性，给系统的聚合调控建模带来了困难。

2、为解决这种问题，相关技术一般采用基于电气距离的聚合技术，通过聚类分析算法、社团发现算法或智能算法对分布式资源进行集群划分。然而，发明人发现，相关技术在对分布式资源集群划分时以结构特性的模块度指标和功能特性的功率平衡指标，使电网调节能力不稳定，无法满足电网的稳定运行需求。

技术实现思路

1、本发明实施例提供了一种基于强化学习的虚拟电厂光储资源聚合调控方法，以解决相关技术中电网调节能力不稳定，无法满足电网的稳定运行需求的问题。

2、第一方面，本发明实施例提供了一种基于强化学习的虚拟电厂光储资源聚合调控方法，包括：

3、基于配电网的拓扑结构和线路参数，确定配电网中各节点间的电气距离；

4、基于配电网的各节点间的电气距离，以及虚拟电厂的分布式光储资源集群的聚合模型，确定虚拟电厂的分布式光储资源集群的聚合结果；其中，聚合模型以模块度指标、不确定性处理能力指标和隶属度指标的加权和最大为目标，不确定性处理能力指标与虚拟电厂集群的储能性能、光伏出力和负荷的最大波动值相关；

5、基于聚合结果进行调控策略优化，得到虚拟电厂集群的聚合调控策略。

6、在一种可能的实现方式中，不确定性处理能力指标的构建过程包括：

7、基于配电网的负荷和光伏出力的历史运行数据，确定负荷和分布式光伏出力的预测置信区间；

8、根据负荷和分布式光伏出力的预测置信区间确定负荷预测值和光伏出力预测值；

9、根据负荷预测值和光伏出力预测值确定光伏出力和负荷的最大波动值；

10、根据配电网的分布式储能容量和充放电速率确定虚拟电厂集群的储能性能；

11、根据配电网中虚拟电厂集群的数量、光伏出力和负荷的最大波动值和虚拟电厂集群的储能性能确定不确定性处理能力指标。

12、在一种可能的实现方式中，不确定性处理能力指标为：

13、

14、其中，φ为不确定性处理能力指标，k为虚拟电厂集群的数量，k为虚拟电厂集群中第k个虚拟电厂集群；e，s和l分别为储能、光伏和负荷编号；pe,max为在第k个虚拟电厂集群中，单个储能元件的最大充放电功率、ps,max和ll,max分别为光伏出力和负荷的最大波动值。

15、在一种可能的实现方式中，模块度指标为：

16、

17、ki＝∑jaij

18、

19、其中，为模块度指标，m为配电网中所有节点之间边的权重之和；i、j分别为虚拟电厂集群中第i个节点、第j个节点；aij为节点i和j之间边的权重；ki为与节点i相连的所有边的权重之和；kj为与节点j相连的所有边的权重之和；δ(i，j)表示节点i和节点j是否在同一虚拟电厂集群内；

20、若节点i和节点j在同一个虚拟电厂集群内，则δ(i，j)＝1；

21、若节点i和节点j不在同一个虚拟电厂集群内，则δ(i，j)＝0；

22、隶属度指标为：

23、

24、

25、

26、其中，v[i]表示节点i所在的虚拟电厂集群；|v[i]|表示节点i所在的虚拟电厂集群内所有节点间边数之和；j∈v[i]表示与节点i在同一各虚拟电厂集群且与节点i相连的节点；μ(i，v[i])表示与节点i在同一拟电厂集群内且相连的节点在拟电厂集群v[i]内的隶属程度；|v-v[i]|表示不包含节点i的拟电厂集群内所有节点间边数之和；μ(i，v-v[i])表示不包含节点i的拟电厂集群中与节点i相连的节点在拟电厂集群v-v[i]中的隶属程度，eij表示节点i和节点j之间的电气距离。

27、在一种可能的实现方式中，聚合模型为深度强化学习模型，基于配电网的各节点间的电气距离，以及虚拟电厂的分布式光储资源集群的聚合模型，确定虚拟电厂集群的分布式光储资源集群的聚合结果，包括：

28、采用近端策略优化算法，将当前配电网的各节点间的电气距离、虚拟电厂集群的数量、每个虚拟电厂集群的波动性与灵活性作为当前状态，将当前状态输入到聚合模型中，得到每个可能的动作以及每个动作对应的概率；

29、从每个可能的动作选择一个最好的动作，并执行该动作，得到奖励值和下一个状态；其中，奖励值基于奖励函数得到；

30、将下一个状态作为当前状态，跳转到将当前状态输入到聚合模型中，得到每个可能的动作以及每个动作对应的概率步骤，直到所得到的奖励值满足预设条件；

31、将得到的最大奖励值对应的动作作为虚拟电厂集群的分布式光储资源集群的聚合结果。

32、在一种可能的实现方式中，奖励函数为：

33、

34、其中，为模块度指标，φ为不确定性处理能力指标，，ψ为隶属度指标，ω1、ω2和ω3分别为模块度指标、不确定性处理能力指标和隶属度指标的权重。

35、在一种可能的实现方式中，基于聚合结果进行调控策略优化，得到虚拟电厂集群的聚合调控策略，包括：

36、根据虚拟电厂的光储资源聚合模型的结果构建虚拟电厂集群的调控模型；其中，调控模型以最大化调峰收益为目标；

37、基于分布式储能容量、充放电速率设置储能约束条件和系统备用约束条件；

38、根据储能约束条件、系统备用约束条件、最大化调峰收益以及调控模型进行调控策略优化，得到虚拟电厂的聚合调控策略。

39、第二方面，本发明实施例提供了一种基于强化学习的虚拟电厂光储资源聚合调控装置，包括：

40、计算模块，用于基于配电网的拓扑结构和线路参数，确定配电网中各节点间的电气距离；

41、聚合模块，用于基于配电网的各节点间的电气距离，以及虚拟电厂的分布式光储资源集群的聚合模型，确定虚拟电厂集群的分布式光储资源集群的聚合结果；其中，聚合模型以模块度指标、不确定性处理能力指标和隶属度指标的加权和最大为目标，不确定性处理能力指标与虚拟电厂集群的储能性能、光伏出力和负荷的最大波动值相关；

42、调控模块，用于基于聚合结果进行调控策略优化，得到虚拟电厂的聚合调控策略。

43、第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

44、第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

45、本发明实施例提供一种基于强化学习的虚拟电厂光储资源聚合调控方法，基于配电网的拓扑结构和线路参数，确定配电网中各节点间的电气距离；基于配电网的各节点间的电气距离，以及虚拟电厂的分布式光储资源集群的聚合模型，确定虚拟电厂的分布式光储资源集群的聚合结果；其中，聚合模型以模块度指标、不确定性处理能力指标和隶属度指标的加权和最大为目标，不确定性处理能力指标与虚拟电厂集群的储能性能、光伏出力和负荷的最大波动值相关；基于聚合结果进行调控策略优化，得到虚拟电厂集群的聚合调控策略。本发明在进行光储资源聚合调控时，引入了不确定性处理能力指标。不确定性处理能力指标与分布式光伏出力和负荷的最大波动值相关，在进行光储资源聚合调控时能够提高配电网的调节能力，本发明能够解决聚合调控模型构建时考虑不充分、建模时间复杂度较高的问题。