一种工商业园区用电峰谷差智能控制方法

本发明属于电网调度控制领域，尤其是涉及一种工商业园区用电峰谷差智能控制方法。

背景技术：

1、高占比新能源发电并网，其波动性、间歇性和不确定性对新型电力系统的安全稳定经济运行带来巨大挑战，对电网调度控制提出了更高要求。其中大量分布式可再生能源接入工商业园区电网，使得园区用电特性变得愈发复杂。在工商业园区中，降低用电峰谷差是缓解电网运行压力和提高电网经济运行效率的重要策略，包括削减用电高峰时期的净负荷需求和在用电低谷时期储存过剩能量。通过控制电池储能系统降低峰谷差是目前一种常用且具有前景的手段，因其具有灵活性、高充放转换效率和较低的地理限制。

2、公开号为cn116780627a的中国专利文献公开了一种建筑园区内的微电网调控方法；该方法包括基于建筑园区内微电网的应用场景，构建含有多种可调度资源的用户模型；设定日前规划模型，基于可再生能源的预测信息，确立建筑园区内微电网内部的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作，获取建筑园区内微电网与电力市场的能量交易曲线；设定实时调控模型，基于可再生能源发电预测的偏差，以维持所述能量交易曲线的稳定为目标，获取储能系统以及可控发电机的实时动作策略，响应可再生能源预测与实际发电的偏差。

3、公开号为cn113393126a的中国专利文献公开了一种高耗能园区与电网交替并行协同优化调度方法，包括以下步骤：①建立常规发电机组、分布式电源、储能及其他设备的出力模型及负荷预测模型；②分别对园区侧电、热负荷及光伏出力及电网侧风力发电机组进行日前预测；③建立园区综合能源系统群与电网分解协同优化框架；④建立考虑网络安全约束的高耗能园区综合能源系统与电网并行分解协同优化调度模型；⑤建立基于并行交替方向乘子法的求解流程；⑥建立高耗能园区综合能源系统与电网并行分解协同优化调度matlab平台求解互动流程。

4、现有方法对保持微电网负荷曲线的稳定性有一定的提升，但是由于新能源发电和用电负荷不确定性，现有模型训练及部署时间长，且控制效果也有进一步提升的空间。

技术实现思路

1、为了有效应对新能源发电和用电负荷不确定性和园区可控资源的易变性，本发明提供了一种工商业园区用电峰谷差智能控制方法，可以实现智能体闭环自主训练、更新和在线实时运行控制。

2、一种工商业园区用电峰谷差智能控制方法，包括以下步骤：

3、(1)构建工商业园区用电峰谷差的控制目标及约束条件；其中，主要目标为减少园区一个场景中每天的总净负荷峰谷差，次要目标为降低总负荷曲线的波动性；

4、(2)构建用于实时控制的简化数学模型，聚合具有相同特性的可控设备；

5、(3)将在一个场景中控制园区中的可控负荷以达到控制目标的连续决策过程建模为一个马尔科夫决策过程，定义其状态空间和动作空间，并设置智能体训练的奖励函数机制，使得智能体在训练的过程中，每个时间点都能获得即时奖励值；

6、(4)基于日前负荷预测曲线，叠加预测误差概率分布模型，采样生成智能体训练和测试数据集；

7、(5)采用近端策略优化方法作为强化学习智能体的策略优化迭代方法，对强化学习智能体进行分布式训练；

8、(6)将训练完的强化学习智能体用于园区用电峰谷差智能实时控制。智能体生成总策略后，基于当前各工厂各类设备的可调能力的权重，将策略分配到各工厂，再由综合能源管理系统(iems)将策略分配到各独立设备并执行。

9、步骤(1)中，所述的控制目标为：

10、

11、

12、

13、其中，t表示场景中的时间点，t∈{1,2,…n},n是场景总时间点个数，是园区储能设备的集合，是园区其他可调负荷的集合。pt表示t时刻控制后的净负荷有功，其计算方法见公式(1.2)，是t时刻的净负荷预测有功值，表示第i个储能的t时刻有功，表示放电功率，表示充电功率，表示第i个储能的充放功率，表示第j个可调负荷在t时刻上调或下调的功率；σw是移动窗口的平均标准差，此项用来表征净负荷曲线的波动性，其计算方式见公式(1.3)。其中，w和g分别表示移动窗口的大小和移动步长，nw为移动窗口的总个数，pmean是控制后净负荷曲线的平均值。

14、所述约束条件为：

15、

16、

17、

18、

19、

20、

21、

22、

23、其中，公式(2.1)、(2.2)表征电力系统模型的动态潮流平衡，要求系统在任意时刻满足这两个潮流方程,，和表示注入节点i的有功和无功，和表示在节点i消耗的有功和无功，gij和bij是线路ij的电导和电纳，θij是节点i和j之间的电压相角差，为系统中所有的节点集合；公式(2.3)-(2.5)描述了可控储能设备的约束条件，soct,i和分别表示储能设备i在t时刻的电量和有功功率，和分别表示储能设备i的最大放电和充电功率；公式(2.6)-(2.8)描述了其他类型可控负荷的约束条件，表示t时刻负荷j的有功功率，为容量，r表示一个时间步内最大可调节有功与容量的比例。

24、将步骤(1)构建的控制目标及约束条件简化，得到步骤(2)中的简化数学模型，简化数学模型为：

25、

26、

27、

28、

29、

30、其中，是园区可调设备类型的集合，包括储能、空调、照明、充电站和产线；储能外的其他类型设备也与储能整合为同一模型(假设其具有储存能量的能力)。et,i和分别表示设备类型i在t时刻的总电量和充放电功率之和，et,i的单位为kw·δ，是设备类型i的总容量，和分别表示设备类型i的总最小能量和总最大充放功率。

31、步骤(3)中，马尔科夫决策过程中可观测的状态空间定义为:

32、

33、其中，t为时间点，为t时刻的超短期净负荷预测，和分别表示截止当前时刻净负荷的最大值和最小值，et是t时刻各类型设备的总电量，和分别表示t时刻各类型设备的功率最大可上调能力和最大可下调能力。

34、步骤(3)中，马尔科夫决策过程中动作空间定义为:

35、

36、其中，为设备类型i的连续动作空间。

37、步骤(3)中，奖励函数定义如下：

38、

39、当处于用电量峰区间或谷区间时，智能体获得的即时奖励值为当处于峰谷区间之外时，即时奖励值为表示峰区间的时间点集合,表示谷区间的时间点集合。

40、

41、

42、

43、

44、

45、

46、其中，和分别表示在智能体控制后的目标净负荷峰值和目标净负荷谷值；和分别表示园区各类可调设备在单个时间步内的最大可下调功率之和以及最大可上调功率之和，系数c的取值范围是[0.8，1.0]；为通过移动平均法计算出的用电曲线，w为移动窗口的大小。

47、步骤(4)中，智能体训练和测试数据集生成方式如下：

48、

49、其中是园区中所有负荷(含用电负荷、分布式光伏)的集合，∈i,t表示负荷i在t时刻的日前预测误差，其采样于正态分布分别对每个时刻t进行采样，并叠加所有负荷，得到一个场景的推演数据其中

50、步骤(5)中，近端策略优化方法如下：

51、

52、

53、

54、其中，l(st,at,θk,θ)为需要最大化的目标函数，st是t时刻的观测，at是t时刻的控制动作，θk是更新前的学习模型参数，θ是当前采样模型的参数，表示优势奖励值函数，由即时奖励值rt和状态估计值vt计算得出，∈为核心的截断系数，取值范围是[0.1,0.3]；核心在于将目标函数中使用到的新旧策略比例限制在1±∈。

55、对强化学习智能体进行分布式训练具体如下：

56、将n个智能体模型的复制作为采样工人分布到n个cpu线程，且在每个线程中单独分配1个潮流求解器用作独立的潮流计算；在一个训练周期中，每个采样工人同步独立采样，当样本数量达到设定值后，整合传给学习者模型，学习者利用该批样本进行多次训练迭代，并在学习完成后将更新后的模型参数传给采样工人进行参数替换。

57、步骤(6)的具体过程为：

58、在每个决策时间点t，数字孪生体将4小时负荷预测发送给强化学习智能体，园区综合能源管理系统实时反馈各工厂各类型可调设备的总最大功率上调能力总最大功率下调能力和当前总电量et。基于以上输入，智能体的决策神经网络输出针对园区的总净负荷进行调控的总策略at，然后根据各工厂的可调节能力的权重将总策略分配到各工厂。数字孪生体首先对工厂级策略进行仿真计算，如果潮流收敛，则将策略发送给园区综合能源管理系统，最后由园区综合能源管理系统将各工厂的调节目标进行拆分并下发到各设备；如果潮流不收敛，则决策不下发执行。

59、与现有技术相比，本发明具有以下有益效果：

60、1、本发明采用分布式近端策略优化强化学习算法，采用多线程采样，且通过奖励函数的优化设计和参数调优，将此任务的收敛所用周期数大幅度降低，现场部署的智能体所需训练时间从最初的48小时降低到了9小时，达到了每日训练且日前部署更新模型的目标；完成训练的智能体决策响应速率为毫秒级，相比传统优化算法计算速度更快。

61、2、本发明中，使用了考虑到日前负荷预测不确定性的推演数据训练强化学习智能体，使得智能体更具有应对预测误差的泛化性；智能体使用4小时超短期负荷预测作为输入，使得智能体具有生成考虑到实时负荷动态变化的策略的在线控制能力。

62、3、本发明中提出的简化数学模型使得智能体的观测空间和控制空间的维度能够保持恒定，不随网络结构和可控设备的数量和参数的变化而改变。因此，训练完成的智能体可以长时间迭代，且极易维护和迁移。

63、4、本发明中，智能体的在线运行具有高稳定性和安全性：当系统中各层级发生了结构或设备的临时变化，智能体的实时决策下发不会受到影响。例如工厂或设备接入或移出时，智能体和园区能源管理系统iems仍然能够按照实时的可调能力权重分配下发策略。智能体的决策在下发前均进行了潮流计算以确保园区电网的安全稳定。