考虑电网调峰需求的工业园区主动配电系统调度优化方法与流程

本发明涉及主动配电系统优化调度领域，具体来说是在考虑源荷双侧随机性情况下的一种考虑电网调峰需求的工业园区主动配电系统调度优化方法。

背景技术

随着新能源渗透率和可控负荷规模的日益增加，电网调峰形势愈加严峻，配电网的分布式特性愈发明显，传统配电网逐渐演变成为调度资源丰富的、可对分布式发电、柔性负荷和储能三者进行主动控制和主动管理的主动配电系统。有效利用主动配电系统内分布式能源和负荷间的互动，一方面可以实现系统自身安全经济运行，另一方面用来解决电网调峰需求，增强电力系统的可靠性和可控性。因此，对主动配电系统的优化调度问题进行深入研究，具有重要的理论意义和应用价值。

现有的主动配电系统优化调度方法主要分为两类，一类是在不考虑新能源出力和负荷需求随机性情况下，通过遗传算法、生物地理学优化算法、粒子群算法等优化算法对主动配电系统的优化调度问题进行策略求解，但新能源出力及负荷需求的不确定性是普遍存在且不可避免的，当实际值与日前预测值相差较大时，若以日前预测值确定的优化控制策略为基准值，将难以保证主动配电系统的长期安全经济运行；另一类是通过时间序列、神经网络、组合预测等确定性预测方法对新能源出力和负荷需求的不确定性进行预测，将不确定性优化调度问题转化为确定性问题进行相应的策略求解，该类方法是对某一时刻下的新能源出力和负荷需求进行预测，并未考虑到由于外界环境和用户需求具有很强的随机性，一天内新能源出力与负荷需求预测本质上可视为多时段动态变化过程，并且在各时段间具有很强的时序相关性，同时，该类方法获得的优化策略并没有考虑到环境和用户的突发不确定性带来的影响。

技术实现要素：

本发明针对现有技术中存在的不足之处，提出来一种考虑电网调峰需求的工业园区主动配电系统调度优化方法，以期能获得在考虑源荷双侧不确定情况下通过源荷互动来满足电网调峰需求的动态调度优化方法，从而在发、供、用电平衡协调基础上应对电网调峰需求并实现系统安全经济运行的目标。

本发明为解决技术问题采用如下技术方案：

本发明考虑电网调峰需求的工业园区主动配电系统调度优化方法，所述工业园区主动配电系统包括光伏发电单元pv、全钒液流电池储能系统vrb和工业负荷，所述工业负荷包括刚性负荷和柔性负荷，所述柔性负荷包括可削减负荷、可转移负荷和可平移负荷；其特点是，所述工业园区主动配电系统调度优化方法是按如下步骤进行：

步骤1：将所述光伏发电单元pv、全钒液流电池储能系统vrb及工业负荷作为参与考虑电网调峰需求的工业园区主动配电系统调度单元；

步骤2：针对所述工业园区主动配电系统，预测获得在调度日内任意时刻t下各类功率预测值；所述各类功率预测值是指光伏出力、电网调峰需求、刚性负荷需求、可削减负荷需求、可转移负荷需求以及可平移负荷需求的预测值，其一一对应为和

步骤3：按如下方式对不确定性随机变量动态变化过程建模：

步骤3.1、建立光伏出力不确定性模型：

将光伏出力在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2npv+1个等级，建立由式(1)所表征的光伏出力不确定性模型：

式(1)中，为t时刻下实际光伏出力；为t时刻下光伏出力随机波动等级，为t时刻下光伏出力随机波动的最小单位；

步骤3.2、建立电网调峰需求不确定性模型：

将电网调峰需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2npeak+1个等级，建立由式(2)所表征的电网调峰需求不确定性模型：

式(2)中，为t时刻下实际电网调峰需求；为t时刻下电网调峰需求随机波动等级，为t时刻下电网调峰需求随机波动的最小单位；

步骤3.3、建立工业负荷需求不确定性模型：

将刚性负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2nr1+1个等级；

将可削减负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2ncu+1个等级；

将可转移负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2nsh+1个等级；

将可平移负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2nhs+1个等级；

建立由式(3)所表征的工业负荷需求不确定性模型；

和分别为t时刻下实际刚性负荷需求和刚性负荷需求随机波动的最小单位，为t时刻下刚性负荷需求随机波动等级，

和分别为t时刻下实际可削减负荷需求和可削减负荷需求随机波动的最小单位，为t时刻下可削减负荷需求随机波动等级，

和分别为t时刻下实际可转移负荷需求和可转移负荷需求随机波动的最小单位，为t时刻下可转移负荷需求随机波动等级，

和分别为t时刻下实际可平移负荷需求和可平移负荷需求随机波动的最小单位，为t时刻下可平移负荷需求随机波动等级，

将所述光伏出力随机波动等级电网调峰需求随机波动等级刚性负荷需求随机波动等级可削减负荷需求随机波动等级可转移负荷需求随机波动等级以及可平移负荷需求随机波动等级随时间的动态变化过程分别描述为连续马尔可夫过程，令各项随机波动等级的变化服从各自概率矩阵的马尔可夫链；

步骤4：按如下方式对所述柔性负荷动态调整过程建模：

将所述工业园区主动配电系统调度日全天时长t等分为0～k共k+1个时段，时段k为：k∈{0，1，…，k}；根据所述工业园区主动配电系统内各类柔性负荷不同的响应特性，按如下方式获得各时段内各类柔性负荷的动态调整方案：

将各时段k内可削减负荷削减量占比离散为个等级，则时段k内可削减负荷的削减动作等级为：

将各时段k内实际可转移负荷转移量占比离散为个等级，则时段k内可转移负荷的转移动作等级为：

将各时段k内实际可平移负荷平移量占比离散为两个等级，则时段k内可平移负荷的平移动作等级为：以表征为不平移动作，以表征为平移动作；

步骤5：按如下方式对所述全钒液流电池储能系统vrb充放电过程建模：

建立如式(4)所表征的反映vrb储能装置充放电特性的非线性数学模型；

式(4)中，ud、uc和ce分别为储能装置外部端电压、电容电压和电极电容；id和ip分别为充放电电流和泵损电流；v1和n分别为电池标准电极电势和电堆串联单体电池的个数；t和f分别为温度和法拉第常数；cn和soc分别为电池额定容量和电池荷电状态；r1和r2均为等效电池内阻；rf和r分别为寄生损耗和气体常数；

利用所述非线性数学模型获得基于三段式安全充放电方式下vrb储能装置在时刻t下的荷电状态以及所对应的充放电功率将vrb储能装置充放电过程剩余容量动态变化最大范围离散为0～nvrb共nvrb+1个状态等级，则时刻t下vrb储能装置剩余容量状态等级为：将时段k内各状态下vrb储能装置的充放电动作等级记为：以表征为充电动作，以表征为闲置，以表征为放电动作；

所述三段式安全充放电方式是指：以电池荷电状态soc和端电压ud作为安全充放电切换控制策略约束条件，采用先恒流、再恒压，最后为涓流的三段式充放电充电方式；

步骤6：以应对电网调峰需求和降低系统日运行代价为系统调度优化目标，在满足系统实际运行过程中的各项相关约束条件下，将考虑电网调峰需求的工业园区主动配电系统动态调度优化问题建立成相应的dtmdp模型：

步骤6.1、确定所述dtmdp模型的系统状态空间及行动集：

将所述时段k定义为决策周期k；并将决策周期k的起始时刻定义为决策时刻tk；

定义：所述工业园区主动配电系统在决策时刻tk下的系统状态为sk、行动为ak，并有：

其中，φs为系统状态空间；为决策时刻tk下vrb储能装置剩余容量状态等级；和分别为决策时刻tk下光伏出力、电网调峰需求和刚性负荷需求随机波动等级；和分别为决策时刻tk下可削减负荷需求、可转移负荷需求和可平移负荷需求随机波动等级；为决策时刻tk下可平移负荷平移动作对应的状态等级，以表征为可平移负荷在决策时刻tk下是处于不平移状态，以表征为可平移负荷在决策时刻tk下是处于平移状态；d为行动集；为决策时刻tk下vrb储能装置充放电动作等级；为决策时刻tk下可削减负荷削减动作等级；为决策时刻tk下可转移负荷转移动作等级；为决策时刻tk下可平移负荷平移动作等级；

步骤6.2、确定所述dtmdp模型的代价函数：

利用式(5)获取所述考虑电网调峰需求的工业园区主动配电系统在决策周期k内通过执行行动ak状态转移过程产生的运行代价：

式(5)中，c^k为决策周期k内工业园区主动配电系统运行代价；为决策周期k内工业园区主动配电系统未满足电网调峰需求的代价，为决策周期k内从电网购电代价，为决策周期k内光伏发电补贴，为决策周期k内vrb储能装置的充放电损耗代价，为决策周期k内vrb储能装置的运行维护成本，为决策周期k内可削减负荷的补偿代价，为决策周期k内可转移负荷的补偿代价，为决策周期k内可平移负荷的补偿代价；

利用式(6)获取末状态代价cvrb(sk+1)：

式(6)中，为末状态代价系数，和分别为末决策时刻tk+1下vrb储能装置实际剩余容量等级和设定的期望剩余容量等级；

步骤6.3、确定所述dtmdp模型的优化目标：

利用式(7)获取考虑电网调峰需求的工业园区主动配电系统的动态调度优化目标，是在策略集ω中找到一个最优策略π^*，使得在各种随机情况下系统平均日运行总代价最小；

式(7)中，π为优化策略，ω为优化策略集；

步骤7：按如下方式采用基于模拟退火的q学习算法对所述dtmdp模型进行策略求解，实现考虑电网调峰需求的工业园区主动配电系统调度优化：

步骤7.1、定义并初始化q学习算法中的q值表、样本轨道总数m、单条样本轨道决策周期数k、学习率αm、学习率更新系数ηα、模拟退火温度ttemp以及模拟退火系数ηtemp，并令当前样本轨道数m＝0；

步骤7.2、设置当前决策周期k＝0，并随机初始化系统状态sk；

步骤7.3、根据q值表和贪婪策略，选取在当前状态sk下对vrb储能装置和各类柔性负荷的贪婪行动agreedy，同时随机选取有效行动arand；

若则选取当前行动ak＝agreedy，否则为ak＝arand；

若k＜k，跳转至步骤7.4；若k＝k，跳转至步骤7.5；

步骤7.4、执行当前行动ak，根据所建系统模型计算下一决策周期对应的系统状态sk+1、并计算在决策周期k内通过执行行动ak状态转移过程中产生的运行代价c^k，根据式(8)更新q值表、更新策略，并将k的值增加1，返回步骤7.3；

步骤7.5、执行当前行动ak，计算在决策周期k内通过执行行动ak状态转移过程中产生的运行代价c^k及末状态代价cvrb(sk+1)，根据式(9)更新q值表、更新策略，继续步骤7.6；

q(sk，ak)＝q(sk，ak)+αm(c^k+cvrb(sk+1)-q(sk，ak))(9)，

步骤7.6、将模拟退火温度ttemp的值更新为：ηtempttemp，将当前样本轨道数m的值增加1，将学习率αm的值更新为：ηααm；

步骤7.7、若m＜m，返回步骤7.2；若m≥m，则完成学习优化方法，得到各决策周期内的vrb储能装置充放电动作等级可削减负荷削减动作等级可转移负荷转移动作等级和可平移负荷平移动作等级实现对所述考虑电网调峰需求的工业园区主动配电系统动态调度。

本发明考虑电网调峰需求的工业园区主动配电系统调度优化方法的特点也在于，步骤6中所述系统实际运行过程中的各项相关约束条件为：

其中：

为t时刻所述光伏发电单元pv实际光伏出力，为t时刻所述系统从电网购售电功率；为t时刻所述全钒液流电池储能系统vrb充放电功率，为t时刻所述工业园区主动配电系统内工业负荷需求功率；

为t时刻实际刚性负荷需求，和分别为t时刻所述系统内实际可削减负荷需求、可转移负荷需求和可平移负荷需求；

和分别为t时刻所述全钒液流电池储能系统vrb充放电功率上下限；

为t时刻所述全钒液流电池储能系统vrb端电压，和分别为所述全钒液流电池储能系统vrb中端电压的上下限；

为t时刻所述全钒液流电池储能系统vrb剩余容量，和分别为所述全钒液流电池储能系统vrb剩余容量上下限；

和分别为所述全钒液流电池储能系统vrb调度日始末剩余容量，ccon为设定的全钒液流电池储能系统vrb始末剩余容量期望值；

m(k)为所述全钒液流电池储能系统vrb在决策周期k内所处的充放电状态，其中m(k)＝1、0、-1分别为所述全钒液流电池储能系统vrb在决策周期k内处于充电、闲置及放电状态，为所述全钒液流电池储能系统vrb在整个调度日内允许的最大充放电次数；

为所述可转移负荷在决策周期k内负荷实际转移量，为所述可转移负荷在决策周期k内负荷实际转移量。

与已有技术相比，本发明的有益效果体现在：

1.本发明针对考虑电网调峰需求的工业园区主动配电系统调度优化问题，通过学习优化方法对系统动态优化问题进行策略求解，可有效解决电网调峰需求问题，促进新能源就地消纳，有利于主动配电系统安全经济运行和提高电力系统运行稳定性；

2.本发明在考虑系统源荷双侧不确定情况下，将系统内源荷随机波动的动态变化过程建立为连续马尔可夫过程模型，可以体现出系统动态随机变量的序贯变化过程，进而贴近系统真实运行情况，有利于降低环境和用户的突发不确定性对系统带来的影响；

3.本发明选取容量大、无污染、能够频繁充放电的全钒液流电池作为工业园区主动配电系统的储能装置，并针对具体全钒液流电池充放电特性选取安全合理的三段式充放电控制策略，可以防止过充过放现象，提高电池充放电效率，增加电池使用寿命，从而有利于系统长期安全经济运行；

4.本发明在考虑系统实际运行过程中各项约束的基础上将系统内储能装置与各类柔性负荷的动态调节作用考虑到该调度问题中，采用基于模拟退火的q学习算法对系统动态调度优化问题进行策略求解，所得优化策略满足系统内各类实际运行限制，并且可以在各类随机情况下给出合理的储能充放电方案和柔性负荷调整方案。

附图说明

图1为本发明所述的工业园区主动配电系统的结构示意图；

图2为本发明方法所述的流程示意图；

图3为本发明所述的vrb储能装置模型示意图；

图4为本发明所述的强化学习算法流程示意图。

具体实施方式

本实施例中考虑电网调峰需求的工业园区主动配电系统调度优化方法，应用于如图1所示的工业园区主动配电系统，其包括：光伏发电单元pv、全钒液流电池储能系统vrb和工业负荷，工业负荷包括刚性负荷和柔性负荷，柔性负荷包括可削减负荷、可转移负荷和可平移负荷；工业园区主动配电系统与电网通过公共节点相联，可以接收电网调度交易中心发出的实时调峰需求指令，并可以按工业分时电价与电网进行购电、售电交互。考虑到光伏出力、各类负荷需求及电网调峰需求的随机不确定性和时序相关性，采用基于模拟退火的q学习算法对系统动态调度优化问题进行策略求解，所得调度优化策略可以在各类随机情况下给出合理的储能充放电方案和柔性负荷调整方案，进而应对电网调峰需求并提高系统运行经济性。如图2所示。

本实施例中工业园区主动配电系统调度优化方法是按如下步骤进行：

步骤1：将光伏发电单元pv、全钒液流电池储能系统vrb及工业负荷作为参与考虑电网调峰需求的工业园区主动配电系统调度单元。

步骤2：针对工业园区主动配电系统，预测获得在调度日内任意时刻t下各类功率预测值；各类功率预测值是指光伏出力、电网调峰需求、刚性负荷需求、可削减负荷需求、可转移负荷需求以及可平移负荷需求的预测值，其一一对应为和

步骤3：按如下方式对不确定性随机变量动态变化过程建模：

步骤3.1、建立光伏出力不确定性模型：

光伏发电单元pv的光伏出力具有随机不确定性和时序相关性，将光伏出力在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2npv+1个等级，建立由式(1)所表征的光伏出力不确定性模型：

式(1)中，为t时刻下实际光伏出力；为t时刻下光伏出力随机波动等级，为t时刻下光伏出力随机波动的最小单位。

步骤3.2、建立电网调峰需求不确定性模型：

将电网调峰需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2npeak+1个等级，建立由式(2)所表征的电网调峰需求不确定性模型：

式(2)中，为t时刻下实际电网调峰需求；为t时刻下电网调峰需求随机波动等级，为t时刻下电网调峰需求随机波动的最小单位。

步骤3.3、建立工业负荷需求不确定性模型：

将刚性负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2nr1+1个等级；

将可削减负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2ncu+1个等级；

将可转移负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2nsh+1个等级；

将可平移负荷需求在时刻t相对于预测值的随机波动范围确定为并将随机波动范围离散为2nhs+1个等级；

建立由式(3)所表征的工业负荷需求不确定性模型；

和分别为t时刻下实际刚性负荷需求和刚性负荷需求随机波动的最小单位，为t时刻下刚性负荷需求随机波动等级，

和分别为t时刻下实际可削减负荷需求和可削减负荷需求随机波动的最小单位，为t时刻下可削减负荷需求随机波动等级，

和分别为t时刻下实际可转移负荷需求和可转移负荷需求随机波动的最小单位，为t时刻下可转移负荷需求随机波动等级，

和分别为t时刻下实际可平移负荷需求和可平移负荷需求随机波动的最小单位，为t时刻下可平移负荷需求随机波动等级，

在对光伏出力、电网调峰需求以及工业负荷需求不确定性随机变量动态变化过程建模时，将光伏出力随机波动等级电网调峰需求随机波动等级刚性负荷需求随机波动等级可削减负荷需求随机波动等级可转移负荷需求随机波动等级以及可平移负荷需求随机波动等级随时间的动态变化过程分别描述为连续马尔可夫过程，令各项随机波动等级的变化服从各自概率矩阵的马尔可夫链。

步骤4：按如下方式对柔性负荷动态调整过程建模：

将工业园区主动配电系统调度日全天时长t等分为0～k共k+1个时段，时段k为：k∈{0，1，…，k}；根据工业园区主动配电系统内各类柔性负荷不同的响应特性，按如下方式获得各时段内各类柔性负荷的动态调整方案：

将各时段k内可削减负荷削减量占比离散为个等级，则时段k内可削减负荷的削减动作等级为：

将各时段k内实际可转移负荷转移量占比离散为个等级，则时段k内可转移负荷的转移动作等级为：

将各时段k内实际可平移负荷平移量占比离散为两个等级，则时段k内可平移负荷的平移动作等级为：以表征为不平移动作，以表征为平移动作。

步骤5：按如下方式对全钒液流电池储能系统vrb充放电过程建模：

根据vrb储能装置充放电过程的动态特性建立相应的如图3所示的等效电路图，通过分析图中各参量之间的关系，建立如式(4)所表征的反映vrb储能装置充放电特性的非线性数学模型；

式(4)中，ud、uc和ce分别为储能装置外部端电压、电容电压和电极电容；id和ip分别为充放电电流和泵损电流；v1和n分别为电池标准电极电势和电堆串联单体电池的个数；t和f分别为温度和法拉第常数；cn和soc分别为电池额定容量和电池荷电状态；r1和r2均为等效电池内阻损耗；rf和r分别为寄生损耗和气体常数；r1和r2为包括反应动力等效的阻抗、传质阻抗、隔膜阻抗、溶液阻抗、电极阻抗和双极板阻抗的电池内部阻抗，其中r1占内部损耗的60％，而r2占内部损耗的40％。

利用非线性数学模型获得基于三段式安全充放电方式下vrb储能装置在时刻t下的荷电状态以及所对应的充放电功率将vrb储能装置充放电过程剩余容量动态变化最大范围离散为0～nvrb共nvrb+1个状态等级，则时刻t下vrb储能装置剩余容量状态等级为：将时段k内各状态下vrb储能装置的充放电动作等级记为：以表征为充电动作，以表征为闲置，以表征为放电动作。

三段式安全充放电方式是指：以电池荷电状态soc和端电压ud作为安全充放电切换控制策略约束条件，采用先恒流、再恒压，最后为涓流的三段式充放电充电方式。

步骤6：以应对电网调峰需求和降低系统日运行代价为系统调度优化目标，在满足系统实际运行过程中的各项相关约束条件下，将考虑电网调峰需求的工业园区主动配电系统动态调度优化问题建立成相应的dtmdp模型：

步骤6.1、确定dtmdp模型的系统状态空间及行动集：

将时段k定义为决策周期k；并将决策周期k的起始时刻定义为决策时刻tk；

定义：工业园区主动配电系统在决策时刻tk下的系统状态为sk、行动为ak，并有：

其中，φs为系统状态空间；为决策时刻tk下vrb储能装置剩余容量状态等级；和分别为决策时刻tk下光伏出力、电网调峰需求和刚性负荷需求随机波动等级；和分别为决策时刻tk下可削减负荷需求、可转移负荷需求和可平移负荷需求随机波动等级；为决策时刻tk下可平移负荷平移动作对应的状态等级，以表征为可平移负荷在决策时刻tk下是处于不平移状态，以表征为可平移负荷在决策时刻tk下是处于平移状态；d为行动集；为决策时刻tk下vrb储能装置充放电动作等级；为决策时刻tk下可削减负荷削减动作等级；为决策时刻tk下可转移负荷转移动作等级；为决策时刻tk下可平移负荷平移动作等级。

步骤6.2、确定dtmdp模型的代价函数：

利用式(5)获取考虑电网调峰需求的工业园区主动配电系统在决策周期k内通过执行行动ak状态转移过程产生的运行代价：

式(5)中，c^k为决策周期k内工业园区主动配电系统运行代价；为决策周期k内工业园区主动配电系统未满足电网调峰需求的代价，为决策周期k内从电网购电代价，为决策周期k内光伏发电补贴，为决策周期k内vrb储能装置的充放电损耗代价，为决策周期k内vrb储能装置的运行维护成本，为决策周期k内可削减负荷的补偿代价，为决策周期k内可转移负荷的补偿代价，为决策周期k内可平移负荷的补偿代价；

工业园区主动配电系统调度成一定周期性，且系统末决策时刻为一天结束时刻，应使每个调度周期末储能装置剩余容量等级与调度周期起始时刻一致并达到期望剩余容量等级，故增设一个在末决策时刻tk+1下与vrb储能装置实际剩余容量等级较设定的期望等级差值有关的末状态代价，利用式(6)获取末状态代价cvrb(sk+1)：

式(6)中，为末状态代价系数，和分别为末决策时刻tk+1下vrb储能装置实际剩余容量等级和设定的期望剩余容量等级；

步骤6.3、确定dtmdp模型的优化目标：

利用式(7)获取考虑电网调峰需求的工业园区主动配电系统的动态调度优化目标，是在策略集ω中找到一个最优策略π^*，使得在各种随机情况下系统平均日运行总代价最小；

式(7)中，π为优化策略，ω为优化策略集。

步骤7：按如下方式采用基于模拟退火的q学习算法对dtmdp模型进行策略求解，实现考虑电网调峰需求的工业园区主动配电系统调度优化，如图4所示，策略求解是按如下步骤进行：

步骤7.1、定义并初始化q学习算法中的q值表、样本轨道总数m、单条样本轨道决策周期数k、学习率αm、学习率更新系数ηα、模拟退火温度ttemp以及模拟退火系数ηtemp，并令当前样本轨道数m＝0。

步骤7.2、设置当前决策周期k＝0，并随机初始化系统状态sk。

步骤7.3、根据q值表和贪婪策略，选取在当前状态sk下对vrb储能装置和各类柔性负荷的贪婪行动agreedy，同时随机选取有效行动arand；

若则选取当前行动ak＝agreedy，否则为ak＝arand；

若k＜k，跳转至步骤7.4；若k＝k，跳转至步骤7.5。

步骤7.4、执行当前行动ak，根据所建系统模型计算下一决策周期对应的系统状态sk+1、并计算在决策周期k内通过执行行动ak状态转移过程中产生的运行代价c^k，根据式(8)更新q值表、更新策略，并将k的值增加1，返回步骤7.3；

步骤7.5、执行当前行动ak，计算在决策周期k内通过执行行动ak状态转移过程中产生的运行代价c^k及末状态代价cvrb(sk+1)，根据式(9)更新q值表、更新策略，继续步骤7.6；

q(sk，ak)＝q(sk，ak)+αm(c^k+cvrb(sk+1)-q(sk，ak))(9)。

步骤7.6、将模拟退火温度ttemp的值更新为：ηtempttemp，将当前样本轨道数m的值增加1，将学习率αm的值更新为：ηααm。

步骤7.7、若m＜m，返回步骤7.2；若m≥m，则完成学习优化方法，得到各决策周期内的vrb储能装置充放电动作等级可削减负荷削减动作等级可转移负荷转移动作等级和可平移负荷平移动作等级实现对考虑电网调峰需求的工业园区主动配电系统动态调度。

具体实施中，步骤6中系统实际运行过程中的各项相关约束条件为：

其中：

为t时刻光伏发电单元pv实际光伏出力，为t时刻系统从电网购售电功率；为t时刻全钒液流电池储能系统vrb充放电功率，为t时刻工业园区主动配电系统内工业负荷需求功率；

为t时刻实际刚性负荷需求，和分别为t时刻系统内实际可削减负荷需求、可转移负荷需求和可平移负荷需求；

和分别为t时刻全钒液流电池储能系统vrb充放电功率上下限；

为t时刻全钒液流电池储能系统vrb端电压，和分别为全钒液流电池储能系统vrb中端电压的上下限；

为t时刻全钒液流电池储能系统vrb剩余容量，和分别为全钒液流电池储能系统vrb剩余容量上下限；

和分别为全钒液流电池储能系统vrb调度日始末剩余容量，ccon为设定的全钒液流电池储能系统vrb始末剩余容量期望值；

m(k)为全钒液流电池储能系统vrb在决策周期k内所处的充放电状态，其中m(k)＝1、0、-1分别为全钒液流电池储能系统vrb在决策周期k内处于充电、闲置及放电状态，为全钒液流电池储能系统vrb在整个调度日内允许的最大充放电次数；

为可转移负荷在决策周期k内负荷实际转移量，为可转移负荷在决策周期k内负荷实际转移量。

本发明可在考虑源荷双侧随机性情况下有效解决电网调峰需求问题，有利于降低环境和用户的突发不确定性对系统带来的影响，可促进新能源就地消纳，提高主动配电系统运行经济性和电力系统运行稳定性。