一种基于虚拟发电部落的agc功率动态分配方法
【专利摘要】本发明公开了一种基于虚拟发电部落的AGC功率动态分配方法；该方法先搭建基于虚拟发电部落VGT的自动发电控制AGC功率分配框架，确定状态离散集和动作离散集；采集当前控制周期区域电网实时的总发电功率指令，并利用迁移学习初始化各虚拟发电部落的值函数矩阵和选择动作；根据领导者策略选择动作并计算部落功率；获得各虚拟发电部落的立即奖励函数值；更新当前状态下各虚拟发电部落的一致性权重、自学习权重以及值函数矩阵；判断算法是否满足收敛条件。本发明基于VGT的AGC功率分配框架下，结合QD学习和迁移学习，能满足AGC的控制时间要求，更加适用于解决具有较强随机性、不确定性的大规模复杂电网的AGC功率动态分配问题。
【专利说明】
一种基于虚拟发电部落的AGC功率动态分配方法
技术领域
[0001] 本发明涉及电力系统自动发电控制技术领域，特别是涉及基于协同一致性迀移Q 学习的虚拟发电部落AGC功率动态分配方法，该方法适用于互联电网AGC分散控制系统功率 的随机优化动态分配。
【背景技术】
[0002] AGC(Automatic Generation Control，自动发电控制）作为EMS(Energy Management System，能量管理系统）的重要环节之一，保证了互联电网的频率和联络线交 换功率保持在额定值。一般来说，AGC主要分为两个过程:1)总功率指令的跟踪，实际电网调 度中心主要采用PI控制器，也有学者提出模糊控制、强化学习等智能控制方法;2)总功率指 令的分配，实际系统中往往按照工程经验或者按相同可调容量比例固定分配的方法进行功 率分配，为减少调节费用和提高CPS(Control Performance Standard，控制性能标准），余 涛等学者采用了Q学习、多步回溯Q(A)方法、改进分层Q学习等一系列强化学习算法进行功 率动态分配优化。然而，上述所有的分配算法均是集中式优化算法，当AGC机组规模增加时， 其优化效果也随着下降，收敛时间也随之增加，难以满足AGC的4~16秒时间尺度要求。另一 方面，集中式优化算法需要对各个AGC机组的运行数据进行采集，也容易导致通信阻塞。
[0003] 为此，
【申请人】在《互联电网AGC功率动态分配的虚拟发电部落协同一致性算法》（中 国电机工程学报)提出了基于VGT(Virtual Generation Tribe，虚拟发电部落）的功率动态 分配协同一致性算法，分别以调节费用和爬升时间为一致性状态变量，有效解决了 AGC功率 分配的分散自治问题，但其一致性算法只是简单的一阶一致性算法，且采用两层功率分配， 对优化模型的依赖性较强，更容易陷入局部最优解。为提高一致性算法在动态随机环境的 适应性，]\ /[01^3教授在《(>)0-1^31'11；[1^:& collaborative distributed strategy for multi -agent reinforcement learning through c on sensus+innovations)) (IEEE Transactions on Signal Processing)对一致性算法和经典强化学习 Q算法进行了高度有 机融合，提出了一种全新的分散式多虚拟发电部落强化学习一一QD学习算法。然而，QD学习 与传统机器学习算法一样，在学习新任务的时候并没有利用过去的学习经验和结果，使得 算法每次进行探索学习新的优化任务时，将耗费大量的时间，这也无法应用到超短期控制 时间尺度的AGC功率分配。
[0004] 近年来，为充分利用历史优化任务的有效行为及知识，以提高强化学习算法的学 习效率，许多学者已经对迀移学习展开了深入的研究。Fachantidis A，Partalas I， Tsoumakas G等学者在《Transferring task models in reinforcement learning agents》(Neurocomputing)指出迀移学习旨在利用过去历史优化任务的遗留信息来处理新 的优化任务，其中迀移性能的好坏完全取决于新任务与历史任务的相似性，实际上不同的 优化任务也往往相互关联。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提出一种基于协同一致性迀移Q学习 (consensus transfer Q_learning，CTQ)的虚拟发电部落AGC功率动态分配方法。该方法在 虚拟发电部落控制框架下，在每个部落与其相邻部落进行值函数矩阵的交互一致性计算 后，部落领导者能自组织地协同各个部落的发电功率，从而达到"分散自治，集中协调"的效 果;有效地利用历史优化信息进行快速的功率动态分配优化，以满足AGC的控制时间尺度要 求。
[0006] 本发明基于协同一致性迀移Q学习的虚拟发电部落AGC功率动态分配方法，包括两 个过程：1)将区域电网的总功率指令分配到各个虚拟发电部落VGT;2)将各个虚拟发电部落 VGT的总功率指令分配到其发电机组群。CTQ算法应用于第一个过程进行功率分配，第二个 分配过程由于机组规模庞大，为提高优化计算速度，仍采用
【申请人】在《互联电网AGC功率动 态分配的虚拟发电部落协同一致性算法》（中国电机工程学报）中简单的机组爬升时间一致 性算法进行功率分配。基于迀移学习中的行为迀移，本发明提出了一种CTQ算法，并采用功 率分配优化任务的线性相似性因子，有机地应用到虚拟发电部落的AGC功率动态分配，有效 解决复杂大规模电网AGC功率动态分配的分散式优化问题，在减少AGC机组调节费用的同 时，可以提高区域电网的控制性能标准。
[0007] 本发明的目的通过下述技术方案实现：
[0008] 基于CTQ的虚拟发电部落AGC功率动态分配方法，包括以下步骤：
[0009] (1)搭建基于虚拟发电部落VGT的AGC功率分配框架，确定虚拟发电部落VGT的领导 者；
[0010] (2)确定状态集S和动作离散集Aq;
[0011] (3)采集当前控制周期区域电网的实时的总发电功率指令ΔΡΣ，即为当前的状态， 利用迀移学习初始化各个虚拟发电部落的值函数矩阵和选择动作；
[0012] (4)根据领导者发布的策略选择动作计算第i个虚拟发电部落VGTi的调节功率Δ Pi;
[0013] (5)由APi-Ri进行奖励函数值映射计算，获得各个虚拟发电部落的立即奖励函数 值Ri，其中A Pi是第i个虚拟发电部落VGTi的调节功率，Ri是第i个虚拟发电部落VGTi的奖励 函数；
[0014] (6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新；
[0015] (7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚 拟发电部落的值函数矩阵Q1;
[0016] (8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Qt1与第k次迭代的值 函数矩阵QJ的差的二范数是否小于一个无限小的正数ε，即I |2〈ε;若不满足，则 返回步骤(5)，若满足则转下一步；
[0017] (9)求解出当前状态下的选择动作，进而得到第i个虚拟发电部落VGh的调节功率 ΔΡ?；
[0018] (10)根据第i个虚拟发电部落VGI\的调节功率ΔΡ,，通过爬升时间一致性算法求得 第i个虚拟发电部落VGL的第w个机组的机组调节功率AP1W，并在下一个控制周期到来时， 返回步骤(3)。
[0019] 所述步骤1中的基于虚拟发电部落的AGC功率分配框架，在此框架下，传统区域电 网根据地理分布被划分为若干个领地电网，即虚拟发电部落VGT，实际上是在AGC与发电厂 功率控制(P1 ant Contro 11 er，PLC)之间增加一个新的发电调度与控制层，是由领地电网内 大型电厂PLC、主动配网AGC、微网AGC及负荷调控系统构成的发电机组群。VGT之间采用领导 者-跟随者模式进行通信协作，领导者即区域电网的调度中心，负责功率扰动平衡;跟随者 即普通VGT的调度端，主要负责与领导者进行交互协同。
[0020]所述步骤2的状态离散集S是由每一个总发电功率指令ΔΡΣ作为一个状态所构成 的。
[0021 ]所述步骤2中的动作离散集Aq是由若干个动作组合构成的。当存在y个动作策略，η 个虚拟发电部落时，动作离散集AQ是一个y Χη的矩阵，可表示如下：
[0022] Aq= [ai a2 …ay] = [ (λη,λυ，…，λ1η)，
[0023] (入21，入22，···，λ2η)，…，（λγι，λγ2，···，λγη)]
[0024] 其中，ay为动作离散集AQ的第y个动作;λγη为采取第y个动作策略中分配给虚拟发 电部落η的分配功率因子。
[0025] 所述步骤3中的初始选择动作为动作离散集AQ中任一动作。
[0026] 所述步骤3中根据当前优化任务，利用迀移学习初始化各个虚拟发电部落的值函 数矩阵之前，需要建立值函数源矩阵。本发明方法以总发电功率指令Α ΡΣ的接近程度作为 不同优化任务的相关性评价指标。首先，对总发电功率指令ΑΡΣ进行区间范围划分，区间分 别为：
[0027] {[Δ^,- , ),, [Δ^, ]}
[0028] 其中，APL、ΔΡ；：_分别表示第η个总发电功率指令δ ρΣ的左、右端点；ζ为总发电 功率指令△ Ρ?的区间个数。
[0029] 采集当前控制周期的总发电功率指令δρ?，假定其落在第η个负荷扰动区间内，则 当前优化任务与左右端点优化任务的相关性分别为：
[0031] 其中，rieft、rright分别表示当前优化任务与区间左、右端点对应优化任务的相关 f生，0 €rief 1，0 € iright € 1，rief t+iright - 1 〇
[0032] 因此当前状态下的优化任务的初始值函数矩阵为：
[0033] Qi - rieftQi, left+rrightQi ,right i - 1，2，. · _，n
[0034] 式中：Qi,left、Qi,right分别表示虚拟发电部落i在区间左、右端点对应最优值函数矩 阵，可通过预学习获得(见流程图2)。
[0035] 所述步骤4中的领导者发布的策略选择动作，即为贪婪策略#，如下：
[0037]其中，Qle3ad(3r表示领导者的状态-动作值函数矩阵，Sk代表第k次迭代的状态;a'是 指动作空间Aq内的任意一个动作。
[0038] 所述步骤4中的第i个虚拟发电部落VGTi的调节功率Δ Pi可通过如下公式计算：
[0039] ΔΡ? = λγ?ΔΡΣ
[0040] 其中，λγ1为采取第y个动作策略中分配给虚拟发电部落部落i的分配功率因子，且
[0041] 所述步骤5中的立即奖励函数值Ri(Sk，ak，Sk+1)可设计如下：
[0043]其中，μL、μ2分别为调节费用目标和爬升时间目标的权重系数，且μL>0，μ 2>0,调 节费用目标是指最小化整个控制区域电网内所有AGC机组的调节成本之和，爬升时间目标 是最小化所有机组的最大爬升时间;C lw为部落i中第w个机组的调节成本系数；AP1W表示部 落i中第w个机组的发电功率指令;ΔΡ；Γ表示部落i中第w个机组的调节速率;η为部落总个 数;nu为部落i的机组总个数表示与部落i相邻的部落的集合。
[0044] 由于奖励函数值的计算需要先确定部落内部各个机组的调节功率，而在爬升时间 一致性算法下，不同的部落功率情况下的机组调节功率是确定的。因此，可采用最小二乘法 对部落i的调节功率A 进行映射关系拟合，以加速奖励函数值计算。
[0045] 所述步骤6中的各个虚拟发电部落的一致性权重栌(sk，ak)和自学习权重ak (Sk，ak) 进行更新如下：
[0048]其中，No(Sk，ak)表示状态-动作对(Sk，a k)在算法探索寻优的出现次数;〇1、〇2、m 分别为正常数，且要满足Tie (1/2，1)、0〈12〈11-1/(2+￡1)的约束，其中6 1是个无限小的正数。
[0049] 所述步骤7中的当前控制周期下各虚拟发电部落的值函数矩阵&更新如下：
[0050] 0Γ ο,) + /〇(5,,?/,)
[0051] 其中，CQ(Sk，ak)表示虚拟发电部落i在％状态下执行动作a k时与相邻虚拟发电部落 之间的协同一致性更新项，也是表征CTQ与单虚拟发电部落Q学习的最大不同特性；Iq(sk， ak)表示虚拟发电部落i在状态sk下执行动作ak时的自学习更新项，与单虚拟发电部落Q学习 更新机制一样。其中，Cq (sk，ak)、Iq (sk，ak)的迭代更新分别如下：
[0054]其中，sk、sk+1分别代表第k次和k+1次迭代的状态;是虚拟发电部落i在 Sk 状态下执行动作ak的Q值；Ω i(k)是在第k次迭代时与虚拟发电部落i相邻虚拟发电部落的集 合。
[0055]所述步骤10中的爬升时间一致性算法包括以下步骤，详细请见笔者的《互联电网 AGC功率动态分配的虚拟发电部落协同一致性算法》（中国电机工程学报）：
[0056]①对第i个虚拟发电部落VGTi的第w个机组功率爬升时间tiw和第i个虚拟发电部落 VGTi的功率偏差值Δ Perrar-!初始化
[0057]②采集当前控制周期区域电网的实时运行数据，包括总发电功率指令ΔΡΣ、第i个 虚拟发电部落VGTi的调节功率△ Pi以及各机组的实时输出有功功率，并计算出第i个虚拟发 电部落VGTi的功率偏差值Δ Perrcir-i，同时根据第i个虚拟发电部落VGTi的调节功率Δ Pi确定 调节速率方向Δ/Γ、其中，调节速率方向ΜΓ根据下式确定：
[0059] 式中：/?,ate+表示第i个虚拟发电部落VGh的第w个AGC机组的上升调节速率限制； 表示第i个虚拟发电部落VGI\的第w个AGC机组的下降调节速率限制。
[0060] ③根据当前控制周期第i个虚拟发电部落VGTi的机组功率爬升时间tiw和第i个虚 拟发电部落VGTi的功率偏差值△ Pemi进行一致性计算；
[0061 ]第i个虚拟发电部落VGTi的第w个AGC机组的功率爬升时间一致性更新如下：
[0063]同时，为保证VGT的功率平衡，首领的爬升时间应更新如下：
[0065] 其中，m表示部落i的功率误差调节因子，讲>0。
[0066] ④计算机组功率APiw;
[0067] 机组功率Δ Piw^通过下式计算：
[0068] tiw = APm /ACe
[0069] ⑤判断机组功率Δ卩"是否越限。若机组功率Δ Plw越限，重新分别计算机组功率Δ Plw和机组功率爬升时间tlw，并更新行随机矩阵元素;否则，转下一步；
[0070] 若机组功率Δ Piw越限，机组的功率Δ Piw及其爬升时间tiw可按如下公式重新计算：
[0073]其中，分别代表VGI\的第w个机组的功率最大和最小备用容量。
[0074] 若机组功率Λ Piw越限，与机组w的连接权重都变为零，g卩：awj = 〇，j = 1，2，L，nu，同 时进行相应的行随机矩阵元素更新。
[0075] ⑥更新VGTi的功率偏差值Δ Perrar-i;
[0076] ⑦判断精度。若I ，其中ει是个无限小的正数，则得到机组功率APim， 否则返回步骤③。
[0077] 本发明相对于现有技术具有如下的优点及效果：
[0078] (1)本发明的CTQ方法是一种具有"分散自治、集中协调"特性的多虚拟发电部落强 化学习算法，可以很好地融合到虚拟发电部落的控制框架，为今后信息网络和能量网络充 分密集的能源互联网AGC分散协调控制提供了新的思路。
[0079] (2)本发明的CTQ方法在引入任务相关性的迀移学习后，可以快速地进行动态优 化，同时保证全局收敛的稳定性，在满足AGC的控制时间尺度要求的同时，可以提高CPS的控 制性能，减少AGC的调节费用。
[0080] (3)本发明的CTQ方法作为一种具有自学习和协同学习能力的多虚拟发电部落强 化学习算法，更加适用于解决具有较强随机性、不确定性的大规模复杂电网的AGC功率动态 分配问题。
【附图说明】
[0081] 图1是本发明基于虚拟发电部落的AGC功率动态分配方法的流程图。
[0082]图2是本实施例中广东电网VGT通信网络拓扑图。
【具体实施方式】
[0083] 为更好地理解本发明，下面结合实施例及附图对本发明作进一步的描述，但本发 明的实施方式不限于此。
[0084] 实施例
[0085] 本实施例中以广东电网负荷频率控制模型为基础，把参与AGC调频的93台机组分 为6个VGT，其中VGT的通信网络拓扑如图2所示，93台机组的相关参数具体参见表1。算例中 把有信息交流的连接权重设为1。本实施例中针对模型中基于协同一致性迀移Q学习的虚 拟发电部落AGC功率动态分配方法包括以下步骤(图2):
[0086] (1)以广东电网负荷频率控制模型为基础，根据广东的地理位置分布情况，以区域 电网内高压联络线为领地电网边界，把参与AGC调频的93台机组分为6个VGT，搭建基于VGT 的AGC功率分配框架。其中，VGT^VGTs分别代表了粵北、粵西南、粵西、珠三角、粵东南和粵 东等6个领地电网，并以发用电最为核心的VGT 4作为领导者。
[0087] (2)确定状态离散集S和动作离散集Aq
[0088]其中本实施例中确定的状态离散集S是由每一个总发电功率指令ΔΡ?作为一个状 态所构成的，单位MW。
[0089]本实施例中确定的动作离散集Aq为：
[0090] Α=[(0,0,0,0,0，1)，（0·1，0,0,0,0·9)，···，（1，0,0,0,0,0)];
[0091] 总共有2568个离散动作。（动作离散集其实就是穷举所有分配的情况，由于计算量 的问题，分配因子的精度取到0.1)
[0092] (3)采集当前控制周期区域电网的AGC总功率PI控制器发出的实时的总发电功率 指令Α ΡΣ，即为当前的状态，初始化选择动作，并根据当前优化任务，利用迀移学习初始化 各个虚拟发电部落的值函数矩阵。
[0093] 本实施例中，初始选择动作为动作离散集Aq中任一动作。
[0094] 根据当前优化任务，利用迀移学习初始化各个虚拟发电部落的值函数矩阵之前， 需要建立充足的值函数源矩阵。本发明方法以总功率指令大小的接近程度作为不同优化任 务的相关性评价指标。区间分别为：
[0096] 在本实施例中，对总功率指令大小进行区间范围划分，区间分别为：{[-1500，_ 1250)、[-1250,-1000)、[-1000,-750)、···、（750,1000]、（1000,1250]、（1250,1500]}MW，总 共12个迀移区间，优化源任务总共12个。其中，1500MW是对应广东电网最大单一故障(直流 单极闭锁)下的负荷扰动大小。
[0097] 采集当前控制周期的总发电功率指令ΔΡΣ，假定其落在第η个负荷扰动区间内，则 当前优化任务与左右端点优化任务的相关性分别为：
[0099] 其中，rleft、rright分别表示当前优化任务与区间左、右端点对应优化任务的相关 性，(Xriefd，0<r righd，rieft+rright = l。在本实施例中，控制周期为8s。
[0100] 因此当前状态下的优化任务的初始值函数矩阵为：
[0101] Qi = rieftQi, left+rrightQi ，right i - 1，2，. · _，n
[0102] 其中，Qi,left、Qi,right分别表示虚拟发电部落i在区间左、右端点对应最优值函数矩 阵，可通过预学习获得。（见流程图2)
[0103] (4)根据领导者发布的策略选择动作计算部落调节功率ΔΡ,。
[0104] 本实施例中，领导者发布的策略选择动作，即为贪婪策略0，如下：
[0106] 其中，QiMdei·表示领导者的状态-动作值函数矩阵，Sk代表第k次迭代的状态;a'是 指动作空间AQ内的任意一个动作。
[0107] 本实施例中，部落调节功率ΔΡ,根据领导者发布的贪婪策略f得到选择动作，进而 可通过如下公式计算：
[0108] ΔΡ? = λγ?ΔΡΣ
[0109] 其中，λγ1为采取第y个动作策略中分配给虚拟发电部落i的分配功率因子，且要满
[0110] 强化学习算法就是穷举所有的分配的可能性即动作离散集的动作策略，每个动作 其实就是一组比例因子构成的。
[0111] (5)由△ Pi-Ri进行奖励函数值映射计算，获得各个虚拟发电部落的立即奖励函数 {ERi(sk，ak，sk+i)〇
[0112] 本实施例中，立即奖励函数值Ri(Sk，ak，Sk+1)可设计如下：
[0114] 其中，μL、μ2分别为调节费用目标和爬升时间目标的权重系数，且μL>0，μ 2>0,调 节费用目标是指最小化整个控制区域电网内所有AGC机组的调节成本之和，爬升时间目标 是最小化所有机组的最大爬升时间。本实施例中，对调节费用目标和爬升时间目标的偏好 一致，故μ!、μ2均设为0.5; Clw为部落i中第w个机组的调节成本系数；Δ 示部落i中第 w个 机组的发电功率指令;么户^表示部落i中第w个机组的调节速率;η为部落总个数，本实施例 中，η为6;nu为部落i的机组总个数表示与部落i相邻的部落的集合。
[0115] 由于奖励函数值的计算需要先确定部落内部各个机组的调节功率，而在爬升时间 一致性算法下，不同的部落功率情况下的机组调节功率是确定的。因此，可采用最小二乘法 对部落功率A Pi和Ri进行映射关系拟合，以加速奖励函数值计算。
[0116] (6)对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新。
[0117] 各个虚拟发电部落的一致性权重妒(Sk，ak)和自学习权重ak( Sk，ak)进行更新如下：
[0120] 其中，Nci(Sk，ak)表示状态-动作对(Sk，ak)在算法探索寻优的出现次数;〇ι、〇2、τι、τ2 分别为正常数，且要满足Tie (1/2,1) 的约束，其中ε:是个无限小的正数。 在本实施例中，经过大量的仿真验证，οι取〇. 2，〇2取0.8，^取〇. 55，τ2取〇. 〇〇5。
[0121] (7)根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚 拟发电部落的值函数矩阵
[0122] 在本实施例中，当前控制周期下各虚拟发电部落的值函数矩阵&更新如下：
[0123] (.9,, 〇,) = Q" (st ,ak)- CQ (st ,at) + !Q( sk, ak)
[0124] 其中，CQ表示虚拟发电部落i与相邻虚拟发电部落之间的协同一致性更新项，也是 表征CTQ与单虚拟发电部落Q学习的最大不同特性;I Q表示虚拟发电部落i的自学习更新项， 与单虚拟发电部落Q学习更新机制一样。其中，CQ、I Q的迭代更新分别如下：
[0127]其中，洗、乳+1分别代表第k次和k+Ι次迭代的状态；是虚拟发电部落^Sk 状态下执行动作ak的Q值；Ω i(k)是在第k次迭代时与虚拟发电部落i相邻虚拟发电部落的集 合。
[0128] (8)判断当前控制周期内领导者第k+1次迭代的值函数矩阵Qt1与第k次迭代的值 函数矩阵QJ的差的二范数是否小于一个无限小的正数ε，即I I I 12〈ε。在本实施例 中，ε 取 〇.〇〇1。
[0129] (9)求解出当前状态下的选择动作，进而得到部落调节功率Δ Pi。
[0130] (10)根据部落调节功率Δ Pi，通过爬升时间一致性算法求得机组功率Δ Piw，并在 下一个控制周期到来时，返回步骤(3)。爬升时间一致性算法的具体步骤如下：
[0131 ]①对第i个虚拟发电部落VGTi的第w个机组功率爬升时间tiw和第i个虚拟发电部落 VGTi的功率偏差值Δ Perrar-!初始化，
[0132] ②采集当前控制周期区域电网的实时运行数据，包括总发电功率指令ΔΡΣ、第i个 虚拟发电部落VGTi的调节功率△ Pi以及各机组的实时输出有功功率，并计算出第i个虚拟发 电部落VGTi的功率偏差值Δ Perrcir-i，同时根据第i个虚拟发电部落VGTi的调节功率Δ Pi确定 调节速率方向；
[0133] 调节速率方向AiT"根据下式确定：
[0135] 式中表示第i个虚拟发电部落VGL的第w个AGC机组的上升调节速率限制； 表示第i个虚拟发电部落VGTi的第W个AGC机组的下降调节速率限制，在本实施例中机 组的iT"、的数值见表1。
[0136] ③根据当前控制周期第i个虚拟发电部落VGTi的机组功率爬升时间tiw和第i个虚 拟发电部落VGTi的功率偏差值△ Pemi进行一致性计算；
[0137] 在本实施例中，以VGT1作为研究对象，其他VGT的分析与之类似。如表1所示，假设 G1为VGT1的首领，其他的机组为家长和家庭成员。
[0138] 虚拟发电部落VGT1的第w个AGC机组的功率爬升时间一致性更新如下：
[0140]同时，为保证VGT的功率平衡，首领G1的爬升时间应更新如下：
[0142] 其中，yi表示部落i的功率误差调节因子，yi>0。在本实施例中，yi取0.001。
[0143] ④计算机组功率APiw。
[0144] 机组功率APiw^通过下式计算：
[0145] =
[0146] ⑤判断机组功率Δ卩"是否越限。若机组功率Δ Plw越限，重新分别计算机组功率Δ plw和机组功率爬升时间tlw，并更新行随机矩阵元素;否则，转下一步。
[0147]若机组功率Δ Piw越限，机组的功率Δ Piw及其爬升时间tiw可按如下公式重新计算：
[0150] 其中，Δ/Γη分别代表VGh的第w个机组的功率最大和最小备用容量。在本 实施例中机组的Δ/Γ"、的数值见表1。
[0151] 若机组功率Δ Piw越限，与机组w的连接权重都变为零，g卩：awj = 〇，j = 1，2，L，nu，同 时进行相应的行随机矩阵元素更新。
[0152] ⑥更新VGTi的功率偏差值Δ Perrcir-i;本实施例中VGT1功率偏差值按其定义进行更 新：
[0154] ⑦判断精度。若| ，则得到机组功率AP1W，否则返回步骤③。在本实 施例中，取最大功率偏差I A Pem I <0.1MW作为VGT1的收敛条件。
[0155] 表1广东电网AGC机组参数统计表
[0156]
[0159]上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1. 一种基于虚拟发电部落的AGC功率动态分配方法，其特征在于包括以下步骤： (1) 搭建基于虚拟发电部落VGT的自动发电控制AGC功率分配框架，确定部落的领导者； (2) 确定状态离散集S和动作离散集Aq; (3) 采集当前控制周期区域电网的实时的总发电功率指令ΔΡ?为当前的状态，并根据 当前优化任务，利用迀移学习初始化各个虚拟发电部落的值函数矩阵和选择动作； (4) 根据领导者发布的策略选择动作并计算部落调节功率△ P1; (5) 通过部落调节功率AP1和立即奖励函数值心之间的映射计算，获得各个虚拟发电部 落的立即奖励函数值R 1; (6) 对当前状态下各个虚拟发电部落的一致性权重和自学习权重进行更新； (7) 根据当前控制周期各个虚拟发电部落的立即奖励值更新当前控制周期下各虚拟发 电部落的值函数矩阵Qi; (8) 判断当前控制周期内领导者第k+Ι次迭代的值函数矩阵Q115+1与第k次迭代的值函数 矩阵 Qlk的差的二范数是否小于一个无限小的正数ε，即I I Q^-Qj I 12〈ε;若不满足，则返回 步骤(5)，若满足则转下一步； (9) 根据部落调节功率△ Pi，通过爬升时间一致性算法求得机组功率△ Piw，并在下一个 控制周期到来时，返回步骤(3)。2. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，步骤 (1)中的所述基于虚拟发电部落VGT的自动发电控制AGC功率分配框架，是将传统区域电网 根据地理分布划分为若干个领地电网VGT，领地电网VGT由领地电网内大型电厂PLC、主动配 网AGC、微网AGC及负荷调控系统构成的发电机组群组成;领地电网VGT之间采用领导者-跟 随者模式进行通信协作，领导者为区域电网的调度中心，负责功率扰动平衡;跟随者为普通 VGT的调度端，主要负责与领导者进行交互协同。3. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，所述 步骤(2)中的状态离散集S是由每一个总发电功率指令△ ΡΣ作为一个状态所构成的。4. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，所述 步骤(3)中的根据当前优化任务，利用迀移学习初始化各个虚拟发电部落的值函数矩阵和 选择动作之前，需要建立值函数源矩阵；以总发电功率指令A ΡΣ大小的接近程度作为不同 优化任务的相关性评价指标;首先，对总发电功率指令A ΡΣ大小进行区间范围划分，区间分 别为：其中，APiL、分别表示第η个总发电功率指令Δ 间的左、右端点；ζ为总发电 功率指令△ Ρ?的区间个数； 采集当前控制周期的总发电功率指令a ρΣ，假定其落在第η个负荷扰动区间内，则当前 优化任务与左右端点优化任务的相关性分别为：其中，rlrft、rright分别表示当前优化任务与区间左、右端点对应优化任务的相关性，OS rief IjO ^ !"right ^ I 7 Tleft-^rright - 1 ； 当前状态下的优化任务的初始值函数矩阵为： Qi - rieftQi, left+rrightQi,right i - I，2，· · ·，Π 式中：Qi, left、Qi, right分别表示虚拟发电部落i在区间左、右端点对应最优值函数矩阵，可 通过预学习获得。5. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，所述 步骤(3)中的初始选择动作是CTQ算法进行迀移学习前即预学习后选择的动作。6. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，步骤 (5)中的所述立即奖励函数值R1 (Sk，ak，sk+1)设计为：其中，μL、μ2分别为调节费用目标和爬升时间目标的权重系数，且调节费用 目标是指最小化整个控制区域电网内所有AGC机组的调节成本之和，爬升时间目标是最小 化所有机组的最大爬升时间；Clw为部落i中第w个机组的调节成本系数；△? 1|表示部落i中 第w个机组的发电功率指令;ΔΡ；Γ表示部落i中第w个机组的调节速率;η为部落总个数;Hi 1为 部落i的机组总个数；Ω i表示与部落i相邻的部落的集合;采用最小二乘法对部落功率Δ Pi 和心进行映射关系拟合，以加速奖励函数值计算。7. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，所述 步骤(6)中的各个虚拟发电部落的一致性权重栌(Sk，a k)和自学习权重ak (Sk，ak)进行更新如 下其中，No(Sk，ak)表示状态-动作对(Sk，ak)在算法探索寻优的出现次数; 〇1、〇2、τι、τ：^υ 为正常数，且要满足Tie (1/2,1) ^τΧ^-Ι/?+εΟ的约束，其中E1是个无限小的正数。8. 根据权利要求1所述基于虚拟发电部落的AGC功率动态分配方法，其特征在于，所述 步骤(7)中的当前控制周期下各虚拟发电部落的值函数矩阵&更新如下：^^.丨.，<^\131{，￡11{/^_、，」、7业；|；^从_^1|=1|>|彳甘1'|丄。1<'1/、心「-」/'、'|/动作^11{时与相邻虚拟发电部洛之间 的协同一致性更新项；IQ(sk，ak)表示虚拟发电部落i在状态Sk下执行动作a k时的自学习更新 项，与单虚拟发电部落Q学习更新机制一样;Cq(Sk，ak)、Iq(Sk，ak)的迭代更新分别如下：其中，sk、sk+1分别代表第k次和k+Ι次迭代的状态;是虚拟发电部落1在&状态 下执行动作ak的Q值；Ω i(k)是在第k次迭代时与虚拟发电部落i相邻虚拟发电部落的集合。
【文档编号】H02J3/04GK106026084SQ201610479264
【公开日】2016年10月12日
【申请日】2016年6月24日
【发明人】张孝顺, 李清, 徐豪, 余涛
【申请人】华南理工大学