一种基于帝国主义竞争算法的碳‑能复合流求解方法与流程

技术领域：

本发明涉及电力系统碳-能复合流优化领域，特别是涉及一种基于帝国主义竞争算法的碳-能复合流求解方法。

背景技术：
：

近年来，由以co2为主的温室气体所引起的环境恶化问题愈发严重，碳减排及低碳经济成为工业界和学术界广泛关注的重点问题。电力产业是co2的主要排放者之一，有义务更有责任开展低碳电力建设。然而，目前的很多低碳电力研究如：计及低碳资源的机组组合、计及低碳资源的经济调度以及碳捕获与碳封存技术等，都只关注了发电侧的碳排放，却没有从电网侧的角度出发，展开低碳电网调度。目前，已经有学者依据潮流追踪法提出了电网侧与输电损耗有关的碳排放量的计算方法，为将电网侧碳排放量控制与电网的运行控制和潮流控制进行深层次的联系提供了可能。电力系统最优碳-能复合流模型就是从电网侧的利益出发，以电网低碳、经济及安全运行为目标所建立的优化模型。然而，上述模型中，发电侧和电网侧只关心自己的碳足迹和碳排放，无疑会造成碳排放的双重计算，因此，亟需将电力系统的碳排放总量在发电侧、电网侧以及用户侧之间进行合理分摊。

此外，电力系统的最优碳-能复合流模型为一多约束多变量的非线性规划问题，传统的牛顿法、内点法以及二次规划法等过分依赖于确定的数学模型；而新兴的人工智能算法如蚁群算法、人工蜂群算法、遗传算法、粒子群算法以及强化学习算法等，又因为所解决的问题较为复杂而迭代缓慢，甚至因“维数灾难”而无法寻优。

技术实现要素：
：

本申请提出一种基于多元文化迁移帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法。通过在电力系统最优碳-能复合流模型中引入碳排放责任分摊机制，对发电侧、电网侧、用户侧的碳排放进行合理核算。通过建立文化矩阵，以及帝国内外的竞争机制、帝国间文化交流机制和多元文化迁移机制，对电网侧的无功功率进行快速合理分配，实现电网低碳、经济和安全运行。

为了解决上述技术问题，本发明是通过以下技术方案实现的：一种基于帝国主义竞争算法的碳-能复合流求解方法,通过采用基于多元文化迁移的帝国主义竞争强化学习算法来对电力系统的碳-能复合流进行优化,其特征在于,包括以下步骤；

步骤s1：初始化帝国主义竞争算法参数；初始化帝国个数、帝国主义国家个数及其殖民地国家个数；

步骤s2：获取发电机出力参数、机端电压参数、网络拓扑结构参数、变压器参数、无功补偿装置参数以及源任务负荷参数；

步骤s3：获取新优化任务的负荷参数；

步骤s4：根据电力系统碳-能复合流优化目标分为有功网损目标、电网侧碳排放目标以及电压稳定目标，加权后作为适应度函数，具体如下式所示：

有功网损目标：

电网侧碳排放目标：cg＝αpcloss+(1-βc)αpcl

其中，

电压稳定目标：

适应度函数：

式中，μ1、μ2、μ3为权重系数，满足：μ1∈[0,1]，μ2∈[0,1]，μ3∈[0,1]，μ1+μ2+μ3＝1；vi和vj分别是节点i和节点j的电压幅值；θij是节点i和节点j的相角差；vi^max、vi^min分别是负荷节点i的电压上下限；bij、gij分别为线路i-j的电导和电纳；ajw^(-1)是发电机w在节点j处的有功注入权重；δpij是线路i-j的有功损耗；pj’是等效无损网络中j节点总有功注入；nl表示线路集合；

步骤s5：根据电力系统的潮流约束、电压稳定约束、无功补偿容量约束以及其他约束条件，确定基本电力系统碳-能复合流模型，如下式所示：

式中：x为控制变量向量，包括发电机机端电压、有载调压变压器分接头位置、无功补偿装置的补偿容量等；pgi、qgi分别代表节点i的发电有功输出和无功输出；pdi、qdi分别代表节点i的有功需求和无功需求；qci、vi分别为节点i的无功补偿容量和电压；tk为变压器分接头变比；sl为第l条线路的复功率；ni为节点集合；ng为机组集合；nc为无功补偿装置集合；nt为变压器分接头集合；

步骤s6：根据基本电力系统碳-能复合流模型及约束条件初始化可控变量，所述可控变量包括：发电机机端电压、无功补偿装置容量以及变压器变比；

步骤s7：对上述步骤中的当前任务进行分类，若为源任务，则随机形成源任务初始文化矩阵；若为新任务，则基于多元文化迁移提炼出新任务初始文化矩阵，新任务初始文化矩阵从源任务最优文化矩阵得到；设源任务最优文化矩阵为新任务初始文化矩阵为得到的计算过程如下式：

且有：

式中：reh为针对第e个帝国，第h个源任务和新任务之间的相似度，满足0≤reh≤1；步骤s8：各寻优国家根据所属帝国的文化矩阵进行动作选择，进而求得其适应度函数，动作选择机制如下式所示：

式中：ag为贪婪动作，即文化价值最大的动作，满足：ε为在区间[0,1]内均匀分布的随机数；ε0是贪婪探索率；p^ei为帝国e第i个动作的动作概率矩阵；

步骤s9：确定各帝国的帝国主义国家，如下式所示：

式中：imp^e为帝国e的帝国主义国家；cou^ej为帝国e中的第j个国家(包括帝国主义国家和殖民地)；

步骤s10：各国家与环境交互后得到其立即奖励函数值，如下式所示：

式中：k为奖励常数，满足k>0；sa^eimp为帝国e中帝国主义国家的状态-动作对集合；

步骤s11：各个寻优国家展开有序寻优，共同更新文化矩阵，如下式所示：

式中：α是文化学习因子；γ为折扣因子；上标i和j分别代表第i个文化矩阵(即第i个可控变量)及第j个国家(帝国主义国家或殖民地国家)；e是第e个帝国；q^e表示帝国e的文化矩阵，r(sk,sk+1,ak)为寻优国家由状态sk经动作ak转移到状态sk+1所获得的立即奖励函数值；(sk,ak)是第k次迭代的状态-动作对；j^e是第e个帝国的国家集合；i是可控变量集合；e是帝国集合；aⁱ和ai分别为可控变量xi的可选动作值和动作集合；

步骤s12：帝国间文化交流：落后帝国向最强帝国展开不同程度的文化学习，最强帝国引导落后帝国学习较先进的文化，加快寻优进程，如下式所示：

式中：d^e是帝国e与最强势力帝国之间标准化文化差异；emp是势力最强的帝国；步骤s13：通过帝国间竞争，占领最弱帝国的最弱殖民地，最强帝国可获得侵占权，如下式所示：

式中：σ0为最强帝国侵占因子(σ0为常数，且满足σ0∈[0,1])eag为侵占国；σ为一个在区间[0,1]内均匀分布的随机数；p^e为帝国e的争夺实力；tp^max为最弱帝国的总势力；

步骤s14：判断是否达到最大迭代次数，若达到，输出发电机端电压、无功补偿装置容量及变压器变比的控制策略；否则，返回步骤s8，迭代继续进行。

作为优选，所述步骤s7中reh越大，新任务从源任务h最优文化矩阵中获取的信息就越多，为使得源任务历史学习经验得以最大化利用，reh如下式所示：

|ld^e|＝2e

式中：ld^e是帝国e的源任务集合，表征与帝国e的新任务最相似的2e个源任务；pd^nt为新任务的有功负荷；δpd^e,max是ld^e中的任务与新任务的最大有功偏差值；tf是迁移因子；相似度满足：re1+re2+…+reh＝1。

与现有技术相比，本发明的有益之处是：本发明通过采用基于多元文化迁移的帝国主义竞争强化学习算法来对电力系统的碳-能复合流进行优化，并且，在电力系统碳-能复合流模型中考虑电力生产商与电力消费者之间的碳排放责任分摊，避免碳排放的双重核算；各个帝国采用强化学习算法中的值函数矩阵作为其文化矩阵，各寻优国家通过与环境的相互作用对文化矩阵进行更新，并依据文化矩阵进行动作选择以提高策略的全局性；文化矩阵中的知识会被实时存储并通过多元文化迁移以提高后续新任务的寻优效率；另外，采用帝国内外的竞争机制提升殖民地的多样性，并令落后帝国向最强帝国进行文化学习以加快寻优进程；所采用的基于文化迁移的帝国主义竞争强化学习算法是一种较新的智能算法，相对于其它以遗传算法、蚁群算法以及粒子群算法等的人工智能方法，具有收敛速度快、全局收敛性更强以及稳定性更高等优点，从而实现大规模电力系统的快速碳-能复合流优化。

附图说明：

下面结合附图对本发明进一步说明。

图1为本发明方法的流程图；

图2为所述实时例的电网拓扑及基本信息示意图；

图3为所示实施例的源任务点及新任务日负荷曲线。

具体实施方式：

下面结合附图及具体实施方式对本发明进行详细描述：

请参考图1、图2和图3所示，本发明的一个实施方式提供一种基于帝国主义竞争算法的碳-能复合流求解方法，是基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法，该实施方式从电网侧的角度出发，通过对电网侧无功功率的合理分配，实现电网低碳、经济及安全运行；算例中把目标函数中权重系数μ1、μ2、μ3、都设为1，表示经济性、低碳性和安全性对于电网同等重要，该方法包括以下步骤：

步骤s1，初始化算法参数；

基于多元文化迁移的帝国主义竞争强化学习算法的寻优效果受到文化学习因子α、折扣因子γ、势力权重系数ξ、最强帝国侵占因子σ0、贪婪探索率ε0、奖励常数k、惩罚因子η、帝国集合初始大小|e|0、帝国e的国家集合初始大小|j^e|0和迁移因子tf等的影响，将上述参数的初始值设置表1所示：

表1icrl参数设置

步骤s2，获取发电机出力参数、机端电压参数、网络拓扑结构参数、变压器参数、无功补偿装置参数以及源任务负荷参数。

发电机出力参数及机端电压参数由matlab的matpower程序包计算得到，网络拓扑结构参数、变压器参数及无功补偿装置参数如图2所示，源任务为从日负荷曲线中选取出来的典型负荷断面，如图3所示。

步骤s3，获取新优化任务的负荷参数，新优化任务的负荷参数由日负荷曲线获得，如图3所示。

步骤s4，根据电力系统碳-能复合流优化目标分为有功网损目标、电网侧碳排放目标以及电压稳定目标，加权后作为适应度函数，具体如下：

有功网损目标：

电网侧碳排放目标：cg＝αpcloss+(1-βc)αpcl

其中，

电压稳定目标：

适应度函数：

式中，μ1、μ2、μ3为权重系数，满足：μ1∈[0,1]，μ2∈[0,1]，μ3∈[0,1]，μ1+μ2+μ3＝1；vi和vj分别是节点i和节点j的电压幅值；θij是节点i和节点j的相角差；vi^max、vi^min分别是负荷节点i的电压上下限；bij、gij分别为线路i-j的电导和电纳；ajw^(-1)是发电机w在节点j处的有功注入权重；δpij是线路i-j的有功损耗；pj’是等效无损网络中j节点总有功注入；nl表示线路集合。αp是生产商责任分摊系数，满足0≤αp≤1，表征发电厂分摊αp配额的碳排放至电网侧；βc是消费者责任分摊系数，满足0≤βc≤1，表征电网侧分摊βc配额的碳排放量至用户侧；j^e是第e个帝国的国家集合。

步骤s5，由电力系统潮流约束、电压稳定约束、无功补偿容量约束以及其他约束条件，确定基本电力系统碳-能复合流模型，如下式所示：

式中：x为控制变量向量，包括发电机机端电压、有载调压变压器分接头位置、无功补偿装置的补偿容量等；pgi、qgi分别代表节点i的发电有功输出和无功输出；pdi、qdi分别代表节点i的有功需求和无功需求；qci、vi分别为节点i的无功补偿容量和电压；tk为变压器分接头变比；sl为第l条线路的复功率；ni为节点集合；ng为机组集合；nc为无功补偿装置集合；nt为变压器分接头集合。

步骤s6，根据基本电力系统碳-能复合流模型及约束条件初始化可控变量，包括：发电机机端电压、无功补偿装置容量以及变压器变比，初始值采用matlab中matpower软件包中‘case57’文件所给定的初始值；

步骤s7，对当前任务进行分类，若为源任务，则随机形成源任务初始文化矩阵；若为新任务，则基于多元文化迁移提炼出新任务初始文化矩阵。

设源任务最优文化矩阵为新任务初始文化矩阵为得到的计算过程如下式所示：

且有：

式中：reh为针对第e个帝国，第h个源任务和新任务之间的相似度，满足0≤reh≤1。reh越大，新任务从源任务h最优文化矩阵中获取的信息就越多。为了防止不合理的文化迁移对在线学习带来的负面影响，各个帝国所学习的源任务的个数不尽相同，因此，总有一个帝国以最合理的方式占展开文化迁移，使得源任务历史学习经验得以最大化利用，如下式所示：

|ld^e|＝2e

式中：ld^e是帝国e的源任务集合，表征与帝国e的新任务最相似的2e个源任务，pd^nt为新任务的有功负荷；δpd^e,max是ld^e中的任务与新任务的最大有功偏差值；tf是迁移因子；相似度满足：re1+re2+…+reh＝1。

步骤s8，各寻优国家根据所属帝国的文化矩阵进行动作选择，进而求得其适应度函数，动作选择机制如下式所示：

式中：ag为贪婪动作，即文化价值最大的动作，满足：ε为在区间[0,1]内均匀分布的随机数；ε0是贪婪探索率；p^ei为帝国e第i个动作的动作概率矩阵。

步骤s9，帝国内竞争：确定各帝国的帝国主义国家。各个国家的势力由其适应度函数值的大小来决定，适应度函数值越大，势力越小，因此，每次迭代中适应度函数值最小的国家为当前帝国内的帝国主义国家，而其他国家被迫沦为殖民地。即：

式中：imp^e为帝国e的帝国主义国家；cou^ej为帝国e中的第j个国家(包括帝国主义国家和殖民地)。

步骤s10，各国家与环境交互后得到其立即奖励函数值，如下式所示：

式中：k为奖励常数，满足k>0；sa^eimp为帝国e中帝国主义国家的状态-动作对集合。

步骤s11，为避免经典强化学习中的“维数灾难”，令每个国家对每个变量都建立文化矩阵，在上一个变量确定的情况下进行下一个变量的动作选择；由此，上一个变量的既定动作即为下一个变量的状态，各个寻优国家沿着这样的状态-动作链展开有序寻优，共同更新文化矩阵，如下式所示：

式中：α是文化学习因子；γ为折扣因子；上标i和j分别代表第i个文化矩阵(即第i个可控变量)及第j个国家(帝国主义国家或殖民地国家)；e是第e个帝国；q^e表示帝国e的文化矩阵，r(sk,sk+1,ak)为寻优国家由状态sk经动作ak转移到状态sk+1所获得的立即奖励函数值；(sk,ak)是第k次迭代的状态-动作对；j^e是第e个帝国的国家集合；i是可控变量集合；e是帝国集合；aⁱ和ai分别为可控变量xi的可选动作值和动作集合。

步骤s12，帝国间文化交流：落后帝国向最强帝国展开不同程度的文化学习，引导落后帝国学习较先进的文化，加快寻优进程，如下式所示：

式中：d^e是帝国e与最强势力帝国之间标准化文化差异；emp是势力最强的帝国。

步骤s13，通过帝国间竞争，占领最弱帝国的最弱殖民地。引入最强帝国侵占因子σ0(常数，且满足σ0∈[0,1])，使最强帝国可在一定概率内直接获得侵占权，如下式所示：

式中：eag为侵占国；σ为一个在区间[0,1]内均匀分布的随机数；p^e为帝国e的争夺实力；tp^max为最弱帝国的总势力。

步骤s14，判断是否达到最大迭代次数，若达到，输出发电机端电压、无功补偿装置容量及变压器变比的控制策略；否则，返回步骤s8，迭代继续进行。

通过以上步骤就可以得到电网侧最优碳-能复合流的优化方案，从电网侧立场出发，实现电网的低碳、经济和安全运行。

本发明的基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法相对于现有技术具有如下的优点及效果：

(1)本发明设计的基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法，加入了对发电侧、电网侧和用电侧之间的碳排放责任分摊的考虑，避免了碳排放的双重计算。

(2)本发明设计的基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法，加入了文化矩阵，依据文化矩阵所进行的动作选择将大幅提升解的全局性。

(3)本发明设计的基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法，采用了相互联系的状态-动作链，有效避免了“维数灾难”。

(4)本发明设计的基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法，采用了帝国间文化交流机制，使得落后帝国得以向势力最强的帝国展开学习，寻优进程明显加快。

(5)本发明设计的基于多元文化迁移的帝国主义竞争强化学习算法的电力系统最优碳-能复合流求解方法，采用了多元文化迁移机制，使得各个帝国最大化地利用源任务的学习经验，不仅提高了寻优速率，也使寻优具有较高的稳定性。

上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。