基于合作博弈的微网群优化运行方法、装置、设备及介质与流程

1.本发明属于电力自动化技术领域，特别涉及一种基于合作博弈的微网群优化运行方法、装置、设备及介质。


背景技术：

2.微网作为电网形态的终端网络，能够实现电力供应网络与能源网络互联互通，能够解决分布式新能源消纳以及大量新兴负荷接入的问题。随着微网技术的不断更新发展，多个微网接入同一个配网区域，形成了微网群系统。通过对微网群进行优化调度的研究，能够更进一步的实现新能源消纳、负荷优化、削峰填谷以及提高能源利用效率。微网群运行相较于单微网更复杂，主要因为微网群各微网之间多种能流相互交互，不确定性因素更多，且微网群中的运营商、负荷聚合商和能源供应商等多主体行为交织，需要协调各主体利益和系统整体利益。因此针对微网群的优化运行研究成为学者关注的焦点。
3.目前微网群的运行优化研究主要采用的还是考虑单一主体的集中式优化思路。由于单一的集中式方法存在着汇聚点负担过重，优化方案难以承受较高的计算和通信负担，容易发生单点故障，难以保护各主体信息安全等问题。


技术实现要素：

4.本发明的目的在于提供一种基于合作博弈的微网群优化运行方法、装置、设备及介质，以解决目前微网群犹存存在的考虑单一主体的集中式优化方法难以承受较高的计算和通信负担，容易发生单点故障，难以保护各主体信息安全的技术问题。
5.为了实现上述目的，本发明采用如下技术方案：
6.第一方面，本发明提供一种基于合作博弈的微网群优化运行方法，包括：
7.对需求侧用户负荷量进行聚合，获得负荷需求；
8.根据所述负荷需求，基于预先训练好的合作博弈机制下微网群运行优化模型进行分布式优化，获得基于合作博弈的微网群优化结果；
9.输出所述基于合作博弈的微网群优化结果。
10.本发明进一步的改进在于：所述合作博弈机制下微网群运行优化模型包括：
11.微网运营商合作运行目标函数：
12.微网运营商优化目标包括机组运行成本、对用户售电收益、与其他微网电能交互收益，表示为式(1)：
13.fi＝u
i,sell
+u
i,trade-c
i,gen-c
i,grid
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
14.式中：fi为微网运营商i的净收益；u
i,sell
为微网运营商i向用户售电所得收益，u
i,trade
为微网运营商i与其他微网运营商电能交互所得收益，c
i,gen
为微网运营商i中机组发电成本，c
i,grid
为微网运营商i向配网交互电能成本；
15.[0016][0017][0018][0019]
式中：表示微网运营商在t时刻对用户的电价，通过各微网运营商和负荷聚合商协商定价；表示微网运营商i在t时刻的电能供应量，表示t时刻微网运营商i与微网运营j之间交易的电价，表示t时刻微网运营商i与微网运营商j之间交易的电能，表示出售电能，表示购入电能，表示机组i在t时刻的出力功率，t表示时刻总数，d表示微网运营商总数，ω1、ω2、ω3表示燃气轮机运行成本系数，表示微网运营商向配网出售电能价格，表示微网向配网购买电能价格，表示微网运营商i在t时刻向配网购买的电能，表示微网运营商i在t时刻向配网出售的电能。
[0020]
本发明进一步的改进在于：所述合作博弈机制下微网群运行优化模型还包括：
[0021]
用户负荷模型：
[0022]
负荷聚合商通过对负荷侧的用户负荷进行聚合进行需求侧需求响应管理，对柔性可转移负荷、可削减负荷、可平移负荷进行优化，获得微网运营商补偿收益；
[0023][0024]
式中，c
i,st
表示用户i用电不满意度，c
i,buy
表示用户i用电成本；f
la
表示用户用电不满意度，表示用户在削减自身用电量时承受的不舒适度；m表示用户的数量；
[0025][0026][0027]
式中，α，β分别表示不满意度系数(α，β分别取值0.2，0.5)，表示实际负荷用电量与预测负荷之间的差值，表示用户i在t时刻统计的用电量。
[0028]
本发明进一步的改进在于：所述合作博弈机制下微网群运行优化模型还包括：
[0029]
纳什议价模型：
[0030][0031]
式中：和f
i0
分别表示负荷聚合商la和微网运营商i的谈判破裂点。
[0032]
本发明进一步的改进在于：所述合作博弈机制下微网群运行优化模型的状态空间为：对每个智能体分别建立了一个6维的状态空间，包括上一时段的微网运营商对用户输出电能、各微网之间交互功率以及电价、与上级电网购售电价，表示为
[0033]
所述合作博弈机制下微网群运行优化模型的动作空间为：对每个智能体分别建立了一个4维的动作空间，包括微网运营商对用户输出电能、各微网之间交互功率以及电价，可表示为
[0034]
所述合作博弈机制下微网群运行优化模型的奖励函数为：
[0035][0036]
本发明进一步的改进在于：所述合作博弈机制下微网群运行优化模型的训练方法包括：
[0037]
步骤1：确定调度周期时段数t，训练轮数，初始化网络参数θ和φ，m＝t＝1；
[0038]
步骤2：将网络参数θ和φ赋值给θ`和φ`；
[0039]
步骤3：初始化环境；
[0040]
步骤4：将微网群中各微网运营商智能体和负荷聚合商智能体状态信息输入到神经网络；以relu为激活函数，神经网络输出当前时刻每个微网运营商智能体动作
[0041]
步骤5：各智能体策略执行动作根据市场出清获得下一时刻状态和奖励值
[0042]
步骤6：将存储到经验回放池中，判断该episode是否结束，如果没结束，继续与环境交互完成下一步；
[0043]
步骤7：当完成设定数量的经验存储后，从经验池中取出批量的样本采用随机梯度下降法进行模型训练，更新各智能体的策略网络和价值网络；
[0044]
步骤8：判断是否达到所设定的最大训练轮数m，若满足则结束训练；若未满足则返回进行下一轮网络参数更新。
[0045]
第二方面，本发明提供一种基于合作博弈的微网群优化运行装置，包括：
[0046]
聚合模块，用于对需求侧用户负荷量进行聚合，获得负荷需求；
[0047]
合作博弈模块，用于根据所述负荷需求，基于预先训练好的合作博弈机制下微网群运行优化模型进行分布式优化，获得基于合作博弈的微网群优化结果；
[0048]
输出模块，用于输出所述基于合作博弈的微网群优化结果。
[0049]
第三方面，本发明提供一种电子设备，包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的基于合作博弈的微网群优化运行方法。
[0050]
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的基于合作博弈的微网群优化运行方法。
[0051]
相对于现有技术，本发明具有以下有益效果：
[0052]
本发明提供一种基于合作博弈的微网群优化运行方法、装置、设备及介质，所述方法包括对需求侧用户负荷量进行聚合，聚合后的负荷需求发送给各微网运营商；各微网运营商根据所提交的负荷需求，基于预先训练好的合作博弈机制下微网群运行优化模型进行分布式优化，确定各微网运营商最优能源交易量和交易价格；计算因合作博弈而增加的收益，进行利益分配。本发明能够满足微网群能源协调交易；为进一步适应多主体数量多，需要考虑用户信息安全以及满足各主体利益最大化需求的微网群协同运行的场景，进行基于合作博弈的微网群优化运行，突破微网群复杂系统优化运行求解和分析技术，提升能源系统整体效率。
[0053]
进一步额，和现有微网群优化运行方法相比，训练得到的优化模型能够实现分布式模式下的能量优化管理以及保护用户的隐私安全。
附图说明
[0054]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0055]
图1为微网群能源系统架构图；
[0056]
图2为微网群合作博弈优化流程框架示意图；
[0057]
图3为微网群优化运行策略模型训练示意图；
[0058]
图4为合作博弈机制下微网群运行优化模型训练流程图；
[0059]
图5为本发明一种基于合作博弈的微网群优化运行方法的流程示意图；
[0060]
图6为本发明一种基于合作博弈的微网群优化运行装置的结构框图；
[0061]
图7为本发明一种电子设备的结构框图。
具体实施方式
[0062]
下面将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0063]
以下详细说明均是示例性的说明，旨在对本发明提供进一步的详细说明。除非另有指明，本发明所采用的所有技术术语与本发明所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式，而并非意图限制根据本发明的示例性实施方式。
[0064]
目前，大部分研究基于上层的一个集中式管理单元来进行能量管理和分配，通过上层配网或运营商与下层微网进行博弈的方式进行电价制定，如构建供电公司、微网运营商和用户的双层stackelberg博弈模型，将所有微网和用户信息传递到领导者供电公司中进行完全信息(包括每个微网中光伏风机数量以及输出功率、用户数以及用户日常用电数据、节点数以及节点功率、电压等)下的博弈，或者需要将每个微网中的购能价格和负荷需求响应信息完全上传到微网群运营商中，在此类问题的研究中多采用集中式、不考虑用户数据隐私、各主体之间具有非合作关系的微网群协同优化，忽视了运营商和用户之间潜在的合作所能带来的效益提升。本发明提供一种基于合作博弈的微网群优化运行方法、装置、设备及介质，实现去中心化的分布式能量协调，同时考虑主体之间的合作博弈以及用户的数据隐私安全。
[0065]
本发明提供一种基于合作博弈的微网群优化运行方法，能够在保护用户隐私的基础上，实现在合作博弈模式下分布式能量协调以及微网群的协同优化运行。
[0066]
本发明一种基于合作博弈的微网群优化运行方法，基于一种用于微网群优化运行的分布式能量管理系统；所述分布式能量管理系统如图1所示，主要包括：若干微网运营商和负荷聚合商；
[0067]
负荷聚合商由微网群各用户负荷进行聚合形成；将微网群中每一个微网运营商视作地位相等的主体，通过各微网运营商与负荷聚合商合作博弈，进行能量交易量以及能源价格制定的反复迭代，无需通过集中式的能量管理中心进行统一调度，能够完成微网群系统中分布式新能源消纳和合作联盟整体效益最大化基础上的个体利益分配。
[0068]
请参阅图2所示，本发明一种基于合作博弈的微网群优化运行方法，包括以下步骤：
[0069]
首先对需求侧用户负荷量进行聚合，聚合后的负荷需求发送给各微网运营商；各微网运营商根据所提交的负荷需求，基于合作博弈机制下微网群运行优化模型，在联盟整体效益最大化原则，进行分布式优化，各主体根据谈判实现社会效益最大化的各微网最优能源交易量。根据各微网之间确定的电能交易量，各微网运营商之间进行电能交易价格谈判，最终各主体达成统一，获得可以接受的交易价格，保证各主体的利益，确保各运营商参与合作的意愿。
[0070]
联盟合作博弈的前提是联盟整体总收益要大于各主体独立运行收益，通过计算因合作博弈而增加的收益，根据shapley值法中各主体对整体联盟的边际贡献率进行利益分配。
[0071]
合作博弈机制下微网群运行优化模型包括：
[0072]
(1)微网运营商合作运行目标函数
[0073]
微网运营商优化目标包括机组运行成本、对用户售电收益、与其他微网电能交互收益，表示为式(1):
[0074]fi
＝u
i,sell
+u
i,trade-c
i,gen-c
i,grid
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0075]
式中：fi为微网运营商i的净收益；u
i,sell
为微网运营商i向用户售电所得收益，u
i,trade
为微网运营商i与其他微网运营商电能交互所得收益，c
i,gen
为微网运营商i中机组发电成本，c
i,grid
为微网运营商i向配网交互电能成本。
[0076][0077][0078][0079][0080]
式中：表示微网运营商在t时刻对用户的电价，通过各微网运营商和负荷聚合
商协商定价；表示微网运营商i在t时刻的电能供应量，表示t时刻微网运营商i与微网运营j之间交易的电价，表示t时刻微网运营商i与微网运营商j之间交易的电能，表示出售电能，表示购入电能，表示机组i在t时刻的出力功率，t表示时刻总数(一般取24)，d表示微网运营商总数，ω1、ω2、ω3表示燃气轮机运行成本系数，ω1、ω2、ω3分别表示燃气轮机运行成本系数的二次项、一次项及常数项，分别取为100yuan/mw、350yuan/mw、25yuan/mw，表示微网运营商向配网出售电能价格，表示微网向配网购买电能价格，表示微网运营商i在t时刻向配网购买的电能，表示微网运营商i在t时刻向配网出售的电能。
[0081]
(2)用户负荷模型
[0082]
负荷聚合商通过对负荷侧的用户负荷进行聚合进行需求侧需求响应管理，对柔性可转移负荷、可削减负荷、可平移负荷进行优化，获得微网运营商补偿收益，能够最大化用户侧的收益。
[0083][0084]
式中，c
i,st
表示用户i用电不满意度，c
i,buy
表示用户i用电成本。f
la
表示用户用电不满意度，表示用户在削减自身用电量时承受的不舒适度；m表示用户的数量；
[0085][0086][0087]
式中，α，β分别表示不满意度系数(α，β分别取值0.2，0.5)，表示实际负荷用电量与预测负荷之间的差值，表示用户i在t时刻统计的用电量。
[0088]
(3)纳什议价模型
[0089][0090][0091]
式中：和f
i0
分别表示负荷聚合商la和微网运营商i的谈判破裂点。
[0092]
请参阅图3所示，基于多智能体深度确定性策略梯度的微网群优化策略生成包括：
[0093]
(1)通过微网运营商之间能量互济互动的合作博弈方式实现分布式新能源的整体消纳以及联盟整体经济利益最大化并且保证每个主体利益。对于微网群中所有智能体进行任务分配和交流协作，负荷聚合商智能体负责聚合用户负荷和柔性负荷量，并对微网运营商的售能提供报价，各微网运营商输出对该微网用户所能提供的电能、微网之间需要交互的电能和交互电价。各智能体之间通过信息共享机制进行交流协作，从而不断优化自身策略。
[0094]
(2)在微网群优化运行中为了保护微网用户数据隐私，通过构建负荷聚合商对各
微网用户负荷进行聚合，不需要将微网内部所有节点功率、电压、用户负荷的所有信息上传，可以保护微网用户的数据隐私。
[0095]
请参阅图3所示，本发明给出了一种基于多智能体深度确定性策略梯度算法的微网群合作博弈优化运行策略生成方法模型训练的具体方案，包括但不限于多智能体深度强化学习算法。为便于理解，给出一种基于多智能体深度强化学习方法的训练实例。
[0096]
合作博弈机制下微网群运行优化模型：
[0097]
(1)状态空间：对每个智能体分别建立了一个6维的状态空间，包括上一时段的微网运营商对用户输出电能、各微网之间交互功率以及电价、与上级电网购售电价，可表示为率以及电价、与上级电网购售电价，可表示为
[0098]
(2)动作空间：对每个智能体分别建立了一个4维的动作空间，包括微网运营商对用户输出电能、各微网之间交互功率以及电价，可表示为
[0099]
(3)奖励函数：
[0100][0101]
请参阅图4所示，合作博弈机制下微网群运行优化模型的训练方法包括：
[0102]
步骤1：确定调度周期时段数t，训练轮数，初始化网络参数θ和φ，m＝t＝1；m为初始循环次数，t为初始开始时段；
[0103]
步骤2：将网络参数θ和φ赋值给θ`和φ`；
[0104]
步骤3：初始化环境；
[0105]
步骤4：将微网群中各微网运营商智能体和负荷聚合商智能体状态信息输入到神经网络；以relu为激活函数，神经网络输出当前时刻每个微网运营商智能体动作
[0106]
步骤5：各智能体策略执行动作根据市场出清获得下一时刻状态和奖励值
[0107]
步骤6：将存储到经验回放池中，判断该episode是否结束，如果没结束，继续与环境交互完成下一步；
[0108]
步骤7：当完成设定数量的经验存储后，从经验池中取出批量的样本采用随机梯度下降法进行模型训练，更新各智能体的策略网络和价值网络；
[0109]
步骤8：判断是否达到所设定的最大训练轮数m，若满足则结束训练；若未满足则返回进行下一轮网络参数更新。
[0110]
根据shapley值方法对各主体收益进行分配：
[0111]
shapley值法根据各主体对整体联盟的边际贡献率进行利益分配，即博弈成员分得的利益等于他为所参与联盟创造的边际利益的平均值。具体利益分配描述如下：
[0112]
[0113]
式中：n为参与博弈的微网群系统主体总数的集合；为博弈主体中成员e获得的收益；φ(s)为成员所应分得利益的权重；s\{e}为从集合s中排除成员e后的集合。
[0114]
实施例1
[0115]
请参阅图5所示，本发明提供一种基于合作博弈的微网群优化运行方法，包括：
[0116]
s1、对需求侧用户负荷量进行聚合，获得负荷需求；
[0117]
s2、根据所述负荷需求，基于预先训练好的合作博弈机制下微网群运行优化模型进行分布式优化，获得基于合作博弈的微网群优化结果；
[0118]
s3、输出所述基于合作博弈的微网群优化结果。
[0119]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型包括：
[0120]
微网运营商合作运行目标函数：
[0121]
微网运营商优化目标包括机组运行成本、对用户售电收益、与其他微网电能交互收益，表示为式(1)：
[0122]fi
＝u
i，sell
+u
i，trade-c
i，gea-c
i，grid
ꢀꢀꢀꢀꢀ
(1)
[0123]
式中：fi为微网运营商i的净收益；u
i,sell
为微网运营商i向用户售电所得收益，u
i,trade
为微网运营商i与其他微网运营商电能交互所得收益，c
i,gen
为微网运营商i中机组发电成本，c
i,grid
为微网运营商i向配网交互电能成本；
[0124][0125][0126][0127][0128]
式中：表示微网运营商在t时刻对用户的电价，通过各微网运营商和负荷聚合商协商定价；表示微网运营商i在t时刻的电能供应量，表示t时刻微网运营商i与微网运营j之间交易的电价，表示t时刻微网运营商i与微网运营商j之间交易的电能，表示出售电能，表示购入电能，表示机组i在t时刻的出力功率，t表示时刻总数，d表示微网运营商总数，ω1、ω2、ω3表示燃气轮机运行成本系数，表示微网运营商向配网出售电能价格，表示微网向配网购买电能价格，表示微网运营商i在t时刻向配网购买的电能，表示微网运营商i在t时刻向配网出售的电能.
[0129]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型还包括：
[0130]
用户负荷模型：
[0131]
负荷聚合商通过对负荷侧的用户负荷进行聚合进行需求侧需求响应管理，对柔性可转移负荷、可削减负荷、可平移负荷进行优化，获得微网运营商补偿收益；
[0132][0133]
式中，c
i,st
表示用户i用电不满意度，c
i,buy
表示用户i用电成本；f
la
表示用户用电不满意度，表示用户在削减自身用电量时承受的不舒适度；m表示用户的数量；
[0134][0135][0136]
式中，α，β分别表示不满意度系数(α，β分别取值0.2，0.5)，表示实际负荷用电量与预测负荷之间的差值，表示用户i在t时刻统计的用电量。
[0137]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型还包括：
[0138]
纳什议价模型：
[0139][0140]
式中：和f
i0
分别表示负荷聚合商la和微网运营商i的谈判破裂点。
[0141]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型的状态空间为：对每个智能体分别建立了一个6维的状态空间，包括上一时段的微网运营商对用户输出电能、各微网之间交互功率以及电价、与上级电网购售电价，表示为
[0142]
所述合作博弈机制下微网群运行优化模型的动作空间为：对每个智能体分别建立了一个4维的动作空间，包括微网运营商对用户输出电能、各微网之间交互功率以及电价，可表示为
[0143]
所述合作博弈机制下微网群运行优化模型的奖励函数为：
[0144][0145]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型的训练方法包括：
[0146]
步骤1：确定调度周期时段数t，训练轮数，初始化网络参数θ和φ，m＝t＝1；
[0147]
步骤2：将网络参数θ和φ赋值给θ`和φ`；
[0148]
步骤3：初始化环境；
[0149]
步骤4：将微网群中各微网运营商智能体和负荷聚合商智能体状态信息输入到神经网络；以relu为激活函数，神经网络输出当前时刻每个微网运营商智能体动作
[0150]
步骤5：各智能体策略执行动作根据市场出清获得下一时刻状态和奖励值
[0151]
步骤6：将存储到经验回放池中，判断该episode是否结束，如果没结束，继续与环境交互完成下一步；
[0152]
步骤7：当完成设定数量的经验存储后，从经验池中取出批量的样本采用随机梯度下降法进行模型训练，更新各智能体的策略网络和价值网络；
[0153]
步骤8：判断是否达到所设定的最大训练轮数m，若满足则结束训练；若未满足则返回进行下一轮网络参数更新。
[0154]
在一具体实施方式中：基于合作博弈的微网群优化结果包括各微网运营商最优能源交易量和交易价格。
[0155]
在一具体实施方式中：输出所述基于合作博弈的微网群优化结果后，还可以计算因合作博弈而增加的收益，进行利益分配，具体包括：
[0156]
采用shapley值法根据各主体对整体联盟的边际贡献率进行利益分配，具体利益分配描述如下：
[0157][0158]
式中：n为参与博弈的微网群系统主体总数的集合；为博弈主体中成员e获得的收益；φ(s)为成员所应分得利益的权重；s\{e}为从集合s中排除成员e后的集合。
[0159]
实施例2
[0160]
请参阅图6所示，本发明提供一种基于合作博弈的微网群优化运行装置，包括：
[0161]
聚合模块，用于对需求侧用户负荷量进行聚合，获得负荷需求；
[0162]
合作博弈模块，用于根据所述负荷需求，基于预先训练好的合作博弈机制下微网群运行优化模型进行分布式优化，获得基于合作博弈的微网群优化结果；
[0163]
分配模块，输出所述基于合作博弈的微网群优化结果。
[0164]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型包括：
[0165]
微网运营商合作运行目标函数：
[0166]
微网运营商优化目标包括机组运行成本、对用户售电收益、与其他微网电能交互收益，表示为式(1)：
[0167]fi
＝u
i,sell
+u
i,trade-c
i,gen-c
i,grid
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0168]
式中：fi为微网运营商i的净收益；u
i,sell
为微网运营商i向用户售电所得收益，u
i,trade
为微网运营商i与其他微网运营商电能交互所得收益，c
i,gen
为微网运营商i中机组发电成本，c
i,grid
为微网运营商i向配网交互电能成本；
[0169][0170]
[0171][0172][0173]
式中：表示微网运营商在t时刻对用户的电价，通过各微网运营商和负荷聚合商协商定价；表示微网运营商i在t时刻的电能供应量，表示t时刻微网运营商i与微网运营j之间交易的电价，表示t时刻微网运营商i与微网运营商j之间交易的电能，表示出售电能，表示购入电能，表示机组i在t时刻的出力功率，t表示时刻总数，d表示微网运营商总数，ω1、ω2、ω3表示燃气轮机运行成本系数，表示微网运营商向配网出售电能价格，表示微网向配网购买电能价格，表示微网运营商i在t时刻向配网购买的电能，表示微网运营商i在t时刻向配网出售的电能.
[0174]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型还包括：
[0175]
用户负荷模型：
[0176]
负荷聚合商通过对负荷侧的用户负荷进行聚合进行需求侧需求响应管理，对柔性可转移负荷、可削减负荷、可平移负荷进行优化，获得微网运营商补偿收益；
[0177][0178]
式中，c
i,st
表示用户i用电不满意度，c
i,buy
表示用户i用电成本；f
la
表示用户用电不满意度，表示用户在削减自身用电量时承受的不舒适度；m表示用户的数量；
[0179][0180][0181]
式中，α，β分别表示不满意度系数(α，β分别取值0.2，0.5)，表示实际负荷用电量与预测负荷之间的差值，表示用户i在t时刻统计的用电量。
[0182]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型还包括：
[0183]
纳什议价模型：
[0184][0185]
式中：和f
i0
分别表示负荷聚合商la和微网运营商i的谈判破裂点。
[0186]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型的状态空间为：对每个智能体分别建立了一个6维的状态空间，包括上一时段的微网运营商对用户输出电
能、各微网之间交互功率以及电价、与上级电网购售电价，表示为
[0187]
所述合作博弈机制下微网群运行优化模型的动作空间为：对每个智能体分别建立了一个4维的动作空间，包括微网运营商对用户输出电能、各微网之间交互功率以及电价，可表示为
[0188]
所述合作博弈机制下微网群运行优化模型的奖励函数为：
[0189][0190]
在一具体实施方式中：所述合作博弈机制下微网群运行优化模型的训练方法包括：
[0191]
步骤1：确定调度周期时段数t，训练轮数，初始化网络参数θ和φ，m＝t＝1；
[0192]
步骤2：将网络参数θ和φ赋值给θ`和φ`；
[0193]
步骤3：初始化环境；
[0194]
步骤4：将微网群中各微网运营商智能体和负荷聚合商智能体状态信息输入到神经网络；以relu为激活函数，神经网络输出当前时刻每个微网运营商智能体动作
[0195]
步骤5：各智能体策略执行动作根据市场出清获得下一时刻状态和奖励值
[0196]
步骤6：将存储到经验回放池中，判断该episode是否结束，如果没结束，继续与环境交互完成下一步；
[0197]
步骤7：当完成设定数量的经验存储后，从经验池中取出批量的样本采用随机梯度下降法进行模型训练，更新各智能体的策略网络和价值网络；
[0198]
步骤8：判断是否达到所设定的最大训练轮数m，若满足则结束训练；若未满足则返回进行下一轮网络参数更新。
[0199]
在一具体实施方式中：合作博弈模块获得的基于合作博弈的微网群优化结果包括各微网运营商最优能源交易量和交易价格。
[0200]
在一具体实施方式中：输出模块输出所述基于合作博弈的微网群优化结果后，还可以计算因合作博弈而增加的收益，进行利益分配的步骤，具体包括：
[0201]
采用shapley值法根据各主体对整体联盟的边际贡献率进行利益分配，具体利益分配描述如下：
[0202][0203]
式中：n为参与博弈的微网群系统主体总数的集合；为博弈主体中成员e获得的收益；φ(s)为成员所应分得利益的权重；s\{e}为从集合s中排除成员e后的集合。
[0204]
实施例3
[0205]
请参阅图7所示，本发明还提供一种实现基于合作博弈的微网群优化运行方法的电子设备100；所述电子设备100包括存储器101、至少一个处理器102、存储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条通讯总线104。
[0206]
存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储在所述存储器101内的计算机程序，以及调用存储在存储器101内的数据，实现实施例1所述的一种基于合作博弈的微网群优化运行方法的步骤。所述存储器101可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备100的使用所创建的数据(比如音频数据)等。此外，存储器101可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
[0207]
所述至少一个处理器102可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器102可以是微处理器或者该处理器102也可以是任何常规的处理器等，所述处理器102是所述电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。
[0208]
所述电子设备100中的所述存储器101存储多个指令以实现一种基于合作博弈的微网群优化运行方法，所述处理器102可执行所述多个指令从而实现：
[0209]
对需求侧用户负荷量进行聚合，获得负荷需求；
[0210]
根据所述负荷需求，基于预先训练好的合作博弈机制下微网群运行优化模型进行分布式优化，获得基于合作博弈的微网群优化结果；
[0211]
输出所述基于合作博弈的微网群优化结果。
[0212]
实施例4
[0213]
所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器及只读存储器(rom，read-only memory)。
[0214]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0215]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0216]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0217]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0218]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。