多能协同互补优化方法、系统、计算机设备和存储介质与流程

本发明涉及电网能量管理，特别是涉及一种多能协同互补优化方法、系统、计算机设备和存储介质。

背景技术：

1、电力系统中的能量管理问题的主要目的是降低电网的运营成本。在最初的研究中，优化问题始于从经济调度问题，研究主要集中在发电过程的能量管理上，能源结构简单，显然不适合快速发展的现代电力系统。随着电力系统的转型升级，先进的信息技术应用于智能电网。为了适应可再生能源并提高电网灵活性，智能电网的能源结构需要细化和改进。因此，可再生能源(renewable energy，re)、储能(energy storage，es)、需求响应(demand response，dr)等不断集成。各种研究从不同的角度提出了解决能量管理问题的新策略，比如研究可再生能源的能量管理问题、智能电网的多能源互补问题、以及研究不同储能方法的能量管理策略等方法。并且考虑到电力市场化的必要性，也出现了许多关于需求侧响应的能量管理研究。通过整合多种形式的能源，综合能源系统(integrated energysystem，ies)为智能电网的能量管理提供了一个平台，这将在提高现代电力系统的经济性和灵活性方面发挥关键作用。ies的总体目标表示为电力市场多参与者的利益最大化，概括为社会层面的节能和可再生能源利用、运营商的成本降低和盈利、用户的满意度、系统的可靠性和灵活性。面向电力系统运行的ies框架设计和集中优化策略近年来已被广泛研究。

2、随着电网规模的迅速扩大，跨区域电网已不再受单一实体控制。分布式架构下点对点通信取代了经典的集中式通信，以保证隐私和可扩展性，同时有助于降低维护成本。然而，基于梯度的一致性方法无法解决非凸或耦合目标。而基于随机优化的方案需要反复运行以获得具有不同环境变量，例如用户电力需求、风力发电出力等的最优解。因此，它们无法实现快速的需求侧响应或解决可再生能源发电的不确定性影响。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种多能协同互补优化方法、系统、计算机设备和存储介质，以能够解决现有方法无法实现快速的需求侧响应以及解决可再生能源发电的不确定性影响的问题，达到实现快速响应且有效降低运营成本的效果。

2、第一方面，本发明提供了一种多能协同互补优化方法，所述方法包括：

3、获取综合能源系统中每个电气设备的状态信息，将所述状态信息作为智能体的初始信息，输入预先建立好的多智能体决策模型进行动作决策，得到每个智能体对应的智能体动作；

4、根据预设的约束条件和所述智能体动作，对所述智能体的输出动作进行分级调控。

5、进一步地，所述多智能体决策模型将综合能源系统中的每个电气设备均作为一个智能体，以运营成本作为目标函数，以深度强化学习算法作为决策算法，采用部分可观的马尔可夫决策过程进行构建，其中，

6、所述电气设备包括热电联产机组、传统发电机组和风机机组群；

7、所述深度强化学习算法包括目标值竟争多智能体强化学习算法、和/或多智能体深度确定性策略梯度算法，且所述深度强化学习算法在随机状态下进行训练。

8、进一步地，所述将所述状态信息作为智能体的初始信息，输入预先建立好的多智能体决策模型进行动作决策，得到每个智能体对应的智能体动作的步骤包括：

9、将所述状态信息作为智能体的初始信息，采用多个深度强化学习算法分别对每个智能体的动作进行决策，并从各个深度强化学习算法得到的决策动作中选取出最优决策动作作为智能体动作。

10、进一步地，所述根据预设的约束条件和所述智能体动作，对所述智能体的输出动作进行分级调控的步骤包括：

11、根据热力需求平衡约束，设置区域热力需求偏差和第一查找域范围，并根据所述智能体动作，对预设区域内的热电联产机组智能体和风机机组群智能体的热力输出动作进行调整；

12、在热力输出动作调整完成后，根据电力需求平衡约束，设置系统电力需求偏差和第二查找域范围，并根据所述智能体动作，对各个预设区域内的传统发电机组智能体和热电联产机组智能体的电力输出动作进行调整。

13、进一步地，热电联产机组智能体的第一查找域范围为风机机组群智能体的第一查找域范围为[0，

14、区域热力需求偏差表示为：

15、

16、式中，chhp、wt和hp分别表示热电联供机组、风机机组群和热泵，hchpp,i表示第i个chpp的热力输出，表示第i个chpp的热力输出的热量上限，表示第i个hp的功率输入最大值，pwt,i表示第i个wt的输出电能，khp,i表示第i个hp的输入功率与输出热量的转换比，αwt,i表示第i个wt的热功率比，hd,i表示第i个客户的热力需求，ci、ni、qi分别表示第i个区域的热力需求客户数、chpp数量和wt数量，δh,i表示第i个区域的热力需求偏差；

17、传统发电机组智能体的第二查找域范围为热电联产机组智能体的第二初始查找域范围为[0，

18、系统总电力需求偏差表示为：

19、

20、式中，δp表示系统总电力需求偏差，pd,i表示第i个客户的电力需求，c表示所有地区电力需求客户的总数量，pwt,i表示第i个wt的电力输出，αwt,i表示第i个wt的热功率比，pchpp,i表示第i个chpp的电力输出，ptpp,i表示第i个tpp的电力输出，n、m和q分别表示chpp、tpp和wt的总数。

21、进一步地，在所述根据预设的约束条件和所述智能体动作，对所述智能体的输出动作进行分级调控之后还包括：

22、将调控后的所述智能体的输出动作作为训练样本，存储至经验回放池；

23、当对所述智能体的分级调控达到预设条件时，从所述经验回放池中随机抽取批量样本对所述深度强化学习算法进行二次训练。

24、进一步地，所述目标函数的约束条件包括容量约束、电力需求平衡约束和热力需求平衡约束；其中，

25、采用如下公式表示目标函数：

26、

27、式中，chhp、wt、tpp和hp分别表示热电联供机组、风机机组群、传统发电机组和热泵，c表示运营成本，n、m和q分别表示chpp、tpp和wt的总数，cchpp,i表示第i个chpp的即时成本，ctpp,i表示第i个tpp的即时成本，cwt,i表示第i个wt的即时成本；

28、采用如下公式表示容量约束：

29、

30、式中，pchpp,i表示第i个chpp的电力输出，表示第i个chpp的电力输出的功率上限，hchpp,i表示第i个chpp的热力输出，表示第i个chpp的热力输出的热量上限，αchpp,i表示第i个chpp的热功率比，表示表示第i个chpp的最小热功率比，ptpp,i表示第i个tpp的电力输出，和分别表示第i个tpp的电力输出的功率下限和功率上限，php,i表示第i个hp的功率输入，表示第i个hp的功率输入上限；

31、采用如下公式表示电力需求平衡约束：

32、

33、式中，pd,i表示第i个客户的电力需求，c表示所有地区电力需求客户的总数量，pwt,i表示第i个wt的电力输出，αwt,i表示第i个wt的热功率比；

34、采用如下公式表示热力需求平衡约束：

35、

36、式中，hd,i表示第i个客户的热力需求，hhp,i表示第i个hp的热力输出，ci、ni、qi分别表示第i个区域的热力需求客户数、chpp数量和wt数量。

37、第二方面，本发明提供了一种多能协同互补优化系统，所述系统包括：

38、智能体决策模块，用于获取综合能源系统中每个电气设备的状态信息，将所述状态信息作为智能体的初始信息，输入预先建立好的多智能体决策模型进行动作决策，得到每个智能体对应的智能体动作；

39、分级调控模块，用于根据预设的约束条件和所述智能体动作，对所述智能体的输出动作进行分级调控。

40、第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

41、第四方面，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

42、本发明提供了一种多能协同互补优化方法、系统、计算机设备和存储介质。通过所述方法，对区域内热能和跨区域电能进行分层决策，通过将能量输出和能量转换问题表述为马尔可夫决策过程，将每个发电机组、热电联产单元和风力发电机组定义为独立的决策智能体，采用多智能体深度强化学习解决决策问题，并结合强化学习的泛化能力能够实现对需求不确定性和风电不确定性的实时响应，本发明不仅能够实现快速响应，并且能够有效降低运营成本。