基于双层滚动优化的综合能源系统多时间尺度调度方法与流程

1.本发明属于综合能源系统优化运行技术领域，具体涉及一种基于双层滚动优化的综合能源系统多时间尺度调度方法。


背景技术：

2.在我国东北地区，地处高寒地带，供热负荷高、供热期长，电-热综合能源系统模型，作为与其实际运行模式高度匹配的建模方式，成为了研究的主要对象。综合能源系统通过热电联产机组、地源热泵等电-热耦合元件，将电力系统和热力系统联系在一起。其中火电厂和热电厂通过燃烧传统化石燃料产生电能，经电网提供给用电负荷，同时热电联产机组通过火力发电产生的热能，经由热网提供给热用户。但是，热电联产由于工作在“以热定电”的模式下，产生了发电的强迫出力，这一刚性约束压榨了新能源发电的上网空间，使得新能源发电受到了限制，因此带来了诸多问题。
3.针对综合能源系统调度问题在很大程度上依赖于不同时间尺度的系统出力和负荷变量预测，而目前的系统预测准确度仍然很低，对综合能源系统优化调度有很大影响，另外目前的调度策略无法保证不同时段内系统调度策略的优化，无法快速精确地对综合能源系统进行多时间尺度优化调度，因此分析不同时间尺度的设备出力和负荷预测，并提出相应的调度模式和运行策略至关重要。
4.基于上述技术问题，需要设计一种新的基于双层滚动优化的综合能源系统多时间尺度调度方法。


技术实现要素：

5.本发明所要解决的技术问题是，克服现有技术的不足，提供一种基于双层滚动优化的综合能源系统多时间尺度调度方法，能够基于不同时间尺度的各单元设备出力数据和各类负荷的变化数据，分别采用深度强化学习算法和模型预测控制方法进行日前优化调度和日内优化调度，提高综合能源系统运行可靠性。
6.为了解决上述技术问题，本发明的技术方案是：
7.本发明提供了一种基于双层滚动优化的综合能源系统多时间尺度调度方法，它包括：
8.步骤s1、构建综合能源系统数字孪生模型；
9.步骤s2、设置综合能源系统运行策略；
10.步骤s3、基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备和各类负荷的历史数据，预测未来不同时间尺度的各单元设备出力数据和各类负荷的变化数据；
11.步骤s4、基于不同时间尺度的各单元设备出力数据和各类负荷的变化数据，分别进行日前优化调度和日内优化调度；所述日前优化调度是基于各单元设备出力预测值和负荷预测值，在满足系统约束条件下，以系统运行成本最小为目标，优化日前各单元设备的出
力；所述日内优化调度是在日前调度计划的基础上，以系统调整成本最小为目标，在满足相关约束条件下，滚动优化系统运行出力的调整量。
12.进一步，所述步骤s1中，构建综合能源系统数字孪生模型，具体包括：
13.建立包括综合能源系统物理空间、数字孪生数字空间和数字孪生映射模型的综合能源系统数字孪生模型；所述数字孪生数字空间通过数字孪生映射模型与物理空间进行连接；其中，综合能源系统物理空间包括综合能源系统各单元设备结构、数据传感器和处理系统，数据传感器通过不同的数据接口与处理系统连接，处理系统同数字孪生映射模型进行相关数据的采集与协议的解析；所述数字孪生数字空间包括数字孪生描述模型和数字孪生智能化模型，数字孪生智能化模型通过数据分析与决策，实现综合能源系统数字孪生的智能化服务；
14.对数字孪生模型进行辨识，将综合能源系统的多工况实时运行数据接入已建立的数字孪生模型中，采用反向辨识方法对数字孪生模型的仿真结果进行自适应辨识修正，获得辨识修正后的综合能源系统数字孪生模型。
15.进一步，所述综合能源系统各单元设备结构至少包括火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置和储热装置；
16.所述火电机组模型表示为：
[0017][0018][0019][0020]
其中，p
e,t
为火电机组在t时刻的供电功率；分别为火电机组的最大、最小供电功率；分别为火电机组的最大向上、向下爬坡速率；
[0021]
所述热电联产机组模型表示为：
[0022][0023][0024]
其中，p
gt,t
、h
gt,t
分别为t时刻热电联产机组放电功率、放热功率；h
gt_gas,k
为t时刻热电联产机组消耗的天然气热功率；η
gt
、αh为热电联产机组的系数；p
gt_max
、p
gt_min
分别为热电机组放电功率上下限；δp
gt,t
、δp
gt_max
、δp
gt_min
分别为t时刻热电机组发电爬坡率、爬坡率上下限；
[0025]
所述风电机组模型表示为：
[0026][0027][0028]
[0029]
其中，p为风电机组在特定风速ν下的输出功率；ν
ci
、ν
co
分别为风机的切入速度和切出速度；pr为风电机组的额定输出功率；为风电机组i在t时刻的电出力；p
wf,d
、p
wf,u
分别为风电机组爬坡速率的上、下限；
[0030]
所述地源热泵模型表示为：
[0031]hghp
＝cop
·
p
ghp
；
[0032]
其中，h
ghp
为地源热泵制热量；cop为地源热泵制热比；p
ghp
为地源热泵耗电量；
[0033]
所述压缩空气储能装置模型表示为：
[0034][0035]
其中，p
caesc,t
、p
caesg,t
分别为压缩空气储能装置在t时刻的充电功率和放电功率；ηc、ηg分别为充电效率和放电效率；φc、φg分别为空气在充电状态下和放电状态下的流量；c
p
为空气比热容；nc、ng分别为压缩空气储能装置的压缩机级数和膨胀机级数；分别为第k级压缩机和膨胀机的入口温度；βc、βg分别为压缩比和膨胀比；γ为空气的比热比；
[0036]
所述储热装置模型表示为：
[0037]vhsi,t
＝v
hsi,t-1
+h
hsi,t
δt；
[0038][0039][0040]
其中，v
hsi,t
、v
hsi,t-1
分别为储热装置在t时刻和t-1时刻储热装置的储热量；h
hsi,t
为储热装置在t时刻的储热、放热速率；为储热装置i的容量上限；h
hsi,t
为储热装置i在t时刻的储热、放热速率；为储热装置i最大储热、放热速率。
[0041]
进一步，所述步骤s2中，设置综合能源系统运行策略，具体包括：
[0042]
在白天电负荷处于波峰时，热电联产机组供热功率较高，储能装置进行储热，在夜间电负荷处于波谷时，储热装置进行放热；
[0043]
在夜间弃风高峰期时，空气压缩储能装置进入压缩储能环节，等效增加系统电负荷需求；白天电负荷水平较高时，空气压缩储能装置进入膨胀释能环节，作为发电单元承担部分用户用电水平，等效减少系统电负荷需求；
[0044]
地源热泵承担部分热电联产机组供热输出，充当供热源，降低热电联产机组电出力；以及地源热泵以电制热，增加系统用电需求；
[0045]
基于综合能源系统数字孪生模型进行仿真模拟，分析综合能源系统在电负荷、热负荷和风电量不同时段不同场景下，设置在火电机组、热电联产机组、风电机组的基础上，地源热泵、压缩空气储能装置和储热装置的协调运行策略，获得电出力和热出力总和降低状况、风电消纳状况、系统煤耗成本和弃风惩罚成本降低状况。
[0046]
进一步，所述步骤s3中，基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备和各类负荷的历史数据，预测未来不同时间尺度的各单元设备出力数据和各类负
荷的变化数据，具体包括：
[0047]
基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备出力数据和各类负荷的历史数据，以及环境天气数据、各单元设备运行状态、影响各单元设备出力和负荷的数据，作为样本数据集；所述各单元设备出力数据至少包括火电机组出力、热电联产机组出力、风电机组出力、地源热泵供热功率、压缩空气储能装置的充、放电功率和储热装置的储热、放热速率；所述各类负荷至少包括热负荷、电负荷；
[0048]
采用卷积神经网络对样本数据集中的数据进行特征提取，并对提取后的特征数据进行预处理；
[0049]
根据综合能源系统日前和日内优化调度对不同时间尺度下的需求，将预处理后的样本数据集按照时间尺度的不同划分为不同时间尺度下的训练集和测试集；
[0050]
利用交叉验证方式对梯度提升决策树gbdt模型进行超参数寻优；
[0051]
对训练集采用梯度提升决策树gbdt模型进行训练，获得不同时间尺度下的综合能源系统中各单元设备出力预测模型和各类负荷预测模型，利用测试集代入不同时间尺度下的各单元设备出力预测模型和各类负荷预测模型，分别获得不同时间尺度的各单元设备出力数据预测结果和各类负荷的数据预测结果。
[0052]
进一步，所述利用交叉验证方式对梯度提升决策树gbdt模型进行超参数寻优，包括：
[0053]
将样本集划分为m份，每份的样本数量大体相等；
[0054]
依次选取第i份数据作为测试集，其余m-1份数据作为训练集对模型进行训练，最终获得m个模型，将m个模型在各自测试集上预测结果的平均值作为判断该超参数取值下模型性能的依据。
[0055]
进一步，所述步骤s4中，基于不同时间尺度的各单元设备出力数据和各类负荷的变化数据，分别进行日前优化调度和日内优化调度；所述日前优化调度是基于各单元设备出力预测值和负荷预测值，在满足系统约束条件下，以系统运行成本最小为目标，优化日前各单元设备的出力；所述日内优化调度是在日前调度计划的基础上，以系统调整成本最小为目标，在满足相关约束条件下，滚动优化系统运行出力的调整量，具体包括：
[0056]
所述日前优化调度是以短期各单元设备出力数据和各类负荷的变化数据为依据，每24小时进行一次，调度时间尺度为1小时，以系统运行成本最小为目标，在满足系统约束条件下，建立综合能源系统的日前优化调度模型，并将所述日前优化调度模型重构为马尔科夫决策过程，采用强化学习算法求解获得日前各单元设备的出力；
[0057]
所述日内优化调度是在日前调度计划的基础上，以4小时为周期，每小时执行一次，调度时间尺度为15分钟，每小时上传未来4小时的超短期各单元设备出力数据和各类负荷的变化数据，以系统调整成本最小为目标，在满足相关约束条件下，采用模型预测控制方法通过滚动调度计划对各单元设备的出力进行修正；
[0058]
所述系统约束条件至少包括：火电机组出力上下限约束、火电机组爬坡约束、热电联产机组热出力上下限约束、热电联产机组电出力上下限约束、热电联产机组热爬坡约束、热电联产机组电爬坡约束、地源热泵电制热耦合约束、地源热泵热出力上下限约束、压缩空气储能装置充放电约束、压缩空气储能装置中储气室气压变化约束、热网约束、储热装置的储热放热速率约束、储热装置的容量约束、电功率平衡约束和热功率平衡约束。
[0059]
进一步，所述以系统运行成本最小为目标，在满足系统约束条件下，建立综合能源系统的日前优化调度模型，并将所述日前优化调度模型重构为马尔科夫决策过程，采用强化学习算法求解获得日前各单元设备的出力，具体包括：
[0060]
建立以综合能源系统运行成本最小为目标函数，表示为：
[0061]
min f1＝c
yw
+c
rl
+c
qf
+c
hp
；
[0062]
其中，c
yw
为系统运行维护成本，与各单元设备出力和容量、台数相关；c
rl
为系统燃料成本，包括火电厂煤耗成本和热电厂煤耗成本；c
qf
为系统弃风惩罚成本；c
hp
为地源热泵折算至每日的投资成本；
[0063]
建立包括以综合能源系统运行成本最小为目标函数，在满足系统约束条件下的综合能源系统的日前优化调度模型，并重构为马尔科夫决策过程，包括：
[0064]
系统状态空间：将一天的时间等分为k+1个调度周期，决策时刻为每个调度时段的开始时刻tk，系统状态向量sk由决策时刻tk、对应调度时段各单元设备出力预测值和各类负荷预测值、地源热泵的运行状态、压缩空气储能装置的运行状态、储热装置的储热状态和总风电量；
[0065]
系统动作集：系统的动作ak为决策时刻对应调度时段内各个单元设备的出力集合；
[0066]
系统状态转移：在当前调度时段结束后，系统状态发生转移，获取k+1调度时段的初始时刻各单元设备的出力预测值和负荷预测值，为系统下一状态s
k+1
；
[0067]
系统运行代价：将一个决策周期内系统产生的实际运行代价记为rk，系统在一个决策周期内产生的运行成本，并对系统决策周期内执行行动实际产生的效果进行评估，定义q
π
(s0)为从当前调度时段执行动作后系统继续运行所产生的期望折扣运行代价；
[0068]
采用强化学习算法对综合能源系统马尔科夫决策过程求解获得日前各单元设备的出力：基于k时刻综合能源系统的状态向量sk到动作ak，通过最小化系统从初始时刻开始运行的折扣运行代价，获得综合能源系统k时刻的最优动作策略π
*
，并根据最优动作策略π
*
对综合能源系统进行日前优化调度。
[0069]
进一步，所述强化学习算法采用的是深度q学习算法，包括离线学习训练和在线决策两个阶段；
[0070]
在离线学习训练阶段中，构建以运行代价最小为目标的日前优化调度马尔科夫鞠策过程模型，训练dqn进行策略求解：通过随机模拟日前短期调度时段内的各单元设备出力预测值和各类负荷预测值，仿真各决策时刻所对应调度时段的状态和状态转移情况，使用ε贪心策略从dqn网络选取动作，执行所选动作，观察短期计划可调度的各单元设备出力值，并模拟产生下一决策时刻的各单元设备出力预测值和各类负荷预测值，组成系统的下一状态，评估一个决策周期产生的系统实际运行代价，将状态、动作、代价、下一状态存储为一条学习样本，通过不断产生新的学习样本，每次抽取一个批次的学习样本对dqn进行训练，训练后存储dqn参数，最后通过dqn输出给定状态下所有动作的q值获得最优动作策略；
[0071]
在在线决策阶段中，综合能源系统在日前实际运行时根据dqn离线学习获得的优化策略，对每一调度时段的短期调度计划做出决策：在当前调度时段开始时刻，从系统读取该时段内的各单元设备出力预测值和各类负荷预测值，判断当前所处的状态，基于学习训练后的dqn，通过ε贪心策略选取该状态下对应q值最优的动作，决策该调度时段内各短期计
划可调度的各单元设备出力值，在调度时段内执行该动作对应的各单元设备出力计划，系统在经过一个决策周期后发生状态转移，系统持续这一动态决策过程直到完成最末时段的决策。
[0072]
进一步，以系统调整成本最小为目标，在满足相关约束条件下，采用模型预测控制方法通过滚动调度计划对各单元设备的出力进行修正，具体包括：
[0073]
采用模型预测控制mpc的调度策略，在每个时域内基于当前时域以及下一时域的各单元设备出力预测值和各类负荷预测值，在满足系统相关约束的条件下，通过滚动优化对日前优化调度计划的调整量进行求解，通过出力调整量对各单元设备的出力进行修正，并将实时信息进行反馈，构成闭环优化；
[0074]
所述通过滚动优化对日前优化调度计划的调整量进行求解，其预测模型表示为：
[0075][0076]
其中，p
u0
(k)为综合能源系统中单元设备u在k时段的初始出力值；δxu(k+i|k)为k时段预测未来[k+(i-1),k+i]时段内各单元设备u的出力增量；pu(k+i|k)为k时段预测未来k+i时段各单元设备u的出力值；
[0077]
滚动优化的目标函数为综合能源系统调整成本最小，表示为：
[0078][0079]
其中，we(t)、w
gt
(t)、w
wf
(t)、w
ghp
(t)、w
caes
(t)和w
hsi
(t)分别为火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置、储热装置的调整成本系数；pe(t)、p
gt
(t)、p
wf
(t)、p
ghp
(t)、p
caes
(t)和p
hsi
(t)分别为日内调度中火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置、储热装置的设备出力；pe′
(t)、p
gt
′
(t)、p
wf
′
(t)、p
ghp
′
(t)、p
caes
′
(t)和p
hsi
′
(t)分别为火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置、储热装置出力的日前调度计划值；
[0080]
反馈修正是以实际测量值对系统的模型输出进行修正，将实际测量值作为下一轮滚动优化的初始值，构成闭环优化控制，表示为：
[0081][0082]
其中，p
u0
(t+1)为滚动t+1时段的各单元设备u的出力初始值；为t时段下发控制指令后，通过实际测量系统在t+1时段的各单元设备u的实际出力值。
[0083]
本发明的有益效果是：
[0084]
(1)本发明通过构建综合能源系统数字孪生模型；设置综合能源系统运行策略；基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备和各类负荷的历史数据，预测未来不同时间尺度的各单元设备出力数据和各类负荷的变化数据；通过数字孪生模型对设备协调运行策略、各单元设备出力数据和各类负荷的变化数据进行不同时间尺度的模拟分析和有效预测，为后续系统的多时间尺度优化调度建立数据基础，实现基于数字孪生模型进行数据预测，基于数据预测进行后续调度的决策分析；
[0085]
(2)本发明基于不同时间尺度的各单元设备出力数据和各类负荷的变化数据，分别进行日前优化调度和日内优化调度；日前优化调度是基于各单元设备出力预测值和负荷预测值，在满足系统约束条件下，以系统运行成本最小为目标，优化日前各单元设备的出力；日内优化调度是在日前调度计划的基础上，以系统调整成本最小为目标，在满足相关约束条件下，滚动优化系统运行出力的调整量；通过不同时间尺度的系统预测数据进行包括日前优化调度和日内优化调度的多时间尺度优化调度，将日前优化调度问题建模为马尔科夫决策过程模型，并且采用深度q学习算法对日前优化调度模型进行优化策略求解，系统的运行代价显著降低，具有较好的运行经济性，优化策略能够科学合理地分配各个单元设备出力调度计划；在日内优化调度中，采用模型预测控制方法构建以滚动时域系统调整成本最小为目标的日内时域滚动优化调度模型，利用闭环优化控制实现降低出力调整量的成本，提高综合能源系统的可靠性。
[0086]
其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
[0087]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0088]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0089]
图1为本发明一种基于双层滚动优化的综合能源系统多时间尺度调度方法流程图；
[0090]
图2为本发明综合能源系统多时间尺度优化调度原理框图；
[0091]
图3为本发明深度q网络结构示意图；
[0092]
图4为本发明基于模型预测控制的日内优化调度示意图。
具体实施方式
[0093]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0094]
实施例1
[0095]
图1是本发明所涉及的一种基于双层滚动优化的综合能源系统多时间尺度调度方法流程图。
[0096]
图2是本发明所涉及的综合能源系统多时间尺度优化调度原理框图。
[0097]
图3是本发明所涉及的深度q网络结构示意图。
[0098]
图4是本发明所涉及的基于模型预测控制的日内优化调度示意图。
[0099]
如图1-4所示，本实施例1提供了一种基于双层滚动优化的综合能源系统多时间尺度调度方法，它包括：
[0100]
步骤s1、构建综合能源系统数字孪生模型；
[0101]
步骤s2、设置综合能源系统运行策略；
[0102]
步骤s3、基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备和各类负荷的历史数据，预测未来不同时间尺度的各单元设备出力数据和各类负荷的变化数据；
[0103]
步骤s4、基于不同时间尺度的各单元设备出力数据和各类负荷的变化数据，分别进行日前优化调度和日内优化调度；所述日前优化调度是基于各单元设备出力预测值和负荷预测值，在满足系统约束条件下，以系统运行成本最小为目标，优化日前各单元设备的出力；所述日内优化调度是在日前调度计划的基础上，以系统调整成本最小为目标，在满足相关约束条件下，滚动优化系统运行出力的调整量。
[0104]
在本实施例中，所述步骤s1中，构建综合能源系统数字孪生模型，具体包括：
[0105]
建立包括综合能源系统物理空间、数字孪生数字空间和数字孪生映射模型的综合能源系统数字孪生模型；所述数字孪生数字空间通过数字孪生映射模型与物理空间进行连接；其中，综合能源系统物理空间包括综合能源系统各单元设备结构、数据传感器和处理系统，数据传感器通过不同的数据接口与处理系统连接，处理系统同数字孪生映射模型进行相关数据的采集与协议的解析；所述数字孪生数字空间包括数字孪生描述模型和数字孪生智能化模型，数字孪生智能化模型通过数据分析与决策，实现综合能源系统数字孪生的智能化服务；
[0106]
对数字孪生模型进行辨识，将综合能源系统的多工况实时运行数据接入已建立的数字孪生模型中，采用反向辨识方法对数字孪生模型的仿真结果进行自适应辨识修正，获得辨识修正后的综合能源系统数字孪生模型。
[0107]
在本实施例中，所述综合能源系统各单元设备结构至少包括火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置和储热装置；
[0108]
所述火电机组模型表示为：
[0109][0110][0111][0112]
其中，p
e,t
为火电机组在t时刻的供电功率；分别为火电机组的最大、最小供电功率；分别为火电机组的最大向上、向下爬坡速率；
[0113]
所述热电联产机组模型表示为：
[0114][0115][0116]
其中，p
gt,t
、h
gt,t
分别为t时刻热电联产机组放电功率、放热功率；h
gt_gas,k
为t时刻
热电联产机组消耗的天然气热功率；η
gt
、αh为热电联产机组的系数；p
gt_max
、p
gt_min
分别为热电机组放电功率上下限；δp
gt,t
、δp
gt_max
、δp
gt_min
分别为t时刻热电机组发电爬坡率、爬坡率上下限；
[0117]
所述风电机组模型表示为：
[0118][0119][0120][0121]
其中，p为风电机组在特定风速ν下的输出功率；ν
ci
、ν
co
分别为风机的切入速度和切出速度；pr为风电机组的额定输出功率；为风电机组i在t时刻的电出力；p
wf,d
、p
wf,u
分别为风电机组爬坡速率的上、下限；
[0122]
所述地源热泵模型表示为：
[0123]hghp
＝cop
·
p
ghp
；
[0124]
其中，h
ghp
为地源热泵制热量；cop为地源热泵制热比；p
ghp
为地源热泵耗电量；
[0125]
所述压缩空气储能装置模型表示为：
[0126][0127]
其中，p
caesc,t
、p
caesg,t
分别为压缩空气储能装置在t时刻的充电功率和放电功率；ηc、ηg分别为充电效率和放电效率；φc、φg分别为空气在充电状态下和放电状态下的流量；c
p
为空气比热容；nc、ng分别为压缩空气储能装置的压缩机级数和膨胀机级数；分别为第k级压缩机和膨胀机的入口温度；βc、βg分别为压缩比和膨胀比；γ为空气的比热比；
[0128]
所述储热装置模型表示为：
[0129]vhsi,t
＝v
hsi,t-1
+h
hsi,t
δt；
[0130][0131][0132]
其中，v
hsi,t
、v
hsi,t-1
分别为储热装置在t时刻和t-1时刻储热装置的储热量；h
hsi,t
为储热装置在t时刻的储热、放热速率；为储热装置i的容量上限；h
hsi,t
为储热装置i在t时刻的储热、放热速率；为储热装置i最大储热、放热速率。
[0133]
在本实施例中，所述步骤s2中，设置综合能源系统运行策略，具体包括：
[0134]
在白天电负荷处于波峰时，热电联产机组供热功率较高，储能装置进行储热，在夜间电负荷处于波谷时，储热装置进行放热；
[0135]
在夜间弃风高峰期时，空气压缩储能装置进入压缩储能环节，等效增加系统电负
荷需求；白天电负荷水平较高时，空气压缩储能装置进入膨胀释能环节，作为发电单元承担部分用户用电水平，等效减少系统电负荷需求；
[0136]
地源热泵承担部分热电联产机组供热输出，充当供热源，降低热电联产机组电出力；以及地源热泵以电制热，增加系统用电需求；
[0137]
基于综合能源系统数字孪生模型进行仿真模拟，分析综合能源系统在电负荷、热负荷和风电量不同时段不同场景下，设置在火电机组、热电联产机组、风电机组的基础上，地源热泵、压缩空气储能装置和储热装置的协调运行策略，获得电出力和热出力总和降低状况、风电消纳状况、系统煤耗成本和弃风惩罚成本降低状况。
[0138]
需要说明的是，压缩空气储能装置主要部件有压缩机、换热器、储热器、膨胀机和储气室五个部分组成。由此也可以将整个系统分为五个方面，即压缩过程、换热过程、储热过程、储气过程以及膨胀过程。当压缩空气储能装置进行储能时，废弃的风电或者驱动压缩侧的电动机带动压缩机，空气在压缩机中压缩后，变成的高温高压空气经过换热器进行冷却降温后进入下一级压缩机最后将降温后的高压空气存储在储气室中。而换热器中的冷载热介质将吸收的热量存储在储热器中。当压缩空气储能装置进行释能时，储气室的高压空气经过换热升温之后，进入膨胀机中做工，实现高压空气和压缩热的耦合发电，膨胀机带动发电机进行发电后向外输送电能。
[0139]
地源热泵是一种利用地下浅层(通常《400m)地热资源的装置。地热资源是指地表土壤、地下水或河流、湖泊中吸收太阳能、地热能而蕴藏的低温位热能，地源热泵通过输入少量高品位能源，实现低温位热能向高温位转移，分别在冬季作为热泵供暖的热源和夏季空调的冷源，通常消耗1kw的能量，可以得到4kw以上的热量或冷量。
[0140]
在本实施例中，所述步骤s3中，基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备和各类负荷的历史数据，预测未来不同时间尺度的各单元设备出力数据和各类负荷的变化数据，具体包括：
[0141]
基于综合能源系统数字孪生模型，采集综合能源系统中各单元设备出力数据和各类负荷的历史数据，以及环境天气数据、各单元设备运行状态、影响各单元设备出力和负荷的数据，作为样本数据集；所述各单元设备出力数据至少包括火电机组出力、热电联产机组出力、风电机组出力、地源热泵供热功率、压缩空气储能装置的充、放电功率和储热装置的储热、放热速率；所述各类负荷至少包括热负荷、电负荷；
[0142]
采用卷积神经网络对样本数据集中的数据进行特征提取，并对提取后的特征数据进行预处理；
[0143]
根据综合能源系统日前和日内优化调度对不同时间尺度下的需求，将预处理后的样本数据集按照时间尺度的不同划分为不同时间尺度下的训练集和测试集；
[0144]
利用交叉验证方式对梯度提升决策树gbdt模型进行超参数寻优；
[0145]
对训练集采用梯度提升决策树gbdt模型进行训练，获得不同时间尺度下的综合能源系统中各单元设备出力预测模型和各类负荷预测模型，利用测试集代入不同时间尺度下的各单元设备出力预测模型和各类负荷预测模型，分别获得不同时间尺度的各单元设备出力数据预测结果和各类负荷的数据预测结果。
[0146]
在本实施例中，所述利用交叉验证方式对梯度提升决策树gbdt模型进行超参数寻优，包括：
[0147]
将样本集划分为m份，每份的样本数量大体相等；
[0148]
依次选取第i份数据作为测试集，其余m-1份数据作为训练集对模型进行训练，最终获得m个模型，将m个模型在各自测试集上预测结果的平均值作为判断该超参数取值下模型性能的依据。
[0149]
在本实施例中，所述步骤s4中，基于不同时间尺度的各单元设备出力数据和各类负荷的变化数据，分别进行日前优化调度和日内优化调度；所述日前优化调度是基于各单元设备出力预测值和负荷预测值，在满足系统约束条件下，以系统运行成本最小为目标，优化日前各单元设备的出力；所述日内优化调度是在日前调度计划的基础上，以系统调整成本最小为目标，在满足相关约束条件下，滚动优化系统运行出力的调整量，具体包括：
[0150]
所述日前优化调度是以短期各单元设备出力数据和各类负荷的变化数据为依据，每24小时进行一次，调度时间尺度为1小时，以系统运行成本最小为目标，在满足系统约束条件下，建立综合能源系统的日前优化调度模型，并将所述日前优化调度模型重构为马尔科夫决策过程，采用强化学习算法求解获得日前各单元设备的出力；
[0151]
所述日内优化调度是在日前调度计划的基础上，以4小时为周期，每小时执行一次，调度时间尺度为15分钟，每小时上传未来4小时的超短期各单元设备出力数据和各类负荷的变化数据，以系统调整成本最小为目标，在满足相关约束条件下，采用模型预测控制方法通过滚动调度计划对各单元设备的出力进行修正；
[0152]
所述系统约束条件至少包括：火电机组出力上下限约束、火电机组爬坡约束、热电联产机组热出力上下限约束、热电联产机组电出力上下限约束、热电联产机组热爬坡约束、热电联产机组电爬坡约束、地源热泵电制热耦合约束、地源热泵热出力上下限约束、压缩空气储能装置充放电约束、压缩空气储能装置中储气室气压变化约束、热网约束、储热装置的储热放热速率约束、储热装置的容量约束、电功率平衡约束和热功率平衡约束。
[0153]
在本实施例中，所述以系统运行成本最小为目标，在满足系统约束条件下，建立综合能源系统的日前优化调度模型，并将所述日前优化调度模型重构为马尔科夫决策过程，采用强化学习算法求解获得日前各单元设备的出力，具体包括：
[0154]
建立以综合能源系统运行成本最小为目标函数，表示为：
[0155]
min f1＝c
yw
+c
rl
+c
qf
+c
hp
；
[0156]
其中，c
yw
为系统运行维护成本，与各单元设备出力和容量、台数相关；c
rl
为系统燃料成本，包括火电厂煤耗成本和热电厂煤耗成本；c
qf
为系统弃风惩罚成本；c
hp
为地源热泵折算至每日的投资成本；
[0157]
建立包括以综合能源系统运行成本最小为目标函数，在满足系统约束条件下的综合能源系统的日前优化调度模型，并重构为马尔科夫决策过程，包括：
[0158]
系统状态空间：将一天的时间等分为k+1个调度周期，决策时刻为每个调度时段的开始时刻tk，系统状态向量sk由决策时刻tk、对应调度时段各单元设备出力预测值和各类负荷预测值、地源热泵的运行状态、压缩空气储能装置的运行状态、储热装置的储热状态和总风电量；
[0159]
系统动作集：系统的动作ak为决策时刻对应调度时段内各个单元设备的出力集合；
[0160]
系统状态转移：在当前调度时段结束后，系统状态发生转移，获取k+1调度时段的
初始时刻各单元设备的出力预测值和负荷预测值，为系统下一状态s
k+1
；
[0161]
系统运行代价：将一个决策周期内系统产生的实际运行代价记为rk，系统在一个决策周期内产生的运行成本，并对系统决策周期内执行行动实际产生的效果进行评估，定义q
π
(s0)为从当前调度时段执行动作后系统继续运行所产生的期望折扣运行代价；
[0162]
采用强化学习算法对综合能源系统马尔科夫决策过程求解获得日前各单元设备的出力：基于k时刻综合能源系统的状态向量sk到动作ak，通过最小化系统从初始时刻开始运行的折扣运行代价，获得综合能源系统k时刻的最优动作策略π
*
，并根据最优动作策略π
*
对综合能源系统进行日前优化调度。
[0163]
在本实施例中，所述强化学习算法采用的是深度q学习算法，包括离线学习训练和在线决策两个阶段；
[0164]
在离线学习训练阶段中，构建以运行代价最小为目标的日前优化调度马尔科夫鞠策过程模型，训练dqn进行策略求解：通过随机模拟日前短期调度时段内的各单元设备出力预测值和各类负荷预测值，仿真各决策时刻所对应调度时段的状态和状态转移情况，使用ε贪心策略从dqn网络选取动作，执行所选动作，观察短期计划可调度的各单元设备出力值，并模拟产生下一决策时刻的各单元设备出力预测值和各类负荷预测值，组成系统的下一状态，评估一个决策周期产生的系统实际运行代价，将状态、动作、代价、下一状态存储为一条学习样本，通过不断产生新的学习样本，每次抽取一个批次的学习样本对dqn进行训练，训练后存储dqn参数，最后通过dqn输出给定状态下所有动作的q值获得最优动作策略；
[0165]
在在线决策阶段中，综合能源系统在日前实际运行时根据dqn离线学习获得的优化策略，对每一调度时段的短期调度计划做出决策：在当前调度时段开始时刻，从系统读取该时段内的各单元设备出力预测值和各类负荷预测值，判断当前所处的状态，基于学习训练后的dqn，通过ε贪心策略选取该状态下对应q值最优的动作，决策该调度时段内各短期计划可调度的各单元设备出力值，在调度时段内执行该动作对应的各单元设备出力计划，系统在经过一个决策周期后发生状态转移，系统持续这一动态决策过程直到完成最末时段的决策。
[0166]
需要说明的是，深度q学习的思想是使用网络参数为θ的深度q网络dqn来表示价值函数，dqn以系统状态sk为输入，输入节点数与状态向量维度一致，输出节点数为离散后的行动空间对应的总行动数，节点编号即代表行动编号，经过深度神经网络的非线性变换，在每一个输出节点输出该状态下每种行动ak对应的q值q(s,ak；θ)。
[0167]
dqn将深度神经网络与q学习结合起来，有以下优势：
[0168]
(1)采用q学习的目标值函数来构造深度学习的标签，从而构造深度学习网络的损失函数；
[0169]
(2)采用经验回放机制来解决数据关联性问题。在决策时刻tk，将观测到的系统当前状态sk作为当前决策时刻dqn的输入，根据相关策略采取行动ak，经过一个决策周期系统状态转移到s
k+1
，并产生代价rk，由此得到一个完整的学习样本ek＝(sk,ak,rk,s
k+1
)；dqn在训练过程中引入经验回放机制，在每个决策周期将得到的学习样本存储到经验样本池中，每次训练网络参数时从经验样本池中随机抽取一个batch的学习样本用于网络训练，这样打乱原始数据顺序，将数据的关联性减弱；
[0170]
(3)使用一个深度网络产生当前q值，使用另外一个深度网络产生目标q值，通过计
算当前q值和目标q值之间的均方误差函数，即网络损失函数，训练更新网络参数θ。
[0171]
在本实施例中，以系统调整成本最小为目标，在满足相关约束条件下，采用模型预测控制方法通过滚动调度计划对各单元设备的出力进行修正，具体包括：
[0172]
采用模型预测控制mpc的调度策略，在每个时域内基于当前时域以及下一时域的各单元设备出力预测值和各类负荷预测值，在满足系统相关约束的条件下，通过滚动优化对日前优化调度计划的调整量进行求解，通过出力调整量对各单元设备的出力进行修正，并将实时信息进行反馈，构成闭环优化；
[0173]
所述通过滚动优化对日前优化调度计划的调整量进行求解，其预测模型表示为：
[0174][0175]
其中，p
u0
(k)为综合能源系统中单元设备u在k时段的初始出力值；δxu(k+i|k)为k时段预测未来[k+(i-1),k+i]时段内各单元设备u的出力增量；pu(k+i|k)为k时段预测未来k+i时段各单元设备u的出力值；
[0176]
滚动优化的目标函数为综合能源系统调整成本最小，表示为：
[0177][0178]
其中，we(t)、w
gt
(t)、w
wf
(t)、w
ghp
(t)、w
caes
(t)和w
hsi
(t)分别为火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置、储热装置的调整成本系数；pe(t)、p
gt
(t)、p
wf
(t)、p
ghp
(t)、p
caes
(t)和p
hsi
(t)分别为日内调度中火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置、储热装置的设备出力；pe′
(t)、p
gt
′
(t)、p
wf
′
(t)、p
ghp
′
(t)、p
caes
′
(t)和p
hsi
′
(t)分别为火电机组、热电联产机组、风电机组、地源热泵、压缩空气储能装置、储热装置出力的日前调度计划值；
[0179]
反馈修正是以实际测量值对系统的模型输出进行修正，将实际测量值作为下一轮滚动优化的初始值，构成闭环优化控制，表示为：
[0180][0181]
其中，p
u0
(t+1)为滚动t+1时段的各单元设备u的出力初始值；为t时段下发控制指令后，通过实际测量系统在t+1时段的各单元设备u的实际出力值。
[0182]
在实际的应用中，模型预测控制mpc由预测模型、滚动优化和反馈校正构成，属于滚动时域优化控制方法。mpc的基本原理为：利用提前建立的预测模型和当前时刻的实际值，通过解决优化问题，得到一个控制指令序列，该序列包括当前时刻以及未来一段时间的控制指令，在下一个滚动时域，利用前一时域产生的序列重复这一过程。可有效避免静态优化方法的缺陷，并且建模简单、可同时控制多个控制变量。基于mpc的日内调度策略需要在每个时域内考虑当前时域以及下一时域的各单元设备的出力预测值和各类负荷的预测值，该调度方法以分钟为单位进行优化求解，在满足系统约束的前提下，对各单元设备的出力调整量进行求解，并将实时信息进行反馈，进而构成闭环优化。
[0183]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过
其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0184]
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0185]
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0186]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。