面向建筑光储一体化集群的电力协同调度数据涌现方法

1.本发明属于能源管理策略优化技术领域，具体涉及一种面向建筑光储一体化集群的电力协同调度数据涌现方法。


背景技术：

2.随着我国“双碳”目标的提出，“源网荷储一体化”系统因其具有调配储能或可再生能源发电设备进行电力补给，增强用户端柔性用电的能力，未来将会普遍应用于城乡建筑用能领域。但由于可再生能源具有“间歇性”和“随机性”的特点，单个系统的可再生能源消纳能力仍然有限，因此“源网荷储一体化”系统集群的协同柔性用电得到快速的发展：结合系统所对应的各类建筑之间差异化的用能模式，基于多智能体协同的思想，以系统集群内碳排放量最低为协同目标，实现集群内各“源网荷储一体化”系统的协同式供电、用电与储电，最大限度的消纳可再生能源。
3.基于多智能体深度强化学习算法构建电力调度模型，是实现“源网荷储一体化”系统集群的协同柔性电力调度的一种典型方法。强化学习在该场景下的应用，是利用大量的历史数据的连续转换来自主学习，学习系统与环境不断交互并获取环境反馈的区域范围内调用的总非可再生电量的信号，并根据非可再生电量进行自适应地调整从而学习到最优的行为策略，以达到最小化其长期积累非可再生电量的目的，能够在现实情况下根据当下发电量、用电量和充电可用容积迅速明确各系统在该时刻的净流入流出电力。强化学习的本质是试错过程，故对学习样本数量的要求极高。
4.然而，在协同柔性电力调度场景下获取能够满足与多智能体深度强化学习所需的训练数据是异常困难的，一方面是通过实际运行系统来获取数据的成本极高；另一方面是由于内在的建筑类型及其组合形式的不同，不同的系统集群具有不同的供电、用电与储电模式，因此在配置某个系统集群时都需要重新进行算法的训练。这也是限制“源网荷储一体化”系统集群的协同柔性用电的主要原因。
5.为解决上述问题，现有技术中存在一些相应的改进方案：elena mocanu等利用强化学习来进行建筑能耗在线优化时，利用数据采集器获得48栋建筑每日九千万个电耗记录用于强化学习，在学习过程中利用20天收集到的约1000个数据集后强化学习的平均峰值和优化峰值逐渐达到收敛。yuankun liu等在家庭能源管理策略的优化研究中，建立了真实的用能结合储能的实验室，从中获取真实数据样本，将1000个完整数据集输入强化学习算法，优化模型的建立。jianhong wang等在基于强化学习的配电网电压主动控制的研究中，选取了葡萄牙232个用户3年的电耗数据和10个地区3年的光伏发电量，作为强化学习的训练样本。
6.然而，由于经济成本与时间成本的限制，上述方法较难大范围的在工程中应用中进行普及。此外，“源网荷储一体化”系统集群所覆盖的范围是百幢甚至千幢建筑的尺度，因此上述方案所实现的数据规模仍旧无法满足“源网荷储一体化”系统集群的协同柔性用电场景。


技术实现要素：

7.本发明是为解决上述问题而进行的，目的在于提供一种能够提供大规模可靠数据作为训练样本且成本低、适于实际工程应用的电力协同调度数据涌现方法，本发明采用了如下技术方案：
8.本发明提供了一种面向建筑光储一体化集群的电力协同调度数据涌现方法，其特征在于，包括以下步骤：
9.步骤s1，对源网荷储一体化系统集群中的每个系统，基于该系统对应的建筑系统模型以及每一时刻的天气文件，模拟计算得到该系统对应时刻的光伏发电量，从而得到各所述系统的逐时光伏发电量；
10.步骤s2，对每个所述系统，基于该系统对应的所述建筑系统模型、改进的人员用能时刻表以及每一时刻的所述天气文件，模拟计算得到该系统对应时刻的用电量，从而得到各所述系统的逐时用电量，其中，所述改进的人员用能时刻表采用基于蒙特卡洛的随机作息方法来生成；
11.步骤s3，对每个所述系统，根据该系统的最大储能容积、该系统的所述逐时用电量以及上一时刻该系统的状态及动作，模拟计算得到该系统对应时刻的可用容积量，从而得到各所述系统每一时刻可用容积量；
12.步骤s4，将各所述系统的所述逐时光伏发电量、所述逐时用电量以及所述每一时刻可用容积量组成各所述系统每一时刻的状态量，并将各所述系统同一时刻的所述状态量组成多系统联合状态量，作为强化学习的训练样本。
13.本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，所述改进的人员用能时刻表按以下方式生成：手动设定人员用能时刻表中的值，取所述人员用能时刻表中的值的随机变化范围为
±
50％，概率随正态分布，以手动设定的所述人员用能时刻表中的值作为基础值，引入具有随机数的系数η来修改所述基础值，
14.η
set
≠0时，
[0015][0016]
η
set
＝0时，
[0017][0018]
式中，η
set
为对应功能房间的典型人员用能时刻表的人员密度系数，每时刻空间内的人员分布密度可用η
×
ρ(空间最大人员密度)来表示，并将其作为具备随机性和多样性的建筑内扰量来源。
[0019]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，所述建筑系统模型包括建筑围护结构模型、照明系统设计、空调系统设计。
[0020]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，步骤s1具体包括：将所述建筑围护结构模型、所述天气文件输入光伏发电模拟软件，所述光伏发电模拟软件根据建筑特征参数和结构设计，结合建筑类型
和街区、单栋建筑折减系数计算得到建筑屋顶光伏可用面积、光伏板铺设最佳角度；基于所述建筑屋顶光伏可用面积、所述光伏板铺设最佳角度，利用所述光伏发电模拟软件的光伏组件设计功能调整光伏系统设计；所述光伏发电模拟软件基于调整后的所述光伏系统设计以及所述天气文件模拟计算得到所述逐时光伏发电量。
[0021]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，所述所述光伏发电模拟软件为pvsyst平台。
[0022]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，步骤s2具体包括：将所述建筑围护结构模型、所述照明系统设计、所述空调系统设计、所述改进的人员用能时刻表以及所述天气文件输入建筑能耗模拟软件中，所述建筑能耗模拟软件模拟计算得到所述逐时用电量。
[0023]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，所述建筑能耗模拟软件为energyplus平台。
[0024]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，所述强化训练的输出为多系统联合动作，包括各所述系统的逐时净流入流出电量，步骤s3中，对每个所述系统，根据所述逐时净流入流出电量计算得到该系统上一时刻净充电量，进一步根据所述上一时刻净充电量、所述最大储能容量、所述逐时用电量计算得到该系统的所述每一时刻可用容积量。
[0025]
本发明提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，还可以具有这样的技术特征，其中，所述天气文件为标准气象年的逐时气象参数。
[0026]
发明作用与效果
[0027]
根据本发明的面向建筑光储一体化集群的电力协同调度数据涌现方法，先基于建筑系统模型和天气文件模拟计算得到各系统的逐时光伏发电量，基于建筑系统模型、改进的人员用能时刻表和天气文件模拟计算得到各系统的逐时用电量，再基于系统最大储能容积、逐时用电量及上一时刻系统状态动作模拟计算得到系统每一时刻可用容积量，最后将各系统同一时刻的上述状态量组成多系统联合状态量，用作强化学习的训练样本。其中，改进的人员用能时刻表采用基于蒙特卡洛的随机作息方法来生成，结合建筑模型考虑了人员位移随机性造成的可能发生的建筑能耗，使得用电量数据能尽可能囊括所有真实情况下对应的用电情况，得到的数据更为真实可靠。
[0028]
也即，本发明基于强化学习每一个训练样本的组成形式及状态随机性的构成原理，构建了考虑人员随机性的建筑能耗模拟方法，同时将之与光伏发电模拟方法进行耦合，从而实现对特定建筑集群构成的“源网荷储一体化”系统集群每一时刻的状态量进行仿真，获取大量真实可靠的连续时间多系统的状态样本，且该方法的成本低，适于在实际工程中推广应用。
附图说明
[0029]
图1是本发明实施例中面向建筑光储一体化集群的电力协同调度数据涌现方法的原理图；
[0030]
图2是本发明实施例中面向建筑光储一体化集群的电力协同调度数据涌现方法的流程图；
[0031]
图3是本发明实施例中强化学习训练过程中连续时间各系统的状态量之间的关系示意图；
[0032]
图4是本发明实施例中源网荷储一体化系统状态样本的构成示意图。
具体实施方式
[0033]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的面向建筑光储一体化集群的电力协同调度数据涌现方法作具体阐述。
[0034]
《实施例》
[0035]“源网荷储一体化”系统集群中包含有多个“源网荷储一体化”系统，每个系统覆盖一定量的建筑，为便于叙述，以下将其记作系统a、系统b、
……
依此类推。
[0036]
图3是本实施例中强化学习训练过程中连续时间各系统的状态量之间的关系示意图。
[0037]
如图3所示，在“源网荷储一体化”系统集群的协调调度问题中，其中各个系统在某时刻各自的光伏发电量、用电量和充电量将构成联合状态输入强化学习训练中，这个时刻的状态量对应的强化学习训练的输出为多个系统各自的净流入流出电量所组成的联合动作，强化学习中的电力环境将会对联合动作给予一个奖励量，用于优化动作决策。
[0038]
本实施例中，通过模拟建筑、光伏发电系统、空调系统等的真实工况来生成大量强化学习用的训练样本。
[0039]
图4是本实施例中源网荷储一体化系统状态样本的构成示意图，也即上述强化学习训练中训练样本的构成示意图。
[0040]
如图4所示，每一组样本采用每一时刻的天气文件、系统对应的建筑系统模型、人员用能时刻表作为输入，生成各系统的建筑用电量和光伏发电量，其中建筑用电量基于建筑模型、空调系统设计和照明系统设计由建筑能耗模拟软件计算得到，光伏发电量由光伏发电模拟软件计算得到，天气文件均选用标准气象年的数据，在建筑用电量的仿真中将人员用能时刻表基于蒙特卡洛的随机采样方法进行调整输入，而储能可用容积是需要上一时刻训练结果。
[0041]
以下将详细说明数据获取、样本生成的方法。
[0042]
图1和图2分别是本实施例中面向建筑光储一体化集群的电力协同调度数据涌现方法的原理图和流程图。
[0043]
如图1-2所示，面向建筑光储一体化集群的电力协同调度数据涌现方法具体包括如下步骤：
[0044]
步骤s1，对集群中的每个系统，基于该系统对应的建筑系统模型以及每一时刻的天气文件，模拟计算得到该系统对应时刻的光伏发电量，从而得到各系统的逐时光伏发电量。
[0045]
光伏发电量的计算基于建筑特征参数，根据建筑屋面光伏可铺设的面积、方位角和屋面倾角调整光伏系统设计，结合天气文件仿真得到逐时的光伏发电量。其中，天气文件通常是采用标准气象年的逐时气象参数，故在不考虑天气随机性的情况下可得到一年的逐时发电数据。建筑系统模型包括建筑围护结构模型、照明系统设计、空调系统设计、光伏系
统设计等。
[0046]
具体地，步骤s1中，将建筑围护结构模型、天气文件输入光伏发电模拟软件，软件根据模型的建筑特征参数和结构设计，包括屋顶面积、方位角、屋面倾角，结合建筑类型和街区、单栋建筑折减系数等信息，计算得到建筑屋顶光伏可用面积、光伏板铺设最佳角度等信息，进而可利用这些信息以及软件提供的光伏组件设计功能，调整光伏系统的设计，然后，软件根据调整后的光伏系统设计以及天气文件模拟计算得到系统的逐时光伏发电量。
[0047]
本实施例中，光伏发电模拟软件为pvsyst平台。
[0048]
步骤s2，对每个系统，基于该系统对应的建筑系统模型(包括上述建筑围护结构模型、照明系统设计、空调系统设计)、人员用能时刻表以及每一时刻的天气文件，模拟计算得到该系统对应时刻的用电量，从而得到各系统的逐时用电量。
[0049]
建筑用电量的计算是基于建筑模型、建筑的照明系统设计和空调系统设计、人员用能时刻表，结合天气文件仿真得到逐时的用电量。需要指出的是，人员用能时刻表(或称人员在室时刻表，该表对应于各时刻室内人员的分布状态)是建筑能耗模拟计算的基本参数之一，是引起室内空调冷热湿负荷变化的关键要素。室内人员的分布状态通常具备一定的规律性，但仍存在相当的随机性和不确定性，使得即使在相同的环境状态条件和工作日状态下，建筑的用能负荷仍存在差异性。本实施例中，采用基于蒙特卡洛的随机作息方法来生成人员用能时刻表，在一定程度上保证人员用能时刻表的多样性，从而使得用电量的数据能够尽可能囊括所有真实情况下对应的用电情况。
[0050]
采用基于蒙特卡洛的随机作息方法来生成人员用能时刻表具体如下：本实施例中，先手动设定人员用能时刻表中的值，取人员用能时刻表中值的随机变化范围为
±
50％，概率随正态分布。此外，现有技术中的人员在室移动模型仅考虑具体在室事件，在默认无在室人员的时间段并无随机性的考虑。而本实施例中，向表中一些时刻固定为0人的设定中加入抖动，即以手动设定的人员用能时刻表中的值作为基础值，引入一个具有随机数的系数来修改基础值，从而得到新的人员用能时刻表。
[0051]
令任意时刻人员用能时刻表系数为η：
[0052]
η
set
≠0时：
[0053][0054]
η
set
＝0时：
[0055][0056]
式中，η
set
为对应功能房间的典型人员用能时刻表的人员密度系数，因此每时刻空间内的人员分布密度可用η
×
ρ(空间最大人员密度)来表示，并将其作为具备随机性和多样性的建筑内扰量来源，与固定的天气文件、建筑系统模型进行匹配，从而扩充用电量样本数量，使得训练样本更全面可靠。
[0057]
基于上述改进的人员用能时刻表，具体地，步骤s2中，将建筑围护结构模型、照明系统设计、空调系统设计、改进的人员用能时刻表、天气文件输入建筑能耗模拟软件中，软件模拟计算得到该系统的逐时用电量。
[0058]
本实施例中，建筑能耗模拟软件为energyplus平台。
[0059]
步骤s3，对每个系统，根据该系统的最大储能容积、该系统的逐时用电量以及上一时刻该系统的状态及动作模拟计算得到该系统对应时刻的可用容积量，从而得到各系统每一时刻可用容积量。
[0060]
具体地，强化训练的输出为多系统联合动作，包括各个系统逐时净流入流出电量，根据逐时净流入流出电量可计算得到各系统上一时刻净充电量，进一步根据上一时刻净充电量、蓄电池总容量、系统逐时用电量可计算得到各系统的蓄电池每一时刻可用容积量。
[0061]
本实施例中，对“源网荷储一体化”集群之间的电力协同调度模型进行强化学习训练，通过获取每一时刻所有“源网荷储一体化”个体的状态、集群总体状态和电网补给的电力，训练每个“源网荷储一体化”个体得到能使得整个集群长时间所获取的电网补给电力最小的电力调度策略，确定每个个体在每一时刻向外输出的最佳净功率值。“源网荷储一体化”系统集群的训练环境，由样本生成和电力关系模型两部分构成。
[0062]
步骤s4，将步骤s1～s3得到的各系统的逐时光伏发电量、逐时用电量以及每时刻可用容积量组成各系统每一时刻的状态量，并将各系统同一时刻的状态量组成多系统联合状态量，从而可得到多个多系统联合状态量，作为强化学习的训练样本。
[0063]
实施例作用与效果
[0064]
根据本实施例提供的面向建筑光储一体化集群的电力协同调度数据涌现方法，先基于建筑系统模型和天气文件模拟计算得到各系统的逐时光伏发电量，基于建筑系统模型、改进的人员用能时刻表和天气文件模拟计算得到各系统的逐时用电量，再基于系统最大储能容积、逐时用电量及上一时刻系统状态动作模拟计算得到系统每一时刻可用容积量，最后将各系统同一时刻的上述状态量组成多系统联合状态量，用作强化学习的训练样本。其中，改进的人员用能时刻表采用基于蒙特卡洛的随机作息方法来生成，结合建筑模型考虑了人员位移随机性造成的可能发生的建筑能耗，使得用电量数据能尽可能囊括所有真实情况下对应的用电情况，得到的数据更为真实可靠。
[0065]
也即，本实施例中，基于强化学习每一个训练样本的组成形式及状态随机性的构成原理，构建了考虑人员随机性的建筑能耗模拟方法，同时将之与光伏发电模拟方法进行耦合，从而实现对特定建筑集群构成的“源网荷储一体化”系统集群每一时刻的状态量进行仿真，获取大量真实可靠的连续时间多系统的状态样本，且该方法的成本低，适于在实际工程中推广应用。
[0066]
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
[0067]
在上述实施例中，光伏发电模拟软件为pvsyst平台，建筑能耗模拟软件为energyplus平台，在替代方案中，也可以采用现有技术中的其他光伏发电模拟软件、建筑能耗模拟软件。