一种基于Q学习的户用微电网能量优化方法与流程

本发明涉及一种基于Q学习的户用微电网能量优化方法，属于微电网能量管理领域。

背景技术：

分布式发电具有投资小、发电方式灵活、损耗低、利于环保等优点，与高峰期电力负荷集中供电相比，其更加经济、有效。而户用微电网则是集成了分布式电源、储能设备、负荷等单元且具备独立控制能力的自治网络。对户用微电网进行能量管理，可在尽量满足用户舒适度的前提下，充分发挥负荷的调峰潜力，引导用户合理用电，提高户用微电网的经济性及电网运行效率。同时，随着国民经济的快速增长以及人民生活水平的提高，空调负荷在用户负荷中的比例逐渐上升，在经济发达地区比例已超过40％。而空调作为重要负荷的同时，还具有一定的热存储能力，在负荷调节方面具有巨大的潜力。通过合理的空调负荷控制手段，不仅可以缓解高峰期电力供需的矛盾，还可以在尽量不影响用户舒适度的情况下，降低微电网的运行成本。如何对空调进行精确的建模，充分发挥其作为温控负荷的需求响应性能，同时提高用户的舒适度，实现对温度的精确控制，已成为户用微电网能量管理研究的重点。

目前国内外针对空调建模与优化的研究已有很多，现有的主要模型有基于直接负荷控制的空调负荷双层优化调度和控制模型、聚合空调负荷的双线性偏微分方程模型、基于分散式空调负荷等效热参数模型等。然而现有研究普遍存在下列问题：大部分模型均由负荷聚合商通过控制空调的启停实现对群体空调的优化调度，但该方法不适用于只能控制空调设置温度的单个居民用户；仅以空调设置温度为目标的研究通常把空调设置温度近似等效为实际室内温度，忽略了环境动态变化对房间温度的影响；绝大多数研究对空调均采用简化的热等效参数模型建模，但缺乏在实际应用时对其中房间参数以及空调能效比系数获取的详细说明。而对户用型微电网中空调建模的研究还较少，如何对室内空调进行精确的建模，充分发挥其作为温控负荷的需求响应性能，同时提高用户的舒适度，实现对温度的精确控制，已成为户用微电网能量管理研究的重点。

以上三个问题使目前对空调负荷制定的能量管理策略过于理想化，若得不到解决会使其不能得到广泛应用。因此，发明一种基于Q学习的户用微电网能量优化方法是一项具有重大研究意义的课题。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提供一种

技术方案：

一种基于Q学习的户用微电网能量优化方法，包括步骤：

步骤(1)：在所述户用微电网系统中配备光伏发电系统以及储能设备；将所述户用微电网中负荷分为可平移负荷、可削减负荷和不可控负荷三类；

步骤(2)：对所述户用微电网当前场景空调工作时的室内外温度及功率历史数据进行实时采样，通过遗传算法对历史数据拟合得到适合当前建筑物的热力学模型，同时对历史数据进行离线训练通过预学习获得初始Q矩阵；

步骤(3)：根据步骤(2)得到的空调热力学模型、步骤(1)中储能设备的储能模型以及负荷的可平移负荷模型在日前阶段由用户选择需要的能量管理模式，以用电成本与舒适度为目标，以功率平衡约束与交互点功率限制作为约束条件，计算得出室内温度、储能的工作指令以及可平移负荷优化结果；

步骤(4)：Q矩阵根据室外温度及房屋内部人员、环境的变化，不停地在线学习并实时更新；根据步骤(3)下发可平移负荷及储能的工作指令，空调根据步骤(3)得到的室内温度优化结果在日内阶段根据在线更新的Q矩阵修正后下发设置温度，从而实现户用微电网的能量优化。

所述步骤(2)得到的热力学模型具体如下：

目前空调所属建筑物热力学模型等效热参数模型以制冷时：

其中，T_in，t表示t时刻室内温度，T_out,t表示t时刻室外温度，Δt为时间间隔，C表示房间的热容量，R表示房间热阻，Q_air,t表示t时刻空调的制热量，可表示为：

Q_air,t＝COP_air,t·P_air,t

其中，COP_air,t为空调能效比，即空调制热量与功率之间的定量关系，对定频空调，COP_air,t为固定常数；对变频空调，COP_air,t随空调压缩机频率变化而变化；

对于定频空调，得到目标函数为：

其中，T_in，t表示t时刻室内温度，T_out,t表示t时刻室外温度，Δt为时间间隔，C表示房间的热容量，R表示房间热阻，P_air,t表示空调功率，历史数据个数为n；

对于变频空调，得到目标函数为：

所述储能模型包含运行成本模型与充放电约束两个部分；

运行成本模型：计算储能在t时段的运行费用为：

其中：P_cmax和P_dmax分别为储能充电、放电最大功率，均为正值；P_B(t)为t时间段储能的充放电功率，正值表示放电，负值表示充电；对能量优化而言，在一个调度周期内认为设备的功率为常数，功率值取其在该周期内的平均功率；

充放电约束：

其中，SOC_max和SOC_min分别为储能单元荷电状态上、下限值；ΔSOC_max(t)和ΔSOC_min(t)分别为t时间段储能单元荷电状态变化量上下限值；P_cmax和P_dmax分别为储能充电、放电最大功率，均为正值；P_B(t)为t时间段储能的充放电功率，正值表示放电，负值表示充电。

所述可平移负荷模型为：

可平移负荷i的实际工作功率P_sli(t)为：

P_sli(t)＝x_sli(t)P_Nsli

其中，P_Nsli表示可平移负荷i的额定功率，x_sli(t)表示可平移负荷i的工作状态，其值为1表示可平移负荷运行，为0表示可平移负荷停运；

可平移负荷需要满足约束条件：

其中，T_istart、T_ifinish、T_sli分别表示可平移负荷i的最早启动时间、最迟停止时间和连续运行时长，该约束表示可平移负荷工作时长满足要求并且工作不可中断。

所述优化目标具体为：

其中，F表示系统全天用电成本；N为一天划分时间段数；Fss(t)为t时间段的购售电费用；α、β分别为用电成本与用户舒适度的权重系数；

所述购售电费用为微电网与上级电网进行功率交互时产生的费用或收益：

F_SS(t)＝c(t)P_cc(t)Δt

其中，P_CC(t)为t时间段联络线功率，正值表示从电网购电，负值表示向电网售电；Δt为一个调度周期的时长；c(t)、sell_price(t)、buy_price(t)分别为t时间段购售电价、售电价格、购电价格。

所述用户选择需要的能量管理模式包括用电成本优化模式、用户舒适度优化模式和综合优化模式；由用户根据自身需求选择对应的能量管理模式，确定优化目标中用电成本与用户舒适度的比重，得出适应不同用户需求的户用微电网日前计划。

所述Q学习算法具体为：

假设状态集和动作集分别划分为M和N个离散区间，则将每个状态—动作对的评价值Q(s,a)建立为一个M*N阶的Q矩阵，其公式如下：

式中，α为学习率，a'为在状态s下可执行的所有动作；Q(s,a)的值是从状态s执行动作a后获得的累计回报值；

在每个时刻t，根据环境状态s选择对应Q值最大的动作a，并观察瞬时奖赏r和新状态s’，并更新Q值，其基本形式：

式中，s为当前状态，s'为下一时刻环境状态，Q^*(s,a)表示在状态s下执行动作a获得的回报总和，P(s,a,s')为执行动作a后状态从s转换到s’的概率，R(s,s',a)为从s状态选择动作a后转换到s’后获得的奖励，γ为折扣因子，S为环境状态集，A为控制器动作集；

采用室内温度与目标温度T_goal的偏差ΔT作为Q学习输入的环境状态变量，其中T_goal根据日前能量管理优化得出；将室内温度偏差ΔT划分为一系列离散区间{ΔT₁,ΔT₂,…ΔT_m}，对应环境状态集；将室内温度的控制目标设置为T_goal±0.5℃，将状态集ΔT设定为：{(-∞,-3],(-3,-2],(-2,-1],(-1,0.5],(-0.5,0],(0,0.5],(0.5,1]，(1,2],(2,3],(3,+∞)}；

奖励函数定义为：

当室内温度偏差|ΔT|＞0.5℃时，根据不同偏差大小，学习将获得不同程度的惩罚，偏差越大，受到的惩罚越大，则经过迭代后获得的Q值越小，此后选择此动作的概率越小。

有益效果：本发明与现有技术相比，具有以下优点：

本发明针对空调能效比系数、房间固定参数不易获取的问题，通过历史数据用遗传算法拟合得到当前场景的房间热阻、热容量，空调能效比系数等参数，建立更为准确的空调热力学模型，提高对空调功率预测的准确性。

本发明针对室内人员活动、其他冷热型负荷影响等动态变化的问题，考虑环境变化对空调工作的影响，在日内阶段通过Q学习在线修正空调的设置温度，可以适应应用过程中当前场景环境的动态变化，进一步提高能量管理的准确性。

本发明考虑户用微电网中用户不同的需求，由用户选择能量管理模式，确定优化目标中用电成本与用户舒适度的比重，可以得出适应不同用户需求的户用微电网日前计划，实现对户用微电网的个性化管理。

本发明所提策略可以实现对空调温度的精准调节，提高户用微电网调度的精确性，同时可以适应不同的应用场合以及不同用户的需求，促进户用微电网能量管理的普遍应用。

附图说明

图1为户用微电网结构图；

图2为户用微电网能量管理策略图；

图3为基于Q学习的户用微电网能量优化流程图。

具体实施方式

下面结合附图对本发明作更进一步的说明。

(1)建立户用微电网中各单元模型

典型户用微电网由光伏电池、储能系统、各类家用负荷构成，电压等级为单相交流220V，其结构示意图如图1所示。

1)光伏发电系统

用户配备小型光伏电池可充分利用太阳能资源，改变用户单向从电网购电的被动用电方式，并将多余的电能反馈给电网。随着新能源的发展，各类小型光伏电池已开始在居民中得到应用，如由透明导电玻璃及染料和电解质构成的染料敏化电池，将其用作窗户玻璃，既透光又可当电池用。

2)户用负荷

户用微电网系统中负荷主要是家用负荷，如空调、洗衣机、电磁炉等。用户在使用各类负荷电器时有一定的习惯，根据用户与系统运行互动意愿的程度与负荷用电特性，将家用负荷分为可平移负荷、可削减负荷(空调)和不可控负荷三类。

不可控负荷是指：用电特征为刚性，由用户设定负荷的工作计划，不参与系统的互动的负荷；如照明、电磁炉等。可平移负荷是指：日用电量一定，用电曲线可在一天内平移，但不可中断的负荷；如洗衣机、消毒柜等。

3)小型储能系统

储能单元对保证户用微电网的供电连续性、平抑间歇性电源出力波动和对负荷曲线削峰填谷具有至关重要的作用。为户用微电网配备储能设备，可使系统在并网时通过储能削峰填谷，提高系统的经济性；在孤岛时为负荷供电，维持系统稳定运行。户用微电网可选用寿命长、无污染的磷酸铁锂电池。

(2)对户用微电网当前场景空调工作时的温度、功率等历史数据进行实时采样，从而拟合得到适合当前建筑物的热力学模型，同时获得初始Q矩阵。

(3)根据空调热力学模型、储能模型以及可平移负荷模型，在日前阶段由用户选择需要的能量管理模式，以用电成本与舒适度为目标，给出可平移负荷、储能的工作指令以及室内温度优化结果。

(4)直接下发可平移负荷、储能的工作指令，空调设置温度则在日内阶段根据在线更新的Q矩阵修正后下发，从而实现户用微电网的能量优化。

微电网能量优化主要有多时间尺度、基于模型预测控制的滚动优化、鲁棒优化等几种基本形式，与常规微电网相比，户用微电网系统规模小，能量管理策略不宜过于复杂。但户用微电网能量管理直接面向居民用户，需要充分考虑用户接受能量管理的意愿，对用户用电行为进行精细化分析，以免给用户带来不适。

因此本发明对户用微电网中各类负荷及储能建立精细化模型，以用电成本与用户舒适度为目标，采用日前计划结合室内修正的方式，提出了计及空调模型自适应修正的户用微电网能量优化策略，考虑到能量管理的准确性以及可能给用户带来的不适应性，优化的最小时间尺度选为15min，整体框架如图2所示，根据系统状态以及预测信息得到模型基本参数，建立储能模型、购售电模型和各类负荷模型，其中空调负荷作为重点对象，通过参数拟合的方式建立更为准确的热力学模型。以最小用电成本为目标，经过日前优化给出储能充放电计划、可平移负荷用电计划和空调的优化温度。储能充放电计划、可平移负荷用电计划直接下发，空调设定温度根据环境动态变化通过空调自适应模型进行在线修正再下发。图3为计及空调模型自适应的户用微电网能量优化流程图，具体步骤如下：

(1)对户用微电网当前场景空调工作时的温度、功率等历史数据进行实时采样，从而拟合得到适合当前建筑物的热力学模型，同时获得初始Q矩阵。

历史数据是通过微电网中央控制(MGCC)软件采集PLC、PCS测得的数据得到，数据将实时地采集并显示在界面中，定时存入历史数据库。历史数据包括光伏、负荷(室内外温度数据、功率数据、开关状态等)、储能状态等。在步骤(2)中只用到了室内外温度数据和功率数据。

Q学习的学习目标是学习在动态环境下根据外部评价信号来选取较优动作或最优动作，本质上是一个动态决策的过程。它的思想是学习每个状态—动作对的评价值Q(s,a)，Q(s,a)的值是从状态s执行动作a后获得的累计回报值，在每个时刻t，根据环境状态s选择对应Q值最大的动作a，并观察瞬时奖赏r和新状态s’，并更新Q值，其基本形式如式(1)所示：

式中，s为当前状态，s'为下一时刻环境状态，Q^*(s,a)表示在状态s下执行动作a获得的回报总和，P(s,a,s')为执行动作a后状态从s转换到s’的概率，R(s,s',a)为从s状态选择动作a后转换到s’后获得的奖励，γ为折扣因子，S为环境状态集，A为控制器动作集。

假设状态集和动作集分别划分为M和N个离散区间，则可将Q(s,a)建立为一个M*N阶的Q矩阵，Q学习是依据学习策略选择动作之后通过迭代逼近最优解实现的，其公式如下：

式中，α为学习率，a'为在状态s下可执行的所有动作，通常来说Q学习只需要选取贪心策略即可保证算法的收敛性，即每次都选择最高Q值的动作执行。

为了在满足用户舒适度需求条件下，调整空调的工作功率使空调参与到整个系统的优化调度，需要建立空调所属建筑物的热力学模型。该模型包括建筑物等效比热容、等效热阻、空调能效比等参数，而这些参数在现实情况中很难得到精确的测量和计算，严重影响了模型的准确性。本发明通过对当前建筑物在空调运行工况下室内温度、室外温度、空调功率的数据进行测量和分析，借鉴传统热力学模型的形式，用遗传算法对历史数据进行拟合，得出修正参数后适合当前建筑物的热力学模型。

目前常用空调所属建筑物热力学模型等效热参数模型，以制冷时为例，如式(1)所示：

其中，T_in，t表示t时刻室内温度，T_out,t表示t时刻室外温度，Δt为时间间隔，C表示房间的热容量，R表示房间热阻，Q_air,t表示t时刻空调的制热(冷)量，可表示为：

Q_air,t＝COP_air,t·P_air,t (2)

其中，COP_air,t为空调能效比，即空调制热(冷)量与功率之间的定量关系，对定频空调，COP_air,t为固定常数；对变频空调，COP_air,t随空调压缩机频率变化而变化。

1)定频空调

定频空调能效比为常数，即COP_air,t＝COP，只需对其中R、C、COP进行拟合，设历史数据个数为n，拟合的目标函数为：

其中，T_in，t表示t时刻室内温度，T_out,t表示t时刻室外温度，Δt为时间间隔，C表示房间的热容量，R表示房间热阻，P_air,t表示空调功率。

2)变频空调

变频空调功率P_air,t、压缩机频率f_air,t、制冷量Q_air,t和能效比COP_air,t可近似为如下关系：

其中，n,m,a,b,c为常系数，代入式(2)消去变量f，可推得COP_air,t与P_air,t的关系式如下：

采用遗传算法对R、C、k₁、k₂、k₃进行拟合，目标函数为：

(2)建立储能及其他负荷模型

1)储能模型

储能模型包含运行成本模型与充放电约束两个部分。储能的运行成本与储能的操作、维护费用有关，同时也包含了折旧费用，即已经将储能的购置费用折算其中。储能在t时段的运行费用为：

其中：P_cmax和P_dmax分别为储能充电、放电最大功率，均为正值；P_B(t)为t时间段储能的充放电功率，正值表示放电，负值表示充电。对能量优化而言，在一个调度周期内认为设备的功率为常数，功率值取其在该周期内的平均功率。

储能充放电除了最大功率的约束还包括荷电状态SOC约束。SOC是储能充放电保护的一个重要决策变量，反映了储能剩余容量占总容量的比例，当前时刻的SOC与前一时刻的剩余容量及前一时段的充放电量有关，计算公式如下：

其中，η_c、η_d分别为充放电效率；Q为额定容量。通过对储能SOC的变化量ΔSOC进行动态约束，避免过充过放对电池寿命造成损害。

其中，SOC_max和SOC_min分别为储能单元荷电状态上、下限值；ΔSOC_max(t)和ΔSOC_min(t)分别为t时间段储能单元荷电状态变化量上下限值。

综上，储能充放电模型包含以下3个约束条件：

2)其他负荷模型

在户用微电网中，除可削减负荷外，还存在不可控负荷与可平移负荷。不可控负荷是指：用电特征为刚性，由用户设定负荷的工作计划，不参与系统的互动的负荷；如照明、电磁炉等。可平移负荷是指：日用电量一定，用电曲线可在一天内平移，但不可中断的负荷；如洗衣机、消毒柜等。可平移负荷的模型如下：

用x_sli(t)表示可平移负荷i的工作状态，其值为1表示可平移负荷运行，为0表示可平移负荷停运。

可平移负荷i的实际工作功率P_sli(t)为：

P_sli(t)＝x_sli(t)P_Nsli (11)

其中，P_Nsli表示可平移负荷i的额定功率。

可平移负荷需要满足约束条件：

其中，T_istart、T_ifinish、T_sli分别表示可平移负荷i的最早启动时间、最迟停止时间和连续运行时长，该约束表示可平移负荷工作时长满足要求并且工作不可中断。

(3)根据空调热力学模型、储能模型以及可平移负荷模型，在日前阶段以用电成本与舒适度为目标，给出可平移负荷、储能的工作指令以及室内温度优化结果。

1)优化目标

优化调度目标同时考虑用电成本与用户舒适度。就微电网系统的日运行而言，清洁能源能耗成本和运营管理成本可近乎看作为零，从而微电网系统日用电成本包括与上级电网的交互费用和储能的运行成本。用户舒适度主要体现在室内温度与用户理想温度的偏差，因此优化目标可表示为：

其中，F表示系统全天用电成本；N为一天划分时间段数；Fss(t)为t时间段的购售电费用；α、β分别为用电成本与用户舒适度的权重系数。本文设置三种能量管理模式，分别为用电成本优化(模式A)、用户舒适度优化(模式B)和综合优化(模式C)，由用户根据自身需求选择对应的能量管理模式，确定优化目标中用电成本与用户舒适度的比重，得出适应不同用户需求的户用微电网日前计划，相应的α、β的取值可如表1所示。

表1能量管理模式

购售电费用主要为微电网与上级电网进行功率交互时产生的费用或收益：

F_SS(t)＝c(t)P_cc(t)Δt (14)

其中，P_CC(t)为t时间段联络线功率，正值表示从电网购电，负值表示向电网售电；Δt为一个调度周期的时长；c(t)、sell_price(t)、buy_price(t)分别为t时间段购售电价、售电价格、购电价格。

2)约束条件

a.功率平衡约束

各时间段储能充放电功率、与上级电网交互功率、光伏发电功率、总负荷功率必须满足功率平衡约束：

P_B(t)+P_CC(t)+P_PV(t)＝P_load(t) (16)

其中，P_PV(t)表示t时间段光伏发电功率；P_load(t)表示t时间段总负荷。

b.交互点功率限制

各时间段与电网交互功率应满足上级电网对交互功率的限制：

-P_smax≤P_CC≤P_bmax (17)

其中，P_smax为用户向上级电网售电功率上限；P_bmax为用户从上级电网购电功率上限。

(4)直接下发可平移负荷、储能的工作指令，空调设置温度则在日内阶段根据在线更新的Q矩阵修正后下发，从而实现户用微电网的能量优化。

传统对空调的优化通常将空调设定温度直接设置为用户所需要的或能量管理系统优化得到的室内温度，而实际上由于受室内环境变化的影响，实际室内温度往往与空调设定温度有一定误差。为解决这一问题，针对室内人员活动、其他冷热型负荷影响等动态变化的问题，本发明基于Q学习建立空调温度自适应模型，根据实际室内温度与优化出理想室内温度的偏差，利用Q学习算法动态计算出建筑物中空调实时运行时需要设置的温度，提高能量管理的准确性。具体方法为：

采用室内温度与目标温度T_goal的偏差ΔT作为Q学习输入的环境状态变量，其中T_goal根据日前能量管理优化得出。将室内温度偏差ΔT划分为一系列离散区间{ΔT₁,ΔT₂,…ΔT_m}，对应环境状态集。将室内温度的控制目标设置为T_goal±0.5℃，将状态集ΔT设定为：{(-∞,-3],(-3,-2],(-2,-1],(-1,0.5],(-0.5,0],(0,0.5],(0.5,1]，(1,2],(2,3],(3,+∞)}。

奖励函数定义为：

当室内温度偏差|ΔT|＞0.5℃时，根据不同偏差大小，学习将获得不同程度的惩罚，偏差越大，受到的惩罚越大，则经过迭代后获得的Q值越小，此后选择此动作的概率越小。选用室内温度偏差作为状态变量，其好处是在相同环境中，当目标温度改变时，只需要改变T_goal，无需调整预先设计的状态集。

将空调设置温度T_set作为控制器的输出动作变量，T_setl为空调设置温度下限，T_seth为空调设置温度上限，控制动作集A为{T_setl,T_setl+1,...,T_seth-1,T_seth}。

通过历史数据的离线训练，可以得到预学习后的Q矩阵。作为户用微电网空调系统初始运行的Q矩阵，在微电网实际运行过程中，由于室外温度及房屋内部人员、环境的变化，需要进行不停地在线学习，实时更新Q矩阵，不停修正空调设置的温度，以实现空调设置温度对环境变化的自适应修正。

本发明可以适应不同应用场景以及环境的变化，提高能量管理的准确性和实际应用性。并且综合考虑户用微电网中其他具有调控潜力的用电负荷及储能设备，以用电成本与用户舒适度为目标，实现对户用微电网的有效管理。

采用日前计划与日内修正相结合的方式。由于储能、可平移负荷等受环境变化影响较小，直接执行日前计划指令，而空调负荷受环境动态变化影响较大，在日内经过不停地修正下发指令。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。