基于强化学习的多能耦合地源热泵楼宇供能系统调度方法与流程

本发明属于智慧供能，具体涉及一种基于强化学习的多能耦合地源热泵楼宇供能系统调度方法。

背景技术：

1、区域锅炉房、热电联产以及电采暖等传统采暖方式存在着不同程度的问题，如能源利用效率低、污染严重、高位能源利用不合理、供热设备利用率低等弊端，建筑供暖方面急需寻找一种环保、高效、合理的新型供暖模式。热泵作为一种高效利用高位能从低位热源提升至高位热源的能源利用装置，可以大幅度减少传统能源供暖方式产生的“三废”污染，节约不可再生能源，近年来受到高度重视。

2、目前，将太阳能集热器、地源热泵和其他辅助能源进行结合的新型节能环保的楼宇供能系统已经引起国内外研究者的关注，弥补了单一热源热泵系统的缺点和不足，运行效果更加可靠稳定。然而，目前针对地源热泵耦合其他能源的楼宇供能系统进行调度的精确度较低，难以有效降低调度成本，提高能源利用率，实现节能高效调度。

3、基于上述技术问题，需要设计一种新的基于强化学习的多能耦合地源热泵楼宇供能系统调度方法。

技术实现思路

1、本发明所要解决的技术问题是，克服现有技术的不足，提供一种基于强化学习的多能耦合地源热泵楼宇供能系统调度方法，通过知识图谱刻画影响楼宇负荷变化的因素，再应用强化学习和深度学习算法进行楼宇负荷预测，能够提高准确的楼宇负荷预测结果；基于楼宇负荷预测需求，建立经济调度模型，采用改进的强化学习算法进行模型求解获得调度策略，具有较高的强化学习算法模型训练速度，且保证调度策略的精确度；通过多能耦合地源热泵组合的楼宇供能系统，能够有效利用低位热源的地源热泵机组，将地热能转化为地源热泵机组的低温热源，并结合其他能源进行辅助供能实现楼宇供热供冷，提高了能源的利用率还能保证楼宇供能。

2、为了解决上述技术问题，本发明的技术方案是：

3、本发明提供了一种基于强化学习的多能耦合地源热泵楼宇供能系统调度方法，它包括：

4、步骤s1、建立多能耦合地源热泵楼宇供能系统数字孪生模型；

5、步骤s2、基于多能耦合地源热泵楼宇供能系统数字孪生模型和构建的多能耦合地源热泵楼宇热负荷、冷负荷影响因素知识图谱，获得影响楼宇热负荷、冷负荷变化的因素；

6、步骤s3、采用强化学习和深度学习算法结合楼宇热负荷、冷负荷历史数据与影响因素建立楼宇负荷预测模型；

7、步骤s4、基于楼宇负荷预测模型获得楼宇负荷需求，建立多能耦合地源热泵楼宇供能系统经济调度模型，并采用强化学习算法进行模型求解后获得各个子系统供能设备的优化调度策略。

8、进一步，所述步骤s1中，建立多能耦合地源热泵楼宇供能系统数字孪生模型，包括：

9、步骤s101、构建多能耦合地源热泵楼宇供能系统虚拟实体，并进行虚实数据连接后建立多能耦合地源热泵楼宇供能系统数字孪生模型，包括：

10、构建多能耦合地源热泵楼宇供能系统结构模型、物理设备实体模型、行为模型和规则模型；所述多能耦合地源热泵楼宇供能系统结构模型至少包括地源热泵子系统、太阳能子系统、燃气锅炉子系统和制冷子系统；所述地源热泵子系统至少包括热泵机组、地埋管换热器和循环水泵，用于楼宇供热和供冷；所述太阳能子系统至少包括太阳能集热器、贮热水箱和循环水泵，用于土壤蓄热和生活热水供应，作为辅助热源联合地源热泵进行楼宇供热；所述燃气锅炉子系统为燃气锅炉，用于作为辅助热源联合地源热泵进行楼宇供热；所述制冷子系统为制冷机组，用于作为辅助冷源联合地源热泵进行楼宇供冷；所述物理设备实体模型通过添加设备物理属性获得；基于功能基本理论构建行为模型，建立具有交互功能和模拟真实操作环境的多能耦合地源热泵楼宇供能系统虚拟仿真系统；最后建立虚拟实体的规则模型制定虚拟实体的控制策略；

11、通过采集多能耦合地源热泵楼宇供能系统物理设备的实际运行数据驱动相应虚拟设备，建立虚实数据的映射关系，形成多能耦合地源热泵楼宇供能系统作业策略；通过不断迭代和优化数据采集控制过程，实现物理实体与虚拟空间实时数据的连接与动态交互，建立多能耦合地源热泵楼宇供能系统数字孪生模型；

12、步骤s102、对数字孪生模型进行辨识，包括：

13、将多能耦合地源热泵楼宇供能系统的多工况实时运行数据接入已建立的数字孪生模型中，采用反向辨识方法对数字孪生模型的仿真结果进行自适应辨识修正，获得辨识修正后的多能耦合地源热泵楼宇供能系统数字孪生模型。

14、进一步，所述步骤s2，基于多能耦合地源热泵楼宇供能系统数字孪生模型和构建的多能耦合地源热泵楼宇热负荷、冷负荷影响因素知识图谱，获得影响楼宇热负荷、冷负荷变化的因素，包括：

15、基于多能耦合地源热泵楼宇供能系统数字孪生模型，从预设的数据库中抽取多能耦合地源热泵楼宇热负荷、冷负荷影响因素实体、属性及关系，自底向上地构建语义网络；

16、利用机器学习方法从不同结构和类型的数据中提取出楼宇热负荷、冷负荷变化的因素后，生成多能耦合地源热泵楼宇热负荷、冷负荷相关知识，并转化为可计算的结构化数据，进行数字化知识表示；

17、对数字化知识表示后的多能耦合地源热泵楼宇热负荷、冷负荷相关知识进行知识融合与计算，形成多能耦合地源热泵楼宇热负荷、冷负荷影响因素知识图谱；

18、通过构建的多能耦合地源热泵楼宇热负荷、冷负荷影响因素知识图谱，以楼宇热负荷、冷负荷预测影响因素为关键词，进行语义搜索，获得影响楼宇热负荷、冷负荷变化的重要因素。

19、进一步，所述步骤s3中，采用强化学习和深度学习算法结合楼宇热负荷、冷负荷历史数据与影响因素建立楼宇负荷预测模型，包括：

20、对楼宇热负荷、冷负荷历史数据和获取的影响楼宇热负荷、冷负荷变化的重要因素，并结合天气数据生成负荷样本集，并进行异常数据剔除及数据归一化预处理；

21、采用小波包分解方法对预处理后的负荷样本集数据序列进行分解获得多个子序列；

22、分别采用多种不同类型的深度学习模型对子序列进行预测叠加后获得多个模型的预测结果；

23、采用强化学习算法对多个模型的预测结果进行最优权重组合后获得楼宇热负荷、冷负荷需求预测结果。

24、进一步，所述采用多种不同类型的深度学习模型对子序列进行预测叠加后获得多个模型的预测结果，包括：将多个子序列依次输入至多种单一的深度学习模型中，再对各个深度学习模型对子序列的预测结果进行叠加后获得模型相应的预测结果，表示为：所述多种不同类型的深度学习模型至少包括循环神经网络、长短时记忆网络和门控循环单元。

25、进一步，所述采用强化学习算法对多个模型的预测结果进行最优权重组合后获得楼宇热负荷、冷负荷需求预测结果，包括：

26、建立目标状态矩阵s和动作状态矩阵a，表示为：s＝[w1,w2,…,wn]，a＝[δw,-δw]；其中，wn为第n种深度学习模型权重；δw为动作幅度大小；

27、建立损失函数l和奖励机制r，表示为：

28、

29、

30、其中，a(t)、分别为楼宇负荷真实值、预测值；n为输入样本数据点数据；

31、根据当前状态与q表值并基于ε-贪婪机制进行动作选择，选择机制如下：

32、

33、其中，为最大q值所对应的动作状态；arandom为动作状态矩阵中随机选择一个动作；δ为[0,1]的随机数；

34、计算评价函数q并更新q表，表示为：

35、qm+1(sm,am)＝qm(sm,am)+γm(r(sm,am))+λmax{qm(sm+1,am+1)-qm(sm,am)}；

36、其中，γm为学习率；λ为折扣系数；

37、重复执行q更新过程，直至迭代次数达到要求，获得的目标状态矩阵s为多个深度学习模型最优加权求和的权重矩阵；

38、根据权重矩阵计算获得楼宇热负荷、冷负荷需求预测结果，表示为：所述楼宇热负荷、冷负荷需求预测结果为系统调度周期内的负荷预测结果。

39、进一步，所述步骤s4中，基于楼宇负荷预测模型获得楼宇负荷需求，建立多能耦合地源热泵楼宇供能系统经济调度模型，并采用强化学习算法进行模型求解后获得各个子系统供能设备的优化调度策略，包括：

40、以多能耦合地源热泵楼宇功能系统的调度周期内的投资成本、生产运行成本、燃料成本构成的总费用最小为优化目标建立经济调度模型的目标函数，表示为：

41、

42、其中，ctz(t)为投资成本，包括调度周期内的地源热泵子系统、太阳能子系统、燃气锅炉子系统和制冷子系统相关设备的投资费用；cyx(t)为调度周期内的生产运行成本；crl(t)为调度周期内的燃气锅炉的燃料成本；

43、建立经济调度模型的约束条件，满足冷热负荷功率平衡约束、太阳能集热器工作时间约束、地源热泵运行约束、燃气锅炉和制冷机组的运行约束；

44、将经济调度模型转化为包含状态集合、动作集合和奖励函数的马尔科夫决策过程；所述状态集合包括t时刻的楼宇负荷、系统各设备启停、天气数据和楼宇室温；所述动作集合为t时刻系统各设备出力；奖励函数为t时刻的系统状态下执行动作获得的即时回报；

45、采用改进的ddpg算法对多能耦合地源热泵楼宇供能系统经济调度模型进行求解，获得各个子系统供能设备的优化调度策略，包括地源热泵子系统、太阳能子系统、燃气锅炉子系统和制冷子系统供能设备的出力；

46、其中，所述改进的ddpg算法包括：

47、在ddpg算法训练过程中，在输出动作上叠加衰减随机噪声，每次采取的实际动作表示为：为当前调度时段下采取的实际动作；n为服从[-1,1]范围内截断正态分布的噪声；m为算法当前迭代的事件次数；pm为当前迭代事件次数下，在actor网络输出动作值at上叠加的随机噪声n在最终采取的动作中所占的比例；

48、将环境感知和学习的比例进行调整，每与环境交互设定次数时进行一次学习；

49、在原有经验回放池dn的基础上，增加一个储存高质量st+1转移过程的经验回放池dg，设置其准入条件为比已有一定数量的训练周期总回报的平均值高出预设值，在每次训练过程中从两个经验回放池中各随机选取相同数量的样本。

50、进一步，所述改进的ddpg算法的实现流程包括：

51、确定迭代学习事件次数为m，确定调度周期时长为t；初始化原网络参数θμ、θq，初始化目标网络参数θμ′、θq′；初始化经验回放池；初始化当前k＝t＝0；

52、初始化状态s0，基于当前状态sk，根据actor原网络产生动作at＝μ(st|θμ)，并叠加噪声输出实际动作

53、执行动作观察反馈的即时奖励rt，确定下一状态st+1，储存该转移过程至原有经验回放池dn、经验回放池dg；

54、当t<t时，判断t是否为与环境交互设定次数的倍数，若满足，则从原有经验回放池dn和经验回放池dg各选取相同数量的转移过程，采用梯度下降的方式对原网络actor网络参数、critic网络参数进行更新，并以设定的更新速率让目标网络沿着原网络参数的方向更新；若不满足，则返回流程继续生成新动作at；

55、当m<m时，则返回流程继续初始化状态s0；否则，结束流程。

56、进一步，所述采用梯度下降的方式对原网络actor网络参数、critic网络参数进行更新，表示为：

57、

58、

59、其中，αμ为actor网络学习率；δj为时序差分误差；为对θμ求梯度；αq为critic网络学习率；

60、所述以设定的更新速率让目标网络沿着原网络参数的方向更新，表示为：

61、θμ′,j+1＝τθμ,j+(1-τ)θμ′,j；

62、θq′,j+1＝τθq,j+(1-τ)θq′,j；

63、其中，τ为目标网络参数的更新速率，τ＜＜1。

64、进一步，所述步骤s4之后，还包括：基于多能耦合地源热泵楼宇供能系统数字孪生模型对各个子系统供能设备的优化调度策略进行验证，判断调度策略是否满足楼宇供能系统运行的安全性、环保性和经济性指标，若满足，则进行调度策略下发；否则，重新进行调度策略的调整。

65、本发明的有益效果是：

66、本发明通过建立多能耦合地源热泵楼宇供能系统数字孪生模型；基于多能耦合地源热泵楼宇供能系统数字孪生模型和构建的多能耦合地源热泵楼宇热负荷、冷负荷影响因素知识图谱，获得影响楼宇热负荷、冷负荷变化的因素；采用强化学习和深度学习算法结合楼宇热负荷、冷负荷历史数据与影响因素建立楼宇负荷预测模型；基于楼宇负荷预测模型获得楼宇负荷需求，建立多能耦合地源热泵楼宇供能系统经济调度模型，并采用强化学习算法进行模型求解后获得各个子系统供能设备的优化调度策略；通过知识图谱刻画影响楼宇负荷变化的因素，将影响因素和历史数据结合起来，再应用强化学习和深度学习算法进行楼宇负荷预测，能够提高准确的楼宇负荷预测结果；基于楼宇负荷预测需求，建立经济调度模型，采用改进的强化学习算法进行模型求解获得调度策略，具有较高的强化学习算法模型训练速度，且保证调度策略的精确度；另一方面，通过多能耦合地源热泵组合的楼宇供能系统，能够有效利用低位热源的地源热泵机组，将地热能转化为地源热泵机组的低温热源，并结合其他能源进行辅助供能实现楼宇供热供冷，提高了能源的利用率还能保证楼宇供能；并且采用数字孪生模型建立楼宇供能系统的虚拟空间，实现虚实相映，通过数字孪生模型进行预测，基于预测做决策，最终实现智慧楼宇供能，提高了调度策略的精度。

67、其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

68、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。