用于建筑能耗的强化学习预测方法及系统、存储介质与流程

本发明涉及城市能源统计，尤其涉及用于建筑能耗的强化学习预测方法及系统、存储介质。

背景技术：

1、建筑行业是能源消耗的重要领域之一，其能耗对环境和经济均有显著影响。全球范围内，建筑物占总能源消耗的相当大比例，其中包括住宅、商业和工业建筑。这意味着有效管理和优化建筑能耗是减少温室气体排放和节省能源成本的关键因素。因此，建筑能耗预测变得至关重要，以帮助建筑业主、运营商和政府机构制定可持续的能源管理策略。能耗预测能够提前了解未来能耗趋势，有助于采取相应的节能措施，提高建筑能效，降低能源浪费，减少环境影响，并降低运营成本。

2、为了应对建筑能耗预测的挑战，研究人员和工程师们已经探索了各种预测方法。在过去的几年中，深度学习方法已经成为能耗预测领域的主流方法之一。深度学习模型，如长短时记忆网络（lstm）和卷积神经网络（cnn），可以处理时间序列数据，从而使它们成为用于建筑能耗预测的有力工具。此外，强化学习在时序预测领域具有多方面的用途，其中包括特征选择、集成模型权重分配以及直接用于预测等方面的应用。其中，深度确定性策略梯度（ddpg）是一种常用的强化学习算法，它结合了深度学习和强化学习，能够有效地学习动态环境中的最佳策略。在直接用于时序预测方面，ddpg算法使用历史数据作为状态，将建筑模型的性能指标，如损失值，作为奖励信号，从而用于建筑能耗的预测。

3、虽然深度学习和强化学习技术在应对这些复杂性方面取得了进展，但它们在某些情况下仍面临困难。例如，在出现寒潮或热浪等意外天气极端情况下，传统模型可能难以跟踪快速的能耗变化。此外，由于特殊事件或不同类型的日子引起的能耗异常进一步加大了预测的复杂性。尽管深度学习模型很擅长处理时序问题，但有时可能在立即响应快速变化方面存在滞后现象。

技术实现思路

1、针对上述现有难以处理建筑能耗预测的问题，本发明提供用于建筑能耗的强化学习预测方法及系统、存储介质，本发明结合anfis模型（模糊推理模型）和灰狼优化算法（gwo）对建筑能耗数据进行深度特征提取和优化，随后通过rd3pg模型进行强化学习预测，有效提高了建筑能耗预测的准确性和稳定性，尤其适用于处理复杂和多变的能耗数据。

2、用于建筑能耗的强化学习预测方法，包括以下步骤：

3、收集办公楼能耗数据和天气特征（如温度、湿度），形成多特征数据集并进行预处理后，基于能耗数据对多特征数据集进行标签分类，多特征数据集利用滑动时间窗口技术构建训练集和测试集；

4、本发明通过综合考虑多种影响因素来提高预测模型的准确性和全面性；建筑能耗不仅受内部因素如使用模式影响，也受外部因素如天气条件影响；对数据集进行预处理，然后基于能耗数据进行标签分类；这有助于提升数据质量和分析效率，使得模型训练更加准确；使用滑动时间窗口技术构建训练集和测试集的原理在于捕获时间序列数据的动态特性；这种技术通过在时间序列上移动窗口来获取不同时间段的数据样本，有助于强化学习模型理解和预测时间依赖性强的能耗模式；

5、通过anfis模型从训练集中进行第一次深度特征提取，基于第一次提取的深度特征使用灰狼优化算法（gwo）优化anfis模型的模糊函数和规则权重后，进行第二次深度特征提取，其中，所述深度特征包括：能耗类型概率及波动程度数值；

6、本发明使用anfis模型从训练集中提取深度特征，包括能耗类型概率及波动程度数值；这一步骤的原理是利用anfis模型的神经网络结构和模糊逻辑系统来识别和提取数据中的复杂模式和关键特征；接着，基于第一次提取的特征，使用gwo来优化anfis模型的模糊函数和规则权重；gwo优化算法的原理是通过模仿灰狼的狩猎行为，寻找最佳解，从而提高anfis模型对数据特征的适应性和预测能力；经过gwo优化后的anfis模型进行第二次深度特征提取，以进一步增强特征的准确性和代表性；提高了模型对建筑能耗动态变化的理解和预测准确性，特别是在处理复杂的数据特征时；

7、基于第二次提取的深度特征输入rd3pg模型进行第一次预测，基于第一次预测结果进行模型参数调整，获得gwo-anfis-rd3pg模型，并对测试集数据进行第二次预测，当第二次预测结果通过预设指标评估后，将gwo-anfis-rd3pg模型用于建筑能耗的预测；

8、本发明中利用经过两次优化的anfis模型提取的深度特征，输入到rd3pg模型进行第一次预测；rd3pg模型是一种强化学习算法，能够根据输入的特征对建筑能耗进行预测；基于第一次预测的结果，对rd3pg模型的参数进行调整，以获得更准确的预测结果；这是一个迭代过程，目的是不断优化模型的性能；经过参数调整后得到的gwo-anfis-rd3pg模型对测试集进行第二次预测；预测结果通过预设指标进行评估，确保模型的准确性和可靠性。

9、优选的，所述预处理包括：异常值检测与替换、时间窗口划分以及提取必要的时间戳信息；

10、异常值检测与替换旨在识别并处理数据集中的异常值，以确保数据质量和准确性；异常值可能由错误记录、设备故障等原因产生，它们可能扭曲模型的训练和预测结果；

11、时间窗口划分用于处理时间序列数据，通过在数据上滑动固定长度的窗口来捕获序列中的局部模式；这有助于模型学习和理解能耗数据的时间依赖性；

12、提取时间戳信息，时间戳信息如日期、时间点等对于理解和预测建筑能耗模式至关重要；提取这些信息有助于模型识别时间相关的趋势和周期性变化。

13、优选的，采用能耗数据通过3sigma法则设立阈值，根据相邻时间点数据的变化程度对多特征数据集进行标签分类，所述标签分类包括：稳定能耗点、下降突变点及上升突变点。

14、3sigma法则是一种统计方法，用于确定异常值的阈值；通过计算能耗数据的平均值和标准差，然后设定阈值为平均值加减三倍标准差；这有助于识别数据中的异常波动，如能耗的突然增加或减少；根据设定的阈值和相邻时间点数据的变化程度，将能耗点分类为稳定能耗点、下降突变点和上升突变点；这种分类有助于模型理解不同类型的能耗变化模式。

15、优选的，所述训练集占多特征数据集的80%，所述测试集占多特征数据集的20%。

16、在本发明的机器学习和强化学习中，将数据集分为训练集和测试集；训练集用于训练模型，而测试集用于评估模型的泛化能力和准确性；选择80%作为训练集的比例，是为了提供充足的数据进行模型学习，同时保留足够的独立数据进行有效的测试和验证；这种划分比例平衡了模型训练的需要和对模型性能的全面评估；充足的训练数据有助于模型更好地学习和适应数据的特征，而独立的测试集确保了评估结果的客观性和可靠性。

17、优选的，anfis模型将训练集通过模糊化处理，根据模糊规则和隶属度函数计算每个规则的激活程度，产生每个规则的权重，所述权重用于结合训练集获得下一个时刻的能耗类型概率，并通过模糊推理得出的下一个时刻能耗相对于当前时刻的波动程度数值。

18、anfis模型首先将训练数据通过模糊化处理，这意味着数据被转换成模糊集合，以便在模糊推理系统中使用；接着，根据模糊规则和隶属度函数计算每个规则的激活程度；这一过程包括评估数据与各个模糊规则的匹配程度；每个规则的权重由其激活程度决定；这些权重反映了不同规则在预测过程中的重要性；权重用于结合训练集数据，预测下一个时刻的能耗类型概率，以及能耗相对于当前时刻的波动程度，这种方法的效果在于能够准确预测建筑能耗的变化趋势，特别是在处理含有模糊性和不确定性的实际能耗数据时；anfis模型的结合模糊逻辑和神经网络的能力使其在建筑能耗预测中特别有效。

19、优选的，所述灰狼优化算法优化anfis模型的过程包括：

20、包围阶段，在anfis模型的初步设置中，探索模型参数的初始解空间；这是优化的初始阶段，灰狼群体随机分散在搜索空间中，寻找可能的解决方案；这个阶段模拟了灰狼群体的初次探索，目的在于初步探索模型参数的可能配置；

21、包围（surrounding）：随机生成一群灰狼作为候选解；灰狼群体中的每只灰狼尚未确定其在问题空间中的最优位置；灰狼们开始分散在搜索空间中，没有明确定位的领袖；这个阶段类似于灰狼群体的初次探索，它们尝试寻找可能的解决方案；

22、追逐阶段，随着anfis模型训练的深入，根据anfis模型在训练过程中的表现，调整和优化模糊逻辑规则和权重，使模型参数逐渐靠近最佳解； 随着anfis模型训练的深入，灰狼群体开始集中，模拟狩猎中的追逐行为；这一阶段，灰狼群体开始向表现较好的解靠拢，有助于集中搜索过程，向着更优的解靠近；

23、追逐（chasing）：在接下来的阶段中，灰狼们开始相互靠拢，模拟了狩猎中的追逐行为；一些灰狼可能被认为是领袖，具有较高的适应度，其他灰狼则会逐渐朝着领袖的位置移动；这种追逐行为有助于集中搜索过程，缩小解空间，向着更好的解靠近；

24、进攻阶段，灰狼优化算法帮助anfis模型细化和锁定最佳的模型参数配置；最后，灰狼群体集中在最佳解附近，进入进攻模式；这个阶段，灰狼群体逐渐优化位置，有助于确定全局最优解；

25、进攻（attacking）：最后，当灰狼们逐渐集中在领袖附近时，它们进入了进攻模式；在这一阶段，灰狼们距离领袖之间的位置会模拟攻击，即逐渐接近领袖；灰狼们在领袖的指引下逐渐优化自己的位置；进攻行为有助于灰狼群体向着全局最优解靠近，最终确定最佳解。

26、优选的，所述基于第二次提取的深度特征输入rd3pg模型进行第一次预测，基于第一次预测结果进行模型参数调整包括：

27、将之前预设时间范围内的历史能耗数据、天气特征、时间戳信息以及下一时刻的能耗类型概率与波动程度数值作为状态空间，输入到rd3pg模型中，这种多特征组合有助于模型更全面地理解和预测能耗变化；

28、actor网络内部的lstm（长短期记忆网络）捕获序列之间的关系输出预测动作值，并根据的值对动作进行微调，在两个不同的经验回放池里按照预设频率来回采样，循环训练直到收敛；rd3pg模型中的actor网络使用lstm（长短期记忆网络）捕获时间序列数据之间的关系，输出预测动作值；lstm能有效处理和记忆长期依赖信息，有助于更准确地预测能耗变化；根据actor网络输出的动作值对动作进行微调，同时使用两个不同的经验回放池来提高学习效率和避免过拟合；

29、根据实验误差调整模型参数，获得gwo-anfis-rd3pg模型。

30、优选的，所述预设指标包括：平均绝对值误差，平均百分比误差，均方根误差，决定系数。

31、用于建筑能耗的强化学习预测系统，包括：

32、数据采集处理模块，所述数据采集处理模块用于收集办公楼能耗数据和天气特征，形成多特征数据集并进行预处理后，基于能耗数据对多特征数据集进行标签分类，多特征数据集利用滑动时间窗口技术构建训练集和测试集；

33、模型优化模块，所述模型优化模块通过anfis模型从训练集中进行第一次深度特征提取，基于第一次提取的深度特征使用灰狼优化算法优化anfis模型的模糊函数和规则权重后，进行第二次深度特征提取，其中，所述深度特征包括：能耗类型概率及波动程度数值；

34、参数调整与应用模块，所述参数调整与应用模块用于基于第二次提取的深度特征输入rd3pg模型进行第一次预测，基于第一次预测结果进行模型参数调整，获得gwo-anfis-rd3pg模型，并对测试集数据进行第二次预测，当第二次预测结果通过预设指标评估后，将gwo-anfis-rd3pg模型用于建筑能耗的预测。

35、一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述用于建筑能耗的强化学习预测方法的步骤。

36、相比于现有技术，本发明的优点及有益效果在于：本发明旨在确保全局预测准确性上有所提升的同时，还可在突变点的预测稳定性方面表现出色的预测效果。本方法有效解决了在能耗预测领域中能耗骤变带来的预测精度下降问题。