一种数据中心空调系统运行方法与流程

本发明涉及空调系统运行调控领域，尤其涉及一种基于深度强化学习的数据中心空调系统运行方法。

背景技术：

1、近年来，在保证数据中心安全稳定运行的同时，降低空调系统能耗是研究的热点。目前，已有诸多学者开展了空调系统运行优化问题的研究。传统的控制方法如基于规则的控制(rule-based control，rbc)方法，确定空调系统的监督级设定目标，例如各种温度、频率及流量设定目标。规则通常是静态的，依赖人类专家知识建立合理的规则库。pid控制由于控制原理简单、成本低廉等特点而被广泛应用。但是利用pid控制只能做到温度的控制，无法进行优化达到节能的目的。智能控制方法也是数据中心空调系统控制中常用的方法，如模型预测控制、遗传算法等，但是此类方法只有在模型准确性较高的情况下能够有效和实时运行。数据中心水冷空调系统是建立在机械冷却、电气和建筑热动力学知识基础上的近似的系统模型，难以建立精确的系统模型，因此以上方法无法取得理想的控制效果。

2、这里的陈述仅提供与本发明有关的背景技术，而并不必然地构成现有技术。

技术实现思路

1、本发明的目的在于提供一种数据中心空调系统运行方法，在用电高峰时段降低数据中心空调负荷，优化资源配置和缓解电力供需矛盾。

2、为了达到上述目的，本发明提供一种数据中心空调系统运行方法，包含以下步骤：

3、步骤s1、根据响应特性指标分析，建立数据中心水冷空调系统负荷响应潜力数学模型；

4、步骤s2、获取数据中心水冷空调系统所处环境的实时状态，将数据中心水冷空调系统参与需求响应过程描述为马尔可夫决策过程；

5、步骤s3、基于马尔可夫决策过程得到的状态空间、动作空间以及奖励函数构建水冷空调系统需求响应的损失函数；

6、步骤s4、利用梯度下降法迭代更新损失函数中的当前q网络中的权重参数，得到最优动作集合，令数据中心水冷空调系统采用最优动作运行。

7、所述数据中心水冷空调系统负荷响应潜力数学模型包含：目标函数模型和约束条件模型；所述约束条件模型包含：降负荷约束模型、数据中心温度变化约束模型和机柜出口温度约束模型；

8、所述目标函数模型定义为：

9、

10、式中，ppot为需求响应潜力，kw；为机柜进风区域温度超过规定范围的惩罚；为机柜出口温度超过热阈值的惩罚；为需求响应的开始与结束时间，min；

11、所述降负荷约束模型定义为：

12、

13、式中，p(t)为t时刻数据中心水冷空调系统原始运行功率，即空调系统的负荷基线，kw；phvac(t)为t时刻数据中心水冷空调系统参与需求响应时的实际能耗，kw；

14、所述数据中心温度变化约束模型定义为：

15、热量平衡表达式：

16、qr＝qit-qhvac

17、式中，qr为机房内获得的热量；qit为it设备产生的热负荷；qhvac为空调系统供冷量；

18、数据中心机房温度变化模型：

19、ρa·vk·ca·dt(t)＝qit·dt-qhvac·dt

20、式中，ρa·vk·ca·dt(t)为dt时段内机房获得的热量；ρa为空气密度；vk为室内体积；ca为空气比热容；t(t)为t时段内机房温度；

21、所述机柜出口温度约束模型定义为：

22、

23、式中，tminmax为系统参与需求响应调控后机柜出口温度范围的上下限；为预制冷开始时间，需求响应过程中预制冷时间为若不采用预制冷策略，则

24、所述马尔可夫决策过程包含：构建状态空间、动作空间以及奖励函数，实现预制冷需求响应最优策略；

25、所述状态空间包含：

26、式中，ptotal为数据中心水冷空调系统负荷，为机柜进风区域温度，为机柜出风口温度，teo为冷冻水供水温度，dp为冷冻水泵压差，受控制策略动作的影响，tp为提前制冷时长，te为需求响应时长，sm为时间序列部分，包含日期序列和小时序列信息，定义为：其中，表示每周七天的时间序列，表示每天的时间序列；

27、所述动作空间包含：冷冻水供水温度及冷冻水泵压差两个离散化动作，设置动作为：

28、a＝[a1,a2...,an]

29、

30、式中，a为动作空间集合，ai中的与dpi分别为冷冻水供水温度与冷冻水泵压差；

31、所述奖励函数包含：

32、

33、

34、式中，β1、β2为权重因子；ppot为水冷空调系统运行负荷削减量，kw；为超出规定机柜进风区域温度区间的惩罚函数；为机柜进风温度；tlow与tup分别为机柜进风温度的下限值与上限值；γ为智能体正向奖励；为机柜出口温度过热阈值。

35、计算损失值l的损失函数为：

36、

37、其中，at+1为当前q网络中先找出最大q值对应的动作，rt为下一个状态返回的奖励，α为折扣系数，st+1为下一个状态，at+1为动作空间中选取的下一个动作，θ和θ′分别为当前q网络与目标q网络的权重参数。

38、本发明通过以预制冷的方式，使数据中心水冷空调系统参与需求响应，将深度强化学习与需求响应相结合，最终实现了在用电高峰时段降低数据中心空调负荷的目的，为优化资源配置和缓解电力供需矛盾提供了有效的解决方案。

技术特征：

1.一种数据中心空调系统运行方法，其特征在于，包含以下步骤：

2.如权利要求1所述的数据中心空调系统运行方法，其特征在于，所述数据中心水冷空调系统负荷响应潜力数学模型包含：目标函数模型和约束条件模型；所述约束条件模型包含：降负荷约束模型、数据中心温度变化约束模型和机柜出口温度约束模型；

3.如权利要求2所述的数据中心空调系统运行方法，其特征在于，所述马尔可夫决策过程包含：构建状态空间、动作空间以及奖励函数，实现预制冷需求响应最优策略；

4.如权利要求3所述的数据中心空调系统运行方法，其特征在于，计算损失值l的损失函数为：

技术总结
本发明提供一种数据中心空调系统运行方法，根据响应特性指标分析，建立数据中心水冷空调系统负荷响应潜力数学模型，获取数据中心水冷空调系统所处环境的实时状态，将数据中心水冷空调系统参与需求响应过程描述为马尔可夫决策过程，基于马尔可夫决策过程得到的状态空间、动作空间以及奖励函数构建水冷空调系统需求响应的损失函数，利用梯度下降法迭代更新损失函数中的当前Q网络中的权重参数，得到最优动作集合，令数据中心水冷空调系统采用最优动作运行。本发明在用电高峰时段降低数据中心空调负荷，优化资源配置和缓解电力供需矛盾。

技术研发人员：李逸超,胥栋,张艳燕,徐刚,李赟,赵静,丁骎,杜佳玮,林巧月,乔嘉诚
受保护的技术使用者：国网上海市电力公司
技术研发日：
技术公布日：2024/1/13