一种基于DDPG算法的供热末端控制系统及方法

本发明涉及供热末端温度调控，特别是一种基于ddpg算法的供热末端控制系统及方法。

背景技术：

1、在我国碳达峰与碳中和目标背景下，建筑作为耗能与碳排放大户，亟待进行绿色低碳运行。目前北方地区建筑供热系统末端调节方式多采用手动调节阀，且系统运行状态不合理，造成建筑热用户的热舒适体验差，供热系统热损耗大。因此，北方地区供热末端的运行方式亟待采用更为有效地运行策略进行优化。目前建筑供热系统室温调节方法，一般是调节一次网或二次网的温度(质调节)或流量(量调节)。但上述方法适合整个集中供热小区或整栋建筑的运行调节，不适合每个供热房间供热量调节。

2、中国专利申请号cn202010286933.7公开了一种智慧供热末端阀门智能调节方法及系统，通过无线通信和有线采集器进行集中设备采集末端阀门的实时数据信息并传送给控制平台，控制平台通过阀门控制算法实时调节末端阀门的工作状态，达到二网供回水热力平衡的目的。

3、上述供热末端阀门控制方法是以供热末端回水温度为变量就行反馈调节阀门开度的，但是由于影响供热房间需热量与散热器供热量之间匹配的因素，数量多且相互耦合，回水温度并不能很直观地反映每个房间的供热温度。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于ddpg算法的供热末端控制系统及方法。

2、为达到上述目的，本发明是按照以下技术方案实施的：

3、本发明的第一个目的是要提供一种基于ddpg算法的供热末端控制系统，包括：

4、若干室温传感器，安装在供热末端的供热房间中，用于实时监测室内温度；

5、网络传输模块，与室温传感器网络连接，用于将室温传感器采集的室温数据传输至arduino模块；

6、若干电磁阀，安装在供热末端的散热器末端，用于控制供热系统末端热水变流量运行；

7、arduino模块，与若干电磁阀连接，内置ddpg算法用于根据室温传感器反馈的室温数据进行数据处理，将开关阀控制指令传递给电磁阀，以达到调控室内温度处于设定的温度区间内的目的。

8、优选地，所述网络传输模块为gprs模块。

9、进一步地，所述ddpg算法具体包括：将供热末端控制系统作为一个智能体，建立该智能体供热末端运行策略的mdp模型，mdp模型参数如下：

10、1)状态空间参数为：时间、室内温度；

11、2)动作空间为：调整执行开关阀操作阈值、控制散热器电磁阀开关阀操作的动作；

12、3)转移概率：采用采样方法对转移概率进行无偏估计；

13、4)奖励策略：为使智能体尽快学会开关阀操作，实现供热房间需热量与散热器散热量的精准匹配，根据室温变化速率的大小匹配对应的散热器散热量变化速率。

14、进一步地，所述奖励策略具体包括：

15、(1)当室内温度处于设定温度区间时，当智能体观察到室温变化速率上升至超过关阀操作阈值，智能体立刻执行关阀操作，之后智能体观察到室温变化速率趋于0时，获得奖励+1，并在下一回合继续执行当前操作；反之，如果达到某关阀操作阈值，立即关阀后室温变化速率没有趋于0，则给予智能体惩罚-1，并降低关阀操作阈值，智能体继续执行关阀操作；

16、(2)当室内温度处于设定温度区间时，当智能体观察到室温变化速率下降至超过开阀操作阈值，智能体立刻执行开阀操作，之后智能体观察到室温变化速率趋于0时，获得奖励+1，并在下一回合继续执行当前操作；反之，如果达到某开阀操作阈值，立即开阀后室温变化速率没有趋于0，则给予智能体惩罚-1，并降低开阀操作阈值，智能体继续执行开阀操作；

17、(3)当室内温度低于设定温度区间时，智能体执行开阀操作，当智能体观察到室温变化速率上升且未超过关阀操作阈值，获得奖励+1，超过关阀操作阈值则执行关阀操作；

18、(4)当室内温度高于设定温度区间时，智能体执行关阀操作，当智能体观察到室温变化速率下降且未超过开阀操作阈值，获得奖励+1，超过开阀操作阈值则执行开阀操作。

19、进一步地，所述开阀操作阈值的初始值和关阀操作阈值的初始值均为5％。

20、本发明的第二个目的是要提供一种基于ddpg算法的供热末端控制系统的控制方法，包括以下步骤：

21、室温传感器实时监测室内温度，采集到的室内温度数据通过网络传输模块传递给arduino模块，当arduino模块收到温度数据后，arduino模块利用内置的ddpg算法根据温度传感器反馈的室温数据将开关阀控制指令传递给电磁阀，最终使室内环境温度处于设定的温度区间内。

22、与现有技术相比，本发明通过ddpg算法控制散热器电磁阀的通断，实现系统末端热水变流量运行，达到调控室内温度的目的；使供热量与末端用户的热需求相匹配，能够减少供热系统的热损耗，提升热用户的热舒适度。

技术特征：

1.一种基于ddpg算法的供热末端控制系统，其特征在于，包括：

2.根据权利要求1所述的基于ddpg算法的供热末端控制系统，其特征在于：所述网络传输模块为gprs模块。

3.根据权利要求1所述的基于ddpg算法的供热末端控制系统，其特征在于，所述ddpg算法具体包括：将供热末端控制系统作为一个智能体，建立该智能体供热末端运行策略的mdp模型，mdp模型参数如下：

4.根据权利要求3所述的基于ddpg算法的供热末端控制系统，其特征在于，所述奖励策略具体包括：

5.根据权利要求4所述的基于ddpg算法的供热末端控制系统，其特征在于：所述开阀操作阈值的初始值和关阀操作阈值的初始值均为5％。

6.一种如权利要求1-5任一所述的基于ddpg算法的供热末端控制系统的控制方法，其特征在于，包括以下步骤：

技术总结
本发明属于供热末端温度调控技术领域，具体公开了一种基于DDPG算法的供热末端控制系统及方法，包括若干室温传感器、网络传输模块、Arduino模块、若干电磁阀；室温传感器实时监测室内温度，采集到的室内温度数据通过网络传输模块传递给Arduino模块，当Arduino模块收到温度数据后，Arduino模块利用内置的DDPG算法根据温度传感器反馈的室温数据将开关阀控制指令传递给电磁阀，最终使室内环境温度处于设定的温度区间内。与现有技术相比，本发明通过DDPG算法控制散热器电磁阀的通断，实现系统末端热水变流量运行，达到调控室内温度的目的；使供热量与末端用户的热需求相匹配，能够减少供热系统的热损耗，提升热用户的热舒适度。

技术研发人员：李明柱,钟玮琦,杨竞刚,程丹,陈铤锴,王梓玮
受保护的技术使用者：吉林建筑大学
技术研发日：
技术公布日：2024/2/8