一种室内暖通控制方法、系统及介质

本发明涉及为一种室内暖通控制方法、系统及介质，具体涉及一种计算机视觉和暖通空调控制，属于人工智能及图像处理。

背景技术：

1、全球建筑领域能耗占到总能耗的40%左右，其中约有一半用于建筑空调。必须减少建筑领域能耗。而人员开窗行为是影响暖通控制的最主要的因素，在不使用智能化控制的情况下，建筑内人员频繁地开窗行为，会急剧增加能源消耗和运行成本。

技术实现思路

1、为克服上述现有技术的不足，本发明提供一种室内暖通控制方法、系统及介质，用以根据室内环境参数、窗户打开程度和室内人员的行为对暖通系统进行控制调节，实现节能减排，提高室内热舒适度。

2、一方面，本发明提供一种室内暖通控制方法，包括：

3、获取室内视频数据及环境参数；

4、将所述视频数据输入训练好的室内窗户分割模型iws-net，得到窗户分割掩膜图像，并根据所述窗户分割掩膜图像，计算得到室内窗户打开程度；

5、计算与所述视频数据对应的逆光流序列及人体骨骼关键点序列，并将所述视频数据、逆光流序列及人体骨骼关键点序列输入训练好的室内人员行为识别模型idarm，得到室内人员热舒适行为；

6、根据得到的室内窗户打开程度、室内人员热舒适行为及所述环境参数，确定室内暖通控制调整策略。

7、进一步地，所述视频数据通过摄像机获取。摄像机可放置于室内的顶部，确保其能够清晰地拍摄到室内全局和窗户的画面，并测量其与检测窗户的距离、角度以及自身的俯仰角、偏航角和滚转角。

8、具体地，按照一定频率对摄像机获取的视频进行抽样，获取相应的视频帧，再将所述视频帧输入室内窗户分割模型iws-net进行窗户分割。

9、进一步地，所述环境参数通过室内热舒适度测量仪获取。室内热舒适度测量仪主要获取室内的空气温度、相对湿度、空气流速以及二氧化碳浓度。

10、可选地，使用循环全对域转换器raft从摄像机获取的rgb视频帧序列计算出相应的逆光流序列，同时使用mediapipe库对视频中的每一帧图像进行骨骼关键点检测，形成人体骨骼关键点序列。

11、进一步地，计算逆光流序列的操作如下：

12、（1）选取视频帧序列相邻两帧记为 和，并将其宽和高填充至8的倍数；

13、（2）在将和进行交换后，作为预训练循环全对域转换器raft的输入，得到逆光流图；

14、（3）将逆光流图中数值的方向取反，并重复（1），直至视频结束。

15、进一步地，计算每一帧中的人体骨骼关键点的操作如下：

16、（1）将视频帧序列逐帧分离；

17、（2）使用python中mediapipe，对每一帧图像检测人体骨骼关键点；

18、（3）将（2）中获得的33个人体骨骼关键点进行存储，并重复（1），直至结束。

19、作为进一步的技术方案，所述室内窗户分割模型iws-net的训练进一步包括：

20、采集室内窗户的图像，对所述图像进行预处理并形成训练集；

21、将所述训练集输入构建的室内窗户分割模型iws-net进行训练，得到满足精度要求的模型参数；

22、将所述模型参数加载到室内窗户分割模型iws-net，得到训练好的室内窗户分割模型iws-net。

23、进一步地，采集室内窗户的图像后，对所述图像使用labelme进行标注，将图像中的墙壁、窗户以及窗沿进行分割，其余部分划分为背景类。将所有数据按照的比例分为测试集和训练集。

24、作为进一步的技术方案，所述室内窗户分割模型iws-net的运算过程包括：

25、利用由5个特征提取模块顺序组成的主干网络，对输入的室内窗户图像进行特征提取，并保存每个特征提取模块的输出；

26、利用顺序连接的3个注意力模块，对最后一个特征提取模块的输出进行背景特征抑制和所需分割部分特征增强；

27、利用重建模块对最后一个注意力模块的输出及每个特征提取模块的输出进行重建，得到墙壁、窗户、窗沿以及背景的掩膜图像。

28、上述技术方案采用iws-net深度学习模型进行室内窗户分割，具有如下特点：（1）采用深度可分离卷积和空洞卷积计算方式，在扩大了感受野的同时减少运算参数，提高计算速度与分割精度；（2）采用多通道卷积的方式，利用不同的卷积核提取图像特征，增加了特征的多样性，提高了模型的表达能力，减少了模型过拟合的风险，加速模型训练和推理过程；（3）采用了注意力机制，抑制图像中的背景信息，增强所需分割部分的特征信息，提高iws-net对感兴趣区域的关注程度，从而提高分割的准确性和鲁棒性。

29、进一步地，所述重建模块包括5个上采样模块，其中第个模块的输入是由第个模块的输出和第个特征提取模块的输出组成。

30、作为进一步的技术方案，所述方法还包括：

31、在得到墙壁、窗户、窗沿以及背景的掩膜图像后，提取窗户图像，并对提取的窗户图像依次进行滤波、阈值分割和开运算处理；

32、获取处理后窗户图像上的若干最小内接矩形及每一矩形的顶点坐标及面积；

33、根据获取的矩形数量、每一矩形的顶点坐标及面积，计算推拉窗开口比例。

34、具体地，利用窗户的掩膜将图像中的窗户提取出来，并进行高斯滤波，去除噪声；再利用阈值分割，生成二值图像；接着将二值图像进行开运算，去除二值图像上的毛点。在获得的图像上寻找最小内接矩形，统计矩形数量，并获取其四个顶点的坐标。最后根据矩形数量、四个顶点坐标以及面积，计算推拉窗开口比例。

35、作为进一步的技术方案，所述方法还包括：

36、在得到墙壁、窗户、窗沿以及背景的掩膜图像后，利用霍夫线检测，获取窗沿上端的直线和窗沿下端的直线；

37、计算两条直线的斜率，并根据斜率计算出两条直线的夹角；

38、利用深度神经网络模型dnn，结合拍摄装置与窗户的相对距离和角度，以及拍摄装置的俯仰角、偏航角和滚转角，得到外平开窗打开的实际角度。

39、作为进一步的技术方案，所述室内人员行为识别模型idarm的训练进一步包括：

40、获取室内人员热舒适行为的视频数据，并构建训练集；

41、将所述训练集输入构建的室内人员行为识别模型idarm进行训练，得到满足精度要求的模型参数；

42、将所述模型参数加载到室内人员行为识别模型idarm，得到训练好的室内人员行为识别模型idarm。

43、进一步地，构建训练集包括对多名受试者进行以下6种动作的视频采集：①坐；②走；③用手扇风；④抖衣服；⑤搓手；⑥抱肩，其中，每段视频长3至5秒，帧率为30fps；将收集到的视频按照1：1的比例分为训练集和测试集。

44、作为进一步的技术方案，所述室内人员行为识别模型idarm的运算过程包括：

45、将视频帧序列和逆光流序列分别进行特征提取，得到视频特征和逆光流特征；

46、将视频特征、逆光流特征和位置编码通过编码模块encoder，进行数据增强，得到增强后的视频特征；

47、将增强后的视频特征、逆光流特征和人体骨骼关键点序列作为解码模块decoder的输入，输出光流查询和内容查询；

48、将光流查询和内容查询进行多头线性变化，并通过全连接网络和softmax函数获得与热舒适行为相关动作对应的置信度。

49、作为进一步的技术方案，所述方法还包括：

50、构建数据张量，其中， t是空气温度， h是相对湿度， v是空气流速， c是二氧化碳浓度， l是窗户打开程度， a是室内人员做出的行为；

51、根据所述数据张量，利用室内温湿度调节控制算法获取最佳调控策略；

52、根据所述最佳调控策略，调节室内供暖、通风及空气调节控制系统。

53、另一方面，本发明提供一种室内暖通控制系统，包括：

54、获取模块，用于获取室内视频数据及环境参数；

55、窗户打开程度计算模块，用于将所述视频数据输入训练好的室内窗户分割模型iws-net，得到窗户分割掩膜图像，并根据所述窗户分割掩膜图像，计算得到室内窗户打开程度；

56、室内人员热舒适行为识别模块，用于计算与所述视频数据对应的逆光流序列及人体骨骼关键点序列，并将所述视频数据、逆光流序列及人体骨骼关键点序列输入训练好的室内人员行为识别模型idarm，得到室内人员热舒适行为；

57、室内暖通控制模块，用于根据得到的室内窗户打开程度、室内人员热舒适行为及所述环境参数，确定室内暖通控制调整策略。

58、本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现所述室内暖通控制方法的步骤。

59、与现有技术相比，本发明的有益效果在于：

60、（1）本发明利用室内窗户图像数据训练iws-net模型，实现对室内窗户图像中墙壁、窗户、窗沿和背景的分割，通过推拉窗开口比例算法和外平开窗打开角度算法计算窗户打开程度。

61、（2）本发明通过视频帧序列，计算逆光流序列和人体骨骼关键点序列，并将视频帧序列、逆光流序列和人体骨骼关键点序列进行整合，通过室内人员行为识别模型idarm，实现端到端地识别室内人员做出的与热舒适相关的6种行为。

62、（3）本发明通过室内温、湿度调节控制算法，根据最佳调控策略控制暖通系统，平衡人员的热舒适度和建筑能源消耗，避免不必要的能源浪费，从而实现能源节约，同时提高了居住者的生产和生活质量，提高了建筑设备的可靠性和使用效率，减少了设备的故障率和维护成本，降低设备维护的工作量和费用。