一种基于视频分析的风扇运行状态识别算法和装置的制作方法

本发明涉及变电站、换电站设施领域，具体为一种基于视频分析的风扇运行状态识别算法和装置。

背景技术：

1、变电站、换流站中有许多设备需要使用风扇进行散热，因此能够实时检测风扇设备的运行状态对变电站和换流站系统的正常运行具有重要作用。

2、但是现有技术中的，风扇检测设备具有如下缺点：

3、1.基于传感器硬件，增加硬件成本，对于存量风扇设备改造成本巨大；

4、2.对风扇状态的监控位于风扇端，缺乏系统冗余。

5、经检所，专利公布号cn212657024u，名为《一种风扇状态检测电路》的专利，提出了一种基于硬件检测电路的方法。该方案使用控制芯片测量风扇接口的电压值，并通过比较实际电压与风扇的相关参数，计算出风扇的转速，从而判断风扇的运行状态。

6、专利公布号cn113606176b，名为《一种风扇运行状态检测方法和装置》，的专利，提出了一种基于传感器技术方案。该方案的步骤为：

7、1.通过基板控制器向风扇发出转速控制信号

8、2.通过风扇控制器获取风扇转速传感器的信号，并将信号频率转换为风扇转速通过比较两个转速的差值判断风扇是否正常运行。

9、《一种风扇状态检测电路》的缺点是使用风扇输入端的电压值本身来监测风扇的运行状态，无法真正降低系统误差。实现对风扇状态的监控就是为了及时发现风扇的异常状态。该方案直接使用风扇的电压信号，如果风扇设备出现异常，就不能检测到，陷入自己监控自己的矛盾。可能的失败原因包括：电压传感器故障、电压正常但是风扇转轴故障。《一种风扇运行状态检测方法和装置》的缺点是需要风扇带有转速传感器，对于存量的风扇设备，改造成本较高。另一方面，监测系统(转速传感器)依然与风扇设备耦合，不能满足更严格的可靠性要求。比如，系统期望当风扇异常停止时能报警，但是如果风扇异常，很有可能转速传感器或者风扇控制器也会同时异常，则可能不会发出警报。

10、但是，上述两个技术方案都是基于专用电路和传感器的方案，依然不能很好地解决上述技术两个技术问题，为此，本技术提出了一种基于视频分析的方案，能够使用摄像机获取风扇的视频数据，并通过对视频数据的分析实现对风扇运行状态的实时监测，有效降低了企业成本，而且，系统为独立部署，操作简单方便。

技术实现思路

1、为解决上述技术问题，本发明提出了一种基于视频分析的风扇运行状态识别算法和装置，通过采用基于深度学习算法，通过采集视频数据，实时分析变电站、换流站中的风扇的运行状态，并对异常状态发出报警，提高变电站、换流站系统的可靠性。

2、为实现上述目的，本发明采取的技术方案是：

3、一种基于视频分析的风扇运行状态识别算法，其特征在于：包括如下步骤：

4、s1：训练风扇检测模型，训练步骤为：

5、s11：使用摄像机随机采集变电站和换流站中风扇的图片，通过人工标注图片中每个风扇的外接矩形框；

6、s12：构造一个yolov5目标检测网络模型，网络检测的类别数为1；

7、s13：把步骤s11中标注的数据输入步骤s12中的yolov5目标检测网络模型，使用随机梯度下降法训练yolov5目标检测网络模型，直到yolov5目标检测网络模型收敛；

8、s2：训练风扇状态分类模型，训练步骤为：

9、s21：使用摄像机随机采集风扇运转的视频，标记每个视频为运转，为视频集1，再随机采集风扇停止的视频，标记每个视频为停止，为视频集2，合并上述2个视频集为总视频集；

10、s22：对于步骤s21中的每个视频，将其转换为一组连续图像帧序列,使用对应视频的标签标记每组图像帧序列；

11、s23：对步骤s22中的每组图像帧序列，取第一帧图像，使用前述的风扇检测模型检测出风扇的外接矩形；

12、s24：使用步骤s23中的风扇的外接矩形，在步骤s22中的图像帧序列上的每张图像上裁剪出子图像，并把该组内所有子图像按原有的顺序排列，形成新的子图像序列，并使用对应的图像帧序列的标签标记新的子图像序列,步骤s22中的每个图像帧序列都对应一个子图像序列；

13、s25：对步骤s24中所有子图像序列，令i等于1，从第i张图像开始，连续取n张图像，把每张图像缩放到128*128，再对图像rgb每个通道除255，得到长度为n的归一化图像序列,这个图像序列连同对应的标签作为一个训练样本；

14、s26：令i等于2、3...，重复步骤s25，直到无法获取连续n张图像为止，把所有训练样本合并为训练样本集；

15、s27：构造一个基于卷积长短记忆模型的图像二分类模型；

16、s28：把步骤s26中的训练样本集输入步骤s27中的图像二分类模型，使用随机梯度下降法训练图像二分类模型，直到图像二分类模型收敛。

17、作为本发明的优选技术方案：在步骤s1中，所述风扇检测模型在训练一次之后，即可部署在所有风扇定位模块中。

18、上述结构中：本发明的方法能够实现风扇检测模型的训练以及风扇状态分类模型的训练，通过设置的两个模型能够实现风扇的位置由模型自动检测获取，不需人工事先标定，只在关键帧上进行风扇检测，有效降低了计算量。

19、还能够根据风扇位置，在连续的视频帧序列上截取目标风扇区域，并拼接成一个只有目标风扇的连续子图像序列。使用神经网络模型(包括三维卷积网络,长短记忆网络,变换器网络等一系列不同架构的神经网络模型，唯一的要求是该模型的输入为长度为n的图像序列，每个图像的尺寸都相同)对上述子图像序列进行分类，判断在该时间间隔内风扇是否运转，从而实现对风扇状态信息的识别。

20、本发明能够在视频关键帧上检测到多个风扇的位置，通过读取视频数据，并转换为连续图像帧，根据检测到的风扇位置，在连续的视频帧序列上截取目标风扇区域，并拼接成一个只有目标风扇的连续子图像序列，再使用神经网络模型，输入每个风扇的子图像序列，直接输出该风扇的运行状态。

21、一种基于视频分析的风扇运行状态识别算法的装置，其特征在于：包括视频采集模块、风扇定位模块以及状态识别模块，所述视频采集模块分别连接风扇定位模块和状态识别模块，所述风扇定位模块连接状态识别模块，所述视频采集模块用于采集风扇的视频数据，并将其作为风扇定位模块和状态识别模块的输入，所述风扇定位模块从输入的图像中识别每个风扇的位置，所述状态识别模块读取风扇的位置，并从连续视频帧序列中识别每个风扇的状态信息。

22、作为本发明的优选技术方案：所述视屏采集模块包括架设在风扇前方的摄像机、视频分析服务器以及用于连接摄像机与服务器的网络线材和配套设备，所述摄像机采集到视频流数据，并传输到视频分析服务器，所述视频分析服务器把视频流转换为连续的图像序列分别输入到风扇定位模块和状态识别模块中，所述风扇定位模块读取图像序列中的关键帧，所述状态识别模块读取图像序列中的帧序列。

23、作为本发明的优选技术方案：所述摄像机为固定式摄像机或转动式球机，当摄像机为固定式摄像机时，所述风扇定位模块读取的关键帧为图像序列的第一帧，当摄像机为转动式球机时，所述风扇定位模块读取的关键帧为转动式球机最近一次停止转动后的采集的图像序列的第一帧。

24、作为本发明的优选技术方案：将所述关键帧缩放到640*640，再对图像rgb每个通道除255，得到归一化的关键帧，把归一化的关键帧输入到风扇检测模型中，保留所有置信度大于设定阈值的结果，即得到关键帧上的所有风扇及其位置坐标。

25、作为本发明的优选技术方案：所述摄像机在架设时，能够使得所有风扇在视频画面终点占比不低于25％，且各方向上的偏转角度不大于30度。

26、作为本发明的优选技术方案：所述摄像机的最低分辨率为1280*720，最低帧率为25帧/秒。

27、作为本发明的优选技术方案：所述视频分析服务器为单个计算机或分布式计算机系统以及基于该计算机系统硬件的必要的计算机软件系统。

28、作为本发明的优选技术方案：所述状态识别模块的识别流程如下：

29、a、从所述视频采集模块中读取视频帧序列f＝[f0,f1,f2,...,fn]，以采样间隔r对视频帧序列进行时间维度的均匀采样，得到fs＝[f0,f1*r,f2*r,...,fm*r]，作为待检测帧数组；

30、b、对上述帧数组fs进行分组，每组包含fs中连续的视频帧，每组的大小都是n，顺序不变，且互不重叠，则第i组为

31、c、对每个视频组根据风扇定位模块输出的风扇位置，对每个风扇，从该组中每一个视频帧中截取每一个风扇，保存为单独的子图，则第j个风扇在第i个视频帧数组中的子图像序列为

32、对每一组中的每一个风扇子图像序列将其中的每一帧子图像都调整到统一的尺寸，并作必要预处理后输入训练好的风扇状态分类模型，输出风扇的状态是否为运行，即该风扇在这组视频帧对应的时间内的运行状态。

33、上述结构中：基于视频分析的风扇运行状态识别算法的装置包含有三个部分，分别为视频采集模块、风扇定位模块以及状态识别模块。其中，视频采集模块用于采集风扇的视频数据，作为风扇定位模块和状态识别模块的输入。风扇定位模块从输入的图像中识别每个风扇的位置。状态识别模块读取风扇的位置，并从连续视频帧序列中识别每个风扇的运行状态。

34、视频采集模块的核心为架设在风扇前方的摄像机、一台视频分析服务器，以及连接摄像机与服务器的网络线材和设备。摄像机可以复用变电站、换流站中已有的摄像机，也可以使用专用的摄像机，只需达到最低1280*720的分辨率和25帧/秒的帧率即可。摄像机的架设条件须满足使得所有风扇在视频画面终点占比不低于25％，且各方向上的偏转角度不大于30度。视频分析服务器不特指某一型号的计算机，可以是单个计算机或者是一个分布式计算机系统，以及基于该计算机硬件的必要的计算机软件系统。摄像机采集到视频流数据，传输到视频分析服务器，服务器把视频流转换为连续的图像序列。

35、风扇定位模块读取图像序列中的关键帧，对于固定式摄像机，关键帧一般是图像序列的第一帧；对于球机这类可以转动的摄像机，关键帧是摄像机最近一次停止转动后的采集的图像序列的第一帧。

36、把上述关键帧缩放到640*640，再对图像rgb每个通道除255，得到归一化的关键帧。把归一化关键帧输入上述风扇检测模型，保留所有置信度大于设定阈值的结果，即得到关键帧上的所有风扇及其位置坐标。

37、状态识别模块的流程：

38、a)从视频采集模块中读取视频帧序列f＝[f0,f1,f2,...,fn]，以采样间隔r对视频帧序列进行时间维度的均匀采样，得到fs＝[f0,f1*r,f2*r,...,fm*r]，作为待检测帧数组；

39、b)对上述帧数组fs进行分组，每组包含fs中连续的视频帧，每组的大小都是n，顺序不变，且互不重叠，则第i组为

40、c)对每个视频组根据风扇定位模块输出的风扇位置，对每个风扇，从该组中每一个视频帧中截取每一个风扇，保存为单独的子图，则第j个风扇在第i个视频帧数组中的子图像序列为

41、对每一组中的每一个风扇子图像序列将其中的每一帧子图像都调整到统一的尺寸，并作必要预处理后输入训练好的风扇状态分类模型，输出风扇的状态是否为运行，即该风扇在这组视频帧对应的时间内的运行状态。

42、与现有技术相比，本发明的有益效果为：

43、本技术通过使用摄像机获取风扇的视频数据，并通过对视频数据的分析实现对风扇运行状态的实时监测。

44、本技术中风扇的位置由算法自动检测获取，不需人工事先标定。只在关键帧上进行风扇检测，降低计算量。

45、本技术能够根据风扇位置，在连续的视频帧序列上截取目标风扇区域，并拼接成一个只有目标风扇的连续子图像序列。使用神经网络模型(包括三维卷积网络,长短记忆网络,变换器网络等一系列不同架构的神经网络模型，唯一的要求是该模型的输入为长度为n的图像序列，每个图像的尺寸都相同)对上述子图像序列进行分类，判断在该时间间隔内风扇是否运转。

46、本发明基于视频数据分析，有效实现了对风扇运行状态的实时监控。系统独立部署，不受风扇型号的限制，无需替换已有的风扇。