一种基于计算机视觉的巨型水轮机组风闸投退检测方法与流程

本发明属于水力发电，具体涉及一种基于计算机视觉的巨型水轮机组风闸投退检测方法。

背景技术：

1、巨型水电站机组机械制动系统均安装有制动风闸，每台制动风闸配备一行程开关。水电站计算机监控系统通过采集行程开关的动作情况间接判断制动风闸投退状态。但是在机组实际运行过程中，监控系统出现过警告机械制动系统状态不明的状况，运行维护人员在风闸区域巡检时也发现过监控系统采集的风闸投退状态与现场实际不一致的的情况。究其原因为制动风闸行程开关损坏、某个或多个制动风闸实际未动作到位，但监控系统未采集单个制动风闸投退状态。遇到此类缺陷，需要维护人员花费较长时间逐一对风闸进行检查，在某些情况下，留给维护人员的故障处理时间很短，同时发电机风洞内环境恶劣，导致此类缺陷处理难度极大。

2、目前，基于深度学习的目标检测网络主要分为两步检测网络和单步检测网络。两步检测网络主要包括r-cnn系列，此类网络将目标检测任务分成两步：首先生成包含疑似目标区域的候选框，然后提取候选框中图像的特征，再对候选框包含的目标种类进行判断。单步检测网络则通过一次特征提取，直接得出目标的位置和置信度，比较典型的单步检测法有yolo、yolo v3、ssd等。其中，yolo v3网络检测效果较好、检测速度较快，被广泛运用于各类安防、工控场景。但此类基于yolo v3的方法往往需要大量的数据集，而且在构建神经网络模型时缺乏对应用场景的适配，导致应用难度较高、检测效果存在一定瓶颈，特别是在对于检测差别较小的目标上，很难达到较好效果。

3、基于此，本发明针对水电厂制动风闸投退检测这一较为精密的应用场景对yolov3网络进行了改进，提出了一种基于计算机视觉的巨型水轮机组风闸投退检测方法，其拥有较高的检测精度，能起到智能化实时检测并跟踪风闸状态的效果，为运行维护人员对风闸运行状态的判断提供极大的便利。

技术实现思路

1、本发明的目的是为了解决采用接触式行程开关进行风闸投退检测易导致行程开关损坏从而造成水电站计算机监控系统采集风闸状态失败的问题，而提供的一种基于计算机视觉的巨型水轮机组风闸投退检测方法。

2、为了解决上述技术问题，本发明采用的技术方案如下：

3、一种基于计算机视觉的巨型水轮机组风闸投退检测方法，它包括以下步骤：

4、步骤s1：采集制动风闸图像；

5、步骤s2：对采集的制动风闸图像进行标注并制作数据集；

6、步骤s3：构建基于yolo v3网络的风闸投退检测神经网络；

7、步骤s4：设置超参数、利用数据集训练神经网络；

8、步骤s5：使用训练好的神经网络预测风闸的投退状况。

9、在步骤s1中，从多角度、多尺度采集机组制动风闸图像，去除重复的、过曝的、模糊的图像，保留n帧图像；

10、在步骤s2中，包括以下步骤：

11、步骤s2-1：对保留的n帧制动风闸图像进行标注，包含标注区域的左上角坐标(xi,yi)、宽wi、高hi以及标注区域的类别包括投入和退出两种状态；

12、步骤s2-2：对于标注完成的n帧风闸图像，以随机划分的方式按比例选取一定图像作为训练验证集，其余图像作为测试集，同样的，在训练验证集中以随机划分的方式按比例生成训练集和验证集。

13、在步骤3中，如图3所示，所构建的基于yolo v3网络的风闸投退检测神经网络具体为：

14、图像初始化特征提取层→骨架网络特征提取模块第一层→骨架网络特征提取模块第二层→骨架网络特征提取模块第三层→骨架网络特征提取模块第四层→骨架网络特征提取模块第五层→预测网络特征提取模块第一层→第一次上采样→第一次特征拼接→第一个多尺度特征融合模块→预测网络特征提取模块第二层→第二次上采样→第二次特征拼接→第二个多尺度特征融合模块→预测网络特征提取模块第三层；

15、预测网络特征提取模块第一层、预测网络特征提取模块第二层、预测网络特征提取模块第三层→解码层→结果优化层)。

16、使用所构建的基于yolo v3网络的风闸投退检测神经网络进行风闸投退检测时使用时采用以下步骤：

17、步骤1)使用图像初始化特征提取层对于采集到的风闸图像进行初步特征提取；

18、步骤2)使用骨架网络，包含骨架网络特征提取模块第一层、骨架网络特征提取模块第二层、骨架网络特征提取模块第三层、骨架网络特征提取模块第四层、骨架网络特征提取模块第五层进行深层次的特征提取，获得多个尺度的图像特征；

19、步骤3)使用预测网络特征提取模块第一层对骨架网络特征提取模块第五层提取的特征进行预测；

20、步骤4)对预测网络特征提取模块第一层获得的图像特征进行上采样，并与骨架网络特征提取模块第四层提取的特征进行拼接，达到融合不同尺度图像特征的目的；使用预测网络特征提取模块第二层对其进行预测；

21、步骤5)对预测网络特征提取模块第二层提取的特征进行上采样，并与骨架网络特征提取模块第三层进行特征拼接；使用预测网络特征提取模块第三层对其进行预测；

22、步骤6)将预测网络特征提取模块第一层、预测网络特征提取模块第二层、预测网络特征提取模块第三层获得的特征使用解码层进行解码，获得候选框位置信息、目标类别置信度；

23、步骤7)使用结果优化层对解码的候选框位置信息、目标类别置信度进行处理，结合历史检测经验获得优化的候选框位置信息、目标类别置信度。

24、在步骤s4中，包括以下步骤：

25、s4-1：将在其它数据集预训练的darknet-53网络的权重加载进入骨架网络，并冻结该部分权重；

26、s4-2：设置训练所需超参数，例如epoch、学习率、batch_size，设置训练优化器，设置损失函数，该网络的损失函数公式设置如下所示：

27、loss＝bceloss(x,y)+(1-k)mseloss(w,h)+bceloss(confident)+(1+k)bceloss(class)

28、式中loss为整体损失，bceloss(x,y)为基于交叉熵损失计算出的候选框中心点(x,y)的偏移损失；mseloss(h,w)为使用均方差计算出的候选框宽高的参数调整损失，bceloss(confident)为基于交叉熵损失计算出的候选框中是否存在目标的损失，bceloss(class)为于交叉熵损失计算出的类别预测损失；式中，通过加权减小了候选框w,h的损失，增大了类别判断损失；

29、该网络的训练策略为，对于特征提取网络的参数权重不进行任何修改，仅通过反向传播学习yolo body中的权重，神经网络训练时，设置监视器用于保存在验证集中损失最小的权重。

30、在步骤s5中，使用训练好的神经网络预测风闸的投退状况时，采用以下步骤：

31、s5-1：让神经网络加载在训练过程中在验证集中损失最小的权重；

32、s5-2：对输入图像进行标准化处理，将处理完成后的图像输入神经网络中；

33、s5-3：获得yolo head的预测结果，并将其输入至检测结果优化模块，获得最终的预测结果。

34、与现有技术相比，本发明具有如下技术效果：

35、1)采用监控摄像头远程采集风闸现地信息用于检测风闸状态，为非接触式测量方法，相比于使用行程开关检测稳定性更强，不易损坏，维护成本低。

36、2)本发明使用了计算机视觉算法用于检测风闸状态，尤涉及一种基于yolov3网络的风闸投退检测神经网络，其检测精度和检测效率较高，能满足水电厂生产实际要求。