一种基于语义特征模板匹配的验电环智能检测方法与流程

本发明涉及深度学习应用，具体涉及一种基于语义特征模板匹配的验电环智能检测方法。

背景技术：

1、为保障国民的正常用电权益，需要定期对电力系统中的高压设备进行检修和维护。传统的人工检修方式对工作人员的技术要求高，且极具危险性。随着自动化技术的发展，越来越多的工作站采用了自动化检修系统对配网设备进行维护。其中，验电环作为判断配网设备是否带电的标志，它的带电信息影响着自动化系统的后续操作，而验电环位置检测又是作为验电操作的前提步骤，因此，如何实现精确的验电环位置检测成为了构建变电站自动化系统的瓶颈。

2、近年来，人工智能对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机算力的提高，网络训练的难度大大减低，网络预测精度也在不断提高。对于验电环检测问题，其关键是如何提取在不同环境中各种验电环的相似特征，以满足验电环的位置的需要。

3、目前亟待针对这一问题，设计相应合理的深度学习网络框架，利用高性能的计算机处理能力对网络进行训练，实现多种验电环的实时检测。

技术实现思路

1、为了解决上述现有技术的不足，本发明提供了一种基于语义特征模板匹配的验电环智能检测方法，用深度学习网络框架设计网络模型，进而对室外环境中多种验电环特征进行语义特征匹配，实现多种验电环的实时检测与分类。

2、本发明的目的可以通过采取如下技术方案达到：

3、一种基于语义特征模板匹配的验电环智能检测方法，包括：

4、获取训练数据集，所述训练数据集为多种场景下的验电环样本数据集；

5、构建网络模型并得到所述网络模型的预测结果；

6、根据所述预测结果和所述验电环样本数据集中人工标注的标签信息，优化所述网络模型的损失函数，得到训练好的网络模型；

7、将待测的室外拍摄图像输入所述训练好的网络模型，完成验电环识别与位置检测。

8、作为本发明的进一步技术方案为，所述获取训练数据集，包括：

9、在任意光照、任意背景下拍摄具有多种角度的验电环实时场景图；

10、对每一张具有验电环特征的室外拍摄图像进行人工标注验电环标签信息；其中，所述标签信息包括验电环位置与验电环类别；

11、将所述样本数据集构成训练数据集与测试数据集。

12、进一步的，所述样本数据集按照9:1的比例构成训练数据集与测试数据集。

13、作为本发明的进一步技术方案为，所述构建网络模型并得到网络模型的预测结果；具体包括：

14、所述网络模型包括语义特征模板生成子网络、图像特征提取子网络、区域生成子网络和验电环分类子网络；

15、利用所述语义特征模板生成子网络对样本数据集进行分类训练，得到验电环语义特征模板；

16、利用所述图像特征提取子网络对样本数据集进行特征提取，得到深层图像特征；

17、利用所述验电环语义特征模板对所述深层图像特征进行按元素与操作，得到目标特征图；

18、利用所述区域生成子网络对所述目标特征图进行处理，生成目标候选框集合；

19、利用所述验电环分类子网络对所述目标候选框集合中验电环特征进行识别，得到所述网络模型的预测结果。

20、作为本发明的进一步技术方案为，所述语义特征模板生成子网络为分类网络resnet101，包含五个特征提取层，所述验电环语义特征模板为第五个特征提取层的输出特征图的二值化，二值化方法为固定阈值二值化，阈值为0.5，所述验电环语义特征模板包含验电环的语义信息；

21、所述图像特征提取子网络结构与语义特征模板生成子网络相同，均为分类网络resnet101，所述深层特征图为resnet101网络中第五个特征提取层的输出特征图。

22、作为本发明的进一步技术方案为，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层；

23、所述利用所述区域生成子网络对所述目标特征图进行处理，生成验电环目标候选框集合，包括：

24、将所述目标特征图输入所述预处理层，预处理层根据目标特征图生成不同尺寸的先验框，用于检测验电环目标的位置；

25、将所述先验框输入所述先验框二分类层，生成先验框的置信度；

26、将所述先验框输入所述先验框位置调整层，生成先验框的偏移量；

27、根据所述置信度，挑选出置信度最高的先验框；根据所述偏移量对置信度较高的先验框进行位置偏差调整，输出验电环目标候选框集合。

28、作为本发明的进一步技术方案为，所述验电环分类子网络包括验电环特征处理模块、验电环分类模块和候选框调整模块；

29、利用所述验电环分类子网络对所述目标候选框集合中的验电环特征进行识别，得到所述网络模型的预测结果，包括：

30、将所述目标候选框集合中的目标候选框映射到目标特征图上并经过roi pooling操作后，得到验电环特征图；

31、将所述验电环特征图输入所述验电环特征处理模块；

32、将所述验电环特征处理模块的输出特征输入到所述验电环分类模块，用于对所述验电环目标候选框进行分类，得到验电环的类别；

33、将所述验电环特征处理模块的输出特征输入所述候选框调整模块，生成验电环目标候选框的偏移量，用于对所述验电环目标候选框的位置进行调整，得到优化后的验电环位置。

34、作为本发明的进一步技术方案为，根据所述预测结果和所述验电环样本数据集中人工标注的标签信息，优化所述网络模型的损失函数，得到训练好的网络模型；包括：

35、利用所述训练数据集对所述语义特征模板生成子网络进行训练，得到训练好的模板生成子网络，用于生成验电环的语义特征模板；其中，损失函数使用交叉熵损失函数；

36、利用所述训练好的模板生成子网络对数据集中的任意包含验电环的图像进行特征提取，取网络中第五层特征提取层的输出特征图，按照阈值0.5的标准做二值化处理，作为验电环语义模板，此后无需对模板生成子网络进行训练处理；

37、利用所述训练数据集对所述网络模型中其他模块进行训练，根据所述预测结果和所述验电环信息，通过优化所述区域生成子网络的损失函数和所述验电环分类子网络的损失函数，从而实现网络模型的收敛，得到训练好的网络模型。

38、作为本发明的进一步技术方案为，所述预测结果包括验电环的类别和位置；所述区域生成子网络的损失函数为：

39、

40、其中，pi为先验框i的置信度，为先验框i的标签，其值为1或0，是通过计算先验框i与所述标签信息中的验电环位置的交并比得出；若为1，则ti为先验框i的偏移量，为先验框i与所述标签信息中的验电环位置的偏移量；nrpn_cls为先验框中被标记为1和0的先验框的总数，nrpn_reg为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失lrpn_cls使用交叉熵损失函数，回归损失lrpn_reg使用smooth l1 loss，即：

41、

42、所述验电环分类子网络的损失函数为：

43、

44、其中，pk为网络预测的验电环目标候选框k的类别，为该验电环目标候选框对应的类别标签，tk为网络预测的验电环目标候选框k的偏移量，为该目标候选框与所述标签信息中的验电环位置的真实偏移量；n为验电环目标候选框总数；分类损失lide_cls使用交叉熵损失函数，回归损失lide_reg使用smooth l1 loss。

45、本发明相对于现有技术具有如下的有益效果：

46、本发明通过采用模板生成子网络生成适用于识别多种验电环的验电环语义特征模板；采用图像特征提取子网络提取输入图像的深层特征并使用语义特征模板进行匹配；采用区域生成子网络生成目标候选框；采用验电环分类子网路对目标候选框进行类型分类与位置调整等技术手段，实现了验电环的有效识别，本发明能够提取不同环境中验电环的精确语义特征，获得准确的验电环检测结果，为智能变电站设备的制备工艺提供指导性意见。