一种基于Mask-RCNN的电力设备红外图像分割方法与流程

本发明涉及一种基于mask-rcnn的电力设备红外图像分割方法，属于变电站电力设备的图像处理领域。

背景技术：

近年来，许多监测技术得到积极地推广和应用，在众多监测技术中红外热成像技术因其不停电、不取样、不解体等优点而备受青睐。目前对红外图像的分析诊断多依赖人工，而目前的红外监测人员较少，无法满足对巨量红外图像的分析工作，再加上部分监测人员的专业知识水平和监测经验积累不足，因此对缺陷的分析判断能力较差，这大大制约了设备状态监测智能化水平的提升。

为了提高电气设备状态监测的智能化水平，可以采用一些智能的图像处理方法对红外图像进行分割，提取出电力设备区域，便于故障诊断工作。在数字图像研究领域，已经出现了很多图像分割方法。目前传统的图像分割方法主要适用于图像目标突出、且非密集的情况，而且分割结果的精确度不高。此外，目前基于传统方法的电力设备分割结果图中，没有保留原始红外图像的图像信息，输出的结果为黑白图像，由于红外图像中的颜色信息对应着设备的温度信息，这是电力设备红外故障诊断的重要依据，因此基于传统方式的电力设备分割方法不利于红外故障诊断分析工作。

技术实现要素：

本发明提供一种基于mask-rcnn的电力设备红外图像分割方法，克服了所述传统方法的缺点，提高了切割精度，且可以保留设备原始红外图像的图像信息，同直接读取分割后图像中的彩色部分的色彩信息可得到设备温度信息，方便电力设备故障诊断。

为解决上述技术问题，本发明所采用的技术方案如下：

一种基于mask-rcnn的电力设备红外图像分割方法，包含以下步骤：

步骤s1：建立电力设备红外图像的数据集，标注好训练集和测试集；

步骤s2：构建立深度学习模型；

步骤s3：设置模型初始超参数和迭代次数，训练集中所有样本被训练模型计算一次就叫做一次迭代；

步骤s4：使用步骤s1中标注好的训练集，输入构建好的模型中进行训练；

步骤s5：每2000～3000迭代次数，采用步骤s1中标注好的测试集，评估步骤s4中该次训练得到的模型的性能；

步骤s6：当迭代次数达到设定值时，停止训练，综合步骤s5中获取的各个训练阶段的模型超参数，对比各项性能，筛选出性能最优的深度学习模型；

步骤s7：将待测电力设备红外图像输入训练好最优的深度学习模型进行处理，获得分割结果。

申请人创造性地将深度学习引入到对电气设备红外图像的分析处理中，申请人经研究发现，深度学习对特征提取过程更加方便智能，无需更多的图像增强等预处理手段就能自动学习得到特征。

本发明将深度学习引入到对电气设备红外图像的分析处理中，对特征提取过程更加方便智能，无需更多的图像增强等预处理手段就能自动学习得到特征。

本申请基于mask-rcnn的电力设备红外图像分割方法，采用智能的图像处理方法对红外图像进行分割，提高了分割精度，且可以保留设备原始红外图像的图像信息，同直接读取分割后图像中的彩色部分的色彩信息可得到设备温度信息，方便电力设备故障诊断。

为了进一步提高分割的精度，步骤s1：建立电力设备红外图像的数据集：对红外成像设备在变电站现场采集的红外图像进行预处理，预处理包括统一图像尺寸、及标注出电力设备在图像中的位置和形状，并按(8±2):2比例分为训练集和测试集。

优选，步骤s2：采用mask-rcnn网络架构建立深度学习模型；其中，采用resnet101和fpn作为特征提取网络。

为了进一步提高分割的精度，在步骤s3中，迭代次数设置在5000～10000次。同时，在步骤s3中，使用小批量梯度下降算法(mbgd)作为参数更新方式，设置批量大小为32，训练过程中不停地寻找节点中下降幅度最大的趋势进行迭代计算，每次迭代更新一次模型的权重值。

优选地，在步骤s3中，若由于条件限制，准备的电力设备红外图像的数据集中数量较少，则使用迁移学习的思想，先使用公开数据集coco在搭建好的模型中进行预训练，使模型学习到图像分割能力，然后再使用电力设备红外图像的数据集在模型中正式训练；相应地，为防止由于数据集太小引起的过拟合，训练的迭代次数设置在30～50次左右，使用批量梯度下降算法(bgd)作为超参数更新方式，批量大小设置为训练集大小。

为了进一步提高分割的精度，步骤s5：每2000～3000迭代次数，采用步骤s1中标注好的测试集，评估步骤s4中该次训练得到的模型的性能；若准确率达到90％(≥90％)，则说明该模型具备较好的分割电力设备红外图像的能力，保存该次训练的超参数文件；若准确率低于90％，则重复步骤s4进行模型的迭代优化。

为了进一步提高精度，步骤s5，评估步骤s4中该次训练得到的模型的性能：准确率、精确率、召回率和平均正确率均达到90％，则说明该模型具备较好的分割电力设备红外图像的能力，保存该次训练的超参数文件；若准确率、精确率、召回率和平均正确率中有一项低于90％，则重复步骤s4进行模型的迭代优化。

上述模型的性能包括准确率、精确率、召回率和平均正确率等等评价指标。

本发明未提及的技术均参照现有技术。

本发明基于mask-rcnn的电力设备红外图像分割方法，完成了对红外图像中的电气设备的目标检测和分割，与传统的红外图像分割方法相比，该方法在精度上有很大的提升，并且更加注重目标设备的切割，最大的优势在于该方法保留了目标设备的原色彩信息，将无关的背景和干扰信息完全与目标设备分割开来，可以在未来的红外故障诊断工作中直接读取分割后图像中的彩色部分的色彩信息从而得到温度信息，若温度信息异常，则根据温度信息进一步开展故障诊断工作。

附图说明

图1为本发明实施例中基于mask-rcnn的电力设备红外图像分割方法的流程示意图；

图2是本发明实施例中maskr-cnn图像分割算法网络结构示意图；

图3是本发明实施例中电力设备红外图像样例示意图；

图4是本发明实施例中电力设备红外待测图像；

图5是图4的分割结果图。

具体实施方式

为了更好地理解本发明，下面结合实施例进一步阐明本发明的内容，但本发明的内容不仅仅局限于下面的实施例。

如图1所示，本实施例方法的整体流程包括以下步骤；

步骤s1；建立电力设备红外图像数据集，图像样本来自于变电站现场的自动巡检机器人、手持红外热成像仪等红外成像设备，选用设备分明、背景清晰和角度正确的红外图像作为训练数据集，图像选取样例如图3所示；红外图像中的电力设备分为三类：电流互感器、电压互感器和断路器，把各类图像的占比调整至约为1:1:1，对筛选出的红外图像进行预处理，首先把尺寸参差不齐的图像统一到256×256像素大小，接着使用图像标注工具via标注出电力设备在图像中的位置、形状和类型，完成标注后每张图像会生成同名json格式文件；最后，按8:2比例将预处理后的图像数据集分为训练集和测试集；

步骤s2：采用mask-rcnn网络架构建立深度学习模型；maskr-cnn作为一个更具有集成能力、更综合和更强大的多任务模型，能够胜任目标检测、图像分类和图像分割的任务；maskr-cnn有灵活的扩展性，可根据任务的需求选择合适的特征提取网络，根据resnet残差神经网络和fpn在特征提取过程中有的优秀表现，本例采用resnet101结合fpn作为特征提取网络，构建的网络结构如图2所示；

步骤s3：设置模型初始超参数和迭代次数，设置迭代次数为5000～10000次，参数更新方式为小批量梯度下降算法(mbgd)，批量大小(batch_size)为32；每次迭代，模型对该批量中的图像进行一次计算，通过损失函数的loss值向前反馈和计算超参数差值，对模型的超参数进行更新；

步骤s4：使用步骤s1中已进行标注的红外图像训练集，输入构建好的深度模型中进行训练；

步骤s5：分别在迭代次数达到5000次、8000次、10000次时，采用步骤s1中标注好的测试集，评估步骤s4中该次训练得到的模型的性能，性能具体包括准确率、精确率、召回率、平均正确率等评价指标；

准确率、精确率、召回率和平均正确率均达到90％，则说明当前训练阶段的模型超参数较为适用于当前任务，模型具备较好的分割电力设备红外图像的能力，保存该次训练的超参数文件；

若准确率、精确率、召回率和平均正确率中有一项低于90％，则重复步骤s4进行模型的迭代优化；

步骤s6：当迭代次数达到10000次时，停止训练，对比分别在迭代次数为5000次、8000次、10000次时获取的模型性能，筛选出性能最优的一次训练结果，使用该次训练获取的超参数文件，导入模型中作为最终的超参数，得到最优的电力设备红外图像模型。

步骤s7：选取符合训练集选取条件的电力设备红外图像，作为待测图像输入步骤s6得到的最终的电力设备红外图像模型进行处理，获得分割结果如图4所示,分割结果保留了原图的温度信息，第一行图像为待测图像，第二行图像为分割结果，分割结果包含了电力设备的温度、位置坐标、形状(轮廓)、设备类别(图中，pt为电压互感器)信息。

在步骤s3中，若由于采集不方便或标注工作繁琐等因素，获取的电力设备红外图像数据集数量较少，则使用迁移学习的思想，先使用公开数据集coco在搭建好的模型中进行预训练；coco数据集包含目前自然界的大量其他图像(约12万张)，通过预训练，将模型的超参数先调整到合适的范围，使模型学习到一定的图像分割能力，然后再使用电力设备红外图像数据集在模型中正式训练，这样不仅能解决数据集过小引起的超参数不收敛问题，还能节省训练成本；相应地，为防止由于数据集太小引起的过拟合，减少训练的迭代次数，设置在30～50次左右，使用批量梯度下降算法(bgd)作为超参数更新方式。

本例完成了对红外图像中的电气设备的目标检测和分割，与传统的红外图像分割方法相比，该方法在在精度上有很大的提升并且更加注重目标设备的切割，最大的优势在于该方法保留了目标设备的原色彩信息，将无关的背景和干扰信息完全与目标设备分割开来，可以在未来的红外故障诊断工作中直接读取分割后图像中的彩色部分的色彩信息从而得到温度信息，若温度信息异常，则根据温度信息进一步开展故障诊断工作。