基于FasterRCNN的自适应变压器部件检测识别方法与流程

本发明涉及到变压器检测识别领域，具体是一种基于fasterrcnn的自适应变压器部件检测识别方法。

背景技术：

为了实现变电站主要电力设备的智能化管理，保障电力系统安全可靠运行，电力公司加强了对电力设备运行监测方法和手段。目前，基于红外热像仪带电检测、无人机巡检、视频在线监测等大力推广和使用，产生了海量的可见光和红外图像，但主要还是采取人工分析的方式处理主要设备的各项问题。这种方式会导致大量人力资源的浪费，还会由于缺乏客观性导致出错。因此，利用图像识别技术进行电力设备目标智能识别对于后续的电力设备的故障检测和诊断非常必要，这种方式不仅能降低人工工作量，还可避免人为检测实物导致的误判，达到提高检测的准确性的目的。

传统的检测识别方法一般是在图像上通过不同大小的窗口进行扫描，并根据手工浅层图像特征训练分类模型完成目标分类。然而这种浅层图像特征不具备语义层面上的性质，且全图的扫描会耗费大量的计算时间。另一方面，这种检索方式中会出现大量的重复现象，即同一个目标部件会存在多个重叠的定位窗口。一般可利用nms处理进行窗口的去重，但nms方法处理变压器部件定位窗口时有两个明显缺点：1.变压器的油枕与套管目标窗口一般会有大面积重复，若直接使用nms方法处理窗口则会出现部件窗口被误删的现象；2.nms需要人为设置一个硬阈值，这种阈值设置方法将会影响处理结果的灵活性。

技术实现要素：

本发明的目的在于针对上述的问题，提出一种基于fasterrcnn的自适应变压器部件检测识别方法，该方法利用深度神经网络对变压器监测图像进行各个部件的检测和识别，避免了传统图像处理方法带来的误判问题。本发明提出了一种新的自适应nms方式处理变压器部件检测窗口，解决了窗口定位重复和误删现象。本发明能够有效提高变压器各部件检测识别的速度和精度，且具备较强的鲁棒性，对最终检测定位部件窗口的处理具备较高的灵活性。

为实现上述目的，本发明的技术方案中，首先对检测图像进行预处理，并对图像中变压器的本体、油枕、套管和散热器四个部件的位置进行标定，最终形成一个图像训练库和图像标注文档库；然后利用训练图像数据集和标注信息集对fasterrcnn模型进行训练；最后利用自适应nms方法处理检测窗口结果，防止误删和重复定位现象。

本发明提出的基于fasterrcnn的自适应变压器部件检测识别方法包括以下具体步骤：

数据集准备：训练集的准备分为图像数据库准备和标注信息文档库准备，其中图像数据库是通过对采集的变电站监测图像进行预处理得到；其中，对监测图像的预处理方式至少包括图像白化和尺寸归一化；标注信息文档库至少包括图像中变压器的关键部件的名称和定位信息，标定对象是变压器的本体、油枕、套管和散热器；

fasterrcnn模型训练：利用标定信息和训练图像对fasterrcnn模型进行训练；训练分为三个部分，第一部分是模型的共享阶段cnn网络，用以提取监测图像的卷积特征；第二部分是模型的区域推荐网络(regionproposalnetwork,rpn),通过标定信息的监督训练，使得rpn具备自动监测定位图像中变压器关键部件位置的能力；第三部分是模型的多分类网络，利用标注信息中部件的类别进行监督训练，以对rpn网络输出的定位信息进行分类识别能力；

部件窗口自适应nms：将监测图像进行预处理，输入到训练好的fasterrcnn模型，输出准确的变压器部件的定位窗口、识别种类和置信度信息；同时对模型输出的检测窗口进行自适应nms处理。

其中，在fasterrcnn模型训练过程中，处理cnn共享网络得到的监测图像卷积特征块时，将以卷积特征块上的每个像素点为中心构造8种窗口，完成对整幅图像的窗口遍历；其中，在构造窗口时，提供4种窗口比例和2种窗口大小进行随意组合，从而得到8种可能的遍历窗口。

其中，构造遍历窗口时，变压器监测图像中各类部件的最大边缘是明显长方形的窗口，选取的窗口长宽比例为1:2、2:1、1:1.5和1.5:1。

其中，在对变压器进行监测时，变压器占据图像80％的面积，在构造遍历窗口时，将窗口大小设置为128和256，利用128×128的窗口检测套管，256×256的窗口检测其他变压器部件。

其中，通过cnn共享网络得到的图像遍历窗口之后，根据窗口与变压器部件窗口之间的重叠标准(intersectionoverunion，iou)来确定正负样本窗口，以对rpn网络进行监督训练，使之直接分辨测试图像的遍历窗口中是否含有变压器部件，从而完成对变压器部件目标的定位。

其中，得到变压器部件目标的定位窗口之后，根据正样本上的标注信息，训练模型中的多分类网络，网络将输入窗口样本分为本体、油枕、套管、散热器和背景五个类别，训练完成的网络将完成对变压器部件目标的识别。

其中，在对部件窗口自适应nms处理过程，fasterrcnn模型的检测结果表示为其中代表检测出的第i个目标窗口的坐标信息，ki为该目标窗口的类别，也就是检索目标的部件类型，pi为该目标窗口的类别置信度。

其中，为了避免同一目标存在多个检测窗口的情况，利用nms方法处理检测结果；nms处理过程中，选择所有检测窗口中pi最高的窗口，依次计算其他窗口与该窗口之间的iou值，若大于某个阈值则直接删除pi低的检索结果。

其中，将检索结果按照部件类别进行分类，将ki相同的检索结果归于同一类，对每个类别的窗口进行自适应nms方法进行去重。

其中，自适应nms方法的步骤包括：

假设有两个目标窗口和按照以下公式计算出第i和j个目标窗口的几何中心：

从图像中得到两个窗口的重叠窗口坐标(xc1,yc1,xc2,yc2)，根据重叠窗口坐标构建一个指示函数：

通过指示函数判断某点(x,y)是否落在重叠区域中间，依次将两个窗口的几何中心点带入指示函数，若指示函数的乘积为1则去除窗口中置信度低的信息；通过判断中心点是否落在重叠部分中的方式直接对同一类别的窗口进行nms遍历，实现窗口的自适应nms去重。

本发明可应用的有益效果是：通过深度神经网络对变电站监测图像进行特征提取，避免了传统手工提取特征的误差和不全面性，同时检测过程还具备较强的鲁棒性。同时，通过自适应nms的处理，使得最终的检索识别结果更加精确，大量减少了窗口的重复和误删现象。

附图说明

图1是本发明提供的一种基于fasterrcnn的自适应变压器部件检测识别方法的逻辑示意图。

图2是本发明提供的一种基于fasterrcnn的自适应变压器部件检测识别方法数据集准备过程的示意图。

图3是本发明提供的一种基于fasterrcnn的自适应变压器部件检测识别方法中fasterrcnn模型的框架示意图；

图4是本发明提供的一种基于fasterrcnn的自适应变压器部件检测识别方法中自适应nms方法的操作过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明的实施方式进行进一步详细说明。

参阅图1，图1是本发明提供的一种基于fasterrcnn的自适应变压器部件检测识别方法的逻辑示意图。该方法的步骤包括：

数据集准备：训练集的准备分为图像数据库准备和标注信息文档库准备，其中图像数据库是通过对采集的变电站监测图像进行预处理得到；其中，对监测图像的预处理方式至少包括图像白化和尺寸归一化；标注信息文档库至少包括图像中变压器的关键部件的名称和定位信息，标定对象是变压器的本体、油枕、套管和散热器；

fasterrcnn模型训练：利用标定信息和训练图像对fasterrcnn模型进行训练；训练分为三个部分，第一部分是模型的共享阶段cnn网络，用以提取监测图像的卷积特征；第二部分是模型的区域推荐网络(regionproposalnetwork,rpn),通过标定信息的监督训练，使得rpn具备自动监测定位图像中变压器关键部件位置的能力；第三部分是模型的多分类网络，利用标注信息中部件的类别进行监督训练，以对rpn网络输出的定位信息进行分类识别能力；

部件窗口自适应nms：将监测图像进行预处理，输入到训练好的fasterrcnn模型，输出准确的变压器部件的定位窗口、识别种类和置信度信息；同时对模型输出的检测窗口进行自适应nms处理。

优选的，在fasterrcnn模型训练过程中，处理cnn共享网络得到的监测图像卷积特征块时，将以卷积特征块上的每个像素点为中心构造8种窗口，完成对整幅图像的窗口遍历；其中，在构造窗口时，提供4种窗口比例和2种窗口大小进行随意组合，从而得到8种可能的遍历窗口。

优选的，构造遍历窗口时，变压器监测图像中各类部件的最大边缘是明显长方形的窗口，选取的窗口长宽比例为1:2、2:1、1:1.5和1.5:1。

优选的，在对变压器进行监测时，变压器占据图像80％的面积，在构造遍历窗口时，将窗口大小设置为128和256，利用128×128的窗口检测套管，256×256的窗口检测其他变压器部件。

优选的，通过cnn共享网络得到的图像遍历窗口之后，根据窗口与变压器部件窗口之间的重叠标准(intersectionoverunion，iou)来确定正负样本窗口，以对rpn网络进行监督训练，使之直接分辨测试图像的遍历窗口中是否含有变压器部件，从而完成对变压器部件目标的定位。

优选的，得到变压器部件目标的定位窗口之后，根据正样本上的标注信息，训练模型中的多分类网络，网络将输入窗口样本分为本体、油枕、套管、散热器和背景五个类别，训练完成的网络将完成对变压器部件目标的识别。

优选的，在对部件窗口自适应nms处理过程，fasterrcnn模型的检测结果表示为其中代表检测出的第i个目标窗口的坐标信息，ki为该目标窗口的类别，也就是检索目标的部件类型，pi为该目标窗口的类别置信度。

优选的，为了避免同一目标存在多个检测窗口的情况，利用nms方法处理检测结果；nms处理过程中，选择所有检测窗口中pi最高的窗口，依次计算其他窗口与该窗口之间的iou值，若大于某个阈值则直接删除pi低的检索结果。

优选的，将检索结果按照部件类别进行分类，将ki相同的检索结果归于同一类，对每个类别的窗口进行自适应nms方法进行去重。

优选的，自适应nms方法的步骤包括：

假设有两个目标窗口和按照以下公式计算出第i和j个目标窗口的几何中心：

从图像中得到两个窗口的重叠窗口坐标(xc1,yc1,xc2,yc2)，根据重叠窗口坐标构建一个指示函数：

通过指示函数判断某点(x,y)是否落在重叠区域中间，依次将两个窗口的几何中心点带入指示函数，若指示函数的乘积为1则去除窗口中置信度低的信息；通过判断中心点是否落在重叠部分中的方式直接对同一类别的窗口进行nms遍历，实现窗口的自适应nms去重。

数据集准备流程见图2，首先对变电站监测图像进行白化处理，记图像的某一个彩色通道为p，则需要对图像的每个像素点进行以下转化：

其中代表图像的均，而代表图像的方差。经过图像所有彩色通道的时白化之后还需要按图像比例对尺寸进行放缩，将所有检测图像的尺寸统一为600×800。接下来使用labelimg标注工具标定变压器的本体、油枕、套管和散热器四个部件在图像中的位置和名称，标定结束后会得到完整的标定信息文档库。

1.fasterrcnn模型训练

fasterrcnn模型的框架示意图如图3所示。利用上述的数据集对fasterrcnn模型进行训练，该训练分为三个部分进行，首先是利用共享阶段cnn网络提取监测图像的卷积特征，利用多个叠加卷积层对监测图像进行特征提取，最终得到尺寸较小的图像卷积特征块。再以特征块上的每个像素点为中心，分别构造4种窗口比例和2种窗口大小组合而成的8种窗口，完成对整幅图像的窗口遍历。由于变压器监测图像中各类部件的最大边缘均是明显长方形的窗口，因此在构造遍历窗口时，选取的窗口长宽比例为1:2、2:1、1:1.5和1.5:1，而窗口大小设置为128和256。

接下来计算这些遍历窗口与真实变压器部件窗口之间的iou来确定正负样本窗口。计算两窗口的iou值时，将两窗口表示为s1和s2，则有：

设置最大阈值0.7，最小阈值0.3，当iou值大于0.7时将遍历窗口标注为正样本，iou值小于0.3时记为负样本，而遍历窗口中超出图像范围的和与真实标注窗口之间的iou值在0.3到0.7之间的窗口直接删除。利用这些正负样本对rpn网络进行监督训练，使之能够直接分辨测试图像的遍历窗口中是否含有变压器部件，从而完成对变压器部件目标的定位。

最后使用多分类网络对rpn网络输出的定位信息进行分类识别，将上述rpn训练数据中的正样本按照重叠真是窗口的类别进行标注，然后根据这些正样本和其对应的标注信息，训练模型中的多分类网络，网络将输入窗口样本分为本体、油枕、套管、散热器和背景五个类别，训练完成的网络将实现对变压器部件目标的识别。通过交替优化rpn和多分类网络的参数，最终模型训练完成之后，将待检测的图像通过步骤(1)的预处理之后输入该模型，可以输出图像中变压器各个部件的边缘窗口坐标、部件的类别和属于该类别的置信度。

2.部件窗口自适应nms

将上述深度检测模型的输出进行汇总，其中每个输出样本可表示为其中代表检测出的第i个目标窗口的坐标信息，ki为该目标窗口的类别，且其取值0、1、2、3分别代表本体、油枕、套管、散热器，pi为该目标窗口的类别置信度。由于变压器的观察角度不同，导致在检测图像中变压器各个部件之间的出现重叠面积很大的现象。因此，需要先将检索结果按照部件类别进行分类，将ki相同的检索结果归于同一类，然后对每个类别的窗口进行自适应nms方法进行去重。这种先分类后去重的方法能保证党不同部件的检测窗口重叠很多时，nms方法不会将其认为是重复窗口进而出现误删现象。上述的自适应nms方法如图4所示：

首先在同一类识别窗口中将pi最高的窗口选出，并与同类中其他窗口之间进行以下处理：假设现有两个目标窗口和按照以下公式计算出第i个目标窗口的几何中心：

然后利用同样的方式计算得到第j个目标窗口的几何中心(x'j,y'j)。从图像中可以得到两个窗口的重叠窗口坐标(xc1,yc1,xc2,yc2)，根据该重叠窗口坐标构建一个指示函数：

该函数的作用是判断某点(x,y)是否落在重叠区域中间，接下来可以依次将两个窗口的几何中心点带入指示函数，若指示函数的乘积为1则去除窗口中置信度低的信息，并继续遍历下一个同类窗口。以这种自适应nms方法遍历处理所有类别的检测窗口之后，得到的最终结果则是变压器的各个部件精确检索识别结果。

本发明可应用的有益效果是：通过深度神经网络对变电站监测图像进行特征提取，避免了传统手工提取特征的误差和不全面性，同时变压器的检测效率较传统方法有明显提高。同时，通过自适应nms的处理，使得最终的检索识别结果更加精确，大量减少了窗口的重复和误删现象。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，本领域技术人员根据上述说明的技术内容做出简单修改、等同变化或修饰，均落在本发明的保护范围内。