一种基于自主机场巡检的变电站缺陷边缘识别方法与流程

1.本发明涉及图像识别技术领域，具体为：一种基于自主机场巡检的变电站缺陷边缘识别方法。


背景技术：

2.得益于无人机自动巡检技术的发展，无人机自主机场应运而生，自主机场的诞生，使得无人机全天候待命，实时进行巡检，大大减少了人力成本。但是无人机自动巡检作为新兴产业，目前仅仅是在巡检这一中间环节节省人力，而在整个巡检作业闭环中，后期对巡检采集的数据分析还是得人为处理，尤其是对于变电站这种设备繁多的场景，采集数据多，人工处理的强度大。
3.因此本发明提供一种基于自主机场巡检的变电站缺陷边缘识别方法，针对自主机场在变电站运用当中，对于所采集的巡检数据，通过飞机图传，回到机场，通过机场边缘识别模块实时对所采集到的数据进行识别，并将有缺陷的数据打包上传后台，大大减少了繁杂的人工操作过程。


技术实现要素：

4.本发明要解决的技术问题是：提供一种基于自主机场巡检的变电站缺陷边缘识别方法，以至少解决上述部分问题。
5.为实现上述目的，本发明采用的技术方案如下：
6.一种基于自主机场巡检的变电站缺陷边缘识别方法，包括以下步骤：
7.步骤1、使用无人机自动巡检技术，分别从不同角度采集变电站内作业对象的图像，并人工审核分析出图像上的缺陷，得到采集数据；
8.步骤2、过滤采集数据中拍摄不清晰、拍摄距离不达标的图像得到样本图像，采用高斯模糊、锐化、添加噪声以及转换成灰度图像方法处理样本图像，得到增强图像，在增强图像标注出目标种类及目标定位得到标注图像，将标注图像按照7：1.5：1.5的比列切分，分别用作训练集，验证集及测试集；
9.步骤3、将训练集内的图像，输入待训练目标缺陷模型，待训练目标缺陷模型对输入图像进行缺陷识别训练，得到多个已训练目标缺陷模型，从多个已训练目标缺陷模型中筛选出目标缺陷模型；
10.步骤4、针对于目标缺陷模型对输入图像识别出的缺陷中，若含表计类读数不达标的缺陷，则在缺陷识别到表记时做另外的表记读数处理；
11.步骤5、将筛选出的目标缺陷模型及针对表计类读数不达标的缺陷进行读数处理的程序打包，部署在无人机自主机场边缘模块，对api接口传入的图像数据进行分类、定位、读数后，再将api接口传入的图像及图像所含缺陷种类和缺陷所在位置传送至服务后台。
12.进一步地，步骤2中，进行标注的目标种类主要含有主变压器、断路器、组合电器、隔离开关、电流互感器、避雷器、干式电抗器、并联电容器组、干式电抗器。
13.进一步地，步骤3中，利用验证集和测试集内的图像，将得到的多个已训练目标缺陷模型进行验证和测试，比对各已训练目标缺陷模型识别出的缺陷相对于人工审核分析出的缺陷的平均精度，筛选出平均精度高于所有已训练目标缺陷模型的目标缺陷模型；
14.进一步地，步骤3中，目标缺陷模型的缺陷识别过程为：目标缺陷模型内的共享卷积层分别抽取输入图像的不同层次的图像特征，得到不同层次的特征图，特征图后续分两路传输，一路直接传输至感兴趣区域池化层，一路传输至rpn层提取候选框后传输至感兴趣区域池化层，感兴趣区域池化层内，候选框映射到特征图中，经计算处理形成7*7大小的特征图，后续感兴趣区域池化层的所有输出经全连接层合并组合后，经分类器和边框回归判定候选框内缺陷种类及候选框的定位。
15.进一步地，步骤4中，针对表计类读数不达标的缺陷(如油温表计)，做另外的表记读数的处理流程为：
16.获取faster rcnn识别标记种类图：利用faster rcnn识别获取图像中表计类的种类及位置，将图像上含表计类的种类及位置的部分单独剪切出来，得到仪表盘图像；
17.仪表检测：使用ocr算法中的文本方向检测模型获取仪表刻度盘上的值的位置信息；
18.仪表方向判断和矫正：根据仪表盘的位置拟合所在圆的方程，求取其位置拟合的旋转角度，然后再根据旋转角度对仪表盘方向进行矫正；
19.拟合指针：使用二值化以及腐蚀和膨胀操作去除矫正后的仪表盘图像的噪音，去噪音后的图像按照轮廓面积降噪排序，选择面积最大的作为指针部分；
20.针头判定：绘制指针的最小外接矩形，旋转矩形让长边处于竖直状态，按照长边将矩形切成等长的两份，分别计算每一份的面积，以较小份的面积作为指针的针头；
21.刻度计算：获取指针的位置后按照事先标定的指针的刻度进行计算。
22.进一步地，经边框回归得到的候选框含有多个重复框，使用iou来判断锚框与标注框的重叠度去除多余重复框。
23.与现有技术相比，本发明具有以下有益效果：
24.本发明设计科学合理，使用方便，在无人机自主机场设置边缘识别模块，实时对无人机所采集的图像数据进行识别，并将有缺陷的数据打包上传后台，大大减少了繁杂的人工操作。本发明对目标缺陷模型进行多次训练，从而筛选出平均精度较高的模型，并将该模型置于无人机自主机场的边缘模块，使得无人机自主机场具备，识别无人机所采集图像缺陷数据的能力，无需人为识别。
附图说明
25.图1为本发明的流程示意图。
26.图2为目标缺陷模块进行缺陷识别的结构示意图。
27.图3为表计类缺陷做表记读数的处理流程图。
28.图4为无人机自主机场识别图像缺陷的流程图。
具体实施方式
29.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进
一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.如图1-4所示，一种基于自主机场巡检的变电站缺陷边缘识别方法，包括以下步骤：
31.步骤1、使用无人机自动巡检技术，分别从不同角度采集变电站内作业对象的图像，并人工审核分析出图像上的缺陷，得到采集数据；
32.步骤2、过滤采集数据中拍摄不清晰、拍摄距离不达标的图像得到样本图像，采用高斯模糊、锐化、添加噪声以及转换成灰度图像方法处理样本图像，得到增强图像，在增强图像标注出目标种类及目标定位得到标注图像，将标注图像按照7：1.5：1.5的比列切分，分别用作训练集，验证集及测试集；
33.步骤3、将训练集内的图像，输入待训练目标缺陷模型，待训练目标缺陷模型对输入图像进行缺陷识别训练，得到多个已训练目标缺陷模型，从多个已训练目标缺陷模型中筛选出目标缺陷模型；
34.步骤4、针对于目标缺陷模型对输入图像识别出的缺陷中，若含表计类读数不达标的缺陷，则在缺陷识别到表记时做另外的表记读数处理；
35.步骤5、将筛选出的目标缺陷模型及针对表计类读数不达标的缺陷进行读数处理的程序打包，部署在无人机自主机场边缘模块，对api接口传入的图像数据进行分类、定位、读数后，再将api接口传入的图像及图像所含缺陷种类和缺陷所在位置传送至服务后台。
36.本实施例中，目标缺陷模型具有识别图像上缺陷种类及缺陷位置的功能，目标缺陷模型通过筛选多个已训练目标缺陷模型而得，多个已训练目标缺陷模型通过待训练目标缺陷模型进行训练而得。待训练目标缺陷模型进行训练之前，预先使用无人机自动巡检技术，采集训练所需图像数据，并对采集到的数据进行过滤、增强和标注，以及按照7：1.5：1.5的比列切分为训练集、验证集和测试集后，应用于待训练目标缺陷模型的训练、验证和测试。
37.待训练目标缺陷模型经过多次训练，得到多个已训练目标缺陷模型后，利用验证集和测试集内的图像，将得到的多个已训练目标缺陷模型进行验证和测试，比对各已训练目标缺陷模型识别出的缺陷相对于人工审核分析出的缺陷的平均精度，筛选出平均精度高于所有已训练目标缺陷模型的目标缺陷模型。并将筛选出的目标缺陷模型放置于无人机自主机场的边缘模块，可对无人机自动巡检而得的图像数据进行识别，并将有缺陷的数据传送至服务后台，于服务后台可直接获取图像缺陷数据，方便后台管理人员对变电站内的仪器进行管控。
38.同时，本实施例中，针对图像中识别出的表计类类别缺陷及位置，做出进一步的表记读数处理，通过算法拟合，读取图像上表计类刻度盘上指针所指的值，判断该值是否达标，若不达标，将表计类类别的位置及不达标信息传送至服务后台，方便后台管理人员对变电站内的表计类仪器进行管控。
39.在一些实施例中，在步骤2中，进行标注的目标种类主要含有主变压器、断路器、组合电器、隔离开关、电流互感器、避雷器、干式电抗器、并联电容器组、干式电抗器。
40.如此，在目标缺陷模型训练之前，对所采集的训练数据进行标注，标注出图像上所
含的主变压器、断路器、组合电器、隔离开关、电流互感器、避雷器、干式电抗器、并联电容器组、干式电抗器等的种类及定位，用于后续目标缺陷模型的训练，有利于目标缺陷模型学习对目标缺陷种类及定位的识别。
41.在一些实施例中，在步骤3中，目标缺陷模型的缺陷识别过程为：基于faster rcnn框架结合特征提取网络(resnet-101)的方式来对输入图像进行缺陷识别，目标缺陷模型内共享卷积层(conv1到conv4-x共91层)分别抽取输入图像的不同层次的图像特征，得到不同层次的特征图，特征图后续分两路传输，一路直接传输至感兴趣区域池化层(roi pooling)，一路传输至rpn层提取候选框后传输至感兴趣区域池化层(roi pooling)，感兴趣区域池化层(roi pooling)内，候选框映射到特征图中，经计算处理形成7*7大小的特征图，后续感兴趣区域池化层(roi pooling)的所有输出经全连接层(conv5-x)合并组合后，经分类器和边框回归判定候选框内缺陷种类及候选框的定位。
42.如此，以faster rcnn框架(现有的一种识别技术)结合resnet-101网络的方式来对输入图像进行缺陷识别，一方面使得图像特征提取的精度变高，另一方面在识别出图像缺陷类别的同时，对缺陷所在位置也一同定位出来，方便使用。
43.在一些实施例中，在步骤4中，对于进行缺陷识别的输入图像上，含表计类类别时，在缺陷识别到表计时做另外的表记读数处理的过程为：
44.获取faster rcnn识别标记种类图：利用faster rcnn识别获取图像中表计类的种类及位置，将图像上含表计类的种类及位置的部分单独剪切出来，得到仪表盘图像；
45.仪表检测：使用ocr算法中的文本方向检测模型获取仪表刻度盘上的值的位置信息；
46.仪表方向判断和矫正：根据仪表的位置拟合所在圆的方程，求取其位置拟合的旋转角度，然后再根据旋转角度对仪表方向进行矫正；
47.拟合指针：使用二值化以及腐蚀和膨胀等操作去除矫正后的仪表盘图像的噪音，二值化和去噪音后的图像按照轮廓面积降噪排序，选择面积最大的作为指针部分；
48.针头判定：绘制指针的最小外接矩形，旋转矩形让长边处于竖直状态，按照长边将矩形切成等长的两份，分别计算每一份的面积，以较小份的面积作为指针的针头；
49.刻度计算：获取指针的位置后按照事先标定的指针的刻度进行计算，根据刻度当前值计算数值是否达标。
50.如此，当目标缺陷模型识别出表记类类别后，设置程序，将表记类类别所在部分单独剪切出来，并对剪切出来的图像进行算法拟合后，读取出表计类类别上的值，并判断该值是否达标，若不达标，则将表记类类别所在位置及不达标信息传送至服务后台。针对图像上表计类的识别，设计一款专门的程序对其进行读数，并将设计好的程序同目标缺陷模型放置于无人机自主机场的边缘模块，使得无人机自主机场的图像缺陷识别范围更广。
51.在一些实施例中，在步骤5中，将目标缺陷模型和针对表计类类别设计的读数程序，部署在无人机自主机场边缘模块后，由无人机采集的数据，输入无人机自主机场边缘模块，经边缘模块内的目标缺陷模型进行缺陷识别，识别出的其他缺陷种类及缺陷所在位置，直接传送至后台，识别出的表计类类别，则经读数程序进行读数处理后，判断是否达标，未达标则将表记类类别及其所在位置传送至服务后台。
52.最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技
术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。