一种机巡缺陷图片图像标注定级方法及缺陷定级系统与流程

1.本发明属于电力设备巡检技术；尤其涉及一种机巡缺陷图片图像标注定级方法及缺陷定级系统。


背景技术：

2.随着无人机巡检和图片识别技术在电力设备巡检领域中的应用，智能图像识别技术可通过对缺陷图片的处理、提取、识别和分析，建立缺陷特性库，在训练达到一定程度后将可替代人工进行缺陷识别。但是在输电线路巡检过程中，缺陷识别工作除了要识别相应的缺陷类型，还需要对缺陷进行定级，便于按照优先级开展消缺工作。但是传统的图像标注方法，只能告诉模型“是什么”，即模型只能对缺陷类型进行识别，而对缺陷的定级却只能依靠人工进行处理，费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患。


技术实现要素：

3.本发明要解决的技术问题：提供一种机巡缺陷图片图像标注定级方法及缺陷定级系统，以解决现有技术对机巡图像标注方法，只能告诉模型“是什么”，即模型只能对缺陷类型进行识别，而对缺陷的定级却只能依靠人工进行处理，费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患等技术问题。
4.本发明技术方案：一种机巡缺陷图片图像标注方法，它包括：步骤1、使用无人机对电路设备目标区域进行图像采集得到目标图片；步骤2、对目标图片进行筛查筛选出需要进行缺陷定级的图片；步骤3、将筛选出的图片样本分为两份：一份进行缺陷目标物标注用于缺陷识别；一份进行缺陷元素标注用于缺陷定级；步骤4、将标注后的图片导入缺陷定级系统进行训练学习；步骤5、将需要进行缺陷定级的图片上传到已训练完成的缺陷定级系统进行缺陷定级，输出定级结果。
5.步骤1所述图像采集的方法包括：多角度采集：对缺陷设备分别从正面、侧面、俯视及仰视角度进行拍摄；整体采集：对缺陷设备的整个部件进行拍摄；局部采集：对缺陷设备出现故障的部位进行局部拍摄。
6.缺陷目标物标注的方法为：针对缺陷目标物的标注，在每张样本图片中将目标物整体一一完整标注出来；针对缺陷元素的标注，将每张图片中影响缺陷级别判定标准的元素标注出来。
7.步骤4所述将标注后的图片导入缺陷定级系统进行训练学习的方法包括：步骤（1）、将两组样本图片分别导入缺陷定级系统；步骤（2）、进行训练模型参数配置，包括：将数据集设置为导入的样本图片；修改
cfg/voc.data为自己的路径；修改data/voc.names和coco.names为自己的程序类步骤（3）、开始训练，使用sh train.sh命令启动训练；步骤（4）、在一个训练周期结束后形成特征库。
8.一种机巡缺陷图片图像缺陷定级系统，它包括：所述接收模块，用于接收标注完成后的样本图片；训练模块，用于对标注后的图片进行特征提取，建立模型特征库；识别模块，用于根据模型特征库对目标图片进行缺陷识别；逻辑分析模块，用于将识别模块识别出的缺陷进行逻辑分析并定级；报告模块，用于根据逻辑分析模块得出的分析结果，生成缺陷定级结果。
9.接收标注完成后的样本图片的方法为：通过系统的导入功能，批量导入zip或者rar的图片压缩包。
10.所述训练模块包括学习子模块和特征库；所述学习子模块采用yolo神经网络结构，将一幅幅的原图分割成一个个网格，每个网格预测两个预选框的坐标，每个网格还预测框内是否包含物体的置信度，以及物体属于每一类类别的概率，最终形成的特征库；所述特征库用于建立目标特征库，包括缺陷目标物特征库和缺陷元素特征库；目标物特征库包含的每个缺陷设备整体的特征信息；缺陷元素特征库包含的缺陷部位局部的特征信息。
11.识别模块的识别方法为：使用基于yolo v3的神经网络目标识别和检测方法进行识别；yolo算法通过将样本图片进行n*n的栅格化，在每个格周围以一定大小范围去寻找所有满足对象特征的像素，经过一次以上训练后找到这个准确的范围；yolo 算法将位置检测和类别识别结合到一个cnn网络中预测，通过扫描图片推理出图片中所有对象的位置信息和类别。
12.识别模块的识别方法为：逻辑分析模块的实现方法包括：步骤（1）、从识别模块获取目标识别结果；步骤（2）、根据目标识别结果进行初步逻辑判断：如果识别到的目标不需要进行缺陷定级，则转到步骤（5）；如果识别到需要缺陷定级的目标则执行步骤（3）；步骤（3）、结合参数进行组合分析，通过无人机拍摄角度及识别到的两个目标物之间的距离判断二个目标物之间的空间方位，根据空间方位结果来对缺陷定级；步骤（4）、进一步对识别到的单个需要进行缺陷定级的目标物根据影响缺陷定级的元素再次调用识别模块进行识别；重复步骤（3），直至将所有需要进行缺陷定级的目标分析完成；步骤（5）、输出缺陷识别及定级结果。
13.本发明的有益效果：本发明通过采用整体及局部标注的方式，结合缺陷定级系统的缺陷识别结果，根据缺陷定级标准进行相应的逻辑判断，必要时会对缺陷进行二次识别从而实现定级。本发明发明实现了在缺陷识别的同时完成了对缺陷的定级，节省了人工缺陷定级的工作量，极大地提高了巡检效率，降低了劳动强度，有效保证了电力系统的安全可靠运行。解决了现有技术对机巡图像标注方法，只能告诉模型“是什么”，即模型只能对缺陷类型进行识别，而对缺陷的定级却只能依靠人工进行处理，费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患等技术问题。
14.附图说明
15.图1为本发明流程示意图；图2为本发明系统组成示意图。
具体实施方式
16.请参照以下实施例，其中实施例一侧重于图像标注、定级的基础流程，实施例二侧重于缺陷定级系统。可以理解的是：虽然各实施例的侧重不同，但其设计思想是一致的。在某个实施例中没有详述的部分，可以参见说明书全文的详细描述，不再赘述。
17.实施例一请参阅图1，所示为电路缺陷标注、定级工作流程示意图，包括以下步骤：步骤s101，使用无人机对电路设备目标区域进行图像采集，得到目标图片。
18.该步骤目的在于采集用于进行缺陷识别训练的图像，因此在进行采集时，需要对缺陷设备进行多角度、整体以及局部多维度的拍摄采集，具体而言：（1）多角度采集：对缺陷设备分别从正面、侧面、俯视、仰视角度进行拍摄；（2）整体采集：对缺陷设备的整个部件进行拍摄；（3）局部采集：对缺陷设备出现故障的部位进行局部拍摄，如绝缘子自爆位置、销钉缺失位置等。
19.步骤s102中，对目标图片进行筛查，筛选出需要进行缺陷定级的图片。
20.在本实施例中，筛选的标准有：（1）采集的图片包含了需要定级的缺陷设备，且清晰、完整，无噪点、遮挡以及过度曝光；（2）包含缺陷设备多个角度的局部细节；（3）每张图片尽可能只包含一种缺陷，或者与缺陷定级相关的两种缺陷。
21.在s103中，将筛选出的图片样本分为两份：一份进行缺陷目标物标注，用于缺陷识别；一份进行缺陷元素标注，用于缺陷定级；在本实施例中，所述的具体图像标注方法包括：（1）针对缺陷目标物的标注，在每张样本图片中将目标物整体一一完整标注出来。
22.（2）针对缺陷元素的标注，将每张图片中影响缺陷级别判定标准的元素标注出来。例如针对绝缘子自爆的缺陷定级，跟自爆的绝缘子片与总绝缘子片数的比例相关，因此在图像标注时，就需要将完整的绝缘子片与自爆的绝缘子片标注出来。s104，将标注后的图片导入电路缺陷定级系统进行训练学习。
23.具体而言，本步骤包括：（1）将两组样本图片分别导入缺陷定级系统；（2）进行训练模型参数配置，包括：将数据集设置为导入的样本图片；修改cfg/voc.data为自己的路径；修改data/voc.names和coco.names为自己的程序类。
24.（3）开始训练，使用sh train.sh命令启动训练；（4）在一个训练周期结束后（通常为一个月），形成特征库。
25.s105，将需要定级的缺陷图片上传到已训练完成的电路缺陷定级系统进行定级，输出定级结果，本步骤包括：（1）上传缺陷图片进行定级；（2）获取定级结果。
26.实施例二。
27.请参阅图2，所示为电路缺陷定级系统的模块示意图。包括：接收模块1、训练模块2、识别模块3、逻辑分析模块4、报告模块5。
28.具体而言，所述接收模块1，用于接收标注完成后的样本图片，可以通过系统的导入功能，批量导入zip或者rar的图片压缩包。
29.训练模块2，用于根据样本图片对模型进行训练，形成特征库；具体而言，所述训练模块2包括了学习子模块21和特征库22：学习子模块21，采用yolo神经网络结构，将一幅幅的原图分割成多个网格，每个网格预测两个预选框的坐标，每个网格还会预测框内是否包含物体的置信度，以及物体属于每一类类别的概率，最终形成的特征库。
30.特征库22，用于建立目标特征库，包括缺陷目标物特征库和缺陷元素特征库。目标物特征库包含的是每个缺陷设备整体的特征信息，用于进行缺陷的识别；缺陷元素特征库包含的是缺陷部位局部的特征信息，用于逻辑分析模块4进行缺陷定级的逻辑判断。
31.识别模块3，用于根据特征库对目标图片进行识别，该模块使用基于yolo v3的神经网络目标识别和检测方法。yolo算法是通过将样本图片进行n*n的栅格化，在每格周围以一定大小范围去寻找所有满足对象特征的像素，经过多次训练后，它就能找到这个准确的范围。yolo 算法将位置检测和类别识别结合到一个cnn网络中预测，只需要扫描一遍图片就能推理出图片中所有对象的位置信息和类别。推理速度相较于其它对象检测算法都要高。
32.逻辑分析模块4，用于根据识别模块识别的结果，结合特定参数信息进行逻辑分析并定级。必要时，逻辑分析模块将重新调用识别模块对目标图片进行二次识别并进一步分析；具体而言，逻辑分析模块的具体运行分析过程为：（1）从识别模块获取目标识别结果；（2）根据目标识别结果进行初步逻辑判断：如果识别到的目标不需要进行缺陷定级，则转到步骤（5）；如果识别到了需要缺陷定级的目标，例如在一张图片中同时识别到了鸟巢和绝缘子串，进行下一步；（3）结合相应参数进行组合分析，例如通过无人机拍摄角度及识别到的两个目标物（鸟巢和绝缘子串）之间的距离，判断鸟巢与绝缘子串的空间方位，根据空间方位结果来对缺陷定级为重大或者一般；又例如通过对识别到的完整绝缘子片和自爆的绝缘子片数量根据缺陷定级标准进行计算，根据计算结果来对缺陷定级为紧急、重大、一般或其它；（4）进一步对识别到的单个需要进行缺陷定级的目标物（如绝缘子串）根据影响缺陷定级的元素再次调用识别模块进行识别。
33.然后重复步骤（3），直至将所有需要进行缺陷定级的目标分析完成。
34.（5）输出缺陷识别及定级结果。
35.报告模块5，用于根据逻辑分析模块得出的结果，组合最终的缺陷识别信息及定级结果以表格及接口两种方式展示结果，其中：表格展示：以列表的方式展示识别的图片编号、缺陷类型、缺陷等级信息，当识别到多种缺陷时，表格中将有多行数据，每行数据为一项缺陷识别结果；接口展示：以接口的方式返回识别结果，也有利于第三方系统动态调用及系统集成。