一种基于多级目标检测的输电线路开口销目标检测方法与流程

1.本发明涉及一种输电线路中开口销目标检测方法，具体为一种基于多级目标检测的输电线路开口销目标检测方法，属于输电线路异常检测技术领域。


背景技术：

2.输电线路开口销目标检测需要对图像细小的特征点进行识别，在输电线路异常检测中开口销的状态包含重要的关键信息。比如开口销缺失，有可能导致输电线路的断线引起大面积停电，甚至导致人员伤亡。因此，输电线路中开口销的识别是有重要意义。
3.当前开口销检测方法主要有以下几点不足：
4.(1)开口销目标太小在图像中只有10-20像素甚至几个像素大小，算法处理时容易出现误检或无法检测到开口销的存在，导致识别准确率低，开口销召回率低；
5.(2)检测数据集标注信息单一，只有需要识别的目标标签，例如在开口销目标检测任务中，数据集只有标注了开口销的信息，没有其他辅助或多层级的标注信息，导致算法无法利用其他有效的信息进行学习。


技术实现要素：

6.本发明的目的就在于为了解决上述至少一个技术问题而提供一种基于多级目标检测的输电线路开口销目标检测方法，有效地提高输电线路中开口销目标检测的召回率和准确率
7.本发明通过以下技术方案来实现上述目的：一种基于多级目标检测的输电线路开口销目标检测方法，包括以下步骤
8.步骤一、准备多级目标检测的开口销数据集；
9.步骤二、建立开口销的多级目标检测器，基于开口销数据集，将具有目标检测学习能力的多级目标检测器训练，通过所述多级目标检测器，获得不同层级的标注物体和得到开口销的位置信息；
10.步骤三、多级目标检测器的推理结果后处理，通过整理和分析输电线图像中的不同层级的目标关系和螺栓小部件的类型，判断开口销是否存在及开口销的存在状态。
11.作为本发明再进一步的方案：所述步骤一中，准备多级目标检测的开口销数据集包括：多级目标检测开口销数据采集；多级目标检测开口销数据标注；输电线路多级目标检测数据预处理。
12.作为本发明再进一步的方案：所述多级目标检测开口销数据采集包括开口销的输电线路无人机巡检图像数据。
13.作为本发明再进一步的方案：所述多级目标检测开口销数据标注是指对采集开口销图像的目标框和开口销中心点标注，并按照目标层级从小到大分层标注：
14.第一层目标标注类型：开口销所在物体上；
15.第二层目标标注类型：包括开口销所在物体的物体上，并以此类推。
16.作为本发明再进一步的方案：所述输电线路多级目标检测数据预处理是指带有多级目标标签的数据集的预处理，其中，所述多级目标包括但不限于挂点、线夹、均压环、绝缘子、跳线、螺栓或开口销。
17.作为本发明再进一步的方案：不同级目标之间存在包含关系和同级关系；
18.对于所述包含关系的层级中，按照物体大小，从大到小逐层标注；
19.对于所述同级关系的层级中，若存在开口销，则以开口销所在位置为中心坐标；若不存在开口销，则该位置坐标为原点。
20.作为本发明再进一步的方案：所述步骤二中，建立开口销的多级目标检测器包括：输电线路多级目标检测器的推理模块搭建；模型结构搭建；模型训练多级目标检测器的推理模块。
21.作为本发明再进一步的方案：所述输电线路多级目标检测器的推理模块搭建是基于输电线路多级目标检测数据预处理，对已经标注的数据进行层级分类预处理，将第一层目标标注的数据作为第一层推理器的训练数据，依次类推，并且每个层级的推理器都有对应的训练数据。
22.作为本发明再进一步的方案：每个所述模型训练多级目标检测器的推理模块是一个具有独立目标检测功能的目标检测模型，根据不同层级的推理任务，选择合适的目标检测模型。
23.作为本发明再进一步的方案：所述步骤三中，多级目标检测器的推理结果后处理包括多级目标检测器的推理模块效果验证和推理数据后处理；
24.其中，所述多级目标检测器的推理模块效果验证包括多级目标检测开口销数据分割为训练集、验证集和测试集，其中，测试集将用于验证多级目标检测的准确性；
25.所述推理数据后处理包括：
26.1)使用多级目标检测器从输电线路挂点类型到挂点中各个组件类型；
27.2)对各组件中的螺栓进行逐层目标检测；
28.3)对螺栓中开口销进行检测，以获得识别开口销的存在状态。
29.本发明的有益效果是：通过学习不同层级的标注信息，将开口销的检测，拆分成多层级的任务，从大目标到小目标识别出目标的具体位置，同时将不同层级的识别信息进行融合，实现了多层级信息的学习，而不是只学习开口销一个物体；
30.创新式的提出了多层级目标学习，每个层级根据标注信息学习该层级的目标物体特征和开口销位置特征。同时下一层级在上一层级生成的特征基础上进行学习，通过该方式充分利用了标注信息中的每个层级的目标信息，通过综合学习得到开口销的检测结果，相比其他仅学习开口销目标的特征的信息可以提高识别准确率。
附图说明
31.图1为本发明流程示意图；
32.图2为本发明开口销检测实例示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.实施例一
35.如图1所示，一种基于多级目标检测的输电线路开口销目标检测方法，包括以下步骤：
36.第一：准备多级目标检测的开口销数据集。
37.多级目标检测的开口销数据集包括：多级目标检测开口销数据采集；多级目标检测开口销数据标注；输电线路多级目标检测数据预处理。
38.其中，多级目标检测开口销数据采集包括开口销的输电线路无人机巡检图像数据，所采集的图像数据是可以看到细小物体的存在图像，这种图像可以是清晰可见的，也可以是看清细小物体轮廓的模糊图像。
39.多级目标检测开口销数据标注是指对采集开口销图像的目标框和开口销中心点标注，并按照目标层级从小到大分层标注：
40.第一层目标标注类型：开口销所在物体上；
41.第二层目标标注类型：包括开口销所在物体的物体上，并以此类推。
42.输电线路多级目标检测数据预处理是指带有多级目标标签的数据集的预处理，其中，所述多级目标包括但不限于挂点、线夹、均压环、绝缘子、跳线、螺栓或开口销。
43.不同级目标之间存在包含关系和同级关系；
44.对于所述包含关系的层级中，按照物体大小，从大到小逐层标注；
45.对于所述同级关系的层级中，若存在开口销，则以开口销所在位置为中心坐标；若不存在开口销，则该位置坐标为原点。
46.使用两种方式同时对需要识别的目标进行标注。
47.第二：建立开口销的多级目标检测器，基于开口销数据集，将具有目标检测学习能力的多级目标检测器训练，通过所述多级目标检测器，获得不同层级的标注物体和得到开口销的位置信息。
48.建立开口销的多级目标检测器包括：输电线路多级目标检测器的推理模块搭建；模型结构搭建；模型训练多级目标检测器的推理模块。
49.输电线路多级目标检测器的推理模块搭建是基于输电线路多级目标检测数据预处理，对已经标注的数据进行层级分类预处理，将第一层目标标注的数据作为第一层推理器的训练数据，依次类推，并且每个层级的推理器都有对应的训练数据。
50.输电线路多级目标检测器的推理模块搭建方法主要用于多级目标检测器的每个推理模块是一个具有独立目标检测功能的目标检测模型，目标检测模型根据不同层级的推理任务不同选择合适的目标检测模型，比如，对第一层级较大目标的检测，选择推理速度较快的yolo进行模型改进对目标检测测，对目标较小的目标检测采用两段式的目标检测模型进行改进。
51.模型结构搭建主要用于多级目标检测器的推理结果获取主要用于多级目标检测结构中，每级目标检测模块都可以推理识别出该层级下的目标，这样一张输电线路图片经过多级目标检测可以识别出不同层级的目标。根据标注的不同层级关系，建立不同推理模
块的串联和并联关系。
52.模型训练多级目标检测器的推理模块主要用于训练多级目标检测器的推理模块方法主要用于每个模块有独立的损失函数，用于训练该目标检测模块模型。使用优化器对目标检测模块进行参数更新，经过不断迭代计算实现模型的优化。
53.模型训练多级目标检测器的推理模块主要用于训练多级目标检测器的推理模块方法，用于每个模块有独立的损失函数，用于训练该目标检测模块模型，使用优化器对目标检测模块进行参数更新，经过不断迭代计算实现模型的优化。每个所述模型训练多级目标检测器的推理模块是一个具有独立目标检测功能的目标检测模型，根据不同层级的推理任务，选择合适的目标检测模型。
54.第三：多级目标检测器的推理结果后处理，通过整理和分析输电线图像中的不同层级的目标关系和螺栓小部件的类型，判断开口销是否存在及开口销的存在状态。
55.多级目标检测器的推理结果后处理包括多级目标检测器的推理模块效果验证和推理数据后处理；
56.其中，所述多级目标检测器的推理模块效果验证包括多级目标检测开口销数据分割为训练集、验证集和测试集，其中，测试集将用于验证多级目标检测的准确性；
57.所述推理数据后处理包括：
58.1)使用多级目标检测器从输电线路挂点类型到挂点中各个组件类型；
59.2)对各组件中的螺栓进行逐层目标检测；
60.3)对螺栓中开口销进行检测，以获得识别开口销的存在状态。
61.实施例二
62.如图2所示，一种基于多级目标检测检测的输电线路小部件图像目标检测方法，使用多级目标检测从输电线路挂点类型到挂点中各个组件类型，然后对各组件中的螺栓进行逐层目标检测，最后对螺栓中开口销进行检测。通过该方法可以获得识别开口销的存在状态。
63.包括以下步骤：
64.步骤一、首先进行一级目标检测，输入：巡检图像，输出：开口销位置特征的地线挂点特征图；
65.步骤二、进行二级目标检测，输入：开口销坐标特征向量以及图像特征图，输出：开口销位置特征的线夹特征图；
66.步骤三、进行三级目标检测，输入：开口销坐标特征向量以及图像特征图，输出：开口销位置特征的螺栓特征图；
67.步骤四、目标检测结果输出：开口销检测结果。
68.工作原理：准备多级目标检测的开口销数据集，然后建立开口销多级目标检测器，使用准备的多级目标检测的开口销数据集对多级目标检测器进行训练，最后对多级目标检测器的推理结果后处理。
69.对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有
变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
70.此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。