基于场景知识集成网络的输电线路多目标检测方法与流程

本发明属于电力，尤其涉及一种基于场景知识集成网络的输电线路多目标检测方法。

背景技术：

1、输电线路作为我国能源网络最重要的基础措施之一，其稳定运行对电网有着至关重要的影响。而金具作为输电线路的关键组成部分之一，根据种类的不同，可分为保护金具、接续金具、联接金具、耐张线夹以及悬垂线夹等。上述金具，都在维持输电线路的稳定运行过程中扮演着重要的角色。但是由于输电线路往往分布在雪山、平原或荒漠等恶劣环境中，金具常年暴露在外，受雨雪侵蚀以及风吹日晒等影响，因此极易产生锈蚀、歪斜、破损等现象，对输电线路金具进行定期巡检以减少故障成为输电线路正常运行的必要条件。

2、随着无人机巡检技术的不断成熟以及在输电线路上的广泛应用，已有效减轻运检人员的线下负担，但通过无人机获得的大量航拍图像仍需运检人员进行线上人工肉眼检测，影响巡检效率，因此需要引入输电线路部件智能检测技术。而金具作为输电线路部件的重要巡检目标之一，通过对输电线路金具进行定位和识别可以极大地提高电力维护和检修的效率，降低运检人员的负担，同时也是实现金具故障判断的前提。然而，在实际的多金具检测任务当中，由于金具间的不同连接方式以及拍摄角度的影响，金具之间往往存在着不同程度的遮挡，导致金具标注框之间存在交集，例如结构内的联板、挂板或u型环等金具被屏蔽环遮挡，被遮挡金具区域特征存在缺失，而屏蔽环标注框内涵盖了其他类型的金具，屏蔽环区域特征存在噪声。另外，由于无人机拍摄视距问题以及金具本身尺寸较小的问题，金具标注框大小有限，区域特征所含信息较少，挂板和u型环等小目标金具在整张图像中占比很小。上述两种情况，致使生成的感兴趣区域特征质量不可避免地下降，影响检测效果。

技术实现思路

1、有鉴于此，本发明实施例提供了一种基于场景知识集成网络的输电线路多目标检测方法，以提高被遮挡金具和小目标金具的检测准确度。

2、本发明实施例的第一方面提供了一种基于场景知识集成网络的输电线路多目标检测方法，包括：

3、获取拍摄的待检测金具图像，并通过faster-rcnn网络提取待检测金具图像的原始场景特征和区域建议特征；

4、将区域建议特征输入至预训练的多层卷积网络，得到金具结构信息；

5、通过场景语义特征池对金具结构信息进行处理，得到增强特征；

6、将增强特征与原始场景特征进行融合，得到融合特征；

7、基于融合特征，对待检测金具图像中的金具进行检测。

8、结合第一方面，在第一方面的一种可能的实现方式中，通过faster-rcnn网络提取金具图像的原始场景特征和区域建议特征，包括：

9、通过卷积神经网络提取金具图像的基础特征；

10、将基础特征输入至rpn网络获得感兴趣区域；

11、通过并入全局区域的感兴趣区域对基础特征进行池化操作后，输入至全连接层得到区域建议特征和原始场景特征。

12、结合第一方面，在第一方面的一种可能的实现方式中，多层卷积网络通过以下方式训练得到：

13、获取训练集，训练集包含多个金具图像；

14、通过faster-rcnn网络提取训练集中各个金具图像的原始场景特征和区域建议特征；

15、将各个金具图像的区域建议特征作为多层卷积网络的输入，并构建场景-金具共现矩阵监督多层卷积网络的输出，训练多层卷积网络的连接权重。

16、结合第一方面，在第一方面的一种可能的实现方式中，场景-金具共现矩阵通过以下方式预先构建：

17、根据各种金具的组合使用情况，定义多种金具场景；

18、根据金具图像的历史数据，统计每种金具场景出现时，每种金具出现的概率，得到场景-金具共现矩阵。

19、结合第一方面，在第一方面的一种可能的实现方式中，场景语义特征池通过以下方式预先确定：

20、对各个金具图像的区域建议特征进行筛选；

21、将各个金具图像的原始场景特征和筛选后的区域建议特征输入到门控循环单元中，以对各个金具图像的原始场景特征进行过滤；

22、根据过滤后的各个金具图像的原始场景特征，以有监督学习的方式训练场景分类器，并提取场景分类器的权重作为场景语义特征池。

23、结合第一方面，在第一方面的一种可能的实现方式中，根据过滤后的各个金具图像的原始场景特征，以有监督学习的方式训练场景分类器，包括：

24、对各个金具图像进行场景标注；

25、将过滤后的各个金具图像的原始场景特征作为场景分类器的输入，根据场景标注监督场景分类器的输出，训练场景分类器的权重。

26、结合第一方面，在第一方面的一种可能的实现方式中，基于融合特征，对待检测金具图像中的金具进行检测，包括：将融合特征输入至预设的分类回归模型中，得到待检测金具图像中各个金具的类别。

27、本发明实施例的第二方面提供了一种基于场景知识集成网络的输电线路多目标检测装置，包括：

28、获取模块，用于获取拍摄的待检测金具图像，并通过faster-rcnn网络提取待检测金具图像的原始场景特征和区域建议特征；

29、第一处理模块，用于将区域建议特征输入至预训练的多层卷积网络，得到金具结构信息；

30、第二处理模块，用于通过场景语义特征池对金具结构信息进行处理，得到增强特征；

31、融合模块，用于将增强特征与原始场景特征进行融合，得到融合特征；

32、检测模块，用于基于融合特征，对待检测金具图像中的金具进行检测。

33、本发明实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面或第一方面的任意一种实现方式中的方法的步骤。

34、本发明实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面或第一方面的任意一种实现方式中的方法的步骤。

35、本发明实施例与现有技术相比存在的有益效果是：

36、本发明实施例根据金具的聚集情况定义了多个金具场景，通过faster-rcnn网络提取待检测金具图像的原始场景特征和区域建议特征；将区域建议特征输入至预训练的多层卷积网络，得到金具结构信息，获得结构与场景的关系；通过场景语义特征池对金具结构信息进行处理，得到增强特征，从而强调了全局上下文信息和金具的细粒度视觉信息；最后，将增强特征与原始场景特征进行融合，以辅助多金具目标检测的分类器和回归器对待检测金具图像中的金具进行检测，有效地提高了被遮挡金具和小目标金具的检测效果。

技术特征：

1.一种基于场景知识集成网络的输电线路多目标检测方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，通过faster-rcnn网络提取金具图像的原始场景特征和区域建议特征，包括：

3.如权利要求1所述的方法，其特征在于，所述多层卷积网络通过以下方式训练得到：

4.如权利要求2所述的方法，其特征在于，所述场景-金具共现矩阵通过以下方式预先构建：

5.如权利要求3所述的方法，其特征在于，所述场景语义特征池通过以下方式预先确定：

6.如权利要求5所述的方法，其特征在于，根据过滤后的各个金具图像的原始场景特征，以有监督学习的方式训练场景分类器，包括：

7.如权利要求1-6任一项所述的方法，其特征在于，基于所述融合特征，对待检测金具图像中的金具进行检测，包括：将所述融合特征输入至预设的分类回归模型中，得到待检测金具图像中各个金具的类别。

8.一种基于场景知识集成网络的输电线路多目标检测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

技术总结
本发明适用于电力技术领域，提供了一种基于场景知识集成网络的输电线路多目标检测方法，包括：获取拍摄的待检测金具图像，并通过Faster‑rcnn网络提取待检测金具图像的原始场景特征和区域建议特征；将区域建议特征输入至预训练的多层卷积网络，得到金具结构信息；通过场景语义特征池对金具结构信息进行处理，得到增强特征；将增强特征与原始场景特征进行融合，得到融合特征；基于融合特征，对待检测金具图像中的金具进行检测。本发明能够提高被遮挡金具和小目标金具的检测准确度。

技术研发人员：杜伟,武艺,周振华,郭晓冰,刘宁,白云灿,晏武,郭峻松,徐文瀚,孔令宇,王志远,李源源,周立存,高鹏飞
受保护的技术使用者：国网电力空间技术有限公司
技术研发日：
技术公布日：2024/1/15