基于层次化集成学习的电力部件识别方法和装置与流程

1.本技术涉及图像识别技术领域，特别是涉及一种基于层次化集成学习的电力部件识别方法和装置。


背景技术：

2.输电是我国电力系统中至关重要的一环，众多的输电线路电力部件以及相关缺陷是输电巡检的主要内容。然而，输电线路大多数关键设备都是部署在户外，具有分布广泛、地区偏远、地理环境恶劣等特点，这给巡检带来了困难。为了有效和及时的处理以满足巡检需求，出现了基于深度学习的电力部件识别算法，然而目前的基于深度学习的电力部件识别算法应用于多个类别的电力部件识别场景时，识别效果较差。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种能够识别效果更好的基于层次化集成学习的电力部件识别方法和装置。
4.第一方面，本技术提供了一种电力部件识别方法。所述方法包括：分别采用各预测模型对输入图像进行识别，得到所述各预测模型的识别结果，所述输入图像中包括待检电力部件；采用非极大抑制算法对所述各预测模型的识别结果进行过滤，得到电力部件识别结果。
5.在其中一个实施例中，分别采用各预测模型对输入图像进行识别，得到各预测模型的识别结果的步骤包括：采用测试时数据增强对所述输入图像进行处理，得到处理图像；分别采用各所述预测模型对所述处理图像进行识别，得到各预测模型的所述识别结果。
6.在其中一个实施例中，采用测试时数据增强对所述输入图像进行处理，得到处理图像的步骤包括：对所述输入图像进行翻转得到所述第一图像；对所述输入图像进行旋转得到所述第二图像；对所述输入图像进行直方图均衡化处理得到所述第三图像。
7.在其中一个实施例中，分别采用各预测模型对处理图像进行识别，得到各预测模型的识别结果的步骤包括：针对每个预测模型，采用预测模型对第一图像进行识别，得到第一预测结果，并对第一预测结果进行翻转逆变换得到第一识别结果；针对每个预测模型，采用预测模型对第二图像进行识别，得到第二预测结果，并对第二预测结果进行旋转逆变换得到第二识别结果；针对每个预测模型，采用预测模型对第三图像进行识别，得到第三预测结果，并对
第三预测结果进行直方图均衡逆变换得到第三识别结果；采用非极大抑制算法对第一识别结果、第二识别结果和第三识别结果进行过滤，得到识别结果。
8.在其中一个实施例中，在采用非极大抑制算法对各预测模型的识别结果进行过滤的步骤之前还包括：对各预测模型的识别结果汇总得到初始识别结果；采用非极大抑制算法对各预测模型的识别结果进行过滤，得到电力部件识别结果的步骤包括：采用非极大抑制算法对所述初始识别结果过滤，得到电力部件识别结果。
9.在其中一个实施例中，对各预测模型的识别结果汇总得到初始识别结果的步骤包括：对所述各预测模型的识别结果进行取交集和取平均后得到初始识别结果。
10.在其中一个实施例中，各预测模型包括cascade-rcnn模型、yolov3-spp模型、yolov4模型和yolov5模型。
11.在其中一个实施例中，各预测模型的训练步骤包括：根据包含电力部件图像的训练集得到分辨率不同的各训练子集；采用所述各训练子集分别对各待训练模型进行一对一训练后得到所述各预测模型。
12.第二方面，本技术还提供了一种基于层次化集成学习的电力部件识别装置。所述装置包括：识别模块，用于分别采用各预测模型对输入图像进行识别，得到所述各预测模型的识别结果，所述输入图像中包括待检电力部件；输出模块，用于采用非极大抑制算法对所述各预测模型的识别结果进行过滤，得到电力部件识别结果。
13.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：分别采用各预测模型对输入图像进行识别，得到所述各预测模型的识别结果，所述输入图像中包括待检电力部件；采用非极大抑制算法对所述各预测模型的识别结果进行过滤，得到电力部件识别结果。
14.上述电力部件识别方法和装置，首先，分别采用各预测模型对输入图像进行识别，得到各预测模型的识别结果，输入图像中包括待检电力部件；然后，采用非极大抑制算法对各预测模型的识别结果进行过滤，得到电力部件识别结果。该方法通过多个预测模型对包含电力部件的输入图像进行识别，并采用非极大抑制算法对各预测模型的识别结果进行过滤，得到最终的识别结果，实现了对多种类别的电力部件的精确识别。
附图说明
15.图1为一个实施例中电力部件识别方法的流程示意图；图2为一个实施例中分别采用各预测模型对输入图像进行识别，得到各预测模型
的识别结果的步骤的流程示意图；图3为一个实施例中采用测试时数据增强对所述输入图像进行处理，得到处理图像的步骤的流程示意图；图4为另一个实施例中分别采用各预测模型对处理图像进行识别，得到各预测模型的识别结果的步骤的流程示意图；图5为另一个实施例中电力部件识别方法的流程示意图；图6为一个实施例中电力部件识别装置的结构框图；图7为一个实施例中计算机设备的内部结构图。
具体实施方式
16.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
17.在一个实施例中，如图1所示，提供了一种基于层次化集成学习的电力部件识别方法，包括以下步骤：s200，分别采用各预测模型对输入图像进行识别，得到各预测模型的识别结果。
18.其中，输入图像中包括待检电力部件。
19.具体的，各预测模型分别对输入图像中的电力部件进行识别，得到识别结果。
20.s400，采用非极大抑制算法对各预测模型的识别结果进行过滤，得到电力部件识别结果。
21.其中，非极大抑制算法（non maximum suppression）是一种去除非极大值的算法，给出一张图片和上面许多物体检测的候选框（即每个框可能都代表某种物体），但是这些框很可能有互相重叠的部分，非极大抑制算法要做的就是只保留最优的框。
22.因为在识别过程中，不同的预测模型对不同类别的电力部件有不同偏好，不能保证一个预测模型在所有类别电力部件均有良好的识别效果，因此，采用多个预测模型分别对包括待检电力部件的输入图像进行识别，然后通过非极大抑制算法对各预测模型的识别结果进行过滤，得到电力部件识别结果，最终提升了识别结果的精确性，也实现了对多种类别的电力部件的精确识别。
23.如图2所示，在一个实施例中，步骤s200包括：s210，采用测试时数据增强对输入图像进行处理，得到处理图像。
24.其中，测试时数据增强（test time augmentation）是一种对测试数据集进行数据扩展的技术。
25.具体的，测试时数据增强包括通过缩放、翻转和移动等方式将测试数据集中的每个图像创建多个扩增副本，然后让预测模型对每个图像做出预测，最后返回这些预测结果的集合。测试时数据增强可以提高预测模型对输入图像的检测精度。
26.其中，处理图像包括第一图像、第二图像和第三图像。
27.s220，分别采用各预测模型对所述处理图像进行识别，得到各预测模型的识别结果。
28.在一个实施例中，如图3所示，s210还包括步骤：
s211，对输入图像进行翻转得到第一图像。
29.s212，对输入图像进行旋转得到第二图像。
30.s213，对输入图像进行直方图均衡化处理得到第三图像。
31.其中，直方图均衡化（histogram equalization）是一种增强图像对比度的方法，其主要思想是将一幅图像的直方图分布变成近似均匀分布，从而增强图像的对比度。
32.采用翻转、旋转和直方图均衡化方式对输入图像进行处理后，使得预测模型可以对不同版本的输入图像进行预测，从而获得更好的预测性能。
33.在一个实施例中，如图4所示，s220还包括步骤：s221，针对每个预测模型，采用预测模型对第一图像进行识别，得到第一预测结果，并对第一预测结果进行翻转逆变换得到第一识别结果。
34.s222，针对每个预测模型，采用预测模型对第二图像进行识别，得到第二预测结果，并对第二预测结果进行旋转逆变换得到第二识别结果。
35.s223，针对每个预测模型，采用预测模型对第三图像进行识别，得到第三预测结果，并对第三预测结果进行直方图均衡逆变换得到第三识别结果。
36.s224，针对每个预测模型，采用非极大抑制算法对第一识别结果、第二识别结果和第三识别结果进行过滤，得到识别结果。
37.通过对反转、旋转、直方图均衡处理后所得到的预测结果进行逆变换处理可得到原输入图像的预测结果，即上述第一、第二和第三识别结果，对多个识别结果采用非极大抑制算法进行过滤，将过滤结果作为单个预测模型所对应的识别结果。每个预测模型均可基于上述相同的处理过程得到其对应的识别结果。
38.在一个实施例中，s400前还包括步骤：对各预测模型的识别结果汇总得到初始识别结果。
39.其中，对各预测模型的识别结果汇总得到初始识别结果包括对各预测模型的识别结果进行取交集和取平均后得到初始识别结果。
40.采用取交集和取平均的方式对各预测模型得到的识别结果进行汇总得到初始识别结果的方式提高了模型在图像识别过程中的泛化能力，提升了对不同电力部件识别的精确性。
41.采用非极大抑制算法对所述各预测模型的识别结果进行过滤，得到电力部件识别结果的步骤包括：采用非极大抑制算法对初始识别结果过滤，得到电力部件识别结果。
42.采用非极大抑制算法对多个预测模型的识别结果汇总后的结果进行过滤，得到电路部件识别结果。
43.其中，各预测模型包括cascade-rcnn模型、yolov3-spp模型、yolov3模型、yolov4模型和yolov5模型。
44.具体的，如图5所示，各预测模型可以分别设置为cascade-rcnn模型、yolov3-spp模型、yolov4模型和yolov5模型，采用测试时数据增强处理对包含有电力部件的输入图像进行处理，得到处理图像；然后将处理图像分别输入上述四个预测模型中，分别采用四个预测模型对上述处理图像进行识别得到四个识别结果，将四个识别结果取交集且取平均，得到初始识别结果，再通过非极大抑制算法对初始识别结果进行过滤，得到最终的电力部件
识别结果，通过该方法得到的电力部件识别结果不存在类别偏好问题，对多种类别的电力部件均可以取得较好的识别效果。经过工程实践验证，采用上述四类预测模型，可满足电力作业场景下多种类别电力部件的识别。
45.在一个实施例中，对各预测模型的训练步骤包括：根据包含电力部件图像的训练集得到分辨率不同的各训练子集。
46.采用各训练子集分别对各待训练模型进行一对一训练后得到各预测模型。
47.其中，可以根据包含电力部件图像的训练集得到分辨率为1312
×
800、800
×
800、608
×
608和416
×
416的四个训练集子集。
48.具体的，分别采用尺寸分辨率为1312
×
800、800
×
800、608
×
608和416
×
416的四个训练集子集对cascade-rcnn模型、yolov3-spp模型、yolov4模型和yolov5模型一对一进行训练。
49.对不同待训练模型采用不同分辨率的训练子集进行训练可以令不同预测模型产生较大的差异性，从而利用不同预测模型间的差异性保证上述电力部件识别方法对不同电力部件的识别效果。
50.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
51.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的基于层次化集成学习的电力部件识别方法的基于层次化集成学习的电力部件识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电力部件识别装置实施例中的具体限定可以参见上文中对于电力部件识别方法的限定，在此不再赘述。
52.在一个实施例中，如图6所示，提供了一种基于层次化集成学习的电力部件识别装置，包括：识别模块和输出模块，其中：识别模块200，用于分别采用各预测模型对输入图像进行识别，得到各预测模型的识别结果，输入图像中包括待检电力部件；输出模块400，用于采用非极大抑制算法对各预测模型的识别结果进行过滤，得到电力部件识别结果。
53.在一个实施例中，识别模块包括：处理单元，采用测试时数据增强对所述输入图像进行处理，得到处理图像；识别单元，分别采用各预测模型对所述处理图像进行识别，得到各预测模型的识别结果。
54.在一个实施例中，处理单元包括：第一处理单元，对输入图像进行翻转得到第一图像；第二处理单元，对输入图像进行旋转得到第二图像；
第三处理单元，对输入图像进行直方图均衡化处理得到第三图像。
55.在一个实施例中，识别单元包括：第一识别单元，针对每个预测模型，采用预测模型对第一图像进行识别，得到第一预测结果，并对第一预测结果进行翻转逆变换得到第一识别结果；第二识别单元，针对每个预测模型，采用预测模型对第二图像进行识别，得到第二预测结果，并对第二预测结果进行旋转逆变换得到第二识别结果；第三识别单元，针对每个预测模型，采用预测模型对第三图像进行识别，得到第三预测结果，并对第三预测结果进行直方图均衡逆变换得到第三识别结果；第一过滤单元，采用非极大抑制算法对所述第一识别结果、第二识别结果和第三识别结果进行过滤，得到识别结果。
56.在一个实施例中，上述装置还包括：汇总模块，对各预测模型的识别结果汇总得到初始识别结果。
57.上述电力部件识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
58.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储输入图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力部件识别方法。
59.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
60.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：分别采用各预测模型对输入图像进行识别，得到所述各预测模型的识别结果，所述输入图像中包括待检电力部件；采用非极大抑制算法对所述各预测模型的识别结果进行过滤，得到电力部件识别结果。
61.在一个实施例中，处理器执行计算机程序时还实现以下步骤：采用测试时数据增强对所述输入图像进行处理，得到处理图像；分别采用各所述预测模型对所述处理图像进行识别，得到各预测模型的所述识别结果。
62.在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述输入图像进行翻转得到所述第一图像；对所述输入图像进行旋转得到所述第二图像；对所述输入图像进行直方图均衡化处理得到所述第三图像。
63.在一个实施例中，处理器执行计算机程序时还实现以下步骤：针对每个预测模型，采用预测模型对第一图像进行识别，得到第一预测结果，并对第一预测结果进行翻转逆变换得到第一识别结果；针对每个预测模型，采用预测模型对第二图像进行识别，得到第二预测结果，并对第二预测结果进行旋转逆变换得到第二识别结果；针对每个预测模型，采用预测模型对第三图像进行识别，得到第三预测结果，并对第三预测结果进行直方图均衡逆变换得到第三识别结果；采用非极大抑制算法对第一识别结果、第二识别结果和第三识别结果进行过滤，得到识别结果。
64.在一个实施例中，处理器执行计算机程序时还实现以下步骤：对各预测模型的识别结果汇总得到初始识别结果。
65.在一个实施例中，处理器执行计算机程序时还实现以下步骤：对所述各预测模型的识别结果进行取交集和取平均后得到初始识别结果。
66.在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据包含电力部件图像的训练集得到分辨率不同的各训练子集；采用所述各训练子集分别对各待训练模型进行一对一训练后得到所述各预测模型。
67.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：分别采用各预测模型对输入图像进行识别，得到所述各预测模型的识别结果，所述输入图像中包括待检电力部件；采用非极大抑制算法对所述各预测模型的识别结果进行过滤，得到电力部件识别结果。
68.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：采用测试时数据增强对所述输入图像进行处理，得到处理图像；分别采用各所述预测模型对所述处理图像进行识别，得到各预测模型的所述识别结果。
69.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对所述输入图像进行翻转得到所述第一图像；对所述输入图像进行旋转得到所述第二图像；对所述输入图像进行直方图均衡化处理得到所述第三图像。
70.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：针对每个预测模型，采用预测模型对第一图像进行识别，得到第一预测结果，并对第一预测结果进行翻转逆变换得到第一识别结果；针对每个预测模型，采用预测模型对第二图像进行识别，得到第二预测结果，并对第二预测结果进行旋转逆变换得到第二识别结果；针对每个预测模型，采用预测模型对第三图像进行识别，得到第三预测结果，并对第三预测结果进行直方图均衡逆变换得到第三识别结果；
采用非极大抑制算法对第一识别结果、第二识别结果和第三识别结果进行过滤，得到识别结果。
71.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对各预测模型的识别结果汇总得到初始识别结果。
72.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据包含电力部件图像的训练集得到分辨率不同的各训练子集；采用所述各训练子集分别对各待训练模型进行一对一训练后得到所述各预测模型。
73.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
74.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
75.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。