基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法

1.本发明涉及计算机视觉领域，具体而言，涉及基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法。


背景技术：

2.输电线路作为电力系统传输中的生命线路，其稳定运行对电网的安全有着至关重要的影响。传统的人工巡检方式已经不能满足当今社会的需求。因此，对于如何利用计算机视觉技术，从无人机航拍巡检图像中自动精确地定位并准确检测其缺陷，已成为一项关键技术问题。经典的机器学习算法对输电线路螺栓的识别和分类效率都比较低，基于机器学习的处理方法需要人工提取螺栓缺陷特征，导致此类方法的通用性不强。目前，主流的目标检测算法有faster r-cnn和yolo系列，采用以上两种基于深度学习算法进行模型训练均依赖大量标注数据。然而，由于标注工作费时费力，在实际生产中获得大量有标注数据要花费高昂的代价。此外，训练样本类别数据样本不平衡也会造成深度学习模型最终训练效果极差。
3.现有技术中，根据在训练过程中是否使用标注数据，可将机器学习模型分为“有监督学习”、“无监督学习”和“半监督学习”3种。基于有监督学习的目标检测算法能否取得良好的性能的关键在于是否具备充足的标注样本数据。然而，在电力生产等诸多场景中，危机缺陷样本数据总量少且图像标注的成本较高等原因，使得获取大量标注的数据集的要求难以满足。无监督学习完全不利用标注数据，通过对数据内在特征挖掘，找到样本之间的关系。但由于无监督学习算法缺乏先验知识，无法预判输出结果的准确性，难以应用于实际生产中。半监督学习同时利用无标注数据和有标注数据进行协同训练。无标注数据在半监督学习模型中会被打上一个标签然后作为有标记数据使用，起到扩充数据集的作用，进而改进模型的质量。然后，在实际工作中，无标注数据的质量难以控制，不当的使用无标注数据会对性能带来极大的影响。
4.针对上述问题，目前已有使用基于半监督学习进行目标检测的方法，例如，华中科技大学公开了一种基于半监督学习自动标注工业产品外观缺陷图像的方法(申请号：cn202010804831.x)，该方法使用训练过的深度卷积网络分类模型对未知标签数据进行标注，并为其打上伪标签。之后，从伪标签数据中抽取预定量的数据并入已知标签数据组成新的训练集迭代训练自动标注模型。由于该方法标注结果很大程度上依赖于前期已标注样本训练的深度学习模型的精度，因此，如果伪标签中在携带噪声过多的情况下，则无法保证半监督训练最终模型的准确性。平安科技(深圳)有限公司也公开了一种基于半监督学习的目标检测方法、装置及存储介质(申请号：202011288652.1)，该方法通对已标注数据水平翻转与数据增强等操作扩充的数据作为新的训练样本的方式，提高模型的检测泛化能力。但这种方式严重限制了无标注样本的可利用率，无法充分利用大量无标签样本中蕴含的信息来帮助提高模型精度。
5.其次，深度学习模型目前无法学习到类别a样本和类别b样本之间的区别，类别c样
本与类别b样本之间的联系以及依赖信息，难以挖掘不同类别样本与样本之间背后的潜在知识信息。在目前的目标检测任务中，对于某个样本，类别标签要不是类别a，那么就是类别b，或者类别c等等。然而，这种标注方式除了标注类别信息外，不具有其他语义信息，每个类别标签视为是笛卡尔坐标系中彼此正交的轴上的基底，这意味着每个类别之间的欧式距离是一致的，这与现实中实际类别含义严重不符。也就是说，模型认为螺栓正常，螺栓缺销钉，螺栓缺螺母都是等价的类别，但是显然，螺栓正常和螺栓缺销钉特征极为相似，而螺栓正常与螺栓缺螺母具有明显的区别。
6.此外，目前针对长尾分布问题，无非采用以下两类方式处理：基于重采样加权重方式与平衡不同样本子集的方式。
7.一方面，基于重采样和加权重的方法，只能解决梯度回传时头部类相比于尾部类占据更多梯度回传问题，在自然界中，缺陷样本具有典型的长尾分布特点，不同的缺陷类具有不同数量的实例，更重要的是并非同一类的缺陷都出现在一张图像中，未解决针对尾部特征的小样本学习问题。另一方面，在自然界中，不同类别标签分布通常与其他类别具有关联，不具有独立同分布的特点，无法解决尾部样本数据较少以致特征识别难的问题因此，急需一种技术方案通过增强尾部类特征提取能力，从根本上解决样本不平衡造成模型检测能力不稳定的问题。


技术实现要素：

8.为克服现有技术的不足，本发明提出一种综合利用半监督学习与先验知识嵌入策略进行螺栓缺陷检测的方法，将多个相关任务放在一起协同训练，使得每个任务之间的参数和数据都能共享，从而增加模型的泛化能力，该方法具体为基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法。
9.为了实现上述技术目的，本发明提供了基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，包括以下步骤：
10.采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
11.基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
12.构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；
13.基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
14.优选地，在采集不同部件的螺栓图像的过程中，螺栓图像包括正常螺栓图像、缺垫片螺栓图像、缺销钉螺栓图像、缺螺母螺栓图像。
15.优选地，在构建螺栓缺陷检测模型的过程中，基于变分自编码器网络模型，对样本数据集，通过cnn backbone模块进行特征提取，得到图像特征信息；
16.通过encoder模块将图像特征信息转换为特征序列，并融入位置信息编码，得到隐空间特征向量；
17.在先验知识的指导下，将隐空间特征向量转化为若干个中间特征，并通过前馈神
经网络fnn，分解成目标坐标和分类标签；
18.根据目标坐标和分类标签，对样本进行标注，生成标注数据；
19.根据标注数据和未标注数据，对变分自编码器网络模型进行训练，构建螺栓缺陷检测模型。
20.优选地，在构建螺栓缺陷检测模型的过程中，构建螺栓缺陷检测模型包括还包括第一decoder模块和第二decoder模块；
21.第一decoder模块用于根据位置信息编码和中间特征，整合得到样本相关性特征，其中，样本相关性特征包括位置特征和类别特有特征信息；
22.第二decoder模块用于通过反卷积操作去除位置特征，获取类别特有特征信息，类别特有特征信息用于获取中间特征与对应的类别特有特征信息的特征匹配程度；
23.优选地，在对变分自编码器网络模型进行训练的过程中，根据标注数据和未标注数据，生成训练集；
24.将训练集，输入到变分自编码器网络模型，前向传播一次，之后通过反向传播算法对模型训练，用于获取预测类别、边界预测值、真实类别标签与边界。
25.优选地，在通过反向传播算法对模型训练的过程中，通过标注数据进行模型训练，获取分类损失和边界框回归损失；
26.分类损失的方程表达式为：
[0027][0028]
边界框回归损失的方程表达式为：
[0029][0030]
pi表示第i个anchor预测为真实标签的概率、当正样本时为1当为负样本是为0、ti表示预测第i个anchor的边框回归参数、表示第i个anchor对应的真实的边框回归参数、r为loss
ciou
损失函数。
[0031]
优选地，在通过反向传播算法对模型训练的过程中，loss
ciou
损失函数的方程表达式为：
[0032][0033][0034][0035]
其中，iou为预测的边框和真实的边框的交集和并集的比值、b，b
gt
分别是预测的边框和真实的边框的中心点、ρ2(b，b
gt
)表示预测的边框与真实的边框的中心点的欧式距离、c表示能够同时包含预测的边框和真实的边框的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框和预测框之间的比例一致性。
[0036]
优选地，在通过反向传播算法对模型训练的过程中，通过限定每个卷积层输出特
征之间的距离，使用未标注数据进行模型训练，其中，采用原始图像与对应的合成图像之间的特征匹配损失对模型训练过程进行约束：
[0037][0038]
其中，n
cls
表示一个batch中样本数量、n
reg
表示anchor位置的个数。
[0039]
优选地，在使用未标注数据进行模型训练的过程中，以原始图像对应的特征信息q作为输入，经第一decoder模块，可获得包含位置特征和类别特有特征信息。第二decoder模块采用反卷积整合第一decoder模块两种特征，得到特征信息。由对偶性可知：以得到特征信息作为输入，经第一、第二decoder模块同样可获得位置特征和类别特有特征信息。针对未标注数据样本无法直接计算分类和边界框回归损失，本发明利用未标注数据的特征提取的对偶性，设计了如下损失：
[0040][0041]
其中，t表示判别器中提取特征的层数，di表示提取的特征，ni表示第i层判别器网络提取的特征数量。
[0042]
优选地，用于实现螺栓缺陷检测方法的螺栓缺陷检测系统，包括：
[0043]
数据采集模块，用于采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
[0044]
数据处理模块，用于基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
[0045]
缺陷识别模块，用于通过构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
[0046]
本发明公开了以下技术效果：
[0047]
本发明提出了一种基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法。一方面设计了一种独特的变分自编码器网络，将目标检测问题转变为一组图像变换的对偶问题，并将它们之间的对偶关系作为约束，同时训练两个学习模型，两个模型的性能相互促进。使模型最终能够在低比例的标注数据情况下达到或逼近监督学习模型性能结果，从而大大降低数据的标注成本；
[0048]
另一方面，充分利用不同类别样本的相关性与依赖性提高长尾分布下的螺栓缺陷检测的准确度。
附图说明
[0049]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
[0050]
图1为本发明实施例所述的螺栓缺陷检测方法的流程示意图；
[0051]
图2为本发明实施例所述的变分自编码器结构示意图；
[0052]
图3为本发明实施例所述的样本与样本之间关联关系示意图；
[0053]
图4为本发明实施例所述的实物样本示意图；
[0054]
图5位本发明实施例所述的不同模型检测效果对比图。
具体实施方式
[0055]
下为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
如图1-5所示，本发明提供了1.基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，包括以下步骤：
[0057]
采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
[0058]
基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
[0059]
构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；
[0060]
基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
[0061]
进一步优选地，在采集不同部件的螺栓图像的过程中，螺栓图像包括正常螺栓图像、缺垫片螺栓图像、缺销钉螺栓图像、缺螺母螺栓图像。
[0062]
进一步优选地，在构建螺栓缺陷检测模型的过程中，基于变分自编码器网络模型，对样本数据集，通过cnn backbone模块进行特征提取，得到图像特征信息；
[0063]
通过encoder模块将图像特征信息转换为特征序列，并融入位置信息编码，得到隐空间特征向量；
[0064]
在先验知识的指导下，将隐空间特征向量转化为若干个中间特征，并通过前馈神经网络fnn，分解成目标坐标和分类标签；
[0065]
根据目标坐标和分类标签，对样本进行标注，生成标注数据；
[0066]
根据标注数据和未标注数据，对变分自编码器网络模型进行训练，构建螺栓缺陷检测模型。
[0067]
进一步优选地，优选地，在构建螺栓缺陷检测模型的过程中，构建螺栓缺陷检测模型包括还包括第一decoder模块和第二decoder模块；
[0068]
第一decoder模块用于根据位置信息编码和中间特征，整合得到样本相关性特征，
其中，样本相关性特征包括位置特征和类别特有特征信息；
[0069]
第二decoder模块用于通过反卷积操作去除位置特征，获取类别特有特征信息，类别特有特征信息用于获取中间特征与对应的类别特有特征信息的特征匹配程度。
[0070]
第一decoder模块用于根据位置信息编码和中间特征q(中间特征q指的是原始图像经特征提取网络获得特征)，整合得到特征信息h。所述特征信息h包含位置特征l和类别特有特征信息x、y、z与w。
[0071]
第二decoder模块是将第一decoder模块整合得到的特征信息h，通过反卷积操作去除位置编码信息，得到特征信息r。
[0072]
特征信息r指的是图像的类别特征信息(也就是特征信息h去除了位置信息)。特征信息r的获取的目的是为了计算原始图像中间特征q与对应的合成图像特征r之间的特征匹配程度。
[0073]
进一步优选地，在对变分自编码器网络模型进行训练的过程中，根据标注数据和未标注数据，生成训练集；
[0074]
将训练集，输入到变分自编码器网络模型，前向传播一次，之后通过反向传播算法对模型训练，用于获取预测类别、边界预测值、真实类别标签与边界。
[0075]
进一步优选地，在通过反向传播算法对模型训练的过程中，通过标注数据进行模型训练，获取分类损失和边界框回归损失；
[0076]
分类损失的方程表达式为：
[0077][0078]
边界框回归损失的方程表达式为：
[0079][0080]
pi表示第i个anchor预测为真实标签的概率、当正样本时为1当为负样本是为0、ti表示预测第i个anchor的边框回归参数、表示第i个anchor对应的真实的边框回归参数、r为loss
ciou
损失函数。
[0081]
进一步优选地，在通过反向传播算法对模型训练的过程中，loss
ciou
损失函数的方程表达式为：
[0082][0083][0084][0085]
其中，iou为预测的边框和真实的边框的交集和并集的比值、b，b
gt
分别是预测的边框和真实的边框的中心点、ρ2(b，b
gt
)表示预测的边框与真实的边框的中心点的欧式距离、c表示能够同时包含预测的边框和真实的边框的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框和预测框之间的比例一致性。
[0086]
进一步优选地，在通过反向传播算法对模型训练的过程中，通过限定每个卷积层输出特征之间的距离，使用未标注数据进行模型训练；其中，采用原始图像与对应的合成图像之间的特征匹配损失对模型训练过程进行约束：
[0087][0088]
其中，n
cls
表示一个batch中样本数量、n
reg
表示anchor位置的个数。
[0089]
进一步优选地，在使用未标注数据进行模型训练的过程中，模型训练的过程表示为：
[0090][0091]
其中，t表示判别器中提取特征的层数，di表示提取的特征，ni表示第i层判别器网络提取的特征数量。
[0092]
进一步优选地，用于实现螺栓缺陷检测方法的螺栓缺陷检测系统，包括：
[0093]
数据采集模块，用于采集不同部件的螺栓图像，建立不同类型缺陷的螺栓检测数据集；
[0094]
数据处理模块，用于基于先验知识嵌入策略，对螺栓检测数据集进行特征处理，生成具有样本相关性特征的样本数据集，其中，样本相关性特征用于表示样本与样本之间的特征具有相关性；
[0095]
缺陷识别模块，用于通过构建变分自编码器网络模型，变分自编码器网络模型由批归一化单元、图卷积神经网络单元以及卷积单元组成；基于变分自编码器网络模型，通过半监督学习的方式，将样本数据集输入到变分自编码器网络模型进行训练，构建螺栓缺陷检测模型，螺栓缺陷检测模型用于识别待检测螺栓图像的螺栓缺陷类型。
[0096]
本发明提出了一种基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法，如图1所示，为本发明实施例的整体流程图，包括以下步骤：
[0097]
步骤1：建立不同类型缺陷的螺栓检测数据集。通过无人机对输电线路进行巡检，采集各种部件上的螺栓图像，所述螺栓图像分为螺栓-正常(ls-zc)、螺栓-缺垫片(ls-qdp)、螺栓-缺销钉(ls-qxd)、螺栓-缺螺母(ls-qlm)4类，合计1970张，各类样本示意图如下图所示。
[0098]
步骤2：先验知识嵌入策略，所述先验知识嵌入策略是指利用已标注样本有效学习捕获和融合自然场景下不同类别样本与样本之间以及类别与类别之间的相关性、依赖性，使用图嵌入向量代替原本的one-hot编码来表示不同类别信息，增加类别标签中蕴含语义信息、提高不同类别样本之间的推理能力。所述图嵌入向量的优点在于：在判断一个样本类别时，单独从单个样本特征不确定时，可以将相关样本的特征聚合后补充在当前样本特征上，进而提高单个样本的判别能力。所述，图嵌入就是把图模型映射到低维向量空间，表示成的向量形式还应该尽量的保留图模型的结构信息和潜在的特性。样本与样本之间的关联关系如附图3，其中，节点idx表示不同类别的螺栓样本，节点与节点之间的连线表示样本与样本之间特征具有相关性，不同样本与样本之间相关关系可以通过图中边进行传递。
[0099]
步骤3：搭建变分自编码器网络模型。所述变分自编码器结构示意如附图2所示，其
中，sync bn表示批归一化、gcn表示图卷积神经网络、conv表示卷积。
[0100]
具体来说，首先，图像通过cnn backbone模块进行特征提取，得到图像的特征信息。其次，encoder模块将提取特征转换为1d的序列，同时融入位置信息编码，得到隐空间特征向量。然后，第一个decoder模块会在先验知识的引导下将隐空间特征向量转换为n个中间特征。之后，第二个decoder模块在位置信息编码的引导下将第一个decoder模块输出的n个中间特征转化为对应图像的特征向量。最后，通过前馈神经网络fnn将第一个decoder模块输出的n个中间特征解码成目标坐标和分类标签，并建立联合训练模型。该过程可以通过半监督学习的方式进行，从而降低对标注数据的依赖。
[0101]
步骤4：利用标注数据与未标注数据进行协同训练，所述的协同训练是指利用少量已标注样本和大量未标注样本，通过对偶优化策略，将某一域中的图像转换到另一个域，同时转换后的图像还能够转换回原来的域。
[0102]
对步骤1中得到的螺栓进行训练集与验证集的划分；对于训练集中有标签样本，在训练过程中每一个epoch中，同一组有标签样本输入到步骤3搭建的变分自编码器网络中前向传播一次，之后通过反向传播算法对模型训练。得到的预测类别以及边界预测值与真实类别标签与边界，通过公式(2)计算分类损失、公式(3)计算边界框回归损失：
[0103][0104][0105][0106]
公式(4)中，pi表示第i个anchor预测为真实标签的概率、当正样本时为1，当为负样本是为0、ti表示预测第i个anchor的边框回归参数、表示第i个anchor对应的“真实的边框”回归参数、n
cls
表示一个batch中样本数量、n
reg
表示anchor位置的个数(不是anchor个数)、r为loss
ciou
损失函数。其中，loss
ciou
的具体计算方法见公式(5)。
[0107][0108][0109][0110]
公式(5)中，iou为“预测的边框”和“真实的边框”的交集和并集的比值、b，b
gt
分别是“预测的边框”和“真实的边框”的中心点、ρ2(b，b
gt
)表示“预测的边框”与“真实的边框”中心点的欧式距离、c表示能够同时包含“预测的边框”和“真实的边框”的最小闭包区域的对角线距离、α是用于平衡比例的参数、v用来衡量锚框(anchor)和预测框之间的比例一致性。
[0111]
对于训练集无标签样本，在不可获得分类标签的情况下，通过将同一图像经步骤3定义的变分自编码器网络模型得到与原始图像相对应的合成图像。之后通过反向传播算法对螺栓检测模型进行训练，其中采用原始图像与对应的合成图像之间的特征匹配损失对螺
栓检测模型的训练过程进行约束。具体来说，就是使用多层判别器从原始图像和合成图像中提取特征，然后计算每一层卷积输出特征之间的l1距离：
[0112][0113]
其中，t表示判别器中提取特征的层数，di表示提取的特征，ni表示第i层判别器网络提取的特征数量。
[0114]
最后，利用测试集来验证螺栓缺陷检测模型的训练效果，以得到训练完毕的螺栓检测模型。
[0115]
步骤5：采集待检测的螺栓图像，将其输入到训练完毕的螺栓缺陷检测模型中，检测螺栓的缺陷情况，该缺陷情况是有螺栓缺陷检测模型输出的表征螺栓缺陷情况的特征向量中置信度最高的缺陷情况标签与边界框信息。
[0116]
本发明提出的方法以及对比实验的方法使用的螺栓缺陷数据集中的图像均是无人机在实际巡检过程中拍摄得到，并参考国家电网的输电线路设备标注方案对样本数据进行标注。已标注样本中每个图像都有一个对应的xml标注文件，xml文件中包含图像的名称、目标的类别以及边框的坐标信息。数据集包括螺栓-正常(ls-zc)、螺栓-缺垫片(ls-qdp)、螺栓-缺销钉(ls-qxd)、螺栓-缺螺母(ls-qlm)4类样本，合计1970张图片，各类样本示意图及数量分布如图4及表1所示。
[0117]
表1
[0118][0119]
本发明采用平均精度(mean average precision,map)与推理速度(frame per second,fps)作为目标检测的精度与处理速度的评价指标。其中map为所有类别精度的平均值，是衡量目标检测模型整体精度的指标。fps表示每秒能够处理的图片的个数，可以有效的衡量算法的处理速度。
[0120]
将本发明提出基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法与faster r-cnn以及yolov5模型的实验结果进行比较。其中，faster-rcnn与yolov5在全部标注螺栓数据集上进行标注后的数据与本发明提出的基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法使用40％的数据为标注数据、60％的数据为未标注数据。设置训练的epoch为100，batch size为8。训练过程中，前10个epoch学习率从10-6逐步提升至10-3，10-19次epoch学习率为10-2，20-100次epoch为学习率降至10-4。为防止模型陷入局部最优点
使用sgd优化器，设置动量系数为0.9，衰减系数为0.005，不同模型检测性能对比结果如表2所示。
[0121]
表2
[0122][0123]
结果如表2所示，取iou的阈值为0.5时，相比faster r-cnn模型，本发明提出的方法的map提高了2.8％，fps提高了3.3,提高了检测准确率和检测速度；与yolov5模型相比，本发明提出的方法提高了输电线路螺栓缺陷检测精度，但在检测速度上还有一定的提升空间。
[0124]
从图5(a)与图5(b)和图5(c)对比效果可知，faster r-cnn与yolov5模型对于小目标的检测的置信度均低于本发明提出的方法且faster r-cnn存在漏检的情况。相对而言本发明提出的方法可以有效地检测出输电线路挂件上的螺栓目标，并且可以避免对小目标的错检。实验结果表明，在数据样本不平衡的情况下，本发明提出的方法能够有效提升模型的检测性能，同时申请提出的方法在初始化时仅使用了全部数据集的60％最终检测结果逼近使用全部数据集的模型。在一定程度上证明了本发明提出的方法可以有效降低标注图片数量进而降低图像的标注成本。
[0125]
以上已将本发明做一详细说明，以上所述，仅为本发明之较佳实施例而已，当不能限定本发明实施范围，即凡依本发明范围所作均等变化与修饰，皆应仍属本发明涵盖范围内。如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
[0126]
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。