一种用于极寒灾害下输电线路金具缺陷的态势感知方法与流程

1.本发明涉及输电线路缺陷检测技术领域，特别是涉及一种用于极寒灾害下输电线路金具缺陷的态势感知方法。


背景技术：

2.输电线路上的金具是否存在缺陷将直接影响输电线路的运行安全，尤其是极寒灾害下输电线路金具出现缺陷的可能性更高，且人工巡检更加困难。输电线路上的金具是逐渐从正常状态转化为缺陷状态，同时同一缺陷也有其不同的缺陷程度，并且是在不断演化的。对于同一金具的同一缺陷而言，其不同的缺陷状态对于输电线路的影响程度也是不同的。因此，为了保障极寒灾害下输电线路的安全运行，需要对输电线路上的大量金具缺陷进行态势感知，以获取金具目前处于何种状态并有针对的进行维护。
3.态势感知指的是在特定的时空背景下，对系统中各元素进行觉察、理解并对未来运行状态进行预测，这三步分别对应了态势感知过程的三个阶段：态势要素采集、实时态势理解和未来态势预测。输电线路态势感知的对象是线路上的金具，在感知到金具的状态后再对其接下来的转化状态进行预测，用于辅助巡检人员做出决策。
4.由于极寒灾害下人工巡检作业极为困难，因此通过无人机航拍获得输电线路图像，再使用基于深度学习的分类模型对航拍图像进行缺陷态势感知的巡检方式可减少运维人员登杆检查工作量，保障巡检人员安全，快速且准确判断缺陷状态。该工作对应的是态势感知中的态势要素采集阶段，为态势感知下一步提供基础数据信息，此阶段是态势感知的基础环节。
5.但是，目前的深度学习模型在训练时需要使用所有种类的金具及其缺陷图像，并且训练完成后的模型可感知的金具及缺陷种类不可增加，当需要增加新的待分类缺陷时，如果直接使用新的待分类数据集对原模型进行训练，会导致模型对旧任务的处理能力呈现断崖式下降，这种现象称之为灾难性遗忘。因此只能放弃原模型，将新数据集混入旧数据集从新训练模型，但是这样会耗费大量时间。
6.为了使模型可以在不重新训练的前提下减小灾难性遗忘的影响，持续学习的概念被提出。现阶段的持续学习主要通过三种方式来实现：第一种是基于正则化的方法，通过限制模型参数偏离先前的解太远来防止遗忘，但是这样也会限制模型适应新任务的能力，导致模型无法找到最优解；第二种是基于数据集重放的方法，通过对以前任务保存的数据进行多次重放来使模型记住曾经学习过的任务的特征，该方法虽然在防止遗忘方面很有效，但基于重放的方法的性能高度依赖于内存缓冲区的大小和重放内容的选择，在某些严格的设置中，保存任何数据可能都不是一个最佳选项，在大规模环境中随着任务数量的增加，性能会迅速下降；第三种方法是基于模型扩增的方法，通过在每个任务中设置增长模型来对抗遗忘，该方法可以减轻灾难性遗忘，并且可以容易地添加额外的必要容量来容纳新任务，这种不需要保存任何数据就能任意扩展的能力给扩展方法提供了在大规模数据环境设置中成功的可能性。但是随着任务量的增加，如何将模型参数数量的增长量保持在可接受范
围的依然是需要首先考虑的问题。
7.由于输电线路上金具及其缺陷种类众多，且输电线路分布广泛，每一个省份地区的输电线路都不尽相同，使用的部件材质、部件形状、安装规范以及所处的地理环境都存在极大的区别，并且极寒灾害下金具缺陷数据难以收集，数据较少，一次性收集所有种类数据面临巨大困难。目前的检测模型受限于金具缺陷数据集分布不平衡的问题，对某些数据集较少的缺陷检测精度较低，且不具备持续学习的能力。
8.因此，将对抗性持续学习应用于极寒灾害下输电线路上金具缺陷的态势感知，将有效提高巡检效率。但目前的对抗性持续学习模型只能用于分类任务，并且对类间差异较小的各种不同程度的金具缺陷进行分类时并不能达到很好的效果。因此，设计一种用于极寒灾害下输电线路金具缺陷的态势感知方法是十分有必要的。


技术实现要素：

9.本发明的目的是提供一种用于极寒灾害下输电线路金具缺陷的态势感知方法，实现了金具缺陷检测模型的可持续学习，能够缓解由于金具缺陷数据集不平衡导致的某些金具缺陷检测精度过低的问题，提高了极寒灾害下金具检测的精度，节约了模型占用空间，保证了模型在学习新的分类任务的同时不会忘记旧分类任务，提高了模型对不同缺陷程度的金具的识别能力。
10.为实现上述目的，本发明提供了如下方案：
11.一种用于极寒灾害下输电线路金具缺陷的态势感知方法，包括如下步骤：
12.步骤1：建立第一级检测模型，获取极寒灾害下金具目标数据集，通过该数据集训练第一级检测模型；
13.步骤2：建立第二级分类模型，获取极寒灾害下金具缺陷数据集，并将其进行分类，通过分类后的金具缺陷数据集训练第二级分类模型；
14.步骤3：将第一级检测模型及第二级分类模型级联，并在第二级分类模型中引入注意力机制；
15.步骤4：将待检测的输电线路航拍图像输入步骤1中训练后的第一级检测模型中，得到金具图像和标签，将金具图像和标签同时输入步骤2中训练后的第二级分类模型中，得到金具的缺陷情况。
16.可选的，步骤1中，建立第一级检测模型，获取极寒灾害下金具目标数据集，通过该数据集训练第一级检测模型，具体为：
17.建立yolov4模型作为级联的第一级检测模型，获取极寒灾害下金具目标数据集，通过该数据集训练第一级检测模型，使其能够在输电线路航拍图像上检测金具目标，并将检测得到的金具图像及标签裁剪下来，作为第二级分类模型的输入，其中令输入的输电线路航拍图像为x
global
，被裁剪的金具图像为x，各类金具的标签为y，得到利用yolov4模型检测金具的公式f
yolov4
为：
18.f
yolov4
(x
global
)＝(x,y)
ꢀꢀꢀ
(1)
19.可选的，步骤2中，获取极寒灾害下金具缺陷数据集，并将其进行分类，具体为：
20.获取极寒灾害下金具缺陷数据集，按照不同种类的金具对其进行划分，划分完成后，以各金具的具体缺陷为子类再次进行划分，
21.d＝{d1,d2,
………
,d
t
}
ꢀꢀꢀ
(2)
[0022][0023]
式中，d为所有金具缺陷数据集的集合，d
k
为某类金具缺陷数据，x
ik
为输入图像，y
ik
为输出标签，t
ik
为任务标签，n
k
为训练集的数量，i为金具缺陷类别。
[0024]
可选的，在步骤2中所述的第二级分类模型中，将深度学习网络学习到的特征知识划分为共享知识模块和特有知识模块，其中共享知识模块采用对抗性训练的方式学习所有分类任务中的所有训练集的共有图像特征，特有知识模块只学习序列分类任务中的特有特征，采用正交约束方法使共享知识模块与特有知识模块学习到的特征知识不尽相同。
[0025]
可选的，特有知识模块只学习序列分类任务中的特有特征，具体为：
[0026]
学习同一序列分类任务中不同类别图像的不相似的特征，并为每一个序列分类任务单独保存一个子模型p，对于一个包含c种类别图像的序列分类任务而言，实际上就是一个c类的分类任务，其中损失函数为：
[0027][0028][0029]
式中，x
k
表示输入数据，y
k
为输入数据的真实类别标签，σ为softmax函数，f
k
为一种将输入映射到两个独立潜在空间的模型，其中一个空间包含所有任务的共享特征，另一个空间包括对每个任务都是特有的特征。
[0030]
可选的，共享知识模块采用对抗性训练的方式学习所有分类任务中的所有训练集的共有图像特征，具体为：
[0031]
构建特征映射shared和对抗判别器d，并通过对抗性训练的方式对特征映射shared进行训练，其中损失函数为：
[0032][0033]
式中，t
k
为任务序号标签，当s能够生成d不能再预测正确任务标签的特征时，s和d的训练完成，t为总的序列任务的数量。
[0034]
可选的，采用正交约束方法使共享知识模块与特有知识模块学习到的特征知识不尽相同，具体为：
[0035]
通过使用正交约束方法对共享知识模块与特有知识模块的特征知识进行因式分解，计算其差异为：
[0036][0037]
式中，为f
‑
范数，p
k
表示第k个p模型。
[0038]
可选的，第二级分类模型的最后总损失为共享知识模块的损失函数、特有知识模块的损失函数及正交约束方法计算得到的差异之和，即：
[0039]
l
final
＝l
adv
+l
task
+l
diff (8)
[0040]
式中，l
final
为最后总损失。
[0041]
可选的，步骤3中，在第二级分类模型中引入注意力机制，具体为：
[0042]
在第二分类模型的基础网络中引入基于通道维度的注意力模块，通过对通道之间的关系建模，自适应地重新校准通道方向的特征响应，公式如下：
[0043]
x
→
u,x∈r
w'
×
h'
×
c'
,u∈r
w
×
h
×
c
ꢀꢀ
(9)
[0044][0045][0046][0047]
v
c
＝ω
c
×
u
c
ꢀꢀꢀ
(13)
[0048]
公式(9)中的x表示输入特征图，u表示经过卷积后的特征图，该公式表示将w'
×
h'
×
c'的输入特征图经过卷积变成w
×
h
×
c，得到c个大小为w
×
h的特征图；公式(10)中h和w分别代表输入的高和宽，u
c
表示输入特征图，公式(11)中c代表输入神经元的通道数，c/r是第二层神经元数量，δ表示relu函数，σ表示sigmoid函数，第一层神经元使用relu函数防止梯度弥散，第二层神经元使用sigmoid函数，公式(12)中将输出值规范在(0，1]区域之间，公式(13)表示通过将w与u相乘，得到对各通道重要性预测后的特征图v。
[0049]
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的用于极寒灾害下输电线路金具缺陷的态势感知方法，将第一级检测模型及第二级分类模型级联，其中第二级分类模型为对抗性持续学习分类模型，实现了金具缺陷检测模型的可持续学习，通过第一级检测模型检测极寒灾害下金具目标，能够缓解由于金具缺陷数据集不平衡导致的某些金具缺陷检测精度过低的问题，同时使用的极寒灾害下金具目标数据集不再细分缺陷金具图像，相当于扩增了极寒灾害下金具目标数据集，提高了检测金具的精度；通过将第二级分类模型学习到的不同分类任务的特征以共享特征和特有特征进行划分为共享知识模块与特有知识模块，其中共享知识模块采用对抗性训练的方式学习所有分类任务中的所有训练集的共有图像特征，特有知识模块只学习序列分类任务中的特有特征，节约了模型占用空间的同时，也保证了模型在学习新的分类任务时，不会忘记旧分类任务，采用正交约束方法保证共享知识模块及特有知识模块学习到的特征知识尽可能不同；在第二级分类模型的特征提取网络中引入了注意力机制，提高了第二级分类模型对不同缺陷程度的金具的缺陷识别能力。
附图说明
[0050]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0051]
图1为本发明实施例用于极寒灾害下输电线路金具缺陷的态势感知方法流程示意图；
[0052]
图2为输电线路态势感知流程示意图；
[0053]
图3为本发明实施例用于极寒灾害下输电线路金具缺陷的态势感知方法程序框图；
[0054]
图4为持续学习模型训练流程图；
[0055]
图5为注意力模块示意图。
具体实施方式
[0056]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
本发明的目的是提供一种用于极寒灾害下输电线路金具缺陷的态势感知方法，实现了极寒灾害下金具缺陷检测模型的可持续学习，能够缓解由于金具缺陷数据集不平衡导致的某些金具缺陷检测精度过低的问题，提高了金具检测的精度，节约了模型占用空间，保证了模型在学习新的分类任务的同时不会忘记旧分类任务，提高了模型对不同缺陷程度的金具的识别能力。
[0058]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0059]
如图1
‑
5所示，本发明实施例提供的用于极寒灾害下输电线路金具缺陷的态势感知方法，如图1所示，包括如下步骤：
[0060]
步骤1：建立第一级检测模型，获取极寒灾害下金具目标数据集，通过该数据集训练第一级检测模型；
[0061]
步骤2：建立第二级分类模型，获取极寒灾害下金具缺陷数据集，并将其进行分类，通过分类后的极寒灾害下金具缺陷数据集训练第二级分类模型；
[0062]
步骤3：将第一级检测模型及第二级分类模型级联，并在第二级分类模型中引入注意力机制；
[0063]
步骤4：将待检测的输电线路航拍图像输入步骤1中训练后的第一级检测模型中，得到金具图像和标签，将金具图像和标签同时输入步骤2中训练后的第二级分类模型中，得到金具的缺陷情况。
[0064]
态势感知指的是在特定的时空背景下，对系统中各元素进行觉察、理解并对未来运行状态进行预测，这三步分别对应了态势感知过程的三个阶段：态势要素采集、实时态势理解和未来态势预测。如图2所示，输电线路态势感知的对象是线路上的金具，在感知到金具的状态后再对其接下来的转化状态进行预测，用于辅助巡检人员做出决策。
[0065]
步骤1中，建立第一级检测模型，获取极寒灾害下金具目标数据集，通过该数据集训练第一级检测模型，具体为：
[0066]
建立yolov4模型作为级联的第一级检测模型，获取极寒灾害下金具目标数据集，通过该数据集训练第一级检测模型，使其能够在输电线路航拍图像上检测金具目标，并将检测得到的金具图像及标签裁剪下来，作为第二级分类模型的输入，其中令输入的输电线路航拍图像为x
global
，被裁剪的金具图像为x，各类金具的标签为y，得到利用yolov4模型检
测金具的公式f
yolov4
为：
[0067]
f
yolov4
(x
global
)＝(x,y)
ꢀꢀꢀ
(1)
[0068]
其中，使用yolov4模型作为级联模型的原因是该模型监测速率快的同时检测精度也比较高。
[0069]
步骤2中，获取极寒灾害下金具缺陷数据集，并将其进行分类，具体为：
[0070]
获取极寒灾害下金具缺陷数据集，按照不同种类的金具对其进行划分，例如提包线夹缺陷数据集、重锤缺陷数据集、均压环缺陷数据集等等，划分完成后，以各金具的具体缺陷为子类再次进行划分，例如提包线夹数据集中包括提包线夹生锈、提包线夹脏污等类别，
[0071]
d＝{d1,d2,
…
,d
t
}
ꢀꢀꢀ
(2)
[0072][0073]
式中，d为所有金具缺陷数据集的集合，d
k
为某类金具缺陷数据，x
ik
为输入图像，y
ik
为输出标签，t
ik
为任务标签，n
k
为训练集的数量，i为金具缺陷类别。
[0074]
在步骤2中所述的第二级分类模型中，将深度学习网络学习到的特征知识划分为共享知识模块和特有知识模块，其中共享知识模块采用对抗性训练的方式学习所有分类任务中的所有训练集的共有图像特征，特有知识模块只学习序列分类任务中的特有特征，采用正交约束方法使共享知识模块与特有知识模块学习到的特征知识不尽相同。
[0075]
如图4所示，特有知识模块只学习序列分类任务中的特有特征，具体为：
[0076]
学习同一序列分类任务中不同类别图像的不相似的特征，并为每一个序列分类任务单独保存一个子模型p，对于一个包含c种类别图像的序列分类任务而言，实际上就是一个c类的分类任务，其中损失函数为：
[0077][0078][0079]
式中，x
k
表示输入数据，y
k
为输入数据的真实类别标签，σ为softmax函数，理想的f
k
是一种将输入映射到两个独立潜在空间的模型，其中一个空间包含所有任务的共享特征，另一个空间包括对每个任务都是特有的特征。
[0080]
共享知识模块采用对抗性训练的方式学习所有分类任务中的所有训练集的共有图像特征，具体为：
[0081]
构建特征映射shared和对抗判别器d，并通过对抗性训练的方式对特征映射shared进行训练，其中损失函数为：
[0082][0083]
式中，t
k
为任务序号标签，当s能够生成d不能再预测正确任务标签的特征时，s和d的训练完成，t为总的序列任务的数量。
[0084]
采用正交约束方法使共享知识模块与特有知识模块学习到的特征知识不尽相同，具体为：
[0085]
通过使用正交约束方法对共享知识模块与特有知识模块的特征知识进行因式分解，计算其差异为：
[0086][0087]
式中，为f
‑
范数，p
k
表示第k个p模型。
[0088]
可选的，第二级分类模型的最后总损失为共享知识模块的损失函数、特有知识模块的损失函数及正交约束方法计算得到的差异之和，即：
[0089]
l
final
＝l
adv
+l
task
+l
diff
ꢀꢀꢀ
(8)
[0090]
式中，l
final
为最后总损失。
[0091]
步骤3中，在第二级分类模型中引入注意力机制，具体为：
[0092]
如图5所示，在第二分类模型的基础网络中引入基于通道维度的注意力模块，通过对通道之间的关系建模，自适应地重新校准通道方向的特征响应，提高模型提取特征的能力，以提升分类模型在类间差异较小识别任务上的识别精度，公式如下：
[0093]
x
→
u,x∈r
w'
×
h'
×
c'
,u∈r
w
×
h
×
c
ꢀꢀ
(9)
[0094][0095][0096][0097]
v
c
＝ω
c
×
u
c
ꢀꢀꢀ
(13)
[0098]
公式(9)中的x表示输入特征图，u表示经过卷积后的特征图，该公式表示将w'
×
h'
×
c'的输入特征图经过卷积变成w
×
h
×
c，得到c个大小为w
×
h的特征图；公式(10)中h和w分别代表输入的高和宽，u
c
表示输入特征图，公式(11)中c代表输入神经元的通道数，c/r是第二层神经元数量，δ表示relu函数，σ表示sigmoid函数，第一层神经元使用relu函数防止梯度弥散，第二层神经元使用sigmoid函数，公式(12)中将输出值规范在(0，1]区域之间，公式(13)表示通过将w与u相乘，得到对各通道重要性预测后的特征图v。
[0099]
该发明引入注意力机制，提高了模型对不同缺陷程度的金具缺陷识别的能力，将原始模型在20类金具缺陷数据集上的平均检测精度从85.5611％提高到87.2923％。
[0100]
本发明的一种实施例为：如图3所示，分别使用极寒灾害下金具目标数据集和金具缺陷数据集分别完成对第一级检测模型和第二级分类模型的训练，在实际检测过程中，当无人机将极寒灾害下输电线路航拍图像传输回来之后，将图像先输入第一级检测模型之中，输出裁剪下的金具图像和金具标签，并将其作为第二级分类模型的输入，根据金具标签，第二级分类模型将启用对应的金具特有知识模块和共享模块，完成对金具的缺陷分类，当出现新的类型的金具及其缺陷时，将新的数据集以缺陷为标签分类之后可以直接在原模型上进行训练，之后可直接使用该分类模型，并不需要将新数据与所有旧数据混合对模型重新训练。
[0101]
本发明提供的用于极寒灾害下输电线路金具缺陷的态势感知方法，将第一级检测
模型及第二级分类模型级联，其中第二级分类模型为对抗性持续学习分类模型，实现了极寒灾害下金具缺陷检测模型的可持续学习，通过第一级检测模型检测极寒灾害下金具目标，能够缓解由于极寒灾害下金具缺陷数据集不平衡导致的某些金具缺陷检测精度过低的问题，同时使用的极寒灾害下金具目标数据集不再细分缺陷金具图像，相当于扩增了极寒灾害下金具目标数据集，提高了检测金具的精度；通过将第二级分类模型学习到的不同分类任务的特征以共享特征和特有特征进行划分为共享知识模块与特有知识模块，其中共享知识模块采用对抗性训练的方式学习所有分类任务中的所有训练集的共有图像特征，特有知识模块只学习序列分类任务中的特有特征，节约了模型占用空间的同时，也保证了模型在学习新的分类任务时，不会忘记旧分类任务，采用正交约束方法保证共享知识模块及特有知识模块学习到的特征知识尽可能不同；在第二级分类模型的特征提取网络中引入了注意力机制，提高了第二级分类模型对不同缺陷程度的金具的缺陷识别能力。
[0102]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。