一种逆光条件下的绝缘子识别系统及方法

1.本发明涉及图像识别技术领域，特别是涉及一种逆光条件下的绝缘子识别系统及方法。


背景技术：

2.绝缘子是高压架空输电线路中支撑导线和防止电流流入地面的关键设备。然而，绝缘子在恶劣的室外条件下长时间运行时容易出现故障，如降雨、阳光和化学腐蚀。因此，及时检查绝缘子的状态对输电安全尤为重要。随着人工智能的发展，绝缘子状态的智能检测取代手动检测成为可能。从复杂图像中识别绝缘子是状态检查的前提步骤。尽管近年来取得了重大进展，但由于可见摄像头的成像限制，在逆光条件下得到的rgb图像缺少纹理信息，使输电线路场景解析仍然具有挑战性，很难在逆光条件下识别绝缘子。


技术实现要素：

3.有鉴于此，本发明提供了一种逆光条件下的绝缘子识别系统及方法，以实现在逆光条件下识别绝缘子。
4.为实现上述目的，本发明提供了如下方案：
5.一种逆光条件下的绝缘子识别系统，所述识别系统包括：第一单模态特征金字塔解码器、第二单模态特征金字塔解码器、特征融合模块和交互式增强解码器；所述第一单模态特征金字塔解码器和所述第二单模态特征金字塔解码器均与所述特征融合模块连接；所述特征融合模块与所述交互式增强解码器连接；
6.所述第一单模态特征金字塔解码器用于对绝缘子的rgb图像进行特征提取，获得rgb图像特征；
7.所述第二单模态特征金字塔解码器用于对绝缘子的红外图像进行特征提取，获得红外图像特征；绝缘子的rgb图像和绝缘子的红外图像均为在逆光条件下进行拍摄获得的；
8.所述特征融合模块用于对所述rgb图像特征和所述红外图像特征进行融合，获得融合后的特征；
9.所述交互式增强解码器用于对融合后的特征进行解码检测，获得绝缘子的语义分割结果。
10.可选的，所述第一单模态特征金字塔解码器包括依次连接的resnet-50主干网络和特征金字塔网络。
11.可选的，所述第二单模态特征金字塔解码器包括依次连接的改进后的resnet-50主干网络和特征金字塔网络；
12.获得改进后的resnet-50主干网络的改进方式为：将resnet-50主干网络中用于输入绝缘子的红外图像的卷积层的输入通道的数量设置为1，将resnet-50主干网络中的平均池化层和全连接层删除。
13.可选的，所述特征融合模块包括多模态特征融合模块和全局特征融合模块。
14.可选的，所述多模态特征融合模块包括：第一拼接模块、第一卷积模块、x维度平均池化层、y维度平均池化层、第二拼接模块、第一卷积层、bn和非线性激活函数层、第二卷积层、第三卷积层、第一sigmoid激活函数层、第二sigmoid激活函数层、乘法运算模块、第一通道注意力模块、第三拼接模块和第四卷积层；
15.所述第一拼接模块与所述第一卷积模块连接，所述第一卷积模块分别与x维度平均池化层、y维度平均池化层和第一通道注意力模块连接；
16.x维度平均池化层和y维度平均池化层均与所述第二拼接模块连接，所述第二拼接模块与所述第一卷积层连接，所述第一卷积层与所述bn和非线性激活函数层连接，所述bn和非线性激活函数层分别与所述第二卷积层和所述第三卷积层连接，所述第二卷积层与所述第一sigmoid激活函数层连接，所述第三卷积层与所述第二sigmoid激活函数层连接；
17.所述第一sigmoid激活函数层、所述第二sigmoid激活函数层和所述第一卷积模块均与所述乘法运算模块连接；
18.所述乘法运算模块和所述第一通道注意力模块均与所述第三拼接模块连接，所述第三拼接模块与所述第四卷积层连接；
19.所述第一卷积模块包括依次连接的1
×
1卷积、bn层和relu激活函数。
20.可选的，所述全局特征融合模块包括依次连接的第四拼接模块、第二通道注意力模块、第二卷积模块、全局自适应池化层、第三卷积模块、上采样层、第四拼接模块和第四卷积模块；所述第二卷积模块还与所述第四拼接模块连接；
21.所述第二卷积模块和所述第四卷积模块均包括依次连接的1
×
1卷积、bn层和relu激活函数；
22.所述第三卷积模块包括多个1
×
1的卷积，每个所述1
×
1的卷积均分别与全局自适应池化层和上采样层连接。
23.一种逆光条件下的绝缘子识别方法，所述识别方法应用于上述识别系统，所述识别方法包括如下步骤：
24.获取绝缘子的rgb图像和绝缘子的红外图像；绝缘子的rgb图像和绝缘子的红外图像均为在逆光条件下进行拍摄获得的；
25.通过第一单模态特征金字塔解码器对绝缘子的rgb图像进行特征提取，获得rgb图像特征；
26.通过第二单模态特征金字塔解码器对绝缘子的红外图像进行特征提取，获得红外图像特征；
27.通过特征融合模块对所述rgb图像特征和所述红外图像特征进行融合，获得融合后的特征；
28.通过交互式增强解码器对融合后的特征进行解码检测，获得绝缘子的语义分割结果。
29.可选的，所述通过第一单模态特征金字塔解码器对绝缘子的rgb图像进行特征提取，获得rgb图像特征，具体包括：
30.通过第一单模态特征金字塔解码器中的resnet-50主干网络提取rgb图像的多尺度特征；
31.通过第一单模态特征金字塔解码器中的特征金字塔网络对rgb图像的多尺度特征
进行融合，得到rgb图像的多尺度融合特征作为rgb图像特征。
32.可选的，融合后的特征包括模态融合特征和全局融合特征，所述通过特征融合模块对所述rgb图像特征和所述红外图像特征进行融合，获得融合后的特征，具体包括：
33.通过多模态特征融合模块对所述rgb图像特征和所述红外图像特征进行模态融合，获得模态融合特征；
34.通过全局特征融合模块对所述rgb图像特征和所述红外图像特征进行全局融合，获得全局融合特征。
35.可选的，所述通过第一单模态特征金字塔解码器对绝缘子的rgb图像进行特征提取，获得rgb图像特征，之前还包括：
36.获取逆光场景下绝缘子的rgb图像和红外图像，构建数据集；
37.将所述数据集划分为训练集、验证集和测试集；
38.利用所述训练集、所述验证集和所述测试集，基于nvidia rtx 3090平台对网络结构进行训练、验证和测试，获得训练好的网络结构作为所述识别系统，所述网络结构包括第一单模态特征金字塔解码器、第二单模态特征金字塔解码器、特征融合模块和交互式增强解码器。
39.根据本发明提供的具体实施例，本发明公开了以下技术效果：
40.本发明公开一种逆光条件下的绝缘子识别系统及方法，所述识别系统包括：第一单模态特征金字塔解码器、第二单模态特征金字塔解码器、特征融合模块和交互式增强解码器；所述第一单模态特征金字塔解码器和所述第二单模态特征金字塔解码器均与所述特征融合模块连接；所述特征融合模块与所述交互式增强解码器连接。本发明考虑到可见光成像在逆光条件下纹理特征少的缺点，利用红外图像来补充rgb图像的信息，分别利用第一单模态特征金字塔解码器、第二单模态特征金字塔解码器对绝缘子的rgb图像和红外图像进行特征提取，之后利用特征融合模块中进行特征的融合，以加强特征的信息，之后将融合后的特征送入到交互式解码器中进行图像的恢复与检测。本发明可实现逆光条件下绝缘子的有效识别。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1为本发明实施例提供的逆光条件下的绝缘子识别系统的网络结构图；
43.图2为本发明实施例提供的多模态特征融合模块的网络结构图；
44.图3为本发明实施例提供的全局特征融合模块的网络结构图；
45.图4为本发明实施例提供的交互式增强解码器的网络结构图；
46.图5为本发明实施例提供的识别效果对比图；图5中的(a)-(e)分别为：rgb图像示例图、红外图像示例图、真实标注示例图、现有方法rtfnet的识别结果示例图，本发明的方法的识别结果示例图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.本发明的目的是提供一种逆光条件下的绝缘子识别系统及方法，以实现在逆光条件下识别绝缘子。
49.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
50.实施例1
51.如图1所示，本发明实施例1提供一种逆光条件下的绝缘子识别系统，所述识别系统包括：第一单模态特征金字塔解码器、第二单模态特征金字塔解码器、特征融合模块和交互式增强解码器；所述第一单模态特征金字塔解码器和所述第二单模态特征金字塔解码器均与所述特征融合模块连接；所述特征融合模块与所述交互式增强解码器连接；所述第一单模态特征金字塔解码器用于对绝缘子的rgb图像进行特征提取，获得rgb图像特征；所述第二单模态特征金字塔解码器用于对绝缘子的红外图像进行特征提取，获得红外图像特征；绝缘子的rgb图像和绝缘子的红外图像均为在逆光条件下进行拍摄获得的；所述特征融合模块用于对所述rgb图像特征和所述红外图像特征进行融合，获得融合后的特征；所述交互式增强解码器用于对融合后的特征进行解码检测，获得绝缘子的语义分割结果。
52.其中，第一单模态特征金字塔解码器和第二单模态特征金字塔解码器的目的是对双光图像(rgb图像和红外图像)的特征进行提取，使得网络能够对图像中目标的特征进行学习，第一单模态特征金字塔解码器和第二单模态特征金字塔解码器均包括resnet-50主干网络和特征金字塔网络：
53.(1)双光图像首先分别通过resnet-50主干网络，以提取rgb图像的多尺度特征和红外图像的多尺度特征{t
i1
|i＝1,2,3,4,5}。但是，resnet-50是为三通道rgb图像设计的，红外图像的通道数为1。因此在红外图像特征提取的resnet-50网络中，初始卷积层的输入通道大小被修改为1。同时去除了resnet-50的平均池化层和全连接层，避免了空间信息的丢失，即改进后的resnet-50主干网络。其中，i表示第i种尺度特征。
54.(2)由于低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。所以将通过resnet-50主干网络后的rgb图像的多尺度特征和红外图像的多尺度特征{t
i1
|i＝1,2,3,4,5}分别通过特征金字塔网络，对特征进行进一步融合，以提高网络的性能，融合后的特征为和{t
i2
|i＝2,3,4,5}。
55.特征融合模块的目的是将rgb图像和红外图像的特征进行优势互补，以获取稳健或信息丰富的特征。特征融合模块主要由两部分构成：
56.1)多模态特征融合模块(mffm):
57.如图2所示，首先对rgb图像特征和红外图像特征{t
i2
|i＝2,3,4}在采
用第一拼接模块在通道维度上进行拼接，之后通过一个由1
×
1卷积、bn层和relu激活函数组成的第一卷积模块对特征进行整合得到特征uj；分别通过x维度平均池化层、y维度平均池化层在x维度和y维度上对uj进行平均池化操作，之后通过第二拼接模块在通道维度上进行拼接后，通过1
×
1卷积(第一卷积层)、bn层和非线性激活函数(bn和非线性激活函数层)得到fj；之后将fj在水平维度和垂直维度上划分为两个向量，再分别通过1
×
1卷积(第二卷积层、第三卷积层)和sigmoid激活函数(第一sigmoid激活函数层、第二sigmoid激活函数层)，并于uj相乘得到与此同时，将uj通过通道注意力(第一通道注意力模块)，通过对特征压缩和激励的方式，学习到通道维度上较为重要的特征最后将和通过第三拼接模块在通道维度上进行拼接，并通过1
×
1卷积(第四卷积层)对拼接特征进行降维，得到融合特征{fj|j＝2,3,4}。
58.2)全局特征融合模块(gffm)：
59.如图3所示，对rgb图像特征和红外图像特征t
52
通过第四拼接模块在通道维度上进行拼接，之后通过第二通道注意力模块，通过对特征压缩和激励的方式，学习到通道维度上较为重要的特征；然后通过一个特征由1
×
1卷积、bn层和relu激活函数组成的第二卷积模块对特征进行整合得到特征图v；对特征v通过全局自适应池化层，分别得到1
×
1、5
×
5、9
×
9和13
×
13的特征图，再分别经过1
×
1的卷积层后，经过上采样恢复到原始特征图尺寸，得到四个特征图{wn|n＝1,2,3,4}；将特征图v和特征图wn,n＝1,2,3,4在通道维度上进行拼接，然后分别经过1
×
1卷积、bn层和relu激活函数得到融合特征f5。
60.如图4所示，交互式增强解码器的作用是将融合特征图f5的分辨率逐渐恢复到原始输入图像的尺寸，在特征解码过程中与融合特征{fj|j＝2,3,4}逐步相加，以补充f5在上采样过程中损失的特征信息。当特征图恢复到原始尺寸后，将其通过softmax层以获取用于分割结果的语义概率图。
61.实施例2
62.本发明实施例2一种逆光条件下的绝缘子识别方法，所述识别方法应用于上述识别系统，所述识别方法包括如下步骤：
63.获取绝缘子的rgb图像和绝缘子的红外图像；绝缘子的rgb图像和绝缘子的红外图像均为在逆光条件下进行拍摄获得的；
64.通过第一单模态特征金字塔解码器对绝缘子的rgb图像进行特征提取，获得rgb图像特征；所述通过第一单模态特征金字塔解码器对绝缘子的rgb图像进行特征提取，获得rgb图像特征，具体包括：通过第一单模态特征金字塔解码器中的resnet-50主干网络提取rgb图像的多尺度特征；通过第一单模态特征金字塔解码器中的特征金字塔网络对rgb图像的多尺度特征进行融合，得到rgb图像的多尺度融合特征作为rgb图像特征。
65.通过第二单模态特征金字塔解码器对绝缘子的红外图像进行特征提取，获得红外图像特征；
66.通过特征融合模块对所述rgb图像特征和所述红外图像特征进行融合，获得融合后的特征；所述通过特征融合模块对所述rgb图像特征和所述红外图像特征进行融合，获得融合后的特征，具体包括通过多模态特征融合模块对所述rgb图像特征和所述红外图像特征进行模态融合，获得模态融合特征；通过全局特征融合模块对所述rgb图像特征和所述红
外图像特征进行全局融合，获得全局融合特征。
67.通过交互式增强解码器对融合后的特征进行解码检测，获得绝缘子的语义分割结果。
68.所述通过第一单模态特征金字塔解码器对绝缘子的rgb图像进行特征提取，获得rgb图像特征，之前还包括：获取逆光场景下绝缘子的rgb图像和红外图像，构建数据集；将所述数据集划分为训练集、验证集和测试集；利用所述训练集、所述验证集和所述测试集，基于nvidia rtx 3090平台对网络结构进行训练、验证和测试，获得训练好的网络结构作为所述识别系统，所述网络结构包括第一单模态特征金字塔解码器、第二单模态特征金字塔解码器、特征融合模块和交互式增强解码器。
69.其中，数据集的构建方式为：
70.使用了带有逆光场景的配对的可见光与红外绝缘子(rgb-t)数据集，逆光场景下rgb-t绝缘子数据集采用flir t600摄像机采集，该摄像机可以同时传输rgb图像和红外图像。数据集包含1426对rgb图像和热图像，其中rgb图像和红外图像的分辨率分别为360
×
480和480
×
640。数据集按50％训练集、25％验证集、25％测试集的分割原则随机分割。本文所提出的模型使用nvidia rtx 3090平台进行培训和测试，操作系统为ubuntu 18.04.1 lts。训练采用cuda 11.2加速，计算机语言为python 3.7，网络框架为pytorch。对resnet的预训练权重进行加载，由pytorch提供。在译码阶段，对转置后的卷积层进行初始化。采用动量为0.9，权重衰减为0.0005的随机梯度下降(sgd)算法进行训练。初始学习率设置为0.01，通过指数衰减方案逐渐降低。批量大小根据不同的网络进行调整。输入的图像都被调整到480
×
640像素的分辨率，并使用翻转方法来扩大数据集。
71.为评价所提出模型的有效性，本发明采用了两种常用的评价指标：准确率(acc)和交集度(iou)。计算公式如下：
[0072][0073][0074]
式中c和k分别表示类的数量和测试图像的数量。在测试图像k中，表示类i正确分类到类i的像素数，表示类i错误分类到类j的像素数，表示类j错误分类到类i的像素数。所有类的平均值都用miou和macc表示。
[0075]
为了说明本发明的识别系统及方法的效果，本发明图5展示了采用本发明的方法获得的识别效果对比图，图5中的(a)-(e)分别为：rgb图像示例图、红外图像示例图、真实标注示例图、现有方法rtfnet的识别结果示例图，本发明的方法的识别结果示例图，图5中的(a)-(e)每组图片中的三幅图分别代表不同场景，其中，第一行为轻度逆光、第二行为中度逆光、第三行为重度逆光。在图5中，与其他方法相比，本发明的方法在逆光场景的挑战中显示了优越的结果。特别是在第二行和第三行，逆光场景中绝缘子的纹理特征丢失，很容易与杆塔混淆。然而，本发明的方法显示了其鲁棒性，不会错误地将杆塔识别为绝缘子。可见本发明的系统及方法能够在逆光条件下很好的识别出绝缘子，并且有很好的识别精度。
[0076]
本发明考虑到可见光成像的缺点，利用热信息来补充rgb信息。首先将拍摄的可见光与红外图像送入到单模态特征金字塔编码器中进行特征提取，之后将提取到的可见光图像特征与红外图像特征送入到特征融合模块中进行特征的融合，以加强特征的信息，之后将融合后的特征送入到交互式增强解码器中进行图像的恢复与检测。
[0077]
实验结果证明了该网络在逆光场景解析中的优越性，检测结果优于其他的模型，本文提出了多模态特征的融合即可见光图像与红外图像的融合，为逆光条件下绝缘子的检测提出了新的思路。
[0078]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0079]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。