基于边缘辅助学习的热红外电气设备图像语义分割方法

1.本发明属于计算机视觉处理技术，具体涉及一种基于边缘辅助学习的热红外电气设备图像语义分割方法。


背景技术：

2.长时间处于运行状态下的电气设备，因为易受到外界环境和天气等因素的影响，所以容易出现故障，对电力系统的安全运行构成威胁。近几年，伴随着科技的持续发展，红外诊断技术开始被应用故障诊断中。这是因为大多数故障诸如接触不良、绝缘老化或磁路故障等均会以发热升温的形式表现出来，而热红外图像可以获取到设备的温度信息。目前，更多的人员着眼于研究基于热红外图像的电气设备检测。但是，目标检测的方法获取到的目标区域是一个大致的范围，语义分割方法可以获得更加精确的定位信息。
3.图像语义分割的任务是为图像中的每个像素分配一个对应的语义标签，实现从粗粒度到细粒度的语义推理过程，最终获得具有像素语义注释的分割图像。本文对热红外电气设备语义分割进行研究，目的是从单个热红外图像中分割出不同的电气设备。
4.从热红外图像中准确区分电气设备是一项非常具有挑战性的任务。红外热像仪成像通常会导致较低的图像对比度和模糊的物体边缘轮廓。同时，电气设备的结构也相对复杂，通常具有尖锐的突起，这些问题使网络难以准确识别对象边界，而现有的在自然场景下的方法很难直接应用于电气设备的热红外成像图中。
5.现有的语义分割方法大多是基于全卷积网络进行改进，全卷积网络是深度学习用于语义分割的开创之作，确立了图像语义分割的通用网络模型框架。全卷积网络可以输入任意大小的图像，是第一个端到端的分割网络模型。另外，对于语义分割这样的像素级分类任务，使用上下文信息可以捕获长距离的依赖关系，提高对象的内部一致性，从而进一步提升分割精度。对于像素级分类任务的语义分割，利用上下文信息可以捕获长距离依赖，提高对象的内部一致性，进一步提高分割的准确性。同时，边缘信息实现精确的语义分割也是至关重要的。
6.然而，上述现有技术方案只考虑利用边缘信息单向的辅助分割任务，而忽略了边缘检测和语义分割是两个相辅相成的任务，通过对边缘检测和语义分割任务进行交互学习得到的线索对最终的预测有积极的影响。


技术实现要素：

7.发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于边缘辅助学习的热红外电气设备图像语义分割方法，本发明通过一种双路径解码结构，联合语义分割和边缘优化这两个不同的任务进行交互优化学习来解决现有技术中处理电气设备热红外图像多目标分割的问题，以获得更高质量的分割结果。
8.技术方案：本发明的一种基于边缘辅助学习的热红外电气设备图像语义分割方法，包括以下步骤：
9.步骤s1、将带有精细标注的电气设备图像输入神经网络，其中使用在imagenet数据集上预训练的resnet-101卷积神经网络作为网络特征编码部分；
10.步骤s2、使用resnet-101卷积神经网络从输入图像中提取四个不同尺度的多级特征c1～c4，并通过转换模块首先将网络主干中前三层特征c1～c3的通道数统一至256，转换后的特征标依次记为t1～t3；
11.步骤s3、将最深层特征c4送入一个全局信息集成模块，得到一个含有全局上下文信息的特征，标记为t4；
12.步骤s4、从t4特征中进行边缘预测，得到边缘特征e4，并将边缘信息作为辅助的学习信息，然后增加一条边缘解码分支以获得与不同尺度语义特征相对应分辨率的边缘特征e1～e4；
13.步骤s5、利用特征t1～t4形成一条解码路径，将此解码路径分支与步骤s4中的边缘解码分支相联合，然后利用交叉引导单元实现对语义特征和边缘特征进行联合学习、互相优化；
14.步骤s6、将步骤s5中所得每一个交叉引导单元的输出特征与对应的语义特征沿通道进行拼接，并作为下一个交叉引导单元的语义特征部分的输入，依次记为特征s1～s3，第一个交叉引导单元的输入是从t4特征中预测得到的语义特征s4，最终输出预测图；
15.步骤s7、通过交叉熵损失函数和二元交叉熵损失函数组合监督训练网络模型。
16.本发明对边缘检测和语义分割任务进行同步优化，同时为更好地实现语义分割和边缘优化的联合优化，设计有交叉引导单元，交叉引导单元通过简单的特征变换将解码器中两条不同分支进行交互，使得两种任务达到联合优化的效果。此外，本发明在卷积神经网络的模块输入端增加真值监督，使得本发明不仅可以预测到更准确的目标边界，而且能够通过边缘检测分支来辅助语义分支得到更准确的分割结果。
17.进一步地，所述步骤s1中resnet-101卷积神经网络去除全连接层的共享参数，该特征编码器对输入的电气设备图像提取四个特征，依次为c1、c2、c3、c4，这四个特征的分辨率依次为120
×
120、60
×
60、30
×
30和15
×
15。
18.进一步地，所述步骤s3的全局信息集成模块(实现细化和增强特征图)将特征c4转换为特征t4的具体内容为：
19.先将特征c4输入局信息集成模块，然后通过金字塔池化处理得到具有全局感受野的特征c4′
，同时使用卷积操作对特征c4进行微调得到c
4”；接着，将c4′
和c
4”进行乘法所得特征再与特征c4逐像素相加，获取到最终的输出t4。
20.进一步地，所述步骤s5和步骤s6中的交叉引导单元(对分割结果进一步精细化改善)的具体工作流程为：
21.通过特征t4分别获取语义特征和边缘特征，然后将语义特征和边缘特征进行特征变换后获得特征x，第i个特征表示为：
[0022][0023]
其中，si是相对应第i个语义特征图输入，ei是相对应第i个边缘特征图输入α(ei)、的维度与ei相同，表示对ei分别使用了不同的卷积操作；
[0024]
再将获取到的特征xi与si进行融合，联合分割特征与边缘特征进行优化，交叉引导单元的最终输出d表示为：
[0025]
d＝upsample(sum(si,xi))
[0026]
同时，在每个交叉引导单元的输入两端分别使用语义真值和边缘真值进行监督来对生成的特征进行相互约束，从而使边缘特征与分割特征相互优化得到更精确的分割结果。
[0027]
进一步地，所述步骤s7中交叉熵损失函数和二元交叉熵损失函数组合为l，
[0028][0029]
损失函数组合l为解码器中两个分支的辅助损失与最终预测损失相结合，其中，n是交叉引导单元的使用个数，n＝4，同时在每个交叉引导单元的两端均增加辅助损失；
[0030]
ls是应用于分割任务的交叉熵损失函数，计算为：
[0031][0032]
其中，h、w分别表示图像的高度和宽度，s
x,y
表示像素(x,y)的真值标签，若类别为k，则否则为0；表示在位置(x,y)上像素属于第k类的相应概率；
[0033]
另外，在边缘分支中使用二元交叉熵损失le函数进行监督，le计算为：
[0034][0035]
其中，e
x,y
表示像素(x,y)的真值标签，p
x,y
表示在位置(x,y)上边缘对象的相应概率。
[0036]
有益效果：与现有技术相比，本发明具有具有以下优点：
[0037]
(1)本发明联合边缘检测和语义分割任务，以及采用解码编码结构，同时在编码器中构建一个全局信息集成模块，提高分割结果的质量。
[0038]
(2)本发明为更好地实现语义分割和边缘优化的联合优化，设计有交叉引导单元，交叉引导单元模块通过简单的特征变换，将解码器中两条不同分支进行交互，使得两种任务达到联合优化的效果。
[0039]
综上所述，本发明联合了边缘检测和语义分割任务，利用一个交互模块达到相互优化的作用，并且使用了一个全局信息集成模块来聚合多尺度信息，从而获得更好的分割性能，最终生成高质量的预测图。
附图说明
[0040]
图1为本发明的整体流程示意图；
[0041]
图2为本发明的分割网络模型示意图；
[0042]
图3为实施例中全局信息集成示意图；
[0043]
图4为实施例中交叉引导单元示意图；
[0044]
图5为实施例中视觉对比示意图。
具体实施方式
[0045]
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0046]
如图1所示，本发明采用的联合边缘辅助学习的热红外电气设备图像语义分割方法，具体包括以下步骤：
[0047]
步骤s1、将带有精细标注的电气设备图像输入神经网络，其中使用在imagenet数据集上预训练的resnet-101卷积神经网络作为网络特征编码部分；
[0048]
步骤s2、使用resnet-101卷积神经网络从输入图像中提取四个不同尺度的多级特征c1～c4，并通过转换模块首先将网络主干中前三层特征c1～c3的通道数统一至256，转换后的特征标依次记为t1～t3；
[0049]
步骤s3、将最深层特征c4送入一个全局信息集成模块，得到一个含有全局上下文信息的特征，标记为t4；
[0050]
步骤s4、从t4特征中进行边缘预测，得到边缘特征e4，并将边缘信息作为辅助的学习信息，然后增加一条边缘解码分支以获得与不同尺度语义特征相对应分辨率的边缘特征e1～e4；
[0051]
步骤s5、利用特征t1～t4形成一条解码路径，将此解码路径分支与步骤s4中的边缘解码分支相联合，然后利用交叉引导单元实现对语义特征和边缘特征进行联合学习、互相优化；
[0052]
步骤s6、将步骤s5中所得每一个交叉引导单元的输出特征与对应的语义特征沿通道进行拼接，并作为下一个交叉引导单元的语义特征部分的输入，依次记为特征s1～s3，第一个交叉引导单元的输入是从t4特征中预测得到的语义特征s4，最终输出预测图；
[0053]
步骤s7、通过交叉熵损失函数和二元交叉熵损失函数组合监督训练网络模型。
[0054]
本发明构建边缘辅助学习语义分割网络应用于热红外图像中电气设备的语义分割任务，通过联合边缘检测和语义分割任务，以及利用一个交叉引导单元达到相互优化的作用，并且使用了一个全局信息集成模块来聚合多尺度信息，从而获得更好的分割性能。
[0055]
如图2所示，本实施例的分割方法基于双流解码跨任务交互网络，该网络模型中边缘检测任务和语义分割任务交互进行，利用一个交互模块达到相互优化的作用，并且使用了聚合多尺度信息的全局信息集成模块等处理。
[0056]
实施例1：
[0057]
本实施例使用热红外电气设备图像数据集e2ti-so，图片由变电站场景下手持红外摄像仪器拍摄所得。e2ti-so共有4839幅带有精细标注的热红外图像，这些图像包含有绝缘子(insulator)、避雷器(arrester)、电流互感器(current transformer)、电压互感器(potential transformer)、隔离开关(switch)、断路器(breaker)、变压器(transformer body)等18个类别的设备。数据集划分为3226个训练图像和1613个测试图像。
[0058]
本实施例先对e2ti-so训练集进行随机翻转、旋转、裁剪和仿射变换，以增加训练样本的多样性。为了使检测模型收敛，本实施例的网络是在nvidia tesla p100 pciep gpu平台上训练的，训练批量大小为14，并且将所有训练样本训练250次。同时该网络主干参数由resnet-101确定，其他卷积层使用pytorch的默认设置初始化。该网络采用adams优化方法训练，学习率为0.0001，输入尺寸为480
×
480。
[0059]
为便于定量评估，本实施例采用了均交并比(miou)作为模型性能的评价指标；计算两个集合的交集和并集之间的比率，表示真值标签和预测结果的重合度，是目前语义分割领域使用频率最高和最常见的评价指标。另外，在计算均交并比时，将背景视为类别之一。
[0060]
将本发明技术方案与其他现有技术比较。
[0061]
本实施例将本发明技术方案的网络与其他10种方法进行比较。
[0062]
比较方法包括9种基于可见光的图像分割方法：fcn、deeplabv3、pspnet、cgnet、ocnet、dnlnet、dunet、danet、efficientfcn。此外，还包括1个现有的红外图像分割方法：eccnn。
[0063]
定量比较：
[0064]
本实施例的具体对比试验结果如表1所示。表1展示出了这些方法在e2ti-so数据集上性能比较的结果，并在表中详细展示出每一个类别的交并比(iou)结果。从表1中可以看出，本实施例有15个类别都能得到最好的结果。即使有的类别不能达到最优结果，但是与其他现有技术的结果相差较小。
[0065]
表1
[0066][0067]
表1最后一行为每种方法的均交并比结果。本发明技术方案比可见光图像的最佳方法danet高出3.08％，比红外图像分割方法eccn高出3.81％。总体上来说，本实施例能够明显的超越其他的方法。
[0068]
定性评价：
[0069]
如图5所示，本实施例进行与其他技术方案在最终视觉上的比较。本实施例可以清楚地观察到分割目标具有更加清晰准确的边缘，如第1行中的蓝色目标和黄色目标的分割具有更加精准的边缘，第8行中的米色目标分割结果在3种自然场景图像的语义分割方法上几乎丢失了部分结构，而本实施例可以获取到该部分的大致结构。