基于多尺度注意力增强U-Net的电离图自动描迹方法

基于多尺度注意力增强u-net的电离图自动描迹方法
技术领域
1.本发明涉及一种基于多尺度注意力增强u-net的电离图自动描迹方法。


背景技术：

2.电离图的变化反映电离层的状态，通过雷达探测设备得到电离图并对其处理，以及描绘不同电子密度层的分布情况或变换轨迹，可以推测出近期的一些地质活动、天气变化等信息。电离图描迹目前有自动描迹与人工手动描迹两种方式。目前，最可靠的是人工手动描迹，通过人工描迹从而获得电离层三层(d,e,f)的三个特征参数，再通过后期对这些数据的处理得到相应电离层的变化情况。
3.随着科技的不断发展，电离图数据的收集速度以及收集量均有待提高，传统的人工方法虽然准确度高，但是因为效率低等原因很难满足电离图描迹的需求。传统的自动描迹方法artist在低信噪比的电离图中，容易出现误判漏判等情况，需要人工干预，不能很好地用于实际中。
4.近些年来，深度学习快速发展，将深度学习用于电离图自动描迹，提高电离图描迹的准确度、清晰度，值得探索。近年来，有研究者设计了一种将特征金字塔网络结构应用在u-net网络的dias-resnet50-fpn方法，并将其应用在电离图自动描迹方面，其性能相较传统方法有一定提高，但没有考虑到噪声对电离图自动描迹结果的影响，在低信噪比的电离图中，其分割效果仍不理想。
5.u-net是经典的语义分割网络架构之一，其利用u型结构，通过简单的跳跃连接，将编码器与解码器相连，通过将相同大小的编码器特征图与解码器层特征图进行拼接，从而让解码器得到更多编码器特征图中的细节信息。但是，这种方法不能恢复由于池化层造成的损失，并且会使像素图粗糙化。在面对小目标物体，以及低信噪比图片时，u-net网络简单的跳跃连接会导致部分噪声的传递，分割结果不是十分理想。


技术实现要素：

6.为了解决上述技术问题，本发明提供一种可过滤噪音、网络分割精度高的基于多尺度注意力增强u-net的电离图自动描迹方法。
7.本发明解决上述技术问题的技术方案是：一种基于多尺度注意力增强u-net的电离图自动描迹方法，引入多尺度特征图跳跃连接以及注意力增强网络，将浅层具有位置信息的特征图与深层具有高级语义信息的特征图结合起来，通过改进的语义分割u-net网络对低信噪比的电离图进行分割；
8.具体包括以下步骤：
9.一、构建多尺度注意力增强u-net语义分割网络：语义分割网络采用u型网络结构，语义分割网络的左臂由四个编码器层构成，每个编码器层均包括两个第一卷积核、两个第一relu激活层和最大池化层；对应的，语义分割网络的右臂由四个解码器层构成，解码器层包括多尺度特征图跳跃连接结构、注意力门模块、两个第二卷积核、两个第二relu激活层；
10.二、训练数据集的预处理：在进行网络训练之前，对齐图片坐标原点，其余补零，将电离图的大小统一调整到512
×
512的像素大小，将所得数据集分为训练集和测试集；
11.三、对电离图进行编码：将训练集的电离图输入语义分割网络的编码器层，利用两个第一卷积核进行特征提取，使通道数翻倍，得到第一个特征图，进行下采样，在编码器层的最大池化层的作用下，图片大小减半，之后每进入一个编码器层，特征图大小减半，通道数翻倍，经过第四个编码器层特征提取以后，通过中间层，进入解码器层；
12.四、解码得到分割结果：中间层输出的特征图，通过上采样使得图片大小翻倍，进入第一个解码器层，同时与注意力门模块输出的特征图以及经过多尺度特征图跳跃连接结构输出的多尺度特征图相融合，通过拼接经过两个第二卷积核处理使得通道数减半，传递给下一解码器层；经过四个解码器层的解码后，将深层语义信息逐渐恢复为最终的分割结果图。
13.上述基于多尺度注意力增强u-net的电离图自动描迹方法，所述步骤一的多尺度注意力增强u-net语义分割网络中，每层解码器前引入的注意力门模块具有两个输入，一个为同层编码器层跳跃连接的特征图，包含同层编码器层对应的编码器中所有上下文和空间信息，第二个为上一个解码器层上采样得到的特征图，作为此解码器层的门控信号；上一个解码器层上采样的特征图与同层编码器层跳跃连接的特征图相加，经过1
×
1的卷积操作，利用sigmoid函数得到加权特征图，利用加权特征图与同层编码器层跳跃连接特征图相乘，得到最后的注意力特征图。
14.上述基于多尺度注意力增强u-net的电离图自动描迹方法，所述步骤一的多尺度注意力增强u-net语义分割网络中，多尺度特征图跳跃连接结构通过不同大小的池化核进行最大池化操作将编码器输出的特征图缩小到对应解码器特征图的大小。
15.上述基于多尺度注意力增强u-net的电离图自动描迹方法，所述步骤三中，下采样过程中采用最大池化法，其池化核大小2
×
2。
16.上述基于多尺度注意力增强u-net的电离图自动描迹方法，所述步骤四中，考虑到电离图样本不平衡的问题，采用的损失函数为焦点损失函数，其公式如下：
[0017][0018]
其中p表示网络输出的预测样本属于1的概率，范围为0-1；y表示真实标签，y的取值为{+1,-1}，为了方便表示，将p
t
代替p来表示预测样本正确分类的概率，fl(p
t
)为焦点损失函数，此函数中，γ为聚焦参数，(1-p
t
)相当于一个调制系数，目的是减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
[0019]
上述基于多尺度注意力增强u-net的电离图自动描迹方法，所述步骤四中，解码器处理过程的公式为：
[0020][0021]
其中，表示编码器第i层的特征图，表示编码器的第1层到第i-1层，n表示
当前的解码器层；表示解码器第i层的特征图；h(.)表示通过卷积、批量标准化和relu激活函数综合处理过程；[.]表示特征图拼接；c(.)表示卷积过程；d(.)表示利用最大池化下采样；a(.)表示通过注意力门模块。
[0022]
上述基于多尺度注意力增强u-net的电离图自动描迹方法，所述步骤四中，上采样操作使用双线性插值法。
[0023]
本发明的有益效果在于：
[0024]
1、本发明利用深度学习语义分割的强大特征学习能力，对垂测电离图进行学习、训练和分割，在推理分割阶段即可在电离图图像中精确的定位电离图的描迹区域，从而提高深度学习算法应用在电离图自动描迹的普适性。u-net语义分割网络应用在电离图的自动描迹方法中，存在对细节特征不敏感，将噪声归纳为特征的问题。本发明提出的基于多尺度注意力增强u-net语义分割网络的电离图自动描迹方法可以提高描迹精度，加快深度学习语义分割在电离图自动描迹中的实际部署。
[0025]
2、本发明将注意力门模块和多尺度特征图跳跃连接结构融合进u-net语义分割网络中，特征图通过注意力门模块大小不变，通过多尺度特征图跳跃连接时，利用最大池化操作进行下采样，将特征图大小与注意力门输出特征图大小保持一致，这种设计方法，在不增加大量参数的情况下，显著提升了网络分割精度。
附图说明
[0026]
图1为本发明的模型图。
[0027]
图2为基于多尺度注意力增强的u-net网络示意图，其中的g是表示注意力门模块。
[0028]
图3为注意力门模块的示意图。
[0029]
图4为编码器层的结构图。
[0030]
图5为解码器层的结构图。
[0031]
图6为本发明描迹的结果图。
具体实施方式
[0032]
下面结合附图和实施例对本发明作进一步的说明。
[0033]
如图1所示，一种基于多尺度注意力增强u-net的电离图自动描迹方法，引入多尺度特征图跳跃连接以及注意力机制，将浅层具有位置信息的特征图与深层具有高级语义信息的特征图结合起来，通过改进的语义分割u-net网络对低信噪比的电离图进行分割；
[0034]
具体包括以下步骤：
[0035]
一、构建多尺度注意力增强u-net语义分割网络：如图2所示，语义分割网络采用u型网络结构，语义分割网络的左臂由四个编码器层构成，每个编码器层均包括两个第一卷积核、两个第一relu激活层和最大池化层；对应的，语义分割网络的右臂由四个解码器层构成，解码器层包括多尺度特征图跳跃连接结构、注意力门模块、两个第二卷积核、两个第二relu激活层。
[0036]
激活函数用到了sigmoid和relu两种激活函数。sigmoid公式如下：
[0037]
[0038]
如图3所示，引入的不同级注意力门模块具有两个输入，一个为同层编码器层跳跃连接的特征图，包含同层编码器层对应的编码器中所有上下文和空间信息，第二个为上一个解码器层上采样得到的特征图，作为此解码器层的门控信号；上一个解码器层上采样的特征图与同层编码器层跳跃连接的特征图相加，经过1
×
1的卷积操作，利用sigmoid函数得到加权特征图，利用加权特征图与同层编码器层跳跃连接特征图相乘，得到最后的注意力特征图。电离图由于其低信噪比的特性，在深度学习网络中，大量的噪音和冗余信息会对网络的学习造成一定影响，本发明的不同级注意力门模块产生具有空间权重分配的特征图，促进了空间区域模型参数的更新，降低了噪声权重，增强了电离图特征的识别，提高了网络性能。
[0039]
采用多尺度特征图跳跃连接结构取代简单跳跃结构。u-net网络编码器下采样的池化操作会使得上下文信息丢失，通常的简单的跳跃连接将低分辨率信息提供给解码器各个阶段，以恢复上下文信息。但是，这种方法不能恢复由于池化层造成的损失，并且会使像素图粗糙化。本发明的多尺度特征图跳跃连接结构通过不同大小的池化核进行最大池化操作将编码器输出的特征图缩小到对应解码器特征图的大小，并将其与解码器特征图拼接，达到解码器对编码器特征图细节特征的应用。
[0040]
本发明的编码器层结构图如图4。特征图经过编码器层的卷积，使得维度翻倍。利用激活函数relu，增强网络的非线性，同时防止梯度消失或爆炸。在最大池化的作用下，特征图大小减半，并且传递到下一级编码器层。
[0041]
本发明的解码器层结构图如图5。经过上采样扩大一倍的特征图与注意力门传递的注意力特征图以及下采样的多尺度特征图拼接，在卷积的作用下使得通道数减半。
[0042]
多尺度注意力增强u-net语义分割网络为编码器-解码器结构。输入的电离图大小为512
×
512像素点，维度为32。经过第一个编码器层，到达第二个编码器层时，特征图大小为256
×
256，维度为64。经过第二个编码器层，到达第三个编码器层时，特征图大小为128
×
128，维度为128。经过第三个编码器层，到达第四个编码器层时，特征图大小为64
×
64，维度为256。经过第四个编码器层，到达中间层时，特征图大小为32
×
32，维度为512。经过中间层，到达第一个解码器层时，特征图大小为64
×
64，维度为512。经过第一个解码器层，到达第二个解码器层时，特征图大小为128
×
128，维度为256。经过第二个解码器层，到达第三个解码器层时，特征图大小为256
×
256，维度为128。经过第三个解码器层，到达第四个解码器层时，特征图大小为512
×
512，维度为64。
[0043]
二、训练数据集的预处理：由于考虑到电离图的产生是由极化天线探测的，不同时刻的电离层状态不一样导致电离图的大小不一致。在进行网络训练之前，对齐图片坐标原点，其余空缺补零，将电离图的大小统一调整到512
×
512的像素大小；将所得数据集分为训练集和测试集，利用由dps4d探空仪提供的图片，其中16935张用于训练集，2975张用于测试集。
[0044]
三、对电离图进行编码：将训练集的电离图输入语义分割网络的编码器层，利用两个第一卷积核进行特征提取，使通道数翻倍，得到第一个特征图，进行下采样，在编码器层的最大池化层的作用下，图片大小减半，之后每进入一个编码器层，特征图大小减半，通道数翻倍，经过第四个编码器层特征提取以后，通过中间层，进入解码器层。
[0045]
下采样过程中采用最大池化法，其池化核大小2
×
2。
[0046]
四、解码得到分割结果：中间层输出的特征图，通过上采样使得图片大小翻倍，上采样操作使用双线性插值法，进入第一个解码器层，同时与注意力门模块输出的特征图以及经过多尺度特征图跳跃连接结构输出的多尺度特征图相融合，通过拼接经过2个3
×
3的两个第二卷积核处理使得通道数减半，传递给下一解码器层；经过四个解码器层的解码后，将深层语义信息逐渐恢复为最终的分割结果图。
[0047]
考虑到电离图正负样本不平衡的问题，采用的损失函数为焦点损失函数，其公式如下：
[0048][0049]
其中p表示网络输出的预测样本属于1的概率(范围为0-1)，y表示真实标签，y的取值为{+1,-1}，为了方便表示，将p
t
代替p来表示预测样本正确分类的概率，fl(p
t
)为焦点损失函数，此函数中，γ称为聚焦参数，(1-p
t
)相当于一个调制系数，目的是减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。
[0050]
解码器处理过程的公式为：
[0051][0052]
其中，表示编码器第i层的特征图，表示编码器的第1层到第i-1层，n表示当前的解码器层；表示解码器第i层的特征图；h(.)表示通过卷积、批量标准化和relu激活函数综合处理过程；[.]表示特征图拼接；c(.)表示卷积过程；d(.)表示利用最大池化下采样；a(.)表示通过注意力门模块。
[0053]
本发明提出了一种基于多尺度注意力增强u-net的电离图自动描迹方法，利用深度学习语义分割的强大特征学习能力，对垂测电离图进行学习、训练和分割，在推理分割阶段即可在电离图图像中精确的定位电离图的描迹区域，从而提高深度学习算法应用在电离图自动描迹的普适性。对于将u-net语义分割网络应用在电离图的自动描迹方法中，存在对细节特征不敏感，将噪声归纳为特征的问题，本发明提出的基于多尺度注意力增强u-net语义分割网络的电离图自动描迹方法可以加快深度学习语义分割在电离图自动描迹中的实际部署。
[0054]
本发明将注意力模块和多尺度特征图跳跃连接结构融合进u-net语义分割网络中，特征图通过不同级注意力模块大小不变，通过多尺度特征图跳跃连接时，利用最大池化操作进行下采样，将特征图大小与不同级注意力门输出特征图大小保持一致。以上设计方法，均在不增加大量参数的情况下，显著提升网络分割精度。