一种基于多尺度残差注意力网络的SAR图像去噪方法与流程

本发明涉及遥感图像处理技术领域，特别是一种基于多尺度残差注意力网络的sar图像去噪方法。

背景技术：

合成孔径雷达(sar)是一种主动式成像传感器。相比于红外光、可见光等其他遥感技术相比，sar具有全天时、全天候、穿透力强的优势。凭借这些优势，使得sar在军事和民用领域具有非常大的价值。然而，sar在成像过程中往往受到由于散射现象引起的相干斑噪声的影响。正是由于相干斑噪声的存在严重地影响了sar图像的质量，为后续sar图像解译任务如场景分割、目标检测、目标识别等带来极大地干扰，大大降低了sar图像后续处理的效率。因此，在进行图像解译任务前，sar图像相干斑噪声的去除成为不可或缺的预处理步骤。

目前，国内外很多专家学者在sar图像去噪方面提出了很多方法包括基于空间域滤波方法、基于变换域滤波方法、非局部均值滤波方法等。基于空间域滤波方法如lee滤波、frost滤波等具有操作简单且能够实时处理的优点，但容易丢失一定程度的纹理和细节信息。基于变换域滤波方法如小波变换可以有效的保留一定程度的图像纹理及细节信息，但相干斑噪声的抑制并不理想。非局部均值滤波方法在保留细节信息与相干斑噪声的抑制方面提供了良好的折衷，但相似图像块方面的搜索使得计算量变大，带来了繁重的计算负担，从而限制了这类方法的应用。

近年来，深度学习逐渐应用于各种计算机视觉与图像处理任务，并已经证明了在这类领域中取得了良好的效果。与浅层结构的滤波算法相比，深度学习更有利于处理复杂的非线性问题。尽管使用基于深度学习的去噪方法能够获得较好的去噪效果，但其网络结构制约着去噪性能，存在某些细节信息的缺失，获得的去噪性能有待提升。

技术实现要素：

本发明的目的在于提供一种基于多尺度残差注意力网络的sar图像去噪方法，以提高sar图像去噪性能并有效保留图像细节信息。

实现本发明目的的技术解决方案为：一种基于多尺度残差注意力网络的sar图像去噪方法，步骤如下：

步骤1，构建训练集并对训练样本进行归一化操作；

步骤2，搭建多尺度残差注意力网络模型；

步骤3，设置多尺度残差注意力网络训练模型参数并进行模型训练；

步骤4，将噪声图像输入到训练好的模型中，得到去噪图像。

进一步地，步骤1中构建训练集的方法，具体步骤如下：

首先，选取光学遥感图像作为训练集，图像变换为灰度图使深度为1用来作为无噪声图像；

其次，给所有灰度图像添加不同视数幅度形式的相干斑噪声得到合成sar噪声图像；

然后，将得到的无噪声和合成sar图像噪声图像作为样本对，以步长为10切割成40×40大小的图像，并将每对大小为40×40的图像块进行数据增强操作以扩大训练样本，最终得到图像块，以形成训练样本对；数据增强操作包括对图像块进行翻转操作、90度以及180度的旋转操作；

最后，使用归一化方法将所有的训练样本对归一化到0～1之间。

进一步地，步骤2所述搭建多尺度残差注意力网络模型，其中网络模型的结构包括1个多尺度卷积组、1个卷积、1个主干分支、1个掩码分支以及1个跳跃连接，其中主干分支包括6个卷积核大小为3×3卷积层与两个跳跃连接；掩码分支用来生成注意力权重，包括1个非局部模块、1个卷积核大小为3×3的大步长卷积层、1个转置卷积层、1个卷积核大小为1×1的卷积层以及sigmoid函数层，网络具体结构设置如下：

sar噪声图像首先经过多尺度卷积组，即输入分别经卷积核大小为3×3、5×5以及7×7的3个卷积层，并将这3个卷积层的输出结果进行特征拼接操作，提取不同尺度的图像特征，而且这三种不同尺寸的卷积核数量设置为30、20、12；多尺度卷积组中的所有卷积都会跟着一个relu激活函数；在多尺度卷积组后分别接入主干分支和掩码分支；掩码分支用于生成注意力权重并与主干分支进行按元素点乘运算，得到的结果与多尺度卷积组的输出即主干分支与掩码分支的输入进行按元素点加运算，得到的输出经过卷积核大小为3×3，通道数为1的卷积操作后与sar噪声图像进行按元素相减操作，最终得到去噪图像。

进一步地，所述主干分支用来进行特征处理，主干分支由6个卷积层及2个跳跃连接组成；在主干分支的所有卷积后面分别添加一个relu激活函数以组成6个卷积层；所述主干分支中，分别在输入与第二个卷积层的输出之间、第三个卷积层输出与第五个卷积层输出之间添加跳跃连接；所述掩码分支按顺序由1个非局部模块、1个卷积层、1个大步长卷积、1个转置卷积、1个卷积核大小为1×1的卷积以及sigmoid函数组成；所述卷积层由卷积核大小为3×3的卷积及relu激活函数组成；所述大步长卷积的卷积核大小为3×3，步长设置为2；所述转置卷积的卷积核大小为6×6，步长为2，padding设为2。

进一步地，步骤3所述设置多尺度残差注意力网络训练模型参数并进行模型训练，具体为：

训练网络模型过程中，训练轮数60轮，批量大小batch_size大小为64，采用adam优化方式，初始学习率设为0.001，而后每经过30轮次学习率除以10，其余卷积核个数即通道数都为64，其余卷积步长都为1，其余padding按公式(1)计算，选取公式(2)作为损失函数，并以最小化损失函数为目标来训练多尺度非局部残差网络模型；

其中，padding表示填充值，kernel_size表示卷积核尺寸大小；式(1)中的除法运算表示得到的商值取整；

其中lloss为损失函数，h，w分别表示图像的高和宽，y，x分别表示去噪图像和含噪图像。

本发明与现有技术相比，其显著优点为：(1)多尺度卷积可以提取不同尺度的图像特征，提高网络的泛化性能；(2)注意力机制能够更好地学习到图像的特征并区分噪声，进而提高网络性能，跳跃连接则能够加快网络收敛速度并防止梯度消失；(3)残差学习解决了网络的退化问题，非局部模块则可以获得图像像素之间的长距离依赖关系，进而获取更多的上下文信息；(4)能够提高sar图像去噪性能，并有效保留图像细节信息。

附图说明

图1是本发明基于多尺度残差注意力网络的sar图像去噪方法的流程图。

图2是本发明基于多尺度残差注意力网络的sar图像去噪方法模型结构图。

具体实施方式

本发明一种基于多尺度残差注意力网络的sar图像去噪方法，步骤如下：

步骤1，构建训练集并对训练样本进行归一化操作；

步骤2，搭建多尺度残差注意力网络模型；

步骤3，设置多尺度残差注意力网络训练模型参数并进行模型训练；

步骤4，将噪声图像输入到训练好的模型中，得到去噪图像。

进一步地，步骤1中构建训练集的方法，具体步骤如下：

首先，选取光学遥感图像作为训练集，图像变换为灰度图使深度为1用来作为无噪声图像；

其次，给所有灰度图像添加不同视数幅度形式的相干斑噪声得到合成sar噪声图像；

然后，将得到的无噪声和合成sar图像噪声图像作为样本对，以步长为10切割成40×40大小的图像，并将每对大小为40×40的图像块进行数据增强操作以扩大训练样本，最终得到图像块，以形成训练样本对；数据增强操作包括对图像块进行翻转操作、90度以及180度的旋转操作；

最后，使用归一化方法将所有的训练样本对归一化到0～1之间。

进一步地，步骤2所述搭建多尺度残差注意力网络模型，其中网络模型的结构包括1个多尺度卷积组、1个卷积、1个主干分支、1个掩码分支以及1个跳跃连接，其中主干分支包括6个卷积核大小为3×3卷积层与两个跳跃连接；掩码分支用来生成注意力权重，包括1个非局部模块、1个卷积核大小为3×3的大步长卷积层、1个转置卷积层、1个卷积核大小为1×1的卷积层以及sigmoid函数层，网络具体结构设置如下：

sar噪声图像首先经过多尺度卷积组，即输入分别经卷积核大小为3×3、5×5以及7×7的3个卷积层，并将这3个卷积层的输出结果进行特征拼接操作，提取不同尺度的图像特征，而且这三种不同尺寸的卷积核数量设置为30、20、12；多尺度卷积组中的所有卷积都会跟着一个relu激活函数；在多尺度卷积组后分别接入主干分支和掩码分支；掩码分支用于生成注意力权重并与主干分支进行按元素点乘运算，得到的结果与多尺度卷积组的输出即主干分支与掩码分支的输入进行按元素点加运算，得到的输出经过卷积核大小为3×3，通道数为1的卷积操作后与sar噪声图像进行按元素相减操作，最终得到去噪图像。

进一步地，所述主干分支用来进行特征处理，主干分支由6个卷积层及2个跳跃连接组成；在主干分支的所有卷积后面分别添加一个relu激活函数以组成6个卷积层；所述主干分支中，分别在输入与第二个卷积层的输出之间、第三个卷积层输出与第五个卷积层输出之间添加跳跃连接；所述掩码分支按顺序由1个非局部模块、1个卷积层、1个大步长卷积、1个转置卷积、1个卷积核大小为1×1的卷积以及sigmoid函数组成；所述卷积层由卷积核大小为3×3的卷积及relu激活函数组成；所述大步长卷积的卷积核大小为3×3，步长设置为2；所述转置卷积的卷积核大小为6×6，步长为2，padding设为2。

进一步地，步骤3所述设置多尺度残差注意力网络训练模型参数并进行模型训练，具体为：

训练网络模型过程中，训练轮数60轮，批量大小batch_size大小为64，采用adam优化方式，初始学习率设为0.001，而后每经过30轮次学习率除以10，其余卷积核个数即通道数都为64，其余卷积步长都为1，其余padding按公式(1)计算，选取公式(2)作为损失函数，并以最小化损失函数为目标来训练多尺度非局部残差网络模型；

其中，padding表示填充值，kernel_size表示卷积核尺寸大小；式(1)中的除法运算表示得到的商值取整；

其中lloss为损失函数，h，w分别表示图像的高和宽，y，x分别表示去噪图像和含噪图像。

为更加清楚地说明本发明的技术方案，结合附图及具体实施例对本发明作进一步详细说明。

实施例

如图1～2所示，本发明提出的一种基于多尺度残差注意力网络的sar图像去噪方法，共包括4个步骤；步骤1，构建训练集并对训练样本进行归一化操作；步骤2，搭建多尺度残差注意力网络模型；步骤3，设置多尺度残差注意力网络训练模型参数；步骤4，将噪声图像输入到训练好的模型中，可得到去噪图像。

进一步的，构建训练集的方法具体步骤如下：

选取光学遥感图像作为训练集，图像变换为灰度图使其深度为1用来作为无噪声图像；其次，给所有灰度图像添加不同视数幅度形式的相干斑噪声得到合成sar噪声图像；将得到的无噪声和合成sar图像噪声图像作为样本对，以步长为10切割成40×40大小的图像，并将每对大小为40×40的图像块进行翻转、任意角度的旋转等数据增强操作以扩大训练样本，最终得到图像块，以形成训练样本对；最后使用归一化方法将所有的训练样本对归一化到0～1之间；

进一步的，模型结构包括1个多尺度卷积组、1个卷积、1个主干分支、1个掩码分支以及1个跳跃连接，其中主干分支包括6个卷积核大小为3×3卷积层与两个跳跃连接，掩码分支用来生成注意力权重，它包括1个非局部模块、1个卷积核大小为3×3的大步长卷积层、1个转置卷积层、1个卷积核大小为1×1的卷积层以及sigmoid函数层，网络具体结构设置如下：

sar噪声图像首先经过多尺度卷积组，即输入分别经卷积核大小为3×3、5×5以及7×7的3个卷积层，并将这3个卷积层的输出结果进行特征拼接操作，其目的在于提取不同尺度的图像特征，而且这三种不同尺寸的卷积核数量设置为30、20、12；多尺度卷积组中的所有卷积都会跟着一个relu激活函数；在多尺度卷积组后分别接入主干分支和掩码分支；掩码分支用于生成注意力权重并与主干分支进行按元素点乘运算，得到的结果与多尺度卷积组的输出(也是主干分支与掩码分支的输入)进行按元素点加运算，得到的输出经过卷积核大小为3×3，通道数为1的卷积操作后与sar噪声图像进行按元素相减操作，最终得到去噪图像；

进一步的，主干分支由6个卷积层及2个跳跃连接组成；在主干分支的所有卷积后面分别添加一个relu激活函数以组成6个卷积层；所述主干分支中，分别在输入与第二个卷积层的输出之间、第三个卷积层输出与第五个卷积层输出之间添加跳跃连接；所述掩码分支按顺序由1个非局部模块(xiaolongwang,rossgirshick,abhinavgupta,andkaiminghe.non-localneuralnetworks.incvpr,2018a.)、1个卷积层、1个大步长卷积、1个转置卷积、1个卷积核大小为1×1的卷积以及sigmoid函数组成；所述卷积层由卷积核大小为3×3的卷积及relu激活函数组成；所述大步长卷积的卷积核大小，步长设置为3，2；所述转置卷积的卷积核大小，步长，padding分别设为6，2，2；

进一步的，所述非局部模块具体设置如下：

用x表示输入，形状为[h,w,2c]，分别经过3个卷积核大小为1×1，数量为c的卷积，使其通道数变为原来的一半，然后将h，w两个维度进行平坦化操作，得到形状为[h*w,c]的张量，结果分别用u,v,g表示；对结果v进行维度变换，这个在线性代数中就是进行转置运算，得到形状为[c,h*w]的张量，其次将得到的结果与v进行矩阵相乘，得到[h*w,h*w]形状的输出，并将得到的输出进行softmax函数变换，然后将得到的结果与g进行矩阵相乘得到形状为[h*w,c]的张量，接着将获得的张量在h*w维度上重新伸展为[h,w]，从而得到形状为[h,w,c]的结果y；将y经过卷积核大小为1×1的卷积操作得到的结果与输入x进行按元素相加运算，最终得到非局部模块的输出；所述非局部模块中，卷积操作的stride，padding设置为1，0；h，w，c分别表示特征图的高，宽，通道数。

进一步的，训练网络模型过程中，训练轮数60轮，batch_size大小为64，采用adam优化方式，初始学习率设为0.001，而后每经过30轮次学习率除以10，卷积核个数(即前面所述通道数)除特殊说明外都为64，卷积步长除特殊说明外都为1，padding方式除特殊说明外按公式(1)计算，选取公式(2)作为损失函数，并以最小化损失函数为目标来训练多尺度非局部残差网络模型；

其中，padding表示填充值，kernel_size表示卷积核尺寸大小。公式(1)中的除法运算表示得到的商值取整。

其中lloss为损失函数，h，w分别表示图像的高和宽，y，x分别表示去噪图像和含噪图像。

本发明方法采用的多尺度卷积可以提取不同尺度的图像特征，提高网络的泛化性能；注意力机制能够更好地学习到图像的特征并区分噪声，进而提高网络性能，跳跃连接则能够加快网络收敛速度并防止梯度消失；残差学习解决了网络的退化问题，非局部模块则可以获得图像像素之间的长距离依赖关系，进而获取更多的上下文信息，最终在提高sar图像去噪性能的同时，有效保留了图像细节信息。