一种基于ConvNeXt网络的SAR图像深度学习去噪方法和系统

本发明属于计算机视觉与合成孔径雷达(sar)图像处理，涉及一种基于convnext网络的sar图像深度学习去噪方法和系统，适用于高精度要求的sar图像应用场景。

背景技术：

1、sar成像系统不受太阳光源或目标地物自身的热辐射限制，并且不受大气中云、雾、尘等物质干扰，可以在复杂环境中正常工作，真正实现全天时、全天候成像。正因如此，sar成像技术作为一项重要的地球空间信息获取手段广泛应用于军事国防、环境评估、资源勘探等各个领域。但由于sar独特的有源微波系统成像机理，同一像素内独立散射体可以增强或减弱回波，导致sar图像中出现大量散斑噪声，严重影响图像质量，给目标的识别提取等下游任务造成极大困难。因此sar图像去噪是非常必要的，其难点在于如何在抑制散斑噪声的同时保持图像纹理结构信息。

2、为了解决上述sar图像散斑噪声问题，目前已提出的方法主要分为三类：基于像素的方法，基于块的方法和深度学习方法。基于像素的方法包括常见的多视滤波器和经典滤波器，例如中值滤波器和均值滤波器。多视滤波器通过牺牲空间分辨率来缓解散斑噪声，而经典滤波其会引入方形伪影。另外方向窗滤波器[1]-[2]在最小均方误差方法下，通过评估预定义窗口的振幅图像梯度，选择局部最优窗口进行滤波。但相邻像素之间方向窗口的突然变化可能导致不同程度的伪影，这在统计描述方法[3]-[4]中被改进。区域生长方法[5]使用两步生长算法在空间域中建立由强度驱动的同质像素自适应连接邻域。基于小波变换的方法在滤波过程中加入了各种形式的自适应[6]-[8]，有助于提高图像边界和纹理保存，然后在保存同质区域的细节方面仍表现不足。

3、基于块的去噪可以追溯到buadel等人提出的非局部均值方法[9]。该方法在块尺度上搜索图像中的相似区域，并计算这些区域的加权平均值，能够有效去除加性高斯白噪声，获得高质量去噪结果。dabov等人在变换域提出了基于块和增强稀疏表示的腺化算法[10]，包括相似块分组、协同维纳滤波和聚合三个步骤。deledalle等人扩展了非局部概念，提出一种新的滤波算法ppb[11]，该方法将去噪过程描述为一个加权最大似然估计问题。deledalle等人整合了之前的方法，提出了一个统一的nl-sar框架[12]，同时过滤强度，干涉相位和极化通道。parrilli将bm3d算法扩展到sar图像去噪领域，提出基于非局部滤波和小波域收缩的sar图像乘性噪声sar-bm3d算法[13]。

4、基于深度学习的sar去噪方法是近年来兴起的一种新算法，得益于深度学习在自然图像和多光谱图像去噪中的广泛应用。深度学习网络架构的设计是影响去噪性能的关键因素。近年来，基于不同的网络架构提出了几种sar去噪解决方案，如sar-cnn[14]、id-cnn[15]、sar-drn[16]、cnn-nlm[17]、monetsar[18]、despecknet[19]。目前，这些提出的方法都遵循一个共同的基本思想:基于散斑噪声的假设统计分布来模拟不同程度的噪声。随后，以乘法或加性的方式将这种模拟噪声添加到通过转换自然图像获得的灰度图像中。而这种假设统计分布无法有效模拟噪声的实际特征，导致去噪能力有限。

5、这种方法具有固有的局限性，使用简单的单一随机函数不能完全模拟sar图像散斑的统计模型。这些因素带来的实际挑战极大地制约了上述建模方法的有效性和泛化能力。

6、参考文献

7、[1]j.-s.lee,digital image enhancement and noise filtering by use oflocalstatistics,ieee transactions on pattern analysis and machineintelligence(1980)165-168.

8、[2]d.t.kuan,a.a.sawchuk,t.c.strand,p.chavel,adaptive noisesmoothingfilter for images with signal-dependent noise,ieee transactions on patternanalysis and machine intelligence(1985)165-177.

9、[3]j.-s.lee,digital image smoothing and the sigma filter,computervision,graphics,and image processing 24(1983)255-269.

10、[4]]a.lopes,e.nezry,r.touzi,h.laur,maximum a posteriorispecklefiltering and first order texture models in sar images,10th annualinternational symposium on geoscience and remote sensing(1990)2409-2412.

11、[5]g.vasile,e.trouv′e,j.-s.lee,v.buzuloiu,intensity-drivenadaptiveneighborhood technique for polarimetric and interferometric sarparameters estimation,ieee transactions on geoscience and remote sensing44(2006)1609-1621.

12、[6]a.achim,p.tsakalides,a.bezerianos,sar image denoising viabayesianwavelet shrinkage based on heavy-tailed modeling,ieee transactions ongeoscience and remote sensing 41(2003)1773-1784.

13、[7]t.bianchi,f.argenti,l.alparone,segmentation-based map despecklingof sar images in the undecimated wavelet domain,ieee transactions ongeoscience and remote sensing 46(2008)2728-2742.

14、[8]d.gleich,m.kseneman,m.datcu,despeckling of terrasar-x datausingsecond-generation wavelets,ieee geoscience and remote sensingletters 7(2009)68-72.

15、[9]a.buades,b.coll,j.-m.morel,a review of image denoising algorithms,with a new one,multiscale modeling&simulation 4(2005)490-530.

16、[10]k.dabov,a.foi,v.katkovnik,k.egiazarian,image denoising bysparse3-d transform-domain collaborative filtering,ieee transactionson imageprocessing 16(2007)2080-2095.

17、[11]c.-a.deledalle,l.denis,f.tupin,iterative weighted maximumlikelihood denoising with probabilistic patch-based weights,ieee transactionson image processing 18(2009)2661-2672.

18、[12]c.-a.deledalle,l.denis,f.tupin,a.reigber,m.j¨ager,nl-sar:aunifiednonlocal framework for resolution-preserving(pol)(in)sar denoising,ieeetransactions on geoscience and remote sensing 53(2014)2021-2038.

19、[13]s.parrilli,m.poderico,c.v.angelino,l.verdoliva,a nonlocalsarimage denoising algorithm based on llmmse wavelet shrinkage,ieeetransactions on geoscience and remote sensing 50(2011)606-616.

20、[14]g.chierchia,d.cozzolino,g.poggi,l.verdoliva,sar image despecklingthrough convolutional neural networks,in:2017 ieee internationalgeoscienceand remote sensing symposium(igarss),2017,pp.5438-5441.doi:10.1109/igarss.2017.8128234.

21、[15]p.wang,h.zhang,v.m.patel,sar image despeckling using aconvolutional neural network,ieee signal processing letters 24(2017)1763-1767.

22、[16]q.zhang,q.yuan,j.li,z.yang,x.ma,learning a dilatedresidualnetwork for sar image despeckling,remote sensing 10(2018)196.

23、[17]d.cozzolino,l.verdoliva,g.scarpa,g.poggi,nonlocal cnn sarimagedespeckling,remote sensing 12(2020)1006.

24、[18]s.vitale,g.ferraioli,v.pascazio,multi-objective cnn-basedalgorithmfor sar despeckling,ieee transactions on geoscience and remotesensing 59(2021)9336-9349.doi:10.1109/tgrs.2020.3034852.

25、[19]a.g.mullissa,d.marcos,d.tuia,m.herold,j.reiche,despecknet:generalizing deep learning-based sar image despeckling,ieee transactions ongeoscience and remote sensing 60(2022)1-15.doi:10.1109/tgrs.2020.3042694.

技术实现思路

1、本发明针对现有技术的不足，提出了一种新的convnext网络的sar图像深度学习去噪方法。利用sar噪声强度图像和相位图像的散斑噪声一致性特征，构建散斑噪声估计子网络，从输入的噪声强度图像和噪声相位图像中生成散斑图像。进一步利用基于交叉注意机制的双分支特征融合去噪子网络对散斑图像和噪声强度图像进行特征交互并去噪，从而实现低噪声sar图像估计。

2、本发明所采用的技术方案是：一种基于convnext网络的sar图像深度学习去噪方法，首先构建四层散斑噪声估计子网络，每一层由下采样块和多个convnext块组成，其中convnext块用于不同尺度的特征提取。其次将噪声强度图像和噪声相位图像输入该子网络得到散斑图像。接着构建双分支特征融合去噪子网络，将上述散斑图像与噪声强度图像作为子网络的输入，利用交叉注意模块对两个分支每层输出的特征图进行信息交换，并将两个分支的特征融合成一个单一的特征图。采用convnext作为编码器和解码器的主干，构建用于sar图像去噪的深度网络，并设计一个适用于该网络的损失函数，最后在近真实数据集上进行训练，根据训练得到的网络模型进行sar图像去噪。该方法包括以下步骤：

3、步骤1，构建散斑噪声估计子网络snenet，snenet包含若干层，每层由一个下采样模块和多个convnext块组成，用于从输入图像中提取均匀一致的噪声并生成散斑图像；

4、步骤2，构建双分支特征融合去噪子网络dbdnet，dbdnet包括散斑分支和强度分支，利用基于convnext的层结构对双分支输入图像分别进行多层特征提取，同时利用交叉注意模块cam对两个分支每层输出的特征图进行信息交换，并将两个分支的特征融合成一个单一的特征图；

5、步骤3，构建用于sar图像去噪的网络模型pgd2net，将噪声强度图像x和噪声相位图像p进行通道连接后作为输入，首先通过snenet生成散斑图像n，进一步将噪声强度图像x作为dbdnet的强度分支输入，将和生成的散斑图像n作为dbdnet的散斑分支输入，通过特征融合交换得到低噪声强度图像作为网络模型的输出

6、步骤4，结合损失函数训练pgd2net，并利用训练好的模型实现sar图像去噪，得到低噪声sar图像。

7、进一步的，步骤1中下采样模块用于将输入图像下采样到合适的特征图大小，convnext块用于提取不同尺度下的图像特征；第一层下采样模块down1执行4×4无重叠卷积，其他下采样模块执行2×2无重叠卷积，在convnext块中，使用核尺寸7×7的卷积运算，得到全局接受场，然后经过层归一化和高斯误差线性单元的激活函数gelu；最后，采用跳变连接将不同尺度的特征引入解码器，生成网络输出。

8、进一步的，解码器将最后一层的特征提取结果进行上采样后经过层归一化和gelu函数，进一步与最后一层前面所有层的特征图进行通道融合，并进行核尺寸为1×1的卷积运算，最后再经过一个convnext块运算，得到最终解码器输出结果。

9、进一步的，dbdnet中的散斑分支和强度分支具有与snenet相同的结构和参数。

10、进一步的，交叉注意模块的处理过程为：两个分支每一层的输出经过1×1卷积运算和层归一化后利用relu函数组装后相加，然后，对结果应用mlp得到注意图，将注意力图乘以散斑分支输入，随后将其与强度分支输入相加，将相加结果与散斑分支输入进行通道连接，通过一个convnext块生成单个特征图caout；

11、最后，采用跳跃式连接将不同层次的特征图引入解码器，得到dbdnet的输出。

12、进一步的，步骤4中采用的损失函数如下：

13、

14、其中γ1、γ2是用于调整不同损耗的超参数，和是最终输出和中间结果散斑图像n的平滑l1损耗，具体表达式如下：

15、

16、

17、为像素p处网络模型估计的低噪声图像强度值，x(p)为相应位置处散斑图像值，y(p)为对应真值强度值，w×h表示图像像素尺寸，smoothl1表示平滑l1损耗；

18、交叉熵损失的表达式如下：

19、

20、其中，y表示真值强度值，ffout表示最后一个cam模块生成的特征。

21、进一步的，平滑l1损耗的具体表达式如下；

22、

23、其中x表示自变量。

24、进一步的，还包括步骤5，采用峰值信噪比和结构相似性作为评价指标用来评价模型的去噪效果。

25、本发明还提供一种基于convnext网络的sar图像深度学习去噪系统，包括如下模块：

26、散斑噪声估计子网络构建模块，用于构建散斑噪声估计子网络snenet，snenet包含若干层，每层由一个下采样模块和多个convnext块组成，用于从输入图像中提取均匀一致的噪声并生成散斑图像；

27、双分支特征融合去噪子网络构建模块，用于构建双分支特征融合去噪子网络dbdnet，dbdnet包括散斑分支和强度分支，利用基于convnext的层结构对双分支输入图像分别进行多层特征提取，同时利用交叉注意模块cam对两个分支每层输出的特征图进行信息交换，并将两个分支的特征融合成一个单一的特征图；

28、去噪网络模型构建模块，用于构建用于sar图像去噪的网络模型pgd2net，将噪声强度图像x和噪声相位图像p进行通道连接后作为输入，首先通过snenet生成散斑图像n，进一步将噪声强度图像x作为dbdnet的强度分支输入，将和生成的散斑图像n作为dbdnet的散斑分支输入，通过特征融合交换得到低噪声强度图像作为网络模型的输出

29、去噪模块，用于结合损失函数训练pgd2net，并利用训练好的模型实现sar图像去噪，得到低噪声sar图像。

30、与现有技术相比，本发明的优点和有益效果为：本发明提出了一种基于convnext网络的sar图像深度学习去噪方法。有效提取散斑图像，提出了一种新的深度去噪网络，用于sar图像的去噪。网络基于双分支架构实现，设计了散斑噪声估计子网络，从噪声强度图像和噪声相位图像中估计散斑图像。此外，提出了一种基于有效交叉注意机制的特征融合模块，将散斑分支和强度分支的特征融合，实现sar图像去噪。实验结果表明，融合去噪显著提升了sar图像质量。最后，由于网络能够估计散斑图像，并进行特征融合去噪，我们提出的方法优于现有的基于深度学习的sar图像去噪方法。