一种基于Transformer的合成孔径雷达图像盲超分辨率方法和装置

本发明属于图像超分辨率领域，涉及一种基于transformer的合成孔径雷达(synthetic aperture radar，sar)图像盲超分辨率方法，适用于高质量sar图像重建应用场景。

背景技术：

1、合成孔径雷达具有全天候、多极化等特点，它的工作不受环境、时间等因素限制，因此，它被广泛应用于土地监测、军事监视等领域。

2、由于成像系统的限制，如信号带宽、中心频率等因素，sar图像往往存在低分辨率的问题，无法反映图像的细节信息，并且因为合成孔径雷达的相干成像机制，sar图像往往受到参数未知的散斑噪声的干扰(sar图像受到了盲退化)，影响了图像的视觉效果，给目标检测、场景解读和分析带来困难。

3、图像超分辨率是一种通过算法来提高图像分辨率的技术。图像盲超分辨率是一种通过算法来提高退化参数未知的图像的分辨率的技术，它可以在不确定退化参数的情况下，将图像的分辨率提高到更高的水平，并保证图像质量。这种技术可以应用于各种领域，如医学影像、卫星图像、安全监控等。在实现图像盲超分辨率的过程中，需要考虑到图像的噪声、失真、模糊等因素对图像超分辨率结果的影响。然而，在真实图像环境下，这些因素的参数都是未知的。因此，在算法的设计中需要考虑到这些参数未知的因素，并通过对图像的预处理、特征提取、重建和后处理等步骤来提高超分辨率结果的质量。

4、现有的解决上述难点问题的sar图像超分辨率方法主要分为三类：基于压缩感知的方法、基于估计理论的方法、基于深度学习的方法。第一类方法通过开发信号的稀疏特性，用随机采样获取信号的离散样本，然后通过非线性重建算法重建信号，它的特点在于能超越奈奎斯特采样频率恢复稀疏信号，正是因为这一特点，它在sar图像超分辨率中得到了部分应用。但是，压缩感知方法无法适应sar图像中未知参数的散斑噪声，超分辨率后的图像普遍存在较为严重的散斑噪声。第二类方法是利用估计理论重建高分辨率的sar图像，例如插值算法和无迹卡尔曼滤波，插值算法计算量小，图像重建速度较快，但因其过于简单往往导致重建图像质量较差，细节模糊，缺乏足够的高频信息。无迹卡尔曼滤波是一类处理非线性系统的贝叶斯滤波器近似方法，它的重建结果往往较为平滑，边缘较为模糊，缺乏足够的细节，也就是说，它往往不能对未知参数的模糊进行建模。第三类方法是基于深度学习的sar图像超分辨率方法，深度学习通过学习低分辨率图像到高分辨率图像的映射关系进而给出数据的预估分布。但现有的sar图像超分辨率方法仅仅考虑了较为简单的、参数确定的退化模型，如常见的双三次下采样退化、加性高斯噪声退化等，并未考虑真实环境下sar图像所包含的复杂背景和参数未知的散斑噪声，从而导致sar图像超分辨率结果的视觉效果不够理想。

5、transformer是一种深度学习模型，它基于自注意力机制对输入输出的全局依赖关系进行建模。通过将图像切成一个个patch，然后将其转化为低维向量，并输入transformer encoder进行编码，图像的全局特征得以提取。编码器由多个相同的层堆叠而成，每一层都包含一个多头自注意力子层(multi-head self-attention)和一个前馈神经网络子层(feed-forward neural network)。解码器同样由多个相同的层堆叠而成，但在每个解码层中还包括一个编码器-解码器注意力子层(encoder-decoder attention)，它允许解码器关注编码器的输出。如何利用transformer的自注意力机制对sar图像盲退化模型进行建模，并建立低分辨率到高分辨率的映射关系，是sar图像超分辨率的关键问题。

技术实现思路

1、本发明针对现有技术的不足，利用sar图像成像模型和transformer机制，提出一种基于transformer的sar图像盲超分辨率方法。通过有效结合自注意力和通道注意力，使网络更多地关注非噪声信息，有效抑制了sar图像散斑噪声，并使用多层次跨残差连接以提取深层特征对sar图像精细化重建，最后，通过全局残差连接以重构高分辨率图像。

2、本发明所采用的技术方案是：一种基于transformer的sar图像盲超分辨率方法。首先，在网络训练阶段，网络通过sar图像退化模型构建一个足够大的退化空间，该退化空间包含了模糊子空间和散斑噪声子空间，参数在较大范围内变化，以增强网络的盲超分辨率能力。随后，网络利用卷积层对真实sar图像提取浅层特征，然后利用多级残差混合注意力块mlrhab(multi-level residual hybrid attention block)从浅层特征中提取出不同层次的深层特征，并用通道维度的拼接操作使得信息得以交互，重复多次mlrhab以对深层特征精细化，最后，网络利用卷积层对提取的深层特征进行特征映射，结合全局残差完成图像重构。在测试阶段，网络已经拟合了多种映射关系，将真实sar图像输入网络，便可自适应的输出超分辨率结果。该方法包括以下步骤：

3、步骤1，基于sar图像退化模型构建训练数据集，包括低分辨率图像和高分辨率图像，其中低分辨率图像是高分辨率图像经过退化模型退化获得；

4、步骤2，提取低分辨率图像的浅层特征；

5、步骤3，利用多级残差混合注意力块mlrhab提取出浅层特征中的深层特征；

6、步骤4，重复多次mlrhab以提取多层次的深层特征，并利用通道维度拼接使得不同层次特征得以交互；

7、步骤5，利用重构模块对交互后的特征图进行重构，得到最终超分辨率后的图像；

8、步骤6，计算损失函数，并以此优化步骤2-步骤5构成的整体网络的参数；

9、步骤7，将测试图像输入训练好的整体网络模型，获得sar图像超分结果。

10、进一步的，步骤1中的图像退化模型如下：

11、

12、其中，y表示sar成像系统观测到的图像，x表示无噪声的高分辨率图像，h表示由于sar成像系统引起的整体模糊，表示图像处理中的2d卷积操作，↓s表示下采样算子，f表示乘性散斑噪声，⊙表示hadamard product。

13、进一步的，乘性散斑噪声近似服从于均值为1，方差为1/l的伽马分布，概率密度函数p(f)为：

14、

15、其中，γ(l)表示伽马函数；

16、对于一个大小为2m+1的高斯模糊核h，它的元素h(i，j)具有以下表达式：

17、

18、其中，i，j表示模糊核的坐标，模糊核是一个二维矩阵，n为正则项系数，c为空间坐标，∑为协方差矩阵，[i,j]∈[-m,m]

19、

20、θ为旋转角，σ1，σ2分别为协方差矩阵的特征值。

21、进一步的，步骤2中利用卷积层提取低分辨率图像的浅层特征。

22、进一步的，多级残差混合注意力块的具体处理过程如下；

23、步骤3.1：通过k个自注意力块和卷积，并利用残差连接提取深层特征，其中f0＝x0，x0表示输入的浅层特征；

24、

25、其中表示第i个自注意力块stb，fj-1,fj表示第i个自注意力块的输入和输出，自注意力块包括层归一化layernorm、多头自注意力层msa、多层感知机mlp和部分残差连接；msa首先将输入划分为各个不重叠的小窗口，其大小为m×m，然后通过layernorm层进行归一化，随后为每一个小窗口计算标准自注意力；假设多头自注意力输入为多头自注意力由下式计算：

26、

27、

28、其中，wq，wk，wv为不同窗口间的共享权重矩阵，分别为查询query，键值key，值value，b为相对位置编码，它是可学习的参数，c表示输入i的通道数，表示每个头的通道数，nm表示头的数量；两个layernorm层分别位于msa和mlp层之前，整个stb块的过程可用下式表示：

29、zl＝msa(ln(z))+z

30、hstb(z)＝mlp(ln(zl))+zl              (10)

31、其中z为stb模块的输入，ln表示layernorm函数，zl表示中间变量；

32、步骤3.2，通过通道注意力层cca使网络更加关注非噪声信息：

33、fout＝f0+hcca(conv(fk))               (11)

34、其中，hcca表示通道注意力层，f0表示自注意力块的输入，f3表示第k个自注意力块的输出，fout为多级残差混合注意力块的输出。

35、进一步的，通道注意力层的具体计算公式由下式给出：

36、

37、fcca＝σ(conv(relu(conv(fap+fstd_c))))

38、

39、

40、其中，σ表示sigmoid激活函数，fcca为cca模块的输入，表示元素级乘法，wcca表示权重，fap和fstd_c为中间变量，h和w表示特征图的高和宽。

41、进一步的，步骤5中重构模块的处理过程通过如下计算公式表示：

42、y＝hrm(x0+conv(relu(conv(xout))))      (14)

43、其中，hrm表示重构模块的实现函数，relu表示激活函数，x0表示浅层特征，xout表示通道拼接后的特征，即交互后的特征，conv为卷积操作；hrm的具体实现过程如下：

44、步骤5.1，首先通过两次上采样得到高分辨率表征：

45、frm4＝hup(hup(frm))

46、hup(x)＝conv(relu(up2(x)))

47、其中，frm＝xout为重建模块的输入，up2表示2倍亚像素上采样，x泛指自变量，frm4表示两次上采样后的高分辨率表征；

48、步骤5.2，将高分辨率表征输入卷积层、池化层进行重构：

49、frm＝conv(relu(conv(relu(conv(frm4)))))

50、上式中，frm表示最终超分辨率后的图像。

51、进一步的，损失函数的表达式如下；

52、l＝||ygt-y||1

53、其中，y表示超分辨率后的图像，即网络输出frm，ygt表示训练所采用的高分辨率图像。

54、进一步的，还包括步骤8，采用评价指标峰值信噪比psnr、结构相似性ssim对超分结果进行评价。

55、本发明还提供一种基于transformer的合成孔径雷达图像盲超分辨率装置，包括：

56、一个或多个处理器；

57、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述方案所述的一种基于transformer的合成孔径雷达图像盲超分辨率方法。

58、与现有技术相比，本发明的优点和有益效果：本发明考虑了sar图像的复杂退化模型，以此构建足够大的退化空间，并提出了一种基于transformer的sar图像盲超分辨率网络。通过构建不同层级的transformer架构，精细提取sar图像特征，并且大范围的退化空间有效增强了网络的盲超分辨率能力。所提出的网络能够有效提高复杂的、未知参数的sar图像分辨率，并有效去除sar图像的散斑噪声。