一种基于多类别地貌风格迁移的SAR图像仿真方法

本发明属于航空图像处理，尤其是涉及一种基于多类别地貌风格迁移的sar图像仿真方法。

背景技术：

1、合成孔径雷达相比于其他遥感手段，其工作能力较强，具有其他遥感手段难以比拟的特点，目前广泛应用。sar图像解译对于sar系统的应用十分重要，sar图像生成技术不仅可以用于欺骗干扰，还可以为后期图像处理研究提供数据等，是诸多sar图像应用领域中的重要环节。现实中sar图像解译经常面临数据集不足的问题，而且由于噪声干扰的影响，sar数据集的质量也参差不齐。而利用传统方法较难克服干扰的影响和提高生成图像质量，所以研究生成仿真sar图像的新方法是亟待解决的问题。

2、现有的可见光图像到sar图像仿真算法分为基于传统图像处理和基于深度学习的算法两大类，利用传统方法补充sar图像数据集可以对现有的图像进行裁剪、加噪等操作来扩充数据，也可以将图像进行分割重建来扩充数据集。但通过分割和重构的方式得到的重建图像的效果并不高，不能提升数据集的质量，不是真正意义上的有效扩充方法。随着深度学习在图像处理领域的发展，深度生成模型对于生成和处理sar图像数据集可以提供很大的帮助，其中卷积神经网络(convolutional neural network，cnn)较为常用，成为了构建诸多复杂生成模型的基础，所以应用神经网络搭建针对性的模型来解决实际sar图像分割中的困难十分必要。生成对抗模型是目前深度生成模型中最具潜力的代表，通过生成对抗模型可实现不同风格之间的迁移。在无监督类别中被认为是最具前景的生成模型，能够得到近似真实的数据，有着以假乱真的效果。由于其强大的生成能力，训练稳定，收敛较快，生成样本多样化等优点，所以在数据扩充方面，采用该类模型来进行图像生成，可以更好地节约人力物力资源，故将生成对抗类模型引入sar图像生成领域具有重要意义。基于生成对抗的sar图像仿真方法在应用于场景较单一的数据集时表现优异，但在具有多种类别的地貌的复杂场景下的数据集表现较差。

3、在sar成像过程中，不同的地貌会产生多样的差异。平坦地貌通常呈现出均匀的回波强度，这是因为平坦的地表反射能量相对均匀，而不同类型的地物例如水体和森林则具有不同的微波反射特征，水体通常呈现出较暗的回波，因为它们能够吸收微波能量，森林则会呈现出散射回波的复杂模式，因为树木和枝叶对微波信号的散射效应。地表的粗糙度会导致不同的散射效应，粗糙的地表能够导致较强的散射效应，使得回波信号更强，相反，光滑的地表能够减少散射，导致回波信号较弱。而地形变化例如山脉和峡谷则会导致不同方向的微波信号反射回雷达，产生不同的相位差，从而在sar影像中显示出明显的斑驳图案。此外，建筑物和人造结构的直角和边缘会呈现为明显的亮点或暗点。然而，sar成像还受到其他因素的影响，如观测参数、大气条件和土壤湿度等。综合这些因素，不同类别的地貌在sar影像中展现出丰富的特点。总而言之，sar成像的如此特点，导致不同场景下可见光图像到sar图像仿真的sar图像的特征往往差别较大，直接用生成对抗网络进行处理往往不能兼顾多个多类别地貌场景，造成sar仿真图像失真。

4、因此，有必要提供一种基于多类别地貌风格迁移的sar图像仿真方法，来解决上述问题。

技术实现思路

1、本发明的目的是提供一种基于多类别地貌风格迁移的sar图像仿真方法，通过语义分割的准确分割和处理，能够更好地捕捉复杂场景中不同地貌的细节和特征，它能够针对不同地貌类别进行个别处理，从而更好地模拟每个地貌对应的sar图像。通过拼接这些处理后的图像，能够还原出一个与可见光图像相对应的完整sar仿真图像，从而提供更全面、准确的数据信息。

2、为实现上述目的，本发明提供了一种基于多类别地貌风格迁移的sar图像仿真方法，包括以下步骤：

3、s1：取若干张遥感可见光图像和sar图像分别划分训练集和测试集，并进行预处理；

4、s2：用步骤s1中得到的语义分割数据集训练改进的训练语义分割模型；

5、s3：用可见光与sar数据集训练改进的生成对抗模型；

6、s4：用训练好的语义分割模型对遥感图像进行分割，形成若干组不同地貌的图像；

7、s5：对分割后的若干组不同地貌的可见光图像各自用生成对抗模型进行处理，生成对应的若干组不同地貌的sar仿真图像；

8、s6：将生成的若干组不同地貌的sar仿真图像进行拼接，得到完整的仿真图像；

9、s7：对步骤s6中得到的拼接后的sar仿真图像进行一系列图像融合处理，得到融合处理后的sar仿真图像；

10、s8：对步骤s7中得到的融合处理后的sar仿真图像进行噪声仿真处理，得到最终结果。

11、优选的，在步骤s1中，所需数据集以无人机遥感数据为基础，数据来源于无人机拍摄的可见光图像和在相同视角下的sar图像，具体包括以下步骤：

12、s11：将所有图像的尺寸切割为长宽相等的正方形，将数据复制两份；

13、s12：取其中一份，对这一份数据中的可见光图像进行语义分割标注，将可见光与sar两类图像按9:1的比例分为训练集和测试集，作为语义分割数据集；

14、s13：用语义分割标注的结果将另一份数据中可见光图像和sar图像按照不同地貌类别分割为不同的图片，各自按9:1的比例分为训练集和测试集，作为对应不同地貌类别的不同的生成对抗数据集。

15、优选的，在步骤s2中，具体包括以下步骤：

16、s21：对deeplabv3+模型引入注意力机制，加强图像处理过程中分割边缘部分的权重，得到改进的语义分割模型；

17、s22：模型改进完成后，输入s1中得到的语义分割数据集中的训练集，开始训练；

18、s23：训练完成后，使用测试集来评估模型的性能表现，将测试集中的图像输入到训练好的模型中，获得模型对图像的分割预测结果；

19、s24：得到预测的结果后，将预测结果与真实的标注进行比较，使用评估指标来评估模型的准确性和泛化能力；

20、s25：根据测试结果，进行模型的调优。

21、优选的，在步骤s3中，用s1的可见光与sar数据集训练改进的生成对抗模型，具体包括以下步骤：

22、s31：对cyclegan模型引入wasserstein距离和梯度惩罚项机制，得到一种改进的生成对抗模型；

23、改进后的模型生成器，将图像输入后，首先经过残差网络，提取图像特征，然后进入四个支路，在第一个支路中，经过reshape和transpose操作，在第二个和第三个支路中，经过reshape操作，第四个支路不做处理；

24、对第一个支路和第二个支路的输出结果进行矩阵乘法运算，得到的结果经过softmax操作后与第三个支路的输出结果进行矩阵乘法运算，然后经过reshape操作，与第四个支路的数据叠加，最后经过卷积，得到输出图像；

25、整个模型的优化目标如下：

26、

27、

28、其中，x,y为输入判别器的图像，da(·),db(·)为判别器输出结果，ga(·)，gb(·)为生成器输出结果，pr为真实数据分布，pg为网络生成数据分布，为分布pr和pg之间的wasserstein距离，c.是判别器网络的梯度，为判别器网络梯度对应的正则化项，参数λi是梯度惩罚项的系数，：～pk为沿着真实数据分布和网络生成数据分布采样点之间连线上的数据采样点，·～pdt(·)为输入数据·所服从的概率分布；

29、s32：模型改进完成后，输入步骤一中得到的生成对抗数据集中的训练集，开始训练；

30、s33：训练过程的时间，取决于数据集的规模和模型的复杂程度，模型训练完成后，使用测试集评估模型的表现，测试集包含可见光图像，将这些图像输入已经训练好的模型中，生成器得到仿真的sar图像；

31、s34：观察生成器生成的仿真sar图像，比较生成的仿真sar图像与真实的sar图像，评估模型在测试集上的表现；

32、s35：生成的图像与目标域图像之间存在明显的差异或质量较低，重新调整和训练模型，直至生成的图像与目标域图像相似且质量良好，实现对sar图像中不同地貌类型的仿真。

33、优选的，在步骤s4中，具体包括以下步骤：

34、s41：将训练好的改进的语义分割模型加载到系统；

35、s42：将长宽相等的正方形的可见光图像输入模型进行处理；

36、s43：模型对图像中每个像素进行预测，将其分配到相应的地貌类别中。

37、优选的，在步骤s5中，具体包括以下步骤：

38、s51：将步骤s3中训练好的改进的生成对抗模型加载到系统中；

39、s52：步骤s4中得到的分割后的各类别可见光图像作为输入，输入到生成对抗模型中进行图像转换；

40、s53：生成对抗模型对输入的可见光图像进行编码，学习图像中的特征表示，将这些特征转换为sar图像中的对应特征，通过解码器生成合成的sar图像。

41、优选的，在步骤s6中，每个类别的sar仿真的区域，根据步骤s4中的语义分割模型对可见光图像根据地貌类别进行语义分割的区域边界，将各个地貌类别的图像进行拼接，得到包含原本的各个地貌的完整的图像，拼接的公式如下所示：

42、

43、其中，n为不同地貌类别的数量，为对应第i个地貌类别的图像，wi为对应第i个地貌类别图像的权重，li为对应第i个地貌类别图像在整个图像中的位置信息。

44、优选的，在步骤s7中，采用改进的轻量化滤波处理算法处理拼接后的拼缝问题，具体包括以下步骤：

45、s71：对拼接后的图像进行辐射校正，辐射校正的滤波算法的公式如下所示：

46、

47、其中，g(x,y)为原始影像的灰度值，f(x,y)为结果影像的灰度值，mg为原始影像的灰度均值，sg为原始像的标准差，mf为模板影像的灰度均值，sf为模板影像的标准差，a∈[0,1]，根据图像实际情况调整；

48、s72：获取参与拼接的各个图像的语义分割标注，对标注进行变换得到黑色表示边界线条，白色表示背景的灰度图；

49、s73：将黑色线条拓宽为一个宽度为5个像素点的区域，记为待处理区域，具体方法是在边界线条上的点的四周绘制5×5像素的黑色矩形，这一过程的公式如下所示：

50、rj→rb

51、其中，j为边界线条上的点，rj为以j点为中心的5×5的像素块，rb表示同样尺寸的黑色像素块；

52、s74：对拼缝进行平滑操作，具体公式如下所示：

53、

54、其中，j为待处理区域中的任一点，n为以该点为中心的3×3的像素块中与待处理区域重合的像素的个数，li为这些点中第i个点的灰度值，dj为滤波后的点；算法引入tanh函数。

55、优选的，在步骤s8中，对得到的sar仿真图像添加sar图像特有噪声，噪声的分布服从如下公式：

56、i′(x，y)＝i(x，y)+n

57、其中，i(x，y)为原始图像中的像素值，i′(x，y)为添加噪声后的图像中的像素值，n为添加的噪声分布函数，详细表达式如下：

58、

59、其中，wi为每个分布的权重，ni为不同的噪声分布，n为分布总数；对于每个ni，其公式如下：

60、

61、其中，u为这一分布的期望均值，σ为标准差，ρ为两个维度之间的相关系数，取值范围为[-1,1]。

62、因此，本发明采用上述一种基于多类别地貌风格迁移的sar图像仿真方法，具备以下有益效果：

63、(1)本发明在多种复杂地貌下的sar图像仿真任务中，对由可见光遥感图像到对应的仿真sar图像的转换中具有较高的精度。

64、(2)本发明通过加入生成对抗模型，使生成的仿真sar图像具有可靠性。

65、(3)本发明通过分割不同地貌特征的图像部分分别处理，使生成的仿真sar图像对应位置具有相应的特征，提高仿真图像与真实图像的接近程度。

66、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。