SAR舰船识别跨模态域迁移学习、识别方法及系统

一种sar舰船识别跨模态域迁移学习、识别方法及系统，用于图像转换和sar舰船目标识别，属于人工智能与合成孔径雷达目标识别。

背景技术：

1、合成孔径雷达(sar)和光学传感器是目前使用最广泛的地球观测传感器，二者具有不同的成像能力。光学图像因数据获取途径简单、图像内容易于理解和标记，具有大样本数据量特点。sar作为一种主动式微波遥感技术，不受气候和自然环境因素影响，具有全天时、全天候穿透云层探测的能力以及长时间稳定连续地获取地表信息的优势，因此sar在各个领域具有广泛应用，sar舰船自动目标识别(automatic target recognition，atr)技术作为sar图像解译的重要分支，也因在海洋监测、海洋运输管理等方面的重要价值而受到了广泛关注。目前随着深度学习的发展，基于卷积神经网络(cnn)的方法，如vgg16、resnet系列、densenet、mobilenet、inceptionnet、efficientnet等网络，基于cnn强大的特征表达能力，通过数据驱动的方式在舰船atr领域取得了显著成功。

2、尽管基于卷积神经网络的sar舰船目标识别方法已经取得了显著的成效，但是他们任然需要大量的标记数据来训练分类器。sar传感器提供的视觉信息不如光学传感器丰富，图像中存在大量的斑点噪声，人类视觉不能适应微波散射现象，难以理解复杂的散射特性，使得解译sar图像获得标记样本需要依靠专家知识，并且大规模sar舰船数据集的目标标记非常耗时，因此具有小样本数据量、类别不平衡的特点。sar舰船atr技术在训练样本稀缺的现状之下，基于深度学习网络模型的训练任务变得十分困难，对舰船识别的准确性产生了巨大的影响。

3、为了在不增加模型复杂度的前提下提高舰船识别精度，基于迁移学习的舰船识别任务热度逐渐上升。利用迁移学习的方法实现光学舰船数据和sar舰船数据的联合分析，进行域知识转移，可以有效地解决sar舰船atr深度学习网络模型有效标记样本稀缺、类别不平衡的问题，提升舰船atr精度。

4、不幸的是，对于光学和sar这类不同的交叉模态域，源域和目标域之间的显著数据分布差异可能无法在低层中传输，会导致非常严重的域失配问题。为了解决域失配问题，一些学者提出了域自适应方法，对源域和目标域的数据进行对齐以确保二者有相似的概率分布。另外一些学者提出了通过建立映射实现跨模态域转移的方法，通过跨域映射，源域中的图像获得目标域的特征，减少异构图像之间的非线性差异，这种方法被称为图像到图像的转换(image-to-image translation，i2it)，其中,基于生成对抗网络(gan)的方法取得了很好的效果。在本案中，我们旨在通过转移光学域知识来解决sar域有效标记样本数量少以及类别不平衡的挑战。由于光学域和sar域这类不同的交叉模态域显著的数据分布差异，当前的光学舰船图像识别方法不能直接应用于sar图像，尚待解决的主要问题如下所述：(1)与光学图像不同，sar图像没有颜色和亮度信息，而主要包括纹理、结构和形状信息。(2)特征对齐的方法虽然可以减少特征的离散性，但是因为光学和sar成像机制不同，域差异较大，不适合在低层共享特征空间进行传输。

5、由于上述各种挑战，要实现光学域到sar域的跨模态域知识迁移任务并不容易，但gan的出现为光学到sar(opt2sar)的图像转换提供了新思路。然而，目前多数基于gan的图像转换方法都受到监督学习和需要成对训练样本的条件限制，例如，条件生成对抗网络(cgan)、pix2pix。实际上，在舰船识别领域当中，成对的光学图像数据与遥感图像数据是很难获得的。无监督的图像转换模型，例如，cyclegan、ugatit、dualgan和discogan，不需要成对的训练图像，降低了舰船切片数据的获取难度。cyclegan作为无监督非成对图像转换任务中最著名的方法，将循环一致性损失和身份损失引入到原始gan的损失函数中，使循环一周生成的图像与原始图像具有较高的相似性，在无监督非成对图像转换任务中展现了出色的翻译效果。

6、上述基于cyclegan网络的对抗学习方法用于光学图像之间的转换，实现光学域到sar域的舰船跨模态域知识迁移任务，即在opt2sar的舰船图像转换任务中cyclegan网络却仍然存在一些技术问题：(1)光学数据集中舰船岸基背景复杂，干扰了cyclegan网络对舰船主体特征的快速提取；并且光学数据集与sar数据集的舰船主体在画面中的占比比例不同，cyclegan网络在图像转换的过程中无法解决源域和目标域舰船主体尺度不一的问题。(2)由9个残差块堆叠而成的cyclegan生成器网络结构复杂、参数量大，需要耗费大量训练时间，也会导致特征冗余。在目前提出的二阶段舰船atr迁移学习方法中，第一阶段往往都直接使用cyclegan做像素级域知识迁移，没有考虑到上述问题并对cyclegan做适用于舰船atr的网络改进。

7、综上所述，采用cyclegan网络(即直接使用开源生成对抗网络)实现光学域到sar域的图像转换(即实现舰船opt2sar跨模态域知识迁移任务)存在如下技术问题：

8、1.图像转换生成的图像质量不佳，或复杂岸基背景会干扰舰船主体的图像转换，从而影响后续舰船分类精度的问题；

9、2.网络结构复杂、参数量大，需要耗费大量训练时间，也会导致特征冗余，从而造成对资源需求要求高的问题。

技术实现思路

1、本发明的目的在于提供一种sar舰船识别跨模态域迁移学习、识别方法及系统，解决现有技术中的图像转换生成的图像质量不佳，或复杂岸基背景会干扰舰船主体的图像转换，从而影响后续舰船分类精度的问题。

2、为了实现上述目的，本发明采用的技术方案为：

3、一种sar舰船识别跨模态域迁移学习方法，包括如下步骤：

4、s1、对源域光学数据集中的光学舰船图像和目标域sar数据集中的sar舰船图像进行预处理；

5、s2、基于cyclegan的特征编码器和特征解码器构建连接特征编码器和特征解码器的密集连接特征转换器和轻量化注意力机制模块，得到轻量化生成器网络模型，基于一个进行opt2sar任务的轻量化生成器网络模型、一个进行sar2opt任务的轻量化生成器网络模型和鉴别器得到adcg网络；

6、s3、将预处理得到的源域光学数据集中的光学舰船图像和目标域sar数据集中的sar舰船图像同时输入adcg网络对其进行训练，并利用训练好的adcg网络生成待转换的光学舰船图像的伪sar图像。

7、进一步，所述步骤s1的具体步骤为：

8、s1.1、利用线性插值方法将获取的源域光学数据集中的各光学舰船图像统一到256*256大小；

9、s1.2、基于源域光学数据集中的各光学舰船图像的大小，先对获取的目标域sar数据集中的各sar舰船图像中心裁剪为128*128大小，再利用线性插值方法将裁剪后的图像放大到256*256大小。

10、进一步，所述密集连接特征转换器包括依次相连接的三个denseblock块，第一个denseblock块包括依次相连接的basicblock块与两个bottleneckblock块，basicblock块包括一个conv层，bottleneckblock块包括依次相连接的1x1conv层和3x3conv层，以及将1x1conv层卷积前和3x3conv层卷积后的特征通道进行拼接的concat操作，其中，denseblock块表示密集块，basicblock块表示基础块，bottleneckblock块表示瓶颈块；

11、所述第二个denseblock块和第三个denseblock块分别包括依次相连接的三个bottleneckblock块。

12、进一步，所述轻量化注意力机制模块包括cam子模块和sam子模块，cam子模块的输入为密集连接特征转换器的输出，sam子模块的输出与其输入逐元素相乘的结果为特征解码器的输入，sam子模块的输入为cam子模块的输出与其输入逐元素相乘的结果，cam子模块表示通道注意模块，sam子模块表示空间注意模块；

13、cam子模块包括平均池化层和最大池化层，分别与平均池化层和最大池化层相连接的具有多个隐藏层的多层感知器，对多层感知器输出的结果使用逐元素求和来合并输出特征向量，即得到通道注意力图；

14、sam子模块包括依次相连接的最大池化层和平均池化层，对平均池化层的输出进行拼接的卷积层，和对卷积层输出的结果进行编码，即得到空间注意力图。

15、进一步，所述adcg网络中轻量化生成器网络模型和鉴别器的博弈形式的表达为：

16、

17、其中，g代表轻量化生成器网络模型，d代表判别器，即鉴别器，e代表期望，v～pr(v)代表真实数据v及其数据分布pr(v)，z～pg(z)代表伪数据z及其特定概率分布pg(z)，ming maxd v(d,g)表示轻量化生成器网络模型和鉴别器之间的最大最小博弈；

18、adcg网络的总损失函数表达为：

19、lopt 2sar-gan＝αlgan+βlcycle+γlidentity

20、其中，α、β和γ分别表示lgan、lcycle和lidentity的权重；

21、对抗性博弈形成的opt2sar过程描述如下：

22、

23、其中，go→s表示opt2sar任务对抗性博弈形成过程中的轻量化生成器网络模型，opt2sar任务表示将光学舰船图像转换为伪sar图像，dsar表示真实sar图像和伪sar图像的鉴别器，{xsar～xsar}、{xopt～xopt}分别表示预处理后得到的源域光学数据集和目标域sar数据集，xsar和xopt表示分别来自源域光学数据集和目标域sar数据集中的光学舰船图像和sar舰船图像；

24、周期一致性损失函数定义为：

25、

26、其中，gs→o(go→s(xopt))≈xopt和go→s(gs→o(xsar))≈xsar，gs→o表示sar20pt任务对抗性博弈形成过程中的轻量化生成器网络模型，sar20pt任务表示将sar舰船图像转换为伪光学图像；

27、身份损失函数为：

28、

29、一种sar舰船识别跨模态域迁移识别方法，将得到的伪sar图像扩充目标域sar数据集，并基于扩充后的目标域sar数据集训练vgg16、resnet50和mob i l enet三个分类网络进行待识别sar舰船图像中的sar舰船目标识别。

30、一种sar舰船识别跨模态域迁移学习系统，包括：

31、预处理模块：对源域光学数据集中的光学舰船图像和目标域sar数据集中的sar舰船图像进行预处理；

32、adcg网络构建模块：基于cyclegan的特征编码器和特征解码器构建连接特征编码器和特征解码器的密集连接特征转换器和轻量化注意力机制模块，得到轻量化生成器网络模型，基于一个进行opt2sar任务的轻量化生成器网络模型、一个进行sar2opt任务的轻量化生成器网络模型和鉴别器得到adcg网络；

33、sar图像生成模块：将预处理得到的源域光学数据集中的光学舰船图像和目标域sar数据集中的sar舰船图像同时输入adcg网络对其进行训练，并利用训练好的adcg网络生成待转换的光学舰船图像的伪sar图像。

34、进一步，所述预处理模块的具体实现步骤为：

35、s1.1、利用线性插值方法将获取的源域光学数据集中的各光学舰船图像统一到256*256大小；

36、s1.2、基于源域光学数据集中的各光学舰船图像的大小，先对获取的目标域sar数据集中的各sar舰船图像中心裁剪为128*128大小，再利用线性插值方法将裁剪后的图像放大到256*256大小。

37、进一步，所述adcg网络构建模块中的密集连接特征转换器包括依次相连接的三个denseblock块，第一个denseblock块包括依次相连接的basicblock块与两个bottleneckblock块，basicblock块包括一个conv层，bottleneckblock块包括依次相连接的1x1conv层和3x3conv层，以及将1x1conv层卷积前和3x3conv层卷积后的特征通道进行拼接的concat操作，其中，denseblock块表示密集块，basicblock块表示基础块，bottleneckblock块表示瓶颈块；

38、所述第二个denseblock块和第三个denseblock块分别包括依次相连接的三个bottleneckblock块；

39、所述adcg网络构建模块中轻量化注意力机制模块包括cam子模块和sam子模块，cam子模块的输入为密集连接特征转换器的输出，sam子模块的输出与其输入逐元素相乘的结果为特征解码器的输入，sam子模块的输入为cam子模块的输出与其输入逐元素相乘的结果，cam子模块表示通道注意模块，sam子模块表示空间注意模块；

40、cam子模块包括平均池化层和最大池化层，分别与平均池化层和最大池化层相连接的具有多个隐藏层的多层感知器，对多层感知器输出的结果使用逐元素求和来合并输出特征向量，即得到通道注意力图；

41、sam子模块包括依次相连接的最大池化层和平均池化层，对平均池化层的输出进行拼接的卷积层，和对卷积层输出的结果进行编码，即得到空间注意力图；

42、所述adcg网络构建模块中，adcg网络中的轻量化生成器网络模型和鉴别器的博弈形式的表达为：

43、

44、其中，g代表轻量化生成器网络模型，d代表判别器，即鉴别器，e代表期望，v～pr(v)代表真实数据v及其数据分布pr(v)，z～pg(z)代表伪数据z及其特定概率分布pg(z)，ming maxd v(d，g)表示轻量化生成器网络模型和鉴别器之间的最大最小博弈；

45、adcg网络的总损失函数表达为：

46、lopt 2sar-gan＝αlgan+βlcycle+γlidentity

47、其中，α、β和γ分别表示lgan、lcycle和lidentity的权重；

48、对抗性博弈形成的opt2sar过程描述如下：

49、

50、其中，go→s表示opt2sar任务对抗性博弈形成过程中的轻量化生成器网络模型，opt2sar任务表示将光学舰船图像转换为伪sar图像，dsar表示真实sar图像和伪sar图像的鉴别器，{xsar～xsar}、{xopt～xopt}分别表示预处理后得到的源域光学数据集和目标域sar数据集，xsar和xopt表示分别来自源域光学数据集和目标域sar数据集中的光学舰船图像和sar舰船图像；

51、周期一致性损失函数定义为：

52、

53、其中，gs→o(go→s(xopt))≈xopt和go→s(gs→o(xsar))≈xsar，gs→o表示sar20pt任务对抗性博弈形成过程中的轻量化生成器网络模型，sar20pt任务表示将sar舰船图像转换为伪光学图像；

54、身份损失函数为：

55、

56、一种sar舰船识别跨模态域迁移识别系统，包括识别模块：用于将得到的伪sar图像扩充目标域sar数据集，并基于扩充后的目标域sar数据集训练vgg16、resnet50和mobilenet三个分类网络进行待识别sar舰船图像中的sar舰船目标识别。

57、与现有技术相比，本发明的优点在于：

58、一、本发明利用改进后的生成对抗网络(即adcg网络)来解决训练样本数据类别分布不均衡以及数据量不足的问题的同时，能快速对舰船主体的特征进行快速提取；即本发明中使用的改进后的生成对抗网络(即adcg网络)中的密集连接特征转换器网络参数量大大减少，使得adcg网络训练时间减半，同时特征提取效果优秀，解决了原始cyclegan网络堆叠residual块导致的特征冗余的问题，而轻量化注意力机制模块能够抑制复杂岸基背景的负面影响并且聚焦舰船主体特征，以便于特征的快速准确提取；

59、二、本发明中的adcg网络生成的伪sar图像的特征与真实的sar舰船图像的特征混淆程度极高，显著减少了域间隙，几乎做到了无法区分伪sar域与真实sar域，即有效的实现了图像转换任务。