基于提示学习的多域ISAR图像识别方法及系统

本发明涉及深度学习及isar图像识别领域，具体地，涉及一种基于提示学习的多域isar图像识别方法及系统。

背景技术：

1、近年来，随着isar成像技术和深度学习技术的发展，从雷达数据生成的isar图像中获取目标的形状、姿态、结构、运动等重要信息，目前已成为海、陆、空、天目标观测的重要手段。在isar图像识别领域，传统的目标识别方法依赖人工设计的特征提取器和分类算法。在深度学习被应用于isar图像识别后，受益于神经网络强大的特征提取能力，识别性能有了很大的提高。但是基于深度学习的技术的一个重要的假设是训练数据和测试数据独立同分布，在采用不同成像算法的情况下生成的数据处于不同的分布，基于一类isar成像算法生成的图像训练的神经网络往往不能准确识别其他成像算法生成的图像，即使其在图像特征上存在相似之处。目前方法大多基于迁移学习技术来解决多个目标域下isar图像的识别问题。

2、专利文献cn116824218a(申请号为cn202310582062.7)公开了一种基于半监督迁移学习的小样本序列isar图像稳健分类方法，基于迁移学习技术适应输入端发生的形态改变导致的分布变化。这类方法虽然解决了在输入端发生的变化情况下的isar图像识别问题，但在迁移过程中神经网络的参数也发生了变化，会部分丧失对先前分布的输入的识别能力。因此需要一种不改变神经网络参数也能提升神经网络对多域isar图像识别能力的方法。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种基于提示学习的多域isar图像识别方法及系统。

2、根据本发明提供的基于提示学习的多域isar图像识别方法，包括：

3、步骤1：构建多域isar图像数据集；

4、步骤2：在多域isar图像数据集上基于学生教师模型和参数指数移动平均进行源域卷积神经网络的训练；

5、步骤3：基于提示学习方法在源域卷积神经网络上构建目标域的域提示；

6、步骤4：使用目标域上的域提示对目标域上的isar图像进行推理识别。

7、优选的，所述步骤1包括：对待识别的目标仿真其回波数据，采用不同的成像参数和算法构建分属不同分布的isar图像，形成多域isar图像数据集，选取成像效果符合预设条件的参数视为典型参数，其生成的图像作为源域，其余分布的图像视为目标域。

8、优选的，所述步骤2包括：

9、对于isar图像x，对其进行数据增强，包括随机上下翻转、随机左右翻转和随机角度变换，获得增强后的图像aug(x)；

10、使用同一结构和同一预训练权重的卷积神经网络初始化两个卷积神经网络，作为学生网络fs(x；θ)和教师网络ft(x；θ)，并将两幅图像输入卷积神经网络，其中学生网络接受图像x，教师网络接受图像aug(x)，获得对应的输出fs和ft；θ表示卷积神经网络的模型参数；

11、使用卷积神经网络的输出fs和ft计算学生模型的损失函数值，表示为：

12、loss(x)＝γ·crossentropy(fs，y)+(1-γ)·kl(ft，fs)

13、其中，γ为权重系数，y为输入对应的标签，crossentropy为交叉熵，kl为kl散度；

14、依据计算出的损失函数值对学生模型进行梯度下降优化；

15、在每个训练epoch结束后依据指数移动平均方法ema对教师模型的参数进行更新，更新规则如下：

16、

17、其中，t表示epoch次数；emat表示在第t次指数移动平均后教师模型的模型参数；a表示平滑权重；θ1表示学生模型在第1次进行指数移动平均时的模型参数；θt表示学生模型在第t次进行指数移动平均时的模型参数；

18、重复输入数据进行训练至学生网络模型在验证集上损失收敛，取教师模型部分的卷积神经网络作为源域卷积神经网络。

19、优选的，所述步骤3包括：

20、首先初始化两个大小相同、初始值为0、类型为float的参数矩阵ps和pt，作为域提示；

21、对于isar图像x，对其进行数据增强，包括随机上下翻转、随机左右翻转和随机角度变换，获得增强后的图像aug(x)，并对两者分别叠加域提示ps和pt，获得源域卷积神经网络的输入xs和xt；

22、将xs和xt输入源域卷积神经网络，获得对应的输出fs和ft；

23、使用卷积神经网络的输出fs和ft计算损失函数值，表达式为：

24、loss(x)＝γ·crossentropy(fs，y)+(1-γ)·kl(ft，fs)

25、依据计算出的损失函数值对域提示ps进行梯度下降优化；

26、在每个训练epoch结束后依据指数移动平均方法对域提示pt的参数进行更新，更新规则如下：

27、

28、重复输入数据进行训练至输入isar图像叠加域提示ps后在验证集上的损失收敛，取pt作为目标域的域提示。

29、优选的，所述步骤4包括：对于每个待识别的isar图像x，由成像算法部分确定图像x对应的域提示p，将isar图像与域提示叠加获得源域卷积神经网络的输入图像xs，将其输入到源域卷积神经网络获得isar图像的识别结果。

30、根据本发明提供的基于提示学习的多域isar图像识别系统，包括：

31、模块m1：构建多域isar图像数据集；

32、模块m2：在多域isar图像数据集上基于学生教师模型和参数指数移动平均进行源域卷积神经网络的训练；

33、模块m3：基于提示学习方法在源域卷积神经网络上构建目标域的域提示；

34、模块m4：使用目标域上的域提示对目标域上的isar图像进行推理识别。

35、优选的，所述模块m1包括：对待识别的目标仿真其回波数据，采用不同的成像参数和算法构建分属不同分布的isar图像，形成多域isar图像数据集，选取成像效果符合预设条件的参数视为典型参数，其生成的图像作为源域，其余分布的图像视为目标域。

36、优选的，所述模块m2包括：

37、对于isar图像x，对其进行数据增强，包括随机上下翻转、随机左右翻转和随机角度变换，获得增强后的图像aug(x)；

38、使用同一结构和同一预训练权重的卷积神经网络初始化两个卷积神经网络，作为学生网络fs(x；θ)和教师网络ft(x；θ)，并将两幅图像输入卷积神经网络，其中学生网络接受图像x，教师网络接受图像aug(x)，获得对应的输出fs和ft；θ表示卷积神经网络的模型参数；

39、使用卷积神经网络的输出fs和ft计算学生模型的损失函数值，表示为：

40、loss(x)＝γ·crossentropy(fs，y)+(1-γ)·kl(ft，fs)

41、其中，γ为权重系数，y为输入对应的标签，crossentropy为交叉熵，kl为kl散度；

42、依据计算出的损失函数值对学生模型进行梯度下降优化；

43、在每个训练epoch结束后依据指数移动平均方法ema对教师模型的参数进行更新，更新规则如下：

44、

45、其中，t表示epoch次数；emat表示在第t次指数移动平均后教师模型的模型参数；a表示平滑权重；θ1表示学生模型在第1次进行指数移动平均时的模型参数；θt表示学生模型在第t次进行指数移动平均时的模型参数；

46、重复输入数据进行训练至学生网络模型在验证集上损失收敛，取教师模型部分的卷积神经网络作为源域卷积神经网络。

47、优选的，所述模块m3包括：

48、首先初始化两个大小相同、初始值为0、类型为float的参数矩阵ps和pt，作为域提示；

49、对于isar图像x，对其进行数据增强，包括随机上下翻转、随机左右翻转和随机角度变换，获得增强后的图像aug(x)，并对两者分别叠加域提示ps和pt，获得源域卷积神经网络的输入xs和xt；

50、将xs和xt输入源域卷积神经网络，获得对应的输出fs和ft；

51、使用卷积神经网络的输出fs和ft计算损失函数值，表达式为：

52、loss(x)＝γ·crossentropy(fs，y)+(1-γ)·kl(ft，fs)

53、依据计算出的损失函数值对域提示ps进行梯度下降优化；

54、在每个训练epoch结束后依据指数移动平均方法对域提示pt的参数进行更新，更新规则如下：

55、

56、重复输入数据进行训练至输入isar图像叠加域提示ps后在验证集上的损失收敛，取pt作为目标域的域提示。

57、优选的，所述模块m4包括：对于每个待识别的isar图像x，由成像算法部分确定图像x对应的域提示p，将isar图像与域提示叠加获得源域卷积神经网络的输入图像xs，将其输入到源域卷积神经网络获得isar图像的识别结果。

58、与现有技术相比，本发明具有如下的有益效果：

59、(1)本发明依据系统中的成像算法构建多域isar图像，采用学生教师模型和参数指数移动平均来获得泛化性能良好的源域神经网络，通过提示学习构建了目标域上的域提示，无需改变源域卷积神经网络模型参数，解决了神经网络在基于迁移学习的方法中源域神经网络出现的灾难性遗忘，从而达成源域神经网络对多域isar图像的识别；

60、(2)本发明提供了一种基于提示学习的多域isar图像识别方法及系统，通过相比于使用的卷积神经网络较少的参数数量和计算需求实现神经网络对isar图像识别能力的提升。