一种结合注意力机制与对抗生成网络的舰船影像生成方法与流程

本发明涉及影像生成领域，特别是一种结合注意力机制与对抗生成网络的舰船影像生成方法。

背景技术：

1、随着遥感技术和人工智能技术的发展，遥感影像目标检测在各行各业应用都极为普遍，遥感影像中的敏感舰船目标获取极为不易。在实际深度学习算法应用的过程中，由于样本数量匮乏，限制了现有目标检测算法的实现效果，因此遥感舰船目标扩充方法具有非常重要的现实意义。

2、为了对遥感影像中的舰船目标进行扩充，现有基于对抗神经网络的舰船目标扩充算法存在以下不足：1.生成器提取特征的能力不够，导致生成的样本质量较差；2.判别器无法捕获到目标与全局环境之间的关系，判别能力较差，对生成器的生成效果评价不够准确；3.损失函数收敛不够，使判别器与生成器相互约束能力较差，提高了生成影像的质量。

3、中国专利申请cn116468880a，提出来一种基于生成对抗网络的sar影像任意方向舰船目标生成方法，包括以下步骤：利用少量包含任意方向舰船目标的sar影像进行预处理；引入任意方向舰船目标位置约束和引入任意方向舰船目标像素值约束，对包含任意方向舰船目标的sar影像并进行位置约束、像素值约束的特征提取；对提取的位置约束的特征、像素值约束特征和特征向量的特征进行融合，得到融合后的特征图；将融合后的特征图输入到sar影像舰船目标生成网络中，生成任意方向舰船目标的sar影像及其标签；结合sar影像舰船目标的特点，设计损失函数；利用损失函数来训练sar影像任意方向舰船目标生成网络。但是该申请仍然存在一定的局限性：

4、1.生成器提取特征的能力不够，导致生成的样本质量较差；

5、2.判别器无法捕获到目标与全局环境之间的关系，判别能力较差，对生成器的生成效果评价不够准确；

6、3.损失函数收敛不够，使判别器与生成器相互约束能力较差，提高了生成影像的质量。

7、中国专利申请cn113936143b，提出了基于注意力机制和生成对抗网络的影像识别泛化方法，设计了一种多层并行注意力机制模型捕获影像的细节特征，提出了发散数据融合算法提高分类器性能以及设计了扰动正则化实现最大域传递，并结合上述各个部分以及要解决的问题，提出了基于注意力机制和生成对抗网络的影像识别域泛化方法，建立了具有影像识别泛化能力的网络模型。但是该申请仍然存在一定的局限性：

8、1.判别器无法捕获到目标与全局环境之间的关系，判别能力较差，对生成器的生成效果评价不够准确；

9、2.损失函数收敛不够，使判别器与生成器相互约束能力较差，提高了生成影像的质量。

技术实现思路

1、本发明的目的在于提供一种结合注意力机制与对抗生成网络的舰船影像生成方法。本发明以对抗生成网络为基础，在生成器中添加自注意力模块提取目标特征，在判别器中结合双分支注意力机制提高对生成器生成影像的判别能力输出判别结果，在损失函数中增加正则项加速了收敛，加强了判别器与生成器的相互约束，提高了生成影像的质量。

2、本发明为了实现上述目的，采用的技术方案如下：

3、一种结合注意力机制与对抗生成网络的舰船影像生成方法，包括以下步骤：

4、s1，训练集中选取真实影像，添加随机噪声，生成影像数据；

5、s2，向对抗生成网络模型的生成器输入影像数据，生成器提取特征，输出生成的影像；

6、s3，引入双分支注意力机制的判别器，对生成器生成的影像进行判别，并输出判断；

7、s4，加入正则项的损失函数根据判别器结果，判断生成器和判别器的平衡状态；

8、s5，当生成器和判别器未达到平衡状态，更新生成器和判别器的参数，重复s1到s4，直到生成器和判别器达到平衡状态。

9、优选的，所述s2中，向对抗生成网络模型的生成器输入影像数据，生成器提取特征，输出生成的影像的具体步骤包括：

10、s201，影像数据输入生成器的头部，依次经过主体，输出原特征图；

11、s202，原特征图输入自注意力模块，自注意力模块提取特征图；

12、s203，将自注意力模块提取的特征图与原特征图进行特征组合输出组合特征图；

13、s204，自注意力模块输出的组合特征图，输入尾部，生成影像后输出影像；

14、s205，将生成器的输出影像输入训练集中。

15、优选的，所述s202中，自注意力模块提取特征图的具体步骤包括：

16、a1，原特征图经过3个卷积，可以得到三个特征空间映射后的特征；

17、a2，将三个特征空间映射后的特征展开，计算每个区域之间的特征相关性矩阵；

18、a3，通过特征相关性矩阵得到注意力图；

19、a4，根据注意力图计算自注意力模块所提取的特征图。

20、优选的，所述a2步骤中，计算每个区域之间的特征相关性矩阵的具体步骤为：

21、a201，计算特征图中所有区域的总数；

22、a202，将三个特征空间映射后的特征展开，得到展开的特征映射；

23、a203，根据a202，计算每个区域之间的特征相关性矩阵。

24、优选的，所述a4步骤中，计算自注意力模块所提取的特征图的具体步骤为：

25、a401，计算自注意力模块第j个区域所提取的特征图；

26、a402，根据a401，计算自注意力模块所提取的特征图。

27、优选的，所述s3中，引入双分支注意力机制的判别器，对生成器生成的影像进行判别，并输出判断的具体步骤包括：

28、s301，将真实影像和s2中生成器的输出影像输入判别器的头部，依次经过主体，输出特征图；

29、s302，将特征图输入双分支注意力机制的判别器，输出组合特征图；

30、s303，对组合特征图进行判别，输出判别结果。

31、优选的，所述s302中，将特征图输入双分支注意力机制的判别器，输出组合特征图的具体步骤包括：

32、b1，通道注意力模块提取特征，输出特征图；

33、b2，空间注意力模块提取特征，输出特征图；

34、b3，将通道注意力模块的特征图和空间注意力模块的特征图进行特征组合输出组合特征图。

35、优选的，所述s4中，加入正则项的损失函数的求取步骤如下：

36、s401，计算全局优化的损失函数，计算公式如下：

37、

38、其中，pdata为真实影像的分布，pg为随机噪声的分布，x为真实数据，表示生成数据，为随机样本，dw为判别器，w为输入参数，||·||2为l2范数，为求梯度；

39、s402，根据s401，计算内容判别器dcontent的损失函数，计算公式如下：

40、

41、其中，pdata表示真实影像的分布，pg表示随机噪声的分布，x为真实数据，表示生成数据，lgp为梯度惩罚项，λgp为梯度惩罚项的权重；

42、s403，根据s401，计算内容判别器dcontent所对应的布局判别器dlayout的损失函数，计算公式如下：

43、

44、其中，pdata表示真实影像的分布，pg表示随机噪声的分布，x为真实数据，表示生成数据，lgp为梯度惩罚项，λgp为梯度惩罚项的权重；

45、s404，根据s402，计算内容判别器对应的生成器的损失函数，计算公式如下：

46、

47、其中，pg表示随机噪声的分布，表示生成数据；

48、s405，根据s403，计算布局判别器对应的生成器的损失函数，计算公式如下：

49、

50、其中，pg表示随机噪声的分布，表示生成数据；

51、s406，根据s402和s403，计算判别器的损失函数，计算公式如下：

52、

53、其中，为内容判别器的损失函数，为布局判别器的损失函数；

54、s407，根据s404和s405，计算生成器的损失函数，计算公式如下：

55、

56、其中，为内容判别器对应的生成器的损失函数，为布局判别器对应的生成器的损失函数。

57、本发明的有益效果如下：

58、(1)在生成器中引入自注意力模块，利用自注意力模块提高提取特征的效率；

59、(2)在判别器中引入双分支注意力机制，对影像中的内容与布局进行模仿，来提高对判别器的对影像内部的判别能力；

60、(3)在损失函数中增加正则项，提高了判别器与生成器的收敛速度，加强了判别器与生成器的相互约束，共同提升对抗生成网络生成新影像的能力。