一种基于三维卷积神经网络的近场SAR图像增强方法

本发明属于合成孔径雷达(synthetic aperture radar,sar)图像增强，涉及一种基于三维卷积神经网络的近场sar图像增强方法。

背景技术：

1、合成孔径雷达(synthetic aperture radar,sar)是一种具有全天时、全天候的成像能力的雷达系统，它能够在白天或是黑夜、晴天或是雨雪天气随时成像，克服了光学和红外系统不能在晚上和复杂天气条件进行成像的缺点。然而，传统sar观测距离远，与观测目标相对视角变换小，合成孔径角小，导致图像方位向分辨率有限。

2、不同于传统sar，近场sar工作于目标近场区域，此时，与观测目标相对视角变化量显著增大，合成孔径角也因此大，图像方位向分辨率显著提升，达到厘米量级分辨率。除此以外，近场sar系统通常可采用步进频率信号作为发射信号，从而图像距离向分辨率能与方位向分辨率达到同等量级。因而近场sar能够实现目标精细化成像，在人体安检成像、隐匿物检测、建筑形变检测、自动驾驶、散射特性测量等众多领域有广泛的应用价值。

3、目前，近场sar成像通常采用基于匹配滤波的后向投影算法，而由于有限孔径采样，近场sar成像结果中不可避免存在目标的旁瓣，除此以外，来自地面、周围环境的杂波也同样存在。这些旁瓣和杂波，对于图像的后续应用产生不了不利的影响。例如，由于它们容易被错误得误判别为真实目标，这将导致目标检测与识别的精度损失等。因此，有必要通过图像增强方法，对成像结果进行增强，获得更低目标旁瓣与更少杂波的目标图像。

4、目前现有的sar图像质量增强技术已经从不同的角度实现了良好的成像结果，并且具有较高的重构精度。然而，由于现有的基于深度学习的sar图像质量增强技术主要针对远场sar和二维sar图像设计，并未考虑三维sar图像重构问题，使得三维sar图像重构精度仍然存在进一步提升的空间，研究充分挖掘三维sar图像特性的图像增强技术成为了一个关键性的问题。

5、因此，为解决上述问题，本发明提出了一种基于三维卷积神经网络的近场sar图像增强方法。该方法提出了一种新的三维卷积网络结构，实现了图像三个维度上的语义特征提取和所提语义特征的有效重构，这样的特征编解码有助于提取更丰富的sar图像信息，并重构更好的近场sar图像，保证了卓越的近场三维sar图像重构精度。

技术实现思路

1、本发明属于合成孔径雷达(sar)图像增强技术领域，公开了一种基于三维卷积神经网络的近场sar图像增强方法，用来增强近场sar图像的质量。该方法主要包括准备数据集，构建三维卷积神经网络，建立图像增强模型，测试图像增强模型和评估图像增强模型五个部分。该方法基于原始的三维卷积，构建了三维卷积神经网络，从而优化网络结构以提高重构精度。在近场三维sar图像数据集上的实验结果表明，与原始的近场sar成像算法相比，本发明实现了更高的sar图像重构精度。

2、为了方便描述本发明的内容，首先作以下术语定义：

3、定义1：合成孔径雷达

4、合成孔径雷达(synthetic aperture radar,sar)是一种高分辨率微波成像雷达，具有全天时和全天候工作的优点，已被广泛应用各个领域，如地形测绘、制导、环境遥感和资源勘探等。sar应用的重要前提和信号处理的主要目标是通过成像算法获取高分辨、高精度的微波图像。详见“皮亦鸣,杨建宇,付毓生,杨晓波.合成孔径雷达成像原理[m].电子科技大学出版社.2007”。

5、定义2：后向投影算法

6、后向投影算法利用雷达平台的位置信息求出平台与场景像素点的距离历史，然后通过遍历距离历史找出回波脉压插值后数据中相对应的回波，将他们进行对应距离的相位补偿，然后相干累加，并把累加结果投影到图像空间中完成成像处理。后向投影算法主要包含步骤有：距离向匹配滤波、距离向补零插值、距离向回波索引、方位向相位补偿和方位相干累加。详见“师君.双基地sar与线阵sar原理及成像技术研究[d].电子科技大学博士论文.2009”。定义3：近场三维sar图像数据集

7、近场三维sar图像数据集是指近场三维sar图像重构数据集，其可以用于训练深度学习模型，用于研究人员在这个统一的数据集去评价他们算法的性能。在近场三维sar图像数据集中，一共有1200幅图像和10种飞机，平均每种飞机有120幅图像。在近场三维sar图像增强中是公开使用的数据集，它利用电磁仿真软件来模拟飞机的散射特性，并使用后向投影算法进行成像来生成近场三维sar图像，可以同时获得sar图像和对应真值，使方法测试评估更加方便。数据集可从参考文献“zhang w,zhang x,et al.near-field sar imagerestoration framework via deep learning[c]//igarss2023-2023ieee internationalgeoscience and remote sensing symposium.ieee,2023”中获得。

8、定义4：经典的卷积神经网络方法

9、经典的卷积神经网络(cnn)指一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量进行特征提取。近年来，卷积神经网络在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展，其强大的特征学习能力引起了国内外专家学者广泛的关注。经典的卷积神经网络方法详见文献“张索非,冯烨,吴晓富.基于深度卷积神经网络的目标检测算法进展[j/ol].南京邮电大学学报(自然科学版),2019(05):1-9.https://doi.org/10.14132/j.cnki.1673-5439.2019.05.010.”。

10、定义5：经典的cnn特征提取方法

11、经典的cnn特征提取，即通过cnn对原始输入图像进行特征提取。总而言之，原始输入图像经过不同特征的卷积操作变成了一系列的特征图。在cnn中，卷积层中卷积核在图像上不断滑动运算。同时，最大池化层负责在内积结果上取每一局部块的最大值。因此，cnn通过卷积层和最大池化层实现了图片特征提取方法。经典cnn特征提取详见网站“https://blog.csdn.net/qq_30815237/article/details/86703620”。

12、定义6：卷积核

13、卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。卷积核的作用在于特征的抽取，越是大的卷积核尺寸就意味着更大的感受野，当然随之而来的是更多的参数。早在1998年，lecun发布的letnet-5模型中就会出，图像空域内具有局部相关性，卷积的过程是对局部相关性的一种抽取。卷积核设置方法详见文献“lecun y,bottoul,bengio y,et al.gradient-based learning applied to document recognition[j].proceedings of the ieee,1998,86(11):2278-2324.”。

14、定义7：经典的卷积核尺寸设置方法

15、卷积核尺寸就是指卷积核的长度，宽度，深度，记为l×w×d，其中l代表长度，w代表宽度，d代表深度。设置卷积核的尺寸就是指确定l，w，d的具体数值。一般地，在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。具体来说，卷积核的长度和宽度必须大于1才有提升感受野的作用，而大小为偶数的卷积核即使对称地加补零操作也不能保证输入特征谱尺寸和输出特征谱尺寸不变，一般都用3作为卷积核大小。卷积核尺寸设置方法详见文献“lecun y,bottou l,bengio y,et al.gradient-based learningapplied to document recognition[j].proceedings of the ieee,1998,86(11):2278-2324.”。

16、定义8：经典的卷积核步长设置方法

17、卷积核步长就是指每次移动卷积核的长度，记为s。设置卷积核的步长就是指确定s的具体数值。一般地，步长越大，提取特征越少；反之，提取特征越多。一般卷积层都用1作为卷积核步长，最大池化层都用2作为卷积核步长。经典的卷积核步长设置方法详见文献“lecun y,bottou l,bengio y,et al.gradient-based learning applied to documentrecognition[j].proceedings of the ieee,1998,86(11):2278-2324.”。

18、定义9：经典的卷积层

19、卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。经典的卷积层详见网站“https://www.zhihu.com/question/49376084”。

20、定义10：经典的最大池化层

21、最大池化层用于提取前一层网络区域内所有神经元的最大值，目的是为了在反向传播中，需要把梯度值传到对应最大值所在的位置。最大池化层能减小卷积层参数误差造成估计均值的偏移，更多的保留纹理信息。经典的最大池化层详见文献“lin m,chen q,yans.network in network[j].arxiv preprint arxiv:1312.4400,2013.”。

22、定义11：三维卷积

23、三维卷积相较二维卷积增加了深度维，在图像高度、宽度、通道三个方向进行滑窗操作，其卷积核是l×w×d的三维矩阵，其中l代表长度，w代表宽度，d代表深度。三维卷积的输入数据需为三维数据，对应输出也是一个三维数据。三维卷积详见文献“tran d,bourdevl,fergus r,et al.learning spatiotemporal features with 3d convolutionalnetworks[c]//proceedings of the ieee international conference on computervision.2015:4489-4497.”。

24、定义12：上采样

25、上采样主要通过图像插值来放大图像，从而获得更高的分辨率。上采样方式较多，本发明采用的是双线性插值，具体实现通过调用python中的torch.nn.upsample函数。上采样详见文献“zhao r,li q,wu j,et al.anested u-shape network with multi-scaleupsample attention for robust retinal vascular segmentation[j].patternrecognition,2021,120:107998.”。

26、定义13：经典的adam算法

27、经典的adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。详见文献“kingma,d.；ba,j.adam:a method for stochastic optimization.arxiv 2014,arxiv:1412.6980.”。

28、定义14：标准的检测网络测试方法

29、标准的检测网络测试方法指在测试集上对检测模型进行最终测试，得到检测模型在测试集上的检测结果。详见文献“c.lu,and w.li,“ship classification in high-resolution sar images via transfer learning with small training dataset,”sensors,vol.19,no.1,pp.63,2018.”。

30、定义15：标准的评价指标计算方法

31、归一化均方误差nmse指测量预测值与真实值之间的误差。归一化均方误差nmse定义为其中n表示数字，yi表示预测值，表示真实值；

32、结构相似度ssim用于衡量重构图像与真实图像之间的相似程度。结构相似度ssim定义为其中c1、c2表示常数，μx、μy表示重构图像与真实图像的像素均值，σx、σy表示重构图像与真实图像的像素方差，σxy表示重构图像与真实图像的像素协方差；

33、以上参数数值的求法详见文献“李航.统计学习方法[m].北京:清华大学出版社,2012.”。

34、本发明提供了一种基于分组混合注意力的双极化sar船只检测方法，它包括以下步骤：

35、步骤1、准备数据集

36、对于定义3中提供的近场三维sar图像数据集，采用随机的方法调整数据集中的sar图像次序，得到新的数据集，记为sar_new；

37、按照7:3的比例将sar_new数据集划分为两部分，得到训练集和测试集，训练集记为train_sar，测试集记为test_sar。

38、步骤2、基于三维卷积构建神经网络的特征提取模块

39、步骤2.1：第1层特征提取

40、采用定义4中的经典的卷积神经网络方法建立特征提取模块的输入层，得到由经典的卷积神经网络组成的三维卷积神经网络的第1层，记为f1，该层由定义9中经典的卷积层和定义10中经典的最大池化层组成，分别记为c1，m1，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c1的三维卷积的卷积核尺寸为3×3×8，采用定义8中经典卷积核步长设置方法设置c1的三维卷积的卷积核步长为1，采用定义8中经典卷积核步长设置方法设置m1的卷积核步长为2；

41、采用定义5中的经典的cnn特征提取方法，对步骤1中得到的训练集train_sar中的一幅sar图像进行处理，得到第1层特征输出，记为a1；

42、步骤2.2：第2层特征提取

43、采用定义4中的经典的卷积神经网络方法建立特征提取模块的中间层，得到由经典的卷积神经网络组成的三维卷积神经网络的第2层，记为f2，该层由定义9中经典的卷积层和定义10中经典的最大池化层组成，分别记为c2，m2，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c2的三维卷积的卷积核尺寸为3×3×16，采用定义8中经典卷积核步长设置方法设置c2的三维卷积的卷积核步长为1，采用定义8中经典卷积核步长设置方法设置m2的卷积核步长为2；

44、采用定义5中的经典的cnn特征提取方法，对步骤2.1中得到的第1层特征输出a1进行处理，得到第2层特征输出，记为a2；

45、步骤2.3：第3层特征提取

46、采用定义4中的经典的卷积神经网络方法建立特征提取模块的中间层，得到由经典的卷积神经网络组成的三维卷积神经网络的第3层，记为f3，该层由定义9中经典的卷积层和定义10中经典的最大池化层组成，分别记为c3，m3，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c3的三维卷积的卷积核尺寸为3×3×32，采用定义8中经典卷积核步长设置方法设置c3的三维卷积的卷积核步长为1，采用定义8中经典卷积核步长设置方法设置m3的卷积核步长为2；

47、采用定义5中的经典的cnn特征提取方法，对步骤2.2中得到的第2层特征输出a2进行处理，得到第3层特征输出，记为a3；

48、步骤2.4：第4层特征提取

49、采用定义4中的经典的卷积神经网络方法建立特征提取模块的中间层，得到由经典的卷积神经网络组成的三维卷积神经网络的第4层，记为f4，该层由定义9中经典的卷积层和定义10中经典的最大池化层组成，分别记为c4，m4，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c4的三维卷积的卷积核尺寸为3×3×64，采用定义8中经典卷积核步长设置方法设置c4的三维卷积的卷积核步长为1，采用定义8中经典卷积核步长设置方法设置m4的卷积核步长为2；

50、采用定义5中的经典的cnn特征提取方法，对步骤2.3中得到的第3层特征输出a3进行处理，得到第4层特征输出，记为a4；

51、最终，得到构建的特征提取模块和所有层的特征输出，分别记为encoder和as,s＝1,...,5。步骤3、基于三维卷积构建神经网络的图像重构模块

52、步骤3.1：第1层图像重构

53、采用定义4中的经典的卷积神经网络方法建立图像重构模块的输入层，得到由经典的卷积神经网络组成的三维卷积神经网络的第5层，记为f5，该层由定义9中经典的卷积层和定义12中经典的上采样层组成，分别记为c5，u5，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c5的三维卷积的卷积核尺寸为3×3×64，采用定义8中经典卷积核步长设置方法设置c5的三维卷积的卷积核步长为1，设置上采样层u5为在图像高度、宽度方向上上采样至原来2倍；

54、采用定义5中的经典的cnn特征提取方法，对步骤2.4中得到的特征输出a4进行处理，得到第1层图像重构结果，记为a5；

55、步骤3.2：第2层图像重构

56、采用定义4中的经典的卷积神经网络方法建立图像重构模块的输入层，得到由经典的卷积神经网络组成的三维卷积神经网络的第6层，记为f6，该层由定义9中经典的卷积层和定义12中经典的上采样层组成，分别记为c6，u6，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c6的三维卷积的卷积核尺寸为3×3×32，采用定义8中经典卷积核步长设置方法设置c6的三维卷积的卷积核步长为1，设置上采样层u6为在图像高度、宽度方向上上采样至原来2倍；

57、采用定义5中的经典的cnn特征提取方法，对步骤2.3中得到的特征输出a3和步骤3.1中得到的重构结果a5之和进行处理，得到第2层图像重构结果，记为a6；

58、步骤3.3：第3层图像重构

59、采用定义4中的经典的卷积神经网络方法建立图像重构模块的输入层，得到由经典的卷积神经网络组成的三维卷积神经网络的第7层，记为f7，该层由定义9中经典的卷积层和定义12中经典的上采样层组成，分别记为c7，u7，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c7的三维卷积的卷积核尺寸为3×3×16，采用定义8中经典卷积核步长设置方法设置c7的三维卷积的卷积核步长为1，设置上采样层u7为在图像高度、宽度方向上上采样至原来2倍；

60、采用定义5中的经典的cnn特征提取方法，对步骤2.2中得到的特征输出a2和步骤3.1中得到的重构结果a6之和进行处理，得到第3层图像重构结果，记为a7；

61、步骤3.4：第4层图像重构

62、采用定义4中的经典的卷积神经网络方法建立图像重构模块的输入层，得到由经典的卷积神经网络组成的三维卷积神经网络的第8层，记为f8，该层由定义9中经典的卷积层和定义12中经典的上采样层组成，分别记为c8，u8，其中根据定义11中的三维卷积原理，采用定义7中经典卷积核尺寸设置方法设置c8的三维卷积的卷积核尺寸为3×3×8，采用定义8中经典卷积核步长设置方法设置c8的三维卷积的卷积核步长为1，设置上采样层u8为在图像高度、宽度方向上上采样至原来2倍；

63、采用定义5中的经典的cnn特征提取方法，对步骤2.1中得到的特征输出a1和步骤3.3中得到的重构结果a7之和进行处理，得到最终图像重构结果，记为a8；

64、至此，完成了三维卷积神经网络的构建。

65、步骤4、建立图像重构模型

66、将步骤1中得到的训练集train_sar作为输入，在步骤3所完成的三维卷积神经网络上采用定义13中的经典的adam算法进行训练，训练完成后得到图像重构模型，记为3d-cnn。

67、步骤5、测试图像重构模型

68、采用步骤1中得到的测试集test_sar，在步骤3中得到的图像重构模型3d-cnn上采用定义14中的标准的检测网络测试方法进行测试，得到测试集在图像重构模型的测试结果，记为result。

69、步骤6、评估图像重构模型

70、以步骤5中得到的图像重构模型的测试结果result作为输入，采用定义15中的标准的评价指标计算方法，求出均方误差和结构相似度，分别记为mse和ssim；

71、至此，整个方法结束。

72、本发明的创新点在于在原始三维卷积基础上构建三维卷积神经网络，实现了近场sar图像重构中三维结构特征的充分利用，使得本发明中的图像重构模型具有更优越的重构精度。

73、本发明的优点在于采用三维卷积神经网络实现了对近场sar图像三维结构特征的充分利用，能够提供三维近场sar图像图像增强的方法，用来解决现有三维近场sar图像重构精度不足的问题。