基于GAN网络的SAR图像生成方法及生成装置

基于gan网络的sar图像生成方法及生成装置
技术领域
1.本发明涉及遥感图像处理技术领域，特别涉及一种基于gan网络的sar图像生成方法及生成装置。


背景技术：

2.合成孔径雷达(sar)能够主动发射微波，受天气状况影响小，且具有全天候成像的能力，可为气象条件较为复杂的海洋地区提供连续、高精度的观测数据，已被广泛应用于海上目标检测及分类。目前，sar图像船舶分类已得到了广泛关注，并取得了一定的成果，主要有基于极化目标散射特性、基于局部统计特征、基于深度学习的分类算法等。
3.目前，在这些方法中，以卷积神经网络为主的深度学习算法研究较多且成果颇丰。例如，利用具有较深网络卷积结构的vgg19提取船舶目标的多级几何、纹理特征，然后使用具有softmax函数对全连接的特征描述进行分类，获取船舶目标的类别信息。基于大量样本的训练可使卷积神经网络能够有效地识别sar图像中各种姿态、类型的船舶目标，然而标记样本制作往往需要耗费大量的人力、时间成本。
4.近些年，自生成对抗网络(generative adversarial network，gan)提出后，相关的图像生成网络模型相继产生，并广泛应用于遥感图像的生成、分类任务中。例如，条件生成式对抗网络(conditional generative adversarial networks，cgan)训练时在生成器和判别器中都加入了图像的类别标签，从而实现图像的定向生成；基于辅助分类器生成对抗网络(auxiliary c1assifier generative adversarial networks，acgan)，利用图像的标签信息进行训练，并在生成器中加入标签信息，从而实现图像的定向生成。虽然gan网络具有强大的图像特征学习能力以及图像生成能力，然而这类网络(例如acgan网络)通常会因为网络结构复杂而出现梯度消失、弥散等现象，造成网络模型难以训练的问题。另外，acgan网络的判别器用于图像分类时，存在训练速度慢、判别效果不佳等问题。


技术实现要素：

5.为了解决现有技术存在的问题，本发明实施例提供了一种基于gan网络的sar图像生成方法及生成装置，能至少解决现有技术中存在的上述问题。
6.本发明实施例第一方面提供了一种基于gan网络的sar图像生成方法，包括：
7.获取目标图像；
8.通过gan网络得到生成图像；
9.基于目标图像、生成图像、目标图像和生成图像融合后的融合图像以及表示目标图像所属类别的标签，训练所述gan网络以调整生成图像。
10.在一些实施例中，所述获取目标图像，包括：
11.获取包含目标的sar图像，并对所述sar图像进行切片处理，得到目标图像。
12.在一些实施例中，其特征在于，对获取的sar图像进行切片处理之前，还包括：
13.对获取的sar图像进行预处理，所述预处理包括对获取的sar图像进行辐射定标及
归一化处理。
14.在一些实施例中，所述gan网络包括生成器和与所述生成器连接的判别器，
15.所述生成器的输入包括随机向量和类标签向量，所述生成器的输出包括生成的生成图像；
16.所述判别器的输入包括目标图像、生成图像、目标图像和生成图像融合后的融合图像以及表示所述目标图像所属类别的标签，所述判别器的输出包括输入gan网络的样本数据的真假判断以及分类结果。
17.在一些实施例中，所述gan网络为卷积神经网络，所述gan网络的生成器包括残差连接结构。
18.在一些实施例中，所述残差连接结构包括多个残差块，每个残差块包括：反卷积层、卷积层、块正则化、激活函数、融合层。
19.在一些实施例中，对gan网络的训练包括：
20.将随机向量和类标签向量输入生成器中，得到生成图像；
21.将训练样本图像、生成图像、训练样本图像和生成图像融合后的融合图像以及类标签输入判别器中进行训练；
22.固定判别器参数，将随机向量和类标签向量再次输入生成器中进行训练，更新生成器参数；
23.交替训练生成器和判别器，直至gan网络收敛。
24.在一些实施例中，还包括对训练gan网络得到的gan网络模型进行优化，所述优化包括：
25.将随机向量和类标签向量输入训练后的生成器中，输出待测试的生成图像；
26.将待测试的目标图像、待测试的生成图像、待测试的融合图像以及类标签输入训练后的判别器中，与判别器的参数进行对比；
27.根据对gan网络模型的测试，优化gan网络模型的参数。
28.本发明实施例的第二方面提供了一种图像生成装置，包括：
29.获取模块，其配置为获取目标图像；
30.生成模块，其配置为通过gan网络得到生成图像；
31.训练模块，其配置为基于目标图像、生成图像、目标图像和生成图像融合后的融合图像以及表示目标图像所属类别的标签，训练所述gan网络以调整生成图像。
32.本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于gan网络的sar图像生成方法的步骤。
附图说明
33.图1为本发明实施例的基于gan网络的sar图像生成方法的流程图；
34.图2为本发明实施例的船舶目标图像的切片示意图；
35.图3为本发明实施例的gan网络的结构示意图；
36.图4为本发明实施例的gan网络模型中生成器和判别器的结构示意图；
37.图5为本发明实施例的船舶目标的生成图像的示意图。
具体实施方式
38.将针对具体实施方案并参考某些附图对本发明进行描述，但是本发明并非限于此，而是仅仅受到权利要求的限制。权利要求中的任何附图标记不应当解释为限制范围。所述附图仅仅是示意性的，并且非限制性的。在附图中，一些元素的大小可以放大，且并非按说明目的的比例绘制。当术语“包含”用于说明书和权利要求中时，其不排斥其他元素或步骤。当提及单数名词使用了不定冠词或的定冠词如
″
一个(a)
″
或
″
(an)
″
、
″
所述(the)
″
时，除非另有明确说明，否则这包括所述名词的复数。此外，在说明书和权利要求书中术语第一、第二、第三等用于区分相似的元素，且未必用于描述相继顺序或时间顺序。应当理解到，如此使用的术语在适当的情形下可以互换，并且本文所述的本发明的实施方案能以除了本文所述或说明的顺序之外的其他顺序运行。
39.除非本文另有定义，否则用于本发明的科技术语和短语，应具有本领域普通技术人员通常所理解的含义。通常，本文所述分子和细胞生物学、遗传学以及蛋白和核酸化学和杂交技术和用于所述技术中的术语，都是用于本领域公知和常用的技术和术语。除非另有说明，否则，通常根据本领域公知且在各种通用且更具体的参考文献中所述的常规方法进行，所述参考文献在本说明书中做了引用和讨论。
40.为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实施例进行详细阐述，所附附图及具体实施例仅供参考说明之用，并非用来限定本发明。
41.图1为本发明实施例的基于gan网络的sar图像生成方法的流程图。本发明实施例以生成船舶目标的sar样本图像为例进行说明，船舶目标主要分为货船、集装箱船和油轮三类。
42.如图1所示，本发明实施例的第一方面提供了一种基于gan网络的sar图像生成方法，包括如下步骤：
43.步骤s1：获取目标图像。
44.获取目标图像具体包括：获取包含目标的sar图像，并对sar图像进行切片处理，得到目标图像。
45.本步骤中，利用合成孔径雷达(sar)，例如高分三号，获取船舶的全极化sar图像作为数据源，并使用图像标注工具进行船舶样本剪切制作以获得带有分类类别标签的目标图像。sar图像为原始图像，目标图像为真实样本图像，作为gan网络的真实样本的输入。
46.本申请的gan网络主要用于生成与真实样本图像相近的图像。gan网络所生成的图像可以被作为样本图像，以丰富相应的样本集，例如，利用生成的图像来扩充船舶目标图像的训练集等。
47.本发明实施例中，收集一定数量的待生成的目标图像建立样本数据集，样本数据集包括n个样本图像，且n个样本图像分别属于m个类别，其中，n、m为正整数，且n大于m，多个分类类别的多个样本图像构成了样本数据集。本实施例中，船舶目标图像包括货船、集装箱船和油轮三个分类类别的图像，且每个类别图像中包含多种不同角度、姿态的图像。
48.样本数据集包括训练集和测试集，分别用于进行gan网络训练与测试。
49.例如，可以将收集到的样本数据集依据一定的比例分割为训练集和测试集，分别作为gan网络的训练样本和测试样本。训练样本用于训练gan网络模型，测试样本用于评估gan网络模型。
50.图2示出了本发明实施例的船舶目标图像的切片示意图(包括货船、集装箱船和油轮)；如图2所示，对获取的船舶sar图像进行切片处理时，每个切片中基本只包含一条船只，且同一类别的船存在多种不同角度、尺度的样本切片。
51.在样本切片制作过程中，首先使用具有重叠的滑窗对获取的整幅sar图像进行切块操作，生成大小为256
×
256像素的样本切片，然后在图像标注工具中通过目视的方式手动勾画样本切片中的船只的位置及外接矩形。
52.在对获取的sar图像进行切片处理之前，还包括：对获取的sar图像进行预处理，预处理包括：对获取的sar图像进行辐射定标及归一化处理。通过对sar图像的归一化处理能够使图像的后向散射值归一化到正常的范围，降低成像、海面波浪等因素造成的图像对比度误差。对sar图像进行归一化处理后，还可根据直方图统计量进行图像拉伸，以降低图像对比度误差。
53.步骤s2：通过gan网络得到生成图像。
54.具体来说，将随机向量和类标签向量输入gan网络的生成器中，便可得到生成图像。
55.图3示出了本发明实施例的gan网络的结构示意图，如图3所示，gan网络包括：生成器和与生成器连接的判别器。生成器的输入包括随机向量和类标签向量(表示分类类别的标签)，生成器可以基于输入的向量数据生成图像并输出。判别器的输入包括目标图像、生成图像、目标图像和生成图像融合后的融合图像以及表示目标图像所属类别的标签(类标签)。
56.其中，目标图像为利用步骤s1中的切片处理获得的目标图像，其为真实样本图像；生成图像通过生成器生成，融合图像通过对目标图像和生成图像进行插值融合后获得。判别器的输出包括输入gan网络的样本数据的真假判断以及输入的样本数据的分类结果。判别器的损失函数(或目标函数)的组成包括如下两部分：
57.l
s
＝e[logp(s＝real|x
real
)]+e[logp(s＝fake|x
fake
)]
ꢀꢀꢀꢀꢀꢀ
(1)
[0058]
l
c
＝e[logp(c＝c|x
real
)]+e[logp(c＝c|x
fake
)]
ꢀꢀꢀꢀ
(2)
[0059]
其中，l
s
表示正确识别目标图像与生成图像的似然概率期望(多标签损失函数)，l
c
表示判别器区分样本类别的似然概率期望(多类别损失函数)。生成器(g)的训练是最大化l
c-l
s
，判别器(d)的训练则是最大化l
c
+l
s
。
[0060]
需要说明的是，gan网络中，输入生成器的类标签向量和输入判别器的类标签实质相同，由于生成器的输入为向量形式，需要将类标签以向量的形式与随机向量进行整合共同输入生成器中。
[0061]
步骤s3：基于目标图像、生成图像、目标图像和生成图像融合后的融合图像以及表示目标图像所属类别的标签，训练gan网络以调整生成图像。
[0062]
步骤s3中，通过训练gan网络可以得到gan网络模型，并对生成器生成的生成图像进行调整，以得到满足要求的生成图像。
[0063]
本实施例中，gan网络为卷积神经网络，生成器和判别器的结构可以包括输入层、卷积层、反卷积层、池化层以及输出层，具体不作限定。
[0064]
图4示出了本发明实施例提供的gan网络模型中生成器和判别器的结构示意图。如图4所示，生成器包括残差连接结构，生成器中的残差连接结构包括多个残差块，每个残差
块包括反卷积层(deconv)、卷积层(conv)、块正则化、激活函数、融合层，残差块的输入可以跳过反卷积层(deconv)、卷积层(conv)、块正则化、激活函数与融合层连接，以确保网络训练的稳定性及船舶样本细节得以生成。
[0065]
由于本实施例中使用的船舶样本图像为大小为256
×
256的切片，属于大尺寸样本，生成器需要堆叠深层次的卷积/反卷积结构才能生成。因此，在生成器中设置多个残差块组成的残差连接结构以进行深层次的卷积/反卷积操作，不仅可以提升深层网络的训练性能，还能更好地保留sar图像中目标图像的结构信息。例如，可以增强生成图像中船舶纹理的细节表达，使其与真实的船舶目标具有更加近似的散射特性。
[0066]
块正则化采用批归一化操作(bn，batch normalization)，每个卷积/反卷积层均使用批归一化层(bn层)进行归一化，归一化后使用leaky relu激活函数进行激活。bn层加快了gan网络模型的收敛速度，更重要的是在一定程度上缓解了深层网络中“梯度弥散”的问题，从而使得训练深层网络模型更加容易和稳定。
[0067]
判别器的每个卷积块结构包括2个卷积层，且每个卷积层后均设有bn层进行归一化，归一化后使用leaky relu激活函数进行激活。判别器的输出层连接softmax函数，利用softmax函数可以对输入的样本数据进行分类，输出分类结果。
[0068]
由于判别器训练的越好，生成器的梯度消失越严重。本申请中，通过在判别器的输入层增加由真实样本图像(目标图像)与生成图像之间插值得到的融合图像，增加生成图像的多样性，解决了反向传播时梯度值计算困难、耗时等问题。判别器中引入梯度惩罚，不仅提高了收敛速度，还提升了网络训练的稳定性，同时能够生成更高质量的样本图像。
[0069]
对gan网络的训练包括：将随机向量和类标签向量输入到gan网络的生成器中，对gan网络的生成器进行训练；将生成器生成的生成图像、训练样本图像以及生成图像和训练样本图像的融合图像输入到gan网络的判别器中，对gan网络的判别器进行训练。训练过程采用单独交替迭代训练，先训练判别器，再训练生成器。具体包括如下步骤：
[0070]
步骤s301：将随机向量和类标签向量输入生成器中，得到生成图像。
[0071]
在一具体实施例中，随机向量为包含船舶目标的多维隐式向量(例如100维)，类标签向量为代表船舶类别的向量，将随机向量和类标签向量批量地送入gan网络，通过生成器可得到生成图像。
[0072]
生成图像的尺寸与训练样本图像的尺寸相匹配，训练样本图像为步骤s1中对获取的sar图像进行归一化预处理和切片后获得的样本数据集中的训练集，由于步骤s1中的目标图像的尺寸为256
×
256，本步骤中得到的生成图像的尺寸也为256
×
256。
[0073]
步骤s302：将训练样本图像、生成图像、训练样本图像和生成图像融合后的融合图像以及类标签输入判别器中进行训练，更新判别器参数。
[0074]
具体地，将等批量的训练样本图像、生成图像以及融合图像与类标签一同送入判别器进行训练，对目标函数l
c
+l
s
进行最小化，更新判别器参数。其中，类标签为训练样本图像的分类标签。训练样本图像、生成图像以及融合图像分别从不同的输入通道输入判别器中。
[0075]
步骤s303：固定判别器参数，将随机向量和类标签向量再次输入生成器中进行训练，更新生成器参数。
[0076]
具体地，固定判别器的参数，将随机向量和类标签向量再次输入生成器得到生成
图像，并利用步骤s302中判别器回传的真假判断的误差训练生成器，对目标函数l
c-l
s
进行最大化，更新生成器参数。
[0077]
步骤s304：重复步骤s302～s303交替迭代训练生成器和判别器，直至gan网络收敛。
[0078]
具体地，将判别器生成的内容反向传播至生成器进行梯度更新，交替训练优化生成器和判别器的模型参数，使其达到动态平衡。达到动态平衡后，gan网络模型的生成器便可以生成和目标图像相似度较高的生成图像。
[0079]
训练过程中，可以定义迭代次数，例如交替迭代30000次后，gan网络接近收敛，生成器和判别器网络的性能达到理想的纳什均衡状态，其生成的样本图像与真实样本图像具有更加近似的散射特性。
[0080]
作为优选实施方案，基于gan网络的sar图像生成方法还包括对训练gan网络得到的gan网络模型进行优化，具体优化步骤包括：将随机向量和类标签向量输入训练后的生成器中，输出待测试的生成图像；将待测试的目标图像、待测试的生成图像、待测试的融合图像以及类标签输入训练后的判别器中，与判别器的参数进行对比；根据对gan网络模型的测试，优化gan网络模型的参数。其中，将待测试的目标图像为利用步骤s1获取的测试集中的图像；待测试的融合图像为待测试的样本图像和待测试的生成图像进行插值融合后的图像；类标签为待测试的目标图像的分类标签。
[0081]
通过对训练后的gan网络模型进行优化，可以得到满足要求的训练集和最终的gan网络模型；否则，重新获取目标图像，对gan网络进行训练，直至得到满足要求的训练集和最终的gan网络模型。
[0082]
训练gan网络得到调整后的生成图像后，还包括：对生成器生成的生成图像进行后处理。具体来说，对得到的生成图像进行汇总并使用ms-ssim、is等指标进行后处理，筛选出接近真实目标图像的生成切片图像，组成最终的生成样本数据集。
[0083]
本发明实施例提供的基于gan网络的sar图像生成方法一方面用于生成高质量的样本图像，另一方面可以对输入的目标图像进行分类。将目标图像、生成图像以及融合图像与类标签一同输入判别器中即可对目标图像进行分类。
[0084]
为说明本发明实施例中改进的gan网络模型在sar图像船舶目标生成、分类等方面的性能，对生成图像的质量和分类准确度进行评估。
[0085]
图5示出了利用本发明实施例提供的基于gan网络的sar图像生成方法生成的货船、集装箱船和油轮三个类别的船舶的生成图像。如图5所示，货船的样本生成情况比其余两类船舶目标生成情况好，船只的结构、纹理细节比集装箱船清晰且海洋背景杂波较少。其原因主要是由于集装箱船、油轮船的样本数目较少，且小尺度的目标之间区别度较小，容易造成网络学习过程中无法有效地区别小尺度下的这两类船只目标，造成生成器无法生成高质量的相应目标。
[0086]
因此，在进一步的船舶目标研究过程中，可以采用上述的基于gan网络的sar图像生成方法生成足够数量的带标签的船舶目标图像，为后续的sar图像船舶目标检测、分类提供大量自动标记、多样性的有效训练集；同时，多样性的数据集可间接提高分类网络的泛化能力。另外，采用上述的sar图像生成方法可以降低人工标记船舶样本的时间、人力等成本。
[0087]
表1示出了使用相同的训练数据对vgg16分类网络模型、acgan分类网络模型以及
本发明实施例中改进的gan网络模型进行训练，获得的船舶分类精度。如表1所示，采用本发明实施例的改进的gan网络模型进行训练获得的船舶分类精度最高。
[0088]
表1船舶分类精度对比
[0089] vgg16acgan改进的gan网络模型货船0.8920.8760.975集装箱船0.9520.8610.96油轮0.9370.8720.951
[0090]
本发明实施例中，使用ms-ssim(multi-scale structural similarity index)指标对生成的船舶样本进行质量评价，评估gan网络生成的船舶图像与真实sar图像中船舶目标的相近程度。该指标是一种全参考的图像质量评价方法，分别从亮度、对比度、结构三方面度量图像相似性。ms-ssim取值范围为[0，1]，ms-ssim值(真实程度量化值)越大，表示图像与参照目标越相近。
[0091]
表2示出了分别利用本发明实施例提供的改进的gan网络模型以及acgan网络模型生成的生成图像的ms-ssim值。从表2中可以看出，采用本发明实施例的改进的gan网络模型获得的生成图像与真实的sar船舶目标图像更相近，具有更加真实的纹理、结构特征。且在三类船舶目标中，货船的生成图像效果最好。由上可知，本发明实施例中训练gan网络得到的改进的gan网络模型对货船的特征学习要优于其他两类船舶目标，从表1中判别器的分类精度上也可以看出对货船的特征学习要优于其他两类船舶目标。
[0092]
表2船舶生成图像的ms-ssim值
[0093] 改进的gan网络模型acgan货船0.9430.883集装箱船0.9020.795油轮0.9230.80
[0094]
利用上述的基于gan网络的sar图像生成方法生成的船舶目标的生成图像的分类精度均超过80％，与真实船舶的相似度评价指标均超过90％，生成图像具有极高的真实分布特性和纹理结构特征。
[0095]
为获得与真实船舶目标图像的相似度更高、分类精度更高的生成样本图像。需要继续标注高质量的货船、集装箱船、油轮等船舶目标，获取大量的训练样本，并训练精度更高的gan网络模型。
[0096]
本发明实施例提供的基于gan网络的sar图像生成方法可实现对不同角度、姿态下不同类型船舶目标的模拟，生成可以用于分类、辨别任务的可训练样本。同时，在判别器部分的输出端还能够输出船舶目标的分类结果，实现了在一个生成对抗网络中同时获取生成的船舶目标及其类别信息。生成器中引入残差网络结构不仅可以提升深层网络的训练性能，还能更好地保留sar图像中船舶目标的结构信息。将梯度惩罚的优化策引入到条件生成对抗网络，将真实船舶与生成船舶融合后的图像作为输入送入gan网络的判别器中，分类不同真实船舶样本，提高了gan网络模型的训练收敛能力和不同船舶目标特征的学习能力。
[0097]
本发明实施例的第二方面提供了一种基于gan网络的sar图像生成装置，包括：获取模块，其配置为获取目标图像；生成模块，其配置为通过gan网络得到生成图像；训练模块，其配置为基于目标图像、生成图像、目标图像和生成图像融合后的融合图像以及表示目
标图像所属类别的标签，训练所述gan网络以调整生成图像。
[0098]
本发明实施例提供的基于gan网络的sar图像生成装置与上述实施例中的基于gan网络的sar图像生成方法的实施例属于同一构思，其具体实现过程详见上述实施例中的方法实施例，在此不再赘述。
[0099]
本发明的第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于gan网络的sar图像生成方法实施例中的步骤。
[0100]
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。
[0101]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。